WO2016192465A1 - 基于商品图像特征的个性化搜索装置及方法 - Google Patents

基于商品图像特征的个性化搜索装置及方法 Download PDF

Info

Publication number
WO2016192465A1
WO2016192465A1 PCT/CN2016/079042 CN2016079042W WO2016192465A1 WO 2016192465 A1 WO2016192465 A1 WO 2016192465A1 CN 2016079042 W CN2016079042 W CN 2016079042W WO 2016192465 A1 WO2016192465 A1 WO 2016192465A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
category
search
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/079042
Other languages
English (en)
French (fr)
Inventor
布如国
牟川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to JP2017563190A priority Critical patent/JP6494804B2/ja
Priority to US15/579,392 priority patent/US20180357258A1/en
Priority to RU2017142112A priority patent/RU2697739C2/ru
Publication of WO2016192465A1 publication Critical patent/WO2016192465A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Electronic shopping [e-shopping] by investigating goods or services
    • G06Q30/0625—Electronic shopping [e-shopping] by investigating goods or services by formulating product or service queries, e.g. using keywords or predefined options
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Definitions

  • the invention relates to a personalized search device and method based on commodity image features in the field of electronic commerce.
  • the existing personalized search generally first extracts the features of users, commodities, scene semantics, statistics, texts, etc., and then obtains the final result according to various search and sorting algorithms.
  • the existing search there is rarely a personalized search based on the behavior of the user browsing the product image.
  • the invention provides a personalized search device and method based on product image features, which uses a neural network to extract a deep abstract semantic feature vector of a product image according to a product image in the e-commerce field, and classifies the browsing behavior of the user according to the category.
  • the interest weight of the user under each category is calculated.
  • the user uses the interest weight according to the category to obtain the ranking result of the user under the category, which is used for personalized search. This can increase the user's experience value in multiple dimensions.
  • the personalized image search device based search device of the present invention comprises:
  • a feature extraction module that uses a neural network model to extract an abstract semantic feature vector of an image by category
  • the HOG feature is used as an input signal of the neural network, and the neural network output signal is used as a feature vector of the image;
  • a category image calculation module that receives an abstract semantic feature vector of an image pushed from the feature extraction module, calculates an average and a variance of the abstract semantic feature vector for each dimension, and returns according to each dimension One-time treatment;
  • a user browsing behavior weight calculation module which sums all corresponding images browsed by the user by the category to extract the corresponding normalized semantic feature vector, and obtains the interest weight vector of the user under each category;
  • a sorting module which performs inner product on the feature vector corresponding to the image not viewed by the user under the category according to the interest weight vector of each user pushed by the user browsing behavior weight calculation module The score value corresponding to each image that the user does not view, and then sorted according to the obtained score value, and the specified image with a high score value is selected and stored in the library;
  • the search invocation module performs a personalized search based on the ranking result of the sorting module.
  • the personalized image search method based on the product image of the present invention includes:
  • a category image calculation step respectively calculating mean and variance in the dimension for the abstract semantic feature vector of each dimension, and performing normalization processing according to each dimension;
  • the user browses the behavior weight calculation step, which sums the corresponding normalized semantic feature vectors by the category extraction for all the corresponding images browsed by the user, and obtains the interest weight vector of the user under each category;
  • the search invocation step performs a personalized search based on the sorted value result of the sorting step.
  • the invention is directed to a product image in the field of electronic commerce, combined with the deep semantic feature of the image, and performs personalized search according to the browsing behavior of the user, thereby being able to increase the user in multiple dimensions.
  • Experience value is provided.
  • FIG. 1 is a block diagram showing a personalized search device based on a product image feature according to the present invention.
  • FIG. 2 is a flow chart showing a personalized search method based on product image features according to the present invention.
  • the invention mainly uses the neural network to extract the abstract semantic feature vector of the image, and calculates the mean and variance of the feature vector of each image under each category in each dimension, according to the image browsed by each user, according to the extracted behavior of each browsing behavior.
  • the feature vector is normalized and then summed to obtain the user's interest weight.
  • the interest weight is used to inner product of the feature vector of each image under the category to obtain the score value of the image, and then the result after sorting is used. For personalized search.
  • FIG. 1 is a block diagram showing a personalized search device 1 based on a product image feature according to the present invention.
  • the personalized image search device 1 mainly includes a feature extraction module 2, a category image calculation module 3, a user browsing behavior weight calculation module 4, a ranking module 5, and a search invocation module 6.
  • the feature extraction module 2 extracts an abstract semantic feature vector of the image by category using the neural network model, and pushes the abstract semantic feature vector to the category image calculation module 3.
  • the category image calculation module 3 receives the abstract semantic feature vector of the image pushed from the feature extraction module 2, and calculates the mean ⁇ i and the variance ⁇ i in the dimension for the abstract semantic feature vector of each dimension, respectively, and The abstract semantic feature vector of the image, normalized according to each dimension
  • the browsing behavior is de-duplicated (multiple browsing is once again) to avoid the influence of the user's wrong click, and in addition, all corresponding images browsed by the user are extracted according to the category.
  • the normalized feature vectors are summed to obtain the interest weight vector of the user under each category, and the obtained interest weight vector of each user under each category is pushed to the sorting module 5.
  • the sorting module 5 is based on the interest weight vector (w 1 , w 2 , . . . , w n ) of each user pushed from the user browsing behavior weight calculation module 4 under the category, and the image not viewed by the user under the category.
  • Corresponding feature vector to do inner product The score values corresponding to each image that the user does not view are obtained, and then sorted according to the obtained score values, and the Top-N is selected and stored in the library, and all the categories are performed according to the above steps.
  • the personalized search is performed according to the browsing behavior of the user, so that the user's experience value in multiple dimensions can be increased.
  • FIG. 2 is a flow chart showing a personalized search method based on product image features according to the present invention.
  • the sorting step S4 according to the interest weight vector of each user under a certain category, the inner product of the feature vector corresponding to the image not viewed by the user under the category is internally generated, and corresponding to each image that the user does not view is obtained.
  • the score value is then sorted according to the obtained score value. After Top-N is selected, all the categories are processed according to the above steps.
  • the personalized search is performed according to the browsing behavior of the user, thereby increasing the user's experience value in multiple dimensions.
  • the different calculation methods of the interest weight vector will affect the final result.
  • the user's browsing cycle is different, and the user's desire to purchase the product is different, which will affect the final result.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Library & Information Science (AREA)
  • Accounting & Taxation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Finance (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

一种基于商品图像特征的个性化搜索装置（1），其包括：特征提取模块（2），其利用神经网络模型提取图像的抽象语义特征向量；品类图像计算模块（3），其对于每一维度的所述抽象语义特征向量分别计算在该维度下的均值与方差，并且按照每一维度做归一化处理；用户浏览行为权重计算模块（4），其对用户浏览的图像按品类提取相应归一化的所述抽象语义特征向量进行求和，得到该用户在各个品类下的兴趣权重向量；排序模块（5），其根据每个用户在某一品类下的所述兴趣权重向量，对该品类下用户没有观看的图像对应的特征向量做内积，得到每一张图像对应的得分值，根据该得分值进行排序，选取得分值高的规定张的图像之后入库；搜索调用模块（6），其根据排序值结果，进行个性化搜索。

Description

基于商品图像特征的个性化搜索装置及方法
本申请要求于2015年6月5日递交的、申请号为201510303163.1、发明名称为“基于商品图像特征的个性化搜索装置及方法”的中国专利申请的优先权，其全部内容通过引用并入本申请中。
技术领域
本发明涉及一种电子商务领域中基于商品图像特征的个性化搜索装置及方法。
背景技术
现有的个性化搜索，一般先进行用户、商品、场景的语义、统计、文字等的特征提取，然后根据各种搜索、排序算法得到最后的结果。在现有搜索中，鲜有基于用户浏览商品图片的行为进行个性化搜索。
发明内容
本发明提供一种基于商品图像特征的个性化搜索装置及方法，其根据电子商务领域的商品图像，利用神经网络提取出商品图像的深层抽象语义特征向量，按品类把用户的浏览行为进行归类，根据提取出的深层抽象语义特征向量，计算出用户在各个品类下的兴趣权重，对于每个用户按品类利用兴趣权重得到用户在该品类下的排序值结果，用于个性化的搜索，由此能够增加用户在多个维度上的体验值。
本发明的基于商品图像特征的个性化搜索装置，其包括：
特征提取模块，其利用神经网络模型，按品类提取图像的抽象语义特征向量，
先对图像提取HOG特征，将图像灰度化，计算图像中每个像素的梯度，将图像划分成8x8个小块，计算每个块的梯度直方图形成该图像块的Descriptor，将2x2的小块串联起来得到16个大块，每个大块的Descriptor是小块Descriptor的串联，整个图像的HOG特征是16个大块的Descriptor 串联，HOG特征作为神经网络的输入信号，神经网络输出信号作为图像的特征向量；
品类图像计算模块，其接收从所述特征提取模块推送来的图像的抽象语义特征向量，对于每一维度的抽象语义特征向量分别计算在该维度下的均值与方差，并且按照每一维度做归一化处理；
用户浏览行为权重计算模块，其对用户浏览的所有对应的图像按品类提取相应归一化的所述抽象语义特征向量进行求和，得到该用户在各个品类下的兴趣权重向量；
排序模块，其根据从所述用户浏览行为权重计算模块推送来的每个用户在某一品类下的所述兴趣权重向量，对该品类下用户没有观看的图像对应的特征向量做内积，得到用户没有观看的每一张图像对应的得分值，然后根据所得到的得分值进行排序，选取得分值高的规定张图像之后入库；
搜索调用模块，其根据所述排序模块的排序值结果，进行个性化的搜索。
本发明的基于商品图像特征的个性化搜索方法，其包括：
特征提取步骤，利用神经网络模型，按品类提取图像的抽象语义特征向量；
品类图像计算步骤，对于每一维度的所述抽象语义特征向量分别计算在该维度下的均值与方差，并且按照每一维度做归一化处理；
用户浏览行为权重计算步骤，其对用户浏览的所有对应的图像按品类提取相应归一化的所述抽象语义特征向量进行求和，得到该用户在各个品类下的兴趣权重向量；
排序步骤，根据每个用户在某一品类下的所述兴趣权重向量，对该品类下用户没有观看的图像对应的特征向量做内积，得到用户没有观看的每一张图像对应的得分值，然后根据所得到的得分值进行排序，选取得分值高的规定张图像之后入库；
搜索调用步骤，根据所述排序步骤的排序值结果，进行个性化的搜索。
发明的效果
本发明是针对电子商务领域的商品图像，结合图像的深度语义特征，根据用户的浏览行为，进行个性化搜索，由此能够增加用户在多个维度上 的体验值。
附图说明
图1是表示本发明所涉及的基于商品图像特征的个性化搜索装置的框图。
图2是表示本发明所涉及的基于商品图像特征的个性化搜索方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明主要利用神经网络进行图像的抽象语义特征向量提取，计算品类下所有图像的特征向量在每一维度下的均值与方差，根据每一个用户浏览的图像，对每一个浏览行为按照提取出来的特征向量归一化后求和处理，得到该用户的兴趣权重，然后用这个兴趣权重对该品类下每张图像的特征向量做内积而得到该图像的得分值，然后排序之后的结果用于个性化搜索。
图1是表示本发明所涉及的基于商品图像特征的个性化搜索装置1的框图。
本发明所涉及的基于商品图像特征的个性化搜索装置1主要包括特征提取模块2、品类图像计算模块3、用户浏览行为权重计算模块4、排序模块5及搜索调用模块6。
特征提取模块2利用神经网络模型，按品类提取图像的抽象语义特征向量，并将该抽象语义特征向量推送至品类图像计算模块3。
由于从图像提取出来的抽象语义特征向量，在多维分布上存在很大的不均衡性，因此为了避免部分偏移量过大带来的影响，需要每多维分布进行归一化处理。为此，品类图像计算模块3接收从特征提取模块2推送来的图像的抽象语义特征向量，对于每一维度的抽象语义特征向量分别计算在该维度下的均值μi与方差σi，并且对于图像的抽象语义特征向量，按照每一维度做归一化处理
Figure PCTCN2016079042-appb-000001
在用户浏览行为权重计算模块4中，对浏览行为进行去重处理(多次浏览相同归成一次)，以避免用户错误点击造成的影响，另外，对用户浏览的所有对应的图像按品类提取相应归一化的特征向量进行求和，得到该用户在各个品类下的兴趣权重向量，并将得到的用户在各个品类下的兴趣权重向量推送至排序模块5。
排序模块5根据从用户浏览行为权重计算模块4推送来的每个用户在某一品类下的兴趣权重向量(w1，w2，…，wn，)，对该品类下用户没有观看的图像对应的特征向量做内积
Figure PCTCN2016079042-appb-000002
得到用户没有观看的每一张图像对应的得分值，然后根据所得到的得分值进行排序，选取Top-N之后入库，所有品类都根据以上步骤进行。
在搜索调用模块6中，可以有以下两种策略进行选择：
(1)对应现有的搜索结果，查看每一个商品对应图像的得分值，最后在搜索结果中进行排序并输出；或者
(2)对于搜索词进行语义分析后，对应到某一品类，取这一个品类Top-N图像对应的商品作为个性化的搜索结果。
根据上述本发明的基于商品图像特征的个性化搜索装置1，通过结合图像的深度语义特征，根据用户的浏览行为，进行个性化搜索，从而能够增加用户在多个维度上的体验值。
下面，结合图2来说明本发明所涉及的基于商品图像特征的个性化搜索方法。
图2是表示本发明所涉及的基于商品图像特征的个性化搜索方法的流程图。
如图2所示，首先在特征提取步骤S1中，主要包括以下两个子步骤：
(1)利用神经网络模型，按品类提取图像的抽象语义特征向量；
(2)将提取的图像深层特征向量推送至品类图像计算步骤。
由于从图像提取出来的抽象语义特征向量，在多维分布上存在很大的不均衡性，因此为了避免部分偏移量过大带来的影响，需要每多维分布进 行归一化处理。
为此，在品类图像计算步骤S2中，包括以下两个子步骤：
(1)对于每一维度的抽象语义特征向量分别计算在该维度下的均值μi与方差σi；
(2)对于图像的抽象语义特征向量，按照每一维度做归一化处理
Figure PCTCN2016079042-appb-000003
接着，在用户浏览行为权重计算步骤S3中，主要包括以下三个子步骤：
(1)对浏览行为进行去重处理，以避免用户错误点击造成的影响；
(2)对用户浏览的所有对应的图像按品类提取相应归一化的特征向量进行求和，得到该用户在各个品类下的兴趣权重向量；
(3)把得到的用户在各个品类下的所有兴趣权重向量推送至排序步骤。
接着，在排序步骤S4中，根据每个用户在某一品类下的兴趣权重向量，对该品类下用户没有观看的图像对应的特征向量做内积，得到用户没有观看的每一张图像对应的得分值，然后根据所得到的得分值进行排序选取Top-N之后入库，所有品类都根据以上步骤进行。
接着，在搜索调用步骤S5中，可以有两种策略进行选择：
(1)对应现有的搜索结果，查看每一个商品对应图像的得分值，最后在搜索结果中进行排序并输出；
(2)对于搜索词进行语义分析后，对应到某一品类，取这一个品类Top-N图像对应的商品作为个性化的搜索结果。
根据上述本发明的基于商品图像特征的个性化搜索方法，通过结合图像的深度语义特征，根据用户的浏览行为，进行个性化搜索，从而能够增加用户在多个维度上的体验值。
另外，兴趣权重向量计算方式不同会影响最终的结果，用户浏览周期不同、以及考虑用户对商品购买欲望的衰减不同，也会影响最终的结果。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进 行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种基于商品图像特征的个性化搜索装置，其包括：
    特征提取模块，其利用神经网络模型，按品类提取图像的抽象语义特征向量，
    先对图像提取HOG特征，将图像灰度化，计算图像中每个像素的梯度，将图像划分成8x8个小块，计算每个块的梯度直方图形成该图像块的Descriptor，将2x2的小块串联起来得到16个大块，每个大块的Descriptor是小块Descriptor的串联，整个图像的HOG特征是16个大块的Descriptor串联，HOG特征作为神经网络的输入信号，神经网络输出信号作为图像的特征向量；
    品类图像计算模块，其接收从所述特征提取模块推送来的图像的抽象语义特征向量，对于每一维度的抽象语义特征向量分别计算在该维度下的均值与方差，并且按照每一维度做归一化处理；
    用户浏览行为权重计算模块，其对用户浏览的所有对应的图像按品类提取相应归一化的所述抽象语义特征向量进行求和，得到该用户在各个品类下的兴趣权重向量；
    排序模块，其根据从所述用户浏览行为权重计算模块推送来的每个用户在某一品类下的所述兴趣权重向量，对该品类下用户没有观看的图像对应的特征向量做内积，得到用户没有观看的每一张图像对应的得分值，然后根据所得到的得分值进行排序，选取得分值高的规定张图像之后入库；
    搜索调用模块，其根据所述排序模块的排序值结果，进行个性化的搜索。
  2. 根据权利要求1所述基于商品图像特征的个性化搜索装置，其特征在于，
    所述搜索调用模块对应现有的搜索结果，查看每一个商品对应图像的得分值，最后在搜索结果中进行排序并输出。
  3. 根据权利要求1所述基于商品图像特征的个性化搜索装置，其特征在于，
    所述搜索调用模块在对用户的搜索词进行语义分析后，将其对应到某一品类，取这一个品类得分值高的规定张图像对应的商品作为个性化的搜索结果。
  4. 根据权利要求1～3的任一项所述基于商品图像特征的个性化搜索装置，其特征在于，
    在设所述均值为μi，所述方差为σi时，所述归一化处理的结果为
    Figure PCTCN2016079042-appb-100001
  5. 根据权利要求1～3的任一项所述基于商品图像特征的个性化搜索装置，其特征在于，
    在所述用户浏览行为权重计算模块中，对浏览行为进行去重处理。
  6. 一种基于商品图像特征的个性化搜索方法，其包括：
    特征提取步骤，利用神经网络模型，按品类提取图像的抽象语义特征向量；
    品类图像计算步骤，对于每一维度的所述抽象语义特征向量分别计算在该维度下的均值与方差，并且按照每一维度做归一化处理；
    用户浏览行为权重计算步骤，其对用户浏览的所有对应的图像按品类提取相应归一化的所述抽象语义特征向量进行求和，得到该用户在各个品类下的兴趣权重向量；
    排序步骤，根据每个用户在某一品类下的所述兴趣权重向量，对该品类下用户没有观看的图像对应的特征向量做内积，得到用户没有观看的每一张图像对应的得分值，然后根据所得到的得分值进行排序，选取得分值高的规定张图像之后入库；
    搜索调用步骤，根据所述排序步骤的排序值结果，进行个性化的搜索。
  7. 根据权利要求6所述基于商品图像特征的个性化搜索装置，其特征在于，
    在所述搜索调用步骤中，对应现有的搜索结果，查看每一个商品对应图像的得分值，最后在搜索结果中进行排序并输出。
  8. 根据权利要求6所述基于商品图像特征的个性化搜索装置，其特 征在于，
    在所述搜索调用步骤中，在对用户的搜索词进行语义分析后，将其对应到某一品类，取这一个品类得分值高的规定张图像对应的商品作为个性化的搜索结果。
  9. 根据权利要求6～8的任一项所述基于商品图像特征的个性化搜索装置，其特征在于，
    在设所述均值为μi，所述方差为σi时，所述归一化处理的结果为
    Figure PCTCN2016079042-appb-100002
  10. 根据权利要求6～8的任一项所述基于商品图像特征的个性化搜索装置，其特征在于，
    在所述用户浏览行为权重计算步骤中，对浏览行为进行去重处理。
PCT/CN2016/079042 2015-06-05 2016-04-12 基于商品图像特征的个性化搜索装置及方法 Ceased WO2016192465A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017563190A JP6494804B2 (ja) 2015-06-05 2016-04-12 商品画像特徴に基づく個性化捜索装置および方法
US15/579,392 US20180357258A1 (en) 2015-06-05 2016-04-12 Personalized search device and method based on product image features
RU2017142112A RU2697739C2 (ru) 2015-06-05 2016-04-12 Устройство и способ персонализированного поиска на основе признаков изображения продукта

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510303163.1 2015-06-05
CN201510303163.1A CN104881798A (zh) 2015-06-05 2015-06-05 基于商品图像特征的个性化搜索装置及方法

Publications (1)

Publication Number Publication Date
WO2016192465A1 true WO2016192465A1 (zh) 2016-12-08

Family

ID=53949284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/079042 Ceased WO2016192465A1 (zh) 2015-06-05 2016-04-12 基于商品图像特征的个性化搜索装置及方法

Country Status (6)

Country Link
US (1) US20180357258A1 (zh)
JP (1) JP6494804B2 (zh)
CN (1) CN104881798A (zh)
HK (1) HK1212074A1 (zh)
RU (1) RU2697739C2 (zh)
WO (1) WO2016192465A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353540A (zh) * 2020-02-28 2020-06-30 创新奇智(青岛)科技有限公司 商品类别识别方法及装置、电子设备、存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881798A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 基于商品图像特征的个性化搜索装置及方法
CN107577682B (zh) * 2016-07-05 2021-06-29 上海交通大学 基于社交图片的用户兴趣挖掘和用户推荐方法及系统
CN108287857B (zh) * 2017-02-13 2021-02-26 腾讯科技（深圳）有限公司 表情图片推荐方法及装置
WO2018145577A1 (zh) * 2017-02-08 2018-08-16 腾讯科技（深圳）有限公司 表情推荐方法和装置
CN108665064B (zh) * 2017-03-31 2021-12-14 创新先进技术有限公司 神经网络模型训练、对象推荐方法及装置
CN108182621A (zh) * 2017-12-07 2018-06-19 合肥美的智能科技有限公司 商品推荐方法及商品推荐装置、设备和存储介质
CN108615177B (zh) * 2018-04-09 2021-09-03 武汉理工大学 基于加权提取兴趣度的电子终端个性化推荐方法
CN108683734B (zh) * 2018-05-15 2021-04-09 广州虎牙信息科技有限公司 品类推送方法、装置及存储设备、计算机设备
US11538083B2 (en) * 2018-05-17 2022-12-27 International Business Machines Corporation Cognitive fashion product recommendation system, computer program product, and method
US11120070B2 (en) * 2018-05-21 2021-09-14 Microsoft Technology Licensing, Llc System and method for attribute-based visual search over a computer communication network
CN111435514B (zh) * 2019-01-15 2024-04-09 北京京东尚科信息技术有限公司 特征计算方法和装置、排序方法和设备、存储介质
CN111491202B (zh) * 2019-01-29 2021-06-15 广州市百果园信息技术有限公司 一种视频发布方法、装置、设备和存储介质
US11604818B2 (en) 2019-05-06 2023-03-14 Apple Inc. Behavioral curation of media assets
US11200445B2 (en) 2020-01-22 2021-12-14 Home Depot Product Authority, Llc Determining visually similar products
CN112000756B (zh) * 2020-08-21 2024-09-17 上海商汤智能科技有限公司 轨迹预测的方法、装置、电子设备及存储介质
CN112149566B (zh) * 2020-09-23 2025-02-25 上海商汤智能科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113420142A (zh) * 2021-05-08 2021-09-21 广东恒宇信息科技有限公司 一种个性化自动文摘算法
US12136250B2 (en) * 2021-05-27 2024-11-05 Adobe Inc. Extracting attributes from arbitrary digital images utilizing a multi-attribute contrastive classification neural network
CN113869178B (zh) * 2021-09-18 2022-07-15 合肥工业大学 一种基于时空维度的特征提取系统、视频质量评价系统
CN115080865B (zh) * 2022-08-19 2022-11-04 山东智豆数字科技有限公司 基于多维数据分析的电商数据运营管理系统
CN116992068B (zh) * 2023-07-18 2025-03-21 西北工业大学 一种用户需求驱动的关键数据提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303615A1 (en) * 2011-05-24 2012-11-29 Ebay Inc. Image-based popularity prediction
CN103544216A (zh) * 2013-09-23 2014-01-29 Tcl集团股份有限公司 一种结合图像内容和关键字的信息推荐方法及系统
CN104317834A (zh) * 2014-10-10 2015-01-28 浙江大学 一种基于深度神经网络的跨媒体排序方法
CN104881798A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 基于商品图像特征的个性化搜索装置及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5899999A (en) * 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
JP2002189753A (ja) * 2000-12-22 2002-07-05 Minolta Co Ltd 画像管理装置、画像管理方法および画像管理プログラムを記録したコンピュータ読取可能な記録媒体
US7664735B2 (en) * 2004-04-30 2010-02-16 Microsoft Corporation Method and system for ranking documents of a search result to improve diversity and information richness
US20060074883A1 (en) * 2004-10-05 2006-04-06 Microsoft Corporation Systems, methods, and interfaces for providing personalized search and information access
US8165406B2 (en) * 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
US20090313239A1 (en) * 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
US8972410B2 (en) * 2008-07-30 2015-03-03 Hewlett-Packard Development Company, L.P. Identifying related objects in a computer database
RU2420800C2 (ru) * 2009-06-30 2011-06-10 Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ поиска похожих по смысловому содержимому электронных документов, размещенных на устройствах хранения данных
US20110047163A1 (en) * 2009-08-24 2011-02-24 Google Inc. Relevance-Based Image Selection
JP5714599B2 (ja) * 2009-12-02 2015-05-07 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ イメージ認識のための記述子パッチの高速部分空間射影
JP2012164026A (ja) * 2011-02-03 2012-08-30 Nippon Soken Inc 画像認識装置及び車両用表示装置
JP5214760B2 (ja) * 2011-03-23 2013-06-19 株式会社東芝 学習装置、方法及びプログラム
CN102855245A (zh) * 2011-06-28 2013-01-02 北京百度网讯科技有限公司 一种用于确定图片相似度的方法与设备
CN103049446B (zh) * 2011-10-13 2016-01-27 中国移动通信集团公司 一种图像检索方法及装置
JP2013214230A (ja) * 2012-04-03 2013-10-17 Denso It Laboratory Inc 運転支援装置、運転支援方法及びコンピュータプログラム
US9230266B2 (en) * 2012-10-23 2016-01-05 Adamatic Inc. Systems and methods for generating customized advertisements
JP6113018B2 (ja) * 2013-08-01 2017-04-12 セコム株式会社 対象検出装置
KR102120864B1 (ko) * 2013-11-06 2020-06-10 삼성전자주식회사 영상 처리 방법 및 장치
CN103544316B (zh) * 2013-11-06 2017-02-08 苏州大拿信息技术有限公司 Url过滤的系统及其实现方法
JP2015094973A (ja) * 2013-11-08 2015-05-18 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体
US20150356199A1 (en) * 2014-06-06 2015-12-10 Microsoft Corporation Click-through-based cross-view learning for internet searches
CN104408405B (zh) * 2014-11-03 2018-06-15 北京畅景立达软件技术有限公司 人脸表示和相似度计算方法
CN104504055B (zh) * 2014-12-19 2017-12-26 常州飞寻视讯信息科技有限公司 基于图像相似度的商品相似计算方法及商品推荐系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120303615A1 (en) * 2011-05-24 2012-11-29 Ebay Inc. Image-based popularity prediction
CN103544216A (zh) * 2013-09-23 2014-01-29 Tcl集团股份有限公司 一种结合图像内容和关键字的信息推荐方法及系统
CN104317834A (zh) * 2014-10-10 2015-01-28 浙江大学 一种基于深度神经网络的跨媒体排序方法
CN104881798A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 基于商品图像特征的个性化搜索装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIA, SHIJIE ET AL.: "Product Image Fine-grained Classification Based on Convolutional Neural Network", JOURNAL OF SHANDONG UNIVERSITY OF SCIENCE AND TECHNOLOGY ( NATURAL SCIENCE, vol. 33, no. 6, 31 December 2014 (2014-12-31) *
QIU, ZHAOWEN ET AL.: "Individuation Image Retrieval Based on User Multimedia Data Management Model", CHINESE JOURNAL OF ELECTRONICS, vol. 36, no. 9, 30 September 2008 (2008-09-30) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353540A (zh) * 2020-02-28 2020-06-30 创新奇智(青岛)科技有限公司 商品类别识别方法及装置、电子设备、存储介质
CN111353540B (zh) * 2020-02-28 2023-07-18 创新奇智(青岛)科技有限公司 商品类别识别方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
JP6494804B2 (ja) 2019-04-03
CN104881798A (zh) 2015-09-02
RU2017142112A3 (zh) 2019-06-04
US20180357258A1 (en) 2018-12-13
RU2017142112A (ru) 2019-06-04
HK1212074A1 (zh) 2016-06-03
JP2018522339A (ja) 2018-08-09
RU2697739C2 (ru) 2019-08-19

Similar Documents

Publication Publication Date Title
WO2016192465A1 (zh) 基于商品图像特征的个性化搜索装置及方法
EP2866421B1 (en) Method and apparatus for identifying a same user in multiple social networks
CN103838864B (zh) 一种视觉显著性与短语相结合的图像检索方法
CN103544216B (zh) 一种结合图像内容和关键字的信息推荐方法及系统
JP6049693B2 (ja) ウェブ情報マイニングを用いたビデオ内製品アノテーション
US20170124618A1 (en) Methods and Systems for Image-Based Searching of Product Inventory
CN106202362A (zh) 图像推荐方法和图像推荐装置
TW201314628A (zh) 圖像的質量分析方法及裝置
CN103336835B (zh) 基于权值color‑sift特征字典的图像检索方法
CN108108662A (zh) 深度神经网络识别模型及识别方法
CN111444387A (zh) 视频分类方法、装置、计算机设备和存储介质
CN105630975B (zh) 一种信息处理方法和电子设备
CN107103514A (zh) 商品性别标签确定方法和装置
CN107329954B (zh) 一种基于文档内容和相互关系的主题检测方法
CN110287341B (zh) 一种数据处理方法、装置以及可读存储介质
CN106295673B (zh) 物品信息处理方法及处理装置
CN113627542A (zh) 一种事件信息处理方法、服务器及存储介质
CN112417845B (zh) 一种文本评价方法、装置、电子设备及存储介质
CN113920406B (zh) 神经网络训练及分类方法、装置、设备及存储介质
CN105512333A (zh) 基于情感倾向的产品评论主题搜索方法
CN102103641A (zh) 在用户浏览网络图像中添加图标广告的方法
CN110503162A (zh) 一种媒体信息流行度预测方法、装置和设备
CN111400551B (zh) 一种视频分类方法、电子设备和存储介质
CN110321565B (zh) 基于深度学习的实时文本情感分析方法、装置及设备
CN111476642A (zh) 一种基于社交平台用户头像分析的保险推荐方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16802388

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017563190

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2017142112

Country of ref document: RU

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 13/02/2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16802388

Country of ref document: EP

Kind code of ref document: A1