RU2017142112A - Устройство и способ персонализированного поиска на основе признаков изображения продукта - Google Patents
Устройство и способ персонализированного поиска на основе признаков изображения продукта Download PDFInfo
- Publication number
- RU2017142112A RU2017142112A RU2017142112A RU2017142112A RU2017142112A RU 2017142112 A RU2017142112 A RU 2017142112A RU 2017142112 A RU2017142112 A RU 2017142112A RU 2017142112 A RU2017142112 A RU 2017142112A RU 2017142112 A RU2017142112 A RU 2017142112A
- Authority
- RU
- Russia
- Prior art keywords
- image
- user
- category
- search
- product
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Library & Information Science (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Claims (25)
1. Устройство персонализированного поиска на основе признаков изображения продукта, содержащее:
модуль извлечения признаков, выполненный с возможностью извлечения, с применением модели нейронной сети, вектора абстрактных семантических признаков изображения по категории,
причем модуль извлечения признаков дополнительно выполнен с возможностью извлечения признака гистограммы направленных градиентов (HOG) из изображения посредством перевода изображения в оттенки серого, вычисления градиента каждого пикселя в изображении, разделения изображения на блоки 8 × 8, вычисления гистограммы градиентов каждого блока с формированием дескриптора блока и соединения блоков 2 × 2 последовательно с получением 16 фрагментов, причем дескриптор каждого фрагмента представляет собой соединение дескрипторов блоков, и признак HOG всего изображения представляет собой соединение дескрипторов 16 фрагментов; и при этом признак HOG используется как входной сигнал нейронной сети, и выходной сигнал выхода нейронной сети используется как вектор признаков изображения;
модуль вычисления изображения категории, выполненный с возможностью приема вектора абстрактных семантических признаков изображения с модуля извлечения признаков, вычисления среднего значения и дисперсии вектора абстрактных семантических признаков соответственно для каждого измерения и выполнения процесса нормирования, в каждом измерении, на векторе абстрактных семантических признаков;
модуль вычисления веса поведения пользователя при просмотре, выполненный с возможностью сложения нормированных векторов абстрактных семантических признаков, извлеченных по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;
модуль ранжирования, выполненный с возможностью нахождения, согласно весовому вектору заинтересованности каждого пользователя для категории из модуля вычисления веса поведения пользователя при просмотре, скалярного произведения на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжирования изображений согласно полученным балльным оценкам; и выбора предопределенного количества изображений с наивысшими балльными оценками для хранения; и
модуль задействования поиска, выполненный с возможностью осуществления персонализированного поиска на основе результата ранжирования модуля ранжирования.
2. Устройство персонализированного поиска на основе признаков изображения продукта по п. 1, отличающееся тем, что модуль задействования поиска выполнен с возможностью проверки балльной оценки изображения, соответствующего каждому продукту в существующем результате поиска, и ранжирования и выдачи балльных оценок в результате поиска.
3. Устройство персонализированного поиска на основе признаков изображения продукта по п. 1, отличающееся тем, что модуль задействования поиска выполнен с возможностью, после проведения семантического анализа на объекте поиска пользователя, отображения объекта поиска пользователя на категорию и взятия продукта, соответствующего предопределенному количеству изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.
где i обозначает измерение признака.
5. Устройство персонализированного поиска на основе признаков изображения продукта по любому из пп. 1—3, отличающееся тем, что модуль вычисления веса поведения пользователя при просмотре выполнен с возможностью удаления повторения поведения при просмотре.
6. Способ персонализированного поиска на основе признаков изображения продукта, включающий:
этап извлечения признака, на котором извлекают с применением модели нейронной сети вектор абстрактных семантических признаков изображения по категории,
этап вычисления изображения категории, на котором вычисляют среднее значение и дисперсию вектора абстрактных семантических признаков соответственно для каждого измерения и выполняют процесс нормирования, в каждом измерении, на векторе абстрактных семантических признаков;
этап вычисления веса поведения пользователя при просмотре, на котором складывают нормированные векторы абстрактных семантических признаков, извлеченные по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;
этап ранжирования, на котором находят, согласно весовому вектору заинтересованности каждого пользователя для категории, скалярное произведение на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжируют изображения согласно полученным балльным оценкам; и выбирают предопределенное количество изображений с наивысшими балльными оценками для хранения; и
этап задействования поиска, на котором выполняют персонализированный поиск на основе результата ранжирования этапа ранжирования.
7. Способ персонализированного поиска на основе признаков изображения продукта по п. 6, отличающийся тем, что этап задействования поиска включает проверку балльной оценки изображения, соответствующего каждому продукту, в существующем результате поиска и ранжирование и выдачу балльных оценок в результате поиска.
8. Способ персонализированного поиска на основе признаков изображения продукта по п. 6, отличающийся тем, что этап задействования поиска включает проведение семантического анализа на объекте поиска пользователя, отображение объекта поиска пользователя на категорию и взятие продукта, соответствующего предопределенному количеству изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.
где i обозначает измерение признака.
10. Способ персонализированного поиска на основе признаков изображения продукта по любому из пп. 6—8, отличающийся тем, что этап вычисления веса поведения пользователя при просмотре включает удаление повторения поведения при просмотре.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510303163.1 | 2015-06-05 | ||
CN201510303163.1A CN104881798A (zh) | 2015-06-05 | 2015-06-05 | 基于商品图像特征的个性化搜索装置及方法 |
PCT/CN2016/079042 WO2016192465A1 (zh) | 2015-06-05 | 2016-04-12 | 基于商品图像特征的个性化搜索装置及方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2017142112A true RU2017142112A (ru) | 2019-06-04 |
RU2017142112A3 RU2017142112A3 (ru) | 2019-06-04 |
RU2697739C2 RU2697739C2 (ru) | 2019-08-19 |
Family
ID=53949284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2017142112A RU2697739C2 (ru) | 2015-06-05 | 2016-04-12 | Устройство и способ персонализированного поиска на основе признаков изображения продукта |
Country Status (6)
Country | Link |
---|---|
US (1) | US20180357258A1 (ru) |
JP (1) | JP6494804B2 (ru) |
CN (1) | CN104881798A (ru) |
HK (1) | HK1212074A1 (ru) |
RU (1) | RU2697739C2 (ru) |
WO (1) | WO2016192465A1 (ru) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881798A (zh) * | 2015-06-05 | 2015-09-02 | 北京京东尚科信息技术有限公司 | 基于商品图像特征的个性化搜索装置及方法 |
CN107577682B (zh) * | 2016-07-05 | 2021-06-29 | 上海交通大学 | 基于社交图片的用户兴趣挖掘和用户推荐方法及系统 |
WO2018145577A1 (zh) * | 2017-02-08 | 2018-08-16 | 腾讯科技(深圳)有限公司 | 表情推荐方法和装置 |
CN108287857B (zh) * | 2017-02-13 | 2021-02-26 | 腾讯科技(深圳)有限公司 | 表情图片推荐方法及装置 |
CN108665064B (zh) * | 2017-03-31 | 2021-12-14 | 创新先进技术有限公司 | 神经网络模型训练、对象推荐方法及装置 |
CN108182621A (zh) * | 2017-12-07 | 2018-06-19 | 合肥美的智能科技有限公司 | 商品推荐方法及商品推荐装置、设备和存储介质 |
CN108615177B (zh) * | 2018-04-09 | 2021-09-03 | 武汉理工大学 | 基于加权提取兴趣度的电子终端个性化推荐方法 |
CN108683734B (zh) * | 2018-05-15 | 2021-04-09 | 广州虎牙信息科技有限公司 | 品类推送方法、装置及存储设备、计算机设备 |
US11538083B2 (en) * | 2018-05-17 | 2022-12-27 | International Business Machines Corporation | Cognitive fashion product recommendation system, computer program product, and method |
US11120070B2 (en) * | 2018-05-21 | 2021-09-14 | Microsoft Technology Licensing, Llc | System and method for attribute-based visual search over a computer communication network |
CN111435514B (zh) * | 2019-01-15 | 2024-04-09 | 北京京东尚科信息技术有限公司 | 特征计算方法和装置、排序方法和设备、存储介质 |
CN111491202B (zh) * | 2019-01-29 | 2021-06-15 | 广州市百果园信息技术有限公司 | 一种视频发布方法、装置、设备和存储介质 |
US11604818B2 (en) | 2019-05-06 | 2023-03-14 | Apple Inc. | Behavioral curation of media assets |
US11200445B2 (en) | 2020-01-22 | 2021-12-14 | Home Depot Product Authority, Llc | Determining visually similar products |
CN111353540B (zh) * | 2020-02-28 | 2023-07-18 | 创新奇智(青岛)科技有限公司 | 商品类别识别方法及装置、电子设备、存储介质 |
CN112000756B (zh) * | 2020-08-21 | 2024-09-17 | 上海商汤智能科技有限公司 | 轨迹预测的方法、装置、电子设备及存储介质 |
CN112149566A (zh) * | 2020-09-23 | 2020-12-29 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN113420142A (zh) * | 2021-05-08 | 2021-09-21 | 广东恒宇信息科技有限公司 | 一种个性化自动文摘算法 |
US20220383037A1 (en) * | 2021-05-27 | 2022-12-01 | Adobe Inc. | Extracting attributes from arbitrary digital images utilizing a multi-attribute contrastive classification neural network |
CN113869178B (zh) * | 2021-09-18 | 2022-07-15 | 合肥工业大学 | 一种基于时空维度的特征提取系统、视频质量评价系统 |
CN115080865B (zh) * | 2022-08-19 | 2022-11-04 | 山东智豆数字科技有限公司 | 基于多维数据分析的电商数据运营管理系统 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5899999A (en) * | 1996-10-16 | 1999-05-04 | Microsoft Corporation | Iterative convolution filter particularly suited for use in an image classification and retrieval system |
JP2002189753A (ja) * | 2000-12-22 | 2002-07-05 | Minolta Co Ltd | 画像管理装置、画像管理方法および画像管理プログラムを記録したコンピュータ読取可能な記録媒体 |
US7664735B2 (en) * | 2004-04-30 | 2010-02-16 | Microsoft Corporation | Method and system for ranking documents of a search result to improve diversity and information richness |
US20060074883A1 (en) * | 2004-10-05 | 2006-04-06 | Microsoft Corporation | Systems, methods, and interfaces for providing personalized search and information access |
US8165406B2 (en) * | 2007-12-12 | 2012-04-24 | Microsoft Corp. | Interactive concept learning in image search |
US20090313239A1 (en) * | 2008-06-16 | 2009-12-17 | Microsoft Corporation | Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking |
US8972410B2 (en) * | 2008-07-30 | 2015-03-03 | Hewlett-Packard Development Company, L.P. | Identifying related objects in a computer database |
RU2420800C2 (ru) * | 2009-06-30 | 2011-06-10 | Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | Способ поиска похожих по смысловому содержимому электронных документов, размещенных на устройствах хранения данных |
US20110047163A1 (en) * | 2009-08-24 | 2011-02-24 | Google Inc. | Relevance-Based Image Selection |
EP2507743A2 (en) * | 2009-12-02 | 2012-10-10 | QUALCOMM Incorporated | Fast subspace projection of descriptor patches for image recognition |
JP2012164026A (ja) * | 2011-02-03 | 2012-08-30 | Nippon Soken Inc | 画像認識装置及び車両用表示装置 |
JP5214760B2 (ja) * | 2011-03-23 | 2013-06-19 | 株式会社東芝 | 学習装置、方法及びプログラム |
US8977629B2 (en) * | 2011-05-24 | 2015-03-10 | Ebay Inc. | Image-based popularity prediction |
CN102855245A (zh) * | 2011-06-28 | 2013-01-02 | 北京百度网讯科技有限公司 | 一种用于确定图片相似度的方法与设备 |
CN103049446B (zh) * | 2011-10-13 | 2016-01-27 | 中国移动通信集团公司 | 一种图像检索方法及装置 |
JP2013214230A (ja) * | 2012-04-03 | 2013-10-17 | Denso It Laboratory Inc | 運転支援装置、運転支援方法及びコンピュータプログラム |
US9230266B2 (en) * | 2012-10-23 | 2016-01-05 | Adamatic Inc. | Systems and methods for generating customized advertisements |
JP6113018B2 (ja) * | 2013-08-01 | 2017-04-12 | セコム株式会社 | 対象検出装置 |
CN103544216B (zh) * | 2013-09-23 | 2017-06-06 | Tcl集团股份有限公司 | 一种结合图像内容和关键字的信息推荐方法及系统 |
CN103544316B (zh) * | 2013-11-06 | 2017-02-08 | 苏州大拿信息技术有限公司 | Url过滤的系统及其实现方法 |
KR102120864B1 (ko) * | 2013-11-06 | 2020-06-10 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
JP2015094973A (ja) * | 2013-11-08 | 2015-05-18 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体 |
US20150356199A1 (en) * | 2014-06-06 | 2015-12-10 | Microsoft Corporation | Click-through-based cross-view learning for internet searches |
CN104317834B (zh) * | 2014-10-10 | 2017-09-29 | 浙江大学 | 一种基于深度神经网络的跨媒体排序方法 |
CN104408405B (zh) * | 2014-11-03 | 2018-06-15 | 北京畅景立达软件技术有限公司 | 人脸表示和相似度计算方法 |
CN104504055B (zh) * | 2014-12-19 | 2017-12-26 | 常州飞寻视讯信息科技有限公司 | 基于图像相似度的商品相似计算方法及商品推荐系统 |
CN104881798A (zh) * | 2015-06-05 | 2015-09-02 | 北京京东尚科信息技术有限公司 | 基于商品图像特征的个性化搜索装置及方法 |
-
2015
- 2015-06-05 CN CN201510303163.1A patent/CN104881798A/zh active Pending
- 2015-12-18 HK HK15112534.1A patent/HK1212074A1/xx unknown
-
2016
- 2016-04-12 RU RU2017142112A patent/RU2697739C2/ru active
- 2016-04-12 WO PCT/CN2016/079042 patent/WO2016192465A1/zh active Application Filing
- 2016-04-12 US US15/579,392 patent/US20180357258A1/en not_active Abandoned
- 2016-04-12 JP JP2017563190A patent/JP6494804B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6494804B2 (ja) | 2019-04-03 |
WO2016192465A1 (zh) | 2016-12-08 |
CN104881798A (zh) | 2015-09-02 |
US20180357258A1 (en) | 2018-12-13 |
RU2697739C2 (ru) | 2019-08-19 |
JP2018522339A (ja) | 2018-08-09 |
RU2017142112A3 (ru) | 2019-06-04 |
HK1212074A1 (en) | 2016-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2017142112A (ru) | Устройство и способ персонализированного поиска на основе признаков изображения продукта | |
CN108701216B (zh) | 一种人脸脸型识别方法、装置和智能终端 | |
US10268820B2 (en) | Malware determination device, malware determination system, malware determination method, and program | |
US10289927B2 (en) | Image integration search based on human visual pathway model | |
CN107590255B (zh) | 信息推送方法和装置 | |
CN109190111A (zh) | 一种文档正文关键词提取方法及装置 | |
RU2016119495A (ru) | Способ и устройство для определения ассоциированного пользователя | |
RU2015124052A (ru) | Интегрированное фенотипирование с использованием признаков текстуры изображения | |
CN105869640A (zh) | 识别针对当前页面中的实体的语音控制指令的方法和装置 | |
GB2581048A (en) | Artificially intelligent ejection fraction determination | |
KR102616487B1 (ko) | 딥 러닝을 사용하여 맞춤형 제품 추천들을 제공하기 위한 시스템들 및 방법들 | |
CN113360711B (zh) | 视频理解任务的模型训练和执行方法、装置、设备及介质 | |
WO2016107125A1 (zh) | 信息搜索方法及装置 | |
US9906588B2 (en) | Server and method for extracting content for commodity | |
RU2017116859A (ru) | Классификация состояния исследуемой ткани на основании лонгитудинальных признаков | |
JP2016197406A5 (ru) | ||
US20170068738A1 (en) | Retrieval method, retrieval apparatus, and non-transitory recording medium storing retrieval program recorded therein | |
RU2016136710A (ru) | Способ и устройство для получения результатов поиска | |
JP2021018459A5 (ru) | ||
CN113704623A (zh) | 一种数据推荐方法、装置、设备及存储介质 | |
CN107392191B (zh) | 身份判定方法、装置及电子设备 | |
US20160188680A1 (en) | Electronic device and information searching method for the electronic device | |
CN108734209A (zh) | 基于多图像的特征识别和设备 | |
CN103177105A (zh) | 一种图像检索方法及装置 | |
CN110895555B (zh) | 数据检索方法和装置、存储介质及电子装置 |