RU2017142112A - Устройство и способ персонализированного поиска на основе признаков изображения продукта - Google Patents

Устройство и способ персонализированного поиска на основе признаков изображения продукта Download PDF

Info

Publication number
RU2017142112A
RU2017142112A RU2017142112A RU2017142112A RU2017142112A RU 2017142112 A RU2017142112 A RU 2017142112A RU 2017142112 A RU2017142112 A RU 2017142112A RU 2017142112 A RU2017142112 A RU 2017142112A RU 2017142112 A RU2017142112 A RU 2017142112A
Authority
RU
Russia
Prior art keywords
image
user
category
search
product
Prior art date
Application number
RU2017142112A
Other languages
English (en)
Other versions
RU2697739C2 (ru
RU2017142112A3 (ru
Inventor
Жуго БУ
Чуань МОУ
Original Assignee
Бейджин Цзиндун Шанкэ Информейшн Текнолоджи Ко., Лтд.
Бейджин Цзиндун Сенчери Трейдинг Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Бейджин Цзиндун Шанкэ Информейшн Текнолоджи Ко., Лтд., Бейджин Цзиндун Сенчери Трейдинг Ко., Лтд. filed Critical Бейджин Цзиндун Шанкэ Информейшн Текнолоджи Ко., Лтд.
Publication of RU2017142112A publication Critical patent/RU2017142112A/ru
Publication of RU2017142112A3 publication Critical patent/RU2017142112A3/ru
Application granted granted Critical
Publication of RU2697739C2 publication Critical patent/RU2697739C2/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/11Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Claims (25)

1. Устройство персонализированного поиска на основе признаков изображения продукта, содержащее:
модуль извлечения признаков, выполненный с возможностью извлечения, с применением модели нейронной сети, вектора абстрактных семантических признаков изображения по категории,
причем модуль извлечения признаков дополнительно выполнен с возможностью извлечения признака гистограммы направленных градиентов (HOG) из изображения посредством перевода изображения в оттенки серого, вычисления градиента каждого пикселя в изображении, разделения изображения на блоки 8 × 8, вычисления гистограммы градиентов каждого блока с формированием дескриптора блока и соединения блоков 2 × 2 последовательно с получением 16 фрагментов, причем дескриптор каждого фрагмента представляет собой соединение дескрипторов блоков, и признак HOG всего изображения представляет собой соединение дескрипторов 16 фрагментов; и при этом признак HOG используется как входной сигнал нейронной сети, и выходной сигнал выхода нейронной сети используется как вектор признаков изображения;
модуль вычисления изображения категории, выполненный с возможностью приема вектора абстрактных семантических признаков изображения с модуля извлечения признаков, вычисления среднего значения и дисперсии вектора абстрактных семантических признаков соответственно для каждого измерения и выполнения процесса нормирования, в каждом измерении, на векторе абстрактных семантических признаков;
модуль вычисления веса поведения пользователя при просмотре, выполненный с возможностью сложения нормированных векторов абстрактных семантических признаков, извлеченных по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;
модуль ранжирования, выполненный с возможностью нахождения, согласно весовому вектору заинтересованности каждого пользователя для категории из модуля вычисления веса поведения пользователя при просмотре, скалярного произведения на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжирования изображений согласно полученным балльным оценкам; и выбора предопределенного количества изображений с наивысшими балльными оценками для хранения; и
модуль задействования поиска, выполненный с возможностью осуществления персонализированного поиска на основе результата ранжирования модуля ранжирования.
2. Устройство персонализированного поиска на основе признаков изображения продукта по п. 1, отличающееся тем, что модуль задействования поиска выполнен с возможностью проверки балльной оценки изображения, соответствующего каждому продукту в существующем результате поиска, и ранжирования и выдачи балльных оценок в результате поиска.
3. Устройство персонализированного поиска на основе признаков изображения продукта по п. 1, отличающееся тем, что модуль задействования поиска выполнен с возможностью, после проведения семантического анализа на объекте поиска пользователя, отображения объекта поиска пользователя на категорию и взятия продукта, соответствующего предопределенному количеству изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.
4. Устройство персонализированного поиска на основе признаков изображения продукта по любому из пп. 1—3, отличающееся тем, что принимая, что среднее значение равно
Figure 00000001
, а дисперсия равна
Figure 00000002
, результат процесса нормирования представляет собой
Figure 00000003
,
где i обозначает измерение признака.
5. Устройство персонализированного поиска на основе признаков изображения продукта по любому из пп. 1—3, отличающееся тем, что модуль вычисления веса поведения пользователя при просмотре выполнен с возможностью удаления повторения поведения при просмотре.
6. Способ персонализированного поиска на основе признаков изображения продукта, включающий:
этап извлечения признака, на котором извлекают с применением модели нейронной сети вектор абстрактных семантических признаков изображения по категории,
этап вычисления изображения категории, на котором вычисляют среднее значение и дисперсию вектора абстрактных семантических признаков соответственно для каждого измерения и выполняют процесс нормирования, в каждом измерении, на векторе абстрактных семантических признаков;
этап вычисления веса поведения пользователя при просмотре, на котором складывают нормированные векторы абстрактных семантических признаков, извлеченные по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;
этап ранжирования, на котором находят, согласно весовому вектору заинтересованности каждого пользователя для категории, скалярное произведение на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжируют изображения согласно полученным балльным оценкам; и выбирают предопределенное количество изображений с наивысшими балльными оценками для хранения; и
этап задействования поиска, на котором выполняют персонализированный поиск на основе результата ранжирования этапа ранжирования.
7. Способ персонализированного поиска на основе признаков изображения продукта по п. 6, отличающийся тем, что этап задействования поиска включает проверку балльной оценки изображения, соответствующего каждому продукту, в существующем результате поиска и ранжирование и выдачу балльных оценок в результате поиска.
8. Способ персонализированного поиска на основе признаков изображения продукта по п. 6, отличающийся тем, что этап задействования поиска включает проведение семантического анализа на объекте поиска пользователя, отображение объекта поиска пользователя на категорию и взятие продукта, соответствующего предопределенному количеству изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.
9. Способ персонализированного поиска на основе признаков изображения продукта по любому из пп. 6—8, отличающийся тем, что принимая, что среднее значение равно
Figure 00000001
, а дисперсия равна
Figure 00000002
, результат процесса нормирования представляет собой
Figure 00000003
,
где i обозначает измерение признака.
10. Способ персонализированного поиска на основе признаков изображения продукта по любому из пп. 6—8, отличающийся тем, что этап вычисления веса поведения пользователя при просмотре включает удаление повторения поведения при просмотре.
RU2017142112A 2015-06-05 2016-04-12 Устройство и способ персонализированного поиска на основе признаков изображения продукта RU2697739C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510303163.1 2015-06-05
CN201510303163.1A CN104881798A (zh) 2015-06-05 2015-06-05 基于商品图像特征的个性化搜索装置及方法
PCT/CN2016/079042 WO2016192465A1 (zh) 2015-06-05 2016-04-12 基于商品图像特征的个性化搜索装置及方法

Publications (3)

Publication Number Publication Date
RU2017142112A true RU2017142112A (ru) 2019-06-04
RU2017142112A3 RU2017142112A3 (ru) 2019-06-04
RU2697739C2 RU2697739C2 (ru) 2019-08-19

Family

ID=53949284

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017142112A RU2697739C2 (ru) 2015-06-05 2016-04-12 Устройство и способ персонализированного поиска на основе признаков изображения продукта

Country Status (6)

Country Link
US (1) US20180357258A1 (ru)
JP (1) JP6494804B2 (ru)
CN (1) CN104881798A (ru)
HK (1) HK1212074A1 (ru)
RU (1) RU2697739C2 (ru)
WO (1) WO2016192465A1 (ru)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881798A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 基于商品图像特征的个性化搜索装置及方法
CN107577682B (zh) * 2016-07-05 2021-06-29 上海交通大学 基于社交图片的用户兴趣挖掘和用户推荐方法及系统
WO2018145577A1 (zh) * 2017-02-08 2018-08-16 腾讯科技(深圳)有限公司 表情推荐方法和装置
CN108287857B (zh) * 2017-02-13 2021-02-26 腾讯科技(深圳)有限公司 表情图片推荐方法及装置
CN108665064B (zh) * 2017-03-31 2021-12-14 创新先进技术有限公司 神经网络模型训练、对象推荐方法及装置
CN108182621A (zh) * 2017-12-07 2018-06-19 合肥美的智能科技有限公司 商品推荐方法及商品推荐装置、设备和存储介质
CN108615177B (zh) * 2018-04-09 2021-09-03 武汉理工大学 基于加权提取兴趣度的电子终端个性化推荐方法
CN108683734B (zh) * 2018-05-15 2021-04-09 广州虎牙信息科技有限公司 品类推送方法、装置及存储设备、计算机设备
US11538083B2 (en) * 2018-05-17 2022-12-27 International Business Machines Corporation Cognitive fashion product recommendation system, computer program product, and method
US11120070B2 (en) * 2018-05-21 2021-09-14 Microsoft Technology Licensing, Llc System and method for attribute-based visual search over a computer communication network
CN111435514B (zh) * 2019-01-15 2024-04-09 北京京东尚科信息技术有限公司 特征计算方法和装置、排序方法和设备、存储介质
CN111491202B (zh) * 2019-01-29 2021-06-15 广州市百果园信息技术有限公司 一种视频发布方法、装置、设备和存储介质
US11604818B2 (en) 2019-05-06 2023-03-14 Apple Inc. Behavioral curation of media assets
US11200445B2 (en) 2020-01-22 2021-12-14 Home Depot Product Authority, Llc Determining visually similar products
CN111353540B (zh) * 2020-02-28 2023-07-18 创新奇智(青岛)科技有限公司 商品类别识别方法及装置、电子设备、存储介质
CN112000756B (zh) * 2020-08-21 2024-09-17 上海商汤智能科技有限公司 轨迹预测的方法、装置、电子设备及存储介质
CN112149566A (zh) * 2020-09-23 2020-12-29 上海商汤智能科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113420142A (zh) * 2021-05-08 2021-09-21 广东恒宇信息科技有限公司 一种个性化自动文摘算法
US20220383037A1 (en) * 2021-05-27 2022-12-01 Adobe Inc. Extracting attributes from arbitrary digital images utilizing a multi-attribute contrastive classification neural network
CN113869178B (zh) * 2021-09-18 2022-07-15 合肥工业大学 一种基于时空维度的特征提取系统、视频质量评价系统
CN115080865B (zh) * 2022-08-19 2022-11-04 山东智豆数字科技有限公司 基于多维数据分析的电商数据运营管理系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5899999A (en) * 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
JP2002189753A (ja) * 2000-12-22 2002-07-05 Minolta Co Ltd 画像管理装置、画像管理方法および画像管理プログラムを記録したコンピュータ読取可能な記録媒体
US7664735B2 (en) * 2004-04-30 2010-02-16 Microsoft Corporation Method and system for ranking documents of a search result to improve diversity and information richness
US20060074883A1 (en) * 2004-10-05 2006-04-06 Microsoft Corporation Systems, methods, and interfaces for providing personalized search and information access
US8165406B2 (en) * 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
US20090313239A1 (en) * 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
US8972410B2 (en) * 2008-07-30 2015-03-03 Hewlett-Packard Development Company, L.P. Identifying related objects in a computer database
RU2420800C2 (ru) * 2009-06-30 2011-06-10 Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ поиска похожих по смысловому содержимому электронных документов, размещенных на устройствах хранения данных
US20110047163A1 (en) * 2009-08-24 2011-02-24 Google Inc. Relevance-Based Image Selection
EP2507743A2 (en) * 2009-12-02 2012-10-10 QUALCOMM Incorporated Fast subspace projection of descriptor patches for image recognition
JP2012164026A (ja) * 2011-02-03 2012-08-30 Nippon Soken Inc 画像認識装置及び車両用表示装置
JP5214760B2 (ja) * 2011-03-23 2013-06-19 株式会社東芝 学習装置、方法及びプログラム
US8977629B2 (en) * 2011-05-24 2015-03-10 Ebay Inc. Image-based popularity prediction
CN102855245A (zh) * 2011-06-28 2013-01-02 北京百度网讯科技有限公司 一种用于确定图片相似度的方法与设备
CN103049446B (zh) * 2011-10-13 2016-01-27 中国移动通信集团公司 一种图像检索方法及装置
JP2013214230A (ja) * 2012-04-03 2013-10-17 Denso It Laboratory Inc 運転支援装置、運転支援方法及びコンピュータプログラム
US9230266B2 (en) * 2012-10-23 2016-01-05 Adamatic Inc. Systems and methods for generating customized advertisements
JP6113018B2 (ja) * 2013-08-01 2017-04-12 セコム株式会社 対象検出装置
CN103544216B (zh) * 2013-09-23 2017-06-06 Tcl集团股份有限公司 一种结合图像内容和关键字的信息推荐方法及系统
CN103544316B (zh) * 2013-11-06 2017-02-08 苏州大拿信息技术有限公司 Url过滤的系统及其实现方法
KR102120864B1 (ko) * 2013-11-06 2020-06-10 삼성전자주식회사 영상 처리 방법 및 장치
JP2015094973A (ja) * 2013-11-08 2015-05-18 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体
US20150356199A1 (en) * 2014-06-06 2015-12-10 Microsoft Corporation Click-through-based cross-view learning for internet searches
CN104317834B (zh) * 2014-10-10 2017-09-29 浙江大学 一种基于深度神经网络的跨媒体排序方法
CN104408405B (zh) * 2014-11-03 2018-06-15 北京畅景立达软件技术有限公司 人脸表示和相似度计算方法
CN104504055B (zh) * 2014-12-19 2017-12-26 常州飞寻视讯信息科技有限公司 基于图像相似度的商品相似计算方法及商品推荐系统
CN104881798A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 基于商品图像特征的个性化搜索装置及方法

Also Published As

Publication number Publication date
JP6494804B2 (ja) 2019-04-03
WO2016192465A1 (zh) 2016-12-08
CN104881798A (zh) 2015-09-02
US20180357258A1 (en) 2018-12-13
RU2697739C2 (ru) 2019-08-19
JP2018522339A (ja) 2018-08-09
RU2017142112A3 (ru) 2019-06-04
HK1212074A1 (en) 2016-06-03

Similar Documents

Publication Publication Date Title
RU2017142112A (ru) Устройство и способ персонализированного поиска на основе признаков изображения продукта
CN108701216B (zh) 一种人脸脸型识别方法、装置和智能终端
US10268820B2 (en) Malware determination device, malware determination system, malware determination method, and program
US10289927B2 (en) Image integration search based on human visual pathway model
CN107590255B (zh) 信息推送方法和装置
CN109190111A (zh) 一种文档正文关键词提取方法及装置
RU2016119495A (ru) Способ и устройство для определения ассоциированного пользователя
RU2015124052A (ru) Интегрированное фенотипирование с использованием признаков текстуры изображения
CN105869640A (zh) 识别针对当前页面中的实体的语音控制指令的方法和装置
GB2581048A (en) Artificially intelligent ejection fraction determination
KR102616487B1 (ko) 딥 러닝을 사용하여 맞춤형 제품 추천들을 제공하기 위한 시스템들 및 방법들
CN113360711B (zh) 视频理解任务的模型训练和执行方法、装置、设备及介质
WO2016107125A1 (zh) 信息搜索方法及装置
US9906588B2 (en) Server and method for extracting content for commodity
RU2017116859A (ru) Классификация состояния исследуемой ткани на основании лонгитудинальных признаков
JP2016197406A5 (ru)
US20170068738A1 (en) Retrieval method, retrieval apparatus, and non-transitory recording medium storing retrieval program recorded therein
RU2016136710A (ru) Способ и устройство для получения результатов поиска
JP2021018459A5 (ru)
CN113704623A (zh) 一种数据推荐方法、装置、设备及存储介质
CN107392191B (zh) 身份判定方法、装置及电子设备
US20160188680A1 (en) Electronic device and information searching method for the electronic device
CN108734209A (zh) 基于多图像的特征识别和设备
CN103177105A (zh) 一种图像检索方法及装置
CN110895555B (zh) 数据检索方法和装置、存储介质及电子装置