RU2697739C2 - Устройство и способ персонализированного поиска на основе признаков изображения продукта - Google Patents

Устройство и способ персонализированного поиска на основе признаков изображения продукта Download PDF

Info

Publication number
RU2697739C2
RU2697739C2 RU2017142112A RU2017142112A RU2697739C2 RU 2697739 C2 RU2697739 C2 RU 2697739C2 RU 2017142112 A RU2017142112 A RU 2017142112A RU 2017142112 A RU2017142112 A RU 2017142112A RU 2697739 C2 RU2697739 C2 RU 2697739C2
Authority
RU
Russia
Prior art keywords
user
image
category
search
images
Prior art date
Application number
RU2017142112A
Other languages
English (en)
Other versions
RU2017142112A3 (ru
RU2017142112A (ru
Inventor
Жуго БУ
Чуань МОУ
Original Assignee
Бейджин Цзиндун Шанкэ Информейшн Текнолоджи Ко., Лтд.
Бейджин Цзиндун Сенчери Трейдинг Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Бейджин Цзиндун Шанкэ Информейшн Текнолоджи Ко., Лтд., Бейджин Цзиндун Сенчери Трейдинг Ко., Лтд. filed Critical Бейджин Цзиндун Шанкэ Информейшн Текнолоджи Ко., Лтд.
Publication of RU2017142112A3 publication Critical patent/RU2017142112A3/ru
Publication of RU2017142112A publication Critical patent/RU2017142112A/ru
Application granted granted Critical
Publication of RU2697739C2 publication Critical patent/RU2697739C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

Изобретение относится к способу персонализированного поиска на основе признаков изображения продукта. Технический результат заключается в повышении релевантности персонализированного поиска. Способ включает извлечение с применением модели нейронной сети вектора абстрактных семантических признаков изображения по категории, вычисление среднего значения и дисперсии вектора абстрактных семантических признаков соответственно для каждого измерения и выполнение процесса нормирования в каждом измерении на векторе абстрактных семантических признаков, вычисление веса поведения пользователя при просмотре, при этом складывают нормированные векторы абстрактных семантических признаков, извлеченные по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории, нахождение скалярного произведения на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем, ранжирование изображения согласно полученным балльным оценкам, выбор предопределенного количества изображений с наивысшими балльными оценками для хранения, персонализированный поиск на основе результата ранжирования этапа ранжирования. 2 н. и 8 з.п. ф-лы, 2 ил.

Description

ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ
Эта заявка заявляет приоритет заявки на патент Китая № 201510303163,1, поданной 5 июня 2015 г. под названием «PERSONALIZED SEARCH DEVICE AND METHOD BASED ON PRODUCT IMAGE FEATURES», которая посредством ссылки включена в данный документ во всей своей полноте.
Область техники
Настоящее изобретение относится к устройству и способу персонализированного поиска, который основан на признаках изображения продукта, в отрасли электронной торговли.
Предпосылки изобретения
Существующий способ персонализированного поиска в целом выполняет извлечение таких признаков как пользователи, продукты, семантика места действия, статистика и тексты, и затем получает окончательный результат согласно различным алгоритмам поиска и ранжирования. Среди существующих способов поиска не существует такого способа персонализированного поиска, который основан на поведении пользователей, осуществляющих просмотр изображений продуктов.
Сущность изобретения
Настоящее изобретение предусматривает устройство персонализированного поиска и способ персонализированного поиска на основе признаков изображения продукта, которые используют нейронную сеть для извлечения векторов глубоких абстрактных семантических признаков изображений продукта согласно изображениям продукта в отрасли электронной торговли, классифицируют поведение пользователя при просмотре в категориях, вычисляют вес заинтересованности пользователя для каждой категории согласно извлеченным векторам глубоких абстрактных семантических признаков и получают результат ранжирования пользователя для каждой категории в соответствии с весом заинтересованности пользователя для этой категории, который используют для персонализированного поиска и, таким образом, улучшают впечатление пользователя во многих измерениях.
Настоящее изобретение предусматривает устройство персонализированного поиска на основе признаков изображения продукта, содержащее:
модуль извлечения признаков, выполненный с возможностью извлечения, с применением модели нейронной сети, вектора абстрактных семантических признаков изображения по категории,
который извлекает признак гистограммы направленных градиентов (HOG) из изображения посредством перевода изображения в оттенки серого, вычисления градиента каждого пикселя в изображении, разделения изображения на блоки 8 × 8, вычисления гистограммы градиентов каждого блока с формированием дескриптора блока и соединения блоков 2 × 2 блоков изображения последовательно с получением 16 фрагментов, причем дескриптор каждого фрагмента представляет собой соединение дескрипторов блоков, и признак HOG всего изображения представляет собой соединение дескрипторов 16 фрагментов; и при этом признак HOG используется как входной сигнал нейронной сети, и выходной сигнал выхода нейронной сети используется как вектор признаков изображения;
модуль вычисления изображения категории, выполненный с возможностью приема вектора абстрактных семантических признаков изображения с модуля извлечения признаков, вычисления среднего значения и дисперсии вектора абстрактных семантических признаков соответственно для каждого измерения и выполнения процесса нормирования в каждом измерении на векторе абстрактных семантических признаков;
модуль вычисления веса поведения пользователя при просмотре, выполненный с возможностью сложения нормированных векторов абстрактных семантических признаков, извлеченных по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;
модуль ранжирования, выполненный с возможностью нахождения, согласно весовому вектору заинтересованности каждого пользователя для категории из модуля вычисления веса поведения пользователя при просмотре, скалярного произведения на векторах признака изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжирования изображений согласно полученным балльным оценкам; и выбора предопределенного количества изображений с наивысшими балльными оценками для хранения; и
модуль задействования поиска, выполненный с возможностью осуществления персонализированного поиска на основе результата ранжирования модуля ранжирования.
Настоящее изобретение предусматривает способ персонализированного поиска на основе признаков изображения продукта, включающий:
этап извлечения признака, на котором извлекают с применением модели нейронной сети вектор абстрактных семантических признаков изображения по категории,
этап вычисления изображения категории, на котором вычисляют среднее значение и дисперсию вектора абстрактных семантических признаков соответственно для каждого измерения и выполняют процесс нормирования, в каждом измерении, на векторе абстрактных семантических признаков;
этап вычисления веса поведения пользователя при просмотре, на котором складывают нормированные векторы абстрактных семантических признаков, извлеченные по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;
этап ранжирования, на котором находят, согласно весовому вектору заинтересованности каждого пользователя для категории, скалярное произведение на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжируют изображения согласно полученным балльным оценкам; и выбирают предопределенное количество изображений с наивысшими балльными оценками для хранения; и
этап задействования поиска, на котором выполняют персонализированный поиск на основе результата ранжирования этапа ранжирования.
Эффект изобретения
Настоящее изобретение направлено на изображения продуктов в отрасли электронной торговли. В настоящем изобретении предлагается персонализированный поиск, выполняемый с учетом поведения пользователя при просмотре в сочетании с глубокими семантическими признаками изображения, таким образом, улучшающий впечатления пользователя во многих измерениях.
Краткое описание графических материалов
Фиг. 1 представляет собой структурную схему устройства персонализированного поиска, основанного на признаках изображения продукта, согласно одному варианту осуществления настоящего изобретения.
Фиг. 2 представляет собой блок-схему способа персонализированного поиска на основе признаков изображения продукта, основанного на признаках изображения продукта, согласно одному варианту осуществления настоящего изобретения.
Подробное описание
Для прояснения целей, технических решений и преимуществ настоящего изобретения настоящее изобретение далее описано более подробно со ссылкой на сопутствующие графические материалы.
Согласно настоящему изобретению вектор абстрактных семантических признаков изображения извлекают с применением нейронной сети, вычисляют среднее значение и дисперсию векторов признаков всех изображений для каждой категории в каждом измерении и извлеченные векторы признаков изображений, просмотренных пользователем, нормируют и суммируют с получением веса заинтересованности пользователя, который используют для получения скалярного произведения на векторах признаков каждого изображения для категории с целью получения балльной оценки изображения. Балльные оценки изображений ранжируют, и результат ранжирования используют для персонализированного поиска.
Фиг. 1 представляет собой структурную схему устройства 1 персонализированного поиска, основанного на признаках изображения продукта, согласно одному варианту осуществления настоящего изобретения.
Устройство 1 персонализированного поиска, основанного на признаках изображения продукта, согласно настоящему изобретению может включать модуль 2 извлечения признаков, модуль 3 вычисления изображения категории, модуль 4 вычисления веса поведения пользователя при просмотре, модуль 5 ранжирования и модуль 6 задействования поиска.
Модуль 2 извлечения признаков выполнен с возможностью извлечения, с применением модели нейронной сети, вектора абстрактных семантических признаков изображения по категориям и передачи вектора абстрактных семантических признаков в модуль 3 вычисления изображения категории.
Поскольку вектор абстрактных семантических признаков, извлеченный из изображений, имеет большую неравномерность в многомерных распределениях, выполнение процесса нормирования необходимо на каждом из многомерных распределений для исключения влияний, вызванных слишком большими деталями смещений. С этой целью модуль 3 вычисления изображения категории выполнен с возможностью приема вектора абстрактных семантических признаков изображения, переданного с модуля 2 извлечения признаков, вычисления среднего значения
Figure 00000001
и дисперсии
Figure 00000002
вектора абстрактных семантических признаков соответственно для каждого измерения и выполнения процесса нормирования, в каждом измерении, на векторе абстрактных семантических признаков, согласно формуле:
Figure 00000003
,
где i обозначает измерение признака.
Модуль 4 вычисления веса поведения пользователя при просмотре выполнен с возможностью удаления повторений поведения при просмотре, т. е. с восприятием многократного просмотра одного и того же изображения как одного и того же поведения при просмотре, с целью устранения влияния ошибочного нажатия пользователем. Кроме того, модуль 4 вычисления веса поведения пользователя при просмотре выполнен с возможностью сложения нормированных векторов абстрактных семантических значений, извлеченных по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории и передачи полученного весового вектора заинтересованности пользователя для каждой категории на модуль 5 ранжирования.
Модуль 5 ранжирования выполнен с возможностью получения согласно весовому вектору
Figure 00000004
заинтересованности каждого пользователя для категории, переданных с модуля 4 вычисления веса поведения пользователя при просмотре, скалярного произведения
Figure 00000005
на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем, где xi обозначает вектор признаков в измерении i, wi обозначает вес заинтересованности в измерении i и весовой вектор
Figure 00000004
заинтересованности обозначает весовой вектор заинтересованности с n-мерными весами заинтересованности; ранжирования изображений согласно полученным балльным оценкам; и выбора предопределенного количества N изображений с наивысшими балльными оценками (Top-N) для хранения. Вышеописанный процесс повторяют для каждой из всех категорий.
Модуль 6 задействования поиска может быть выполнен с возможностью осуществления поиска согласно одной из следующих стратегий:
(1) проверки балльной оценки изображения, соответствующего каждому продукту, в существующем результате поиска и ранжирования и выдачи балльных оценок в результате поиска; или
(2) проведения семантического анализа на объекте поиска пользователя, отображения объекта поиска пользователя на категорию и взятия продукта, соответствующего предопределенному количеству N изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.
Устройство 1 персонализированного поиска на основе признаков изображения продукта согласно настоящему изобретению выполняет персонализированный поиск с учетом поведения пользователя при просмотре в сочетании с глубокими семантическими признаками изображения, таким образом улучшая впечатления пользователя во многих измерениях.
Далее способ персонализированного поиска на основе признаков изображения продукта согласно настоящему изобретению будет описан со ссылкой на фиг. 2.
Фиг. 2 представляет собой блок-схему способа персонализированного поиска на основе признаков изображения продукта согласно настоящему изобретению.
Как представлено на фиг. 2, этап S1 извлечения признаков включает два подэтапа:
(1) извлечение, с применением модели нейронной сети, вектора абстрактных семантических признаков изображения по категории;
(2) передача извлеченного вектора абстрактных семантических признаков на этап вычисления изображения категории.
Поскольку вектор абстрактных семантических признаков, извлеченный из изображений, имеет большую неравномерность в многомерных распределениях, выполнение процесса нормирования необходимо на каждом из многомерных распределений для исключения влияний, вызванных слишком большими деталями смещений.
С этой целью этап S2 вычисления изображения категории включает два подэтапа:
(1) вычисление среднего значения
Figure 00000001
и дисперсии
Figure 00000002
вектора абстрактных семантических признаков соответственно для каждого измерения;
(2) выполнения процесса нормирования, в каждом измерении, на векторе абстрактных семантических признаков согласно формуле
Figure 00000006
.
Затем этап S3 вычисления веса поведения пользователя при просмотре в основном включает три подэтапа:
(1) удаление повторения поведения просмотра с целью устранения влияния ошибочного нажатия пользователем;
(2) сложение нормированных векторов абстрактных семантических признаков, извлеченных по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;
(3) передачу полученного весового вектора заинтересованности пользователя для каждой категории на этап ранжирования.
Затем этап S4 ранжирования включает нахождение, согласно весовому вектору заинтересованности каждого пользователя для категории, скалярного произведения на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжирование полученных балльных оценок; и выбор предопределенного количества N изображений с наивысшими балльными оценками для хранения. Вышеописанный процесс повторяют для каждой из всех категорий.
На этапе S5 задействования поиска можно выполнить поиск согласно одной из следующих стратегий:
(1) проверки балльной оценки изображения, соответствующего каждому продукту, в существующем результате поиска и ранжирования и выдачи балльных оценок в результате поиска;
(2) проведения семантического анализа на объекте поиска пользователя, отображения объекта поиска пользователя на категорию и взятия продукта, соответствующего предопределенному количеству N изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.
Способ персонализированного поиска на основе признаков изображения продукта согласно настоящему изобретению выполняет персонализированный поиск с учетом поведения пользователя при просмотре в сочетании с глубокими семантическими признаками изображения, таким образом, улучшая впечатления пользователя во многих измерениях.
Кроме того, вычисление вектора веса заинтересованности будет оказывать влияние на окончательный результат. Также на окончательный результат будут влиять цикл просмотра пользователя и ослабление желания пользователя приобрести продукт.
В приведенных выше конкретных вариантах осуществления цели, технические решения и выгодные эффекты настоящего изобретения описаны более подробно. Следует понимать, что выше представлены только конкретные варианты осуществления настоящего изобретения, и они не предназначены для ограничения настоящего изобретения. Любые модификации, эквивалентные замены, усовершенствования и т. п., сделанные в рамках идеи и принципов настоящего изобретения, следует включать в объем защиты настоящего изобретения.

Claims (25)

1. Устройство персонализированного поиска на основе признаков изображения продукта, содержащее:
модуль извлечения признаков, выполненный с возможностью извлечения, с применением модели нейронной сети, вектора абстрактных семантических признаков изображения по категории,
причем модуль извлечения признаков дополнительно выполнен с возможностью извлечения признака гистограммы направленных градиентов (HOG) из изображения посредством перевода изображения в оттенки серого, вычисления градиента каждого пикселя в изображении, разделения изображения на блоки 8 x 8, вычисления гистограммы градиентов каждого блока с формированием дескриптора блока и соединения блоков 2 x 2 последовательно с получением 16 фрагментов, причем дескриптор каждого фрагмента представляет собой соединение дескрипторов блоков, и признак HOG всего изображения представляет собой соединение дескрипторов 16 фрагментов; и при этом признак HOG используется как входной сигнал нейронной сети, и выходной сигнал выхода нейронной сети используется как вектор признаков изображения;
модуль вычисления изображения категории, выполненный с возможностью приема вектора абстрактных семантических признаков изображения с модуля извлечения признаков, вычисления среднего значения и дисперсии вектора абстрактных семантических признаков соответственно для каждого измерения и выполнения процесса нормирования, в каждом измерении, на векторе абстрактных семантических признаков;
модуль вычисления веса поведения пользователя при просмотре, выполненный с возможностью сложения нормированных векторов абстрактных семантических признаков, извлеченных по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;
модуль ранжирования, выполненный с возможностью нахождения, согласно весовому вектору заинтересованности каждого пользователя для категории из модуля вычисления веса поведения пользователя при просмотре, скалярного произведения на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжирования изображений согласно полученным балльным оценкам; и выбора предопределенного количества изображений с наивысшими балльными оценками для хранения; и
модуль задействования поиска, выполненный с возможностью осуществления персонализированного поиска на основе результата ранжирования модуля ранжирования.
2. Устройство персонализированного поиска на основе признаков изображения продукта по п. 1, отличающееся тем, что модуль задействования поиска выполнен с возможностью проверки балльной оценки изображения, соответствующего каждому продукту в существующем результате поиска, и ранжирования, и выдачи балльных оценок в результате поиска.
3. Устройство персонализированного поиска на основе признаков изображения продукта по п. 1, отличающееся тем, что модуль задействования поиска выполнен с возможностью, после проведения семантического анализа на объекте поиска пользователя, отображения объекта поиска пользователя на категорию и взятия продукта, соответствующего предопределенному количеству изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.
4. Устройство персонализированного поиска на основе признаков изображения продукта по любому из пп. 1-3, отличающееся тем, что принимая, что среднее значение равно
Figure 00000007
, а дисперсия равна
Figure 00000008
, результат процесса нормирования представляет собой
Figure 00000009
,
где i обозначает измерение признака.
5. Устройство персонализированного поиска на основе признаков изображения продукта по любому из пп. 1-3, отличающееся тем, что модуль вычисления веса поведения пользователя при просмотре выполнен с возможностью удаления повторения поведения при просмотре.
6. Способ персонализированного поиска на основе признаков изображения продукта, реализуемый устройством по п. 1 формулы, включающий:
этап извлечения признака, на котором извлекают с применением модели нейронной сети вектор абстрактных семантических признаков изображения по категории,
этап вычисления изображения категории, на котором вычисляют среднее значение и дисперсию вектора абстрактных семантических признаков соответственно для каждого измерения и выполняют процесс нормирования, в каждом измерении, на векторе абстрактных семантических признаков;
этап вычисления веса поведения пользователя при просмотре, на котором складывают нормированные векторы абстрактных семантических признаков, извлеченные по категории из всех изображений, просмотренных пользователем, с получением весового вектора заинтересованности пользователя для каждой категории;
этап ранжирования, на котором находят, согласно весовому вектору заинтересованности каждого пользователя для категории, скалярное произведение на векторах признаков изображений, не просмотренных пользователем для категории, с получением балльной оценки каждого из изображений, не просмотренных пользователем; ранжируют изображения согласно полученным балльным оценкам; и выбирают предопределенное количество изображений с наивысшими балльными оценками для хранения; и
этап задействования поиска, на котором выполняют персонализированный поиск на основе результата ранжирования этапа ранжирования.
7. Способ персонализированного поиска на основе признаков изображения продукта по п. 6, отличающийся тем, что этап задействования поиска включает проверку балльной оценки изображения, соответствующего каждому продукту, в существующем результате поиска и ранжирование, и выдачу балльных оценок в результате поиска.
8. Способ персонализированного поиска на основе признаков изображения продукта по п. 6, отличающийся тем, что этап задействования поиска включает проведение семантического анализа на объекте поиска пользователя, отображение объекта поиска пользователя на категорию и взятие продукта, соответствующего предопределенному количеству изображений, имеющих наивысшие балльные оценки в этой категории, как результата персонализированного поиска.
9. Способ персонализированного поиска на основе признаков изображения продукта по любому из пп. 6-8, отличающийся тем, что принимая, что среднее значение равно
Figure 00000007
, а дисперсия равна
Figure 00000008
, результат процесса нормирования представляет собой
Figure 00000009
,
где i обозначает измерение признака.
10. Способ персонализированного поиска на основе признаков изображения продукта по любому из пп. 6-8, отличающийся тем, что этап вычисления веса поведения пользователя при просмотре включает удаление повторения поведения при просмотре.
RU2017142112A 2015-06-05 2016-04-12 Устройство и способ персонализированного поиска на основе признаков изображения продукта RU2697739C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510303163.1A CN104881798A (zh) 2015-06-05 2015-06-05 基于商品图像特征的个性化搜索装置及方法
CN201510303163.1 2015-06-05
PCT/CN2016/079042 WO2016192465A1 (zh) 2015-06-05 2016-04-12 基于商品图像特征的个性化搜索装置及方法

Publications (3)

Publication Number Publication Date
RU2017142112A3 RU2017142112A3 (ru) 2019-06-04
RU2017142112A RU2017142112A (ru) 2019-06-04
RU2697739C2 true RU2697739C2 (ru) 2019-08-19

Family

ID=53949284

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017142112A RU2697739C2 (ru) 2015-06-05 2016-04-12 Устройство и способ персонализированного поиска на основе признаков изображения продукта

Country Status (6)

Country Link
US (1) US20180357258A1 (ru)
JP (1) JP6494804B2 (ru)
CN (1) CN104881798A (ru)
HK (1) HK1212074A1 (ru)
RU (1) RU2697739C2 (ru)
WO (1) WO2016192465A1 (ru)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881798A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 基于商品图像特征的个性化搜索装置及方法
CN107577682B (zh) * 2016-07-05 2021-06-29 上海交通大学 基于社交图片的用户兴趣挖掘和用户推荐方法及系统
CN108287857B (zh) * 2017-02-13 2021-02-26 腾讯科技（深圳）有限公司 表情图片推荐方法及装置
WO2018145577A1 (zh) * 2017-02-08 2018-08-16 腾讯科技（深圳）有限公司 表情推荐方法和装置
CN108665064B (zh) * 2017-03-31 2021-12-14 创新先进技术有限公司 神经网络模型训练、对象推荐方法及装置
CN108182621A (zh) * 2017-12-07 2018-06-19 合肥美的智能科技有限公司 商品推荐方法及商品推荐装置、设备和存储介质
CN108615177B (zh) * 2018-04-09 2021-09-03 武汉理工大学 基于加权提取兴趣度的电子终端个性化推荐方法
CN108683734B (zh) * 2018-05-15 2021-04-09 广州虎牙信息科技有限公司 品类推送方法、装置及存储设备、计算机设备
US11538083B2 (en) * 2018-05-17 2022-12-27 International Business Machines Corporation Cognitive fashion product recommendation system, computer program product, and method
US11120070B2 (en) * 2018-05-21 2021-09-14 Microsoft Technology Licensing, Llc System and method for attribute-based visual search over a computer communication network
CN111435514B (zh) * 2019-01-15 2024-04-09 北京京东尚科信息技术有限公司 特征计算方法和装置、排序方法和设备、存储介质
CN111491202B (zh) * 2019-01-29 2021-06-15 广州市百果园信息技术有限公司 一种视频发布方法、装置、设备和存储介质
US11604818B2 (en) * 2019-05-06 2023-03-14 Apple Inc. Behavioral curation of media assets
US11200445B2 (en) 2020-01-22 2021-12-14 Home Depot Product Authority, Llc Determining visually similar products
CN111353540B (zh) * 2020-02-28 2023-07-18 创新奇智(青岛)科技有限公司 商品类别识别方法及装置、电子设备、存储介质
CN112000756B (zh) * 2020-08-21 2024-09-17 上海商汤智能科技有限公司 轨迹预测的方法、装置、电子设备及存储介质
CN112149566A (zh) * 2020-09-23 2020-12-29 上海商汤智能科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113420142A (zh) * 2021-05-08 2021-09-21 广东恒宇信息科技有限公司 一种个性化自动文摘算法
US20220383037A1 (en) * 2021-05-27 2022-12-01 Adobe Inc. Extracting attributes from arbitrary digital images utilizing a multi-attribute contrastive classification neural network
CN113869178B (zh) * 2021-09-18 2022-07-15 合肥工业大学 一种基于时空维度的特征提取系统、视频质量评价系统
CN115080865B (zh) * 2022-08-19 2022-11-04 山东智豆数字科技有限公司 基于多维数据分析的电商数据运营管理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2383922C2 (ru) * 2004-04-30 2010-03-10 Майкрософт Корпорейшн Способ и система для ранжирования документов результата поиска для повышения уровня разнообразия и информационной насыщенности
RU2419858C2 (ru) * 2004-10-05 2011-05-27 Майкрософт Корпорейшн Система, способ и интерфейс для обеспечения персонализированного поиска и доступа к информации
RU2420800C2 (ru) * 2009-06-30 2011-06-10 Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ поиска похожих по смысловому содержимому электронных документов, размещенных на устройствах хранения данных
US20120303615A1 (en) * 2011-05-24 2012-11-29 Ebay Inc. Image-based popularity prediction
CN103544316A (zh) * 2013-11-06 2014-01-29 苏州大拿信息技术有限公司 Url过滤的系统及其实现方法
CN104317834A (zh) * 2014-10-10 2015-01-28 浙江大学 一种基于深度神经网络的跨媒体排序方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5899999A (en) * 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
JP2002189753A (ja) * 2000-12-22 2002-07-05 Minolta Co Ltd 画像管理装置、画像管理方法および画像管理プログラムを記録したコンピュータ読取可能な記録媒体
US8165406B2 (en) * 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
US20090313239A1 (en) * 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
US8972410B2 (en) * 2008-07-30 2015-03-03 Hewlett-Packard Development Company, L.P. Identifying related objects in a computer database
US20110047163A1 (en) * 2009-08-24 2011-02-24 Google Inc. Relevance-Based Image Selection
EP2507743A2 (en) * 2009-12-02 2012-10-10 QUALCOMM Incorporated Fast subspace projection of descriptor patches for image recognition
JP2012164026A (ja) * 2011-02-03 2012-08-30 Nippon Soken Inc 画像認識装置及び車両用表示装置
JP5214760B2 (ja) * 2011-03-23 2013-06-19 株式会社東芝 学習装置、方法及びプログラム
CN102855245A (zh) * 2011-06-28 2013-01-02 北京百度网讯科技有限公司 一种用于确定图片相似度的方法与设备
CN103049446B (zh) * 2011-10-13 2016-01-27 中国移动通信集团公司 一种图像检索方法及装置
JP2013214230A (ja) * 2012-04-03 2013-10-17 Denso It Laboratory Inc 運転支援装置、運転支援方法及びコンピュータプログラム
US9230266B2 (en) * 2012-10-23 2016-01-05 Adamatic Inc. Systems and methods for generating customized advertisements
JP6113018B2 (ja) * 2013-08-01 2017-04-12 セコム株式会社 対象検出装置
CN103544216B (zh) * 2013-09-23 2017-06-06 Tcl集团股份有限公司 一种结合图像内容和关键字的信息推荐方法及系统
KR102120864B1 (ko) * 2013-11-06 2020-06-10 삼성전자주식회사 영상 처리 방법 및 장치
JP2015094973A (ja) * 2013-11-08 2015-05-18 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、及び記録媒体
US20150356199A1 (en) * 2014-06-06 2015-12-10 Microsoft Corporation Click-through-based cross-view learning for internet searches
CN104408405B (zh) * 2014-11-03 2018-06-15 北京畅景立达软件技术有限公司 人脸表示和相似度计算方法
CN104504055B (zh) * 2014-12-19 2017-12-26 常州飞寻视讯信息科技有限公司 基于图像相似度的商品相似计算方法及商品推荐系统
CN104881798A (zh) * 2015-06-05 2015-09-02 北京京东尚科信息技术有限公司 基于商品图像特征的个性化搜索装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2383922C2 (ru) * 2004-04-30 2010-03-10 Майкрософт Корпорейшн Способ и система для ранжирования документов результата поиска для повышения уровня разнообразия и информационной насыщенности
RU2419858C2 (ru) * 2004-10-05 2011-05-27 Майкрософт Корпорейшн Система, способ и интерфейс для обеспечения персонализированного поиска и доступа к информации
RU2420800C2 (ru) * 2009-06-30 2011-06-10 Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ поиска похожих по смысловому содержимому электронных документов, размещенных на устройствах хранения данных
US20120303615A1 (en) * 2011-05-24 2012-11-29 Ebay Inc. Image-based popularity prediction
CN103544316A (zh) * 2013-11-06 2014-01-29 苏州大拿信息技术有限公司 Url过滤的系统及其实现方法
CN104317834A (zh) * 2014-10-10 2015-01-28 浙江大学 一种基于深度神经网络的跨媒体排序方法

Also Published As

Publication number Publication date
CN104881798A (zh) 2015-09-02
JP2018522339A (ja) 2018-08-09
WO2016192465A1 (zh) 2016-12-08
JP6494804B2 (ja) 2019-04-03
RU2017142112A3 (ru) 2019-06-04
HK1212074A1 (en) 2016-06-03
RU2017142112A (ru) 2019-06-04
US20180357258A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
RU2697739C2 (ru) Устройство и способ персонализированного поиска на основе признаков изображения продукта
CN107526799B (zh) 一种基于深度学习的知识图谱构建方法
CN112270196B (zh) 实体关系的识别方法、装置及电子设备
US20220012297A1 (en) Embedding Based Retrieval for Image Search
CN107944559B (zh) 一种实体关系自动识别方法及系统
CN112119388A (zh) 训练图像嵌入模型和文本嵌入模型
WO2019140863A1 (en) Method of calculating relevancy, apparatus for calculating relevancy, data query apparatus, and non-transitory computer-readable storage medium
CN106203483B (zh) 一种基于语义相关多模态映射方法的零样本图像分类方法
US20230205813A1 (en) Training Image and Text Embedding Models
CN105095444A (zh) 信息获取方法和装置
CN110929038A (zh) 基于知识图谱的实体链接方法、装置、设备和存储介质
CN105869640A (zh) 识别针对当前页面中的实体的语音控制指令的方法和装置
CN108319888B (zh) 视频类型的识别方法及装置、计算机终端
WO2024036847A1 (zh) 图像处理方法和装置、电子设备和存储介质
CN110414581B (zh) 图片检测方法和装置、存储介质及电子装置
CN110390106B (zh) 基于双向关联的语义消歧方法、装置、设备及存储介质
CN104915399A (zh) 基于新闻标题的推荐数据处理方法及系统
CN113139043B (zh) 问答样本生成方法、装置、电子设备和存储介质
WO2023087667A1 (zh) 用于智能推荐的排序模型训练方法、智能推荐方法及装置
CN112052297A (zh) 信息生成方法、装置、电子设备和计算机可读介质
CN105740879B (zh) 基于多模态判别分析的零样本图像分类方法
CN114239730A (zh) 一种基于近邻排序关系的跨模态检索方法
CN109753646B (zh) 一种文章属性识别方法以及电子设备
CN111460206B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
KR101841615B1 (ko) 의미 기반 명사 유사도 계산 장치 및 방법