RU2014108239A - Способ обработки изображения, способ создания индекса изображения, способ обнаружения соответствия изображению из хранилища изображений и сервер (варианты) - Google Patents

Способ обработки изображения, способ создания индекса изображения, способ обнаружения соответствия изображению из хранилища изображений и сервер (варианты) Download PDF

Info

Publication number
RU2014108239A
RU2014108239A RU2014108239/08A RU2014108239A RU2014108239A RU 2014108239 A RU2014108239 A RU 2014108239A RU 2014108239/08 A RU2014108239/08 A RU 2014108239/08A RU 2014108239 A RU2014108239 A RU 2014108239A RU 2014108239 A RU2014108239 A RU 2014108239A
Authority
RU
Russia
Prior art keywords
image
visual
local area
information
region
Prior art date
Application number
RU2014108239/08A
Other languages
English (en)
Other versions
RU2595523C2 (ru
Inventor
Александр Александрович Осипов
Наталия Степановна Байгарова
Дмитрий Валерьевич Ладаев
Original Assignee
Общество С Ограниченной Ответственностью "Яндекс"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью "Яндекс" filed Critical Общество С Ограниченной Ответственностью "Яндекс"
Priority to RU2014108239/08A priority Critical patent/RU2595523C2/ru
Priority to PCT/IB2014/064131 priority patent/WO2015128707A1/en
Priority to US15/112,784 priority patent/US10289931B2/en
Publication of RU2014108239A publication Critical patent/RU2014108239A/ru
Application granted granted Critical
Publication of RU2595523C2 publication Critical patent/RU2595523C2/ru

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

1. Спосо обработки изображения, позволяющий индексировать и сравнивать изображение с другими изображениями, выполненный на сервере, включающий:идентификацию первой локальной области изображения и второй локальной области изображения;определение первого визуального слова, связанного с первой локальной областью изображения, и второго визуального слова, связанного со второй локальной областью изображения;определение композитного параметра визуальных характеристик, связанного с изображением, причем композитный параметр визуальных характеристик содержит первое визуальное слово и второе визуальное слово.2. Способ по п. 1, в котором композитный параметр визуальных характеристик дополнительно включает информацию о соотношении.3. Способ по п. 2, в котором информация о соотношении содержит информацию о пространственном соотношении между первой локальной областью и второй локальной областью.4. Способ по п. 2, в котором упомянутая информация о соотношении содержит информацию о визуальном соотношении, связанную с, по меньшей мере одним из следующего: (i) первой локальной областью и второй локальной областью, (ii) другими областями изображения; (iii) изображением в целом.5. Способ по п. 4, в котором информация о визуальном соотношении включает по меньшей мере одно из следующего: соответствующее соотношение масштабов, соответствующее соотношение цвета и соответствующее соотношение контраста.6. Способ по п. 2, в котором упомянутая информация о соотношении содержит по меньшей мере одно из следующего: (i) информацию о пространственном соотношении между первой локальной областью и второй локальной областью, (ii) информацию о в�

Claims (36)

1. Спосо обработки изображения, позволяющий индексировать и сравнивать изображение с другими изображениями, выполненный на сервере, включающий:
идентификацию первой локальной области изображения и второй локальной области изображения;
определение первого визуального слова, связанного с первой локальной областью изображения, и второго визуального слова, связанного со второй локальной областью изображения;
определение композитного параметра визуальных характеристик, связанного с изображением, причем композитный параметр визуальных характеристик содержит первое визуальное слово и второе визуальное слово.
2. Способ по п. 1, в котором композитный параметр визуальных характеристик дополнительно включает информацию о соотношении.
3. Способ по п. 2, в котором информация о соотношении содержит информацию о пространственном соотношении между первой локальной областью и второй локальной областью.
4. Способ по п. 2, в котором упомянутая информация о соотношении содержит информацию о визуальном соотношении, связанную с, по меньшей мере одним из следующего: (i) первой локальной областью и второй локальной областью, (ii) другими областями изображения; (iii) изображением в целом.
5. Способ по п. 4, в котором информация о визуальном соотношении включает по меньшей мере одно из следующего: соответствующее соотношение масштабов, соответствующее соотношение цвета и соответствующее соотношение контраста.
6. Способ по п. 2, в котором упомянутая информация о соотношении содержит по меньшей мере одно из следующего: (i) информацию о пространственном соотношении между первой локальной областью и второй локальной областью, (ii) информацию о визуальном соотношении между первой локальной областью и второй локальной областью; (iii) пространственную информацию, связанную другими областями изображения; (iv) визуальную информацию, связанную с другими областями изображения.
7. Способ по п. 1, дополнительно включающий получение изображения через сеть передачи данных.
8. Способ по п. 1, в котором упомянутая идентификация выполняется на случайной основе.
9. Способ по п. 1, в котором упомянутая идентификация выполняется по заранее определенному алгоритму.
10. Способ по п. 9, в котором упомянутый заранее определенный алгоритм включает выбор первой области и второй области таким образом, чтобы они были максимально отдалены друг от друга в рамках изображения.
11. Способ по п. 9, в котором упомянутый заранее определенный алгоритм включает выбор первой области и второй области таким образом, чтобы они максимально визуально отличались друг от друга.
12. Способ создания индекса изображений, позволяющий сравнивать изображение с другими изображениями, выполняемый на сервере, включающий:
определение, по меньшей мере, одного ключа для индекса, причем, по меньшей мере, один ключ содержит, по меньшей мере, часть композитного параметра визуальных характеристик, связанных с индексируемым изображением, причем композитный параметр визуальных характеристик был определен при выполнении следующих этапов:
идентификация первой локальной области изображения и второй локальной области изображения;
определение первого визуального слова, связанного с первой локальной областью изображения, и второго визуального слова, связанного со второй локальной областью изображения;
определение композитного параметра визуальных характеристик, связанного с искомым изображением, причем композитный параметр визуальных характеристик включает первое визуальное слово и второе визуальное слово;
сохранение индикации изображения, соответствующего композитному параметру визуальных характеристик, в списке словопозиций, связанном с упомянутым по меньшей мере одним ключом.
13. Способ по п. 12, в котором упомянутая часть включает первое визуальное слово и второе визуальное слово.
14. Способ по п. 12, в котором упомянутая часть включает первое визуальное слово и второе визуальное слово и квантованный параметр пространственного соотношения между первой областью и второй областью.
15. Способ по п. 12, в котором упомянутая часть включает первое визуальное слово и второе визуальное слово и квантованный параметр визуального соотношения между первой областью и второй областью.
16. Способ по п. 12, в котором упомянутая часть включает первое визуальное слово и второе визуальное слово и сочетание: (i) квантованного параметра пространственного соотношения между первой областью и второй областью и (ii) квантованного параметра визуального соотношения между первой областью и второй областью.
17. Способ по п. 12, в котором упомянутая часть включает в себя весь композитный параметр визуальных характеристик, причем каждая часть композитного параметра визуальных характеристик квантована.
18. Способ по п. 17, в котором каждая часть композитного параметра визуальных характеристик квантована независимо друг от друга.
19. Способ по п. 12, дополнительно включающий в себя сохранение остальной части композитного параметра визуальных характеристик в списке словопозиций.
20. Способ обнаружения соответствия изображению из хранилища изображений, содержщее множество изображений, выполняемый на сервере и включает:
получение индикации изображения;
определение композитного параметра визуальных характеристик, связанного с искомым изображением;
проведение многостадийного поиска, включающего в себя следующие этапы:
выбор изображений-кандидатов из множества изображений, причем выбор осуществляется с помощью получения доступа к индексу, который соответствует одному из композитных параметров визуальных характеристик изображений, содержащихся в рамках множества изображений, и подходящим параметрам изображений, содержащихся в рамках множества изображений;
проверку изображений по отношению к искомому изображению по одному с использованием соответствующих локальных дескрипторов.
21. Способ по п. 20, в котором упомянутые композитные параметры визуальных характеристик искомого изображения содержат первое визуальное слово, связанное с первой областью искомого изображения, и второе визуальное слово, связанное со второй областью искомого изображения.
22. Способ по п. 20, в котором упомянутый композитный параметр визуальных характеристик искомого изображения дополнительно содержит информацию о соотношении между первой локальной областью и второй локальной областью.
23. Способ по п. 22, в котором информация о соотношении содержит информацию о пространственном соотношении между первой локальной областью и второй локальной областью.
24. Способ по п. 22, в котором упомянутая информация о соотношении содержит информацию о визуальном соотношении, связанную с по меньшей мере одним из следующего: (i) первой локальной областью и второй локальной областью, (ii) другими областями изображения; (iii) изображением в целом.
25. Способ по п. 24, в котором информация о визуальном соотношении включает по меньшей мере одно из следующего: соответствующее соотношение масштабов, соответствующее соотношение цвета и соответствующее соотношение контраста.
26. Способ по п. 22, в котором упомянутая информация о соотношении содержит по меньшей мере одно из следующего: (i) информацию о пространственном соотношении между первой локальной областью и второй локальной областью, (ii) информацию о визуальном соотношении между первой локальной областью и второй локальной областью; (iii) пространственную информацию, связанную другими областями изображения; (iv) визуальную информацию, связанную с другими областями изображения.
27. Способ по п. 20, в котором соответствующий композитный параметр визуальных характеристик, связанный с соответствующим параметром изображений, содержит первое визуальное слово, связанное с первой областью искомого изображения, и второе визуальное слово, связанное со второй областью искомого изображения.
28. Способ по п. 27, в котором соответствующий композитный параметр визуальных характеристик искомого изображения дополнительно содержит информацию о соотношении между первой локальной областью и второй локальной областью.
29. Способ по п. 28, в котором информация о соотношении содержит информацию о пространственном соотношении между первой локальной областью и второй локальной областью.
30. Способ по п. 28, в котором информация о соотношении содержит визуальную информацию между первой локальной областью и второй локальной областью.
31. Способ по п. 30, в котором информация о визуальном соотношении включает, по меньшей мере, одно из следующего: соответствующее соотношение масштабов, соответствующее соотношение цвета и соответствующее соотношение контраста.
32. Способ по п. 28, в котором упомянутая информация о соотношении содержит по меньшей мере одно из следующего: (i) информацию о пространственном соотношении между первой локальной областью и второй локальной областью и (ii) информацию о визуальном соотношению между первой локальной областью и второй локальной областью.
33. Способ по п. 20, дополнительно включающий до упомянутого этапа получения, заполнение индекса с использованием композитного параметра визуальных характеристик изображения.
34. Сервер, включающий постоянный машиночитаемый носитель, хранящий машиночитаемые инструкции, при выполнении которых сервер выполняет обработку изображения, позволяющую индексировать и сравнивать изображение с другими изображениями, согласно способу по п.п. 1-11.
35. Сервер, включающий постоянный машиночитаемый носитель, хранящий машиночитаемые инструкции, при выполнении которых сервер выполняет создание индекса изображений, позволяющий сравнивать изображение с другими изображениями, согласно способу по п.п. 12-19.
36. Сервер, включающий постоянный машиночитаемый носитель, хранящий машиночитаемые инструкции, при выполнении которых сервер обнаруживает соответствия изображению из хранилища изображений, содержащего множество изображений, согласно способу по п.п. 20-32.
RU2014108239/08A 2014-02-28 2014-02-28 Способ обработки изображения, способ создания индекса изображения, способ обнаружения соответствия изображению из хранилища изображений и сервер (варианты) RU2595523C2 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
RU2014108239/08A RU2595523C2 (ru) 2014-02-28 2014-02-28 Способ обработки изображения, способ создания индекса изображения, способ обнаружения соответствия изображению из хранилища изображений и сервер (варианты)
PCT/IB2014/064131 WO2015128707A1 (en) 2014-02-28 2014-08-28 Method and system for searching images
US15/112,784 US10289931B2 (en) 2014-02-28 2014-08-28 Method and system for searching images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2014108239/08A RU2595523C2 (ru) 2014-02-28 2014-02-28 Способ обработки изображения, способ создания индекса изображения, способ обнаружения соответствия изображению из хранилища изображений и сервер (варианты)

Publications (2)

Publication Number Publication Date
RU2014108239A true RU2014108239A (ru) 2015-09-10
RU2595523C2 RU2595523C2 (ru) 2016-08-27

Family

ID=54008236

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014108239/08A RU2595523C2 (ru) 2014-02-28 2014-02-28 Способ обработки изображения, способ создания индекса изображения, способ обнаружения соответствия изображению из хранилища изображений и сервер (варианты)

Country Status (3)

Country Link
US (1) US10289931B2 (ru)
RU (1) RU2595523C2 (ru)
WO (1) WO2015128707A1 (ru)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104298B1 (en) 2013-05-10 2015-08-11 Trade Only Limited Systems, methods, and devices for integrated product and electronic image fulfillment
EP3350728B1 (en) * 2015-09-18 2022-04-06 Commvault Systems, Inc. Data storage management operations in a secondary storage subsystem using image recognition and image-based criteria
US10157408B2 (en) 2016-07-29 2018-12-18 Customer Focus Software Limited Method, systems, and devices for integrated product and electronic image fulfillment from database
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10248971B2 (en) 2017-09-07 2019-04-02 Customer Focus Software Limited Methods, systems, and devices for dynamically generating a personalized advertisement on a website for manufacturing customizable products

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6763148B1 (en) 2000-11-13 2004-07-13 Visual Key, Inc. Image recognition methods
AU2003300083A1 (en) 2002-12-30 2004-07-29 Activestate Corporation Method and system for feature extraction from outgoing messages for use in categorization of incoming messages
US7194516B2 (en) 2003-10-23 2007-03-20 Microsoft Corporation Accessing different types of electronic messages through a common messaging interface
US7487441B2 (en) 2004-03-11 2009-02-03 Yahoo!Inc. Method and system of enhanced messaging
RU2007130631A (ru) * 2007-08-10 2009-02-20 Общество с ограниченной ответственностью "Рекогмишн" (RU) Способ индексации объектов на цифровых изображениях и способ поиска объектов на цифровых изображениях
US8254697B2 (en) 2009-02-02 2012-08-28 Microsoft Corporation Scalable near duplicate image search with geometric constraints
US8326820B2 (en) * 2009-09-30 2012-12-04 Microsoft Corporation Long-query retrieval
US8447107B1 (en) * 2010-09-30 2013-05-21 A9.Com, Inc. Processing and comparing images
WO2012049681A2 (en) 2010-10-14 2012-04-19 Ori Chalak A method and system for sending an interactive message
US8781255B2 (en) * 2011-09-17 2014-07-15 Adobe Systems Incorporated Methods and apparatus for visual search
US9697233B2 (en) * 2014-08-12 2017-07-04 Paypal, Inc. Image processing and matching

Also Published As

Publication number Publication date
WO2015128707A1 (en) 2015-09-03
RU2595523C2 (ru) 2016-08-27
US20160342860A1 (en) 2016-11-24
US10289931B2 (en) 2019-05-14

Similar Documents

Publication Publication Date Title
RU2014108239A (ru) Способ обработки изображения, способ создания индекса изображения, способ обнаружения соответствия изображению из хранилища изображений и сервер (варианты)
US10311115B2 (en) Object search method and apparatus
RU2016152191A (ru) Понимание таблиц для поиска
WO2020119419A1 (zh) 基于图像识别的测试方法、装置、计算机设备及存储介质
RU2018109281A (ru) Системы, способы и компьютерочитаемые носители для выявления вероятного влияния медицинского состояния на пациента
RU2018117507A (ru) Формирование псевдо-кт по мр-данным с использованием оценки параметров ткани
RU2016150428A (ru) Заполнение записей контактов пользователя
RU2015102155A (ru) Способ и устройство для проверки с использованием кода проверки
JP2017500659A5 (ru)
RU2017140969A (ru) Способ и система создания параметра качества прогноза для прогностической модели, выполняемой в алгоритме машинного обучения
WO2013130630A3 (en) Listing data objects using a hierarchical dispersed storage index
JP2015176236A5 (ru)
RU2015111423A (ru) Способ и устройство для идентификации целевого объекта на изображении
CN110166991A (zh) 用于定位电子设备的方法、设备、装置以及存储介质
RU2017108265A (ru) Конструирование компоновки интерфейса отображения контента
CN106407768B (zh) 一种设备指纹的确定、对目标设备进行识别的方法和设备
JP6853179B2 (ja) 情報プッシュ方法及び装置
JP2015191293A5 (ru)
RU2013156493A (ru) Разрешение семантической неоднозначности при помощи не зависящей от языка семантической структуры
RU2013125240A (ru) Фильтрация информации из социальной сети с целью ее индивидуализированного отображения на фоне карты местности
RU2017108906A (ru) Поиск в многочисленных источниках
EA201591045A1 (ru) Способ и система идентификации дефектов стекла
WO2017056089A3 (en) Method and a system for identifying reflective surfaces in a scene
RU2015125820A (ru) Способ и сервер обработки пользовательского запроса на предоставление рекомендованной области интереса
RU2014107694A (ru) Обеспечение обновленной информации

Legal Events

Date Code Title Description
HE9A Changing address for correspondence with an applicant