WO2017020139A1 - Sistema y método para buscar productos en catálogos - Google Patents

Sistema y método para buscar productos en catálogos Download PDF

Info

Publication number
WO2017020139A1
WO2017020139A1 PCT/CL2015/050027 CL2015050027W WO2017020139A1 WO 2017020139 A1 WO2017020139 A1 WO 2017020139A1 CL 2015050027 W CL2015050027 W CL 2015050027W WO 2017020139 A1 WO2017020139 A1 WO 2017020139A1
Authority
WO
WIPO (PCT)
Prior art keywords
query
products
catalogs
search
visual
Prior art date
Application number
PCT/CL2015/050027
Other languages
English (en)
French (fr)
Inventor
Juan Manuel BARRIOS NÚÑEZ
Mauricio Eduardo PALMA LIZANA
José Manuel SAAVEDRA RONDO
Original Assignee
Orand S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orand S.A. filed Critical Orand S.A.
Priority to US15/750,125 priority Critical patent/US20180322208A1/en
Priority to EP15899918.5A priority patent/EP3333769A4/en
Priority to PCT/CL2015/050027 priority patent/WO2017020139A1/es
Priority to CN201580083505.1A priority patent/CN108431829A/zh
Priority to JP2018526283A priority patent/JP2018523251A/ja
Publication of WO2017020139A1 publication Critical patent/WO2017020139A1/es

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Definitions

  • the present invention relates to the retail industry and product search in catalogs.
  • the invention relates to a technology for searching products in digital catalogs through images, drawings by hand (sketch), videos or text
  • the document US20120054177 discloses a method of representation and search of sketches, but that is not directed to the case of search in catalogs. This method is based on detecting "salient curves" both in the query and in the images of the database.
  • the similarity between a sketch and an image is based on measuring the similarity between "salient curves" by means of a variation of the distance of Chamfer that uses information of position and orientation of the points of the curves.
  • document US201 10274314 is related to a clothing recognition application in videos.
  • the occurrence of a person is detected by means of a face detection algorithm, then a segmentation process is performed using the strategy based on growth by regions on the color space L * a * b * .
  • an SVM model is trained with different descriptors of Images like HOG, BoW and DCT.
  • Documents US20050185060A1 and US007565139B2 describe an image search system from cellular photographs. It is intended as part of a museum or city guide. If the photograph contains a text, an optical character recognition is made and if it contains faces, an identification of faces is made. This documents they do not describe a system based on products in a catalog where objects are searched using visual characteristics without the need for optical character recognition.
  • a potential customer interested in buying a specific product has three options: 1) enter the store's site, browse the catalog categories, browse the list of products in each relevant category; 2) enter the store's site, use the product search engine based on keywords; and 3) enter an Internet search engine (for example, Google), search using keywords and, within the results obtained, choose the page of any store of interest that offers the product.
  • an Internet search engine for example, Google
  • options 2 and 3 can be very effective for certain types of products. For example, if someone wants to buy a hard drive of certain capacity and brand, three words can be enough to know if the favorite store has it available or not. However, even though this approach is effective for many products, we must point out that the entry of long texts on a smartphone can be discouraging. For example, if you want to quote the product price of the product "Semi-skimmed milk powder 400 grams", it would be enough to write those words in the shop's search engine, which many users would prefer to avoid. Indeed, this is one of the reasons that has motivated the current development of self-completion and text-by-speech applications.
  • options 2 and 3 are not effective.
  • generic keywords such as "lamp” find many results, while more specific words such as "oval” or “green” can find nothing if not the product was labeled with them.
  • the option to navigate the catalog by categories is usually the only viable alternative since the search based on words requires that each product contains a complete description of its appearance as well as the user uses those words to search for it.
  • this exhaustive labeling is impractical both for the cost of labeling and for the diversity of criteria under which people describe objects.
  • the present invention relates to a technology for searching products in digital catalogs through images, drawings made by hand (sketch), videos or text.
  • the objective is to provide users with efficient, effective, timely and very attractive technology to find products in store catalogs.
  • the technology of the present invention is efficient, since it requires little effort from the user to have results instantly; it is effective, because it allows obtaining relevant products; it is timely, since the user can use the application on his smartphone whenever he wants; and it is very attractive since it provides a playful experience.
  • technology is characterized by being highly expressive, since the search is based on analyzing the content of an image.
  • the proposed technology allows searches of products in catalogs from images captured by the user with great effectiveness in their results by using a combination of visual characteristics and descriptive labels automatically generated by previously trained classifiers.
  • the present invention takes advantage of the qualities of mobile devices so that a user can take a picture of the product they want, make a sketch or record a scene containing the products they want to find.
  • the user can optionally add text to restrict the search to certain products or product categories.
  • the present invention allows for various use cases, some of which are mentioned below:
  • Search by label The user searches for a specific product and takes a photograph of the label or barcode. For example, the user can photograph the label of a wine or a juice container and the system delivers exactly the product sought as well as its price in store. This method turns out to be much friendlier and delivers a superior experience for the user compared to writing keywords, such as the previously described case of "semi-skimmed milk powder 400 grams".
  • the user photographs a design product that interests him and wants to check the existence of a product in the catalog that is similar. For example, a user photographs a vase he saw in a pilot department and the system shows different products that are similar according to some criteria, such as products with the same color combination, vases of different shapes and colors, other products with similar patterns visually.
  • Search by sketch The user wants to look for a product with a specific design but does not have an object to photograph, so he can draw a general form of the product on a touch screen device.
  • the system shows the user products that have a global shape similar to the one entered, products that have borders in the same orientations as those in the drawing.
  • Video search The user records a scene that contains one or more products of interest, for example, a room or a dining room. The system looks in the catalog and shows the products of the catalog more similar to those that appear in the scene. TECHNICAL ADVANTAGES
  • Figure 1 shows a general scheme of the search system.
  • Figure 2 shows the preparation phase of the system.
  • Figure 3 shows the steps to solve a query of a user.
  • Figure 4 shows the steps to solve a Visual + Textual query.
  • Figure 5 shows the steps to solve a Visual query.
  • Figure 6 details the components in the Self-descriptive Visual Search module (320).
  • Figure 7 details the components in the General Visual Search module (330).
  • the present invention relates to a system for searching products in catalogs and the associated method.
  • the general scheme of the product search system involves an interaction with users, at least one processing unit and at least one product catalog of one or more stores (see Figure 1).
  • a user (100) sends product search queries (300) to the processing unit (200) through a network of processing units (1 10).
  • the product searcher maintains a data storage unit (121) comprising at least a plurality of product catalogs of a plurality of stores (120).
  • the user creates and sends queries through an application on a device (1 10) that has a network connection and allows taking pictures, making drawings and / or recording videos.
  • a product catalog of the data storage unit (121) comprises a set of products offered by a store for sale. Each product is represented by a description and one or more example images.
  • a category corresponds to a grouping of products. The categories organize the products in the catalog according to some criteria defined by each store. Each product in the catalog belongs to one or more categories.
  • the product search system adds the store products to the database.
  • a text feature extraction module (280) processes the description of the products and creates a text feature vector (505) for each product.
  • a module or component for extracting visual characteristics (210) processes the images and generates a vector of visual characteristics (510) for each product.
  • a module or component of self-labeling (230) processes the images and creates labels (515) that group products that show similar visual characteristics according to some criteria such as color, shape, type of object, among others.
  • the visual characteristics extraction module (210) calculates the visual characteristics vector by means of local description algorithms, such as SIFT, SURF, HOG or some variant, which provides invariance to certain geometric transformations, changes of perspective and occlusion.
  • the local descriptors calculated for an image are encoded or added using a codebook to obtain the vector of visual characteristics of an image of a product.
  • the codebook is the result of applying a clustering algorithm, such as K-Means, on a sample of the local descriptors of all the images in the catalog. In this way, the codebook corresponds to the K centers obtained by the clustering algorithm:
  • V . v K ⁇
  • the aggregation of local descriptors allows to generate a single vector of characteristics per image.
  • the code of x is obtained as follows:
  • g is a kernel function and d (.) is a distance function.
  • the kernel function is chosen so that the greater the value of distance, the smaller the value of g.
  • the vector of characteristics of I is calculated by a pooling strategy on the generated codes with respect to the local descriptors of /.
  • An implementation uses pooling based on addition, which obtains the vector of characteristics of / adding the codes of the local descriptors:
  • VLAD Vector of Locally Aggregated Descriptor
  • the visual characteristics extraction module (210) receives an image / and generates a feature vector D ,.
  • the self-labeling module (230) classifies an image according to different classification criteria.
  • An implementation of this component defines three criteria: color, shape and type.
  • the self-labeling module consists of three classification models, one for each criterion.
  • Each model is generated by a component of "Generation of Classification Models" (220) through a supervised learning process, which requires a set of images of products for training (002).
  • Each image is associated with one or more categories according to the established classification criteria.
  • visual characteristics of the images are used. These characteristics can be defined manually or automatically by the same classifier.
  • An implementation of this component uses classification models where features are learned automatically, for example, using a neuron network! convolutional.
  • a discriminative model can be occupied where the characteristics are defined manually.
  • these models can be Support Vector Machines (SVM), Neural Networks, Nearest K-Neighbors (KNN) and Random Forest.
  • SVM Support Vector Machines
  • KNN Nearest K-Neighbors
  • Random Forest Random Forest
  • the text feature extraction module (280) processes the description of the products to generate a descriptor following the vectorial model tf-idf ⁇ term frequency- inverse document frequency). All the words in the descriptions are processed to eliminate very repeated words ⁇ stop-lis, or without meaning, like articles and prepositions. The words are given their lexical root and for each description text of a product the frequency of the occurrence of each word root is calculated. The frequency of each word root is multiplied by the logarithm of the inverse of the fraction of product descriptions where that root appears.
  • the text feature vectors and visual characteristic vectors calculated for the products are stored in a database (402).
  • a database 402
  • an inverted index structure is calculated, which consists in creating a table that for each word contains the list of product descriptions that contains that word. This allows to efficiently obtain all the products that contain a certain word entered by the user.
  • a multidimensional index is calculated, which allows obtaining in an efficient way the vectors closest to a query vector.
  • Figure 3 shows a scheme of operation of the system according to an embodiment of the present invention.
  • a user uses an application on a mobile device (1 10) to create a Query (300).
  • the Query can be of the Visual + Textual Consultation type (301), if the user enters a visual example of the searched product together with a textual component, or of the Visual Query type (302), if the user enters only a visual example of the desired product .
  • a visual example can be a photograph of an object, a video containing objects or a handmade drawing representing shapes of the object sought.
  • a textual component corresponds to one or more words that describe some characteristic of the desired product.
  • the Query (300) is sent through the Computer Network (1 10) to a Processing Unit (400), which resolves the search and sends back a Query Response (001) containing the products that were relevant to the the Consultation
  • the processing unit (200) loads the product database (402) and all the data calculated during the preparation phase of the system ( Figure 2), receives Queries (300), searches products in the product catalog and returns products relevant to the user (001).
  • the method used by the processing unit to resolve a query will depend on whether a Visual + Textual Query (301) or a Visual Query (302) is received.
  • a Visual + Textual Query (301) contains a visual example of an object and a textual component.
  • the process involved in solving this type of query is shown in Figure 4.
  • the textual component is used to restrict the search space for products.
  • the inverted index is used to search all products that contain at least one of the words of the textual component, thus the search by similarity will be restricted exclusively to this list of textual products (520).
  • the visual characteristics extraction module (210) processes the visual example to obtain a vector of visual characteristics (525). This vector is compared with all the products in the list of textual products through a component or similarity search module (240).
  • the comparison between visual vectors is carried out by means of a distance function, which can be, for example, Euclidean distance, Manhattan distance, Mahalanobis distance, Hellinger distance, Chi square, among others.
  • the Similarity Search module (240) returns a List of Relevant Products (003) that passes through a module or result grouping component (260) to produce the result of the query.
  • a Visual Query (302) contains only a visual example of an object. Unlike the Visual + Textual Consultation (301), the user does not enter any text.
  • the visual search process ( Figure 5) consists of two modules: a Self-Descriptive Visual Search module (320) and a General Visual Search module (330). Each module produces a list of relevant products that are combined through the List Combinations component (340) to generate a List of Relevant Products (003). In similar to the previous case, the list of relevant products is sent to a grouping component (260) to obtain the final response of the query.
  • the Auto-descriptive Visual Search module (320) uses the auto-tagging component to automatically generate a set of tags (530) that describe the query example ( Figure 6). With the generated description, a Product Selection module (270) obtains the subset of products that has at least one label in common with the query example. The visual characteristics vector (525) of the query example is calculated and a restricted similarity search is made to the subset of products with tag matching. The search by similarity obtains the K products with greater similarity to the example of query in the subset of products that are returned as a List of Products VAD (visual self-descriptive) (004),
  • the General Visual Search module (330) searches for products considering all existing products in the database.
  • the visual characteristics vector (525) of the query example is calculated and a similarity search is performed within all the products.
  • the search by similarity obtains the K products with greater similarity to the query example in the database, which are returned as a Product List VG (general visual) (005),
  • the relevance of a product is a numeric value greater than zero, score, which represents the degree of coincidence between the search request and the characteristics of the product.
  • the List Combinations module (340) mixes the VAD Product List (004) and the VG Product List (005). This mixture corresponds to adding the relevance value of each product in each similarity search, accumulating the relevance of the duplicate products.
  • the K products that obtain the highest accumulated relevance generate the List of Relevant Products (003).
  • the Grouping of Results module (260) receives a List of Relevant Products (003) and organizes the products with respect to the predominant classes. Each of the classes is assigned a vote regarding the products of that class that appears on the list and the M most voted classes are selected. The vote considers adding the relevance of each product in the list for each category.
  • the Query Response (001) is the list with the most voted categories next to the products that voted for it. This Query Response is returned to the client application for it to be viewed by the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

La presente invención se relaciona con un sistema para búsqueda de productos en catálogos y el método asociado, el cual comprende un dispositivo con conexión a red que tiene una aplicación que permite a un usuario generar una consulta, enviar una consulta a una unidad de procesamiento y mostrar resultados, donde una consulta es un ejemplo visual de un producto que se desea buscar; una unidad de procesamiento que recibe consultas desde el usuario y resuelve búsquedas en el catálogo, que comprende, (i) una componente de extracción de características visuales; (ii) una componente de auto-etiquetado; (iii) una componente de búsqueda por similitud; y (iv) una componente de agrupamiento de resultados; y una unidad de almacenamiento de datos, que mantiene en forma persistente información de productos de catálogos de una o más tiendas.

Description

SISTEMA Y MÉTODO PARA BUSCAR PRODUCTOS EN CATÁLOGOS
CAMPO DE APLICACIÓN
La presente invención se relaciona con la industria de retail y búsqueda de productos en catálogos. De manera particular, la invención se relaciona con una tecnología para búsqueda de productos en catálogos digitales a través de imágenes, dibujos a hechos a mano (sketch), videos o texto
ANTECEDENTES DE LA INVENCIÓN
El estado del arte describe una serie de tecnologías destinadas a la búsqueda en catálogos. Por ejemplo, el documento WO2013184073A1 describe una tecnología exclusivamente para búsqueda de ropa, basándose en la detección de partes del cuerpo. Este documento no propone un mecanismo de búsqueda de productos en general, incluyendo objetos de diseño, construcción, hogar, moda, entre otros
El documento US20120054177 divulga un método de representación y búsqueda de sketches, pero que no está dirigida al caso de búsqueda en catálogos. Este método se basa en detectar "salient curves" tanto en la consulta como en las imágenes de la base de datos. La similitud entre una sketch y una imagen se basa en medir la similitud entre "salient curves" mediante una variación de la distancia de Chamfer que usa información de posición y orientación de los puntos de las curvas.
Por otro lado, el documento US201 10274314 se relaciona con una aplicación de reconocimiento de ropa en videos. En primer lugar, se detecta la ocurrencia de una persona mediante un algoritmo de detección de rostros, luego un proceso de segmentación es realizado usando la estrategia basada en crecimiento por regiones sobre el espacio de color L*a*b*. Para reconocer la ropas se entrena un modelo SVM con diversos descriptores de imágenes como HOG, BoW and DCT. Aunque este documento muestra una componente semántica relacionada con la clasificación de ropa, no está enfocada en búsqueda de cualquier tipo de productos.
Otro tipo de solución es la presentada por el documento US20140328544A1 . Este documento describe un sistema de reconocimiento y etiquetado de sketches que hace uso de un conjunto de imágenes previamente etiquetadas. Así, el sistema asocia un sketch de entrada con un conjunto de imágenes del dataset, esto se realiza mediante un sistema de búsqueda por similitud, luego las etiquetas o textos asociados con las imágenes son utilizadas para generar un modelo probabilístico que determina las mejores etiquetas para el sketch de entrada. Esta propuesta no está orientada a búsqueda de productos en catálogos.
El documento US20150049943A1 muestra una aplicación de búsqueda de imágenes usando una estructura tipo árbol para representar las características de las imágenes. Esta solución carece una componente de clasificación semántica, y no incluye búsquedas por sketches y videos.
La solución mostrada por el documento US006728706B2 se relaciona con un sistema de búsqueda de productos en catálogos donde cada producto se representa por vectores de características y la similitud se obtiene mediante una función de distancia. Este documento no describe el uso de clasificadores para predecir categorías probables de la imagen de entrada y combinar los resultados de buscar en las categorías probables y en todas las categorías.
Los documentos US20050185060A1 y US007565139B2 describen un sistema de búsqueda de imágenes a partir de fotografías de celular. Está pensado como parte de una guía de museo o de ciudad. Si la fotografía contiene un texto se realiza un reconocimiento óptico de caracteres y si contiene rostros se realiza una identificación de rostros. Estos documentos no describen un sistema basado en productos de un catálogo donde se buscan objetos usando características visuales sin la necesidad de reconocimiento óptico de caracteres.
PROBLEMA TÉCNICO
En el escenario actual de ventas por Internet, un potencial cliente interesado en comprar un producto específico cuenta con tres opciones: 1 ) ingresar al sitio de la tienda, navegar por las categorías del catálogo, navegar por el listado de productos en cada categoría relevante; 2) ingresar al sitio de la tienda, utilizar el buscador de productos basado en palabras claves; y 3) ingresar a un buscador de Internet (por ejemplo, Google), buscar usando palabras claves y, dentro de los resultados obtenidos, elegir la página de alguna tienda de interés que ofrezca el producto.
Por una parte, las opciones 2 y 3 (basadas en palabras claves) pueden ser muy efectivas para cierto tipo de productos. Por ejemplo, si alguien desea comprar un disco duro de cierta capacidad y marca, tres palabras pueden ser suficientes para saber si la tienda favorita lo tiene disponible o no. Sin embargo, aún cuando este enfoque es efectivo para muchos productos, debemos señalar que el ingreso de textos largos en un smartphone puede ser desalentador. Por ejemplo, si se desea cotizar el precio en tienda del producto "Leche semi- descremada en polvo 400 gramos" bastaría con escribir esas palabras en el buscador de la tienda, lo que muchos usuarios preferirían evitar. En efecto, esta es una de las razones que ha motivado el actual desarrollo de aplicaciones de auto-completado y dictado de texto por voz.
Por otra parte, cuando el producto tiene características relacionadas a su aspecto o su diseño, como es el caso de adornos, ropa, muebles y otros, las opciones 2 y 3 no son efectivas. Por ejemplo, para buscar una lámpara colgante ovalada, de color verde y líneas negras, las palabras claves genéricas como "lámpara" encuentran muchos resultados, mientras que palabras más específicas como "ovalada" o "verde" pueden no encontrar nada si es que no se etiquetó el producto con ellas. En este caso, la opción de navegar el catálogo por categorías (opción 1 ) es usualmente la única alternativa viable ya que la búsqueda basada en palabras requiere que cada producto contenga una completa descripción de su aspecto así como también el usuario utilice esas palabras para buscarlo. Lamentablemente, este etiquetado exhaustivo resulta impráctico tanto por el costo de etiquetado como por la diversidad de criterios bajo los que las personas describimos los objetos.
SOLUCIÓN TÉCNICA
La presente invención se relaciona con una tecnología para búsqueda de productos en catálogos digitales a través de imágenes, dibujos a hechos a mano (sketch), videos o texto. El objetivo es proveer a los usuarios de una tecnología eficiente, efectiva, oportuna y muy atractiva para encontrar productos en catálogos de tiendas. La tecnología de la presente invención es eficiente, pues requiere poco esfuerzo del usuario para tener resultados al instante; es efectiva, pues permite obtener productos relevantes; es oportuna, ya que el usuario puede usar la aplicación en su smartphone en el momento que lo desee; y es muy atractiva ya que provee una experiencia lúdica. Además, la tecnología se caracteriza por ser altamente expresiva, pues la búsqueda se basa en analizar el propio contenido de una imagen.
La tecnología propuesta permite realizar búsquedas de productos en catálogos a partir de imágenes capturadas por el usuario con una gran efectividad en sus resultados al utilizar una combinación de características visuales y etiquetas descriptivas automáticamente generadas por clasificadores previamente entrenados. La presente invención aprovecha las cualidades de los dispositivos móviles para que un usuario pueda tomar una foto del producto que desea, hacer un dibujo (sketch) o bien grabar una escena que contenga los productos que desea encontrar. Además el usuario puede opcionalmente agregar texto para restringir la búsqueda a ciertos productos o categorías de productos. La presente invención permite variados casos de uso, algunos de los cuales se mencionan a continuación:
1 . Búsqueda por etiqueta: El usuario busca un producto específico y toma una fotografía de la etiqueta o del código de barras. Por ejemplo, el usuario puede fotografiar la etiqueta de un vino o un envase de jugo y el sistema entrega exactamente el producto buscado así como su precio en tienda. Este método resulta ser mucho más amigable y entrega una experiencia superior para el usuario comparado con escribir palabras claves, como el caso anteriormente descrito de "Leche semi-descremada en polvo 400 gramos".
2. Búsqueda por fotografía: El usuario fotografía un producto de diseño que le interesa y desea revisar la existencia de algún producto en el catálogo que sea similar. Por ejemplo, un usuario fotografía un jarrón que vio en un departamento piloto y el sistema muestra diferentes productos que sean similares según algún criterio, como pueden ser productos con la misma combinación de colores, jarrones de diferentes formas y colores, otros productos con patrones similares visualmente.
3. Búsqueda por sketch: El usuario desea buscar un producto con un diseño específico pero no dispone de un objeto a fotografiar, por lo que puede dibujar una forma general del producto en un dispositivo con pantalla táctil. El sistema muestra al usuario productos que tienen una forma global similar a la ingresada, productos que tienen bordes en las mismas orientaciones de las del dibujo.
4. Búsqueda por video: El usuario graba una escena que contiene uno o más productos de interés, por ejemplo, una habitación o un comedor. El sistema busca en el catálogo y muestra los productos del catálogo más parecidos a los que aparecen en la escena. VENTAJAS TÉCNICAS
La presente invención comprende los siguientes beneficios comparados con métodos tradicionales de resolver este tipo de problema descritos en el estado del arte:
Altamente expresiva: Utiliza el propio contenido de la imagen como consulta, además de poder incluir palabras claves en forma complementaria, lo que da un mayor poder de expresividad. La comunicación por dibujos sketch es una forma natural de comunicación entre los humanos, simple y altamente descriptiva que representa los componentes estructurales de lo que el usuario desea buscar.
Rápida: El usuario no necesita escribir el mejor texto para describir lo que desea. Basta con simplemente ubicar un producto frente a la cámara de su dispositivo o dibuje un sketch. El tiempo de búsqueda es de unos pocos segundos, por lo que el usuario puede obtener resultados en forma inmediata.
Efectiva: Al basarnos en consultas altamente descriptivas, la calidad de la búsqueda es mayor. Esto significa que el sistema permite recuperar una alta tasa de objetos relevantes a la consulta, lo que permite aumentar las ventas en línea comparado con buscadores por palabras claves.
Oportuna: Al usar tecnología móvil, nuestra tecnología siempre está disponible cuando se presenta una oportunidad de compra. Por ejemplo, si un cliente ve o imagina un producto de interés, utiliza la tecnología propuesta y lo busca en su tienda favorita.
Atractiva al usuario: La facilidad de uso y el efecto lúdico de dibujar y sorprenderse con el resultado de la búsqueda lo hacen muy atractivo y logra una grata experiencia para los usuarios. BREVE DESCRIPCIÓN DE LAS FIGURAS
Figura 1 muestra un esquema general del sistema de búsqueda. Figura 2 muestra la fase de preparación del sistema. Figura 3 muestra los pasos para resolver una consulta de un usuario. Figura 4 muestra los pasos para resolver una consulta Visual+Textual. Figura 5 muestra los pasos para resolver una consulta Visual.
Figura 6 detalla los componentes en el módulo de Búsqueda Visual Auto-descriptiva (320). Figura 7 detalla los componentes en el módulo de Búsqueda Visual General (330). DESCRIPCIÓN DETALLADA DE LA INVENCIÓN
La presente invención se relaciona con un sistema para búsqueda de productos en catálogos y el método asociado.
El esquema general del sistema para búsqueda de productos involucra una interacción con usuarios, al menos una unidad de procesamiento y al menos un catálogo de productos de una o más tiendas (ver Figura 1 ). Un usuario (100) envía consultas de búsqueda de productos (300) a la unidad de procesamiento (200) a través de una red de unidades de procesamiento (1 10). El buscador de productos mantiene una unidad de almacenamiento de datos (121 ) que comprende al menos una pluralidad de catálogos de productos de una pluralidad de tiendas (120). El usuario crea y envía las consultas mediante una aplicación en un dispositivo (1 10) que tiene conexión a red y permite tomar fotografías, realizar dibujos y/o grabar videos. Un catálogo de productos de la unidad de almacenamiento de datos (121 ) comprende un conjunto de productos ofrecidos por una tienda para su venta. Cada producto viene representado por una descripción y una o más imágenes de ejemplo. Una categoría corresponde a una agrupación de productos. Las categorías organizan los productos en el catálogo según algún criterio definido por cada tienda. Cada producto en el catálogo pertenece a una o más categorías.
Durante la fase de preparación del sistema (ver Figura 2), el sistema para búsqueda de productos agrega los productos de tiendas a la base de datos. Un módulo de extracción de características de texto (280) procesa la descripción de los productos y crea un vector de características de texto (505) para cada producto. Un módulo o componente de extracción de características visuales (210) procesa las imágenes y genera un vector de características visuales (510) para cada producto. Un módulo o componente de auto-etiquetado (230) procesa las imágenes y crea etiquetas (515) que agrupan productos que muestran características visuales similares según algún criterio como color, forma, tipo de objeto, entre otros.
El módulo de extracción de características visuales (210) calcula el vector de características visuales por medio de algoritmos de descripción local, como por ejemplo, SIFT, SURF, HOG o alguna variante, lo que proporciona invariancia ante ciertas transformaciones geométricas, cambios de perspectiva y oclusión. Los descriptores locales calculados para una imagen son codificados o agregados usando un codebook para obtener el vector de características visuales de una imagen de un producto. El codebook es el resultado de aplicar un algoritmo de agrupamiento o clustering, como K-Means, sobre una muestra de los descriptores locales de todas las imágenes del catálogo. De este modo, el codebook corresponde a los K centros obtenidos por el algoritmo de clustering:
V = . vK} La agregación de descriptores locales permite generar un solo vector de características por imagen. Una implementacion del proceso de agregación usa la estrategia Bag of Features (BoF). Sea / una imagen y LI={X -,,X2,...,XNI} el conjunto de Λ/, descriptores locales de la imagen /; bajo la estrategia BoF. cada uno de los descriptores de / se codifica con un código de longitud igual al tamaño del codebook. Así, el código de x se obtiene como sigue:
donde g es una función kernel y d(.) es una función de distancia. La función kernel se elige de modo que a mayor valor de distancia menor valor de g. El vector de características de I es calculado mediante una estrategia de pooling sobre los códigos generados con respecto los descriptores locales de /. Una implementacion utiliza pooling basado en suma, el cual obtiene el vector de características de / sumando los códigos de los descriptores locales:
Figure imgf000011_0001
Otra implementacion de agregación es VLAD (Vector of Locally Aggregated Descriptor), que toma en cuenta mayor información de los descriptores locales. En este caso, se obtiene un vector residual entre cada descriptor local y los centroides que definen el codebook. Así, el vector residual de x, con respecto al centroide j se define como:
Figure imgf000011_0002
Luego, los vector residuales son acumulados con respecto a cada cluster.
Figure imgf000011_0003
Para generar el vector de características de /, de acuerdo con VLAD, los vectores residuales acumulados son concatenados como se muestra a continuación:-
J¾™ R, RK
De acuerdo con lo descrito anteriormente, el módulo de extracción de características visuales (210) recibe una imagen /y genera un vector de características D,.
El módulo de auto-etiquetado (230) clasifica una imagen de acuerdo a diferentes criterios de clasificación. Una implementacion de este componente define tres criterios: color, forma y tipo. Así, el módulo de auto-etiquetado consiste en tres modelos de clasificación, uno por cada criterio. Cada modelo es generado por un componente de "Generación de Modelos de Clasificación" (220) mediante un proceso de aprendizaje supervisado, el cual requiere un conjunto de imágenes de productos para entrenamiento (002). En el conjunto de entrenamiento, cada imagen está asociada a una o más categorías de acuerdo con el criterio de clasificación establecido. Para el proceso de entrenamiento se utilizan características visuales de las imágenes. Estas características pueden ser definidas manualmente o automáticamente mediante el mismo clasificador. Una implementacion de este componente utiliza modelos de clasificación en donde las características se aprenden automáticamente, por ejemplo, usando una red neurona! convolucional. En otra implementacion se puede ocupar un modelo discriminativo en donde las características son definidas manualmente. Ejemplos de estos modelos pueden ser Máquinas de Vectores de Soporte (SVM), Redes Neuronales, K-Vecinos más cercanos (KNN) y Random Forest. Los modelos generados en el proceso de entrenamiento (002) son almacenado en un componente de "Modelos Clasificadores" (401 ).
El módulo de extracción de características de texto (280) procesa la descripción de los productos para generar un descriptor siguiendo el modelo vectorial tf-idf {term frequency- inverse document frequency). Todas las palabras de las descripciones son procesadas para eliminar palabras muy repetidas {stop-lis , o sin significado, como artículos y preposiciones. A las palabras se obtiene su raíz léxica y para cada texto de descripción de un producto se calcula la frecuencia de la ocurrencia de cada raíz de palabra. La frecuencia de cada raíz de palabra es multiplicada por el logaritmo del inverso de la fracción de descripciones de productos donde aparece esa raíz.
Los vectores de características de texto y vectores de características visuales calculados para los productos son guardados en una base de datos (402). Para los vectores de texto se calcula una estructura de índice invertido que consiste en crear una tabla que para cada palabra contiene la lista de descripciones de producto que contiene esa palabra. Esto permite obtener en forma eficiente todos los productos que contienen cierta palabra ingresada por el usuario. Para los vectores de características visuales se calcula un índice multidimensional, que permite obtener en forma eficiente los vectores más cercanos a un vector de consulta.
La Figura 3 muestra un esquema de funcionamiento del sistema de acuerdo a una modalidad de la presente invención. Un usuario (100) utiliza una aplicación en un dispositivo móvil (1 10) para crear una Consulta (300). La Consulta puede ser del tipo Consulta Visual+Textual (301 ), si el usuario ingresa un ejemplo visual del producto buscado junto con una componente textual, o del tipo Consulta Visual (302), si el usuario ingresa solamente un ejemplo visual del producto buscado. Un ejemplo visual puede ser una fotografía de un objeto, un video conteniendo objetos o un dibujo hecho a mano representando formas del objeto buscado. Una componente textual corresponde a una o más palabras que describen alguna característica del producto buscado. La Consulta (300) es enviada a través de la Red de Computadores (1 10) a una Unidad de Procesamiento (400), la que resuelve la búsqueda y envía de regreso una Respuesta de Consulta (001 ) conteniendo los productos que fueron relevantes para la Consulta. La unidad de procesamiento (200) carga la base de datos de productos (402) y todos los datos calculados durante la fase de preparación del sistema (Figura 2), recibe Consultas (300), busca productos en el catálogo de productos y retorna productos relevantes al usuario (001 ). El método utilizado por la unidad de procesamiento para resolver una consulta dependerá de si se recibe una Consulta Visual+Textual (301 ) o una Consulta Visual (302).
Una Consulta Visual+Textual (301 ) contiene un ejemplo visual de un objeto y una componente textual. El proceso involucrado para resolver este tipo de consulta se muestra en la Figura 4. La componente textual se utilizada para restringir el espacio de búsqueda de productos. Se utiliza el índice invertido para buscar todos los productos que contienen al menos una de las palabras de la componente textual, así la búsqueda por similitud se restringirá exclusivamente a este listado de productos textuales (520). El módulo de extracción de características visuales (210) procesa el ejemplo visual para obtener un vector de características visuales (525). Este vector se compara con todos los productos en el listado de productos textuales a través de un componente o módulo de búsqueda por similitud (240). La comparación entre vectores visuales se realiza mediante una función de distancia, que puede ser por ejemplo distancia Euclidiana, distancia Manhattan, distancia Mahalanobis, distancia Hellinger, Chi cuadrado, entre otras. El módulo de Búsqueda por Similitud (240) retorna una Lista de Productos Relevantes (003) que pasa por un módulo o componente de agrupamiento de resultados (260) para producir el resultado de la consulta.
Una Consulta Visual (302) contiene solamente un ejemplo visual de un objeto. A diferencia la Consulta Visual+Textual (301 ), el usuario no ingresa texto alguno. El proceso de búsqueda visual (Figura 5) se compone de dos módulos: un módulo de Búsqueda Visual Auto-Descriptiva (320) y un módulo de Búsqueda Visual General (330). Cada módulo produce una lista de productos relevantes que son combinadas mediante el componente de Combinación de Listas (340) para generar una Lista de Productos Relevantes (003). En forma similar al caso anterior, la lista de productos relevantes es enviada a un componente de agrupamiento (260) para obtener la respuesta final de la consulta.
El módulo de Búsqueda Visual Auto-descriptiva (320) utiliza la componente de auto- etiquetado para generar automáticamente un conjunto de etiquetas (530) que describen el ejemplo de consulta (Figura 6). Con la descripción generada, un módulo de Selección de Productos (270) obtiene el subconjunto de productos que tiene al menos una etiqueta en común con el ejemplo de consulta. Se calcula el vector de características visuales (525) del ejemplo de consulta y se realiza una búsqueda por similitud restringida al subconjunto de productos con coincidencia de etiquetas. La búsqueda por similitud obtiene los K productos con mayor similitud al ejemplo de consulta en el subconjunto de productos los que son retornados como una Lista de Productos VAD (visual auto-descriptiva) (004),
El módulo Búsqueda Visual General (330) busca productos considerando todos los productos existentes en la base de datos. Se calcula el vector de características visuales (525) del ejemplo de consulta y se realiza una búsqueda por similitud dentro de todos los productos. La búsqueda por similitud obtiene los K productos con mayor similitud al ejemplo de consulta en la base de datos, los que son retornados como una Lista de Productos VG (visual general) (005),
La relevancia de un producto es un valor numérico mayor a cero, score, que representa el grado de coincidencia entre la solicitud de búsqueda y las características del producto. El módulo de Combinación de Listas (340) mezcla la Lista de Productos VAD (004) y la Lista de Productos VG (005). Esta mezcla corresponde a sumar el valor de relevancia de cada producto en cada búsqueda por similitud, acumulando la relevancia de los productos duplicados. Los K productos que obtienen la mayor relevancia acumulada generan la Lista de Productos Relevantes (003). El módulo de Agrupamiento de Resultados (260) recibe una Lista de Productos Relevantes (003) y organiza los productos con respecto a las clases predominantes. A cada una de las clases se le asigna una votación con respecto a los productos de tal clase que aparece en la lista y se seleccionan las M clases más votadas. La votación considera sumar la relevancia de cada producto en la lista para cada categoría. La Respuesta de Consulta (001 ) es el listado con las categorías más votadas junto a los productos que votaron por ella. Esta Respuesta de Consulta se retorna a la aplicación cliente para que sea visualizada por el usuario.

Claims

REIVINDICACIONES
Un sistema para búsqueda de productos en catálogos, CARACTERIZADO porque comprende:
a. un dispositivo con conexión a red que tiene una aplicación que permite a un usuario generar una consulta, enviar una consulta a una unidad de procesamiento y mostrar resultados, donde una consulta es un ejemplo visual de un producto que se desea buscar;
b. una unidad de procesamiento que recibe consultas desde el usuario y resuelve búsquedas en el catálogo, que comprende,
i. una componente de extracción de características visuales;
¡i. una componente de auto-etiquetado;
Ni. una componente de búsqueda por similitud; y
iv. una componente de agrupamiento de resultados
c. una unidad de almacenamiento de datos, que mantiene en forma persistente información de productos de catálogos de una o más tiendas.
El sistema para búsqueda de productos en catálogos de la reivindicación 1 , CARACTERIZADO porque el ejemplo visual corresponde a una o más fotografías, uno o más dibujos a mano o un video.
El sistema para búsqueda de productos en catálogos de la reivindicación 1 , CARACTERIZADO porque la consulta comprende un ejemplo visual y además una o más palabras ingresadas por el usuario.
El sistema para búsqueda de productos en catálogos de la reivindicación 1 , CARACTERIZADO porque la componente de auto-etiquetado se basa en el entrenamiento y uso de una Red Neuronal.
El sistema para búsqueda de productos en catálogos de la reivindicación 1 , CARACTERIZADO porque la componente de auto-etiquetado utiliza un clasificador. El sistema para búsqueda de productos en catálogos de la reivindicación 5, CARACTERIZADO porque el clasificador está comprendido entre: Support Vector Machine (SVM), redes neuronales, K-Vecinos más cercanos (KNN) y Random Forest. Un método para búsqueda de productos en catálogos, CARACTERIZADO porque comprende las siguientes etapas:
a. ingresar por parte del usuario una consulta en un dispositivo con conexión a red a través de una aplicación instalada y enviar la consulta a una unidad de procesamiento;
b. recibir la consulta en una unidad de procesamiento para:
i. extraer características visuales de la consulta;
¡i. realizar una búsqueda por similitud visual entre una consulta y todos los productos almacenados en una unidad de almacenamiento de datos utilizando características visuales;
Ni. generar automáticamente un conjunto de etiquetas para la consulta;
iv. realizar una búsqueda por similitud restringida al subconjunto de productos que coinciden en al menos una etiqueta con la consulta;
v. mezclar los resultados de búsquedas ii y iv para generar la respuesta a la consulta;
c. recibir la respuesta a la consulta por parte del dispositivo con conexión de red y generar la visualización al usuario.
El método para búsqueda de productos en catálogos de la reivindicación 7, CARACTERIZADO porque el ejemplo visual corresponde a una o más fotografías, uno o más dibujos a mano o un video.
El método para búsqueda de productos en catálogos de la reivindicación 7, CARACTERIZADO porque la consulta contiene un ejemplo visual y además una o más palabras ingresadas por el usuario.
10. El método para búsqueda de productos en catálogos de la reivindicación 9, CARACTERIZADO porque el método de búsqueda por similitud es restringido al subconjunto de productos que coinciden en al menos una palabra con la consulta.
1 1 . El método para búsqueda de productos en catálogos de la reivindicación 7, CARACTERIZADO porque el método de extracción de características visuales de la consulta se basa en métodos de agregación de descriptores locales.
12. El método para búsqueda de productos en catálogos de la reivindicación 7, CARACTERIZADO porque la fase de generación de etiquetas se basa en el entrenamiento y uso de una Red Neuronal.
13. El método para búsqueda de productos en catálogos de la reivindicación 7, CARACTERIZADO porque en la etapa de generación de etiquetas utiliza un clasificador.
14. El método para búsqueda de productos en catálogos de la reivindicación 13, CARACTERIZADO porque el clasificador está comprendido entre: Support Vector Machine (SVM), redes neuronales, K-Vecinos más cercanos (KNN) y Random Forest.
PCT/CL2015/050027 2015-08-03 2015-08-03 Sistema y método para buscar productos en catálogos WO2017020139A1 (es)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/750,125 US20180322208A1 (en) 2015-08-03 2015-08-03 System and method for searching for products in catalogs
EP15899918.5A EP3333769A4 (en) 2015-08-03 2015-08-03 SYSTEM AND METHOD FOR SEARCHING PRODUCTS IN CATALOGS
PCT/CL2015/050027 WO2017020139A1 (es) 2015-08-03 2015-08-03 Sistema y método para buscar productos en catálogos
CN201580083505.1A CN108431829A (zh) 2015-08-03 2015-08-03 用于在目录中搜索产品的系统和方法
JP2018526283A JP2018523251A (ja) 2015-08-03 2015-08-03 カタログ内の製品を検索するためのシステムおよび方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CL2015/050027 WO2017020139A1 (es) 2015-08-03 2015-08-03 Sistema y método para buscar productos en catálogos

Publications (1)

Publication Number Publication Date
WO2017020139A1 true WO2017020139A1 (es) 2017-02-09

Family

ID=57942193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CL2015/050027 WO2017020139A1 (es) 2015-08-03 2015-08-03 Sistema y método para buscar productos en catálogos

Country Status (5)

Country Link
US (1) US20180322208A1 (es)
EP (1) EP3333769A4 (es)
JP (1) JP2018523251A (es)
CN (1) CN108431829A (es)
WO (1) WO2017020139A1 (es)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866984B2 (en) * 2015-08-03 2020-12-15 Orand S.A. Sketch-based image searching system using cell-orientation histograms and outline extraction based on medium-level features
US11769193B2 (en) * 2016-02-11 2023-09-26 Ebay Inc. System and method for detecting visually similar items
US11748978B2 (en) 2016-10-16 2023-09-05 Ebay Inc. Intelligent online personal assistant with offline visual search database
US10860898B2 (en) * 2016-10-16 2020-12-08 Ebay Inc. Image analysis and prediction based visual search
US10970768B2 (en) 2016-11-11 2021-04-06 Ebay Inc. Method, medium, and system for image text localization and comparison
US11861675B2 (en) 2019-04-22 2024-01-02 Home Depot Product Authority, Llc Methods for product collection recommendations based on transaction data
US20200387950A1 (en) * 2019-06-07 2020-12-10 Elc Management Llc Method And Apparatus For Cosmetic Product Recommendation
US11120313B2 (en) 2019-07-15 2021-09-14 International Business Machines Corporation Generating search determinations for assortment planning using visual sketches
US11176209B2 (en) * 2019-08-06 2021-11-16 International Business Machines Corporation Dynamically augmenting query to search for content not previously known to the user
US11200445B2 (en) 2020-01-22 2021-12-14 Home Depot Product Authority, Llc Determining visually similar products
CN111949814A (zh) * 2020-06-24 2020-11-17 百度在线网络技术（北京）有限公司 搜索方法、装置、电子设备和存储介质
CN111967533B (zh) * 2020-09-03 2022-09-23 中山大学 一种基于场景识别的草图图像翻译方法
CN111932323B (zh) * 2020-09-29 2021-01-15 北京每日优鲜电子商务有限公司 物品信息界面显示方法、装置、设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035055A (en) * 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system
US20070143272A1 (en) * 2005-12-16 2007-06-21 Koji Kobayashi Method and apparatus for retrieving similar image
US20100260426A1 (en) * 2009-04-14 2010-10-14 Huang Joseph Jyh-Huei Systems and methods for image recognition using mobile devices
US8831358B1 (en) * 2011-11-21 2014-09-09 Google Inc. Evaluating image similarity
US8995716B1 (en) * 2012-07-12 2015-03-31 Google Inc. Image search results by seasonal time period

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8489987B2 (en) * 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US7840076B2 (en) * 2006-11-22 2010-11-23 Intel Corporation Methods and apparatus for retrieving images from a large collection of images
US9135277B2 (en) * 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US9087059B2 (en) * 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
WO2011017558A1 (en) * 2009-08-07 2011-02-10 Google Inc. User interface for presenting search results for multiple regions of a visual query
US8171049B2 (en) * 2009-09-18 2012-05-01 Xerox Corporation System and method for information seeking in a multimedia collection
US8977639B2 (en) * 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
US8447767B2 (en) * 2010-12-15 2013-05-21 Xerox Corporation System and method for multimedia information retrieval
US8798362B2 (en) * 2011-08-15 2014-08-05 Hewlett-Packard Development Company, L.P. Clothing search in images
US9075824B2 (en) * 2012-04-27 2015-07-07 Xerox Corporation Retrieval system and method leveraging category-level labels
US8935246B2 (en) * 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
CN104346370B (zh) * 2013-07-31 2018-10-23 阿里巴巴集团控股有限公司 图像搜索、获取图像文本信息的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035055A (en) * 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system
US20070143272A1 (en) * 2005-12-16 2007-06-21 Koji Kobayashi Method and apparatus for retrieving similar image
US20100260426A1 (en) * 2009-04-14 2010-10-14 Huang Joseph Jyh-Huei Systems and methods for image recognition using mobile devices
US8831358B1 (en) * 2011-11-21 2014-09-09 Google Inc. Evaluating image similarity
US8995716B1 (en) * 2012-07-12 2015-03-31 Google Inc. Image search results by seasonal time period

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3333769A4 *

Also Published As

Publication number Publication date
US20180322208A1 (en) 2018-11-08
EP3333769A1 (en) 2018-06-13
EP3333769A4 (en) 2019-05-01
JP2018523251A (ja) 2018-08-16
CN108431829A (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
WO2017020139A1 (es) Sistema y método para buscar productos en catálogos
US11074477B2 (en) Multi-dimensional realization of visual content of an image collection
US10691743B2 (en) Multi-dimensional realization of visual content of an image collection
Hu et al. Collaborative fashion recommendation: A functional tensor factorization approach
Zhao et al. Affective image retrieval via multi-graph learning
US9767348B2 (en) Vector-based face recognition algorithm and image search system
Kumar et al. Facetracer: A search engine for large collections of images with faces
US10776417B1 (en) Parts-based visual similarity search
CN104584033B (zh) 在线商店中的交互式服装搜索
US9251434B2 (en) Techniques for spatial semantic attribute matching for location identification
Chen et al. AMC: Attention guided multi-modal correlation learning for image search
Bhattacharjee et al. Query adaptive instance search using object sketches
Sang et al. Exploiting social-mobile information for location visualization
Rubio et al. Multi-modal joint embedding for fashion product retrieval
CN108596646A (zh) 一种融合人脸属性分析的服装搭配推荐方法
Tautkute et al. What looks good with my sofa: Multimodal search engine for interior design
US11403697B1 (en) Three-dimensional object identification using two-dimensional image data
Vadakkot et al. Automatic one-hand gesture (mudra) identification in bharatanatyam using eigenmudra projections and convolutional neural networks
Rossetto et al. LifeGraph 4-lifelog retrieval using multimodal knowledge graphs and vision-language models
Wankhede et al. Content-based image retrieval from videos using CBIR and ABIR algorithm
JP7316477B1 (ja) 処理実行システム、処理実行方法、及びプログラム
McGuinness et al. The AXES research video search system
Hua et al. Uniting Image and Text Deep Networks via Bi-directional Triplet Loss for Retreival
Hast Consensus Ranking for Efficient Face Image Retrieval: A Novel Method for Maximising Precision and Recall
Hemalatha et al. Online shopping using tagging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15899918

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018526283

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2015899918

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15750125

Country of ref document: US