WO2019221551A1 - 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램 - Google Patents

이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2019221551A1
WO2019221551A1 PCT/KR2019/005935 KR2019005935W WO2019221551A1 WO 2019221551 A1 WO2019221551 A1 WO 2019221551A1 KR 2019005935 W KR2019005935 W KR 2019005935W WO 2019221551 A1 WO2019221551 A1 WO 2019221551A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning model
image
query image
weight
interest map
Prior art date
Application number
PCT/KR2019/005935
Other languages
English (en)
French (fr)
Inventor
여재윤
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to CN201980033545.3A priority Critical patent/CN112154451A/zh
Priority to SG11202011439WA priority patent/SG11202011439WA/en
Priority to US17/055,990 priority patent/US20210256258A1/en
Priority to JP2020564337A priority patent/JP2021524103A/ja
Publication of WO2019221551A1 publication Critical patent/WO2019221551A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a method and apparatus for extracting a representative characteristic of an object, and more particularly, to a method, an apparatus and a computer program for extracting a representative characteristic of a merchandise object included in an image.
  • collectable merchandise images include various objects to increase the attractiveness of the merchandise.
  • clothing or trinkets are usually taken by an advertisement model or product image with a favorable advertisement model wearing clothing or trinkets. This is because the overall image created by the model, background, and props gives the impression Because it can affect your preference for.
  • a background is generally included in most images obtained as a result of the search.
  • an error may occur such that an image using the color as the background color is output as a search result when a color is searched with a query.
  • An object of the present invention is to provide a method for extracting a representative characteristic of a product included in an image with a small amount of calculation.
  • the present invention is to solve the problem of not accurately extracting the characteristics of the product in the image by the background characteristics included in the image, and to identify the characteristics of the product at a faster speed than the conventional method is another object.
  • the present invention provides a method for a server to extract a representative characteristic of an object in an image, the method comprising: receiving a query image, applying the query image to a first learning model trained on a specific product, and executing the query Generating a interest map for extracting an internal region of an object corresponding to the specific product included in an image, applying the interest map as a weight to a trained second learning model for extracting object characteristics; And extracting the characteristic classification information of the internal region of the object by inputting the query image to the second learning model to which the weight is applied.
  • the present invention also provides an apparatus for extracting a representative characteristic of an object in an image, the communication unit for receiving a query image, the inside of the object corresponding to the specific product in the query image by using a first learning model learned about a specific product
  • a map generator for generating a interest map corresponding to a region
  • a weight applying unit for applying the interest map as a weight to a second learning model trained for object property extraction
  • a weighted second learning model And a feature extractor configured to input the query image to extract feature classification information of an internal region of the object.
  • according to the present invention can solve the problem of not accurately extract the characteristics of the object in the image by the background characteristics included in the image, it is possible to identify the characteristics of the goods faster than the conventional method.
  • FIG. 2 is a diagram illustrating a system for extracting a representative characteristic of an object according to an embodiment of the present disclosure
  • FIG. 3 is a block diagram illustrating a configuration of an apparatus for extracting representative characteristics of an object according to an embodiment of the present disclosure
  • FIG. 4 is a flowchart illustrating a method of extracting a representative characteristic of an object according to an embodiment of the present invention
  • FIG. 5 is a flowchart illustrating a method of applying a weight of an interest map according to an embodiment of the present invention
  • 6 is a view for explaining a composite product neural network
  • FIG. 7 is a view for explaining the encoder-decoder structure of the learning model according to an embodiment of the present invention.
  • FIG. 8 is a diagram for describing representative property extraction of an object according to an exemplary embodiment.
  • a representative feature extraction system includes a terminal 50 and a representative feature extraction apparatus 100.
  • the terminal 50 may transmit an arbitrary query image to the representative feature extracting apparatus 100 through the wired / wireless network 30, and the representative feature extracting apparatus 100 extracts a representative feature of a specific product included in the query image. It may transmit to the terminal 50.
  • the query image is an image including an object that can be traded in the market (hereinafter referred to as a 'product'), but the present invention is not limited by the type of the product, but for convenience of description, such as clothes, shoes, bags, etc. The focus is on fashion products.
  • the characteristics of the product in the present specification may be understood to mean a characteristic element that can describe the product, such as the color, texture, category, pattern, material of the product, the representative characteristics are representative colors that best represent the product, It may be understood to mean a texture, a category, a pattern, a material, and the like.
  • the representative feature extraction apparatus 100 includes a communication unit 110, a map generation unit 120, a weight applying unit 130, and a feature extraction unit 140.
  • the labeling unit 150 may further include a search unit 160 and a database 170.
  • the communication unit 110 transmits and receives data with the terminal 50.
  • the communication unit 110 may receive a query image from the terminal 50, and transmit the representative characteristic of the query image extracted from the query image to the terminal 50.
  • the communication unit 110 may support a wired communication method and / or a wireless communication method supporting the TCP / IP protocol or the UDP protocol.
  • the map generator 120 may generate a interest map corresponding to an internal area of the object corresponding to the specific product in the query image by using the first learning model trained on the specific product.
  • the map generator 120 generates a map of interest through a learning model trained on the basis of deep learning.
  • Deep learning is a collection of machine learning algorithms that attempt to combine high levels of abstraction (a task that intensifies key content or functionality in large amounts of data or complex data) through a combination of nonlinear transformations. Is defined. Deep learning can be seen as a field of machine learning that uses neural networks to teach people how to think. Examples of deep learning techniques include Deep Neural Networks, Convolutional Deep Neural Networks (CNN), Reccurent Neural Nework (RNN), and Deep Belief Networks (DBM). .
  • CNN Convolutional Deep Neural Networks
  • RNN Reccurent Neural Nework
  • DBM Deep Belief Networks
  • a convolutional neural network learning model having an encoder-decoder structure may be used as a first learning model for generating an interest map.
  • Multiplication neural networks are a type of multilayer perceptrons designed to use minimal preprocessing.
  • a convolutional neural network consists of one or several convolutional layers and a general artificial neural network layer on top of them, which further utilizes weights and pooling layers. This structure allows the convolutional neural network to fully utilize the input data of the two-dimensional structure.
  • the convolutional neural network extracts features from the input image by performing alternating convolutional and subsampling on the input image.
  • 6 illustrates the structure of a convolutional neural network.
  • a convolutional neural network includes a plurality of convolution layers, a plurality of subsampling layers, a relu layer, a dropout layer, a max-pooling layer, and a fully-connected layer. It includes.
  • the composite product layer is a layer that performs a composite product on the input image.
  • the subsampling layer is a layer that locally extracts the maximum value of the input image and maps it to the two-dimensional image. Can be done.
  • the convolutional layer is characterized by converting large input images into compact, dense representations, which are used to classify images in a fully connected classfier network.
  • a multiplication neural network with an encoder-decoder structure is used for image segmentation. As shown in FIG. 7, a multiplication neural network and a subsampling layer are used to generate a latent variable representing the main characteristics of the input data. It consists of an encoder and a decoder that recovers data from key features using a deconvolution layer.
  • the present invention generates a two-dimensional feature map having the same size as the input image by using the encoder-decoder, wherein the feature map having the same size as the input image is the interest map.
  • the interest map also called a salience map or a salient map, refers to an image that is visually displayed by separating a visual ROI and a background area for an image. When a person sees an image, he or she is more focused on a specific part, first looking at an area where there is a great difference in color, a big difference in brightness, or a strong outline.
  • the interest map refers to an image displaying a visual region of interest, a prominent region that a human looks at first.
  • the interest map generated by the map generator 120 of the present invention corresponds to an internal region of an object corresponding to a specific product in the query image. That is, the background and the object area are separated, which is clearly different from the conventional technology of detecting the object by extracting only the outbound of the object or extracting only the bounding box containing the object.
  • map of interest generated by the map generator 120 of the present invention separates the entire internal region of the object from the background, the possibility of mixing the characteristics of the background (color, texture, pattern, etc.) with the characteristics of the object is completely perfect. You can block.
  • the encoder of the interest map generation model may include a convolution layer, an activation function layer, a dropout layer, and a maxpooling layer. It can be generated by combining a -pooling layer, the decoder can be generated by combining an upsampling layer, a deconvolution layer, a sigmoid layer, a dropout layer. . That is, the interest map generation model 125 has an encoder-decoder structure and may be understood as a model trained by a multiplication neural network technique.
  • the interest map generation model 125 is pre-trained using an image of a specific product as a dataset. For example, in the case of the interest map generation model 125 shown in FIG. It may be learned in advance. On the other hand, since the type of products included in the query image is not limited, it should be understood that the interest map generation model 125 of the present invention has previously learned various kinds of product images in order to generate the interest map of the query image.
  • the weight applicator 130 may apply the interest map as a weight to the second learning model trained for object property extraction.
  • the second learning model is for object property extraction, and may be a model trained using a composite-product neural network technique for classifying images, and may be trained using one or more product images as a data set.
  • the feature extraction model 145 may use neural networks composed of synthetic products such as AlexNet, VGG, ResNet, Inception, InceptionResNet MobileNet, SqueezeNet DenseNet, and NASNet.
  • the feature extraction model 145 when the feature extraction model 145 is a model generated to extract the color of the internal region of a specific product, the feature extraction model 145 may generate a color set, a map of interest, and a color label of the specific product. It may be a trained model.
  • the input image can also use color models such as RGB, HSV, and YCbCr.
  • the weight application unit 130 generates a weight filter by converting the size of the interest map to the size of the first product layer (the product layer to which the weights are applied) included in the feature extraction model 145, and the first product layer. And the weight filter may be applied to the feature extraction model 145 by element-wise multiplication for each channel.
  • the feature extraction model 145 is composed of a plurality of composite product hierarchies, and the weight applying unit 130 sets the size of the interest map to any one of the composite product hierarchies included in the feature extraction model 145.
  • the size of the interest map may be resized so as to correspond to the size of the first convolutional product layer).
  • the feature extraction model 145 may scale the value of each pixel in the resized interest map. Scaling here refers to a standardization operation in which the value is changed by multiplying an integer (magnification) so that the range of values falls within a predetermined limit.
  • the weight applying unit 130 scales the values of the weight filter to a value between 0 and 1, and the size of the weight filter having an size of mxn having the same size as the size (mxn) of the first convolutional product layer. Can be generated.
  • the first composite product layer Weight filter
  • the second convolutional layer having the weight filter applied to the first convolutional layer It can be calculated as, which means to multiply the components of the same position, it is possible to more strongly activate the area corresponding to the object in the composite product layer-the white area (355) of Figure 8-.
  • the feature extractor 140 extracts feature classification information of an internal region of the object by inputting a query image to the second learning model to which the weight is applied.
  • the characteristics (colors, textures, and categories) of the query image are extracted by the composite product neural network used to train the second training model. Since is applied, it is possible to extract only the characteristic in which the internal area of the object extracted from the interest map is highlighted.
  • the map generator 120 extracts only the inner region of the object corresponding to the jeans, and thus the inner region and the background. Generates a map of interest 350 to distinguish. In the interest map 350, the inner region of the jeans is clearly separated from the background.
  • the weight application unit 130 generates a weight filter by converting and scaling the size of the interest map to the size (mxn) of the composite product layer to which the weights included in the second learning model 145 are applied. By multiplying the map element by element, the interest map is applied as a weight to the second learning model 145.
  • the feature extractor 140 inputs the query image 300 to the weighted second learning model 145 to extract the feature of the jeans region 370 corresponding to the inner region of the object.
  • classification information of colors constituting the inner region such as color number 000066: 78% and color number 000099: 12%, may be derived as a result.
  • the accuracy of the extracted characteristic is high and the background characteristic (for example, grass that is the background of the query image 300) is extracted. Error, such as green), is significantly reduced.
  • the labeling unit 140 may analyze the property classification information extracted by the feature extraction unit 140, set the property existing with the highest probability as the representative property of the object, and label the representative property in the query image.
  • the labeled query image may be stored in the database 170 and may be used as a product image for generating a learning model or used for a search.
  • the searcher 160 may search the database 170 for a product image having the same property by using the representative feature of the query image in the feature extractor 140. For example, if the representative color of the jeans is extracted as 'navy blue' and the representative texture is extracted as the 'denim texture', the labeling unit 140 may label the navy blue and the denim in the query image 130, and the search unit The 160 may search for a product image stored in a database by using 'navy blue' and 'denim'.
  • One or more query images and / or product images may be stored in the database 170, and representative features extracted through the aforementioned method may be labeled and stored together in the product image stored in the database 170.
  • the server when the server receives the query image (S100), the server extracts an internal region of an object corresponding to a specific product included in the query image by applying the query image to the first learning model learned for the specific product.
  • An interest map is generated (S200).
  • the server may apply the interest map as a weight to the trained second learning model for object characteristic extraction (S300), and input the query image into the weighted second learning model to extract the characteristic classification information of the internal region of the object.
  • S400 There is (S400).
  • the server converts the size of the interest map to the size of the first product layer included in the second learning model, scales pixel values, generates a weight filter (S310), and then applies the weighted first product layer.
  • the weight filter may be element-wise multiplication (S330).
  • the first learning model applied to the query image in step 200 may be a model trained by a convolutional neural network technique having an encoder-decoder structure, and is weighted in step 300.
  • the second learning model applied to the query image may be a model learned by a standard classification convolutional neural network technique.
  • the second learning model may be a model trained using at least one of a color image, an interest map, or a color label of a specific product as an input value in order to learn the color of an internal region of the specific product.
  • the server may analyze the property classification information to set the property that exists with the highest probability as the representative property of the object and label the representative property in the query image (S500). For example, a query image contains an object corresponding to a dress, and yellow (0.68), white (0.20), and black (0.05) are extracted with different probability using the color information of the region inside the dress as the property classification information. If so, the server may set yellow as the representative color of the query image with the highest probability, and label 'yellow' in the query image. If the stripe pattern 0.7 or the dot pattern 0.2 is extracted as the characteristic classification information, the stripe pattern may be set as the representative pattern, and the stripe pattern may be labeled in the query image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체의 대표 특성을 추출하는 방법 및 장치에 관한 것이다. 본 발명은 서버가 이미지 내 객체의 대표 특성을 추출하는 방법에 있어서, 쿼리 이미지를 수신하는 단계, 상기 쿼리 이미지를 특정 상품에 대해 학습된 제1 학습 모델에 적용하여 상기 쿼리 이미지에 포함된 상기 특정 상품에 해당하는 객체의 내부 영역을 추출하는 관심맵(saliency map)을 생성하는 단계, 객체 특성 추출을 위하여 학습된 제2 학습 모델에 상기 관심맵을 가중치로 적용하는 단계, 상기 쿼리 이미지를 상기 가중치가 적용된 제2 학습 모델에 입력하여 상기 객체의 내부 영역의 특성 분류 정보를 추출하는 단계를 포함하는 것을 일 특징으로 한다.

Description

이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
본 발명은 객체의 대표 특성을 추출하는 방법 및 장치에 관한 것으로, 보다 자세하게는 이미지에 포함된 상품 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
일반적으로 수집할 수 있는 상품 이미지들은 상품에 대한 호감도를 높이기 위한 다양한 객체들을 포함한다. 예를 들어, 의류나 장신구는 호감도 높은 광고 모델이 의류나 장신구를 착용한 상태에서 광고 이미지나 상품 이미지를 촬영하는 것이 일반적인데, 이는 모델이나 배경, 소품 등이 만들어내는 전체 이미지가 주는 느낌이 상품에 대한 호감도에 영향을 미칠 수 있기 때문이다.
따라서 어떠한 상품을 검색했을 때 검색 결과로 얻어지는 이미지 대부분에는 배경이 포함되는 것이 일반적이다. 그 결과, 배경의 비중이 높은 이미지가 DB에 포함된 경우, 색상을 쿼리로 검색을 수행했을 때 해당 색상을 배경색으로 하는 이미지가 검색결과로 출력되는 등의 오류가 발생할 수 있다.
이러한 오류를 줄이기 위하여 한국등록특허 제10-1801846호(공개일: 2017.03.08.)에 개시된 바와 같이 물체 검출 모델을 이용하여 후보 영역을 추출하고, 후보 영영에서 특징을 추출하는 방법이 사용되고 있다. 상기와 같은 종래 기술은 도 1에 도시된 바와 같이 객체 별로 바운딩 박스(10)를 생성하여 바운딩 박스에서 특징을 추출하는데, 이 경우에도 배경의 비중이 전체 이미지에서 조금 줄어들었을 뿐, 바운딩 박스 내에서 배경의 특성이 객체의 특성으로 잘못 추출되는 오류를 완전히 제거하지는 못한다. 따라서 적은 연산량으로도 이미지에 포함된 객체의 대표적인 특성을 정확하게 추출할 수 있는 방법이 필요하다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 적은 연산량으로 이미지에 포함된 상품의 대표적인 특성을 추출할 수 있는 방법을 제공하는 것을 일 목적으로 한다.
본 발명은 이미지에 포함된 배경 특성에 의해 이미지 내 상품의 특성을 정확하게 추출하지 못하는 문제를 해결하고, 종래 방식에 비해 빠른 속도로 상품의 특성을 식별하는 것을 다른 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명은 서버가 이미지 내 객체의 대표 특성을 추출하는 방법에 있어서, 쿼리 이미지를 수신하는 단계, 상기 쿼리 이미지를 특정 상품에 대해 학습된 제1 학습 모델에 적용하여 상기 쿼리 이미지에 포함된 상기 특정 상품에 해당하는 객체의 내부 영역을 추출하는 관심맵(saliency map)을 생성하는 단계, 객체 특성 추출을 위하여 학습된 제2 학습 모델에 상기 관심맵을 가중치로 적용하는 단계, 상기 쿼리 이미지를 상기 가중치가 적용된 제2 학습 모델에 입력하여 상기 객체의 내부 영역의 특성 분류 정보를 추출하는 단계를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 이미지 내 객체의 대표 특성을 추출하는 장치에 있어서, 쿼리 이미지를 수신하는 통신부, 특정 상품에 대해 학습된 제1 학습 모델을 이용하여 상기 쿼리 이미지 내 상기 특정 상품에 해당하는 객체의 내부 영역에 대응하는 관심맵(saliency map)을 생성하는 맵 생성부, 객체 특성 추출을 위하여 학습된 제2 학습 모델에 상기 관심맵을 가중치로 적용하는 가중치 적용부, 상기 가중치가 적용된 제2 학습 모델에 상기 쿼리 이미지를 입력하여 상기 객체의 내부 영역의 특성 분류 정보를 추출하는 특성 추출부를 포함하는 것을 다른 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 적은 연산량으로 이미지에 포함된 객체의 대표적인 특성을 추출할 수 있다.
또한, 본 발명에 의하면 이미지에 포함된 배경 특성에 의해 이미지 내 객체의 특성을 정확하게 추출하지 못하는 문제를 해결할 수 있으며, 종래 방식에 비해 빠른 속도로 상품의 특성을 식별할 수 있다.
또한, 본 발명에 의하면 객체의 내부 영역만을 특성 검출에 사용하므로, 특성 검출 시 발생되는 오류를 현저하게 줄일 수 있다.
도 1은 종래 기술이 이미지에서 객체를 추출하는 방법을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 객체의 대표 특성을 추출하는 시스템을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 객체의 대표 특성 추출 장치의 구성을 설명하기 위한 블록도,
도 4는 본 발명의 일 실시 예에 따른 객체의 대표 특성 추출 방법을 설명하기 위한 순서도,
도 5는 본 발명의 일 실시 예에 따른 관심맵의 가중치 적용 방법을 설명하기 위한 순서도,
도 6은 합성곱 신경망을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 의한 학습 모델의 인코더-디코더 구조를 설명하기 위한 도면,
도 8은 본 발명의 일 실시 예에 의한 객체의 대표 특성 추출을 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
도 2는 본 발명의 일 실시 예에 따른 대표 특성 추출 시스템을 도시한 도면이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 대표 특성 추출 시스템은 단말(50) 및 대표 특성 추출 장치(100)를 포함한다. 단말(50)은 유무선 네트워크(30)를 통해 임의의 쿼리 이미지를 대표 특성 추출 장치(100)로 전송할 수 있으며, 대표 특성 추출 장치(100)는 쿼리 이미지에 포함된 특정 상품의 대표 특성을 추출하여 단말(50)에 전송할 수 있다. 쿼리 이미지는 시장에서 거래될 수 있는 물건(이하, ‘상품’이라함)을 포함하는 이미지로 본 발명은 상품의 종류에 의해 제한되지 아니하나, 본 명세서에서는 설명의 편의상 의류, 신발, 가방 등의 패션 상품을 중심으로 설명한다. 한편 본 명세서에서 상품의 특성은 상품의 색상, 텍스처, 카테고리, 패턴, 소재 등 상품을 설명할 수 있는 특징적인 요소를 의미하는 것으로 이해될 수 있으며, 대표 특성은 해당 상품을 가장 잘 나타내는 대표적인 색상, 텍스처, 카테고리, 패턴, 소재 등을 의미하는 것으로 이해될 수 있다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 대표 특성 추출 장치(100)는 통신부(110), 맵 생성부(120), 가중치 적용부(130), 특성 추출부(140)를 포함하며, 레이블링부(150), 검색부(160), 데이터베이스(170)를 더 포함할 수 있다.
통신부(110)는 단말(50)과의 데이터를 송수신한다. 예를 들어, 통신부(110)는 단말(50)로부터 쿼리 이미지를 수신할 수 있으며, 쿼리 이미지로부터 추출된 쿼리 이미지의 대표 특성을 단말(50)로 전송할 수 있다. 이를 위해 통신부(110)는 TCP/IP 프로토콜 또는 UDP 프로토콜을 지원하는 유선 통신 방식 및/또는 무선 통신 방식을 지원할 수 있다.
맵 생성부(120)는 특정 상품에 대해 학습된 제1 학습 모델을 이용하여 쿼리 이미지 내 특정 상품에 해당하는 객체의 내부 영역에 대응하는 관심맵(saliency map)을 생성할 수 있다. 맵 생성부(120)는 딥 러닝(Deep Learning)을 기반으로 학습된 학습 모델을 통해 관심맵을 생성한다.
딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 용약하는 작업)을 시도하는 기계학습(machine learning) 알고리즘의 집함으로 정의된다. 딥 러닝은 인공 신경망(Neural Network)를 이용하여 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다. 딥 러닝 기법의 일 예로는 심층 신경망(Deep Neural Network), 합성곱 신경망(Convolutional deep Neural Networks, CNN), 순환 신경망(Reccurent Neural Nework, RNN), 심층 신뢰 신경망(Deep Belief Networks, DBM) 등이 있다.
본 발명의 일 실시 예에 따라 관심맵을 생성하는 제1 학습 모델로는 인코더(encoder) - 디코더(decoder) 구조를 갖는 합성곱 신경망(Convolutional Neural Network) 학습 모델이 사용될 수 있다.
합성곱 신경망은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망은 하나 또는 여러개의 합성곱 계층(convolutional layer)과 그 위에 올려진 일반적인 인공신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다.
합성곱 신경망은 입력 이미지에 대하여 합성곱과 서브샘플링을 번갈아 수행함으로써 입력 영상으로부터 특징을 추출한다. 도 6은 합성곱 신경망의 구조를 예시한 도면이다. 도 6을 참조하면, 합성곱 신경망은 여러 개의 합성곱 계층(Convolution layers), 여러 개의 서브 샘플링 계층(Subsampling layer, Relu layer, Dropout layer, Max-pooling layer), 완전 연결 계층(Fully-Connected layer)를 포함한다. 합성곱 계층은 입력 이미지에 대해 합성곱을 수행하는 계층이며, 서브샘플링 계층은 입력 이미지에 대해 지역적으로 최대값을 추출하여 2차원 이미지로 매핑하는 계층으로, 국소적인 영역을 더 크게 하고, 서브 샘플링을 수행할 수 있다.
합성곱 계층은 큰 입력 이미지를 컴팩트하고 밀도가 높은 표현으로 변환하는 특징을 가지며, 이러한 고밀도 표현은 완전히 연결된 분류망(fully connected classfier network)에서 이미지를 분류하는 데 사용된다.
인코더-디코더 구조를 갖는 합성곱 신경망은 이미지 세분화(image segmentation)을 위해 사용되는 것으로, 도 7에 도시된 바와 같이 합성곱 계층과 서브 샘플링 계층을 이용하여 입력 데이터의 주요 특징을 나타내는 Latent Variable을 생성하는 인코더(encoder)와, 역합성곱(deconvolution) 계층을 이용하여 주요 특징으로부터 데이터를 복원시키는 디코더(decoder)로 구성된다.
본 발명은 인코더-디코더를 이용하여 입력 이미지와 동일한 크기를 갖는 2차원특성 맵(feature map)을 생성하며, 이 때 입력 이미지와 동일한 크기를 갖는 특성 맵이 바로 관심맵(saliency map)이다. 관심맵은 샐리언시 맵 또는 돌출맵이라고도 하며, 어느 이미지에 대하여 시각적 관심영역과 배경영역을 분리하여 시각적으로 표시한 영상을 의미한다. 인간은 어떤 이미지를 볼 때 특정 부분에 더 집중하게 되는데, 색상의 차이가 심하거나, 밝기의 차이가 심하거나, 윤곽선의 특징이 강한 영역을 먼저 쳐다본다. 관심맵이란 이처럼 인간이 먼저 쳐다보게 되는 눈에 띄는 영역인 시각적 관심영역을 표시한 영상을 의미한다. 나아가 본 발명의 맵 생성부(120)에서 생성되는 관심맵은 쿼리 이미지 내에서 특정 상품에 해당하는 객체의 내부 영역(region)에 대응한다. 즉, 배경과 객체 영역이 분리되며, 이는 객체의 윤곽선(outbound)만을 추출하거나, 객체를 포함하는 사각 영역(bound box)만을 추출하여 객체를 검출하는 종래의 기술과는 명확히 차이가 있다
본 발명의 맵 생성부(120)에서 생성되는 관심맵은 객체의 내부 영역 전체를 배경과 분리시키기 때문에, 배경의 특성(색상, 질감, 패턴 등)과 객체의 특성이 혼재될 수 있는 가능성을 완벽히 차단할 수 있다.
본 발명의 일 실시 예에 따른 관심맵 생성 모델(제1 학습 모델)의 인코더는 합성곱 계층(convolution layer), 활성화 함수 계층(Relu layer), 드롭아웃 계층(dropout layer)와 맥스풀링 계층(Max-pooling layer)을 조합하여 생성할 수 있으며, 디코더는 업샘플링 계층(upsampling layer), 역합성곱 계층(deconvolution layer), 시그모이드 계층(sigmoid layer), 드롭아웃 계층을 조합하여 생성할 수 있다. 즉, 관심맵 생성 모델(125)은 인코더-디코더 구조를 가지며, 합성곱 신경망 기법으로 학습된 모델인 것으로 이해될 수 있다.
관심맵 생성 모델(125)은 특정 상품에 대한 이미지를 데이터셋(dataset)으로 하여 기 학습된 것으로, 예를 들어 도 8에 도시된 관심맵 생성 모델(125)의 경우 다수의 청바지 이미지를 데이터셋으로 하여 미리 학습된 것일 수 있다. 한편 쿼리 이미지에 포함되는 상품의 종류는 제한되지 않으므로, 본 발명의 관심맵 생성 모델(125)은 쿼리 이미지의 관심맵을 생성하기 위하여 다양한 종류의 상품 이미지를 미리 학습한 것으로 이해되어야 한다.
다시 도 3을 참조하면, 가중치 적용부(130)는 객체 특성 추출을 위하여 학습된 제2 학습 모델(특성 추출 모델)에 관심맵을 가중치로 적용할 수 있다. 제2 학습 모델은 객체 특성 추출을 위한 것으로, 이미지 분류를 위한 합성곱 신경망 기법으로 학습된 모델일 수 있으며, 하나 이상의 상품 이미지를 데이터셋으로 하여 학습된 것일 수 있다. 특성 추출 모델(145)은 AlexNet, VGG, ResNet, Inception, InceptionResNet MobileNet, SqueezeNet DenseNet, NASNet과 같은 합성곱으로 구성된 신경망들이 사용될 수 있다.
또 다른 실시 예로, 특성 추출 모델(145)이 특정 상품의 내부 영역의 색상을 추출하기 위하여 생성된 모델인 경우, 특성 추출 모델(145)은 특정 상품의 컬러 이미지, 관심 맵, 컬러 라벨을 데이터셋으로 하여 학습된 모델일 수 있다. 또한 입력 이미지는 RGB, HSV, YCbCr과 같은 컬러 모델을 사용할 수 있다.
가중치 적용부(130)는 관심맵의 크기를 특성 추출 모델(145)에 포함된 제1 합성곱 계층(가중치가 적용될 합성곱 계층)의 크기로 변환하여 가중치 필터를 생성하고, 제1 합성곱 계층과 가중치 필터를 채널별로 요소별 곱셈(element-wise multiplication)하는 방법으로 특성 추출 모델(145)에 가중치를 적용할 수 있다. 전술한 바와 같이, 특성 추출 모델(145)은 복수의 합성곱 계층으로 이루어져 있는 바, 가중치 적용부(130)는 관심맵의 크기를 특성 추출 모델(145)에 포함된 합성곱 계층 중 어느 하나(제1 합성곱 계층)의 크기에 대응되도록 관심맵의 크기를 리사이즈할 수 있다. 예를 들어 합성곱 계층의 크기가 24 x 24 이고 관심맵의 크기가 36 x 36 이라면, 관심맵의 크기를 24 x 24로 줄이는 식이다. 다음으로 특성 추출 모델(145)은 리사이즈된 관심맵에서 각 픽셀의 값을 스케일링(scaling)할 수 있다. 여기서 스케일링이란, 값의 범위를 미리 정한 한계 내에 들게 하기 위해 정수(배율)을 곱해서 그 값을 바꾸는 기준화 작업을 의미한다. 예를 들어, 가중치 적용부(130)는 가중치 필터의 값들을 0에서 1 사이의 값으로 스케일링하고, 그 크기는 제1 합성곱 계층의 크기(m x n)와 동일한 크기를 갖는 m x n 크기의 가중치 필터를 생성할 수 있다. 제1 합성곱 계층을
Figure PCTKR2019005935-appb-I000001
, 가중치 필터를
Figure PCTKR2019005935-appb-I000002
라고 하면, 제1 합성곱 계층에 가중치 필터가 적용된 제2 합성곱 계층
Figure PCTKR2019005935-appb-I000003
으로 계산될 수 있으며, 이는 동일한 위치의 성분끼리 곱하는 것을 의미하고, 합성곱 계층에서 객체에 해당하는 영역 - 도 8의 흰색 영역(355) - 을 더욱 강하게 활성화 시킬 수 있다.
특성 추출부(140)는 가중치가 적용된 제2 학습 모델에 쿼리 이미지를 입력하여 객체의 내부 영역의 특성 분류 정보를 추출한다. 가중치가 적용된 제2 학습 모델에 쿼리 이미지를 입력하면, 제2 학습 모델의 학습에 사용된 합성곱 신경망에 의하여 쿼리 이미지의 특성(색상, 텍스처, 카테고리) 등이 추출되는데, 제2 학습 모델에는 가중치가 적용되어 있으므로, 관심맵에서 추출된 객체의 내부 영역이 강조된 특성만 추출할 수 있다.
즉, 도 8의 예를 참조하면, 잔디밭을 배경으로 서있는 청바지 모델의 하반신 이미지를 쿼리 이미지로 입력하면, 맵생성부(120)는 청바지에 해당하는 객체의 내부 영역만을 추출하여, 내부 영역과 배경을 구분하는 관심맵(350)을 생성한다. 관심맵(350)에서 청바지의 내부 영역은 배경과 명확히 분리되어 있다.
가중치 적용부(130)는 관심맵의 크기를 제2 학습 모델(145)에 포함된 가중치가 적용될 합성곱 계층의 크기(m x n)으로 변환 및 스케일링하여 가중치 필터를 생성하며, 상기 합성곱 계층과 관심맵을 요소별 곱셈함으로써 관심맵을 제2 학습 모델(145)에 가중치로 적용한다. 특성 추출부(140)는 가중치가 적용된 제2 학습 모델(145)에 쿼리 이미지(300)를 입력하여 객체의 내부 영역에 해당하는 청바지 영역(370)의 특성을 추출한다. 추출하는 특성이 색상인 경우, 색번호 000066: 78%, 색번호 000099: 12% 와 같이 내부 영역을 구성하는 색상의 분류 정보가 결과로 도출될 수 있다. 즉, 본 발명에 의하면, 배경이 제거된 청바지 내부 영역의 특성 분류 정보만을 추출할 수 있기 때문에, 추출된 특성의 정확도가 높고, 배경의 특성(예를 들어 쿼리 이미지(300)의 배경이되는 잔디의 초록색 등)이 객체 특성으로 삽입되는 등의 오류가 현저하게 줄어드는 효과가 있다.
레이블링부(140)는 특성 추출부(140)에서 추출된 특성 분류 정보를 분석하여 가장 높은 확률로 존재하는 특성을 객체의 대표 특성으로 설정하고, 대표 특성을 쿼리 이미지에 레이블링할 수 있다. 레이블링된 쿼리 이미지는 데이터베이스(170)에 저장될 수 있으며, 학습 모델 생성을 위한 상품 이미지로 사용되거나, 검색에 사용될 수 있다.
검색부(160)는 특성 추출부(140)에서 쿼리 이미지의 대표 특성을 이용하여 동일한 특성을 갖는 상품 이미지를 데이터베이스(170)에서 검색할 수 있다. 예를 들어, 청바지의 대표 색상이 ‘군청색’으로 추출되고, 대표 텍스처가 ‘데님 텍스처’로 추출되었다면, 레이블링부(140)는 쿼리 이미지(130)에 군청색과 데님을 레이블링할 수 있으며, 검색부(160)는 ‘군청색’ 과 ‘데님’으로 데이터베이스에 저장된 상품 이미지를 검색할 수 있다.
데이터베이스(170)에는 하나 이상의 쿼리 이미지 및/또는 상품 이미지가 저장될 수 있으며, 데이터베이스(170)에 저장된 상품 이미지에는 전술한 방법을 통해 추출된 대표 특성들이 레이블링되어 함께 저장될 수 있다.
이하에서는 도 4 내지 도 5를 참조하여 본 발명의 일 실시 예에 의한 대표 특성 추출 방법을 설명한다.
도 4를 참조하면, 서버는 쿼리 이미지를 수신하면(S100), 쿼리 이미지를 특정 상품에 대해 학습된 제1 학습 모델에 적용하여 쿼리 이미지에 포함된 특정 상품에 해당하는 객체의 내부 영역을 추출하는 관심맵(saliency map)을 생성한다(S200). 서버는 객체 특성 추출을 위하여 학습된 제2 학습 모델에 관심맵을 가중치로 적용하고(S300), 쿼리 이미지를 가중치가 적용된 제2 학습 모델에 입력하여 객체의 내부 영역의 특성 분류 정보를 추출할 수 있다(S400).
단계 300에서 서버는 관심맵의 크기를 제2 학습 모델에 포함된 제1 합성곱 계층의 크기로 변환하고 픽셀 값을 스케일링하여 가중치 필터를 생성한 후(S310), 가중치가 적용될 제1 합성곱 계층에 가중치 필터를 요소별 곱셈(element-wise multiplication)할 수 있다(S330).
한편, 단계 200에서 쿼리 이미지에 적용되는 제1 학습 모델은 인코더(encoder) - 디코더(decoder) 구조를 갖는 합성곱 신경망(Convolutional Neural Network) 기법으로 학습된 모델일 수 있으며, 단계 300에서 가중치 적용되고, 단계 400에서 쿼리 이미지에 적용되는 제2 학습 모델은 표준 분류 합성곱 신경망(Convolutional Neural Network) 기법에 의하여 학습된 모델일 수 있다.
제2 학습 모델의 또 다른 실시 예로, 제2 학습 모델은 특정 상품의 내부 영역의 색상을 학습하기 위하여 특정 상품의 컬러 이미지, 관심 맵 또는 컬러 라벨 중 적어도 하나를 입력값으로 학습된 모델일 수 있다.
한편, 단계 400 이후에, 서버는 특성 분류 정보를 분석하여 가장 높은 확률로 존재하는 특성을 객체의 대표 특성으로 설정하고, 대표 특성을 쿼리 이미지에 레이블링할 수 있다(S500). 예를 들어, 쿼리 이미지에 원피스에 해당하는 객체가 포함되어 있고, 특성 분류 정보로 원피스 내부 영역의 색상 정보로 노란색(0.68), 흰색(0.20), 검은색(0.05) 등이 서로 다른 확률로 추출되는 경우, 서버는 가장 높은 확률로 존재하는 노란색을 쿼리 이미지의 대표 색상으로 설정하고, ‘노란색’을 쿼리 이미지에 레이블링 할 수 있다. 특성 분류 정보로 스트라이프 패턴(0.7), 도트 패턴(0.2) 등이 추출되었다면, ‘스트라이프 패턴’이 대표 패턴으로 설정되며, 상기 쿼리 이미지에는 ‘스트라이프 패턴’이 레이블링될 수 있다.
본 명세서에서 생략된 일부 실시 예는 그 실시 주체가 동일한 경우 동일하게 적용 가능하다. 또한, 전술한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (8)

  1. 서버가 이미지 내 객체의 대표 특성을 추출하는 방법에 있어서,
    쿼리 이미지를 수신하는 단계;
    상기 쿼리 이미지를 특정 상품에 대해 학습된 제1 학습 모델에 적용하여 상기 쿼리 이미지에 포함된 상기 특정 상품에 해당하는 객체의 내부 영역을 추출하는 관심맵(saliency map)을 생성하는 단계;
    객체 특성 추출을 위하여 학습된 제2 학습 모델에 상기 관심맵을 가중치로 적용하는 단계;
    상기 쿼리 이미지를 상기 가중치가 적용된 제2 학습 모델에 입력하여 상기 객체의 내부 영역의 특성 분류 정보를 추출하는 단계를 포함하는 대표 특성 추출 방법.
  2. 제1항에 있어서,
    상기 관심맵을 가중치로 적용하는 단계는
    상기 관심맵의 크기를 상기 제2 학습 모델에 포함된 제1 합성곱 계층의 크기로 변환 및 스케일링하여 가중치 필터를 생성하는 단계;
    상기 제1 합성곱 계층에 상기 가중치 필터를 요소별 곱셈(element-wise multiplication)하는 단계를 포함하는 대표 특성 추출 방법.
  3. 제1항에 있어서,
    상기 제1 학습 모델은 인코더(encoder) - 디코더(decoder) 구조를 갖는 합성곱 신경망(Convolutional Neural Network) 학습 모델인 것을 특징으로 하는 대표 특성 추출 방법.
  4. 제1항에 있어서,
    상기 제2 학습 모델은 표준 분류 합성곱 신경망(Convolutional Neural Network) 학습 모델인 것을 특징으로 하는 대표 특성 추출 방법.
  5. 제1항에 있어서,
    상기 제2 학습 모델은 상기 특정 상품의 내부 영역의 색상을 학습하기 위하여 상기 특정 상품의 관심맵과 상기 특정 상품의 컬러 이미지, 관심 맵 또는 컬러 라벨 중 적어도 하나가 데이터셋으로 적용된 합성곱 신경망 학습 모델인 것을 특징으로 하는 대표 특성 추출 방법.
  6. 제1항에 있어서,
    상기 특성 분류 정보를 분석하여 가장 높은 확률로 존재하는 특성을 상기 객체의 대표 특성으로 설정하는 단계;
    상기 대표 특성을 상기 쿼리 이미지에 레이블링하는 단계를 더 포함하는 대표 특성 추출 방법.
  7. 제1항 내지 제6항의 방법 중 어느 하나의 방법을 실행시키기 위하여 컴퓨터 판독 가능 매체에 저장된 대표 특성 추출 응용 프로그램.
  8. 쿼리 이미지를 수신하는 통신부;
    특정 상품에 대해 학습된 제1 학습 모델을 이용하여 상기 쿼리 이미지 내 상기 특정 상품에 해당하는 객체의 내부 영역에 대응하는 관심맵(saliency map)을 생성하는 맵 생성부;
    객체 특성 추출을 위하여 학습된 제2 학습 모델에 상기 관심맵을 가중치로 적용하는 가중치 적용부;
    상기 가중치가 적용된 제2 학습 모델에 상기 쿼리 이미지를 입력하여 상기 객체의 내부 영역의 특성 분류 정보를 추출하는 특성 추출부를 포함하는 대표 특성 추출 장치.
PCT/KR2019/005935 2018-05-18 2019-05-17 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램 WO2019221551A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980033545.3A CN112154451A (zh) 2018-05-18 2019-05-17 提取图像中对象的代表性特征的方法、设备和计算机程序
SG11202011439WA SG11202011439WA (en) 2018-05-18 2019-05-17 Method, apparatus and computer program for extracting representative feature of object in image
US17/055,990 US20210256258A1 (en) 2018-05-18 2019-05-17 Method, apparatus, and computer program for extracting representative characteristics of object in image
JP2020564337A JP2021524103A (ja) 2018-05-18 2019-05-17 画像内のオブジェクトの代表特性を抽出する方法、装置及びコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0056826 2018-05-18
KR1020180056826A KR102102161B1 (ko) 2018-05-18 2018-05-18 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
WO2019221551A1 true WO2019221551A1 (ko) 2019-11-21

Family

ID=68540506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005935 WO2019221551A1 (ko) 2018-05-18 2019-05-17 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (1) US20210256258A1 (ko)
JP (1) JP2021524103A (ko)
KR (1) KR102102161B1 (ko)
CN (1) CN112154451A (ko)
SG (1) SG11202011439WA (ko)
WO (1) WO2019221551A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111317653A (zh) * 2020-02-24 2020-06-23 江苏大学 一种交互式盲人智能辅助装置及方法
CN112182262A (zh) * 2020-11-30 2021-01-05 江西师范大学 一种基于特征分类的图像查询方法
CN113261011A (zh) * 2019-12-30 2021-08-13 商汤国际私人有限公司 图像处理方法及装置、电子设备和存储介质
WO2021169723A1 (zh) * 2020-02-27 2021-09-02 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
US11450021B2 (en) 2019-12-30 2022-09-20 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium
CN116071609A (zh) * 2023-03-29 2023-05-05 中国科学技术大学 基于目标特征动态自适应提取的小样本图像分类方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3896647A4 (en) * 2018-12-14 2022-01-26 FUJIFILM Corporation MINI-BATCH LEARNING DEVICE, OPERATING PROGRAM FOR MINI-BATCH LEARNING DEVICE, OPERATING METHOD FOR MINI-BATCH LEARNING DEVICE, AND IMAGE PROCESSING DEVICE
US11755948B2 (en) * 2019-12-18 2023-09-12 Google Llc Attribution and generation of saliency visualizations for machine-learning models
US11297244B2 (en) * 2020-02-11 2022-04-05 Samsung Electronics Co., Ltd. Click-and-lock zoom camera user interface
KR20210111117A (ko) 2020-03-02 2021-09-10 김종명 업로드된 미디어로부터 추출된 이미지 기반의 상품 거래 시스템
CN111583293B (zh) * 2020-05-11 2023-04-11 浙江大学 一种面向多色双光子图像序列的自适应图像分割方法
KR20210141150A (ko) 2020-05-15 2021-11-23 삼성에스디에스 주식회사 이미지 분류 모델을 이용한 이미지 분석 방법 및 장치
KR20220013875A (ko) * 2020-07-27 2022-02-04 옴니어스 주식회사 트렌드에 기반하여 상품에 관한 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2022025570A1 (ko) * 2020-07-27 2022-02-03 옴니어스 주식회사 상품 이미지에 속성 관련 키워드를 부여하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2022025568A1 (ko) * 2020-07-27 2022-02-03 옴니어스 주식회사 멀티 태스크 러닝을 이용하여 상품의 속성을 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102437193B1 (ko) 2020-07-31 2022-08-30 동국대학교 산학협력단 복수의 배율에 따라 크기 변환된 영상으로 학습된 병렬 심층 신경망 장치 및 방법
KR20220114904A (ko) 2021-02-09 2022-08-17 동서대학교 산학협력단 웹서버 기반으로 객체 추출 서비스 방법
US20230095137A1 (en) * 2021-09-30 2023-03-30 Lemon Inc. Social networking based on asset items
EP4187485A4 (en) * 2021-10-08 2023-06-14 Rakuten Group, Inc. INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING SYSTEM AND PROGRAM
WO2023100929A1 (ja) * 2021-12-02 2023-06-08 株式会社カネカ 情報処理装置、情報処理システムおよび情報処理方法
CN114549874B (zh) * 2022-03-02 2024-03-08 北京百度网讯科技有限公司 多目标图文匹配模型的训练方法、图文检索方法及装置
KR102471796B1 (ko) * 2022-07-20 2022-11-29 블루닷 주식회사 세일리언시 맵을 이용한 인지적 비디오 전처리 방법 및 시스템
WO2024085352A1 (ko) * 2022-10-18 2024-04-25 삼성전자 주식회사 인공 지능 모델의 학습을 위한 훈련용 데이터를 생성하는 방법 및 전자 장치
CN116993996B (zh) * 2023-09-08 2024-01-12 腾讯科技（深圳）有限公司 对图像中的对象进行检测的方法及装置
KR102673347B1 (ko) * 2023-12-29 2024-06-07 국방과학연구소 데이터 생성 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110061741A (ko) * 2009-12-02 2011-06-10 주식회사 래도 노면 상태 판별 장치 및 노면 상태 판별 방법
KR20120001285A (ko) * 2010-06-29 2012-01-04 에스케이플래닛 주식회사 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 방법, 서버 및 시스템
KR101513931B1 (ko) * 2014-01-29 2015-04-21 강원대학교산학협력단 구도의 자동보정 방법 및 이러한 구도의 자동보정 기능이 탑재된 영상 장치
KR20160132331A (ko) * 2015-03-31 2016-11-17 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 교통 표지의 인식 방법 및 장치
KR20170026264A (ko) * 2015-08-26 2017-03-08 옴니어스 주식회사 상품 영상 검색 및 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165407B1 (en) * 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
US8649606B2 (en) * 2010-02-10 2014-02-11 California Institute Of Technology Methods and systems for generating saliency models through linear and/or nonlinear integration
US20140254922A1 (en) * 2013-03-11 2014-09-11 Microsoft Corporation Salient Object Detection in Images via Saliency
CN103955718A (zh) * 2014-05-15 2014-07-30 厦门美图之家科技有限公司 一种图像主体对象的识别方法
WO2017158058A1 (en) * 2016-03-15 2017-09-21 Imra Europe Sas Method for classification of unique/rare cases by reinforcement learning in neural networks
JP6366626B2 (ja) * 2016-03-17 2018-08-01 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
JP2018005520A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
US10437878B2 (en) * 2016-12-28 2019-10-08 Shutterstock, Inc. Identification of a salient portion of an image
US11042586B2 (en) * 2016-12-29 2021-06-22 Shutterstock, Inc. Clustering search results based on image composition
CN107705306B (zh) * 2017-10-26 2020-07-03 中原工学院 一种基于多特征矩阵低秩分解的织物疵点检测方法
CN107766890B (zh) * 2017-10-31 2021-09-14 天津大学 一种细粒度识别中判别性图块学习的改进方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110061741A (ko) * 2009-12-02 2011-06-10 주식회사 래도 노면 상태 판별 장치 및 노면 상태 판별 방법
KR20120001285A (ko) * 2010-06-29 2012-01-04 에스케이플래닛 주식회사 객체 인식을 통한 상품 분류 검색 및 쇼핑 정보 제공 서비스 방법, 서버 및 시스템
KR101513931B1 (ko) * 2014-01-29 2015-04-21 강원대학교산학협력단 구도의 자동보정 방법 및 이러한 구도의 자동보정 기능이 탑재된 영상 장치
KR20160132331A (ko) * 2015-03-31 2016-11-17 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 교통 표지의 인식 방법 및 장치
KR20170026264A (ko) * 2015-08-26 2017-03-08 옴니어스 주식회사 상품 영상 검색 및 시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113261011A (zh) * 2019-12-30 2021-08-13 商汤国际私人有限公司 图像处理方法及装置、电子设备和存储介质
JP2022522071A (ja) * 2019-12-30 2022-04-14 センスタイム インターナショナル ピーティーイー．リミテッド 画像処理方法及び装置、電子機器並びに記憶媒体
US11450021B2 (en) 2019-12-30 2022-09-20 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium
CN111317653A (zh) * 2020-02-24 2020-06-23 江苏大学 一种交互式盲人智能辅助装置及方法
CN111317653B (zh) * 2020-02-24 2023-10-13 江苏大学 一种交互式盲人智能辅助装置及方法
WO2021169723A1 (zh) * 2020-02-27 2021-09-02 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
CN112182262A (zh) * 2020-11-30 2021-01-05 江西师范大学 一种基于特征分类的图像查询方法
CN112182262B (zh) * 2020-11-30 2021-03-19 江西师范大学 一种基于特征分类的图像查询方法
CN116071609A (zh) * 2023-03-29 2023-05-05 中国科学技术大学 基于目标特征动态自适应提取的小样本图像分类方法

Also Published As

Publication number Publication date
KR20190134933A (ko) 2019-12-05
SG11202011439WA (en) 2020-12-30
KR102102161B1 (ko) 2020-04-20
US20210256258A1 (en) 2021-08-19
JP2021524103A (ja) 2021-09-09
CN112154451A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
WO2019221551A1 (ko) 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
Oh et al. Approaching the computational color constancy as a classification problem through deep learning
US11574187B2 (en) Pedestrian attribute identification and positioning method and convolutional neural network system
Sun et al. Rural building detection in high-resolution imagery based on a two-stage CNN model
CN108229559B (zh) 服饰检测方法、装置、电子设备、程序和介质
CN108647625A (zh) 一种表情识别方法及装置
US20110142335A1 (en) Image Comparison System and Method
CN108537121B (zh) 气象环境参数与图像信息融合的自适应遥感场景分类方法
CN107886344A (zh) 基于卷积神经网络的欺诈广告页面识别方法和装置
CN108596256B (zh) 一种基于rgb-d物体识别分类器构造方法
Chuang et al. Saliency-guided improvement for hand posture detection and recognition
Zhang et al. Saliency detection and region of interest extraction based on multi-image common saliency analysis in satellite images
CN108596195A (zh) 一种基于稀疏编码特征提取的场景识别方法
CN111222530A (zh) 一种细粒度图像分类方法、系统、装置和存储介质
CN113129390A (zh) 一种基于联合显著性的色盲图像重新着色方法及系统
Watson et al. Person re-identification combining deep features and attribute detection
Yu et al. Mean shift based clustering of neutrosophic domain for unsupervised constructions detection
CN114661988A (zh) 基于图像识别的推荐方法、装置、设备及存储介质
CN111563462A (zh) 图像元素的检测方法及装置
CN113628287B (zh) 一种基于深度学习的单阶段服装颜色识别系统及方法
CN112801238B (zh) 一种图像分类方法、装置、电子设备及存储介质
Awotunde et al. Multiple colour detection of RGB images using machine learning algorithm
CN114283289A (zh) 一种基于多模型融合的图像分类方法
WO2024136248A1 (ko) 딥러닝 기반의 성별 인식 장치 및 성별 인식 방법
Kumar et al. Dual segmentation technique for road extraction on unstructured roads for autonomous mobile robots

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19802850

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020564337

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19802850

Country of ref document: EP

Kind code of ref document: A1