KR20200084422A - Service providing apparatus and method for cleansing fashion related product information using neural network - Google Patents
Service providing apparatus and method for cleansing fashion related product information using neural network Download PDFInfo
- Publication number
- KR20200084422A KR20200084422A KR1020180168569A KR20180168569A KR20200084422A KR 20200084422 A KR20200084422 A KR 20200084422A KR 1020180168569 A KR1020180168569 A KR 1020180168569A KR 20180168569 A KR20180168569 A KR 20180168569A KR 20200084422 A KR20200084422 A KR 20200084422A
- Authority
- KR
- South Korea
- Prior art keywords
- product
- information
- image
- specific
- neural network
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 장치 및 방법에 관한 것으로서, 더욱 상세히는 복수의 서로 다른 신경망에 패션 관련 상품의 상품 이미지와 상품 구분을 위한 카테고리 관련 정보 및 상품의 속성 관련 속성정보를 학습시켜 패션 관련 상품 정보를 이용한 빅데이터 분석시 신뢰도를 높일 수 있는 정제된 상품 정보를 생성할 수 있도록 지원하는 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 장치 및 방법에 관한 것이다.The present invention relates to a service providing apparatus and method for refining fashion product-related information using a neural network, and more specifically, related to category-related information and product attribute for product image and product classification of fashion-related products in a plurality of different neural networks. It relates to a service providing apparatus and method for purifying fashion product-related information using a neural network that supports to generate refined product information that can increase reliability when analyzing big data using fashion-related product information by learning attribute information.
현재 정보통신 기술의 발전과 더불어 다양한 상품을 온라인 쇼핑몰과 같은 온라인 마켓 시장이 급격히 발전하고 있으며, 이에 따라 판매자들은 점차 상품을 온라인 마켓을 통해 판매하는 사례가 늘고 있다.Currently, along with the development of information and communication technology, the market of online markets such as online shopping malls is rapidly developing, and as a result, sellers are increasingly selling products through the online market.
이러한 상품의 온라인 판매를 위해 판매자들은 판매 상품과 관련된 상품 이미지와 판매 상품의 종류, 판매 상품의 판매 대상 등과 같은 다양한 데이터를 포함하는 상품 정보를 생성하여 온라인 마켓에 등록하게 되는데, 온라인 마켓의 급격한 발전과 더불어 이러한 상품 정보가 기하급수적으로 증가하고 있다.In order to sell these products online, sellers create product information that includes various data such as product images related to the products to be sold, types of products to be sold, and targets of products to be sold, and register them in the online market. In addition, this product information is growing exponentially.
이에 따라, 빅데이터를 형성하는 다수의 상품 정보를 활용한 빅데이터 분석을 통해 유행 파악이나 광고 타겟팅과 같은 다양한 목적에 활용하고자 하는 시도가 증가하고 있다.Accordingly, there are increasing attempts to utilize it for various purposes, such as grasping trends and targeting advertisements, through analyzing big data using a large number of product information forming big data.
특히, 패션과 관련된 온라인 마켓 시장은 유행에 민감하여 대중이 요구하는 상품의 변화가 시시각각 변화하는 분야로서, 패션 분야에서 두각을 나타내기 위해서는 이러한 빅데이터의 활용이 무엇보다도 중요시되고 있고 있을 뿐만 아니라 다른 분야에 비해서 지속적으로 단기간에 수많은 상품이 출시되므로 빅데이터 분석을 위한 정보량 역시 충족되는 분야이다.In particular, the online market market related to fashion is sensitive to fashion, and changes in products that are demanded by the public are changing from time to time. In order to stand out in the fashion field, the use of such big data is more important than anything else. Compared to the field, since numerous products are continuously released in a short period of time, the amount of information for big data analysis is also satisfied.
그러나, 이러한 상품 정보가 분석 자료로서 활용 가치를 가지기 위해서는 상품이 속한 카테고리에 대한 정보 이외에도 상품의 재질이나 디자인과 같은 세부적인 속성에 대해서도 정보가 필요하나 이러한 상품 관련 특징을 상품 정보에 포함시켜 입력할 때 동일 상품에 대해서 판매자마다 각자의 주관적인 판단에 따라 특징을 입력하거나 패션과 관련한 지식이 부족한 사용자가 상품 정보 입력시 오입력이 발생할 수 있으므로 상품 정보의 일관성이 떨어지는 문제가 있을 뿐만 아니라 불필요한 정보가 다수 상품 정보에 포함되는 문제가 있으며, 이로 인해 이러한 상품 정보를 빅데이터 분석에 활용하는 경우 분석 결과에 대한 신뢰도가 떨어지는 문제가 있다.However, in order for this product information to have a useful value as an analysis data, in addition to information on a category to which the product belongs, detailed information such as a material or a design of the product is required, but these product-related features are included in the product information and input. At the same time, users who input features according to their own subjective judgment for the same product or who have insufficient knowledge related to fashion may have an incorrect input when entering product information. There is a problem included in product information, and when this is used for big data analysis, there is a problem in that the reliability of the analysis result is poor.
본 발명은 패션 관련 상품과 관련하여 복수의 신경망을 통해 사용자가 상품 구분을 위한 카테고리 관련 정보 이외에 상품의 속성과 관련된 속성 정보가 오입력 없이 상품의 속성이 정확히 반영된 상품 정보를 생성할 수 있도록 지원하고, 이러한 상품 정보를 기반으로 학습된 복수의 신경망을 통해 빅데이터 분석을 위한 정보로서의 활용 가치를 가지는 정제된 상품 정보를 자동 생성할 수 있도록 지원하는데 그 목적이 있다.The present invention supports a user through a plurality of neural networks in relation to a fashion-related product, so that a user can generate product information in which attribute of a product is accurately reflected without misinputting attribute information related to a product attribute in addition to category-related information for product classification. , The purpose of this is to support the automatic generation of refined product information having a utilization value as information for big data analysis through a plurality of neural networks learned based on such product information.
본 발명의 실시예에 따른 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법은, 제어부가 복수의 신경망으로 구성된 저레벨 학습부에 상품별로 상품 이미지에서 특정된 상품 관련 이미지 영역과 기설정된 복수의 카테고리와 각각 대응되는 상품 관련 복수의 서로 다른 기본 정보를 매칭하여 학습시키는 제 1 학습 단계와, 상기 제어부가 상품별로 상품 판매시 생성되어 기저장된 복수의 상품 유관 정보를 기초로 중복 횟수가 많은 순서대로 미리 설정된 개수의 서로 다른 상품 관련 키워드를 추출하여 사용자 입력을 수신하는 사용자 인터페이스부를 통해 표시하고, 상기 사용자 인터페이스부를 통한 사용자 입력에 따라 미리 설정된 복수의 속성별로 선택된 상기 키워드를 신경망으로 구성되고 상기 복수의 속성과 각각 대응되는 복수의 고레벨 학습부 중 상기 선택된 키워드와 매칭되는 상기 이미지 영역과 함께 상기 선택된 키워드에 대응되는 고레벨 학습부에 학습시키는 제 2 학습 단계와, 상기 제어부가 특정 상품의 특정 상품 이미지를 상기 저레벨 학습부에 적용하여 얻어진 상기 특정 상품 관련 상기 복수의 카테고리별 기본 정보 및 이미지 영역 중 상기 이미지 영역을 상기 복수의 고레벨 학습부에 적용하여 상기 특정 상품에 대응되는 속성별 데이터가 포함된 속성 정보를 산출하는 출력 단계 및 상기 제어부가 상기 특정 상품에 대응되어 상기 출력 단계를 통해 생성된 상기 복수의 카테고리별 기본 정보 및 속성 정보를 포함하는 상품 정보를 생성하여 저장하는 정제 단계를 포함할 수 있다.In a method of providing a service for refining fashion product-related information using a neural network according to an embodiment of the present invention, the control unit is a low-level learning unit composed of a plurality of neural networks, and a product-related image region specified in a product image for each product and a plurality of preset categories. And a first learning step of matching and learning a plurality of different basic information related to each product, and in advance, in the order in which the number of overlapping times is high, based on a plurality of product-related information generated and pre-stored when the product is sold for each product. A set number of different product-related keywords are extracted and displayed through a user interface unit that receives user input, and the keywords selected for a plurality of preset attributes according to user input through the user interface unit are configured as a neural network and the plurality of attributes And a second learning step of learning a high-level learning unit corresponding to the selected keyword together with the image area matching the selected keyword among a plurality of high-level learning units corresponding to each, and the control unit is configured to receive a specific product image of a specific product. By applying the image area among the plurality of category-specific basic information and image areas related to the specific product obtained by applying to the low-level learning unit, the property information including attribute-specific data corresponding to the specific product is applied to the plurality of high-level learning units. The calculating step may include a refining step of generating and storing product information including the basic information and attribute information for each category generated through the output step in response to the specific product.
본 발명과 관련된 일 예로서, 상기 상품 유관 정보는 상품의 광고 정보, 상품의 제품 소개 정보, 상품의 웹 페이지 정보, 상품의 댓글 정보 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the product related information may include at least one of advertisement information of a product, product introduction information of a product, web page information of a product, and comment information of a product.
본 발명과 관련된 일 예로서, 상기 복수의 카테고리는 상품에 대응되는 성별, 상품이 착용되는 신체 부위, 상품의 종류를 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the plurality of categories may include a gender corresponding to a product, a body part where the product is worn, and a type of product.
본 발명과 관련된 일 예로서, 상기 제어부가 상기 특정 상품과 관련하여 상기 제 1 학습 단계를 통해 산출된 이미지 영역이 표시된 상기 상품 이미지를 상기 사용자 인터페이스부를 통해 표시하는 단계 및 상기 제어부가 상기 사용자 인터페이스부를 통해 상기 이미지 영역의 수정에 따른 수정 정보를 수신시 상기 특정 상품 이미지에서 상기 수정 정보에 대응되는 영역으로 상기 이미지 영역을 갱신하고, 상기 특정 상품에 대응되는 상기 복수의 카테고리별 기본 정보를 상기 갱신된 이미지 영역과 매칭하여 상기 저레벨 학습부에 학습시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the control unit displays the product image displaying the image area calculated through the first learning step in relation to the specific product through the user interface unit, and the control unit controls the user interface unit When receiving correction information according to the modification of the image area, the image area is updated from the specific product image to an area corresponding to the modification information, and the basic information for each of the categories corresponding to the specific product is updated. It may be characterized in that it further comprises the step of learning to match the image region and the low-level learning unit.
본 발명과 관련된 일 예로서, 상기 제 1 학습 단계는 상기 제어부가 하나 이상의 상품이 표시된 이미지에서 상기 복수의 카테고리별 기본 정보에 매칭되는 학습 대상 상품의 이미지 영역을 식별하도록 상기 저레벨 학습부를 통해 복수의 신경망 중 특정 신경망에 학습시키는 단계를 더 포함하고, 상기 제 2 학습 단계는 상기 제어부가 상기 특정 신경망을 통해 얻어진 상기 학습 대상 상품 관련 이미지 영역을 기초로 이미지 처리부를 통해 상기 상품 이미지에서 상기 이미지 영역에 대응되는 영역을 클리핑하여 상기 학습 대상 상품 관련 분할 이미지를 생성한 후 상기 복수의 고레벨 학습부에 상기 이미지 영역으로서 학습시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the first learning step includes a plurality of low-level learning units through the low-level learning unit so that the control unit identifies an image region of a learning target product matching the basic information for each of the plurality of categories in an image where one or more products are displayed. Further comprising the step of learning to a specific neural network of the neural network, the second learning step, the control unit from the product image to the image area from the product image through the image processing unit based on the learning target product-related image area obtained through the specific neural network. The method may further include generating a segmented image related to the product to be learned by clipping a corresponding region and then training the plurality of high-level learning units as the image region.
본 발명과 관련된 일 예로서, 상기 정제 단계는 상기 제어부가 상기 상품 정보에 상기 특정 상품 관련 특정 상품 이미지, 이미지 영역 및 분할 이미지 중 적어도 하나를 포함시켜 저장하는 단계를 더 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the refining step may further include the step of the controller including and storing at least one of a specific product image, an image area, and a divided image related to the specific product in the product information. have.
본 발명과 관련된 일 예로서, 상기 제어부가 상기 상품 정보에 대응되는 브랜드 및 제조 시기 중 적어도 하나를 신경망으로 구성된 디자인 패턴 학습부에 상기 상품 정보와 매칭하여 학습시켜 상기 브랜드별 디자인 패턴 및 제조 시기별 디자인 패턴 중 적어도 하나가 학습되도록 하는 제 3 학습 단계 및 상기 제어부가 상기 사용자 인터페이스부를 통해 복수의 카테고리와 복수의 속성과 브랜드 및 제조 시기 중 적어도 하나에 대해 수신한 입력 정보나 상기 브랜드 및 제조 시기 중 적어도 하나가 더 포함된 상기 상품 정보를 상기 디자인 패턴 학습부에 적용하여 상품 정보에 학습된 디자인 패턴과의 매칭도를 제공하거나 상기 매칭도에 따른 상기 입력 정보 또는 상품 정보에 대한 입력 오류 관련 오류 정보를 제공하는 단계를 더 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the control unit learns at least one of a brand and a manufacturing time corresponding to the product information by matching the product information to a design pattern learning unit composed of a neural network to learn the design pattern and manufacturing time for each brand. A third learning step that allows at least one of the design patterns to be learned, and input information received by the control unit through the user interface unit for at least one of a plurality of categories, a plurality of attributes, a brand, and a manufacturing time or the brand and a manufacturing time Applying the product information including at least one to the design pattern learning unit to provide a matching degree with the learned design pattern in the product information or error information related to the input error or the input information according to the matching degree It may be characterized in that it further comprises the step of providing a.
본 발명과 관련된 일 예로서, 상기 복수의 속성은 상품의 재질, 상품의 디자인 스타일, 상품의 착용 계절, 상품의 색상 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.As an example related to the present invention, the plurality of attributes may include at least one of a material of a product, a design style of a product, a wearing season of a product, and a color of a product.
본 발명의 실시예에 따른 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 장치는, 복수의 신경망으로 구성되어 상품별로 상품 이미지에서 특정된 상품 관련 이미지 영역과 기설정된 복수의 카테고리와 각각 대응되는 상품 관련 복수의 서로 다른 기본 정보를 매칭하여 상기 복수의 신경망에 학습시키는 저레벨 학습부와, 각각 상기 복수의 신경망과 별도의 제 1 신경망으로 구성되어 사용자 입력에 따라 선택된 키워드를 매칭되는 상기 이미지 영역과 함께 상기 제 1 신경망에 학습시키는 복수의 고레벨 학습부 및 상기 저레벨 학습부의 학습을 제어하고, 상기 상품별로 상품 판매시 생성되어 기저장된 복수의 상품 유관 정보를 기초로 중복 횟수가 많은 순서대로 미리 설정된 개수의 서로 다른 상품 관련 키워드를 추출한 후 상기 사용자 입력을 수신하는 사용자 인터페이스부를 통해 표시하여 미리 설정된 복수의 속성별로 상기 사용자 인터페이스부를 통한 사용자 입력에 따라 선택된 상기 키워드를 상기 복수의 속성과 각각 대응되는 복수의 고레벨 학습부 중 상기 선택된 키워드와 매칭되는 상기 이미지 영역과 함께 상기 선택된 키워드에 대응되는 고레벨 학습부에 학습시키며, 특정 상품의 특정 상품 이미지를 상기 저레벨 학습부에 적용하여 얻어진 상기 특정 상품 관련 상기 복수의 카테고리별 기본 정보 및 이미지 영역을 상기 복수의 고레벨 학습부에 적용하여 상기 특정 상품에 대응되는 상기 속성별 데이터가 포함된 속성 정보를 산출하고, 상기 속성 정보 및 상기 복수의 카테고리별 기본 정보를 포함하는 상품 정보를 상기 특정 상품에 대응되어 생성하여 저장하는 제어부를 포함할 수 있다.A service providing apparatus for refining fashion product-related information using a neural network according to an embodiment of the present invention is composed of a plurality of neural networks, and a product-related image region specified in a product image for each product and a plurality of preset categories, respectively. A low-level learning unit configured to match a plurality of related basic information to learn the plurality of neural networks, and the image area configured to consist of the plurality of neural networks and a separate first neural network to match selected keywords according to user input. A plurality of high-level learning units and low-level learning units for learning the first neural network are controlled, and a preset number of duplicates is sequentially set based on a plurality of product-related information generated and sold when each product is sold. After extracting different product-related keywords and displaying them through a user interface unit that receives the user input, a plurality of high-levels corresponding to the plurality of attributes and the keywords selected according to the user input through the user interface unit for a plurality of preset attributes. The plurality of categories related to the specific product obtained by learning the high-level learning unit corresponding to the selected keyword together with the image area matching the selected keyword among the learning units, and applying a specific product image of a specific product to the low-level learning unit By applying the basic information and the image area to each of the plurality of high-level learning unit to calculate the attribute information including the attribute-specific data corresponding to the specific product, the product including the attribute information and the plurality of category-specific basic information It may include a control unit for generating and storing information corresponding to the specific product.
본 발명은 패션 관련 상품과 관련되어 이미지와 카테고리별 기본정보 및 해당 상품의 다양한 속성별 정보를 다수의 신경망에 학습시키는 과정에서 패션에 대한 지식이 전무한 사용자라 하더라도 상품의 속성과 관련된 키워드를 사용자에게 제시하여 사용자가 상품의 속성을 용이하게 파악하여 특정할 수 있도록 지원함으로써 상품에 대한 정확한 속성 관련 정보가 학습되도록 할 수 있으며, 이러한 다수의 신경망을 기반으로 카테고리 분류 및 상품의 속성과 관련된 정보가 전무한 상품 이미지에 대해서 자동으로 정형화되고 정제된 상품 정보를 생성하여 제공함으로써 상품에 대한 상품 정보의 자동 생성을 지원하여 상품 관리의 편의성을 높임과 동시에 정제된 상품 정보를 제공하여 해당 상품 정보를 기반으로 하는 빅데이터 분석시 정확도 및 신뢰도가 높은 결과가 제공되도록 지원하는 효과가 있다.The present invention provides keywords related to product attributes to users even if they have no knowledge of fashion in the process of learning the information related to fashion-related products and basic information for each category and various attributes of the product on multiple neural networks. By presenting and supporting the user to easily identify and specify the properties of the product, accurate property-related information about the product can be learned, and based on these multiple neural networks, there is no category classification and information related to the property of the product. By automatically generating and providing standardized and refined product information for product images, it supports the automatic creation of product information for products, thereby increasing the convenience of product management and providing refined product information, and based on the product information. It has the effect of supporting to provide results with high accuracy and reliability when analyzing big data.
또한, 본 발명은 패션 관련 상품과 관련하여 다수의 신경망을 통해 사용자가 상품 구분을 위한 카테고리 관련 정보 이외에 상품의 속성과 관련된 속성 정보가 오입력 없이 상품의 속성이 정확히 반영된 상품 정보를 생성할 수 있도록 지원하고, 이러한 상품 정보를 기반으로 학습된 다수의 신경망을 통해 빅데이터 분석을 위한 정보로서의 활용 가치를 가지는 정제된 상품 정보를 자동 생성할 수 있도록 지원하는 효과가 있다.In addition, the present invention enables the user to generate product information in which the attribute of the product is accurately reflected without incorrect input of attribute information related to the product, in addition to category-related information for product classification through a plurality of neural networks in relation to the fashion-related product. There is an effect of supporting the automatic generation of refined product information having a utilization value as information for big data analysis through a number of neural networks learned based on the product information.
더하여, 본 발명은 패션 분야에 전문성이 없는 사용자라 하더라도 상품과 관련되어 생성된 상품 정보와 상품 사이의 매칭도를 파악하여 정정할 수 있도록 지원하여 패션 상품과 관련되어 생성된 상품 정보의 신뢰도 및 정확도를 높이는 효과가 있다.In addition, the present invention supports the reliability and accuracy of product information generated in connection with fashion products by helping users who have no expertise in the fashion field to identify and correct product information generated in relation to products and matching degree between products. It has the effect of increasing.
도 1은 본 발명의 실시예에 따른 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 장치의 구성 환경도.
도 2 및 도 3은 본 발명의 실시예에 따른 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 장치의 상세 구성도 및 동작 예시도.
도 4는 본 발명의 실시예에 따른 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 장치의 이미지 영역과 기본 정보 및 속성 정보에 대한 수정 관련 예시도.
도 5는 본 발명의 실시예에 따른 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 장치의 디자인 패턴 분석 관련 동작 예시도.
도 6은 본 발명의 실시예에 따른 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법에 대한 순서도.1 is a configuration environment diagram of a service providing device for purifying information related to fashion products using a neural network according to an embodiment of the present invention.
2 and 3 are detailed configuration diagrams and operation examples of a service providing apparatus for refining fashion product-related information using a neural network according to an embodiment of the present invention.
FIG. 4 is an exemplary diagram related to modification of an image area, basic information, and attribute information of a service providing device for refining fashion product-related information using a neural network according to an embodiment of the present invention.
5 is an exemplary diagram illustrating an operation related to a design pattern analysis of a service providing device for refining information related to fashion products using a neural network according to an embodiment of the present invention.
6 is a flowchart of a service providing method for refining information related to fashion products using a neural network according to an embodiment of the present invention.
이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings.
도 1은 본 발명의 실시예에 따른 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 장치(이하, 서비스 제공 장치)(100)의 구성 환경도로서, 도시된 바와 같이 상기 서비스 제공 장치(100)는 보유 DB(200)를 포함하여 구성될 수 있으며, 사용자 입력을 수신하고 각종 정보를 표시하는 사용자 인터페이스부(10)와 통신 연결될 수 있다.1 is a configuration environment diagram of a service providing device (hereinafter referred to as a service providing device) 100 for purifying fashion product-related information using a neural network according to an embodiment of the present invention, and the
이때, 상기 서비스 제공 장치(100)는 상기 사용자 인터페이스부(10)를 포함하여 구성될 수도 있다.In this case, the
또한, 상기 서비스 제공 장치(100)는 상기 사용자 인터페이스부(10)와 통신망을 통해 연결되어 상호 통신하거나 통신 선로를 통해 연결되어 상호 통신할 수 있다.In addition, the
이때, 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.At this time, the communication network may include a wired/wireless communication network, and examples of such a wireless communication network include a wireless LAN (WLAN), a Digital Living Network Alliance (DLNA), a wireless broadband (Wibro), and a WiMAX (World Interoperability for). Microwave Access: Wimax), Global System for Mobile Communication (GSM), Code Division Multi Access (CDMA), Code Division Multi Access 2000 (CDMA2000), Enhanced Voice-Data Optimized or Enhanced Voice-Data Only (EV-DO), WCDMA (Wideband CDMA), HSDPA (High Speed Downlink Packet Access), HSUPA (High Speed Uplink Packet Access), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Broadband Wireless Mobile Mobile Broadband Service (WMBS), 5G mobile service, Bluetooth, LoRa (Long Range), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB) , ZigBee, Near Field Communication (NFC), Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct (Wi -Fi Direct). In addition, wired communication networks include wired local area network (LAN), wired wide area network (WAN), power line communication (PLC), USB communication, Ethernet, serial communication, and optical/coaxial Cables and the like may be included.
또한, 상기 사용자 인터페이스부(10)는 사용자 단말로서 구성될 수 있으며, 해당 사용자 단말은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, 텔레비전(Television), 3D 텔레비전, 홈 시어터(Home Theater) 시스템, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기를 포함할 수 있다.In addition, the
또한, 상기 사용자 인터페이스부(10)는 각종 정보(일례로, 서비스 제공 장치(100)로부터 수신된 정보)를 표시하는 표시 모듈과, 사용자 입력을 수신하는 입력 모듈과, 상기 서비스 제공 장치(100)와의 통신을 위한 통신 모듈과, 상기 사용자 인터페이스부(10)의 전반적인 제어 기능(일례로, 표시 모듈과 입력 모듈 및 통신 모듈의 제어)을 수행하는 제어 모듈 등을 포함할 수 있으며, 해당 제어 모듈은 CPU, MCU(Micro Controller Unit) 등을 포함하여 구성될 수 있다. 이때, 상기 사용자 인터페이스부(10)가 상기 서비스 제공 장치(100)에 포함되어 구성되는 경우 상기 사용자 인터페이스부(10)의 제어 모듈은 생략될 수 있으며, 상기 서비스 제공 장치(100)에 구성된 제어부(160)에 의해 상기 사용자 인터페이스부(10)의 전반적인 제어가 수행될 수 있다.In addition, the
한편, 상기 보유 DB(200)에는 패션(fashion) 관련 복수의 서로 다른 상품과 연관되는 다양한 정보들이 미리 저장될 수 있으며, 일례로, 상품 관련 상품 이미지, 상품의 광고 정보, 상품의 제품 소개 정보, 상품의 웹 페이지(web page) 정보, 상품의 댓글 정보 등과 같은 다양한 정보들이 저장될 수 있다.Meanwhile, various information related to a plurality of different fashion-related products may be previously stored in the DB 200, for example, product-related product images, product advertisement information, product product introduction information, Various information such as product web page information and product comment information may be stored.
이때, 본 발명에서 설명하는 패션은 의류, 액세서리(accessory) 등과 같은 사용자의 신체에 착용되는 다양한 상품을 의미할 수 있으나, 이에 한정되지 않고 패션과 관련된 다양한 상품을 의미할 수 있다.At this time, the fashion described in the present invention may mean various products worn on the user's body, such as clothing and accessories, but is not limited thereto, and may mean various products related to fashion.
한편, 본 발명에서 설명하는 신경망(또는 신경망 모델)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성된 딥러닝(Deep Learning) 알고리즘으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.On the other hand, the neural network (or neural network model) described in the present invention may be composed of a deep learning algorithm consisting of an input layer, one or more hidden layers, and an output layer. Various types of neural networks such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), Convolutional Neural Network (CNN), and Support Vector Machine (SVM) may be applied to the neural network model.
이때, 신경망이 CNN으로 구성된 경우 하나 이상의 콘볼루션 계층(Convolutional Layer), 통합 계층(Pooling Layer) 및 완전하게 연결된 계층(Fully Connected Layer)을 포함하여 구성될 수 있다.In this case, when the neural network is composed of CNNs, one or more convolutional layers, a consolidation layer, and a fully connected layer may be configured.
상술한 구성을 기초로, 본 발명은 다수의 신경망을 통해 패션 관련 상품을 자동 분류하고 상품 정보를 생성할 수 있도록 상품과 관련된 정보를 다수의 신경망에 학습시키는 과정에서 상품의 카테고리와 같이 정형화(표준화)된 정보 이외에 상품의 특징 및 성질과 같이 판매자마다 정의가 다르고 불필요한 정보가 많아 정형화(표준화) 및 정제가 어려운 상품의 다양한 속성과 관련된 정보에 대해서도 사용자가 용이하게 해당 상품의 속성을 특정하여 다수의 신경망에 학습시킬 수 있도록 지원하고, 이를 기반으로 학습 완료된 다수의 신경망에 상품 관련 이미지를 적용하는 것만으로 상품의 이미지 및 카테고리 관련 정보 뿐만 아니라 상품의 속성에 대해서도 정형화되고 정제된 정보가 포함된 상품 정보를 생성할 수 있도록 지원할 수 있는데, 이를 이하 도면을 참고하여 상세히 설명한다.On the basis of the above-described configuration, the present invention is a standardization (standardization) as a product category in the process of learning the information related to the product to a plurality of neural networks so that the fashion-related products can be automatically classified and the product information is generated through a plurality of neural networks. ) In addition to the information, the definition of each product can be easily determined by the user for information related to various attributes of products that are difficult to formalize (standardize) and refine because many definitions are different for each seller, such as characteristics and characteristics of products. Product information that includes structured and refined information about product attributes as well as product image and category-related information by applying product-related images to multiple neural networks that have been learned and supported based on this. It can be supported to generate, it will be described in detail with reference to the drawings below.
도 2 및 도 3은 본 발명의 실시예에 따른 서비스 제공 장치(100)의 상세 구성도 및 동작 예시도이다.2 and 3 are detailed configuration diagrams and operation examples of the
도시된 바와 같이, 상기 서비스 제공 장치(100)는 이미지 처리부(110)와, 저레벨 학습부(120)와, 참고정보 제공부(130)와, 복수의 서로 다른 고레벨 학습부(140)와, 디자인 패턴 학습부(150) 및 제어부(160)를 포함하여 구성될 수 있다.As shown, the
이때, 상기 제어부(160)를 제외한 상기 서비스 제공 장치(100)에 구성된 이미지 처리부(110)와, 저레벨 학습부(120)와, 참고정보 제공부(130)와, 복수의 서로 다른 고레벨 학습부(140)와, 디자인 패턴 학습부(150) 중 적어도 하나가 상기 제어부(160)에 포함되어 구성될 수도 있다.At this time, the
또한, 상기 제어부(160)는 미리 저장된 프로그램 및 데이터를 이용하여 상기 서비스 제공 장치(100)의 전반적인 제어 기능을 실행한다. 제어부(160)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 서비스 제공 장치(100)에 구성된 별도의 저장부에 액세스하여, 저장부에 저장된 O/S(Operating System)를 이용하여 부팅을 수행할 수 있으며, 저장부에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.In addition, the
또한, 상기 서비스 제공 장치(100)는 보유 DB(200)와 연결되거나 보유 DB(200)를 포함하여 구성될 수 있으며, 상기 보유 DB(200)는 상기 저장부로 구성될 수도 있다.In addition, the
이때, 보유 DB(200)는 패션과 관련된 복수의 서로 다른 상품별 상품 이미지가 저장된 이미지 DB(210)와, 상기 복수의 상품별로 상품 구분을 위한 미리 설정된 복수의 카테고리(category)별 기본 정보가 상품 식별정보와 매칭되어 저장된 기본 정보 DB(220)와, 상기 복수의 상품별로 상품과 관련성이 있는 다양한 상품 유관 정보가 저장된 판매 관련 DB(230) 및 상기 제어부(160)에 의해 정제된 상품 정보가 저장되는 상품 DB(240)를 포함할 수 있다.At this time, the holding
여기서, 상기 기본 정보 및 상기 상품 이미지에는 상품 식별정보가 포함될 수 있다.Here, the basic information and the product image may include product identification information.
또한, 상기 복수의 카테고리는 복수의 상품을 복수의 서로 다른 상품군으로 분류하기 위한 것으로서, 상품에 대응되는 성별, 상품이 착용되는 신체 부위, 상품의 종류 등과 같은 다양한 카테고리를 포함할 수 있다.In addition, the plurality of categories are for classifying a plurality of products into a plurality of different product groups, and may include various categories such as a gender corresponding to a product, a body part where the product is worn, and a type of product.
또한, 상기 기본 정보는 상기 성별 관련 카테고리에 대응되어 남성 또는 여성 관련 정보가 포함되고, 상기 신체 부위 관련 카테고리에 대응되어 상의, 하의 등과 같은 정보가 포함되며, 상기 상품의 종류 관련 카테고리에 대응되어 코트, 블라우스, 셔츠 등과 같은 정보가 포함될 수 있다.In addition, the basic information includes male or female related information corresponding to the gender-related category, information such as top and bottom corresponding to the body part related category, and coat corresponding to the category related to the product type , Blouses, shirts, etc. may be included.
또한, 상기 상품 유관 정보는 상품의 광고 정보, 상품의 제품 소개 정보, 상품의 웹 페이지 정보, 상품의 댓글 정보 등과 같이 상품의 판매시에 발생한 정보 등을 포함할 수 있다.In addition, the product-related information may include information generated at the time of selling the product, such as product advertisement information, product introduction information, product web page information, product comment information, and the like.
우선, 저레벨 학습부(120)는 복수의 신경망으로 구성되거나 상기 복수의 신경망을 포함하여 구성될 수 있으며, 상기 복수의 상품 중 학습 대상 상품별로 상품 이미지에서 특정된 학습 대상 상품 관련 이미지 영역과 기설정된 복수의 카테고리와 각각 대응되는 학습 대상 상품 관련 복수의 서로 다른 기본 정보를 상기 이미지 DB(210) 및 기본 정보 DB(220)로부터 추출한 후 상호 매칭하여 상기 복수의 신경망에 학습시킬 수 있다.First, the low-
이때, 상기 제어부(160)는 복수의 신경망으로 구성된 저레벨 학습부(120)에 학습 대상 상품별로 상품 이미지에서 특정된 학습 대상 상품 관련 이미지 영역과 기설정된 복수의 카테고리와 각각 대응되는 학습 대상 상품 관련 복수의 서로 다른 기본 정보를 매칭하여 학습시킬 수 있다.At this time, the
이를 위해, 상기 제어부(160)는 상기 이미지 DB(210)에서 상기 저레벨 학습부(120)에 학습시키기 위한 상품 이미지 추출시 상기 상품 이미지에 포함된 상품 식별정보를 기초로 상기 상품 이미지에 매칭되는 복수의 카테고리별 기본 정보를 상기 기본 정보 DB(220)로부터 추출할 수 있으며, 이를 통해 학습 대상 상품에 대해 상기 이미지 DB(210)로부터 추출한 상품 이미지와 상기 기본 정보 DB(220)로부터 추출한 복수의 카테고리별 기본 정보를 상호 매칭하여 상기 저레벨 학습부(120)를 통해 상기 복수의 신경망에 학습시킬 수 있다.To this end, the
또한, 상기 제어부(160)는 하나 이상의 상품이 표시된 상기 상품 이미지에서 학습 대상 상품이 표시된 상품 관련 이미지 영역을 상기 저레벨 학습부(120)에 구성된 복수의 신경망 중 어느 하나의 특정 신경망에 학습시키기 위해 상기 사용자 인터페이스부(10)에 상기 상품 이미지를 표시할 수 있으며, 상기 상품 이미지에서 상기 사용자 인터페이스부(10)를 통한 사용자 입력에 따라 선택된 영역을 이미지 영역으로 설정하고, 상기 저레벨 학습부(120)를 통해 상기 상품 이미지에서 상기 이미지 영역에 대응되는 분할 이미지가 상기 특정 신경망에 학습되도록 할 수 있다.In addition, the
이때, 상기 제어부(160)는 상기 사용자 입력에 따라 학습 대상 상품에 대한 상품 이미지에서 이미지 영역 설정시 상기 이미지 처리부(110)에 상기 학습 대상 상품의 상품 이미지와 이미지 영역을 제공할 수 있으며, 상기 이미지 처리부(110)는 상기 상품 이미지에서 상기 이미지 영역을 클리핑(clipping)(또는 잘라내기 또는 오려내기)하여 학습 대상 상품의 이미지가 대부분의 영역을 차지하는 분할 이미지를 생성한 후 상기 저레벨 학습부(120)에 전달하여 상기 분할 이미지가 학습 대상 상품과 관련하여 상기 학습 대상 상품의 카테고리별 기본정보와 함께 상기 저레벨 학습부(120)에 학습되도록 할 수 있다.At this time, the
즉, 상기 제어부(160)는 상기 저레벨 학습부(120)에 학습시키는 이미지 영역을 상기 이미지 처리부(110)를 통해 분할 이미지로 생성하여 상기 분할 이미지를 이미지 영역으로 상기 저레벨 학습부(120)를 통해 상기 복수의 신경망에 학습시킬 수 있다.That is, the
또한, 상기 제어부(160)는 상기 저레벨 학습부(120)에 학습되는 상품 이미지 관련 이미지 영역과 상기 복수의 카테고리별 기본 정보를 포함하는 학습 대상 상품 관련 학습 대상 상품 정보의 개수가 미리 설정된 기준치 이상인 경우 상기 저레벨 학습부(120)에 특정 상품의 특정 상품 이미지만 입력하면 상기 저레벨 학습부(120)를 통해 상기 특정 상품 이미지에 대응되는 이미지 영역과 상기 특정 상품 이미지에 대응되는 카테고리별 기본 정보가 출력(산출)되도록 할 수 있다.In addition, when the number of product-related image targets related to a learning target product including the image region related to the product image learned by the low-
이때, 도 4에 도시된 바와 같이, 상기 제어부(160)는 상기 특정 상품 이미지에 대응되어 상기 저레벨 학습부(120)에 구성된 복수의 신경망을 통해 출력되는 이미지 영역과 상기 카테고리별 기본 정보를 상기 사용자 인터페이스부(10)에 제공하여 표시되도록 할 수 있다.At this time, as shown in Figure 4, the
또한, 상기 사용자 인터페이스부(10)의 제어 모듈은 표시 모듈을 통해 상기 이미지 영역과 카테고리별 기본 정보를 표시할 수 있으며, 상기 이미지 영역을 상기 특정 상품 이미지에 상기 이미지 영역이 설정된 상태로 표시하거나 상기 이미지 영역에 대응되는 분할 이미지를 표시할 수 있다.In addition, the control module of the
또한, 상기 제어 모듈은 상기 특정 상품 이미지에서 이미지 영역이 잘못 설정되거나 상기 카테고리별 기본 정보에 오류가 발생한 경우 상기 사용자 인터페이스부(10)를 통한 사용자 입력을 기초로 상기 특정 상품 이미지에서 이미지 영역을 재설정하거나 오류가 발생한 기본 정보를 수정하여 생성한 수정 정보를 서비스 제공 장치(100)의 제어부(160)에 제공할 수 있다.In addition, the control module resets the image area in the specific product image based on user input through the
이를 통해, 상기 제어부(160)는 상기 수정 정보 수신시 상기 특정 상품 이미지에서 상기 수정 정보에 대응되는 영역으로 상기 이미지 영역을 갱신하고, 상기 특정 상품에 대응되는 상기 복수의 카테고리별 기본 정보를 상기 갱신된 이미지 영역과 매칭하여 상기 저레벨 학습부(120)를 통해 상기 복수의 신경망에 학습킬 수 있다.Through this, the
또한, 상기 제어부(160)는 상기 수정 정보가 기본 정보의 오류 수정인 경우 상기 특정 상품 이미지에 대응되는 이미지 영역과 오류가 수정된 카테고리별 기본정보를 상호 매칭하여 상기 저레벨 학습부(120)를 통해 상기 복수의 신경망에 학습시킬 수 있다.In addition, when the correction information is an error correction of the basic information, the
이를 통해, 상기 제어부(160)는 상기 저레벨 학습부(120)를 구성하는 복수의 신경망에서 출력되는 정보의 정확도 또는 상기 저레벨 학습부(120)의 정확도를 높일 수 있다. Through this, the
한편, 상기 복수의 고레벨 학습부(140) 각각은 상기 복수의 신경망과 구분되는 별도의 신경망인 제 1 신경망으로 구성되거나 상기 제 1 신경망을 포함하여 구성될 수 있다Meanwhile, each of the plurality of high-
또한, 상기 참고정보 제공부(130)는 상기 판매 관련 DB(230)로부터 학습 대상 상품과 관련하여 상품 판매시 생성되어 기저장된 복수의 상품 유관 정보를 추출하고, 상기 복수의 상품 유관 정보를 기초로 중복 횟수가 많은 순서대로 미리 설정된 개수의 서로 다른 학습 대상 상품 관련 키워드를 추출하여 상기 제어부(160)에 제공할 수 있다.In addition, the reference
이때, 상품 유관 정보는 학습 대상 상품의 상품 식별 정보를 포함할 수 있다.At this time, the product-related information may include product identification information of the product to be learned.
이에 따라, 도 4에 도시된 바와 같이, 상기 제어부(160)는 학습 대상 상품과 관련하여 상기 미리 설정된 개수의 서로 다른 학습 대상 상품 관련 키워드가 상기 사용자 인터페이스부(10)를 통해 표시되도록 할 수 있으며, 상기 사용자 인터페이스부(10)를 통한 사용자 입력을 기초로 미리 설정된 복수의 속성별로 사용자에 의해 선택된 키워드를 포함하는 키워드 정보를 생성할 수 있다.Accordingly, as illustrated in FIG. 4, the
이때, 상기 복수의 속성은 상품의 재질, 상품의 디자인 스타일, 상품의 착용 계절, 상품의 색상 등과 같은 학습 대상 상품의 성질이나 특징을 포함할 수 있다.At this time, the plurality of attributes may include properties or characteristics of the product to be studied, such as the material of the product, the design style of the product, the season of wearing the product, and the color of the product.
또한, 상기 제어부(160)는 학습 대상 상품과 관련되어 생성한 키워드 정보와 상기 학습 대상 상품과 관련되어 상기 저레벨 학습부(120)에 학습되는 이미지 영역을 상기 복수의 고레벨 학습부(140)를 통해 복수의 고레벨 학습부(140) 각각에 구성된 상기 제 1 신경망에 학습시킬 수 있다.In addition, the
즉, 상기 복수의 고레벨 학습부(140)는 상기 복수의 속성과 각각 대응되어 상기 서비스 제공 장치(100)에 구성되며, 상기 제어부(160)는 상기 이미지 영역을 복수의 고레벨 학습부(140) 각각의 제 1 신경망에 각각 학습시킬 때 상기 이미지 영역과 매칭되는 키워드 정보에 포함된 복수의 속성 중 어느 하나의 속성에 대응되는 키워드를 상기 이미지 영역과 매칭하여 학습시킬 수 있다.That is, the plurality of high-
일례로, 상기 제어부(160)는 학습 대상 상품과 관련되어 생성된 키워드 정보에 포함되는 사용자에 의해 선택된 특정 키워드가 상기 복수의 속성 중 제 1 속성의 속성값인 경우 복수의 고레벨 학습부(140) 중 해당 제 1 속성에 대응되는 제 1 고레벨 학습부에 상기 속성값과 상기 학습 대상 상품의 이미지 영역을 상호 매칭하여 학습시킬 수 있다.For example, the
또한, 상기 제어부(160)는 학습 대상 상품과 관련되어 생성된 키워드 정보에 포함되는 사용자에 의해 선택된 다른 키워드가 상기 복수의 속성 중 제 2 속성의 속성값인 경우 복수의 고레벨 학습부(140) 중 해당 제 2 속성에 대응되는 제 2 고레벨 학습부에 상기 제 2 속성의 속성값과 상기 학습 대상 상품의 이미지 영역을 상호 매칭하여 학습시킬 수 있다.In addition, if the other keyword selected by the user included in the keyword information generated in association with the product to be learned is the attribute value of the second attribute among the plurality of attributes, the
이를 통해, 상기 복수의 고레벨 학습부(140) 각각은 상기 이미지 영역과 상기 복수의 속성 중 자신에 대응되는 속성과의 상관관계를 제 1 신경망에 학습시킬 수 있으며, 이에 따라 복수의 고레벨 학습부(140) 각각에 학습된 상관관계는 서로 상이할 수 있다.Through this, each of the plurality of high-
이때, 상기 제어부(160)는 상기 저레벨 학습부(120)에 학습되는 이미지 영역에 대응되어 상기 이미지 처리부(110)를 통해 상품 이미지에서 추출된 분할 이미지를 상기 이미지 영역으로서 상기 복수의 고레벨 학습부(140) 각각에 학습시킬 수 있다.At this time, the
이를 통해, 상기 제어부(160)는 복수의 서로 다른 학습 대상 상품별로 상기 키워드 정보와 이미지 영역을 상기 고레벨 학습부(140)의 제 1 신경망에 학습시킬 수 있으며, 이를 통해 속성이 유사한 상품끼리 구분이 이루어지도록 상기 고레벨 학습부(140)의 제 1 신경망을 학습시킬 수 있다.Through this, the
즉, 상기 제어부(160)는 상기 참고정보 제공부(130)와 연동하여 학습 대상 상품과 관련한 판매자가 특정한 특징 및 성질 관련 키워드와 상기 학습 대상 상품을 구매하는 소비자들이 해당 상품과 관련하여 댓글과 같은 정보를 통해 생성한 키워드를 종합하여 학습 대상 상품에 대해 중복 빈도가 높은 키워드를 사용자에게 제시함으로써, 대중이 학습 대상 상품에 대해 생각하는 공통적인 속성을 사용자에게 제공할 수 있으며 이를 통해 학습 대상 상품의 속성을 입력하는 상기 사용자의 주관적인 판단이 속성 관련 정보에 개입하지 않도록 함과 아울러 학습 대상 상품에 대해 대중(판매자 포함)의 생각이 일치하는 객관적인 정보가 속성 관련 정보로 입력되도록 하여 학습 대상 상품과 관련된 정확한 객관적인 속성 관련 정보가 복수의 고레벨 학습부(140)에 학습되도록 할 수 있다.That is, the
이러한 동작 구성을 통해, 본 발명은 이하에서 설명되는 추후 특정 상품과 관련하여 서비스 제공 장치(100)에 구성된 다수의 신경망을 통해 생성되는 상품 정보의 정확성을 담보할 수 있으며 불필요한 정보가 상품 정보에 포함되는 것을 방지할 수 있다.Through such an operation configuration, the present invention can secure the accuracy of product information generated through a plurality of neural networks configured in the
상술한 바와 같은 저레벨 학습부(120) 및 고레벨 학습부(140)의 학습에 따라 상기 제어부(160)는 특정 상품의 특정 상품 이미지에 대해 빅데이터(big data) 분석을 위한 정형화된 상품 정보를 제공할 수 있는데, 이를 도 2 및 도 3을 참고하여 상세히 설명한다.According to the learning of the low-
우선, 상기 제어부(160)는 특정 상품의 특정 상품 이미지를 상기 저레벨 학습부(120)에 적용할 수 있으며, 상기 저레벨 학습부(120)는 복수의 신경망을 통해 상기 특정 상품 이미지에 대해 상기 특정 상품 이미지에서 하나 이상의 상품 각각에 대한 이미지 영역을 식별하고, 상기 특정 상품의 이미지 영역과 관련성이 높은 카테고리별 기본 정보를 생성하여 출력(산출)할 수 있다.First, the
일례로, 상기 저레벨 학습부(120)는 상기 제어부(160)에 의해 남성 셔츠와 관련된 특정 상품이 표시된 특정 상품 이미지를 수신시 해당 특정 상품 이미지를 복수의 신경망에 적용하여 상기 복수의 신경망을 통해 상기 특정 상품 이미지에서 상기 남성 셔츠 관련 특정 상품에 대응되는 이미지 영역을 식별하고, 해당 남성 셔츠 관련 이미지 영역에 대응되어 성별 관련 카테고리로 '남성'을 기본정보로 출력하고, 상기 신체 부위 관련 카테고리에 대응되어 '상의'를 기본정보로 출력하고, 상기 상품의 종류 관련 카테고리에 대응되어 '셔츠'를 기본 정보로 출력할 수 있다.In one example, the low-
이때, 상기 특정 상품 이미지에 복수의 상품이 포함된 경우 상기 저레벨 학습부(120)는 상기 특정 상품 이미지에 포함된 복수의 상품별로 이미지 영역과 카테고리별 기본 정보를 생성하여 출력할 수 있음은 물론이다.In this case, when a plurality of products are included in the specific product image, the low-
또한, 상기 제어부(160)는 상기 저레벨 학습부(120)를 통해 상기 특정 상품에 대응되어 얻어진 이미지 영역과 특정 상품 이미지를 상기 이미지 처리부(110)에 제공하고, 상기 이미지 처리부(110)로부터 상기 특정 상품 이미지에서 상기 이미지 영역을 클리핑하여 생성된 분할 이미지를 생성할 수 있다.In addition, the
상술한 구성에서, 상기 제어부(160)는 상기 특정 상품과 관련하여 상기 저레벨 학습부(120)를 통해 산출된 이미지 영역이 표시된 상기 상품 이미지를 상기 사용자 인터페이스부(10)를 통해 표시할 수 있으며, 상기 사용자 인터페이스부(10)를 통해 상기 이미지 영역의 수정에 따른 상기 수정 정보를 수신시 상기 상품 이미지에서 상기 수정 정보에 대응되는 영역으로 상기 이미지 영역을 갱신하고, 상기 특정 상품에 대응되는 상기 복수의 카테고리별 기본 정보를 상기 갱신된 이미지 영역과 매칭하여 상기 저레벨 학습부(120)에 학습시킬 수 있다.In the above-described configuration, the
또한, 상기 제어부(160)는 상기 특정 상품 관련 상기 이미지 영역을 상기 복수의 고레벨 학습부(140)를 통해 상기 복수의 고레벨 학습부(140) 각각의 제 1 신경망에 적용하거나 상기 복수의 고레벨 학습부(140)에 제공하여 적용할 수 있다.In addition, the
이때, 상기 제어부(160)는 상기 특정 상품 관련 이미지 영역으로서 상기 이미지 처리부(110)를 통해 얻어진 상기 특정 상품 관련 분할 이미지를 상기 복수의 고레벨 학습부(140)별 제 1 신경망에 적용할 수도 있다.In this case, the
또한, 상기 제어부(160)는 상기 이미지 영역에 대한 수정 정보 수신시 상기 수정 정보에 대응되어 갱신된 이미지 영역을 상기 복수의 고레벨 학습부(140) 각각의 제 1 신경망에 적용하거나 상기 갱신된 이미지 영역에 대응되는 분할 이미지를 상기 복수의 고레벨 학습부(140) 각각의 제 1 신경망에 적용할 수 있다.In addition, when receiving the correction information for the image area, the
또한, 상기 복수의 고레벨 학습부(140) 각각은 자신의 제 1 신경망에 기학습된 상관 관계에 따라 상기 이미지 영역과 관련성이 높은 특정 속성의 데이터(또는 파라미터)를 출력(산출)할 수 있다.In addition, each of the plurality of high-
이때, 상기 고레벨 학습부(140)에 의해 산출되는 상기 특정 속성의 데이터는 키워드일 수 있다.In this case, data of the specific attribute calculated by the high-
일례로, 복수의 고레벨 학습부(140) 중 재질 관련 속성에 대응되는 고레벨 학습부(140)는 자신의 제 1 신경망에 상기 특정 상품의 이미지 영역을 적용하여 제 1 신경망의 분석을 통해 상기 특정 상품과 관련성이 높은 특정 재질(일례로, 실크)을 재질 관련 속성의 데이터로 출력할 수 있다.For example, the high-
또한, 복수의 고레벨 학습부(140) 중 디자인 스타일 관련 속성에 대응되는 고레벨 학습부(140)는 자신의 제 1 신경망에 상기 특정 상품의 이미지 영역을 적용하여 제 1 신경망의 분석을 통해 상기 특정 상품과 관련성이 높은 디자인 스타일(일례로, 물결 무늬)을 디자인 스타일 관련 속성의 데이터로 출력할 수 있다.In addition, among the plurality of high-
이에 따라, 상기 제어부(160)는 상기 특정 상품의 이미지 영역을 상기 복수의 고레벨 학습부(140)에 적용하여 복수의 고레벨 학습부(140)로부터 상기 복수의 속성별로 데이터를 획득할 수 있으며, 상기 복수의 속성별 데이터를 포함하는 속성 정보를 생성할 수 있다.Accordingly, the
즉, 상기 제어부(160)는 상기 특정 상품의 이미지 영역을 상기 복수의 고레벨 학습부(140)에 적용하여 상기 특정 상품이 가진 속성에 대한 예측 결과를 제공할 수 있다.That is, the
또한, 상기 제어부(160)는 상기 특정 상품의 특정 상품 이미지에 대응되어 상기 저레벨 학습부(120)를 통해 얻어진 카테고리별 기본 정보와 상기 속성 정보를 포함하는 상품 정보를 생성할 수 있다.In addition, the
즉, 상기 제어부(160)는 신경망으로 구성된 저레벨 학습부(120) 및 고레벨 학습부(140)를 통해 특정 상품의 이미지를 인식시키는 것만으로 상기 저레벨 학습부(120) 및 고레벨 학습부(140)의 신경망 분석을 통해 특정 상품의 구분을 위한 카테고리 관련 정보 뿐만 아니라 해당 특정 상품의 특징 및 성질을 포함하는 속성 관련 정보를 포함하는 상품 정보를 생성할 수 있으며, 상기 카테고리 뿐만 아니라 상품의 속성에 대해서도 정형화되고 정제된 상품 정보를 생성할 수 있다.That is, the
또한, 상기 제어부(160)는 상기 상품 정보 생성시 상기 상품 정보를 상품 DB(240)에 저장할 수 있으며, 이를 통해 정형화되고 정제된 상품 정보를 제공하여 빅데이터 분석시 해당 상품 정보를 통해 정확도가 높은 결과가 도출될 수 있도록 지원할 수 있다.In addition, the
또한, 상기 제어부(160)는 상기 상품 정보에 상기 특정 상품 관련 특정 상품 이미지, 이미지 영역 및 분할 이미지 중 적어도 하나를 포함시켜 상기 상품 DB(240)에 저장할 수 있으며, 이를 통해 상품 정보에 포함된 카테고리 관련 기본정보와 속성정보에 대응되는 특정 상품의 이미지 역시 정제된 상태로 상품 정보에 포함시킬 수 있다.In addition, the
또한, 상기 제어부(160)는 상기 특정 상품에 대응되어 상품 정보 자동 생성시 해당 상품 정보를 사용자 인터페이스부(10)를 통해 표시할 수 있으며, 상기 사용자 인터페이스부(10)를 통한 사용자 입력에 따라 상기 상품 정보에 대한 수정 입력 정보를 수신한 경우 해당 수정 입력 정보를 기초로 상기 상품 정보를 갱신하여 상기 상품 DB(240)에 저장할 수도 있다.In addition, when the product information is automatically generated corresponding to the specific product, the
상술한 구성을 통해, 본 발명은 패션 관련 상품과 관련되어 이미지와 카테고리별 기본정보 및 해당 상품의 다양한 속성별 정보를 다수의 신경망에 학습시키는 과정에서 패션에 대한 지식이 전무한 사용자라 하더라도 상품의 속성과 관련된 키워드를 사용자에게 제시하여 사용자가 상품의 속성을 용이하게 파악하여 특정할 수 있도록 지원함으로써 상품에 대한 정확한 속성 관련 정보가 학습되도록 할 수 있으며, 이러한 다수의 신경망을 기반으로 카테고리 분류 및 상품의 속성과 관련된 정보가 전무한 상품 이미지에 대해서 자동으로 정형화되고 정제된 상품 정보를 생성하여 제공함으로써 상품에 대한 상품 정보의 자동 생성을 지원하여 상품 관리의 편의성을 높임과 동시에 상술한 바와 같이 정제된 상품 정보를 제공하여 해당 상품 정보를 기반으로 하는 빅데이터 분석시 정확도 및 신뢰도가 높은 결과가 제공되도록 지원할 수 있다.Through the above-described configuration, the present invention relates to a fashion-related product, even if the user has no knowledge of fashion in the process of learning images and category-specific basic information and information on various attributes of the product on multiple neural networks. By presenting keywords related to the user, the user can easily identify and specify the properties of the product so that accurate property-related information about the product can be learned. By automatically generating and providing standardized and refined product information for product images with no attribute-related information, it supports automatic generation of product information for products, thereby enhancing convenience in product management and refined product information as described above. By providing, it is possible to assist in providing a result with high accuracy and reliability when analyzing big data based on the product information.
한편, 도 2 및 도 5에 도시된 바와 같이, 상기 제어부(160)는 상기 상품 DB(240)에 저장되는 상기 상품 정보에 대응되어 브랜드(brand) 및 제조 시기(일례로, 제조년도, 제조년월, 제조일 등) 중 적어도 하나를 상기 복수의 신경망 및 제 1 신경망과 구분되는 별도의 신경망인 제 2 신경망으로 구성된 디자인 패턴 학습부(150)에 상기 상품 정보와 매칭하여 학습시킬 수 있다.Meanwhile, as illustrated in FIGS. 2 and 5, the
이때, 상기 제어부(160)는 상기 사용자 인터페이스부(10)를 통한 사용자 입력을 기초로 상기 상품 정보에 대응되는 브랜드 및 제조 시기 관련 정보를 수신하고, 상기 상품 정보에 해당 브랜드 및 제조 시기 관련 정보를 포함시켜 상기 디자인 패턴 학습부(150) 또는 디자인 패턴 학습부(150)의 제 2 신경망에 학습시킬 수 있다.At this time, the
또는, 상기 제어부(160)는 상기 상품 정보에 대응되는 특정 상품의 특정 상품 이미지에 포함된 상품 식별정보와 매칭되어 상기 판매 관련 DB(230)에 저장된 브랜드 및 제조 시기 관련 정보를 상기 참고 정보 제공부(130)로부터 수신하고, 상기 특정 상품에 대응되어 상기 참고 정보 제공부(130)에 의해 상기 판매 관련 DB(230)로부터 추출된 브랜드 및 제조 시기를 상기 상품 정보에 포함시키거나 상기 상품 정보와 매칭하여 상기 디자인 패턴 학습부(150)의 제 2 신경망에 학습시킬 수도 있다.Alternatively, the
또한, 상기 제어부(160)는 다수의 상품 각각에 대해 생성된 상품 정보와 브랜드 및 제조 시기를 상기 디자인 패턴 학습부(150)에 학습시킬 수 있다.In addition, the
이에 따라, 상기 디자인 패턴 학습부(150)는 상기 제 2 신경망에 상기 다수의 상품 정보와 브랜드 및 제조시기를 학습시켜 브랜드별 디자인 패턴 및 제조 시기별 디자인 패턴 중 적어도 하나가 학습되도록 할 수 있다.Accordingly, the design
이때, 상기 제어부(160)는 상기 디자인 패턴 학습부(150)에 상기 상품 정보에 포함된 상품 이미지, 이미지 영역 및 분할 이미지 중 적어도 하나가 포함된 경우 이를 제외하고 상기 디자인 패턴 학습부(150)에 학습시킬 수 있다.At this time, the
즉, 다수의 상품 정보가 브랜드 및 제조시기와 함께 학습된 상기 디자인 패턴 학습부(150)는 브랜드별 및 제조시기별로 디자인 패턴을 학습할 수 있다.That is, the design
이때, 상기 디자인 패턴 학습부(150)의 제 2 신경망에 학습된 디자인 패턴은 특정 브랜드가 특정 제조시기에 복수의 카테고리별 특정값을 가진 상품군에 대한 상기 복수의 속성별 범위값을 의미할 수 있으며, 브랜드가 제조시기별로 제작한 상품군별 디자인 유형을 의미할 수 있다.At this time, the design pattern learned in the second neural network of the design
이에 따라, 상기 제어부(160)는 분석 대상 상품과 관련하여 상기 사용자 인터페이스부(10)를 통해 복수의 카테고리와 복수의 속성과 브랜드 및 제조 시기 중 적어도 하나에 대해 수신된 입력 정보나 상기 브랜드 및 제조 시기 중 적어도 하나가 더 포함된 상기 상품 정보를 상기 다수의 상품 정보가 학습된 상기 디자인 패턴 학습부(150)에 적용하여 상기 분석 대상 상품과 상품 정보에 학습된 디자인 패턴 사이의 매칭도를 제공할 수 있다.Accordingly, the
이때, 상기 디자인 패턴 학습부(150)는 상기 분석 대상 상품의 상품 정보를 상기 제 2 신경망에 적용하여 상기 제 2 신경망에 학습된 디자인 패턴의 분류와 관련된 기준에 따라 상기 분석 대상 상품의 디자인 패턴을 분류(구분) 및 정의(또는 식별)할 수 있다.At this time, the design
즉, 상기 제어부(160)는 디자인 패턴 학습부(150)를 통해 디자인을 분석하고자 하는 분석 대상 상품과 관련하여 사용자가 상기 복수의 카테고리와 복수의 속성과 브랜드 및 제조 시기 중 적어도 하나에 대해 직접 입력한 입력 정보를 상기 디자인 패턴 학습부(150)에 적용하여 상기 디자인 패턴 학습부(150)의 제 2 신경망을 통해 얻어진 매칭도를 기초로 상기 입력 정보에 대응되는 분석 대상 상품이 기존에 존재하던 제품들의 디자인 패턴과 어느 정도 차이를 나타내는지 사용자에게 제공할 수 있다.That is, the
일례로, 매칭도가 높은 경우 분석 대상 상품의 디자인이 기존에 존재하던 상품들과 유사한 디자인을 가진 무난한 제품인 것으로 사용자가 파악할 수 있으며, 매칭도가 낮은 경우 기존의 상품들에 존재하지 않는 독특한 디자인 패턴을 가지는 것으로 사용자가 파악할 수 있다.For example, if the matching degree is high, the user can recognize that the design of the product to be analyzed is a safe product with a design similar to the existing products. If the matching degree is low, the unique design pattern does not exist in the existing products. By having it, the user can grasp it.
또한, 분석 대상 상품에 대해 브랜드 및 제조 시기까지 지정한 경우 해당 매칭도를 통해 특정 제조 시기에서 특정 브랜드와 관련하여 해당 분석 대상 상품의 무난한 정도(유행성 정도)나 독창성 정도까지 파악 가능하도록 지원할 수 있다.In addition, if the product to be analyzed is specified by the brand and manufacturing time, the matching degree can be used to identify the degree of difficulty (degree of pandemic) or originality of the product to be analyzed in relation to a specific brand at a specific manufacturing time.
이를 통해, 본 발명은 디자이너가 상품을 제작한 경우 해당 제작 상품의 독창성이나 유행성 등을 판단 가능하도록 지원하여 디자이너의 패션 관련 상품 제작에 도움을 줄 수 있다.Through this, the present invention can assist the designer in making a fashion-related product by assisting the designer in determining the originality or fashionability of the product when the designer makes the product.
또한, 상기 제어부(160)는 특정 상품의 특정 상품 이미지에 대응되어 저레벨 학습부(120) 및 고레벨 학습부(140)를 통해 생성된 상품 정보에 브랜드 및 제조시기 관련 데이터를 부가한 후 상기 디자인 패턴 학습부(150)의 제 2 신경망에 적용하여 상기 디자인 패턴 학습부(150)(또는 제 2 신경망)를 통해 상기 상품 정보에 대응되는 브랜드에서 해당 상품 정보의 제조 시기와 인접한 시기에 제작한 디자인 패턴과의 매칭도를 제공할 수 있으며, 이를 통해 사용자는 매칭도가 낮은 경우 상기 상품 정보에 오입력이 존재하는 것으로 파악할 수 있다.In addition, the
즉, 본 발명은 사용자가 상품 정보에 대응되어 디자인 패턴 학습부(150)를 통해 제공되는 매칭도를 통해 상품 정보에 따른 디자인 패턴과 디자인 패턴 학습부(150)에 학습된 디자인 패턴의 매칭도가 낮은 경우 상품 정보에 대응되는 브랜드에서 상품 정보에 대응되는 제조 시기에 상품 정보에 입력된 정보들을 기반으로 하는 디자인 패턴을 제작한 적이 없다는 것을 파악할 수 있도록 지원할 수 있으며, 이에 따라 상품 정보에 오류가 발생한 것으로 파악하여 이를 수정하여 더욱 정확한 상품 정보가 생성되도록 지원할 수 있다.That is, according to the present invention, a matching degree between a design pattern according to product information and a design pattern learned by the design
한편, 상기 제어부(160)는 상기 상품 정보에 대응되어 상기 디자인 패턴 학습부(150)를 통해 상기 복수의 카테고리 및 복수의 속성 각각에 대응되어 매칭도를 제공할 수 있으며, 상기 복수의 카테고리 및 복수의 속성을 포함하는 복수의 항목 중 매칭도가 미리 설정된 기준치 이하인 항목이 존재하는 경우 해당 항목을 오류 항목으로 지정하고, 해당 오류 항목에서 상기 상품 정보에 대한 입력 오류가 발생한 것으로 판단하여 해당 오류 항목 관련 오류 정보를 생성한 후 상기 사용자 인터페이스부(10)에 제공함으로써 상기 사용자 인터페이스부(10)를 통해 상기 오류 정보를 표시하여 사용자가 오입력한 항목을 확인 가능하도록 지원할 수 있다.Meanwhile, the
또한, 상기 제어부(160)는 상기 상품 정보와 관련하여 상기 오입력한 항목에 대해 상기 사용자 인터페이스부(10)로부터 사용자 입력에 따른 수정 요청 정보를 수신한 경우 상기 수정 요청 정보를 기초로 상기 상품 정보를 수정하거나 상기 상품 정보의 상기 오입력한 항목과 관련하여 상기 수정 요청 정보에 따라 데이터를 변경한 후 상기 상품 DB(240)에 저장할 수 있다.In addition, when the
상술한 구성을 통해, 본 발명은 특정 상품의 상품 이미지를 기반으로 다수의 신경망을 통해 생성된 상품 정보의 디자인 패턴이 상품 정보와 유사한 상품군(제품군)에 대한 기존 디자인 패턴과 차이가 큰 경우 상품 정보에 오입력이 발생한 것으로 사용자에게 알릴 수 있으며, 이를 통해 사용자가 상품 정보를 수정함으로써 신뢰성이 높은 상품정보를 생성할 수 있도록 지원하고, 이에 따라 상기 상품 정보를 이용한 빅데이터 분석시 분석 결과에 대한 신뢰도를 향상시킬 수 있다.Through the above-described configuration, the present invention provides product information when a design pattern of product information generated through a plurality of neural networks based on a product image of a specific product is largely different from an existing design pattern for a product group (product group) similar to product information. It is possible to inform the user that an incorrect input has occurred, and through this, the user can modify the product information to create highly reliable product information, and accordingly, reliability of the analysis result when analyzing big data using the product information. To improve.
상술한 구성에 따라, 본 발명은 패션 관련 상품과 관련하여 다수의 신경망을 통해 사용자가 상품 구분을 위한 카테고리 관련 정보 이외에 상품의 속성과 관련된 속성 정보가 오입력 없이 상품의 속성이 정확히 반영된 상품 정보를 생성할 수 있도록 지원하고, 이러한 상품 정보를 기반으로 학습된 다수의 신경망을 통해 빅데이터 분석을 위한 정보로서의 활용 가치를 가지는 정제된 상품 정보를 자동 생성할 수 있도록 지원할 수 있다.According to the above-described configuration, the present invention provides product information in which the attribute of the product is accurately reflected without incorrect input of attribute information related to the product in addition to category-related information for the user to classify the product through multiple neural networks in relation to the fashion-related product. It is possible to support creation, and to automatically generate refined product information having utilization value as information for big data analysis through multiple neural networks learned based on such product information.
도 6은 본 발명의 실시예에 따른 상기 서비스 제공 장치(100)의 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법에 대한 순서도이다.6 is a flowchart of a service providing method for refining information related to fashion products using a neural network of the
도시된 바와 같이, 제어부(160)는 복수의 신경망으로 구성된 저레벨 학습부(120)에 상품별(학습 대상 상품별)로 상품 이미지에서 특정된 상품 관련 이미지 영역과 기설정된 복수의 카테고리와 각각 대응되는 상품 관련 복수의 서로 다른 기본 정보를 매칭하여 학습시킬 수 있다(S1).As illustrated, the
또한, 상기 제어부(160)는 상품별로 상품 판매시 생성되어 기저장된 복수의 상품 유관 정보를 기초로 중복 횟수가 많은 순서대로 미리 설정된 개수의 서로 다른 상품 관련 키워드를 추출하여 사용자 입력을 수신하는 사용자 인터페이스부(10)를 통해 표시하고, 상기 사용자 인터페이스부(10)를 통한 사용자 입력에 따라 미리 설정된 복수의 속성별로 선택된 상기 키워드를 신경망으로 구성되고 상기 복수의 속성과 각각 대응되는 복수의 고레벨 학습부(140) 중 상기 키워드와 매칭되는 상기 이미지 영역과 함께 상기 키워드에 대응되는 고레벨 학습부(140)에 학습시킬 수 있다(S2).In addition, the
또한, 상기 제어부(160)는 특정 상품의 특정 상품 이미지를 상기 저레벨 학습부(120)에 적용하여 얻어진 상기 특정 상품 관련 상기 복수의 카테고리별 기본 정보 및 이미지 영역 중 상기 이미지 영역을 상기 복수의 고레벨 학습부(140)에 적용하여 상기 특정 상품에 대응되는 속성별 데이터가 포함된 속성 정보를 산출할 수 있다(S3, S4).In addition, the
이때, 상기 제어부(160)는 상기 저레벨 학습부(120) 및 고레벨 학습부(140)에 학습된 모든 학습 대상 상품 관련 정보의 개수(또는 합산 용량)가 미리 설정된 기준치 이상인 경우에 상기 특정 상품의 특정 상품 이미지에 대응되어 상기 저레벨 학습부(120) 및 고레벨 학습부(140)를 통해 상기 이미지 영역과 카테고리별 기본 정보 및 속성 정보를 획득할 수 있다.In this case, the
또한, 상기 제어부(160)는 상기 특정 상품에 대응되어 생성된 상기 복수의 카테고리별 기본 정보 및 속성 정보를 포함하는 상품 정보를 생성하여 저장할 수 있다(S5).In addition, the
상술한 바와 같이, 본 발명은 패션 관련 상품과 관련하여 기 보유된 기본 정보를 저레벨 신경망에 학습시켜 이미지만으로 상품 구분이 가능하도록 하고, 사용자가 특정 상품과 관련된 특징 정보를 용이하게 파악하여 특정할 수 있도록 지원하고, 이러한 특징 정보와 기본 정보 및 상품 이미지를 연계하여 고레벨 신경망에 학습시킴으로써 상품 이미지만으로 상품을 구분을 위한 정보 뿐만 아니라 상품의 특징 관련 특징 정보가 포함된 상품 정보를 생성할 수 있도록 지원하여 빅데이터 분석에 활용 가능한 상품 정보를 생성할 수 있도록 지원할 수 있다.As described above, according to the present invention, basic information held in relation to a fashion-related product is learned in a low-level neural network to enable product classification using only images, and a user can easily identify and specify characteristic information related to a specific product. Support, and by linking these feature information with basic information and product images to learn in a high-level neural network, support not only information for classifying products by product images but also product information including feature-related feature information of products. It can support product information that can be used for big data analysis.
본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.The various devices and components described herein can be implemented by hardware circuitry (eg, CMOS-based logic circuitry), firmware, software, or a combination thereof. For example, it may be implemented using transistors, logic gates, and electronic circuits in the form of various electrical structures.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above-described contents may be modified and modified without departing from the essential characteristics of the present invention to those skilled in the art to which the present invention pertains. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical spirits within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.
10: 사용자 인터페이스부
100: 서비스 제공 장치
110: 이미지 처리부
120: 저레벨 학습부
130: 참고정보 제공부
140: 고레벨 학습부
150: 디자인 패턴 학습부
160: 제어부
200: 보유 DB10: user interface unit 100: service providing device
110: image processing unit 120: low-level learning unit
130: reference information providing unit 140: high-level learning unit
150: design pattern learning unit 160: control unit
200: Reserved DB
Claims (9)
상기 제어부가 상품별로 상품 판매시 생성되어 기저장된 복수의 상품 유관 정보를 기초로 중복 횟수가 많은 순서대로 미리 설정된 개수의 서로 다른 상품 관련 키워드를 추출하여 사용자 입력을 수신하는 사용자 인터페이스부를 통해 표시하고, 상기 사용자 인터페이스부를 통한 사용자 입력에 따라 미리 설정된 복수의 속성별로 선택된 상기 키워드를 신경망으로 구성되고 상기 복수의 속성과 각각 대응되는 복수의 고레벨 학습부 중 상기 선택된 키워드와 매칭되는 상기 이미지 영역과 함께 상기 선택된 키워드에 대응되는 고레벨 학습부에 학습시키는 제 2 학습 단계;
상기 제어부가 특정 상품의 특정 상품 이미지를 상기 저레벨 학습부에 적용하여 얻어진 상기 특정 상품 관련 상기 복수의 카테고리별 기본 정보 및 이미지 영역 중 상기 이미지 영역을 상기 복수의 고레벨 학습부에 적용하여 상기 특정 상품에 대응되는 속성별 데이터가 포함된 속성 정보를 산출하는 출력 단계; 및
상기 제어부가 상기 특정 상품에 대응되어 상기 출력 단계를 통해 생성된 상기 복수의 카테고리별 기본 정보 및 속성 정보를 포함하는 상품 정보를 생성하여 저장하는 정제 단계
를 포함하는 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법.
A first learning step in which the control unit matches and learns a product-related image region specified in a product image for each product and a plurality of preset categories related to a plurality of different basic information related to each product corresponding to a low-level learning unit composed of a plurality of neural networks;
The control unit extracts a preset number of different product-related keywords in order of a large number of duplicates based on a plurality of pre-stored product related information generated when goods are sold for each product, and displays them through a user interface unit receiving user input, The keyword selected by a plurality of preset attributes according to a user input through the user interface unit is composed of a neural network, and the selected image is selected together with the image area matched with the selected keyword among a plurality of high-level learning units corresponding to the plurality of attributes. A second learning step of learning the high level learning unit corresponding to the keyword;
The controller applies the image area among the plurality of category-specific basic information and image areas related to the specific product obtained by applying a specific product image of a specific product to the low-level learning unit, and applies the image area to the specific product. An output step of calculating attribute information including corresponding attribute-specific data; And
A refinement step in which the controller generates and stores product information including basic information and attribute information for each category generated through the output step in response to the specific product.
Method for providing a service for refining information related to fashion products using a neural network including a.
상기 상품 유관 정보는 상품의 광고 정보, 상품의 제품 소개 정보, 상품의 웹 페이지 정보, 상품의 댓글 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법.
The method according to claim 1,
The product-related information includes at least one of product advertisement information, product product introduction information, product web page information, and product comment information, and a service providing method for purifying fashion product-related information using a neural network.
상기 복수의 카테고리는 상품에 대응되는 성별, 상품이 착용되는 신체 부위, 상품의 종류를 포함하는 것을 특징으로 하는 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법.
The method according to claim 1,
The plurality of categories includes a gender corresponding to the product, a body part where the product is worn, and a service providing method for refining fashion product-related information using a neural network, characterized in that it comprises a product type.
상기 제어부가 상기 특정 상품과 관련하여 상기 제 1 학습 단계를 통해 산출된 이미지 영역이 표시된 상기 상품 이미지를 상기 사용자 인터페이스부를 통해 표시하는 단계; 및
상기 제어부가 상기 사용자 인터페이스부를 통해 상기 이미지 영역의 수정에 따른 수정 정보를 수신시 상기 특정 상품 이미지에서 상기 수정 정보에 대응되는 영역으로 상기 이미지 영역을 갱신하고, 상기 특정 상품에 대응되는 상기 복수의 카테고리별 기본 정보를 상기 갱신된 이미지 영역과 매칭하여 상기 저레벨 학습부에 학습시키는 단계를 더 포함하는 것을 특징으로 하는 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법.
The method according to claim 1,
Displaying, by the control unit, the product image on which the image area calculated through the first learning step is displayed in relation to the specific product through the user interface unit; And
When the control unit receives correction information according to the modification of the image area through the user interface unit, the image area is updated from the specific product image to an area corresponding to the modification information, and the plurality of categories correspond to the specific product. And matching the basic information of each star with the updated image area to train the low-level learning unit.
상기 제 1 학습 단계는 상기 제어부가 하나 이상의 상품이 표시된 이미지에서 상기 복수의 카테고리별 기본 정보에 매칭되는 학습 대상 상품의 이미지 영역을 식별하도록 상기 저레벨 학습부를 통해 복수의 신경망 중 특정 신경망에 학습시키는 단계를 더 포함하고,
상기 제 2 학습 단계는 상기 제어부가 상기 특정 신경망을 통해 얻어진 상기 학습 대상 상품 관련 이미지 영역을 기초로 이미지 처리부를 통해 상기 상품 이미지에서 상기 이미지 영역에 대응되는 영역을 클리핑하여 상기 학습 대상 상품 관련 분할 이미지를 생성한 후 상기 복수의 고레벨 학습부에 상기 이미지 영역으로서 학습시키는 단계를 더 포함하는 것을 특징으로 하는 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법.
The method according to claim 1,
In the first learning step, the controller learns a specific neural network from among a plurality of neural networks through the low-level learning unit so as to identify an image area of a product to be learned that matches the basic information for each of the categories in an image in which one or more products are displayed. Further comprising,
In the second learning step, the control unit clips an area corresponding to the image area from the product image through an image processing unit based on the image area related to the product to be learned obtained through the specific neural network, thereby dividing the image related to the product to be learned. After generating the, further comprising the step of learning as the image area in the plurality of high-level learning unit Service providing method for purifying information related to fashion products using a neural network.
상기 정제 단계는 상기 제어부가 상기 상품 정보에 상기 특정 상품 관련 특정 상품 이미지, 이미지 영역 및 분할 이미지 중 적어도 하나를 포함시켜 저장하는 단계를 더 포함하는 것을 특징으로 하는 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법.
The method according to claim 5,
In the refining step, the control unit further includes refining the fashion product-related information using a neural network, wherein the product information includes at least one of a specific product image, an image area, and a segmented image related to the specific product. How to provide services.
상기 제어부가 상기 상품 정보에 대응되는 브랜드 및 제조 시기 중 적어도 하나를 신경망으로 구성된 디자인 패턴 학습부에 상기 상품 정보와 매칭하여 학습시켜 상기 브랜드별 디자인 패턴 및 제조 시기별 디자인 패턴 중 적어도 하나가 학습되도록 하는 제 3 학습 단계; 및
상기 제어부가 상기 사용자 인터페이스부를 통해 복수의 카테고리와 복수의 속성과 브랜드 및 제조 시기 중 적어도 하나에 대해 수신한 입력 정보나 상기 브랜드 및 제조 시기 중 적어도 하나가 더 포함된 상기 상품 정보를 상기 디자인 패턴 학습부에 적용하여 상품 정보에 학습된 디자인 패턴과의 매칭도를 제공하거나 상기 매칭도에 따른 상기 입력 정보 또는 상품 정보에 대한 입력 오류 관련 오류 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법.
The method according to claim 1,
The control unit learns by matching and learning at least one of a brand and a manufacturing time corresponding to the product information by matching the product information with a design pattern learning unit composed of a neural network so that at least one of the design pattern by each brand and a design pattern by manufacturing time is learned. A third learning step; And
Learning the design pattern through the user interface through the user interface, input information received for at least one of a plurality of categories, a plurality of attributes, and a brand and a manufacturing time or the product information including at least one of the brand and a manufacturing time. A neural network characterized in that it further comprises the step of providing a matching degree with the learned design pattern to the product information by applying to the unit or providing error information related to an input error for the input information or product information according to the matching degree. A method of providing services for refining information related to used fashion products.
상기 복수의 속성은 상품의 재질, 상품의 디자인 스타일, 상품의 착용 계절, 상품의 색상 중 적어도 하나를 포함하는 것을 특징으로 하는 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 방법.
The method according to claim 1,
The plurality of attributes include at least one of a material of a product, a design style of a product, a wearing season of a product, and a color of a product. A service providing method for refining information related to fashion products using a neural network.
각각 상기 복수의 신경망과 별도의 제 1 신경망으로 구성되어 사용자 입력에 따라 선택된 키워드를 매칭되는 상기 이미지 영역과 함께 상기 제 1 신경망에 학습시키는 복수의 고레벨 학습부; 및
상기 저레벨 학습부의 학습을 제어하고, 상기 상품별로 상품 판매시 생성되어 기저장된 복수의 상품 유관 정보를 기초로 중복 횟수가 많은 순서대로 미리 설정된 개수의 서로 다른 상품 관련 키워드를 추출한 후 상기 사용자 입력을 수신하는 사용자 인터페이스부를 통해 표시하여 미리 설정된 복수의 속성별로 상기 사용자 인터페이스부를 통한 사용자 입력에 따라 선택된 상기 키워드를 상기 복수의 속성과 각각 대응되는 복수의 고레벨 학습부 중 상기 선택된 키워드와 매칭되는 상기 이미지 영역과 함께 상기 선택된 키워드에 대응되는 고레벨 학습부에 학습시키며, 특정 상품의 특정 상품 이미지를 상기 저레벨 학습부에 적용하여 얻어진 상기 특정 상품 관련 상기 복수의 카테고리별 기본 정보 및 이미지 영역을 상기 복수의 고레벨 학습부에 적용하여 상기 특정 상품에 대응되는 상기 속성별 데이터가 포함된 속성 정보를 산출하고, 상기 속성 정보 및 상기 복수의 카테고리별 기본 정보를 포함하는 상품 정보를 상기 특정 상품에 대응되어 생성하여 저장하는 제어부
를 포함하는 신경망을 이용한 패션 상품 관련 정보 정제를 위한 서비스 제공 장치.A low-level learning unit configured to consist of a plurality of neural networks and match a product-related image region specified in a product image for each product and a plurality of predetermined basic information related to a product corresponding to a plurality of preset categories, to train the plurality of neural networks;
A plurality of high-level learning units configured to consist of the plurality of neural networks and a separate first neural network to train the first neural network with the image regions matching selected keywords according to user input; And
Control the learning of the low-level learning unit, extract the preset number of different product-related keywords in the order of the number of duplicates based on a plurality of product-related information generated and pre-stored when the product is sold for each product, and receive the user input And the image area matched with the selected keyword among a plurality of high-level learning units respectively corresponding to the plurality of attributes by displaying the keyword selected according to a user input through the user interface unit for a plurality of preset attributes displayed through the user interface unit. Together, the high level learning unit corresponding to the selected keyword is trained, and the plurality of category-specific basic information and image regions related to the specific product obtained by applying a specific product image of a specific product to the low level learning unit is the plurality of high level learning units. A control unit for generating attribute information including the attribute-specific data corresponding to the specific product, and generating and storing product information including the attribute information and the plurality of category-specific basic information corresponding to the specific product
A service providing device for refining fashion product-related information using a neural network including a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180168569A KR102224931B1 (en) | 2018-12-24 | 2018-12-24 | Service providing apparatus and method for cleansing fashion related product information using neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180168569A KR102224931B1 (en) | 2018-12-24 | 2018-12-24 | Service providing apparatus and method for cleansing fashion related product information using neural network |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200084422A true KR20200084422A (en) | 2020-07-13 |
KR102224931B1 KR102224931B1 (en) | 2021-03-09 |
Family
ID=71571063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180168569A KR102224931B1 (en) | 2018-12-24 | 2018-12-24 | Service providing apparatus and method for cleansing fashion related product information using neural network |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102224931B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060056614A (en) | 2004-11-22 | 2006-05-25 | 주식회사 팬택 | Method for providing fashion information using mobile phone |
JP2015511039A (en) * | 2012-03-15 | 2015-04-13 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | Disclosure of product information |
KR101768521B1 (en) * | 2016-05-02 | 2017-08-17 | 네이버 주식회사 | Method and system providing informational data of object included in image |
KR101814005B1 (en) * | 2017-08-21 | 2018-01-02 | 인천대학교 산학협력단 | Apparatus and method for automatically extracting product keyword information according to web page analysis based artificial intelligence |
KR20180048536A (en) * | 2018-04-30 | 2018-05-10 | 오드컨셉 주식회사 | Method, apparatus and computer program for providing search information from video |
-
2018
- 2018-12-24 KR KR1020180168569A patent/KR102224931B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060056614A (en) | 2004-11-22 | 2006-05-25 | 주식회사 팬택 | Method for providing fashion information using mobile phone |
JP2015511039A (en) * | 2012-03-15 | 2015-04-13 | アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited | Disclosure of product information |
KR101768521B1 (en) * | 2016-05-02 | 2017-08-17 | 네이버 주식회사 | Method and system providing informational data of object included in image |
KR101814005B1 (en) * | 2017-08-21 | 2018-01-02 | 인천대학교 산학협력단 | Apparatus and method for automatically extracting product keyword information according to web page analysis based artificial intelligence |
KR20180048536A (en) * | 2018-04-30 | 2018-05-10 | 오드컨셉 주식회사 | Method, apparatus and computer program for providing search information from video |
Also Published As
Publication number | Publication date |
---|---|
KR102224931B1 (en) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11216861B2 (en) | Color based social networking recommendations | |
KR20200084425A (en) | Service providing apparatus and method for supporting fashion design using neural network | |
US10186054B2 (en) | Automatic image-based recommendations using a color palette | |
US10242396B2 (en) | Automatic color palette based recommendations for affiliated colors | |
US9679532B2 (en) | Automatic image-based recommendations using a color palette | |
US9542704B2 (en) | Automatic image-based recommendations using a color palette | |
US10402917B2 (en) | Color-related social networking recommendations using affiliated colors | |
US9727983B2 (en) | Automatic color palette based recommendations | |
CN107993131B (en) | Putting-through recommendation method, device, server and storage medium | |
Jagadeesh et al. | Large scale visual recommendations from street fashion images | |
CN106462979B (en) | Fashion preference analysis | |
US10346893B1 (en) | Virtual dressing room | |
Stangl et al. | Browsewithme: An online clothes shopping assistant for people with visual impairments | |
KR102244561B1 (en) | Image feature data extraction and use | |
US9607010B1 (en) | Techniques for shape-based search of content | |
US20150379001A1 (en) | Automatic color validation of image metadata | |
US20150379738A1 (en) | Automatic color palette based recommendations | |
KR20210098884A (en) | A method of providing a fashion item recommendation service using a body shape and purchase history | |
KR20210123872A (en) | Service providing apparatus and method for providing fashion information based on image analysis | |
US11195227B2 (en) | Visual search, discovery and attribution method, system, and computer program product | |
KR102295459B1 (en) | A method of providing a fashion item recommendation service to a user using a date | |
JP2019133620A (en) | Coordination retrieval method, computer device and computer program that are based on coordination of multiple objects in image | |
KR20200140588A (en) | System and method for providing image-based service to sell and buy product | |
Andrade et al. | Computational vision and business intelligence in the beauty segment-an analysis through instagram | |
US11941681B2 (en) | System, method, and computer program product for determining compatibility between items in images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |