KR20190128143A - Apparatus and method for generating designs based on image and text - Google Patents
Apparatus and method for generating designs based on image and text Download PDFInfo
- Publication number
- KR20190128143A KR20190128143A KR1020190142833A KR20190142833A KR20190128143A KR 20190128143 A KR20190128143 A KR 20190128143A KR 1020190142833 A KR1020190142833 A KR 1020190142833A KR 20190142833 A KR20190142833 A KR 20190142833A KR 20190128143 A KR20190128143 A KR 20190128143A
- Authority
- KR
- South Korea
- Prior art keywords
- design
- image
- elements
- new
- item
- Prior art date
Links
- 238000013461 design Methods 0.000 title claims abstract description 623
- 238000000034 method Methods 0.000 title claims description 31
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 description 26
- 238000000605 extraction Methods 0.000 description 16
- 230000002194 synthesizing effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 10
- 230000036651 mood Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 230000002068 genetic effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 235000006679 Mentha X verticillata Nutrition 0.000 description 1
- 235000002899 Mentha suaveolens Nutrition 0.000 description 1
- 235000001636 Mentha x rotundifolia Nutrition 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- -1 moods Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06F17/2705—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Marketing (AREA)
- Biomedical Technology (AREA)
- General Business, Economics & Management (AREA)
- Finance (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 이미지 및 텍스트 기반 유행 디자인 추출 및 디자인 생성 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for image and text based fashion design extraction and design generation.
디자인의 유행의 변화 속도는 매우 빠르다. 특히, 글로벌 스파 브랜드가 생기고, SNS가 더욱 활발해지면서 유행의 변화 속도는 더욱 빨라지고, 유행 아이템은 세계적으로 동일한 디자인으로 수렴하는 경향이 생겼다.The pace of change in design is very fast. In particular, with the creation of a global spa brand, SNS became more active, the trend of fashion change became faster, and fashionable items tended to converge to the same design around the world.
이에 따라, 빠른 유행 변화 속도와 글로벌한 디자인에 따른 공급을 맞추기 위하여, 디자이너는 반복적 자료 수집, 빠른 디자인 작업 보조가 필요하고, 패션 MD는 별도의 최신 트렌드, 신흥 브랜드 정보 수집과 분석이 필요했다. 또한, 디자이너들은 빠르게 변화하는 유행 트렌드를 빠지지 않고 조사하여, 그에 맞는 디자인을 해야한다. 그러나, 급한 경우에는 7일 내에 디자인 3개를 만들어야 하기도 하는데, 실제로 200-300벌을 그려야 비로소 새로운 디자인 하나를 완성할 수 있었다.As a result, designers needed repetitive data collection and fast design work assistance to meet the fast pace of change and global design supply. Fashion MD needed to collect and analyze the latest trends and emerging brand information. In addition, designers must keep up with the rapidly changing fashion trends and design accordingly. However, if you are in a hurry, you have to make three designs within seven days, and you have to draw 200-300 pieces to complete a new design.
또한, 패션 MD의 경우에도 트렌트 및 브랜드를 조사하기 위하여 컬렉션을 탐방하고 뉴욕/파리 등 주요 패션 도시들을 가서 오더 리스트와 룩북을 만들어야 하는 등 패션 트렌드를 업데이트하고 새로운 디자인을 생성하는 데에 많은 비용, 노력 시간이 들어 비효율적이였다.Fashion MD also spends a lot of money on updating fashion trends and creating new designs by exploring collections to explore trends and brands, going to major fashion cities like New York / Paris and creating order lists and lookbooks. Effort was inefficient.
본 발명의 일 실시예에 따르면, 이미지 데이터 및 텍스트 데이터를 파싱하는 파싱부; 파싱된 이미지 데이터 및 텍스트 데이터를 기초로 인공지능을 이용하여 디자인 생성 모델을 학습시키는 학습부; 및 상기 학습부에서 학습된 디자인 생성 모델을 이용하여 특정 아이템의 새로운 디자인 또는, 디자인 요소를 생성하는 디자인 생성부를 포함하는 디자인 생성 장치를 제공하는 것을 특징으로 한다.According to an embodiment of the present invention, a parser for parsing image data and text data; A learning unit learning a design generation model using artificial intelligence based on parsed image data and text data; And a design generation unit that generates a new design or a design element of a specific item by using the design generation model learned by the learning unit.
본 발명의 다른 실시예에 따르면, 파싱된 이미지 데이터 및 텍스트 데이터를 기초로 인공지능을 이용하여 디자인 생성 모델을 학습시키는 단계; 및 상기 학습된 디자인 생성 모델을 이용하여 특정 아이템의 새로운 디자인 또는, 새로운 디자인 요소를 생성하는 단계를 포함하는 디자인 생성 방법을 제공하는 것을 특징으로 한다.According to another embodiment of the present invention, there is provided a method of learning a design generation model using artificial intelligence based on parsed image data and text data; And generating a new design or a new design element of a specific item by using the learned design generation model.
본 발명의 다른 실시예에 따르면, 이미지 및 텍스트를 기반으로 새로운 디자인 생성이 가능한 저장매체에 저장된 프로그램으로서, 파싱된 이미지 데이터 및 텍스트 데이터를 기초로 인공지능을 이용하여 디자인 생성 모델을 학습시키는 단계; 및 상기 학습된 디자인 생성 모델을 이용하여 특정 아이템의 새로운 디자인 또는, 새로운 디자인 요소를 생성하는 단계를 실행하는 프로그램을 제공하는 것을 특징으로 한다.According to another embodiment of the present invention, a program stored in a storage medium capable of generating a new design based on an image and text, comprising: learning a design generation model using artificial intelligence based on parsed image data and text data; And a program for executing a step of generating a new design or a new design element of a specific item using the learned design generation model.
본 발명의 다양한 실시 예에 따르면, 빠르게 변화하는 디자인의 유행에 따라 시간적으로/비용적으로 더욱 효율적인 수단으로 새로운 디자인이 생성될 수 있다.According to various embodiments of the present disclosure, a new design may be generated by a more efficient means in time / cost according to the rapidly changing design trend.
도 1은 본 발명의 일 실시예에 따른 전체 구성도이다.
도 2a는 본 발명의 일 실시예에 따른 디자인 생성 장치의 구성도이다.
도 2b 내지 도 2f는 본 발명의 일 실시예에 따른 디자인 생성 장치의 디자인 생성 과정을 간략하게 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 추출부의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 디자인 생성부의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 디자인 생성 모델을 학습시켜 디자인을 생성하는 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 디자인 변경 방법의 간략한 순서도이다.
도 7a는 본 발명의 일 실시예에 따른 디자인 합성 방법의 간략한 순서도이다.
도 7b는 본 발명의 일 실시예에 따른 디자인 요소 생성의 간략한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 디자인 생성 방법의 사용예이다.
도 9는 본 발명의 일 실시예에 따른 디자인 합성 방법의 사용예이다.
도 10은 본 발명의 일 실시예에 따른 방법이 실행되는 프로그램이 저장되는 하드웨어의 구성을 나타내는 도면이다.1 is an overall configuration diagram according to an embodiment of the present invention.
2A is a block diagram of a design generating apparatus according to an embodiment of the present invention.
2b to 2f are schematic diagrams illustrating a design generation process of a design generating apparatus according to an exemplary embodiment of the present invention.
3 is a block diagram of an extraction unit according to an embodiment of the present invention.
4 is a block diagram of a design generation unit according to an embodiment of the present invention.
5 is a flowchart of a method of generating a design by learning a design generation model according to an embodiment of the present invention.
6 is a simplified flowchart of a design change method according to an embodiment of the present invention.
7A is a simplified flowchart of a design synthesis method according to an embodiment of the present invention.
7B is a simplified flowchart of design element creation in accordance with one embodiment of the present invention.
8 is an example of use of the design generation method according to an embodiment of the present invention.
9 is an example of using the design synthesis method according to an embodiment of the present invention.
10 is a diagram illustrating a configuration of hardware in which a program in which a method is executed according to an embodiment of the present invention is stored.
이하에서는 도면을 참조하여 본 개시에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분이 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings. In this case, the same components in each drawing are represented by the same reference numerals as much as possible. In addition, detailed descriptions of already known functions and / or configurations are omitted. In the following description, the parts necessary for understanding the operation according to various embodiments will be mainly described, and description of elements that may obscure the gist of the description will be omitted.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as "A or B", "at least one of A or / and B", or "one or more of A or / and B" may include all possible combinations of items listed together. . For example, "A or B", "at least one of A and B", or "at least one of A or B" includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as “first,” “second,” “first,” or “second,” used in various embodiments may modify various elements in any order and / or importance, and may modify the elements. It is not limited. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may be renamed to the first component.
또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.In addition, some components of the drawings may be exaggerated, omitted, or schematically illustrated. The size of each component does not entirely reflect the actual size, and thus the contents described herein are not limited by the relative size or spacing of the components drawn in the respective drawings.
도 1은 본 발명의 일 실시예에 따른 전체 구성도이다.1 is an overall configuration diagram according to an embodiment of the present invention.
디자인 생성 장치(200)는 웹사이트, SNS, 블로그 등 인터넷 상에서 실시간으로 노출되는 이미지 및 해당 이미지에 관련된 텍스트 데이터를 파싱한다. 또한, 디자인 생성 장치(200)는 쇼핑몰과 같은 웹사이트에서 이미지를 파싱할 때에, 해당 이미지에 해당하는 판매량, 판매액 데이터도 파싱할 수 있다. 또한, 해당 이미지에 관련된 텍스트는 예를 들어, 쇼핑몰에서 티셔츠를 판매하는 경우 해당 이미지의 카테고리나 상품명에 기재되어 있는 '티셔츠', '티' 또는 '상의' 등의 텍스트일 수 있다. 또한, 텍스트 데이터에는 소재, 재질과 같은 해당 제품의 제품 사양에 대한 정보가 포함될 수도 있다.The design generating
또한, 디자인 생성 장치(200)는 인스타그램 또는 페이스북 등과 같은 SNS에 일정 기간 업로드되는 이미지 데이터를 실시간으로 파싱하여 수신할 수 있다. 인스타그램 또는 페이스북 등과 같은 SNS에 업로드되는 이미지들을 통하여 최신 트렌드를 알 수 있다. 또한 디자인 생성 장치(200) 자체에 저장되어 있는 이미지 데이터 및 텍스트 데이터를 파싱할 수 있다.In addition, the
웹사이트, SNS, 블로그 등 인터넷 상에서 실시간으로 노출되거나, 디자인 생성 장치(200) 내에 있는 이미지 및 해당 이미지에 관련된 텍스트 데이터를 파싱한 디자인 생성 장치(200)는 파싱된 이미지 및 텍스트를 기초로 하여 특정 아이템에 대한 새로운 디자인 또는 디자인 요소를 생성한다. 여기서 디자인 요소는, 패턴, 형태, 색상 등 디자인을 구성할 수 있는 모든 요소 중 적어도 하나를 포함할 수 있다.The design generating
구체적으로, 디자인 생성 장치(200)는 파싱한 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 파싱한 이미지 및 텍스트 데이터 이외에도, 아이템 추출 모델(objection detection)을 이용한다. 예를 들어, 아이템에는 신발, 가방, 원피스, 넥타이, 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함될 수 있는데, 이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다.In detail, the
또한, 파싱된 이미지와 관련된 텍스트 데이터 역시 이미지 내에서 아이템을 추출하기 위하여 사용될 수 있다. 또한, 하나의 이미지에서 복수의 아이템이 추출될 수 있다. 예를 들어, 하나의 이미지에 비니를 쓰고 터틀넥 스웨터에 피코트를 입고, 청바지를 입고 스니커즈를 신은 남성이 서있다면, 해당 이미지에서 추출되는 아이템은 '비니', '터틀넥 스웨터', '피코트', '청바지' 및 '스니커즈'일 수 있다.In addition, text data associated with the parsed image may also be used to extract items within the image. Also, a plurality of items may be extracted from one image. For example, if a man is wearing a beanie in a single image, a peacoat in a turtleneck sweater, a pair of jeans and sneakers, then the items extracted from the image are beanies, turtleneck sweaters, peacoats, Jeans' and 'sneakers'.
또한, 디자인 생성 장치(200)는 추출된 아이템 각각에 대한 디자인의 요소를 추출한다. 디자인의 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 예를 들어, 도 2b를 참조하면, 꽃 형상의 프린트가 전체적으로 들어간 민소매이고 무릎길이의 흰색의 플레어 원피스의 디자인 요소는, 꽃 형상의 프린트, 민소매, 흰색, 무릎길이, 플레어 원피스라는 요소를 포함한다. 또한, 디자인 생성 장치(200)는 아이템 각각에 대한 디자인의 요소뿐만 아니라, 수집된 이미지 중 아이템이 추출되지 않은 이미지에서의 전체적인 무드, 형상, 색상 등의 요소를 이용하여 디자인 요소, 예를 들어, 패턴, 색상, 형상 등을 추출할 수도 있다.In addition, the
디자인 생성 장치(200)는 추출된 디자인 또는 디자인 요소 중에서 상위 디자인 또는 디자인 요소를 추출할 수 있다. 구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수가 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 해당 디자인 요소 자체에 대해서, 노출 빈도수, 판매량, 선호도 등을 모두 고려하여 일정 기준값 이상의 디자인 요소가 추출될 수 있다. 예를 들어, 도 2b를 참조하면, 추출된 디자인들에서의 디자인 요소가 “흰 색”, “민소매”, “꽃무늬” 및 “플레어 원피스”이면 각각의 요소가 상위 디자인 요소일 수 있다. 또한, 특정 디자인 또는 디자인 요소가 상위 디자인 또는 디자인 요소인지에 대해서 판단할 때에 셀럽 등 유명인이 착용한 아이템에 포함된 디자인 또는 디자인 요소인지 여부를 판단하고, 이러한 디자인 또는 디자인 요소에 대해서는 더욱 가중치를 주어 판단할 수 있다.The design generating
디자인 생성 장치(200)는 상위 디자인 또는 디자인의 요소를 추출한 후에 이를 저장부에 저장한다. 디자인 생성 장치(200)는 디자인의 빠른 변화에 따라 실시간으로 상위 디자인의 요소를 추출하여 업데이트하고, 수많은 아이템 별로 상위 디자인 요소를 카테고리화하여 저장한다.The
또한, 디자인 생성 장치(200)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다. 또한, 디자인 생성 장치(200)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행하여 그 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다. 디자인 또는 디자인 요소에 대한 평가는 후술하도록 한다.In addition, the
이후에, 디자인 생성 장치(200)는 학습부에서 실시간으로 학습되는 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다.Subsequently, the
새로운 디자인을 생성하는 데에는 카테고리 특화가 가능하고 랜덤 생성이 가능한 GAN(generative adversarial networks), 특정 디자인의 랜덤 변형이 가능하고 특정 디자인의 특성 유사도가 높은 형태로 새로운 디자인을 생성하는 VAE(Variational Autoencoder)+GAN, 특정 디자인 요소를 사람의 유전 형질(생김새 등)처럼 인식하여 다양한 교배를 만들어 내고, 이에 대한 피드백을 바탕으로 보다 상품성이 높은 새로운 변형을 반복적으로 세대간 전이할 수 있는 genetic algorithm + GAN, 디자인 변경을 위한 conditional GAN, 및 새로운 디자인을 하기 위한 영감을 다양한 이미지 등 데이터에서 추출하여 기존의 디자인의 외양을 유지하면서 스타일을 변형하는 style transfer 기술이 이용될 수 있다.Generating new designs includes category-specific, randomly generated general adversarial networks (GANs), and VAE (Variational Autoencoder), which creates new designs with random variations of specific designs and high similarity to specific features. GAN, a genetic algorithm + GAN that recognizes specific design elements as human genetic traits (looks, etc.) to create a variety of crossbreeds, and repeatedly transfers new, more productive variants between generations based on feedback. Conditional GAN for change, and style transfer technology can be used to extract the inspiration for a new design from data such as various images and to transform the style while maintaining the appearance of the existing design.
머신 러닝은 크게 세가지 분류로 나뉘어지는데, 첫 번째는 지도학습(SupervisedLearning), 두 번째는 강화학습(Reinforcement learning) 그리고 마지막은 비지도 학습(Unsupervised Learning)이다.Machine learning is divided into three main categories: first, supervised learning, second, reinforcement learning, and last, unsupervised learning.
여기서, GAN은 비지도 학습에 속하며, 이미지를 생성하는 Generator(G)와, Generator에 의하여 생성된 이미지를 평가하는 Discriminator(D)가 서로 대립하여 서로의 성능을 개선시켜 나가는 모델로서 새로운 이미지를 생성한다. 구체적으로, D는 원래의 데이터 만을 참으로 판단하기 위하여 노력하고, G는 D가 거짓으로 판별하지 못하도록 가짜 데이터를 생성하여 두 모델의 성능이 함께 향상되어 최종적으로는 D가 실 데이터와 가짜 데이터를 구분하지 못하게 된다.Here, the GAN belongs to unsupervised learning, and the generator (G) generating the image and the discriminator (D) evaluating the image generated by the generator are opposed to each other to create a new image as a model to improve each other's performance. do. Specifically, D tries to judge only the original data as true, and G generates fake data so that D cannot be false, so that the performance of both models is improved together. You won't be able to tell.
디자인을 생성하는 일 실시예로서, 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다.As an example of generating a design, there is a method of generating a new design element by changing a vector value of the design element. The change of the vector value may be input as a set value and may be made by a trained design generation model. Specifically, for example, referring to FIG. 2D, if the floral dress is fashionable, the vector value of existing floral patterns in the floral dress extracted from the collected image is changed to generate a design of a new floral dress. can do.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 디자인을 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다.In addition, as another embodiment of generating a new design element, there is a method of generating a new design for a specific item by synthesizing different elements of the design elements. Specifically, a new design can be created by merging different elements of each trendy design element. For example, referring to FIG. 2E, a design that is an ultra violet indexed long dress with puff sleeves may be created by combining the “puff sleeves” of knits, the “ultra violet color” of shirts, and the “long dress” among design elements. Can be. It may also be automatically merged randomly for these different elements, or may be merged according to input values (for design elements to be merged).
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 무작위로 변경, 합성하여 새로운 디자인 요소를 생성하는 방법이 있다.In addition, as another embodiment of generating a new design element, there is a method for generating a new design element by randomly changing and synthesizing the design elements.
예를 들어, 도 2f를 참조하면, 꽃 사진에서 꽃에 대한 패턴을 추출하고, 노을이 지는 사진에서 노을 색 및 무드를 추출하여, 꽃 무늬가 들어가 노을 색인 패턴이 생성될 수 있다.For example, referring to FIG. 2F, a pattern for a flower is extracted from a flower picture, a glow color and a mood are extracted from a picture of a sunset, and a glow index pattern is generated by entering a flower pattern.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.In addition, the generated design or design element may be reflected when training the design generation model again to train the design generation model, and the newly learned design generation model may be used again when generating a new design or design element. .
이어서, 디자인 생성 장치(200)는 생성된 새로운 디자인들 또는 디자인 요소들을 일정한 기준에 따라 평가한다. 이 때, 디자인 생성 장치(200)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소를 순위화할 수 있다. 새로운 디자인들 또는 디자인 요소를 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 동일한 디자인 또는 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인 또는 디자인 요소에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인 또는 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 새로운 디자인 요소를 순위화한다.Subsequently, the
또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.In addition, the design generation model can be trained using information ranked on new designs or new design elements.
도 2a는 본 발명의 일 실시예에 따른 디자인 생성 장치(200)의 구성도이다.2A is a block diagram of a
디자인 생성 장치(200)는 입력부(201), 파싱부(202), 추출부(203), 저장부(204), 상위 디자인 추출부(206), 학습부(207), 디자인 생성부(208), 표시부(210), 전송부(212)를 포함한다.The
입력부(201)를 통하여 텍스트나 레이블을 수신하여 벡터값의 변경에 반영할 수 있다.The text or label may be received through the
파싱부(202)는 네트워크를 통하여 외부의 웹사이트, 블로그, 또는 SNS 서버로부터 또는 저장부(204)로부터 실시간으로 이미지 및 해당 이미지에 관련된 텍스트 데이터를 파싱한다. 또한, 특정 웹사이트 서버 또는 디자인 생성 장치 자체로부터 특정 이미지와 관련된 판매량 데이터, 판매액 데이터를 파싱한다. 또한, 해당 이미지에 관련된 텍스트는 예를 들어, 쇼핑몰에서 티셔츠를 판매하는 경우 해당 이미지의 카테고리나 상품명에 기재되어 있는 '티셔츠', '티' 또는 '상의' 등의 텍스트일 수 있다.The parser 202 parses an image and text data related to the image in real time from an external website, blog, or SNS server or from the
추출부(203)는 파싱한 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 파싱한 이미지 및 텍스트 데이터 이외에도, 아이템 추출 모델(objection detection)을 이용한다. 예를 들어, 아이템에는 신발, 가방, 원피스, 넥타이, 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함될 수 있는데, 이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다.The
또한, 추출부(203)는 추출된 아이템 각각에 대한 디자인의 요소를 추출한다. 디자인의 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 추출부(203)는 하나의 이미지에서 복수의 아이템을 추출할 수 있다. 예를 들어, 도 2c를 참조하면, 이미지에 고양이를 안고 선글라스를 쓰고 있고, 핫팬츠와 검은 색 티셔츠를 입고, 쪼리를 신은 여자가 있으면, 추출되는 아이템은 선글라스, 핫팬츠, 티셔츠, 신발(쪼리)이다. 여기서 고양이는 아이템으로 추출되지 않는다.In addition, the
또한, 추출부(203)는 추출된 아이템 각각에 대한 디자인의 요소를 추출한다. 디자인의 요소는 색상, 소매 길이, 핏, 패턴, 프린트, 재질 등 아이템을 구성하는 모든 외적 요소를 포함한다. 예를 들어, 도 2b를 참조하면, 꽃 형상의 프린트가 전체적으로 들어간 민소매이고 무릎길이의 흰색의 플레어 원피스의 디자인 요소는, 꽃 형상의 프린트, 민소매, 흰색, 무릎길이, 플레어 원피스라는 요소를 포함한다.In addition, the
또한, 추출부(203)는 아이템 각각에 대한 디자인의 요소뿐만 아니라, 수집된 이미지 중 아이템이 추출되지 않은 이미지에서의 전체적인 무드, 형상, 색상 등의 요소를 이용하여 디자인 요소, 예를 들어, 패턴, 색상, 형상 등을 추출할 수도 있다.In addition, the
저장부(204)는 아이템 추출 모델을 저장한다. 아이템 추출 모델은 해당 이미지에서의 벡터값이 어떤 아이템에 해당하는지를 판단할 수 있다. 또한, 저장부(204)는 추출되는 아이템을 카테고리화하여 저장한다. 또한 저장부(204)는 상위 디자인 추출부(206)에서 추출된 아이템 별 상위 디자인을 카테고리화하여 저장한다.The
상위 디자인 추출부(206)는 추출된 디자인들 중에서 상위 디자인 또는 디자인 요소가 무엇인지를 판단한다. 구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수가 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 예를 들어, 도 2b를 참조하면, 추출된 디자인들에서의 디자인 요소가 “흰 색”, “민소매”, “꽃무늬” 및 “플레어 원피스”이면 각각의 요소가 상위 디자인일 수 있다. 또한, 상위 디자인 또는 디자인 요소를 판단할 때에 셀럽 등 유명인이 착용했는지 여부를 판단함으로써 이러한 디자인 또는 디자인 요소에 대해서는 미리 결정된 가중치를 주어 판단할 수 있다.The upper
학습부(207)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다. 또한, 학습부(207)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행하여 그 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다.The
디자인 생성부(208)는 학습부에서 실시간으로 학습되는 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다. 디자인 생성부(208)에서 새로운 디자인을 생성하는 데에는 카테고리 특화가 가능하고 랜덤 생성이 가능한 GAN(generative adversarial networks), 특정 디자인의 랜덤 변형이 가능한 VAE+GAN, genetic algorithm + GAN, 디자인 변경을 위한 conditional GAN, 및 style transfer 기술이 이용될 수 있다.The
구체적으로, 디자인 생성부(208)는 새로운 디자인 또는 디자인 요소를 생성하기 위하여 다음과 같은 예시적 방법을 이용한다.Specifically, the
디자인을 생성하는 일 실시예로서, 유행하는 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 자동으로 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다.As an example of generating a design, there is a method of generating a new design element by changing a vector value of a trendy design element. The change of the vector value can be entered as a set value and can be made automatically by the trained design generation model. Specifically, for example, referring to FIG. 2D, if the floral dress is fashionable, the vector value of existing floral patterns in the floral dress extracted from the collected image is changed to generate a design of a new floral dress. can do.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다.In addition, as another embodiment of generating a new design element, there is a method of generating a new design for a specific item by synthesizing different elements of the design elements. Specifically, new elements can be created by merging different elements of each popular design element. For example, referring to FIG. 2E, a design that is an ultra violet indexed long dress with a puff sleeve by combining “puff sleeve” of a knit, “ultra violet color” and “long dress” of a trendy design element Can be generated. It may also be automatically merged randomly for these different elements, or may be merged according to input values (for design elements to be merged).
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 기초로 디자인 생성 모델을 이용하여 새로운 디자인 요소를 생성하는 방법이 있다.Also, as another embodiment of generating a new design element, there is a method of generating a new design element using a design generation model based on the design elements.
예를 들어, 도 2f를 참조하면, 꽃 사진에서 꽃에 대한 패턴을 추출하고, 노을이 지는 사진에서 노을 색 및 무드를 추출하여, 새로운 패턴이 생성될 수 있다.For example, referring to FIG. 2F, a new pattern may be generated by extracting a pattern for a flower from a flower picture, and extracting a glow color and a mood from a sunset picture.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다. 또한, 이러한 학습된 디자인 생성 모델은 그 입력값과 출력값의 종류에 따라 각각 개별적인 모델을 포함할 수 있다.In addition, the generated design or design element may be reflected when training the design generation model again to train the design generation model, and the newly learned design generation model may be used again when generating a new design or design element. . In addition, the trained design generation model may include individual models according to types of input and output values.
이어서, 디자인 생성부(208)는 생성된 새로운 디자인들 또는 디자인 요소들을 일정한 기준에 따라 평가한다. 구체적으로 디자인 생성부(208)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소들을 순위화한다.Subsequently, the
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한, 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.The ranking of new designs or design elements generally includes the frequency of exposure of a particular design or design element on an image that is exposed to an SNS or website, the sales and sales of an item containing the particular design or design element, the specific website or It may be determined based on a preference for the corresponding image exposed on the Internet such as SNS (all data for estimating the preference for the corresponding image such as the number of clicks, the number of feedbacks, and the number of shares). In addition, when determining or ranking impressions, weights are placed on designs or design elements exposed in celebrities or celebrities' social media or images, and on designs sold by specific brands or websites If the preference, sales volume, or sales value is higher, weights may be assigned to elements of the design (hereinafter, “weighted determination”). The
표시부(210)는 디자인 생성부(208)에서 생성된 디자인을 표시할 수 있다.The
전송부(212)는 생성된 디자인에 대해서 제조를 진행하고자 하는 경우에, 제조하고자 하는 디자인과 제조 수량을 공장 쪽으로 전송할 수 있다.When the
도 3은 본 발명의 일 실시예에 따른 추출부(203)의 구성도이다.3 is a configuration diagram of the
추출부(203)는 아이템 추출부(300), 디자인 추출부(302)를 포함한다.The
아이템 추출부(300)는 수신된 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 수신된 이미지 및 텍스트 데이터 이외에도, 저장되어 있는 아이템 추출 모델을 이용한다. 여기서, 아이템에는 신발, 가방, 원피스, 넥타이 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함되며, 이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다. 또한, 수신된 이미지에서 아이템을 추출하는 데에는 이미지와 관련된 텍스트로 참고로 이용될 수 있다. 또한, 아이템 추출부(300)는 하나의 이미지에서 복수의 아이템을 추출할 수 있다. 예를 들어, 도 2c를 참조하면, 이미지에 고양이를 안고 선글라스를 쓰고 있고, 핫팬츠와 검은 색 티셔츠를 입고, 쪼리를 신은 여자가 있으면, 추출되는 아이템은 선글라스, 핫팬츠, 티셔츠, 신발(쪼리)이다. 여기서 고양이는 아이템으로 추출되지 않는다.The
디자인 추출부(302)는 추출된 아이템의 디자인 및 디자인 요소를 추출한다. 또한, 디자인 추출부(302)는 파싱된 이미지, 텍스트 등을 통하여 디자인 요소를 추출할 수도 있다. 디자인 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 디자인 요소는 아이템을 구성하지 않더라도 일반적인 이미지에서의 색상, 무드, 재질, 패턴 등을 포함할 수 있다.The
도 4는 본 발명의 일 실시예에 따른 디자인 생성부(208)의 구성도이다.4 is a block diagram of the
디자인 생성부(208)는 디자인 수신부(400), 디자인 변경부(402), 디자인 합성부(404) 및 평가부(406)를 포함한다.The
디자인 생성부(208)는 학습부에서 실시간으로 학습되는 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다.The
새로운 디자인을 생성하는 데에는 카테고리 특화가 가능하고 랜덤 생성이 가능한 GAN(generative adversarial networks), 특정 디자인의 랜덤 변형이 가능한 VAE+GAN, genetic algorithm + GAN, 디자인 변경을 위한 conditional GAN, 및 style transfer 기술이 이용될 수 있다.Generating new designs includes category-specific and randomly generated generic adversarial networks (GANs), VAE + GANs that enable random transformation of specific designs, genetic algorithms + GANs, conditional GANs for design changes, and style transfer technologies. Can be used.
머신 러닝은 크게 세가지 분류로 나뉘어지는데, 첫 번째는 지도학습(SupervisedLearning), 두 번째는 강화학습(Reinforcement learning)그리고 마지막은 비지도 학습(Unsupervised Learning)이다.Machine learning is divided into three main categories: first, supervised learning, second, reinforcement learning, and last, unsupervised learning.
여기서, GAN은 비지도 학습에 속하며, 이미지를 생성하는 Generator(G)와, Generator에 의하여 생성된 이미지를 평가하는 Discriminator(D)가 서로 대립하여 서로의 성능을 개선시켜 나가는 모델로서 새로운 이미지를 생성한다. 구체적으로, D는 원래의 데이터 만을 참으로 판단하기 위하여 노력하고, G는 D가 거짓으로 판별하지 못하도록 가짜 데이터를 생성하여 두 모델의 성능이 함께 향상되어 최종적으로는 D가 실 데이터와 가짜 데이터를 구분하지 못하게 된다.Here, the GAN belongs to unsupervised learning, and the generator (G) generating the image and the discriminator (D) evaluating the image generated by the generator are opposed to each other to create a new image as a model to improve each other's performance. do. Specifically, D tries to judge only the original data as true, and G generates fake data so that D cannot be false, so that the performance of both models is improved together. You won't be able to tell.
또한, cGAN은 랜덤하게 Generation 하는 것이 아닌 원하는 것을 generation할 수 있는 것이 기존의 GAN과 다른 점이다.In addition, cGAN is different from conventional GAN in that it can generate what is desired, rather than randomly generating.
디자인 수신부(400)는 새로운 디자인을 생성하기 위하여 요소들을 다 수신한다. 예를 들어, 디자인 생성 모델, 디자인 요소들을 수신할 수 있다.The
디자인 변경부(402)는 아이템별 추출된 디자인의 요소를 이용하여 디자인 요소의 벡터값을 변경하여 새로운 디자인을 생성한다. 구체적으로, 꽃무늬 셔츠가 있으면, 수집된 이미지에서 추출된 꽃무늬 셔츠에서의 꽃무늬들의 벡터값을 변경하여 새로운 꽃무늬의 셔츠의 디자인을 생성할 수 있다. 또한, 디자인 변경부(402)는 디자인 생성 모델을 이용하여 아이템에서 추출된 디자인의 요소 및, 아이템이 없는 이미지에서 추출된 디자인의 요소에 대한 벡터값을 변경하여 새로운 디자인의 요소를 생성할 수 있다. 벡터값 변경은 자동으로 이루어질 수도 있고, 설정값을 수신하여 이루어 질 수도 있다.The design change unit 402 generates a new design by changing the vector value of the design element by using the elements of the extracted design for each item. Specifically, if there is a floral shirt, it is possible to create a new floral shirt design by changing the vector value of the floral patterns in the floral shirt extracted from the collected image. In addition, the design change unit 402 may generate a new design element by changing a vector value of the element of the design extracted from the item and the element of the design extracted from the image without the item using the design generation model. . The vector value change may be made automatically or by receiving a set value.
수집된 아이템에서 추출된 디자인 요소를 이용하여 디자인 합성부(404)는 수집된 아이템별 유행 디자인의 요소 중 상이한 요소를 합성하여 해당 아이템의 새로운 디자인을 생성한다. 또한, 디자인 변경부와 디자인 합성부는 혼합해서 사용하여 새로운 디자인을 생성할 수도 있다.Using the design elements extracted from the collected items, the design synthesizing unit 404 synthesizes different elements among the elements of the collected fashionable design for each item to generate a new design of the corresponding item. Also, the design change unit and the design synthesis unit may be mixed to generate a new design.
구체적으로, 도 2e를 참조하면, 각각 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 동일한 아이템의 상이한 요소를 합성할 수도 있다. 예를 들어, 유행하는 디자인의 요소인 블라우스의 “커프스 소매”, 블라우스의 “꽃 모양 카라”, 블라우스의 “민트색”이 병합되어 하나의 블라우스 디자인이 생성될 수 있다.Specifically, referring to FIG. 2E, a design that is an ultra violet indexed long dress is produced by combining a “puff sleeve” of a knit, a “ultra violet color” and a “long dress” of a trendy design element, respectively. Can be. It is also possible to synthesize different elements of the same item. For example, a single blouse design can be created by merging trendy cuffs 'cuffs' sleeves, blouse's 'flower collar' and blouse's 'mint color'.
또한, 디자인 합성부(404)는 아이템에서 추출된 디자인의 요소, 아이템이 포함되어 있지 않은 이미지에서 추출된 디자인의 요소를 합성하여 새로운 디자인 요소를 생성할 수도 있다.In addition, the design synthesizing unit 404 may generate a new design element by synthesizing the elements of the design extracted from the item, the elements of the design extracted from the image does not contain the item.
또한, 디자인 합성부(404)는 아이템에서 추출된 디자인의 요소, 아이템이 포함되어 있지 않은 이미지에서 추출된 디자인의 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성할 수도 있다.Also, the design synthesizing unit 404 may generate a new design for a specific item by synthesizing elements of the design extracted from the item and elements of the design extracted from the image not including the item.
평가부(406)는 디자인 변경부(402) 또는 디자인 합성부(404)에서 새롭게 생성된 디자인 또는 디자인 요소를 일정한 기준으로 평가한다. 구체적으로, 평가부(406)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소들을 순위화할 수 있다.The
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지(새로운 디자인 또는 디자인 요소들과 유사한 디자인 또는 디자인 요소를 포함하고 있음)에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 평가부(406)는 이렇게 생성된 새로운 디자인을 순위화할 수 있다.The ranking of new designs or design elements generally includes the frequency of exposure of a particular design or design element on an image that is exposed to an SNS or website, the sales and sales of an item containing the particular design or design element, the specific website or Any preference for a given image (such as SNS) (including a design or design element that is similar to a new design or design elements) that is exposed on the internet (such as clicks, feedback, shares, etc.) Determination based on the data). In addition, when determining or ranking impressions, weights are placed on designs or design elements exposed in celebrities or celebrities' social media or images, and on designs sold by specific brands or websites If the preference, sales volume, or sales value is higher, weights may be assigned to elements of the design (hereinafter, “weighted determination”). The
예를 들어, 생성된 디자인이 버건디 컬러의 숏 가디건이라고 하면, 상품마다 버건디 컬러도 다양하게 표현될 수가 있다. 즉, 동일한 버건디 컬러지만 조금씩 다른 톤의 버건디 컬러가 추출될 수 있다. 따라서, 다양한 종류의 버건디 숏 가디건에서, 버건디 컬러의 선택을 위하여, 동일한 버건디 컬러라도 더 선호되는 컬러를 추출하여 최종 버건디 컬러의 숏 가디건을 도출할 수 있다. 여기서, 동일한 버건디 컬러지만 더 선호되는 컬러를 추출하기 위하여, 선호도가 높은 특정 브랜드에서 사용하는 컬러인지, 노출도가 높은 이미지에서 사용되는 컬러인지 여부 등 컬러들 간의 선호도를 판단할 수 있는 요소를 기초로 판단할 수 있다.For example, if the generated design is a short cardigan of burgundy color, a variety of burgundy colors can be expressed for each product. That is, burgundy colors of the same burgundy color but slightly different tones can be extracted. Accordingly, in various types of burgundy short cardigans, for the selection of burgundy colors, even the same burgundy color may be extracted to derive the short cardigan of the final burgundy color. Here, in order to extract a more preferred color of the same burgundy color, it is based on an element that can determine the preference between colors such as a color used by a specific brand with high preference or a color used in a high exposure image. Judging by
도 5는 본 발명의 일 실시예에 따른 유행 디자인 추출 방법의 순서도이다.5 is a flowchart of a fashion design extraction method according to an embodiment of the present invention.
파싱부(202)를 통하여 수신된 웹사이트, SNS, 블로그에서 실시간으로 노출되는 이미지 및 해당 이미지에 관련된 텍스트, 텍스트를 파싱한다(S500). 또한, 파싱부(202)는 디자인 생성 장치 내에 저장되어 있는 이미지, 이미지에 관련된 텍스트, 텍스트를 파싱한다.The image is exposed in real time from the website, SNS, blog received through the parser 202, and the text and text related to the image are parsed (S500). In addition, the parser 202 parses an image stored in the design generating device, text related to the image, and text.
아이템 추출부(300)는 수집된 이미지 및 텍스트를 기초로 아이템을 추출한다(S502).The
구체적으로, 아이템 추출부(300)는 파싱된 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 파싱된 이미지 및 텍스트 데이터 이외에도, 저장되어 있는 아이템 추출 모델을 이용한다. 여기서, 아이템에는 신발, 가방, 원피스, 넥타이 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함되며, 이미지에서 셔츠로 인식되는 벡터값이 있으면 해당 이미지 중 '셔츠' 부분을 인식하여 셔츠 아이템을 추출할 수 있다. 또한, 수신된 이미지에서 아이템을 추출하는 데에는 이미지와 관련된 텍스트로 참고로 이용될 수 있다. 또한, 아이템 추출부(300)는 하나의 이미지에서 복수의 아이템을 추출할 수 있다.In detail, the
아이템 추출부(300)에서 아이템을 추출하면 디자인 추출부(302)에서 해당 아이템에서 디자인의 요소를 추출한다(S504). 아이템을 추출함에 있어서는 파싱한 이미지 및 텍스트 데이터 이외에도, 아이템 추출 모델(objection detection)을 이용한다. 예를 들어, 아이템에는 신발, 가방, 원피스, 넥타이, 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함될 수 있는데, 이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다.When the item is extracted by the
구체적으로, 디자인 추출부(302)는 추출된 아이템의 디자인 요소를 추출한다(S504). 디자인 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 디자인 요소는 재질, 무드 등을 포함할 수 있다. 또한, 디자인 추출부(302)는 아이템 각각에 대한 디자인의 요소뿐만 아니라, 수집된 이미지 중 아이템이 추출되지 않은 이미지에서의 전체적인 무드, 형상, 색상 등의 요소를 이용하여 디자인 요소, 예를 들어, 패턴, 색상, 형상 등을 추출할 수도 있다.In detail, the
이어서 상위 디자인 추출부(206)와 디자인 추출부(302)에서 추출된 디자인 또는 디자인 요소 중 상위 디자인을 판단한다(S506).Subsequently, a higher design is determined among the designs or design elements extracted by the
구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수가 기준값 이상인 경우를 기초로 유행하는 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 디자인 또는 디자인 요소가 상위 디자인 또는 디자인 요소인지 판단할 때에 셀럽 등 유명인이 착용했는지 여부를 판단하여, 이러한 디자인 또는 디자인 요소에 대해서는 더욱 가중치를 주어 판단할 수 있다.In detail, a design or design element that is prevalent may be determined based on a case where a frequency of exposure of a specific design or design element is greater than or equal to a reference value on an image exposed to an SNS or a website. In addition, a higher design or design element may be determined based on a case where a sale amount and a sale amount of an item including a specific design or design element are greater than or equal to a reference value in a specific website. In addition, the parent design based on the preference of the image exposed on the Internet such as a specific website or SNS (determined based on all data that can estimate the preference for the image, such as the number of clicks, the number of feedbacks, and the number of shares) Or design elements can be determined. In addition, when determining whether a specific design or design element is a higher design or design element, it is determined whether a celebrity or the like wears the celebrity, and the weight of the design or design element may be determined.
이어서, 인공지능을 이용하여 새로운 디자인 또는 디자인 요소를 생성하는 디자인 생성 모델을 학습시킨다(S508).Subsequently, a design generation model for generating a new design or design element using artificial intelligence is trained (S508).
학습부(207)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다. 또한, 학습부(207)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행한 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다.The
이어서, 학습된 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다(S510).Subsequently, a new design is generated using the trained design generation model (S510).
구체적으로, 디자인 생성부(208)는 새로운 디자인 또는 디자인 요소를 생성하기 위하여 다음과 같은 예시적 방법을 이용한다.Specifically, the
디자인을 생성하는 일 실시예로서, 유행하는 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다.As an example of generating a design, there is a method of generating a new design element by changing a vector value of a trendy design element. The change of the vector value may be input as a set value and may be made by a trained design generation model. Specifically, for example, referring to FIG. 2D, if the floral dress is fashionable, the vector value of existing floral patterns in the floral dress extracted from the collected image is changed to generate a design of a new floral dress. can do.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다.In addition, as another embodiment of generating a new design element, there is a method of generating a new design for a specific item by synthesizing different elements of the design elements. Specifically, new elements can be created by merging different elements of each popular design element. For example, referring to FIG. 2E, a design that is an ultra violet indexed long dress with a puff sleeve by combining “puff sleeve” of a knit, “ultra violet color” and “long dress” of a trendy design element Can be generated. It may also be automatically merged randomly for these different elements, or may be merged according to input values (for design elements to be merged).
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 무작위로 변경, 합성하여 새로운 디자인 요소를 생성하는 방법이 있다.In addition, as another embodiment of generating a new design element, there is a method for generating a new design element by randomly changing and synthesizing the design elements.
예를 들어, 도 2f를 참조하면, 꽃 사진에서 꽃에 대한 패턴을 추출하고, 노을이 지는 사진에서 노을 색 및 무드를 추출하여, 꽃 무늬가 들어가 노을 색인 패턴이 생성될 수 있다.For example, referring to FIG. 2F, a pattern for a flower is extracted from a flower picture, a glow color and a mood are extracted from a picture of a sunset, and a glow index pattern is generated by entering a flower pattern.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.In addition, the generated design or design element may be reflected when training the design generation model again to train the design generation model, and the newly learned design generation model may be used again when generating a new design or design element. .
도시되어 있지는 않지만, 디자인 생성부는 디자인을 생성한 후 생성된 디자인을 평가하여 순위화한다. 구체적으로 디자인 생성부(208)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소들을 순위화한다.Although not shown, the design generation unit evaluates and ranks the generated designs after generating the designs. In detail, the
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인을 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.In order to rank new designs or design elements, the frequency of exposure of a particular design on an image exposed to an SNS or a website is generally displayed, the sales and sales of items containing the particular design, and the like, which are exposed on the Internet such as a specific website or SNS. It may be determined based on the preference for the image (all data for estimating the preference for the image, such as the number of clicks, the number of feedbacks, and the number of shares). In addition, when determining or ranking impressions, weights are placed on designs or design elements exposed in celebrities or celebrities' social media or images, and on designs sold by specific brands or websites If the preference, sales volume, or sales value is higher, weights may be assigned to elements of the design (hereinafter, “weighted determination”). The
도 6은 본 발명의 일 실시예에 따른 디자인 변경 방법의 순서도이다.6 is a flowchart of a design change method according to an embodiment of the present invention.
이어서 디자인 변경부(402)는 학습된 디자인 생성 모델을 이용하여 디자인 요소의 벡터값을 변경하여 새로운 디자인 또는 디자인 요소를 생성한다(S602). 벡터값은 입력부를 통하여 수신된 설정값에 의하여 변경될 수도 있고, 자동으로 변경될 수도 있다.Subsequently, the design change unit 402 generates a new design or design element by changing the vector value of the design element using the learned design generation model (S602). The vector value may be changed by a setting value received through the input unit or may be automatically changed.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.In addition, the generated design or design element may be reflected when training the design generation model again to train the design generation model, and the newly learned design generation model may be used again when generating a new design or design element. .
생성된 디자인 또는 디자인의 요소는 평가되어 순위화된다(S604).The generated design or elements of the design are evaluated and ranked (S604).
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.In order to rank new designs or design elements, the frequency of exposure of a particular design on an image that is typically exposed to an SNS or website, the sales and sales of items that contain a particular design or design element, the Internet such as a particular website or SNS, etc. It may be determined based on the preference for the corresponding image exposed in the image (all data for estimating the preference for the corresponding image such as the number of clicks, the number of feedbacks, and the number of shares). In addition, when determining or ranking impressions, weights are placed on designs or design elements exposed in celebrities or celebrities' social media or images, and on designs sold by specific brands or websites If the preference, sales volume, or sales value is higher, weights may be assigned to elements of the design (hereinafter, “weighted determination”). The
도 7a는 본 발명의 일 실시예에 따른 디자인 생성 방법의 순서도이다.7A is a flowchart of a design generation method according to an embodiment of the present invention.
디자인 생성 모델을 이용하여 디자인 합성부(404)는 수집된 아이템별 유행 디자인의 요소 중 상이한 요소를 이용하여 새로운 디자인을 생성한다(S702).Using the design generation model, the design synthesizing unit 404 generates a new design by using different elements among the elements of the collected fashionable design for each item (S702).
생성된 새로운 디자인은 특정 아이템에 대한 디자인으로 한정될 수 있다. 다만, 상이한 요소가 추출된 아이템은 상이한 아이템일 수도 있다.The new design created can be limited to the design for a particular item. However, the item from which the different elements are extracted may be different items.
생성된 디자인은 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.The generated design may be reflected when the design generation model is trained again, and the design generation model may be trained, and the newly trained design generation model may be used again when generating a new design or design element.
생성된 디자인은 평가되어 순위화된다(S704).The generated designs are evaluated and ranked (S704).
새로운 디자인들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인을 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인에 대해서는 가중치를 주고, 생성된 디자인에 포함된 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인 요소에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인을 순위화할 수 있다. 또한 이렇게, 새로운 디자인에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.In order to rank new designs, the frequency of exposure of a particular design on an image that is typically exposed to an SNS or a website, the sales and sales of items that contain a particular design, or the corresponding image that is exposed on the Internet such as a specific website or SNS It may be determined based on the preference (all data for estimating the preference for the image, such as the number of clicks, the number of feedbacks, and the number of shares). Also, in determining the frequency of impressions or in ranking, weights are given to designs exposed in celebrities or celebrities' social media or images, and are sold by specific brands or websites If a preference, sales volume, or sales value for a design element is higher, weights may be assigned to the elements of the design (hereinafter, “weighted determination”). The
도 7b는 본 발명의 일 실시예에 따른 디자인 생성 방법의 순서도이다7B is a flowchart of a design generation method according to an embodiment of the present invention.
디자인 생성 모델을 이용하여 새로운 디자인 요소를 생성한다(S706).A new design element is generated using the design generation model (S706).
특정 아이템에 대한 디자인 요소뿐만 아니라, 아이템이 추출되지 않는 이미지 기반으로 추출되는 디자인 요소를 이용하여 새로운 디자인의 요소를 생성한다(S706). 새로운 디자인 요소로는 패턴, 색상, 핏 등이 포함될 수 있다.In addition to the design elements for the specific item, a new design element is generated using the design elements extracted based on the image in which the items are not extracted (S706). New design elements can include patterns, colors, and fits.
생성된 디자인 요소에 대한 평가를 하여 순위화한다(S708).The generated design elements are evaluated and ranked (S708).
새로운 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 요소에 대해서는 가중치를 주고, 동일하게 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.In order to rank new design elements, the frequency of exposure of a particular design on an image that is typically exposed to an SNS or website, the sales and sales of items that contain a particular design element, or the corresponding image that is exposed on the Internet such as a specific website or SNS It can be determined based on the preference for (all data that can estimate the preference for the image, such as the number of clicks, feedback, share). Also, in determining the frequency of impressions or in rankings, weight design elements that are exposed in celebrities or celebrities' SNSs or images, and equally apply those designs that are sold by a particular brand or website If preference, sales volume, or sales are higher, weights can be given to the elements of the design (hereinafter, “weighted determination”). The
도 8을 참조하면 디자인 변경부(402)를 통하여 생성된 새로운 디자인이 도시되어 있다. 다양한 프린트가 그려져 있는 셔츠가 유행인 경우 기존의 프린트 요소를 변경하여 새로운 프린트가 그려진 셔츠가 디자인된다.Referring to FIG. 8, a new design generated through the design change unit 402 is illustrated. If a shirt with various prints is fashionable, the shirt with a new print is designed by changing the existing print elements.
도 9를 참조하면, 상이한 디자인 요소를 합성하여 새로운 디자인이 생성된 예가 도시된다.Referring to FIG. 9, an example is shown in which a new design is created by synthesizing different design elements.
도 10은 본 발명의 일 실시예에 따른 방법이 실행되는 프로그램이 저장되는 하드웨어의 구성을 나타내는 도면이다.10 is a diagram illustrating a configuration of hardware in which a program for executing a method according to an embodiment of the present invention is stored.
해당 서버(1001)는 본 발명의 일 실시예에 따른 디자인 생성 장치에 해당한다.The
서버(1001)는 메모리(1000), 프로세서(1002), 입력부(1004), 표시부(1006) 및 통신부(1008)를 포함한다.The
메모리(1000)는 저장부(204)에 해당하는 것으로서, 아이템 추출 모델을 저장한다. 아이템 추출 모델은 해당 이미지에서의 벡터값이 어떤 아이템에 해당하는지를 판단할 수 있다.The
또한, 메모리(1000)는 추출되는 아이템을 카테고리화하여 저장한다. 또한, 메모리(1000)는 유행 디자인 추출부(206)에서 추출된 아이템 별 디자인 요소를 카테고리화하여 저장한다. 또한, 메모리(1000)는 생성된 새로운 디자인을 순위화하는 모델을 저장할 수 있다.In addition, the
프로세서(1002)는 수집된 이미지와 텍스트를 이용하여 새로운 디자인을 생성한다. 디자인 생성 장치의 추출부(203) 및 디자인 생성부(208)에 해당한다.The
프로세서(1002)는 수집된 이미지와 텍스트를 이용하여, 메모리(1000)에 저장되어 있는 아이템 추출 모델을 이용하여, 이미지 및 텍스트를 이용하여 아이템을 추출한 후, 각 아이템 마다의 디자인 또는 디자인 요소를 추출한다. 또는, 프로세서(1002)는 아이템을 추출하지 않아도, 아이템이 추출되지 않는 이미지 및 텍스트를 이용하여 디자인 및 디자인 요소를 추출할 수 있다.The
또한, 프로세서(1002)는 추출된 디자인 또는 디자인 요소로부터 상위 디자인 또는 상위 디자인 요소를 추출한다. 구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수가 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 디자인 또는 디자인 요소가 상위 디자인 또는 디자인 요소인지 여부를 판단할 때에 셀럽 등 유명인이 착용했는지 여부를 판단함으로써 이러한 디자인에 대해서는 더욱 가중치를 주어 판단할 수 있다.Further, the
또한, 프로세서(1002)는 디자인 생성 모델을 학습시킨다.The
프로세서(1002)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다.The
또한, 프로세서(1002)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행하여 그 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다.In addition, the
이어서, 프로세서(1002)는 상위 디자인들 및 디자인 생성 모델을 이용하여, 새로운 디자인을 생성한다.
디자인을 생성하는 일 실시예로서, 유행하는 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다.As an example of generating a design, there is a method of generating a new design element by changing a vector value of a trendy design element. The change of the vector value may be input as a set value and may be made by a trained design generation model. Specifically, for example, referring to FIG. 2D, if the floral dress is fashionable, the vector value of existing floral patterns in the floral dress extracted from the collected image is changed to generate a design of a new floral dress. can do.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다.In addition, as another embodiment of generating a new design element, there is a method of generating a new design for a specific item by synthesizing different elements of the design elements. Specifically, new elements can be created by merging different elements of each popular design element. For example, referring to FIG. 2E, a design that is an ultra violet indexed long dress with a puff sleeve by combining “puff sleeve” of a knit, “ultra violet color” and “long dress” of a trendy design element Can be generated. It may also be automatically merged randomly for these different elements, or may be merged according to input values (for design elements to be merged).
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 무작위로 변경, 합성하여 새로운 디자인 요소를 생성하는 방법이 있다.In addition, as another embodiment of generating a new design element, there is a method for generating a new design element by randomly changing and synthesizing the design elements.
또한, 프로세서(1002)는 생성된 디자인 또는 디자인 요소를 평가하여 순위화한다. 새로운 디자인들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인을 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화하여 일정 순위 이상의 디자인만을 최종 결과 디자인으로 도출한다.In addition, the
이렇게 순위화된 결과는 디자인 생성 모델을 학습시킬 때 반영된다.These ranked results are reflected when training the design generation model.
표시부(1006)는 생성된 디자인을 표시할 수 있다.The
통신부(1008)는 이미지 데이터 또는 텍스트 데이터를 수신하거나, 생성된 디자인에 대해서 제조를 진행하고자 하는 경우에, 제조하고자 하는 디자인과 제조 수량을 공장 쪽으로 전송할 수 있다.The
또한 다양한 실시 예들에 따른 장치 또는 시스템은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 그리고 본 문서에 개시된 실시 예는 개시된 기술 내용의 설명 및 이해를 위해 제시된 것이며 본 발명의 범위를 한정하는 것은 아니다. 따라서 본 문서의 범위는 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.Also, an apparatus or system according to various embodiments may include at least one or more of the above components, some of them may be omitted, or further include other components. In addition, the embodiments disclosed in the present specification are presented for the purpose of explanation and understanding of the disclosed technical contents, and do not limit the scope of the present invention. Therefore, the scope of the present document should be construed as including all changes or various other embodiments based on the technical spirit of the present invention.
Claims (5)
파싱된 상기 이미지 데이터 및 텍스트 데이터를 기초로 인공지능을 이용하여 디자인 생성 모델을 학습시키는 학습부; 및
상기 학습부에서 학습된 디자인 생성 모델을 이용하여 특정 아이템의 새로운 디자인 또는, 디자인 요소를 생성하는 디자인 생성부;를 포함하며,
상기 학습부 및 디자인 생성부는 GAN, VAE+GAN, GA+GAN, cGAN 및 style transfer 중 적어도 하나를 이용하여 디자인 생성 모델의 학습, 및 디자인 또는 디자인 요소의 생성을 수행하며,
상기 디자인 생성부는 수신된 벡터값을 입력으로 반영하여 상기 특정 아이템의 새로운 디자인 또는 디자인 요소의 생성에 반영하는 디자인 변경부를 포함하는 디자인 생성 장치.A parsing unit for parsing image data and text data;
A learning unit learning a design generation model using artificial intelligence based on the parsed image data and text data; And
And a design generation unit for generating a new design or a design element of a specific item using the design generation model learned in the learning unit.
The learning unit and the design generation unit perform a learning of a design generation model and generation of a design or a design element using at least one of GAN, VAE + GAN, GA + GAN, cGAN, and style transfer
The design generating unit includes a design change unit for reflecting the received vector value as an input to the generation of a new design or design element of the specific item.
상기 디자인 생성부는 실시간으로 학습되는 상기 디자인 생성 모델을 이용하여 실시간으로 새로운 디자인을 생성하는 디자인 합성부를 더 포함하는 디자인 생성 장치.The method according to claim 1,
The design generating unit further comprises a design synthesis unit for generating a new design in real time using the design generation model that is learned in real time.
상기 생성된 특정 아이템의 새로운 디자인, 또는 새로운 디자인의 요소를 웹사이트, 블로그 및 SNS 중 적어도 하나에 노출되는 빈도수, 판매량, 선호도 및 미리 설정된 가중치를 기초로 평가하는 평가부를 더 포함하는 디자인 생성 장치.The method according to claim 1,
And an evaluator configured to evaluate the generated new design or element of the new design on at least one of a website, a blog, and an SNS based on a frequency, a sales amount, a preference, and a preset weight.
상기 평가부의 평가 결과가 상기 학습부에서 디자인 생성 모델을 학습시킬 때 반영되는 디자인 생성 장치.The method according to claim 3,
Design generation device that is reflected when the evaluation result of the evaluation unit to train the design generation model in the learning unit.
상기 디자인 생성부는 상기 특정 아이템의 디자인 또는 디자인 요소를 포함하지 않는 이미지 및 텍스트 데이터에 기초하여 상기 특정 아이템의 디자인 또는 디자인 요소를 생성하는 디자인 생성 장치.The method according to claim 1,
And the design generating unit generates a design or design element of the specific item based on image and text data that does not include the design or design element of the specific item.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190142833A KR102211400B1 (en) | 2019-11-08 | 2019-11-08 | Apparatus and method for generating designs based on image and text |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190142833A KR102211400B1 (en) | 2019-11-08 | 2019-11-08 | Apparatus and method for generating designs based on image and text |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180017229A Division KR102045017B1 (en) | 2018-02-12 | 2018-02-12 | apparatus and method for generating designs based on images and text |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190128143A true KR20190128143A (en) | 2019-11-15 |
KR102211400B1 KR102211400B1 (en) | 2021-02-03 |
Family
ID=68578648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190142833A KR102211400B1 (en) | 2019-11-08 | 2019-11-08 | Apparatus and method for generating designs based on image and text |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102211400B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210147507A (en) * | 2020-05-29 | 2021-12-07 | 네이버 주식회사 | Image generation system and image generation method using the system |
KR20220083373A (en) * | 2020-12-11 | 2022-06-20 | 동의대학교 산학협력단 | Fashion goods design and advertisement generation system and method according to fashion trends and advertisement feedback |
KR20220095041A (en) | 2020-12-29 | 2022-07-06 | 주식회사 디자이노블 | Method for generating design based on learned condition and apparatus thereof |
KR20220095043A (en) | 2020-12-29 | 2022-07-06 | 주식회사 디자이노블 | Method for matching text and design and apparatus thereof |
KR20230017638A (en) | 2021-07-28 | 2023-02-06 | 주식회사 디자이노블 | Method for generating shoes design based on learned condition and apparatus thereof |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100511210B1 (en) * | 2004-12-27 | 2005-08-30 | 주식회사지앤지커머스 | Method for converting 2d image into pseudo 3d image and user-adapted total coordination method in use artificial intelligence, and service besiness method thereof |
KR20140056085A (en) * | 2012-10-30 | 2014-05-09 | 이화여자대학교 산학협력단 | Simulation system and method for developing clothes design |
-
2019
- 2019-11-08 KR KR1020190142833A patent/KR102211400B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100511210B1 (en) * | 2004-12-27 | 2005-08-30 | 주식회사지앤지커머스 | Method for converting 2d image into pseudo 3d image and user-adapted total coordination method in use artificial intelligence, and service besiness method thereof |
KR20140056085A (en) * | 2012-10-30 | 2014-05-09 | 이화여자대학교 산학협력단 | Simulation system and method for developing clothes design |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210147507A (en) * | 2020-05-29 | 2021-12-07 | 네이버 주식회사 | Image generation system and image generation method using the system |
KR20220083373A (en) * | 2020-12-11 | 2022-06-20 | 동의대학교 산학협력단 | Fashion goods design and advertisement generation system and method according to fashion trends and advertisement feedback |
KR20220162684A (en) | 2020-12-29 | 2022-12-08 | 주식회사 디자이노블 | Design generating device for providing resolution conversion of designed image |
KR20220095043A (en) | 2020-12-29 | 2022-07-06 | 주식회사 디자이노블 | Method for matching text and design and apparatus thereof |
KR20220151143A (en) | 2020-12-29 | 2022-11-14 | 주식회사 디자이노블 | Design matching method and device reflecting design trend information |
KR20220151142A (en) | 2020-12-29 | 2022-11-14 | 주식회사 디자이노블 | Method for generating design usiing ai and apparatus thereof |
KR20220095041A (en) | 2020-12-29 | 2022-07-06 | 주식회사 디자이노블 | Method for generating design based on learned condition and apparatus thereof |
KR20220164462A (en) | 2020-12-29 | 2022-12-13 | 주식회사 디자이노블 | System for matching text and design |
KR20220164461A (en) | 2020-12-29 | 2022-12-13 | 주식회사 디자이노블 | System for generating design based on learned condition |
KR20220165230A (en) | 2020-12-29 | 2022-12-14 | 주식회사 디자이노블 | Design generating device using learning pairs of text and image |
KR20230005078A (en) | 2020-12-29 | 2023-01-09 | 주식회사 디자이노블 | Design generating device using learning pairs of text and image based on trend word |
KR20230005077A (en) | 2020-12-29 | 2023-01-09 | 주식회사 디자이노블 | Method for matching text and design using trend word and apparatus thereof |
EP4273779A4 (en) * | 2020-12-29 | 2024-04-17 | Designovel | Method for matching text to design and device therefor |
KR20230017638A (en) | 2021-07-28 | 2023-02-06 | 주식회사 디자이노블 | Method for generating shoes design based on learned condition and apparatus thereof |
Also Published As
Publication number | Publication date |
---|---|
KR102211400B1 (en) | 2021-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102045017B1 (en) | apparatus and method for generating designs based on images and text | |
KR102211400B1 (en) | Apparatus and method for generating designs based on image and text | |
US10918150B2 (en) | Methods and systems for customized garment and outfit design generation | |
US20180308149A1 (en) | Systems and methods to curate, suggest and maintain a wardrobe | |
CN104978762B (en) | Clothes threedimensional model generation method and system | |
KR102223444B1 (en) | Service system for providing integrated personal clothing coordination | |
CN105426462A (en) | Image searching method and device based on image element | |
US11783408B2 (en) | Computer vision based methods and systems of universal fashion ontology fashion rating and recommendation | |
JP6511204B1 (en) | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, SERVER DEVICE, PROGRAM, OR METHOD | |
CN111767817B (en) | Dress collocation method and device, electronic equipment and storage medium | |
US11727463B2 (en) | Systems and methods of image-based neural network apparel recommendation | |
KR20210123797A (en) | Method And Apparatus for Recommending Clothing by Using Body Shape Information | |
CN108109049A (en) | Clothing matching Forecasting Methodology, device, computer equipment and storage medium | |
Gong et al. | Aesthetics, personalization and recommendation: A survey on deep learning in fashion | |
CN114881746A (en) | Virtual article recommendation method and device, electronic equipment and storage medium | |
JP2018106593A (en) | Coordination system, coordination device, and program | |
WO2020079235A1 (en) | Method and apparatus for accessing clothing | |
Podlasov et al. | Japanese street fashion for young people: A multimodal digital humanities approach for identifying sociocultural patterns and trends | |
KR20200122178A (en) | apparatus and method for generating movie contents components designs based on images and text | |
KR20200122179A (en) | apparatus and method for generating interior designs based on images and text | |
KR20200122177A (en) | apparatus and method for generating game contents components designs based on images and text | |
KR20220044715A (en) | Method, apparatus and computer program for fashion item recommendation | |
Nayak et al. | Fine-grained fashion clothing image classification and recommendation | |
Shimizu et al. | Partial visual-semantic embedding: Fine-grained outfit image representation with massive volumes of tags via angular-based contrastive learning | |
NL2022937B1 (en) | Method and Apparatus for Accessing Clothing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |