KR20200122178A - apparatus and method for generating movie contents components designs based on images and text - Google Patents
apparatus and method for generating movie contents components designs based on images and text Download PDFInfo
- Publication number
- KR20200122178A KR20200122178A KR1020190045108A KR20190045108A KR20200122178A KR 20200122178 A KR20200122178 A KR 20200122178A KR 1020190045108 A KR1020190045108 A KR 1020190045108A KR 20190045108 A KR20190045108 A KR 20190045108A KR 20200122178 A KR20200122178 A KR 20200122178A
- Authority
- KR
- South Korea
- Prior art keywords
- design
- elements
- image
- new
- item
- Prior art date
Links
- 238000013461 design Methods 0.000 title claims abstract description 747
- 238000000034 method Methods 0.000 title description 28
- 238000000605 extraction Methods 0.000 claims description 42
- 238000010801 machine learning Methods 0.000 claims description 3
- 239000000470 constituent Substances 0.000 claims 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 239000000284 extract Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 11
- 230000002194 synthesizing effect Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 8
- 230000036651 mood Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 239000004744 fabric Substances 0.000 description 4
- 230000002068 genetic effect Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 235000006679 Mentha X verticillata Nutrition 0.000 description 1
- 235000002899 Mentha suaveolens Nutrition 0.000 description 1
- 235000001636 Mentha x rotundifolia Nutrition 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- -1 moods Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 이미지 및 텍스트 기반 영화 콘텐츠 구성 요소 디자인 추출 및 디자인 생성 장치 및 방법에 관한 것이다.The present invention relates to an image and text-based movie content component design extraction and design generation apparatus and method.
디자인의 유행의 변화 속도는 매우 빠르다. 특히, 글로벌 스파 브랜드가 생기고, SNS가 더욱 활발해지면서 유행의 변화 속도는 더욱 빨라지고, 유행 아이템은 세계적으로 동일한 디자인으로 수렴하는 경향이 생겼다.The pace of change in design fashion is very fast. In particular, as a global spa brand emerged and social media became more active, the pace of change became faster, and trendy items tended to converge to the same design worldwide.
이에 따라, 빠른 유행 변화 속도와 글로벌한 디자인에 따른 공급을 맞추기 위하여, 디자이너는 반복적 자료 수집, 빠른 디자인 작업 보조가 필요하고, 패션MD는 별도의 최신 트렌드, 신흥 브랜드 정보 수집과 분석이 필요했다. 또한, 디자이너들은 빠르게 변화하는 유행 트렌드를 빠지지 않고 조사하여, 그에 맞는 디자인을 해야 한다. 그러나, 급한 경우에는 7일 내에 디자인 3개를 만들어야 하기도 하는데, 실제로 200-300벌을 그려야 비로소 새로운 디자인 하나를 완성할 수 있었다.Accordingly, in order to keep up with the rapid pace of change in fashion and supply according to global design, designers need to collect repetitive data and assist in design work, and Fashion MD needs to collect and analyze the latest trends and emerging brand information separately. In addition, designers must investigate rapidly changing fashion trends and design accordingly. However, if you are in a hurry, you may have to make three designs within 7 days, but in fact, you have to draw 200-300 to complete a new design.
또한, 패션 MD의 경우에도 트렌트 및 브랜드를 조사하기 위하여 컬렉션을 탐방하고 뉴욕/파리 등 주요 패션 도시들을 가서 오더 리스트와 룩북을 만들어야 하는 등 패션 트렌드를 업데이트하고 새로운 디자인을 생성하는 데에 많은 비용, 노력 시간이 들어 비효율적이였다. Also, in the case of fashion MD, it is expensive to update fashion trends and create new designs, such as browsing collections to research trends and brands, and making order lists and lookbooks to major fashion cities such as New York/Paris. It took time and was inefficient.
또한, 새로운 디자인은 생성하고 화면을 생성하는 데에 현재는 컴퓨터 등의 도구를 이용하기는 하지만 일일이 사람의 수작업이 들어갈 수 밖에 없다. 예를 들어, 게임을 개발하는 데에 있어서, 모바일 게임이나 콘솔 게임 등 게임의 내용도 중요하지만 그에 못지 않게 그래픽이 매우 중요하다. In addition, although tools such as computers are currently used to create new designs and create screens, human manual work is inevitably required. For example, in developing a game, the content of the game, such as a mobile game or a console game, is also important, but the graphics are just as important.
그래픽이 정교하고 선명할수록 게임 유저들의 만족도가 높기 때문이다. 그러나 종래에는 사람들이 일일이 그래픽 작업을 해야 했기 때문에, 시간도 오래 걸리고 인건비도 많이 들었다. This is because the more sophisticated and clear the graphics, the higher the satisfaction of game users. However, in the past, people had to work on graphics one by one, so it took a long time and cost a lot of labor.
마찬가지로, 요즘에는 영화에도 가상 그래픽 기술이 많이 들어간다. 가상 그래픽 기술이 기본적으로 많이 들어가는 공상 SF 영화 뿐만아니라, 일반적인 영화에서도 배경이나 건물 등의 특수효과도 많이 쓰이는 실정이다. 이러한 영화에 필요한 그래픽의 경우에도, 종래에는 컴퓨터 프로그램 등의 도구를 이용하긴 하지만 그러한 도구는 사람의 수작업을 조금 더 편리하게 해주는 기능을 해주는 정도일 뿐, 결국엔 사람이 일일이 작업을 하여 생성해야 했다. Likewise, virtual graphics technology is used a lot in movies these days. In addition to science fiction movies where virtual graphic technology is basically used, special effects such as backgrounds and buildings are often used in general movies. In the case of graphics required for such movies, conventionally, tools such as computer programs are used, but such tools are only a function that makes human manual work a little more convenient, and in the end, people have to work and create them.
본 발명의 일 실시예로서, 본 발명은 이미지 데이터 및 텍스트 데이터를 파싱하는 파싱부; 파싱된 이미지 데이터 및 텍스트 데이터를 기초로 인공지능을 이용하여 디자인 생성 모델을 학습시키는 학습부; 및 상기 학습부에서 학습된 디자인 생성 모델을 이용하여 특정 아이템의 새로운 영화 콘텐츠 디자인 또는, 디자인 요소를 생성하는 디자인 생성부를 포함하는 디자인 생성 장치를 제공하는 것을 특징으로 한다.As an embodiment of the present invention, the present invention includes a parsing unit for parsing image data and text data; A learning unit for learning a design generation model using artificial intelligence based on the parsed image data and text data; And a design generation unit for generating a new movie content design or design element for a specific item by using the design generation model learned by the learning unit.
본 발명의 다양한 실시 예에 따르면, 빠르게 변화하는 디자인의 유행에 따라 시간적으로/비용적으로 더욱 효율적인 수단으로 새로운 디자인이 생성될 수 있다.According to various embodiments of the present disclosure, a new design may be created in a more efficient time/cost manner according to the rapidly changing fashion of the design.
도 1은 본 발명의 일 실시예에 따른 전체 구성도이다.
도 2a는 본 발명의 일 실시예에 따른 디자인 생성 장치의 구성도이다.
도 2b 내지 도 2j는 본 발명의 일 실시예에 따른 디자인 생성 장치의 디자인 생성 과정을 간략하게 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 추출부의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 디자인 생성부의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 디자인 생성 모델을 학습시켜 디자인을 생성하는 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 디자인 변경 방법의 간략한 순서도이다.
도 7a는 본 발명의 일 실시예에 따른 디자인 합성 방법의 간략한 순서도이다.
도 7b는 본 발명의 일 실시예에 따른 디자인 요소 생성의 간략한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 디자인 생성 방법의 사용예이다.
도 9는 본 발명의 일 실시예에 따른 디자인 합성 방법의 사용예이다.
도 10은 본 발명의 일 실시예에 따른 방법이 실행되는 프로그램이 저장되는 하드웨어의 구성을 나타내는 도면이다. 1 is an overall configuration diagram according to an embodiment of the present invention.
2A is a block diagram of an apparatus for generating a design according to an embodiment of the present invention.
2B to 2J are diagrams schematically illustrating a design generation process of the design generation apparatus according to an embodiment of the present invention.
3 is a configuration diagram of an extraction unit according to an embodiment of the present invention.
4 is a block diagram of a design generator according to an embodiment of the present invention.
5 is a flowchart of a method of generating a design by learning a design generation model according to an embodiment of the present invention.
6 is a simplified flowchart of a design change method according to an embodiment of the present invention.
7A is a simplified flowchart of a design synthesis method according to an embodiment of the present invention.
7B is a simplified flowchart of design element creation according to an embodiment of the present invention.
8 is an example of using a design generation method according to an embodiment of the present invention.
9 is an example of using a design synthesis method according to an embodiment of the present invention.
10 is a diagram illustrating a configuration of hardware in which a program for executing a method according to an embodiment of the present invention is stored.
이하에서는 도면을 참조하여 본 개시에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분이 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다.Hereinafter, the present disclosure will be described in detail with reference to the drawings. In this case, the same components in each drawing are indicated by the same reference numerals as possible. In addition, detailed descriptions of functions and/or configurations already known are omitted. In the following, a portion necessary for understanding an operation according to various embodiments will be mainly described, and descriptions of elements that may obscure the subject matter of the description will be omitted.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as "A or B", "at least one of A or/and B", or "one or more of A or/and B" may include all possible combinations of items listed together. . For example, “A or B”, “at least one of A and B”, or “at least one of A or B” includes (1) at least one A, (2) at least one B, Or (3) it may refer to all cases including both at least one A and at least one B.
다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as "first", "second", "first", or "second" used in various embodiments may modify various elements regardless of their order and/or importance, and the corresponding elements Not limited. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may be renamed to a first component.
또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.In addition, some elements in the drawings may be exaggerated, omitted, or schematically illustrated. The size of each component does not fully reflect the actual size, and therefore, the contents described herein are not limited by the relative size or spacing of the components drawn in each drawing.
도 1은 본 발명의 일 실시예에 따른 전체 구성도이다. 1 is an overall configuration diagram according to an embodiment of the present invention.
디자인 생성 장치(200)는 웹사이트, SNS, 블로그 등 인터넷 상에서 실시간으로 노출되는 이미지 및 해당 이미지에 관련된 텍스트 데이터를 파싱한다. 이미지에는 인터넷 상에 추출될 수 있는 모든 이미지를 포함할 수 있다. 또한, 이미지에는 동영상으로 플레이될 때 이용되는 각각의 이미지도 포함될 수 있다. 구체적으로는 예를 들어, 이미지는 패션 관련 모든 아이템이 포함된 이미지, 액세서리 관련 모든 아이템이 포함된 이미지, 게임 콘텐츠 관련 이미지(게임의 배경, 인물, 옷, 아이템, 건물, 지도 등 게임이 필요한 모든 이미지), 영화 콘텐츠 관련 이미지(영화 배경, 인물, 특수효과, 건물, 지도 등 영화에 필요한 모든 이미지), 브랜드 로고 이미지, 인테리어 관련 이미지(가구 이미지, 가구 배치, 벽지, 원단 등 인테리어에 필요한 모든 이미지), 각종 식기류 이미지 등이 포함될 수 있다. 또한, 이미지는 풍경 사진, 그림 등의 시각적으로 식별할 수 있는 모든 이미지가 포함된다. 또한, 이미지는 새, 강아지 등 동물 이미지를 포함할 수 있다.The
또한, 디자인 생성 장치(200)는 쇼핑몰과 같은 웹사이트에서 이미지를 파싱할 때에, 해당 이미지에 해당하는 판매량, 판매액 데이터도 파싱할 수 있다. 또한, 해당 이미지에 관련된 텍스트는 예를 들어, 쇼핑몰에서 티셔츠를 판매하는 경우 해당 이미지의 카테고리나 상품명에 기재되어 있는 '티셔츠', '티' 또는 '상의' 등의 텍스트일 수 있다. 또한, 텍스트 데이터에는 소재, 재질과 같은 해당 제품의 제품 사양에 대한 정보가 포함될 수도 있다. 또한, 텍스트 데이터에 포함되는 상품명에서는 ‘귀걸이’, ‘목걸이’ 등의 악세서리류, ‘벽지’, ‘원단’, ‘패브릭’ 등 인테리어 용어, 가구 용어가 포함될 수 있다. Also, when parsing an image in a website such as a shopping mall, the design generating
또한, 텍스트 데이터에는 콘텐츠 디자인 용어가 포함될 수 있다. 콘텐츠에는 게임, 영화, 만화 등에 관련된 용어가모두 포함될 수 있다. 또한, 텍스트 데이터는 파싱하는 이미지와 관련된 모든 용어를 포함할 수 있다. Also, the text data may include content design terms. The content may include all terms related to games, movies, and cartoons. Also, the text data may include all terms related to an image to be parsed.
또한, 디자인 생성 장치(200)는 인스타그램 또는 페이스북 등과 같은 SNS에 일정 기간 업로드되는 이미지 데이터를 실시간으로 파싱하여 수신할 수 있다. 인스타그램 또는 페이스북 등과 같은 SNS에 업로드되는 이미지들을 통하여 최신 트렌드를 알 수 있다. 또한, 디자인 생성 장치(200)는 특정 게임 또는 특정 영화의 선호도를 파악하기 위하여 인터넷 상에서 게임 또는 영화 정보도 실시간으로 파싱할 수 있다. 예를 들어, 디자인 생성 장치(200)는 인터넷 상에서 현재부터 일정기간 동안의 판매수, 관객수 또는 인터넷 상에서 업로드 수 등을 파싱하여 수신할 수 있다. In addition, the design generating
또한 디자인 생성 장치(200) 자체에 저장되어 있는 이미지 데이터 및 텍스트 데이터를 파싱할 수 있다.In addition, image data and text data stored in the
웹사이트, SNS, 블로그 등 인터넷 상에서 실시간으로 노출되거나, 디자인 생성 장치(200) 내에 있는 이미지 및 해당 이미지에 관련된 텍스트 데이터를 파싱한 디자인 생성 장치(200)는 파싱된 이미지 및 텍스트를 기초로 하여 특정 아이템에 대한 새로운 디자인, 또는 디자인 요소를 생성한다. 여기서 디자인 요소는, 패턴, 형태, 색상 등 디자인을 구성할 수 있는 모든 요소 중 적어도 하나를 포함할 수 있다. 디자인 요소는 예를 들어, 의상, 신발 등을 구성하는 요소일 수 있고, 디자인 요소는 예를 들어, 인테리어 관련 품목(가구, 벽지, 타일 등 인테리어 관련 모든 품목)을 구성하는 요소일 수 있다. 또한, 디자인 요소는 게임 콘텐츠(게임의 배경, 인물, 옷, 아이템, 건물, 지도 등)를 구성하는 요소일 수 있다. 또한, 디자인 요소는 영화 콘텐츠(예를 들어, 영화의 배경, 인물, 특수효과, 건물, 지도 등)를 구성하는 요소일 수 있다. 또한, 디자인 요소는 브랜드 로고 등을 구성하는 요소일 수 있다. 또한, 디자인 요소는 사진 이미지로 생성될 수 있는 모든 요소를 구성할 수 있다. 예를 들어, 풍경 이미지, 동물 이미지, 사람 이미지 등을 구성할 수 있는 디자인 요소를 그 예로 들 수 있다. The
구체적으로, 디자인 생성 장치(200)는 파싱한 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 파싱한 이미지 및 텍스트 데이터 이외에도, 아이템 추출 모델(objection detection)을 이용한다. 예를 들어, 아이템에는 신발, 가방, 원피스, 넥타이, 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함될 수 있고,모든 액세서리 류, 모든 인테리어 관련 품목, 영화 콘텐츠 구성 요소(영화 배경, 인물, 특수효과, 건물, 지도 등), 게임 콘텐츠 구성 요소(게임의 배경, 캐릭터, 캐릭터 의상, 게임 아이템, 건물, 지도 등), 브랜드 로고 등이 포함될 수 있다. 예를 들어, Specifically, the
이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다.If there is a vector value corresponding to the shoe in the image, the shoe item can be extracted by recognizing the'shoes' part of the image.
또한, 파싱된 이미지와 관련된 텍스트 데이터 역시 이미지 내에서 아이템을 추출하기 위하여 사용될 수 있다. 또한, 하나의 이미지에서 복수의 아이템이 추출될 수 있다. 예를 들어, 하나의 이미지에 비니를 쓰고 터틀넥 스웨터에 피코트를 입고, 청바지를 입고 스니커즈를 신은 남성이 서있다면, 해당 이미지에서 추출되는 아이템은 '비니', '터틀넥 스웨터', '피코트', '청바지' 및 '스니커즈'일 수 있다. 또는, 예를 들어 하나의 거실 이미지에서 ‘쇼파’, ‘러그’ 및 ‘스탠드 조명’의 아이템이 추출될 수 있다. 또는, 예를 들어, 게임 이미지인 경우 게임의 배경, 캐릭터, 캐릭터 의상, 아이템, 지도 등의 이미지가 추출될 수 있다. In addition, text data related to the parsed image may also be used to extract items from the image. Also, a plurality of items may be extracted from one image. For example, if a man wearing a beanie, a turtleneck sweater and pea coat, jeans and sneakers is standing in one image, the items extracted from the image are'beanie','turtleneck sweater','peacoat', ' It could be jeans' and'sneakers'. Alternatively, for example, items such as “sofa”, “rug”, and “stand lighting” may be extracted from one living room image. Alternatively, for example, in the case of a game image, images such as a background of a game, a character, a character costume, an item, and a map may be extracted.
또한, 디자인 생성 장치(200)는 추출된 아이템 각각에 대한 디자인의 요소를 추출한다. 디자인 요소는 상술된 바와 같이 모든 이미지에 포함되는 요소들일 수 있는데, 아래에는 의상을 기준으로 더 구체적으로 설명하도록 한다. 의상을 예를 들어 설명하지만, 가구, 게임 콘텐츠 구성 요소, 영화 콘텐츠 구성 요소 등 다양하게 응용될 수 있다. 디자인의 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 디자인의 요소는 특정 아이템에 국한되지 않고, 이미지 자체 또는 영상에 포함되는 이미지 자체 내의 요소도 포함한다. 예를 들어, 이미지가 풍경 사진인 경우, 디자인의 요소는 풍경에 포함되는 색감, 패턴, 또는 이미지 내에 포함되는 형상, 예를 들어 꽃이나 나무 등의 형상 등일 수 있다. In addition, the
예를 들어, 도 2b를 참조하면, 꽃 형상의 프린트가 전체적으로 들어간 민소매이고 무릎길이의 흰색의 플레어 원피스의 디자인 요소는, 꽃 형상의 프린트, 민소매, 흰색, 무릎길이, 플레어 원피스라는 요소를 포함한다. 또한, 디자인 생성 장치(200)는 아이템 각각에 대한 디자인의 요소뿐만 아니라, 수집된 이미지 중 아이템이 추출되지 않은 이미지에서의 전체적인 무드, 형상, 색상 등의 요소를 이용하여 디자인 요소, 예를 들어, 패턴, 색상, 형상 등을 추출할 수도 있다. 또한, 도시되어 있지는 않으나, 예를 들어, 이미지에 의자가 포함되어 있는 경우, 의자의 디자인 요소는 의자의 형상에 대한 디자인, 즉 의자의 다리 형상, 등받이 형상, 앉는 부분의 형상을 포함하고, 의자의 재질 앉는 부분의 재질 역시 디자인 요소로 포함할 수 있다. For example, referring to FIG. 2B, design elements of a sleeveless and knee-length white flared dress with a flower-shaped print as a whole include elements such as floral print, sleeveless, white, knee-length, and flare dress. . In addition, the
디자인 생성 장치(200)는 추출된 디자인 또는 디자인 요소 중에서 상위 디자인 또는 디자인 요소를 추출할 수 있다. 구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수가 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 해당 디자인 요소 자체에 대해서, 노출 빈도수, 판매량, 선호도 등을 모두 고려하여 일정 기준값 이상의 디자인 요소가 추출할 수 있다. 예를 들어, 도 2b를 참조하면, 추출된 디자인들에서의 디자인 요소가 “흰 색”, “민소매”, “꽃무늬” 및 “플레어 원피스”이면 각각의 요소가 상위 디자인 요소일 수 있다. 또한, 특정 디자인 또는 디자인 요소가 상위 디자인 또는 상위 디자인 요소인지에 대해서 판단할 때에 셀럽 등 유명인이 착용한 아이템에 포함된 디자인 또는 디자인 요소인지 여부를 판단하고, 이러한 디자인 또는 디자인 요소에 대해서는 더욱 가중치를 주어 판단할 수 있다. 또한, 예를 들어 상위 디자인이 가구인 경우에는 디자인 요소가 “원목”, “가죽”, “팔걸이 유무” 등 가구를 형성하는 모든 요소를 포함할 수 있다. 이와 같이, 상위 디자인은 상기 이미지에 포함될 수 있는 모든 디자인(게임 콘텐츠, 영화 콘텐츠, 브랜드 로고 등)일 수 있고, 이 경우에도 동일한 상위 디자인 추출 프로세스가 적용될 수 있다. The
디자인 생성 장치(200)는 상위 디자인 또는 상위 디자인의 요소를 추출한 후에 이를 저장부에 저장한다. 디자인 생성 장치(200)는 디자인의 빠른 변화에 따라 실시간으로 상위 디자인의 요소를 추출하여 업데이트하고, 수많은 아이템 별로 상위 디자인 요소를 카테고리화하여 저장한다. 또한, 아이템이 없는 경우(일반 이미지 등)에는 디자인 요소만을 저장할 수도 있다.The
또한, 디자인 생성 장치(200)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다. 또한, 디자인 생성 장치(200)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행하여 그 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다. 디자인 또는 디자인 요소에 대한 평가는 후술하도록 한다. 또한, 디자인 생성 장치(200)는 특정 아이템이 없는 이미지의 디자인 요소도 고려하여 디자인 생성 모델을 학습시킬 수 있으며, 생성된 디자인, 디자인 요소에 대한 평가를 행하여 그 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다. In addition, the
이후에, 디자인 생성 장치(200)는 학습부에서 실시간으로 학습되는 디자인 생성 모델을 이용하여 새로운 디자인(상위 디자인 또는 디자인 요소)을 생성한다. 즉, 생성된 디자인 또는 디자인 요소 중 상술된 판단 기준으로 특정 생성 디자인과 디자인 요소를 상위 디자인으로 추출하는 등의 퀄리티 판단이 이루어지고, 상위 디자인 또는 디자인 요소, 및 상위 디자인 또는 디자인 요소 생성 디자인 생성 모델 등을 이용하여 디자인 생성 모델을 학습시킨다. Thereafter, the
새로운 디자인을 생성하는 데에는 카테고리 특화가 가능하고 랜덤 생성이 가능한 GAN(generative adversarial networks), 특정 디자인의 랜덤 변형이 가능하고 특정 디자인의 특성 유사도가 높은 형태로 새로운 디자인을 생성하는 VAE(Variational Autoencoder)+GAN, 특정 디자인 요소를 사람의 유전 형질(생김새 등)처럼 인식하여 다양한 교배를 만들어 내고, 이에 대한 피드백을 바탕으로 보다 상품성이 높은 새로운 변형을 반복적으로 세대간 전이할 수 있는 genetic algorithm + GAN, 디자인 변경을 위한 conditional GAN, 및 새로운 디자인을 하기 위한 영감을 다양한 이미지 등 데이터에서 추출하여 기존의 디자인의 외양을 유지하면서 스타일을 변형하는 style transfer 기술이 이용될 수 있다. Generative adversarial networks (GANs) that allow category-specific and random generation to create new designs, and VAE (Variational Autoencoder)+ that create new designs in a form that allows random transformation of specific designs and high similarity in characteristics of specific designs. GAN, a genetic algorithm + GAN, design that recognizes specific design elements as human genetic traits (look, etc.) to create various crosses, and based on feedback on this, a new transformation with higher marketability can be repeatedly transferred between generations A style transfer technology that transforms the style while maintaining the appearance of the existing design by extracting conditional GAN for change and inspiration for new design from data such as various images may be used.
머신 러닝은 크게 세가지 분류로 나뉘어지는데, 첫 번째는 지도학습(SupervisedLearning), 두 번째는 강화학습(Reinforcement learning) 그리고 마지막은 비지도 학습(Unsupervised Learning)이다. Machine learning is largely divided into three categories: the first is supervised learning, the second is reinforcement learning, and the last is unsupervised learning.
여기서, GAN은 비지도 학습에 속하며, 이미지를 생성하는 Generator(G)와, Generator에 의하여 생성된 이미지를 평가하는 Discriminator(D)가 서로 대립하여 서로의 성능을 개선시켜 나가는 모델로서 새로운 이미지를 생성한다. 구체적으로, D는 원래의 데이터 만을 참으로 판단하기 위하여 노력하고, G는 D가 거짓으로 판별하지 못하도록 가짜 데이터를 생성하여 두 모델의 성능이 함께 향상되어 최종적으로는 D가 실 데이터와 가짜 데이터를 구분하지 못하게 된다.Here, GAN belongs to unsupervised learning, and the Generator (G) that generates an image and the Discriminator (D) that evaluates the image generated by the Generator face each other to create a new image as a model that improves each other's performance. do. Specifically, D makes an effort to judge only the original data as true, and G creates fake data so that D cannot be determined as false, so that the performance of the two models is improved together, so that D finally tries to determine the real data and the fake data. It becomes impossible to distinguish.
디자인을 생성하는 일 실시예로서, 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다. 또한, 예를 들어 게임의 배경 화면에 대한 디자인에 대하여, 벡터값을 변경하여 다른 이미지에서 추출된 디자인을 변경하여 적용하여 설정할 수 있다. 또한, 예를 들어, 게임의 배경 화면으로, 이전 게임의 배경 화면에서 추출된 디자인 또는 풍경 사진 등의 이미지에서 추출된 디자인이 사용자가 변경하는 벡터값에 따라 적용되어 새로운 게임의 배경 화면이 생성될 수 있다. As an example of creating a design, there is a method of creating a new design element by changing a vector value of a design element. The change of the vector value may be input as a set value and may be made by the learned design generation model. Specifically, for example, referring to FIG. 2D, if the floral dress is fashionable, the vector values of the existing floral patterns in the floral dress extracted from the collected image are changed to create a new floral dress design. can do. In addition, for example, for a design for a background screen of a game, a vector value may be changed and a design extracted from another image may be changed and applied. In addition, for example, as the background screen of the game, a design extracted from the background screen of the previous game or a design extracted from an image such as a landscape picture is applied according to the vector value changed by the user, thereby creating a new game wallpaper. I can.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 디자인을 생성할 수 있다. 예를 들어, 도 2e를 참조하면, 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 한편, 이 경우에는 각각의 디자인 요소들이 그대로 단순히 합성되는 것이 아니라, 디자인 생성 모델에 의하여 요소들도 변경되고 새롭게 생성되어, 디자인이 생성된다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디 자인 요소에 대한)설정값에 따라 병합될 수도 있다. 상이한 디자인 요소는 아이템이 상이한 경우에도 적용가능하다. 예를 들어, 의상의 패턴이 가구에 적용될 수도 있고, 액세서리의 형상이 게임의 아이템에 적용될 수도 있다. In addition, as another embodiment of creating a new design element, there is a method of creating a new design for a specific item by synthesizing different elements among design elements. Specifically, a new design can be created by merging different elements among the elements of each trendy design. For example, referring to FIG. 2E, a design of an ultra violet index long one-piece design with puff sleeves can be created by synthesizing “puff sleeve” of knit, “ultra violet color” and “long dress” of a shirt among design elements. have. On the other hand, in this case, each design element is not simply synthesized as it is, but elements are also changed and newly created by the design generation model to create a design. In addition, these different elements may be automatically and randomly merged, or may be merged according to input settings (for the design elements to be merged). Different design elements are applicable even when items are different. For example, a pattern of clothes may be applied to furniture, and a shape of an accessory may be applied to an item of a game.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 무작위로 변경, 합성하여 새로운 디자인 요소를 생성하는 방법이 있다. In addition, as another embodiment of creating a new design element, there is a method of generating a new design element by randomly changing and combining design elements.
예를 들어, 도 2f를 참조하면, 꽃 사진에서 꽃에 대한 패턴을 추출하고, 노을이 지는 사진에서 노을 색감 및 무드를 추출하여, 꽃 무늬가 들어간 노을 색인 패턴이 생성될 수 있다. 이해를 위해서 병합되는 디자인 요소를 2 가지로 설명했지만, 실제로는 수십가지 수천가지의 요소들이 무작위로 생성되고 병합될 수 있다. For example, referring to FIG. 2F, a pattern for a flower is extracted from a flower photo, and a sunset color and mood are extracted from the photo at sunset, so that a sunset index pattern containing the flower pattern may be generated. For the sake of understanding, the design elements that are merged are described as two, but in reality dozens of thousands of elements can be randomly generated and merged.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다. In addition, the design or design element created in this way is reflected when the design generation model is trained again, and the design generation model can be trained, and the newly learned design generation model can be used when a new design or design element is created again. .
이어서, 디자인 생성 장치(200)는 생성된 새로운 디자인들 또는 디자인 요소들을 일정한 기준에 따라 평가한다. 이 때, 디자인 생성 장치(200)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소를 순위화할 수 있다. 새로운 디자인들 또는 디자인 요소를 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 판단할 수 있다. 여기서 판단이 되는 특정 디자인 또는 디자인 요소는 생성된 새로운 디자인 또는 디자인 요소와 유사한 디자인이고, 이에 대한 판단 역시 포함된다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽(예를 들어, 연예인, 또는 SNS 팔로워수가 미리 설정된 수 이상인 사람 등) 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 동일한 디자인 또는 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인 또는 디자인 요소에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인 또는 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 새로운 디자인 요소를 순위화한다. Subsequently, the
또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다. Also, in this way, a design generation model can be trained by using information ranked on a new design or a new design element.
도 2a는 본 발명의 일 실시예에 따른 디자인 생성 장치(200)의 구성도이다. 2A is a block diagram of a
디자인 생성 장치(200)는 입력부(201), 파싱부(202), 추출부(203), 저장부(204), 상위 디자인 추출부(206), 학습부(207), 디자인 생성부(208), 표시부(210), 전송부(212)를 포함한다. The
입력부(201)를 통하여 텍스트나 레이블을 수신하여 벡터값의 변경에 반영할 수 있다. 또한, 입력부(201)는 사용자로부터 아웃풋 카테고리를 입력받을 수 있다. 예를 들어, 사용자는 입력부(201)를 통해서 아웃풋 카테고리를 가구, 인테리어, 게임 캐릭터, 의상, 신발, 영화 배경 등으로 설정할 수 있다. Text or label may be received through the
파싱부(202)는 네트워크를 통하여 외부의 웹사이트, 블로그, 또는 SNS 서버로부터 또는 저장부(204)로부터 실시간으로 이미지 및 해당 이미지에 관련된 텍스트 데이터를 파싱한다. 또한, 특정 웹사이트 서버 또는 디자인 생성 장치 자체로부터 특정 이미지와 관련된 판매량 데이터, 판매액 데이터를 파싱한다. 또한, 해당 이미지에 관련된 텍스트는 예를 들어, 쇼핑몰에서 티셔츠를 판매하는 경우 해당 이미지의 카테고리나 상품명에 기재되어 있는 '티셔츠', '티' 또는 '상의' 등의 텍스트일 수 있다. 또한, 파싱부(202)는 특정 게임 또는 특정 영화의 선호도를 파악하기 위하여 인터넷 상에서 게임 또는 영화 정보도 실시간으로 파싱할 수 있다. 예를 들어, 파싱부(202)는 인터넷 상에서 현재부터 일정기간 동안의 판매수, 관객수 또는 인터넷 상에서 업로드 수 등을 파싱하여 수신할 수 있다. The
추출부(203)는 파싱한 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 파싱한 이미지 및 텍스트 데이터 이외에도, 아이템 추출 모델(objection detection)을 이용한다. 예를 들어, 아이템에는 신발, 가방, 원피스, 넥타이, 셔츠, 모자, 가디건, 코트, 가구, 벽지 등 다양한 아이템이 포함될 수 있는데, 이미지에서 신발로 인식되도록 학습된 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다. 또한, 아이템에는 모든 액세서리 류, 모든 인테리어 관련 품목, 모든 인테리어 관련 품목, 영화 콘텐츠 구성 요소(영화 배경, 인물, 특수효과, 건물, 지도 등), 게임 콘텐츠 구성 요소(게임의 배경, 캐릭터, 캐릭터 의상, 게임 아이템, 건물, 지도 등), 브랜드 로고 등이 포함될 수 있다. 또한, 아이템에는 브랜드 로고도 포함될 수 있다. The
또한, 추출부(203)는 추출된 아이템 각각에 대한 디자인의 요소를 추출한다. 예를 들어, 디자인의 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 예를 들어, 디자인의 요소는 일반적인 디자인의 요소, 디자인을 구성하는 색상, 형태, 질감을 포함한다. 또한, 추출부(203)는 하나의 이미지에서 복수의 아이템을 추출할 수 있다. 도 2c를 참조하면, 예를 들어, 사용자가 아웃풋을 패션으로 설정하면, 이미지에 고양이를 안고 선글라스를 쓰고 있고, 핫팬츠와 검은 색 티셔츠를 입고, 쪼리를 신은 여자가 있으면, 추출되는 아이템은 선글라스, 핫팬츠, 티셔츠, 신발(쪼리)이다. In addition, the
또한, 추출부(203)는 추출된 아이템 각각에 대한 디자인의 요소를 추출한다. 디자인의 요소는 색상, 소매 길이, 핏, 패턴, 프린트, 재질 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 디자인의 요소는 디자인을 구성하는 색상, 형태, 질감을 포함한다. 예를 들어, 도 2b를 참조하면, 꽃 형상의 프린트가 전체적으로 들어간 민소매이고 무릎길이의 흰색의 플레어 원피스의 디자인 요소는, 꽃 형상의 프린트, 민소매, 흰색, 무릎길이, 플레어 원피스라는 요소를 포함한다. In addition, the
또한, 추출부(203)는 아이템 각각에 대한 디자인의 요소뿐만 아니라, 수집된 이미지 중 아이템이 추출되지 않은 이미지에서의 전체적인 무드, 형상, 색상 등의 요소를 이용하여 디자인 요소, 예를 들어, 패턴, 색상, 형상 등을 추출할 수도 있다. In addition, the
저장부(204)는 아이템 추출 모델을 저장한다. 아이템 추출 모델은 해당 이미지에서의 벡터값이 어떤 아이템에 해당하는지를 판단할 수 있다. 또한, 저장부(204)는 추출되는 아이템을 카테고리화하여 저장한다. 또한, 저장부(204)는 디자인 요소 추출 모델을 저장한다. 디자인 요소 추출 모델은 해당 이미지에서 디자인의 요소, 즉 디자인의 형태, 색상, 재질을 추출한다. 또한 저장부(204)는 상위 디자인 추출부(206)에서 추출된 아이템 별 상위 디자인을 카테고리화하여 저장한다. The
상위 디자인 추출부(206)는 추출된 디자인들 또는 디자인 요소들 중에서 상위 디자인 또는 디자인 요소가 무엇인지를 판단한다. 구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수가 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 예를 들어, 도 2b를 참조하면, 추출된 디자인들에서의 디자인 요소가 “흰 색”, “민소매”, “꽃무늬” 및 “플레어 원피스”이면 각각의 요소가 상위 디자인일 수 있다. 또한, 상위 디자인 또는 디자인 요소를 판단할 때에 셀럽 등 유명인이 착용했는지 여부를 판단함으로써 이러한 디자인 또는 디자인 요소에 대해서는 미리 결정된 가중치를 주어 판단할 수 있다. 또한, 예를 들어, 디자인 또는 디자인 요소에 가중치를 줄 때, 게임의 경우 게임의 판매 순위, 동일한 게임 내에서도 해당 캐릭터의 인기순위 등의 요소를 고려할 수 있다. 또한, 예를 들어, 영화의 경우, 영화의 관람객 수, 영화에 대한 SNS 상에서의 피드백 수 또는 노출 정도를 고려할 수 있다. The upper
학습부(207)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 특정 아이템에 대한 디자인/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다. 또한, 학습부(207)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행하여 그 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다. 평가는 상술한 바와 같다. The
디자인 생성부(208)는 학습부에서 실시간으로 학습되는 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다. 디자인 생성부(208)에서 새로운 디자인을 생성하는 데에는 카테고리 특화가 가능하고 랜덤 생성이 가능한 GAN(generative adversarial networks), 특정 디자인의 랜덤 변형이 가능한 VAE+GAN, genetic algorithm + GAN, 디자인 변경을 위한 conditional GAN, 및 style transfer 기술이 이용될 수 있다.The
구체적으로, 디자인 생성부(208)는 새로운 디자인 또는 디자인 요소를 생성하기 위하여 다음과 같은 예시적 방법을 이용한다. Specifically, the
디자인을 생성하는 일 실시예로서, 유행하는 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 자동으로 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다. 그러나, 이는 단순히 존재하던 각각의 디자인 또는 디자인 요소를 합성하는 개념이 아니라, 각각의 디자인 또는 디자인 요소를 무작위로 변경하고 합성하여 새로운 디자인을 생성하는 것이다. As an example of creating a design, there is a method of creating a new design element by changing a vector value of a trendy design element. The change of the vector value may be input as a set value, and may be automatically performed by the learned design generation model. Specifically, for example, referring to FIG. 2D, if the floral dress is fashionable, the vector values of the existing floral patterns in the floral dress extracted from the collected image are changed to create a new floral dress design. can do. However, this is not a concept of simply synthesizing each existing design or design element, but creating a new design by randomly changing and synthesizing each design or design element.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다. In addition, as another embodiment of creating a new design element, there is a method of creating a new design for a specific item by synthesizing different elements among design elements. Specifically, it is possible to create a new one by merging different elements among the elements of each trendy design. For example, referring to FIG. 2E, a design of an ultra violet color long one-piece with puff sleeves is synthesized by combining “puff sleeves” of knit, “ultra violet color”, and “long dress” of a shirt among trendy design elements. Can be created. In addition, these different elements may be automatically and randomly merged, or may be merged according to input settings (for design elements to be merged).
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 이용하여 특정 아이템에 대한 새로운 디자인을 생성할 수 있는데, 예를 들어, 도 2g에 도시된 바와 같이 다양한 이미지들에서 추출된 디자인 또는 디자인 요소를 이용하여 게임 캐릭터의 디자인이 생성될 수 있다. In addition, as another embodiment of creating a new design element, a new design for a specific item may be created by using different elements among design elements. For example, as shown in FIG. 2G, a new design may be generated. The design of the game character can be created using a design or design element.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 이용하여 특정 아이템에 대한 새로운 디자인을 생성할 수 있는데, 예를 들어, 도 2h에 도시된 바와 같이 다양한 이미지들에서 추출된 디자인 또는 디자인 요소를 이용하여 게임의 지도의 디자인이 생성될 수 있다. In addition, as another embodiment of creating a new design element, a new design for a specific item may be generated using different elements among design elements. For example, as shown in FIG. 2H, The design of the map of the game can be created using design or design elements.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 이용하여 특정 아이템에 대한 새로운 디자인을 생성할 수 있는데, 예를 들어, 도 2i에 도시된 바와 같이 다양한 이미지들에서 추출된 디자인 또는 디자인 요소를 이용하여 영화의 배경 이미지가 생성될 수 있다. In addition, as another embodiment of creating a new design element, a new design for a specific item may be created using different elements among design elements. For example, as shown in FIG. A background image of a movie may be created using a design or design element.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 이용하여 특정 아이템에 대한 새로운 디자인을 생성할 수 있는데, 예를 들어, 도 2j에 도시된 바와 같이 다양한 이미지들에서 추출된 디자인 또는 디자인 요소를 이용하여 가구 디자인이 생성될 수 있다. In addition, as another embodiment of creating a new design element, a new design for a specific item may be generated using different elements among design elements. For example, as shown in FIG. Furniture designs can be created using designs or design elements.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 기초로 디자인 생성 모델을 이용하여 새로운 디자인 요소를 생성하는 방법이 있다. In addition, as another embodiment of creating a new design element, there is a method of generating a new design element using a design generation model based on the design elements.
예를 들어, 도 2f를 참조하면, 꽃 사진에서 꽃에 대한 패턴을 추출하고, 노을이 지는 사진에서 노을 색 및 무드를 추출하여, 새로운 패턴이 생성될 수 있다. 이렇게 생성된 패턴은 패브릭 패턴 또는 벽지 패턴으로 적용할 수 있다. For example, referring to FIG. 2F, a new pattern may be generated by extracting a pattern for a flower from a flower photo, and extracting a sunset color and mood from the photo at sunset. The generated pattern can be applied as a fabric pattern or wallpaper pattern.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다. 또한, 이러한 학습된 디자인 생성 모델은 그 입력값과 출력값의 종류에 따라 각각 개별적인 모델을 포함할 수 있다. In addition, the design or design element created in this way is reflected when the design generation model is trained again, and the design generation model can be trained, and the newly learned design generation model can be used when a new design or design element is created again. . In addition, these learned design generation models may each include individual models according to types of input values and output values.
이어서, 디자인 생성부(208)는 생성된 새로운 디자인들 또는 디자인 요소들을 일정한 기준에 따라 평가한다. 구체적으로 디자인 생성부(208)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소들을 순위화한다. Subsequently, the
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 또한, 게임이나 영화의 경우에는 게임의 이용자수 또는 영화의 관람객 수 역시 가중치 판단에 있어서 이용될 수 있다. In order to rank new designs or design elements, the frequency of exposure of a specific design or design element on an image that is generally exposed on social media or websites, the sales volume and sales amount of an item containing a specific design or design element, a specific website or It can be determined based on the preference for the image exposed on the Internet such as SNS (all data that can estimate the preference for the image, such as the number of clicks, feedback, and shares). In addition, when judging the frequency of exposure or determining the ranking, weights are given to designs or design elements that are exposed on SNS or images of celebrities or celebrities, and among the elements of the top design, designs sold by a specific brand or a specific website are given weight. If the preference, sales volume, or sales value is higher, weights can be given to elements of the design (hereinafter, “weight determination”). In addition, in the case of a game or a movie, the number of users of the game or the number of viewers of the movie may also be used in determining the weight.
디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한, 이렇게 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 다시 학습시킬 수 있다. 즉, 디자인 생성 모델이 생성한 상술된 다양한 요소를 기초로 디자인의 순위를 매김으로서 자체적으로 디자인 생성할 때 이를 반영하여 디자인을 생성할 수 있도록 디자인 생성 모델이 학습된다. The
표시부(210)는 디자인 생성부(208)에서 생성된 디자인을 표시할 수 있다. The
전송부(212)는 생성된 디자인에 대해서 제조를 진행하고자 하는 경우에, 제조하고자 하는 디자인과 제조 수량을 공장 쪽으로 전송할 수 있다. The
도 3은 본 발명의 일 실시예에 따른 추출부(203)의 구성도이다. 3 is a configuration diagram of an
추출부(203)는 아이템 추출부(300), 디자인 추출부(302)를 포함한다. The
아이템 추출부(300)는 수신된 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 수신된 이미지 및 텍스트 데이터 이외에도, 저장되어 있는 아이템 추출 모델을 이용한다. 여기서, 아이템에는 신발, 가방, 원피스, 넥타이 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함되며, 이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다. 또한, 수신된 이미지에서 아이템을 추출하는 데에는 이미지와 관련된 텍스트로 참고로 이용될 수 있다. 또한, 아이템 추출부(300)는 하나의 이미지에서 복수의 아이템을 추출할 수 있다. 예를 들어, 도 2c를 참조하면, 이미지에 고양이를 안고 선글라스를 쓰고 있고, 핫팬츠와 검은 색 티셔츠를 입고, 쪼리를 신은 여자가 있으면, 추출되는 아이템은 선글라스, 핫팬츠, 티셔츠, 신발(쪼리)이다. 여기서 고양이는 아이템으로 추출되지 않는다.The
디자인 추출부(302)는 추출된 아이템의 디자인 및 디자인 요소를 추출한다. 또한, 디자인 추출부(302)는 파싱된 이미지, 텍스트 등을 통하여 디자인 요소를 추출할 수도 있다. 디자인 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 디자인 요소는 아이템을 구성하지 않더라도 일반적인 이미지에서의 색상, 무드, 재질, 패턴 등을 포함할 수 있다. The
도 4는 본 발명의 일 실시예에 따른 디자인 생성부(208)의 구성도이다.4 is a block diagram of a
디자인 생성부(208)는 디자인 수신부(400), 디자인 변경부(402), 디자인 합성부(404) 및 평가부(406)를 포함한다. The
디자인 생성부(208)는 학습부에서 실시간으로 학습되는 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다.The
새로운 디자인을 생성하는 데에는 카테고리 특화가 가능하고 랜덤 생성이 가능한 GAN(generative adversarial networks), 특정 디자인의 랜덤 변형이 가능한 VAE+GAN, genetic algorithm + GAN, 디자인 변경을 위한 conditional GAN, 및 style transfer 기술이 이용될 수 있다.To create a new design, category-specific and random generation are possible (generative adversarial networks), VAE+GAN, which allows random transformation of a specific design, genetic algorithm + GAN, conditional GAN for design change, and style transfer technology. Can be used.
머신 러닝은 크게 세가지 분류로 나뉘어지는데, 첫 번째는 지도학습(SupervisedLearning), 두 번째는 강화학습(Reinforcement learning)그리고 마지막은 비지도 학습(Unsupervised Learning)이다. Machine learning is largely divided into three categories: the first is supervised learning, the second is reinforcement learning, and the last is unsupervised learning.
여기서, GAN은 비지도 학습에 속하며, 이미지를 생성하는 Generator(G)와, Generator에 의하여 생성된 이미지를 평가하는 Discriminator(D)가 서로 대립하여 서로의 성능을 개선시켜 나가는 모델로서 새로운 이미지를 생성한다. 구체적으로, D는 원래의 데이터 만을 참으로 판단하기 위하여 노력하고, G는 D가 거짓으로 판별하지 못하도록 가짜 데이터를 생성하여 두 모델의 성능이 함께 향상되어 최종적으로는 D가 실 데이터와 가짜 데이터를 구분하지 못하게 된다. Here, GAN belongs to unsupervised learning, and the Generator (G) that generates an image and the Discriminator (D) that evaluates the image generated by the Generator face each other to create a new image as a model that improves each other's performance. do. Specifically, D makes an effort to judge only the original data as true, and G creates fake data so that D cannot be determined as false, so that the performance of the two models is improved together, so that D finally tries to determine the real data and the fake data. It becomes impossible to distinguish.
또한, cGAN은 랜덤하게 Generation 하는 것이 아닌 원하는 것을 generation할 수 있는 것이 기존의 GAN과 다른 점이다. In addition, cGAN is different from conventional GAN in that it can generate desired things rather than randomly.
디자인 수신부(400)는 새로운 디자인을 생성하기 위하여 요소들을 다 수신한다. 예를 들어, 디자인 생성 모델, 디자인 요소들을 수신할 수 있다. The
디자인 변경부(402)는 아이템별 추출된 디자인의 요소를 이용하여 디자인 요소의 벡터값을 변경하여 새로운 디자인을 생성한다. 구체적으로, 꽃무늬 셔츠가 있으면, 수집된 이미지에서 추출된 꽃무늬 셔츠에서의 꽃무늬들의 벡터값을 변경하여 새로운 꽃무늬의 셔츠의 디자인을 생성할 수 있다. 또한, 디자인 변경부(402)는 디자인 생성 모델을 이용하여 아이템에서 추출된 디자인의 요소 및, 아이템이 없는 이미지에서 추출된 디자인의 요소에 대한 벡터값을 변경하여 새로운 디자인의 요소를 생성할 수 있다. 벡터값 변경은 자동으로 이루어질 수도 있고, 설정값을 수신하여 이루어 질 수도 있다. The design change unit 402 generates a new design by changing the vector value of the design element using the element of the design extracted for each item. Specifically, if there is a floral shirt, a new floral shirt design can be generated by changing the vector values of the floral patterns in the floral shirt extracted from the collected image. In addition, the design change unit 402 may generate a new design element by changing vector values for the design element extracted from the item and the design element extracted from the image without the item using the design generation model. . The vector value change may be performed automatically or may be performed by receiving a set value.
수집된 아이템에서 추출된 디자인 요소를 이용하여 디자인 합성부(404)는 수집된 아이템별 유행 디자인의 요소 중 상이한 요소를 합성하여 해당 아이템의 새로운 디자인을 생성한다. 다만, 이는 디자인의 단순 합성이 아니라, 다양한 디자인 또는 디자인 요소를 무작위로 이용하여 새로운 디자인을 생성하는 것이다. 또한, 디자인 변경부와 디자인 합성부는 혼합해서 사용하여 새로운 디자인을 생성할 수도 있다. 또한, 디자인 변경부와 디자인 합성부는 평가부(406)의 피드백을 계속적으로 수신하여 이를 이용해서 디자인을 생성한다. Using the design elements extracted from the collected items, the design synthesis unit 404 generates a new design of the item by synthesizing different elements among the elements of the collected fashion design for each item. However, this is not a simple synthesis of designs, but a new design by randomly using various designs or design elements. In addition, the design change unit and the design synthesis unit may be mixed to create a new design. In addition, the design change unit and the design synthesis unit continuously receive feedback from the
구체적으로, 도 2e를 참조하면, 아웃풋 설정이 원피스인 경우, 각각 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 동일한 아이템의 상이한 요소를 합성할 수도 있다. 예를 들어, 유행하는 디자인의 요소인 블라우스의 “커프스 소매”, 블라우스의 “꽃 모양 카라”, 블라우스의 “민트색”이 병합되어 하나의 블라우스 디자인이 생성될 수 있다. Specifically, referring to FIG. 2E, when the output setting is a one-piece, the “puff sleeve” of the knit, the “ultra violet color”, and the “long one-piece” of the shirt are synthesized among fashionable design elements to have a puff sleeve and an ultra violet. An index long one-piece design can be created. It is also possible to combine different elements of the same item. For example, a blouse design can be created by merging the “cuff sleeves” of a blouse, the “flower-shaped collar” of the blouse, and the “mint color” of the blouse, which are elements of fashionable design.
또한, 디자인 합성부(404)는 아이템에서 추출된 디자인의 요소, 아이템이 포함되어 있지 않은 이미지에서 추출된 디자인의 요소를 합성하여 새로운 디자인 요소를 생성할 수도 있다. Also, the design synthesis unit 404 may generate a new design element by synthesizing elements of a design extracted from an item and elements of a design extracted from an image that does not contain an item.
예를 들어 도 2i를 참조하면, 일반적인 풍경 사진의 디자인 요소와 랜드 마크 이미지의 디자인 요소 등을 기초로 새로운 영화 배경 이미지가 생성될 수 있다. For example, referring to FIG. 2I, a new movie background image may be generated based on a design element of a general landscape photograph and a design element of a landmark image.
또한, 디자인 합성부(404)는 아이템에서 추출된 디자인의 요소, 아이템이 포함되어 있지 않은 이미지에서 추출된 디자인의 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성할 수도 있다. In addition, the design synthesis unit 404 may generate a new design for a specific item by synthesizing elements of a design extracted from an item and elements of a design extracted from an image that does not contain an item.
평가부(406)는 디자인 변경부(402) 또는 디자인 합성부(404)에서 새롭게 생성된 디자인 또는 디자인 요소를 일정한 기준으로 평가한다. 구체적으로, 평가부(406)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소들을 순위화할 수 있다. The
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지(새로운 디자인 또는 디자인 요소들과 유사한 디자인 또는 디자인 요소를 포함하고 있음)에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 또한, 예를 들어, 디자인 또는 디자인 요소에 가중치를 줄 때, 게임의 경우 게임의 판매 순위, 동일한 게임 내에서도 해당 캐릭터의 인기순위 등의 요소를 고려할 수 있다. 또한, 예를 들어, 영화의 경우, 영화의 관람객 수, 영화에 대한 SNS 상에서의 피드백 수 또는 노출 정도를 고려할 수 있다. 평가부(406)는 이렇게 생성된 새로운 디자인을 순위화할 수 있다 In order to rank new designs or design elements, the frequency of exposure of a specific design or design element on an image that is generally exposed on social media or websites, the sales volume and sales amount of an item containing a specific design or design element, a specific website or All of the preferences (clicks, feedbacks, shares, etc.) for the image (including design or design elements similar to new design or design elements) exposed on the Internet such as SNS, etc. Judgment based on data) can be determined. In addition, when judging the frequency of exposure or determining the ranking, weights are given to designs or design elements that are exposed on SNS or images of celebrities or celebrities, and among the elements of the top design, designs sold by a specific brand or a specific website are given weight. If the preference, sales volume, or sales value is higher, weights can be given to elements of the design (hereinafter, “weight determination”). In addition, for example, when weighting a design or design element, in the case of a game, factors such as a sales ranking of a game and a popularity ranking of a corresponding character within the same game may be considered. In addition, for example, in the case of a movie, the number of viewers of the movie, the number of feedback on the SNS for the movie, or the degree of exposure may be considered. The
예를 들어, 생성된 디자인이 버건디 컬러의 숏 가디건이라고 하면, 상품마다 버건디 컬러도 다양하게 표현될 수가 있다. 즉, 동일한 버건디 컬러지만 조금씩 다른 톤의 버건디 컬러가 추출될 수 있다. 따라서, 다양한 종류의 버건디 숏 가디건에서, 버건디 컬러의 선택을 위하여, 동일한 버건디 컬러라도 더 선호되는 컬러를 추출하여 최종 버건디 컬러의 숏 가디건을 도출할 수 있다. 여기서, 동일한 버건디 컬러지만 더 선호되는 컬러를 추출하기 위하여, 선호도가 높은 특정 브랜드에서 사용하는 컬러인지, 노출도가 높은 이미지에서 사용되는 컬러인지 여부 등 컬러들 간의 선호도를 판단할 수 있는 요소를 기초로 판단할 수 있다. 이는 가구 디자인, 게임 콘텐츠 구성 요소, 영화 콘텐츠 구성 요소, 로고 등에도 적용될 수 있다. For example, if the created design is a short cardigan in burgundy color, various burgundy colors can be expressed for each product. That is, the same burgundy color, but slightly different tones of burgundy color may be extracted. Accordingly, in various types of burgundy short cardigans, in order to select a burgundy color, a more preferred color may be extracted even with the same burgundy color to derive a short cardigan of the final burgundy color. Here, in order to extract a color that is the same burgundy color but more preferred, it is based on factors that can determine the preference between colors, such as whether it is a color used by a specific brand with high preference or a color used in an image with high exposure. It can be judged as. This can be applied to furniture design, game content components, movie content components, logos, etc.
이렇게 평가부(406)에서 특정 디자인에 대해서 순위화하면, 순위화된 디자인들 중 상위 순위의 디자인들에 대한 평가가 좋다고 판단하여, 해당 디자인을 생성한 디자인 생성 모델을 이용하여 디자인 생성 모델이 학습된다. 이렇게 학습된 디자인 생성 모델을 이용하여 다시 디자인이 생성된다. 이러한 과정이 계속적으로 반복되어 디자인의 생성 퀄리티가 상승된다. If the
도 5는 본 발명의 일 실시예에 따른 유행 디자인 추출 방법의 순서도이다.5 is a flowchart of a method for extracting a fashion design according to an embodiment of the present invention.
파싱부(202)를 통하여 수신된 웹사이트, SNS, 블로그에서 실시간으로 노출되는 이미지 및 해당 이미지에 관련된 텍스트, 텍스트를 파싱한다(S500). 또한, 파싱부(202)는 디자인 생성 장치 내에 저장되어 있는 이미지, 이미지에 관련된 텍스트, 텍스트를 파싱한다. Images exposed in real time from websites, SNS, and blogs received through the
아이템 추출부(300)는 수집된 이미지 및 텍스트를 기초로 아이템을 추출한다(S502). The
구체적으로, 아이템 추출부(300)는 파싱된 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 파싱된 이미지 및 텍스트 데이터 이외에도, 저장되어 있는 아이템 추출 모델을 이용한다. 여기서, 아이템에는 예를 들어, 신발, 가방, 원피스, 넥타이 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함되며, 이미지에서 셔츠로 인식되는 벡터값이 있으면 해당 이미지 중 '셔츠' 부분을 인식하여 셔츠 아이템을 추출할 수 있다. 또한, 수신된 이미지에서 아이템을 추출하는 데에는 이미지와 관련된 텍스트로 참고로 이용될 수 있다. 또한, 아이템 추출부(300)는 하나의 이미지에서 복수의 아이템을 추출할 수 있다.Specifically, the
아이템 추출부(300)에서 아이템을 추출하면 디자인 추출부(302)에서 해당 아이템에서 디자인의 요소를 추출한다(S504). 아이템을 추출함에 있어서는 파싱한 이미지 및 텍스트 데이터 이외에도, 아이템 추출 모델(objection detection)을 이용한다. 예를 들어, 아이템에는 신발, 가방, 원피스, 넥타이, 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함될 수 있는데, 이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다. 또한, 아이템에는 모든 액세서리 류, 모든 인테리어 관련 품목, 모든 인테리어 관련 품목, 영화 콘텐츠 구성 요소(영화 배경, 인물, 특수효과, 건물, 지도 등), 게임 콘텐츠 구성 요소(게임의 배경, 캐릭터, 캐릭터 의상, 게임 아이템, 건물, 지도 등), 브랜드 로고 등이 포함될 수 있다. When an item is extracted from the
구체적으로, 디자인 추출부(302)는 추출된 아이템의 디자인 요소를 추출한다(S504). 디자인 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 디자인 요소는 재질, 무드 등을 포함할 수 있다. 또한, 디자인 추출부(302)는 아이템 각각에 대한 디자인의 요소뿐만 아니라, 수집된 이미지 중 아이템이 추출되지 않은 이미지에서의 전체적인 무드, 형상, 색상 등의 요소를 이용하여 디자인 요소, 예를 들어, 패턴, 색상, 형상 등을 추출할 수도 있다.Specifically, the
이어서 상위 디자인 추출부(206)와 디자인 추출부(302)에서 추출된 디자인 또는 디자인 요소 중 상위 디자인을 판단한다(S506).Subsequently, a design or design element extracted from the upper
구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수가 기준값 이상인 경우를 기초로 유행하는 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 디자인 또는 디자인 요소가 상위 디자인 또는 디자인 요소인지 판단할 때에 셀럽 등 유명인이 착용했는지 여부를 판단하여, 이러한 디자인 또는 디자인 요소에 대해서는 더욱 가중치를 주어 판단할 수 있다.Specifically, a trendy design or design element may be determined based on a case in which the frequency of exposure of a specific design or design element on an image exposed to an SNS or a website is greater than or equal to a reference value. In addition, a higher design or design element may be determined based on a case in which the sales amount and sales amount of an item including a specific design or design element in a specific website is greater than or equal to a reference value. In addition, high-level design based on the preference for the image displayed on the Internet, such as a specific website or SNS (determined based on all data that can estimate the preference for the image, such as the number of clicks, feedback, and shares) Or you can judge design elements. In addition, when determining whether a specific design or design element is an upper design or design element, it is determined whether or not a celebrity such as a celebrity wears it, and the design or design element may be determined by giving more weight.
이어서, 인공지능을 이용하여 새로운 디자인 또는 디자인 요소를 생성하는 디자인 생성 모델을 학습시킨다(S508).Subsequently, a design generation model for generating a new design or design element is trained using artificial intelligence (S508).
학습부(207)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소, 및 상위 디자인/디자인 요소를 생성한 디자인 생성 모델을 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다. 또한, 학습부(207)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행한 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다. 또한, 학습부(207)는 특정 아이템에 한정되지 않는 디자인 또는 디자인 요소를 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 디자인의 요소 중 상위 디자인 요소, 및 상위 디자인/디자인 요소를 생성한 디자인 생성 모델을 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다.The
이어서, 학습된 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다(S510).Subsequently, a new design is generated using the learned design generation model (S510).
구체적으로, 디자인 생성부(208)는 새로운 디자인 또는 디자인 요소를 생성하기 위하여 다음과 같은 예시적 방법을 이용한다. Specifically, the
디자인을 생성하는 일 실시예로서, 유행하는 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 사용자에 의하여 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다. As an example of creating a design, there is a method of creating a new design element by changing a vector value of a trendy design element. The change of the vector value may be input by the user as a set value, and may be made by the learned design generation model. Specifically, for example, referring to FIG. 2D, if the floral dress is fashionable, the vector values of the existing floral patterns in the floral dress extracted from the collected image are changed to create a new floral dress design. can do.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다. In addition, as another embodiment of creating a new design element, there is a method of creating a new design for a specific item by synthesizing different elements among design elements. Specifically, it is possible to create a new one by merging different elements among the elements of each trendy design. For example, referring to FIG. 2E, a design of an ultra violet color long one-piece with puff sleeves is synthesized by combining “puff sleeves” of knit, “ultra violet color”, and “long dress” of a shirt among trendy design elements. Can be created. In addition, these different elements may be automatically and randomly merged, or may be merged according to input settings (for design elements to be merged).
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 무작위로 변경, 합성하여 새로운 디자인 요소를 생성하는 방법이 있다. In addition, as another embodiment of creating a new design element, there is a method of generating a new design element by randomly changing and combining design elements.
예를 들어, 도 2f를 참조하면, 꽃 사진에서 꽃에 대한 패턴을 추출하고, 노을이 지는 사진에서 노을 색 및 무드를 추출하여, 꽃 무늬가 들어가 노을 색인 패턴이 생성될 수 있다. For example, referring to FIG. 2F, a pattern for a flower is extracted from a flower photo, and a sunset color and mood are extracted from the photo at sunset, and a flower pattern is included to generate a sunset index pattern.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.In addition, the design or design element created in this way is reflected when the design generation model is trained again, and the design generation model can be trained, and the newly learned design generation model can be used when a new design or design element is created again. .
도시되어 있지는 않지만, 디자인 생성부는 디자인을 생성한 후 생성된 디자인을 평가하여 순위화한다. 구체적으로 디자인 생성부(208)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소들을 순위화한다. Although not shown, the design generation unit generates a design and then evaluates and ranks the generated design. Specifically, the
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인을 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 또한, 게임이나 영화의 경우에는 게임의 이용자수 또는 영화의 관람객 수 역시 가중치 판단에 있어서 이용될 수 있다. 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 부여된 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.In order to rank new designs or design elements, in general, the frequency of exposure of a specific design on images exposed on social media or websites, sales volume and sales amount of items containing a specific design, and exposure on the Internet such as a specific website or SNS. It can be determined based on the preference for the image (all data that can estimate the preference for the image, such as the number of clicks, the number of feedback, and the number of shares). In addition, when judging the frequency of exposure or determining the ranking, weights are given to designs or design elements that are exposed on SNS or images of celebrities or celebrities, and among the elements of the top design, designs sold by a specific brand or a specific website are given weight. If the preference, sales volume, or sales value is higher, weights can be given to elements of the design (hereinafter, “weight determination”). In addition, in the case of a game or a movie, the number of users of the game or the number of viewers of the movie may also be used in determining the weight. The
도 6은 본 발명의 일 실시예에 따른 디자인 변경 방법의 순서도이다.6 is a flowchart of a design change method according to an embodiment of the present invention.
이어서 디자인 변경부(402)는 학습된 디자인 생성 모델을 이용하여 디자인 요소의 벡터값을 변경하여 새로운 디자인 또는 디자인 요소를 생성한다(S602). 벡터값은 입력부를 통하여 수신된 설정값에 의하여 변경될 수도 있고, 자동으로 변경될 수도 있다. Subsequently, the design change unit 402 generates a new design or design element by changing the vector value of the design element using the learned design generation model (S602). The vector value may be changed according to the set value received through the input unit or may be automatically changed.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.In addition, the design or design element created in this way is reflected when the design generation model is trained again, and the design generation model can be trained, and the newly learned design generation model can be used when a new design or design element is created again. .
생성된 디자인 또는 디자인의 요소는 평가되어 순위화된다(S604). The generated design or design element is evaluated and ranked (S604).
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 또한, 게임이나 영화의 경우에는 게임의 이용자수 또는 영화의 관람객 수 역시 가중치 판단에 있어서 이용될 수 있다. 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.In order to rank new designs or design elements, in general, the frequency of exposure of a specific design on images exposed on social media or websites, sales volume and sales of items containing a specific design or design element, and the Internet such as a specific website or SNS. It can be determined based on the preference for the image exposed on the image (all data that can estimate the preference for the image, such as the number of clicks, the number of feedbacks, and the number of shares). In addition, when judging the frequency of exposure or determining the ranking, weights are given to designs or design elements that are exposed on SNS or images of celebrities or celebrities, and among the elements of the top design, designs sold by a specific brand or a specific website are given weight. If the preference, sales volume, or sales value is higher, weights can be given to elements of the design (hereinafter, “weight determination”). In addition, in the case of a game or a movie, the number of users of the game or the number of viewers of the movie may also be used in determining the weight. The
도 7a는 본 발명의 일 실시예에 따른 디자인 생성 방법의 순서도이다.7A is a flowchart of a design generation method according to an embodiment of the present invention.
디자인 생성 모델을 이용하여 디자인 합성부(404)는 수집된 아이템별 유행 디자인의 요소 중 상이한 요소를 이용하여 새로운 디자인을 생성한다(S702).Using the design generation model, the design synthesis unit 404 generates a new design by using different elements among the elements of the collected fashion design for each item (S702).
생성된 새로운 디자인은 특정 아이템에 대한 디자인으로 한정될 수 있다. 다만, 상이한 요소가 추출된 아이템은 상이한 아이템일 수도 있다. The created new design may be limited to a design for a specific item. However, the items from which different elements are extracted may be different items.
생성된 디자인은 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.The generated design may be reflected when the design generation model is trained again, and the design generation model may be trained, and the newly learned design generation model may be used when a new design or design element is generated again.
생성된 디자인은 평가되어 순위화된다(S704).The generated design is evaluated and ranked (S704).
새로운 디자인들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인을 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인에 대해서는 가중치를 주고, 생성된 디자인에 포함된 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인 요소에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 또한, 게임이나 영화의 경우에는 게임의 이용자수 또는 영화의 관람객 수 역시 가중치 판단에 있어서 이용될 수 있다. 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인을 순위화할 수 있다. 또한 이렇게, 새로운 디자인에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.In order to rank new designs, in general, the frequency of exposure of a specific design on images exposed on social media or websites, sales volume and sales amount of items containing a specific design, and corresponding images exposed on the Internet, such as a specific website or SNS. It can be determined based on the preference (all data that can estimate the preference for the image, such as the number of clicks, the number of feedbacks, and the number of shares). In addition, when determining the frequency of exposure or when determining the ranking, weights are given to designs exposed on SNS or images of celebrities or celebrities, and among the elements of the design included in the generated design, sales by a specific brand or a specific website If the preference, sales volume, or sales amount for a design element is higher, a weight can be given to the element of the design (hereinafter, “weight determination”). In addition, in the case of a game or a movie, the number of users of the game or the number of viewers of the movie may also be used in determining the weight. The
도 7b는 본 발명의 일 실시예에 따른 디자인 생성 방법의 순서도이다7B is a flowchart of a design generation method according to an embodiment of the present invention
디자인 생성 모델을 이용하여 새로운 디자인 요소를 생성한다(S706).A new design element is generated using the design generation model (S706).
특정 아이템에 대한 디자인 요소뿐만 아니라, 아이템이 추출되지 않는 이미지 기반으로 추출되는 디자인 요소를 이용하여 새로운 디자인의 요소를 생성한다(S706). 새로운 디자인 요소로는 패턴, 색상, 핏 등이 포함될 수 있다. A new design element is generated using not only the design element for a specific item, but also the design element extracted based on the image from which the item is not extracted (S706). New design elements can include patterns, colors, and fit.
생성된 디자인 요소에 대한 평가를 하여 순위화한다(S708). The generated design elements are evaluated and ranked (S708).
새로운 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 요소에 대해서는 가중치를 주고, 동일하게 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 또한, 예를 들어, 디자인 또는 디자인 요소에 가중치를 줄 때, 게임의 경우 게임의 판매 순위, 동일한 게임 내에서도 해당 캐릭터의 인기순위 등의 요소를 고려할 수 있다. 또한, 예를 들어, 영화의 경우, 영화의 관람객 수, 영화에 대한 SNS 상에서의 피드백 수 또는 노출 정도를 고려할 수 있다. 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.In order to rank new design elements, the frequency of exposure of a specific design on images that are generally exposed on social media or websites, sales volume and sales amount of items containing specific design elements, and corresponding images exposed on the Internet, such as a specific website or SNS. It can be determined based on the preference for (all data that can estimate the preference for the image, such as the number of clicks, the number of feedbacks, and the number of shares). In addition, when determining the frequency of exposure or when determining the ranking, weights are given to design elements exposed on SNS or images of celebrities or celebrities. If the preference, sales volume, or sales amount is higher, weights can be given to elements of the design (hereinafter, “weight determination”). In addition, for example, when weighting a design or design element, in the case of a game, factors such as a sales ranking of a game and a popularity ranking of a corresponding character within the same game may be considered. In addition, for example, in the case of a movie, the number of viewers of the movie, the number of feedback on the SNS for the movie, or the degree of exposure may be considered. The
도 8을 참조하면 디자인 변경부(402)를 통하여 생성된 새로운 디자인이 도시되어 있다. 다양한 프린트가 그려져 있는 셔츠가 유행인 경우 기존의 프린트 요소를 변경하여 새로운 프린트가 그려진 셔츠가 디자인된다. Referring to FIG. 8, a new design created through the design change unit 402 is shown. If a shirt with various prints is in fashion, a shirt with a new print is designed by changing the existing print elements.
도 9를 참조하면, 상이한 디자인 요소를 합성하여 새로운 디자인이 생성된 예가 도시된다. Referring to FIG. 9, an example in which a new design is created by synthesizing different design elements is shown.
도 10은 본 발명의 일 실시예에 따른 방법이 실행되는 프로그램이 저장되는 하드웨어의 구성을 나타내는 도면이다.10 is a diagram illustrating a configuration of hardware in which a program for executing a method according to an embodiment of the present invention is stored.
해당 서버(1001)는 본 발명의 일 실시예에 따른 디자인 생성 장치에 해당한다. The
서버(1001)는 메모리(1000), 프로세서(1002), 입력부(1004), 표시부(1006) 및 통신부(1008)를 포함한다. The
메모리(1000)는 저장부(204)에 해당하는 것으로서, 아이템 추출 모델을 저장한다. 아이템 추출 모델은 해당 이미지에서의 벡터값이 어떤 아이템에 해당하는지를 판단할 수 있다. The
또한, 메모리(1000)는 추출되는 아이템을 카테고리화하여 저장한다. 또한, 메모리(1000)는 유행 디자인 추출부(206)에서 추출된 아이템 별 디자인 요소를 카테고리화하여 저장한다. 또한, 메모리(1000)는 생성된 새로운 디자인을 순위화하는 모델을 저장할 수 있다. Also, the
프로세서(1002)는 수집된 이미지와 텍스트를 이용하여 새로운 디자인을 생성한다. 디자인 생성 장치의 추출부(203) 및 디자인 생성부(208)에 해당한다. The
프로세서(1002)는 수집된 이미지와 텍스트를 이용하여, 메모리(1000)에 저장되어 있는 아이템 추출 모델을 이용하여, 이미지 및 텍스트를 이용하여 아이템을 추출한 후, 각 아이템 마다의 디자인 또는 디자인 요소를 추출한다. 또는, 프로세서(1002)는 아이템을 추출하지 않아도, 아이템이 추출되지 않는 이미지 및 텍스트를 이용하여 디자인 및 디자인 요소를 추출할 수 있다. The
또한, 프로세서(1002)는 추출된 디자인 또는 디자인 요소로부터 상위 디자인 또는 상위 디자인 요소를 추출한다. 구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수가 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 디자인 또는 디자인 요소가 상위 디자인 또는 디자인 요소인지 여부를 판단할 때에 셀럽 등 유명인이 착용했는지 여부를 판단함으로써 이러한 디자인에 대해서는 더욱 가중치를 주어 판단할 수 있다.Further, the
또한, 프로세서(1002)는 디자인 생성 모델을 학습시킨다. Also, the
프로세서(1002)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다.The
또한, 프로세서(1002)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행하여 그 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다.In addition, the
이어서, 프로세서(1002)는 상위 디자인들 및 디자인 생성 모델을 이용하여, 새로운 디자인을 생성한다. Subsequently, the
디자인을 생성하는 일 실시예로서, 유행하는 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다. As an example of creating a design, there is a method of creating a new design element by changing a vector value of a trendy design element. The change of the vector value may be input as a set value and may be made by the learned design generation model. Specifically, for example, referring to FIG. 2D, if the floral dress is fashionable, the vector values of the existing floral patterns in the floral dress extracted from the collected image are changed to create a new floral dress design. can do.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다. In addition, as another embodiment of creating a new design element, there is a method of creating a new design for a specific item by synthesizing different elements among design elements. Specifically, it is possible to create a new one by merging different elements among the elements of each trendy design. For example, referring to FIG. 2E, a design of an ultra violet color long one-piece with puff sleeves is synthesized by combining “puff sleeves” of knit, “ultra violet color”, and “long dress” of a shirt among trendy design elements. Can be created. In addition, these different elements may be automatically and randomly merged, or may be merged according to input settings (for design elements to be merged).
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 무작위로 변경, 합성하여 새로운 디자인 요소를 생성하는 방법이 있다. In addition, as another embodiment of creating a new design element, there is a method of generating a new design element by randomly changing and combining design elements.
또한, 프로세서(1002)는 생성된 디자인 또는 디자인 요소를 평가하여 순위화한다. 새로운 디자인들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인을 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화하여 일정 순위 이상의 디자인만을 최종 결과 디자인으로 도출한다.Further, the
이렇게 순위화된 결과는 디자인 생성 모델을 학습시킬 때 반영된다. These ranked results are reflected when training the design generation model.
표시부(1006)는 생성된 디자인을 표시할 수 있다. The
통신부(1008)는 이미지 데이터 또는 텍스트 데이터를 수신하거나, 생성된 디자인에 대해서 제조를 진행하고자 하는 경우에, 제조하고자 하는 디자인과 제조 수량을 공장 쪽으로 전송할 수 있다. The
또한, 다양한 실시 예들에 따른 장치 또는 시스템은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 그리고 본 문서에 개시된 실시 예는 개시된 기술 내용의 설명 및 이해를 위해 제시된 것이며 본 발명의 범위를 한정하는 것은 아니다. 따라서 본 문서의 범위는 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.In addition, an apparatus or system according to various embodiments may include at least one or more of the above-described elements, some of the above-described elements may be omitted, or additional other elements may be further included. In addition, the embodiments disclosed in this document are presented for explanation and understanding of the disclosed technical content and do not limit the scope of the present invention. Therefore, the scope of this document should be construed as including all changes or various other embodiments based on the technical idea of the present invention.
Claims (1)
네트워크를 통하여 이미지 및 상기 이미지에 연관된 정보를 수집하는 수집 수단 - 상기 디자인 자동 생성 장치의 디자인 대상으로서 복수의 카테고리를 포함하고, 상기 복수의 카테고리중 하나로서 영화 컨텐츠를 포함함-;
상기 수집부를 통하여 수집된 이미지 내의 복수의 구성 요소 또는 상기 이미지를 특징짓는 피처를 추출하는 추출 수단;
상기 추출 수단에 의하여 추출된 이미지 내의 복수의 구성 요소 및 상기 수집부를 통하여 수집된 정보에 기초하여 트렌드를 분석하는 분석부;
상기 수집된 이미지를 이용하여 디자인 생성 모델을 기계학습시키는 학습 수단; 및
사용자에 의하여 선택된 디자인 대상 카테고리로서 상기 영화 컨텐츠 카테고리가 입력되는 것에 기초하여, 상기 학습 수단에 의하여 학습된 디자인 생성 모델을 이용하고 상기 분석부의 트렌드 분석 결과를 반영하여, 새로운 영화 컨텐츠 디자인을 생성하는 디자인 생성 수단;을 포함하며,
상기 디자인 생성 수단은 상기 새로운 영화 컨텐츠 디자인을 생성함에 있어서 상기 복수의 카테고리 중 상기 영화 컨텐츠 카테고리 이외의 카테고리에 포함되는 이미지 및 해당 이미지에 연관된 정보를 함께 이용하는 것을 특징으로 하는,
AI를 이용한 영화 컨텐츠 디자인 자동 생성 장치.As a device for automatically generating movie content design using AI,
Collection means for collecting an image and information related to the image through a network, including a plurality of categories as a design object of the automatic design generation device, and including movie content as one of the plurality of categories;
Extracting means for extracting a plurality of constituent elements or features characterizing the image in the image collected through the collection unit;
An analysis unit for analyzing a trend based on a plurality of constituent elements in the image extracted by the extraction unit and information collected through the collection unit;
Learning means for machine learning a design generation model using the collected images; And
A design that generates a new movie content design by using the design generation model learned by the learning means and reflecting the trend analysis result of the analysis unit based on the input of the movie content category as the design target category selected by the user It includes; generating means;
The design generating means is characterized in that in generating the new movie content design, an image included in a category other than the movie content category among the plurality of categories and information related to the image are used together.
A device for automatically generating movie content design using AI.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190045108A KR20200122178A (en) | 2019-04-17 | 2019-04-17 | apparatus and method for generating movie contents components designs based on images and text |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190045108A KR20200122178A (en) | 2019-04-17 | 2019-04-17 | apparatus and method for generating movie contents components designs based on images and text |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200122178A true KR20200122178A (en) | 2020-10-27 |
Family
ID=73136282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190045108A KR20200122178A (en) | 2019-04-17 | 2019-04-17 | apparatus and method for generating movie contents components designs based on images and text |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200122178A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102629517B1 (en) * | 2023-07-18 | 2024-01-29 | 머플 주식회사 | Graphic resource expansion generation method using AI and game production platform using the same |
-
2019
- 2019-04-17 KR KR1020190045108A patent/KR20200122178A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102629517B1 (en) * | 2023-07-18 | 2024-01-29 | 머플 주식회사 | Graphic resource expansion generation method using AI and game production platform using the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240202786A1 (en) | Image/text-based design creating device and method | |
KR102420170B1 (en) | Server for providing products recommending service of shopping mall platform based on user information | |
US10013713B2 (en) | Computer implemented methods and systems for generating virtual body models for garment fit visualisation | |
KR102211400B1 (en) | Apparatus and method for generating designs based on image and text | |
US20210357542A1 (en) | Computer aided systems and methods for creating custom products | |
CN104981830A (en) | Clothing matching system and method | |
KR102102571B1 (en) | System and method for providing online shopping platform | |
CN105426462A (en) | Image searching method and device based on image element | |
US11783408B2 (en) | Computer vision based methods and systems of universal fashion ontology fashion rating and recommendation | |
KR20200122178A (en) | apparatus and method for generating movie contents components designs based on images and text | |
KR20200122177A (en) | apparatus and method for generating game contents components designs based on images and text | |
KR20200122179A (en) | apparatus and method for generating interior designs based on images and text | |
Podlasov et al. | Japanese street fashion for young people: A multimodal digital humanities approach for identifying sociocultural patterns and trends | |
JP2012194782A (en) | Server for outfit simulation, system for automatically creating image data of clothes or the like for outfit simulation, and method for automatically creating image data of clothes or the like for outfit simulation | |
CN113553633A (en) | Data generation method and device, electronic equipment and computer storage medium | |
Hou et al. | Climaxing vr character with scene-aware aesthetic dress synthesis | |
Sanno | Muslim fashion influencers shaping modesty in the twenty-first century on social media | |
WO2019178837A1 (en) | Clothing customization design method and platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal |