KR102211400B1 - 이미지/텍스트 기반 디자인 생성 장치 및 방법 - Google Patents

이미지/텍스트 기반 디자인 생성 장치 및 방법 Download PDF

Info

Publication number
KR102211400B1
KR102211400B1 KR1020190142833A KR20190142833A KR102211400B1 KR 102211400 B1 KR102211400 B1 KR 102211400B1 KR 1020190142833 A KR1020190142833 A KR 1020190142833A KR 20190142833 A KR20190142833 A KR 20190142833A KR 102211400 B1 KR102211400 B1 KR 102211400B1
Authority
KR
South Korea
Prior art keywords
design
elements
unit
image
new
Prior art date
Application number
KR1020190142833A
Other languages
English (en)
Other versions
KR20190128143A (ko
Inventor
송우상
리지안리
신기영
Original Assignee
송우상
리지안리
신기영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송우상, 리지안리, 신기영 filed Critical 송우상
Priority to KR1020190142833A priority Critical patent/KR102211400B1/ko
Publication of KR20190128143A publication Critical patent/KR20190128143A/ko
Application granted granted Critical
Publication of KR102211400B1 publication Critical patent/KR102211400B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

본 발명은 이미지 데이터 및 텍스트 데이터를 파싱하는 파싱부; 파싱된 이미지 데이터 및 텍스트 데이터를 기초로 인공지능을 이용하여 디자인 생성 모델을 학습시키는 학습부; 및 상기 학습부에서 학습된 디자인 생성 모델을 이용하여 특정 아이템의 새로운 디자인 또는, 디자인 요소를 생성하는 디자인 생성부를 포함하는 디자인 생성 장치를 제공한다.

Description

이미지/텍스트 기반 디자인 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING DESIGNS BASED ON IMAGE AND TEXT}
본 발명은 이미지 및 텍스트 기반 유행 디자인 추출 및 디자인 생성 장치 및 방법에 관한 것이다.
디자인의 유행의 변화 속도는 매우 빠르다. 특히, 글로벌 스파 브랜드가 생기고, SNS가 더욱 활발해지면서 유행의 변화 속도는 더욱 빨라지고, 유행 아이템은 세계적으로 동일한 디자인으로 수렴하는 경향이 생겼다.
이에 따라, 빠른 유행 변화 속도와 글로벌한 디자인에 따른 공급을 맞추기 위하여, 디자이너는 반복적 자료 수집, 빠른 디자인 작업 보조가 필요하고, 패션 MD는 별도의 최신 트렌드, 신흥 브랜드 정보 수집과 분석이 필요했다. 또한, 디자이너들은 빠르게 변화하는 유행 트렌드를 빠지지 않고 조사하여, 그에 맞는 디자인을 해야한다. 그러나, 급한 경우에는 7일 내에 디자인 3개를 만들어야 하기도 하는데, 실제로 200-300벌을 그려야 비로소 새로운 디자인 하나를 완성할 수 있었다.
또한, 패션 MD의 경우에도 트렌트 및 브랜드를 조사하기 위하여 컬렉션을 탐방하고 뉴욕/파리 등 주요 패션 도시들을 가서 오더 리스트와 룩북을 만들어야 하는 등 패션 트렌드를 업데이트하고 새로운 디자인을 생성하는 데에 많은 비용, 노력 시간이 들어 비효율적이였다.
본 발명의 일 실시예에 따르면, 이미지 데이터 및 텍스트 데이터를 파싱하는 파싱부; 파싱된 이미지 데이터 및 텍스트 데이터를 기초로 인공지능을 이용하여 디자인 생성 모델을 학습시키는 학습부; 및 상기 학습부에서 학습된 디자인 생성 모델을 이용하여 특정 아이템의 새로운 디자인 또는, 디자인 요소를 생성하는 디자인 생성부를 포함하는 디자인 생성 장치를 제공하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 파싱된 이미지 데이터 및 텍스트 데이터를 기초로 인공지능을 이용하여 디자인 생성 모델을 학습시키는 단계; 및 상기 학습된 디자인 생성 모델을 이용하여 특정 아이템의 새로운 디자인 또는, 새로운 디자인 요소를 생성하는 단계를 포함하는 디자인 생성 방법을 제공하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 이미지 및 텍스트를 기반으로 새로운 디자인 생성이 가능한 저장매체에 저장된 프로그램으로서, 파싱된 이미지 데이터 및 텍스트 데이터를 기초로 인공지능을 이용하여 디자인 생성 모델을 학습시키는 단계; 및 상기 학습된 디자인 생성 모델을 이용하여 특정 아이템의 새로운 디자인 또는, 새로운 디자인 요소를 생성하는 단계를 실행하는 프로그램을 제공하는 것을 특징으로 한다.
본 발명의 다양한 실시 예에 따르면, 빠르게 변화하는 디자인의 유행에 따라 시간적으로/비용적으로 더욱 효율적인 수단으로 새로운 디자인이 생성될 수 있다.
도 1은 본 발명의 일 실시예에 따른 전체 구성도이다.
도 2a는 본 발명의 일 실시예에 따른 디자인 생성 장치의 구성도이다.
도 2b 내지 도 2f는 본 발명의 일 실시예에 따른 디자인 생성 장치의 디자인 생성 과정을 간략하게 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 추출부의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 디자인 생성부의 구성도이다.
도 5는 본 발명의 일 실시예에 따른 디자인 생성 모델을 학습시켜 디자인을 생성하는 방법의 순서도이다.
도 6은 본 발명의 일 실시예에 따른 디자인 변경 방법의 간략한 순서도이다.
도 7a는 본 발명의 일 실시예에 따른 디자인 합성 방법의 간략한 순서도이다.
도 7b는 본 발명의 일 실시예에 따른 디자인 요소 생성의 간략한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 디자인 생성 방법의 사용예이다.
도 9는 본 발명의 일 실시예에 따른 디자인 합성 방법의 사용예이다.
도 10은 본 발명의 일 실시예에 따른 방법이 실행되는 프로그램이 저장되는 하드웨어의 구성을 나타내는 도면이다.
이하에서는 도면을 참조하여 본 개시에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분이 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 전체 구성도이다.
디자인 생성 장치(200)는 웹사이트, SNS, 블로그 등 인터넷 상에서 실시간으로 노출되는 이미지 및 해당 이미지에 관련된 텍스트 데이터를 파싱한다. 또한, 디자인 생성 장치(200)는 쇼핑몰과 같은 웹사이트에서 이미지를 파싱할 때에, 해당 이미지에 해당하는 판매량, 판매액 데이터도 파싱할 수 있다. 또한, 해당 이미지에 관련된 텍스트는 예를 들어, 쇼핑몰에서 티셔츠를 판매하는 경우 해당 이미지의 카테고리나 상품명에 기재되어 있는 '티셔츠', '티' 또는 '상의' 등의 텍스트일 수 있다. 또한, 텍스트 데이터에는 소재, 재질과 같은 해당 제품의 제품 사양에 대한 정보가 포함될 수도 있다.
또한, 디자인 생성 장치(200)는 인스타그램 또는 페이스북 등과 같은 SNS에 일정 기간 업로드되는 이미지 데이터를 실시간으로 파싱하여 수신할 수 있다. 인스타그램 또는 페이스북 등과 같은 SNS에 업로드되는 이미지들을 통하여 최신 트렌드를 알 수 있다. 또한 디자인 생성 장치(200) 자체에 저장되어 있는 이미지 데이터 및 텍스트 데이터를 파싱할 수 있다.
웹사이트, SNS, 블로그 등 인터넷 상에서 실시간으로 노출되거나, 디자인 생성 장치(200) 내에 있는 이미지 및 해당 이미지에 관련된 텍스트 데이터를 파싱한 디자인 생성 장치(200)는 파싱된 이미지 및 텍스트를 기초로 하여 특정 아이템에 대한 새로운 디자인 또는 디자인 요소를 생성한다. 여기서 디자인 요소는, 패턴, 형태, 색상 등 디자인을 구성할 수 있는 모든 요소 중 적어도 하나를 포함할 수 있다.
구체적으로, 디자인 생성 장치(200)는 파싱한 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 파싱한 이미지 및 텍스트 데이터 이외에도, 아이템 추출 모델(objection detection)을 이용한다. 예를 들어, 아이템에는 신발, 가방, 원피스, 넥타이, 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함될 수 있는데, 이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다.
또한, 파싱된 이미지와 관련된 텍스트 데이터 역시 이미지 내에서 아이템을 추출하기 위하여 사용될 수 있다. 또한, 하나의 이미지에서 복수의 아이템이 추출될 수 있다. 예를 들어, 하나의 이미지에 비니를 쓰고 터틀넥 스웨터에 피코트를 입고, 청바지를 입고 스니커즈를 신은 남성이 서있다면, 해당 이미지에서 추출되는 아이템은 '비니', '터틀넥 스웨터', '피코트', '청바지' 및 '스니커즈'일 수 있다.
또한, 디자인 생성 장치(200)는 추출된 아이템 각각에 대한 디자인의 요소를 추출한다. 디자인의 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 예를 들어, 도 2b를 참조하면, 꽃 형상의 프린트가 전체적으로 들어간 민소매이고 무릎길이의 흰색의 플레어 원피스의 디자인 요소는, 꽃 형상의 프린트, 민소매, 흰색, 무릎길이, 플레어 원피스라는 요소를 포함한다. 또한, 디자인 생성 장치(200)는 아이템 각각에 대한 디자인의 요소뿐만 아니라, 수집된 이미지 중 아이템이 추출되지 않은 이미지에서의 전체적인 무드, 형상, 색상 등의 요소를 이용하여 디자인 요소, 예를 들어, 패턴, 색상, 형상 등을 추출할 수도 있다.
디자인 생성 장치(200)는 추출된 디자인 또는 디자인 요소 중에서 상위 디자인 또는 디자인 요소를 추출할 수 있다. 구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수가 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 해당 디자인 요소 자체에 대해서, 노출 빈도수, 판매량, 선호도 등을 모두 고려하여 일정 기준값 이상의 디자인 요소가 추출될 수 있다. 예를 들어, 도 2b를 참조하면, 추출된 디자인들에서의 디자인 요소가 “흰 색”, “민소매”, “꽃무늬” 및 “플레어 원피스”이면 각각의 요소가 상위 디자인 요소일 수 있다. 또한, 특정 디자인 또는 디자인 요소가 상위 디자인 또는 디자인 요소인지에 대해서 판단할 때에 셀럽 등 유명인이 착용한 아이템에 포함된 디자인 또는 디자인 요소인지 여부를 판단하고, 이러한 디자인 또는 디자인 요소에 대해서는 더욱 가중치를 주어 판단할 수 있다.
디자인 생성 장치(200)는 상위 디자인 또는 디자인의 요소를 추출한 후에 이를 저장부에 저장한다. 디자인 생성 장치(200)는 디자인의 빠른 변화에 따라 실시간으로 상위 디자인의 요소를 추출하여 업데이트하고, 수많은 아이템 별로 상위 디자인 요소를 카테고리화하여 저장한다.
또한, 디자인 생성 장치(200)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다. 또한, 디자인 생성 장치(200)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행하여 그 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다. 디자인 또는 디자인 요소에 대한 평가는 후술하도록 한다.
이후에, 디자인 생성 장치(200)는 학습부에서 실시간으로 학습되는 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다.
새로운 디자인을 생성하는 데에는 카테고리 특화가 가능하고 랜덤 생성이 가능한 GAN(generative adversarial networks), 특정 디자인의 랜덤 변형이 가능하고 특정 디자인의 특성 유사도가 높은 형태로 새로운 디자인을 생성하는 VAE(Variational Autoencoder)+GAN, 특정 디자인 요소를 사람의 유전 형질(생김새 등)처럼 인식하여 다양한 교배를 만들어 내고, 이에 대한 피드백을 바탕으로 보다 상품성이 높은 새로운 변형을 반복적으로 세대간 전이할 수 있는 genetic algorithm + GAN, 디자인 변경을 위한 conditional GAN, 및 새로운 디자인을 하기 위한 영감을 다양한 이미지 등 데이터에서 추출하여 기존의 디자인의 외양을 유지하면서 스타일을 변형하는 style transfer 기술이 이용될 수 있다.
머신 러닝은 크게 세가지 분류로 나뉘어지는데, 첫 번째는 지도학습(SupervisedLearning), 두 번째는 강화학습(Reinforcement learning) 그리고 마지막은 비지도 학습(Unsupervised Learning)이다.
여기서, GAN은 비지도 학습에 속하며, 이미지를 생성하는 Generator(G)와, Generator에 의하여 생성된 이미지를 평가하는 Discriminator(D)가 서로 대립하여 서로의 성능을 개선시켜 나가는 모델로서 새로운 이미지를 생성한다. 구체적으로, D는 원래의 데이터 만을 참으로 판단하기 위하여 노력하고, G는 D가 거짓으로 판별하지 못하도록 가짜 데이터를 생성하여 두 모델의 성능이 함께 향상되어 최종적으로는 D가 실 데이터와 가짜 데이터를 구분하지 못하게 된다.
디자인을 생성하는 일 실시예로서, 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 디자인을 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 무작위로 변경, 합성하여 새로운 디자인 요소를 생성하는 방법이 있다.
예를 들어, 도 2f를 참조하면, 꽃 사진에서 꽃에 대한 패턴을 추출하고, 노을이 지는 사진에서 노을 색 및 무드를 추출하여, 꽃 무늬가 들어가 노을 색인 패턴이 생성될 수 있다.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.
이어서, 디자인 생성 장치(200)는 생성된 새로운 디자인들 또는 디자인 요소들을 일정한 기준에 따라 평가한다. 이 때, 디자인 생성 장치(200)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소를 순위화할 수 있다. 새로운 디자인들 또는 디자인 요소를 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 동일한 디자인 또는 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인 또는 디자인 요소에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인 또는 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 새로운 디자인 요소를 순위화한다.
또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.
도 2a는 본 발명의 일 실시예에 따른 디자인 생성 장치(200)의 구성도이다.
디자인 생성 장치(200)는 입력부(201), 파싱부(202), 추출부(203), 저장부(204), 상위 디자인 추출부(206), 학습부(207), 디자인 생성부(208), 표시부(210), 전송부(212)를 포함한다.
입력부(201)를 통하여 텍스트나 레이블을 수신하여 벡터값의 변경에 반영할 수 있다.
파싱부(202)는 네트워크를 통하여 외부의 웹사이트, 블로그, 또는 SNS 서버로부터 또는 저장부(204)로부터 실시간으로 이미지 및 해당 이미지에 관련된 텍스트 데이터를 파싱한다. 또한, 특정 웹사이트 서버 또는 디자인 생성 장치 자체로부터 특정 이미지와 관련된 판매량 데이터, 판매액 데이터를 파싱한다. 또한, 해당 이미지에 관련된 텍스트는 예를 들어, 쇼핑몰에서 티셔츠를 판매하는 경우 해당 이미지의 카테고리나 상품명에 기재되어 있는 '티셔츠', '티' 또는 '상의' 등의 텍스트일 수 있다.
추출부(203)는 파싱한 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 파싱한 이미지 및 텍스트 데이터 이외에도, 아이템 추출 모델(objection detection)을 이용한다. 예를 들어, 아이템에는 신발, 가방, 원피스, 넥타이, 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함될 수 있는데, 이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다.
또한, 추출부(203)는 추출된 아이템 각각에 대한 디자인의 요소를 추출한다. 디자인의 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 추출부(203)는 하나의 이미지에서 복수의 아이템을 추출할 수 있다. 예를 들어, 도 2c를 참조하면, 이미지에 고양이를 안고 선글라스를 쓰고 있고, 핫팬츠와 검은 색 티셔츠를 입고, 쪼리를 신은 여자가 있으면, 추출되는 아이템은 선글라스, 핫팬츠, 티셔츠, 신발(쪼리)이다. 여기서 고양이는 아이템으로 추출되지 않는다.
또한, 추출부(203)는 추출된 아이템 각각에 대한 디자인의 요소를 추출한다. 디자인의 요소는 색상, 소매 길이, 핏, 패턴, 프린트, 재질 등 아이템을 구성하는 모든 외적 요소를 포함한다. 예를 들어, 도 2b를 참조하면, 꽃 형상의 프린트가 전체적으로 들어간 민소매이고 무릎길이의 흰색의 플레어 원피스의 디자인 요소는, 꽃 형상의 프린트, 민소매, 흰색, 무릎길이, 플레어 원피스라는 요소를 포함한다.
또한, 추출부(203)는 아이템 각각에 대한 디자인의 요소뿐만 아니라, 수집된 이미지 중 아이템이 추출되지 않은 이미지에서의 전체적인 무드, 형상, 색상 등의 요소를 이용하여 디자인 요소, 예를 들어, 패턴, 색상, 형상 등을 추출할 수도 있다.
저장부(204)는 아이템 추출 모델을 저장한다. 아이템 추출 모델은 해당 이미지에서의 벡터값이 어떤 아이템에 해당하는지를 판단할 수 있다. 또한, 저장부(204)는 추출되는 아이템을 카테고리화하여 저장한다. 또한 저장부(204)는 상위 디자인 추출부(206)에서 추출된 아이템 별 상위 디자인을 카테고리화하여 저장한다.
상위 디자인 추출부(206)는 추출된 디자인들 중에서 상위 디자인 또는 디자인 요소가 무엇인지를 판단한다. 구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수가 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 예를 들어, 도 2b를 참조하면, 추출된 디자인들에서의 디자인 요소가 “흰 색”, “민소매”, “꽃무늬” 및 “플레어 원피스”이면 각각의 요소가 상위 디자인일 수 있다. 또한, 상위 디자인 또는 디자인 요소를 판단할 때에 셀럽 등 유명인이 착용했는지 여부를 판단함으로써 이러한 디자인 또는 디자인 요소에 대해서는 미리 결정된 가중치를 주어 판단할 수 있다.
학습부(207)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다. 또한, 학습부(207)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행하여 그 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다.
디자인 생성부(208)는 학습부에서 실시간으로 학습되는 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다. 디자인 생성부(208)에서 새로운 디자인을 생성하는 데에는 카테고리 특화가 가능하고 랜덤 생성이 가능한 GAN(generative adversarial networks), 특정 디자인의 랜덤 변형이 가능한 VAE+GAN, genetic algorithm + GAN, 디자인 변경을 위한 conditional GAN, 및 style transfer 기술이 이용될 수 있다.
구체적으로, 디자인 생성부(208)는 새로운 디자인 또는 디자인 요소를 생성하기 위하여 다음과 같은 예시적 방법을 이용한다.
디자인을 생성하는 일 실시예로서, 유행하는 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 자동으로 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 기초로 디자인 생성 모델을 이용하여 새로운 디자인 요소를 생성하는 방법이 있다.
예를 들어, 도 2f를 참조하면, 꽃 사진에서 꽃에 대한 패턴을 추출하고, 노을이 지는 사진에서 노을 색 및 무드를 추출하여, 새로운 패턴이 생성될 수 있다.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다. 또한, 이러한 학습된 디자인 생성 모델은 그 입력값과 출력값의 종류에 따라 각각 개별적인 모델을 포함할 수 있다.
이어서, 디자인 생성부(208)는 생성된 새로운 디자인들 또는 디자인 요소들을 일정한 기준에 따라 평가한다. 구체적으로 디자인 생성부(208)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소들을 순위화한다.
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한, 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.
표시부(210)는 디자인 생성부(208)에서 생성된 디자인을 표시할 수 있다.
전송부(212)는 생성된 디자인에 대해서 제조를 진행하고자 하는 경우에, 제조하고자 하는 디자인과 제조 수량을 공장 쪽으로 전송할 수 있다.
도 3은 본 발명의 일 실시예에 따른 추출부(203)의 구성도이다.
추출부(203)는 아이템 추출부(300), 디자인 추출부(302)를 포함한다.
아이템 추출부(300)는 수신된 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 수신된 이미지 및 텍스트 데이터 이외에도, 저장되어 있는 아이템 추출 모델을 이용한다. 여기서, 아이템에는 신발, 가방, 원피스, 넥타이 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함되며, 이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다. 또한, 수신된 이미지에서 아이템을 추출하는 데에는 이미지와 관련된 텍스트로 참고로 이용될 수 있다. 또한, 아이템 추출부(300)는 하나의 이미지에서 복수의 아이템을 추출할 수 있다. 예를 들어, 도 2c를 참조하면, 이미지에 고양이를 안고 선글라스를 쓰고 있고, 핫팬츠와 검은 색 티셔츠를 입고, 쪼리를 신은 여자가 있으면, 추출되는 아이템은 선글라스, 핫팬츠, 티셔츠, 신발(쪼리)이다. 여기서 고양이는 아이템으로 추출되지 않는다.
디자인 추출부(302)는 추출된 아이템의 디자인 및 디자인 요소를 추출한다. 또한, 디자인 추출부(302)는 파싱된 이미지, 텍스트 등을 통하여 디자인 요소를 추출할 수도 있다. 디자인 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 디자인 요소는 아이템을 구성하지 않더라도 일반적인 이미지에서의 색상, 무드, 재질, 패턴 등을 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 디자인 생성부(208)의 구성도이다.
디자인 생성부(208)는 디자인 수신부(400), 디자인 변경부(402), 디자인 합성부(404) 및 평가부(406)를 포함한다.
디자인 생성부(208)는 학습부에서 실시간으로 학습되는 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다.
새로운 디자인을 생성하는 데에는 카테고리 특화가 가능하고 랜덤 생성이 가능한 GAN(generative adversarial networks), 특정 디자인의 랜덤 변형이 가능한 VAE+GAN, genetic algorithm + GAN, 디자인 변경을 위한 conditional GAN, 및 style transfer 기술이 이용될 수 있다.
머신 러닝은 크게 세가지 분류로 나뉘어지는데, 첫 번째는 지도학습(SupervisedLearning), 두 번째는 강화학습(Reinforcement learning)그리고 마지막은 비지도 학습(Unsupervised Learning)이다.
여기서, GAN은 비지도 학습에 속하며, 이미지를 생성하는 Generator(G)와, Generator에 의하여 생성된 이미지를 평가하는 Discriminator(D)가 서로 대립하여 서로의 성능을 개선시켜 나가는 모델로서 새로운 이미지를 생성한다. 구체적으로, D는 원래의 데이터 만을 참으로 판단하기 위하여 노력하고, G는 D가 거짓으로 판별하지 못하도록 가짜 데이터를 생성하여 두 모델의 성능이 함께 향상되어 최종적으로는 D가 실 데이터와 가짜 데이터를 구분하지 못하게 된다.
또한, cGAN은 랜덤하게 Generation 하는 것이 아닌 원하는 것을 generation할 수 있는 것이 기존의 GAN과 다른 점이다.
디자인 수신부(400)는 새로운 디자인을 생성하기 위하여 요소들을 다 수신한다. 예를 들어, 디자인 생성 모델, 디자인 요소들을 수신할 수 있다.
디자인 변경부(402)는 아이템별 추출된 디자인의 요소를 이용하여 디자인 요소의 벡터값을 변경하여 새로운 디자인을 생성한다. 구체적으로, 꽃무늬 셔츠가 있으면, 수집된 이미지에서 추출된 꽃무늬 셔츠에서의 꽃무늬들의 벡터값을 변경하여 새로운 꽃무늬의 셔츠의 디자인을 생성할 수 있다. 또한, 디자인 변경부(402)는 디자인 생성 모델을 이용하여 아이템에서 추출된 디자인의 요소 및, 아이템이 없는 이미지에서 추출된 디자인의 요소에 대한 벡터값을 변경하여 새로운 디자인의 요소를 생성할 수 있다. 벡터값 변경은 자동으로 이루어질 수도 있고, 설정값을 수신하여 이루어 질 수도 있다.
수집된 아이템에서 추출된 디자인 요소를 이용하여 디자인 합성부(404)는 수집된 아이템별 유행 디자인의 요소 중 상이한 요소를 합성하여 해당 아이템의 새로운 디자인을 생성한다. 또한, 디자인 변경부와 디자인 합성부는 혼합해서 사용하여 새로운 디자인을 생성할 수도 있다.
구체적으로, 도 2e를 참조하면, 각각 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 동일한 아이템의 상이한 요소를 합성할 수도 있다. 예를 들어, 유행하는 디자인의 요소인 블라우스의 “커프스 소매”, 블라우스의 “꽃 모양 카라”, 블라우스의 “민트색”이 병합되어 하나의 블라우스 디자인이 생성될 수 있다.
또한, 디자인 합성부(404)는 아이템에서 추출된 디자인의 요소, 아이템이 포함되어 있지 않은 이미지에서 추출된 디자인의 요소를 합성하여 새로운 디자인 요소를 생성할 수도 있다.
또한, 디자인 합성부(404)는 아이템에서 추출된 디자인의 요소, 아이템이 포함되어 있지 않은 이미지에서 추출된 디자인의 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성할 수도 있다.
평가부(406)는 디자인 변경부(402) 또는 디자인 합성부(404)에서 새롭게 생성된 디자인 또는 디자인 요소를 일정한 기준으로 평가한다. 구체적으로, 평가부(406)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소들을 순위화할 수 있다.
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지(새로운 디자인 또는 디자인 요소들과 유사한 디자인 또는 디자인 요소를 포함하고 있음)에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 평가부(406)는 이렇게 생성된 새로운 디자인을 순위화할 수 있다.
예를 들어, 생성된 디자인이 버건디 컬러의 숏 가디건이라고 하면, 상품마다 버건디 컬러도 다양하게 표현될 수가 있다. 즉, 동일한 버건디 컬러지만 조금씩 다른 톤의 버건디 컬러가 추출될 수 있다. 따라서, 다양한 종류의 버건디 숏 가디건에서, 버건디 컬러의 선택을 위하여, 동일한 버건디 컬러라도 더 선호되는 컬러를 추출하여 최종 버건디 컬러의 숏 가디건을 도출할 수 있다. 여기서, 동일한 버건디 컬러지만 더 선호되는 컬러를 추출하기 위하여, 선호도가 높은 특정 브랜드에서 사용하는 컬러인지, 노출도가 높은 이미지에서 사용되는 컬러인지 여부 등 컬러들 간의 선호도를 판단할 수 있는 요소를 기초로 판단할 수 있다.
도 5는 본 발명의 일 실시예에 따른 유행 디자인 추출 방법의 순서도이다.
파싱부(202)를 통하여 수신된 웹사이트, SNS, 블로그에서 실시간으로 노출되는 이미지 및 해당 이미지에 관련된 텍스트, 텍스트를 파싱한다(S500). 또한, 파싱부(202)는 디자인 생성 장치 내에 저장되어 있는 이미지, 이미지에 관련된 텍스트, 텍스트를 파싱한다.
아이템 추출부(300)는 수집된 이미지 및 텍스트를 기초로 아이템을 추출한다(S502).
구체적으로, 아이템 추출부(300)는 파싱된 이미지 및 텍스트 데이터를 이용하여 아이템을 추출한다. 아이템을 추출함에 있어서는 파싱된 이미지 및 텍스트 데이터 이외에도, 저장되어 있는 아이템 추출 모델을 이용한다. 여기서, 아이템에는 신발, 가방, 원피스, 넥타이 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함되며, 이미지에서 셔츠로 인식되는 벡터값이 있으면 해당 이미지 중 '셔츠' 부분을 인식하여 셔츠 아이템을 추출할 수 있다. 또한, 수신된 이미지에서 아이템을 추출하는 데에는 이미지와 관련된 텍스트로 참고로 이용될 수 있다. 또한, 아이템 추출부(300)는 하나의 이미지에서 복수의 아이템을 추출할 수 있다.
아이템 추출부(300)에서 아이템을 추출하면 디자인 추출부(302)에서 해당 아이템에서 디자인의 요소를 추출한다(S504). 아이템을 추출함에 있어서는 파싱한 이미지 및 텍스트 데이터 이외에도, 아이템 추출 모델(objection detection)을 이용한다. 예를 들어, 아이템에는 신발, 가방, 원피스, 넥타이, 셔츠, 모자, 가디건, 코트 등 다양한 아이템이 포함될 수 있는데, 이미지에서 신발에 대응하는 벡터값이 있으면 해당 이미지 중 '신발' 부분을 인식하여 신발 아이템을 추출할 수 있다.
구체적으로, 디자인 추출부(302)는 추출된 아이템의 디자인 요소를 추출한다(S504). 디자인 요소는 색상, 소매 길이, 핏, 패턴, 프린트 등 아이템을 구성하는 모든 외적 요소를 포함한다. 또한, 디자인 요소는 재질, 무드 등을 포함할 수 있다. 또한, 디자인 추출부(302)는 아이템 각각에 대한 디자인의 요소뿐만 아니라, 수집된 이미지 중 아이템이 추출되지 않은 이미지에서의 전체적인 무드, 형상, 색상 등의 요소를 이용하여 디자인 요소, 예를 들어, 패턴, 색상, 형상 등을 추출할 수도 있다.
이어서 상위 디자인 추출부(206)와 디자인 추출부(302)에서 추출된 디자인 또는 디자인 요소 중 상위 디자인을 판단한다(S506).
구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수가 기준값 이상인 경우를 기초로 유행하는 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 디자인 또는 디자인 요소가 상위 디자인 또는 디자인 요소인지 판단할 때에 셀럽 등 유명인이 착용했는지 여부를 판단하여, 이러한 디자인 또는 디자인 요소에 대해서는 더욱 가중치를 주어 판단할 수 있다.
이어서, 인공지능을 이용하여 새로운 디자인 또는 디자인 요소를 생성하는 디자인 생성 모델을 학습시킨다(S508).
학습부(207)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다. 또한, 학습부(207)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행한 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다.
이어서, 학습된 디자인 생성 모델을 이용하여 새로운 디자인을 생성한다(S510).
구체적으로, 디자인 생성부(208)는 새로운 디자인 또는 디자인 요소를 생성하기 위하여 다음과 같은 예시적 방법을 이용한다.
디자인을 생성하는 일 실시예로서, 유행하는 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 무작위로 변경, 합성하여 새로운 디자인 요소를 생성하는 방법이 있다.
예를 들어, 도 2f를 참조하면, 꽃 사진에서 꽃에 대한 패턴을 추출하고, 노을이 지는 사진에서 노을 색 및 무드를 추출하여, 꽃 무늬가 들어가 노을 색인 패턴이 생성될 수 있다.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.
도시되어 있지는 않지만, 디자인 생성부는 디자인을 생성한 후 생성된 디자인을 평가하여 순위화한다. 구체적으로 디자인 생성부(208)는 다양한 요소를 고려하여 추출된 새로운 디자인들 또는 디자인 요소들을 순위화한다.
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인을 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 디자인 변경 방법의 순서도이다.
이어서 디자인 변경부(402)는 학습된 디자인 생성 모델을 이용하여 디자인 요소의 벡터값을 변경하여 새로운 디자인 또는 디자인 요소를 생성한다(S602). 벡터값은 입력부를 통하여 수신된 설정값에 의하여 변경될 수도 있고, 자동으로 변경될 수도 있다.
또한, 이렇게 생성된 디자인 또는 디자인 요소는 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.
생성된 디자인 또는 디자인의 요소는 평가되어 순위화된다(S604).
새로운 디자인들 또는 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 상위 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.
도 7a는 본 발명의 일 실시예에 따른 디자인 생성 방법의 순서도이다.
디자인 생성 모델을 이용하여 디자인 합성부(404)는 수집된 아이템별 유행 디자인의 요소 중 상이한 요소를 이용하여 새로운 디자인을 생성한다(S702).
생성된 새로운 디자인은 특정 아이템에 대한 디자인으로 한정될 수 있다. 다만, 상이한 요소가 추출된 아이템은 상이한 아이템일 수도 있다.
생성된 디자인은 다시 디자인 생성 모델을 학습시킬 때 반영되어 디자인 생성 모델을 학습시킬 수 있고, 새롭게 학습된 디자인 생성 모델은 다시 새로운 디자인 또는 디자인 요소를 생성할 때 이용될 수 있다.
생성된 디자인은 평가되어 순위화된다(S704).
새로운 디자인들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인을 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인에 대해서는 가중치를 주고, 생성된 디자인에 포함된 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인 요소에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인을 순위화할 수 있다. 또한 이렇게, 새로운 디자인에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.
도 7b는 본 발명의 일 실시예에 따른 디자인 생성 방법의 순서도이다
디자인 생성 모델을 이용하여 새로운 디자인 요소를 생성한다(S706).
특정 아이템에 대한 디자인 요소뿐만 아니라, 아이템이 추출되지 않는 이미지 기반으로 추출되는 디자인 요소를 이용하여 새로운 디자인의 요소를 생성한다(S706). 새로운 디자인 요소로는 패턴, 색상, 핏 등이 포함될 수 있다.
생성된 디자인 요소에 대한 평가를 하여 순위화한다(S708).
새로운 디자인 요소들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인의 노출 빈도수, 특정 디자인 요소를 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 요소에 대해서는 가중치를 주고, 동일하게 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화할 수 있다. 또한 이렇게, 새로운 디자인 또는 새로운 디자인 요소에 순위가 매겨진 정보를 이용하여 디자인 생성 모델을 학습시킬 수 있다.
도 8을 참조하면 디자인 변경부(402)를 통하여 생성된 새로운 디자인이 도시되어 있다. 다양한 프린트가 그려져 있는 셔츠가 유행인 경우 기존의 프린트 요소를 변경하여 새로운 프린트가 그려진 셔츠가 디자인된다.
도 9를 참조하면, 상이한 디자인 요소를 합성하여 새로운 디자인이 생성된 예가 도시된다.
도 10은 본 발명의 일 실시예에 따른 방법이 실행되는 프로그램이 저장되는 하드웨어의 구성을 나타내는 도면이다.
해당 서버(1001)는 본 발명의 일 실시예에 따른 디자인 생성 장치에 해당한다.
서버(1001)는 메모리(1000), 프로세서(1002), 입력부(1004), 표시부(1006) 및 통신부(1008)를 포함한다.
메모리(1000)는 저장부(204)에 해당하는 것으로서, 아이템 추출 모델을 저장한다. 아이템 추출 모델은 해당 이미지에서의 벡터값이 어떤 아이템에 해당하는지를 판단할 수 있다.
또한, 메모리(1000)는 추출되는 아이템을 카테고리화하여 저장한다. 또한, 메모리(1000)는 유행 디자인 추출부(206)에서 추출된 아이템 별 디자인 요소를 카테고리화하여 저장한다. 또한, 메모리(1000)는 생성된 새로운 디자인을 순위화하는 모델을 저장할 수 있다.
프로세서(1002)는 수집된 이미지와 텍스트를 이용하여 새로운 디자인을 생성한다. 디자인 생성 장치의 추출부(203) 및 디자인 생성부(208)에 해당한다.
프로세서(1002)는 수집된 이미지와 텍스트를 이용하여, 메모리(1000)에 저장되어 있는 아이템 추출 모델을 이용하여, 이미지 및 텍스트를 이용하여 아이템을 추출한 후, 각 아이템 마다의 디자인 또는 디자인 요소를 추출한다. 또는, 프로세서(1002)는 아이템을 추출하지 않아도, 아이템이 추출되지 않는 이미지 및 텍스트를 이용하여 디자인 및 디자인 요소를 추출할 수 있다.
또한, 프로세서(1002)는 추출된 디자인 또는 디자인 요소로부터 상위 디자인 또는 상위 디자인 요소를 추출한다. 구체적으로, SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수가 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트에서 특정 디자인 또는 디자인 요소를 포함하는 아이템의 판매량 및 판매액이 기준값 이상인 경우를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 상위 디자인 또는 디자인 요소를 판단할 수 있다. 또한, 특정 디자인 또는 디자인 요소가 상위 디자인 또는 디자인 요소인지 여부를 판단할 때에 셀럽 등 유명인이 착용했는지 여부를 판단함으로써 이러한 디자인에 대해서는 더욱 가중치를 주어 판단할 수 있다.
또한, 프로세서(1002)는 디자인 생성 모델을 학습시킨다.
프로세서(1002)는 인공 지능을 이용하여 파싱된 이미지 데이터 및 텍스트 데이터, 추출된 추출된 특정 아이템에 대한 디자인의 요소/디자인의 요소, 상기 디자인 추출부에서 추출된 특정 아이템에 대한 디자인의 요소 중 상위 디자인 요소를 반영하여 디자인 생성 모델을 생성하고 학습시킬 수 있다.
또한, 프로세서(1002)는 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소를 추가로 고려하여 디자인 생성 모델을 학습시키고, 또한 특정 아이템에 대한 생성된 디자인, 또는 디자인 요소에 대한 평가를 행하여 그 결과를 추가로 고려하여 디자인 생성 모델을 학습시킨다.
이어서, 프로세서(1002)는 상위 디자인들 및 디자인 생성 모델을 이용하여, 새로운 디자인을 생성한다.
디자인을 생성하는 일 실시예로서, 유행하는 디자인 요소의 벡터값을 변경하여 새로운 디자인 요소를 생성하는 방법이 있다. 벡터값의 변경은 설정값으로 입력될 수 있고, 학습된 디자인 생성 모델에 의하여 이루어질 수 있다. 구체적으로, 예를 들어, 도 2d를 참조하면, 꽃무늬 원피스가 유행이라면, 수집된 이미지에서 추출된 꽃무늬 원피스에서의 기존의 꽃무늬들의 벡터값이 변경되어 새로운 꽃무늬의 원피스의 디자인을 생성할 수 있다.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소 중 상이한 요소를 합성하여 특정 아이템에 대한 새로운 디자인을 생성하는 방법이 있다. 구체적으로, 각각 유행하는 디자인의 요소 중 상이한 요소를 병합하여 새로운 생성할 수 있다. 예를 들어, 도 2 e를 참조하면, 유행하는 디자인 요소 중 니트의 “퍼프 소매”, 셔츠의 “울트라 바이올렛 색”, “롱 원피스”를 합성하여 퍼프 소매를 가지고 울트라 바이올렛 색인 롱 원피스인 디자인이 생성될 수 있다. 또한, 이러한 상이한 요소에 대해서 자동으로 랜덤하게 병합될 수도 있고, 입력된 (병합될 디자인 요소에 대한)설정값에 따라 병합될 수도 있다.
또한, 새로운 디자인 요소를 생성하는 다른 실시예로서, 디자인 요소들을 무작위로 변경, 합성하여 새로운 디자인 요소를 생성하는 방법이 있다.
또한, 프로세서(1002)는 생성된 디자인 또는 디자인 요소를 평가하여 순위화한다. 새로운 디자인들을 순위화하는 데에는, 일반적으로 SNS 또는 웹사이트 등에 노출되는 이미지 상에서 특정 디자인 또는 디자인 요소의 노출 빈도수, 특정 디자인을 포함하는 아이템의 판매량 및 판매액, 특정 웹사이트 또는 SNS 등 인터넷 상에서 노출되는 해당 이미지에 대한 선호도(클릭수, 피드백 수, 공유수 등 해당 이미지에 대한 선호도를 추정할 수 있는 모든 데이터를 기초로 판단함)를 기초로 판단할 수 있다. 또한, 노출 빈도수를 판단할 때 또는 순위를 결정할 때, 셀럽 또는 유명인의 SNS 또는 이미지에서 노출된 디자인 또는 디자인 요소에 대해서는 가중치를 주고, 디자인의 요소 중에서도 특정 브랜드 또는 특정 웹사이트에서 판매하는 디자인에 대한 선호도, 판매량 또는 판매액이 더 높은 경우 해당 디자인의 요소에 대해서는 가중치를 줄 수 있다(이하, “가중치 판단”). 디자인 생성 장치(200)는 이렇게 생성된 새로운 디자인 또는 디자인 요소를 순위화하여 일정 순위 이상의 디자인만을 최종 결과 디자인으로 도출한다.
이렇게 순위화된 결과는 디자인 생성 모델을 학습시킬 때 반영된다.
표시부(1006)는 생성된 디자인을 표시할 수 있다.
통신부(1008)는 이미지 데이터 또는 텍스트 데이터를 수신하거나, 생성된 디자인에 대해서 제조를 진행하고자 하는 경우에, 제조하고자 하는 디자인과 제조 수량을 공장 쪽으로 전송할 수 있다.
또한 다양한 실시 예들에 따른 장치 또는 시스템은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 그리고 본 문서에 개시된 실시 예는 개시된 기술 내용의 설명 및 이해를 위해 제시된 것이며 본 발명의 범위를 한정하는 것은 아니다. 따라서 본 문서의 범위는 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (5)

  1. 온라인 상에서 실시간으로 이미지 데이터 및 텍스트 데이터를 파싱하는 파싱부;
    파싱된 상기 이미지 데이터 및 텍스트 데이터를 기초로 인공지능을 이용하여 디자인 생성 모델을 학습시키는 학습부; 및
    사용자에 의한 별도의 입력 없이, 상기 학습부에서 상기 실시간으로 파싱된 데이터에 기초하여 학습된 디자인 생성 모델을 이용하여 특정 아이템에 대한 새로운 디자인 또는, 디자인 요소를 생성하는 디자인 생성부;를 포함하며,
    상기 학습부 및 디자인 생성부는 GAN, VAE+GAN, GA+GAN, cGAN 및 style transfer 중 적어도 하나를 이용하여 디자인 생성 모델의 학습, 및 디자인 또는 디자인 요소의 생성을 수행하며,
    상기 디자인 생성부는 수신된 벡터값을 입력으로 반영하여 상기 특정 아이템의 새로운 디자인 또는 디자인 요소의 생성에 반영하는 디자인 변경부를 포함하는 디자인 생성 장치.
  2. 청구항 1에 있어서,
    상기 디자인 생성부는 실시간으로 학습되는 상기 디자인 생성 모델을 이용하여 실시간으로 새로운 디자인을 생성하는 디자인 합성부를 더 포함하는 디자인 생성 장치.
  3. 청구항 1에 있어서,
    상기 생성된 특정 아이템의 새로운 디자인, 또는 새로운 디자인의 요소를 웹사이트, 블로그 및 SNS 중 적어도 하나에 노출되는 빈도수, 판매량, 선호도 및 미리 설정된 가중치를 기초로 평가하는 평가부를 더 포함하는 디자인 생성 장치.
  4. 청구항 3에 있어서,
    상기 평가부의 평가 결과가 상기 학습부에서 디자인 생성 모델을 학습시킬 때 반영되는 디자인 생성 장치.
  5. 청구항 1에 있어서,
    상기 디자인 생성부는 상기 특정 아이템의 디자인 또는 디자인 요소를 포함하지 않는 이미지 및 텍스트 데이터에 기초하여 상기 특정 아이템의 디자인 또는 디자인 요소를 생성하는 디자인 생성 장치.
KR1020190142833A 2019-11-08 2019-11-08 이미지/텍스트 기반 디자인 생성 장치 및 방법 KR102211400B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190142833A KR102211400B1 (ko) 2019-11-08 2019-11-08 이미지/텍스트 기반 디자인 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190142833A KR102211400B1 (ko) 2019-11-08 2019-11-08 이미지/텍스트 기반 디자인 생성 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180017229A Division KR102045017B1 (ko) 2018-02-12 2018-02-12 이미지/텍스트 기반 디자인 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190128143A KR20190128143A (ko) 2019-11-15
KR102211400B1 true KR102211400B1 (ko) 2021-02-03

Family

ID=68578648

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190142833A KR102211400B1 (ko) 2019-11-08 2019-11-08 이미지/텍스트 기반 디자인 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102211400B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102427484B1 (ko) * 2020-05-29 2022-08-05 네이버 주식회사 이미지 생성 시스템 및 이를 이용한 이미지 생성 방법
KR102528652B1 (ko) * 2020-12-11 2023-05-03 동의대학교 산학협력단 패션 트렌드 및 광고 피드백에 따른 패션 상품 디자인 및 광고 생성 시스템 및 방법
WO2022145526A1 (ko) 2020-12-29 2022-07-07 주식회사 디자이노블 텍스트의 디자인 매칭 방법 및 그 장치
EP4273735A4 (en) 2020-12-29 2024-04-17 Designovel METHOD AND APPARATUS FOR GENERATING A DESIGN BASED ON LEARNED CONDITIONS
KR20230017638A (ko) 2021-07-28 2023-02-06 주식회사 디자이노블 학습된 조건 기반의 신발 디자인 생성 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100511210B1 (ko) * 2004-12-27 2005-08-30 주식회사지앤지커머스 의사 쓰리디 이미지 생성기법을 토대로 한 이용자 적응인공지능 토탈 코디네이션 방법과, 이를 이용한 서비스사업방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524189B1 (ko) * 2012-10-30 2015-06-01 이화여자대학교 산학협력단 의류디자인 개발 시뮬레이션 시스템 및 이를 이용한 의류디자인 개발 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100511210B1 (ko) * 2004-12-27 2005-08-30 주식회사지앤지커머스 의사 쓰리디 이미지 생성기법을 토대로 한 이용자 적응인공지능 토탈 코디네이션 방법과, 이를 이용한 서비스사업방법

Also Published As

Publication number Publication date
KR20190128143A (ko) 2019-11-15

Similar Documents

Publication Publication Date Title
KR102045017B1 (ko) 이미지/텍스트 기반 디자인 생성 장치 및 방법
KR102211400B1 (ko) 이미지/텍스트 기반 디자인 생성 장치 및 방법
KR102420170B1 (ko) 개인 정보에 기반하여 상품 추천 서비스를 제공하는 쇼핑몰 플랫폼을 제공하는 서버
CN110895702B (zh) 一种服饰属性识别检测方法及装置
KR101836056B1 (ko) 이미지 특징 데이터 추출 및 사용
US20210209510A1 (en) Using artificial intelligence to determine a value for a variable size component
US20180308149A1 (en) Systems and methods to curate, suggest and maintain a wardrobe
US20090276291A1 (en) System and method for networking shops online and offline
KR102102571B1 (ko) 온라인 쇼핑 플랫폼을 제공하는 시스템 및 방법
US11783408B2 (en) Computer vision based methods and systems of universal fashion ontology fashion rating and recommendation
CN105224775A (zh) 基于图片处理来对衣服进行搭配的方法和装置
Gong et al. Aesthetics, personalization and recommendation: A survey on deep learning in fashion
KR20210131198A (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
KR20200122178A (ko) 이미지/텍스트 기반 영화 콘텐츠 구성 요소 디자인 생성 장치 및 방법
KR20200122177A (ko) 이미지/텍스트 기반 게임 콘텐츠 구성 요소 디자인 생성 장치 및 방법
KR20200122179A (ko) 이미지/텍스트 기반 인테리어 디자인 생성 장치 및 방법
Nayak et al. Fine-grained Fashion Clothing Image Classification and Recommendation
US20240078576A1 (en) Method and system for automated product video generation for fashion items
KR20230053852A (ko) 패션 스타일 분류 시스템 및 그 분류 방법
CN117217236A (zh) 文本生成方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant