KR20200094821A - 인공지능 기반의 직물 패턴 검색 장치 및 방법 - Google Patents

Abstract

본 발명은 인공지능 기반의 직물 패턴 검색 장치에 관한 것으로, 직물 패턴을 획득하여 차원을 결정하는 직물 패턴 처리부, 상기 직물 패턴을 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습 하여 획득한 직물 특징을 상기 차원에 따라 결정하고, 결정된 상기 직물 특징을 기초로 상기 직물 패턴을 임베딩 공간의 특정 위치에 배치하는 임베딩 공간 처리부 및 신규 직물 패턴이 입력되면 상기 신규 직물 패턴의 직물 특징을 기초로 상기 임베딩 공간 상에 상기 신규 직물 패턴의 위치를 결정하고, 상기 신규 직물 패턴의 위치를 중심으로 특정 반경 내에 있는 유사 직물 패턴을 검색하는 직물 패턴 검색부를 포함한다. 따라서, 본 발명은 딥 메트릭 러닝을 통해 유사한 직물 패턴을 검색할 수 있다.

Description

인공지능 기반의 직물 패턴 검색 장치 및 방법 {APPARATUS AND METHOD FOR SEARCHING FABRIC PATTERN BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능 기반의 직물 패턴 검색 기술에 관한 것으로 보다 상세하게는, 딥 메트릭 러닝을 통해 유사한 직물 패턴을 검색하는 인공지능 기반의 직물 패턴 검색 장치 및 방법에 관한 것이다.

최근 딥러닝의 발달로 여러 분야에서 획기적인 결과를 도출해 냄으로 인해 패션 분야에서도 딥러닝을 접목시켜 패션 아이템을 분석하려는 시도가 꾸준하게 증가하고 있다. 예를 들어, 아마존 에코 룩(Amazon echo look)은 기계학습(machine learning)을 사용하여 사용자에게 어울리는 옷 스타일이나, 사용자가 원하는 옷을 추천해 주는 시스템이다. 아마존 에코 룩은 사용자에게 옷의 스타일에 대해서 다른 선택을 할 수 있도록 의견을 제시해 주거나, 새로운 스타일의 옷을 찾아 낼 수 있도록 도와줄 수 있다. 또한, 알리바바 패션(Alibaba Fashion) AI는 옷들에 단말을 부착하고, 이 단말들과 기계학습을 사용하여, 사용자가 선택한 옷과 잘 어울리는 다른 패션 아이템들을 추천해준다. 이 시스템은 사용자가 패션 아이템을 선택하면 패션 아이템에 부착된 단말을 통해 상품의 정보를 파악하고, 상품과 어울리는 다른 상품들을 추천해준다. 위와 같은 기술들은 사용자가 원하는 옷을 좀 더 쉽게 찾고, 사용자가 스타일을 맞추는 것을 좀 더 쉽게 도와줄 수 있으나, 직물 패턴과 같은 특정 기준에 의한 분류에 대해서는 다루지는 않는다.

소비자가 의상을 선택하는 기준에는 디자인이 큰 부분을 차지한다. 그러나 인터넷 쇼핑몰 에서는 의상을 디자인이 아닌 단순한 카테고리 별로 구분을 하여 보여주고 디자인은 키워드로만 표현되어 있기 때문에 원하는 디자인의 옷을 찾기 위해서는 시간을 들여야 한다는 단점이 있다. 의상 디자인에서 중요한 부분을 차지하는 직물 패턴을 사용하여 의상 검색을 할 수 있도록 한다면 소비자가 원하는 의상을 찾는 것에 큰 도움을 줄 수 있다. 디자이너 역시 원하는 직물 패턴을 디자인하기 위해서는 기존에 있는 직물 패턴으로부터 영감을 얻어 새로운 직물 패턴을 디자인한다. 만약 기존 직물 패턴 디자인과 유사한 디자인을 쉽게 만들어 낼 수 있다면 직물 패턴 디자인 작업을 좀 더 쉽게 해 줄 수 있을 것이다.

한국공개특허 제10-2009-0073420(2009.07.03)호

본 발명의 일 실시예는 직물 패턴 간의 유사도를 거리로 정의하고, 이를 활용하여 직물 패턴을 검색하고 새로운 직물 패턴을 생성해 낼 수 있는 합성곱 신경망을 제안한다.

본 발명의 일 실시예는 먼저 임의의 직물 패턴과 유사 직물 패턴, 유사하지 않은 직물 패턴 등 3개의 직물 패턴을 하나의 데이터로 구성한 데이터셋을 생성하고 이후, 구성된 데이터셋을 통해 트리플렛(Triplet) 신경망 기반 딥 메트릭 러닝을 통해 임의의 직물 패턴에 대한 다차원 좌표를 정의하는 임베딩 신경망을 학습시키는 인공지능 기반의 직물 패턴 검색 장치 및 방법을 제공하고자 한다.

본 발명의 일 실시예는 입력 직물 패턴의 임베딩 공간상 좌표와 유사한 좌표를 가지는 다수의 직물 패턴들을 데이터셋에서 검색하는 인공지능 기반의 직물 패턴 검색 장치 및 방법을 제공하고자 한다.

실시예들 중에서, 인공지능 기반의 직물 패턴 검색 장치는 직물 패턴을 획득하여 차원을 결정하는 직물 패턴 처리부, 상기 직물 패턴을 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습 하여 획득된 직물 특징을 상기 차원에 따라 결정하고, 결정된 상기 직물 특징을 기초로 상기 직물 패턴을 임베딩 공간의 특정 위치에 배치하는 임베딩 공간 처리부 및 신규 직물 패턴이 입력되면 상기 신규 직물 패턴의 직물 특징을 기초로 상기 임베딩 공간 상에 위치를 결정하고, 상기 신규 직물 패턴의 위치를 중심으로 특정 반경 내에 있는 유사 직물 패턴을 검색하는 직물 패턴 검색부를 포함한다.

상기 직물 패턴 처리부는 각각은 유사한 직물 패턴들로 구성되는 복수의 직물 패턴 집합들을 획득할 수 있다.

상기 임베딩 공간 처리부는 상기 직물 특징을 상기 직물 패턴의 임베딩 공간상의 특정 좌표로 결정할 수 있다.

상기 임베딩 공간 처리부는 유사한 직물 패턴들간 상기 특정 위치를 서로 특정 반경 내로 결정하고, 비유사한 직물 패턴들간 상기 특정 위치를 서로 특정 반경 외로 결정할 수 있다.

상기 임베딩 공간 처리부는 상기 포지티브 기계학습을 통해 상기 유사한 직물 패턴의 특정 위치를 결정하고, 상기 네거티브 기계학습을 통해 상기 비유사한 직물 패턴의 특정 위치를 결정할 수 있다.

상기 임베딩 공간 처리부는 상기 앵커와 같은 직물 패턴 집합에 속하는 직물 패턴들을 상기 유사한 직물 패턴들로 결정하고, 상기 앵커와 다른 직물 패턴 집합에 속하는 직물 패턴들을 상기 비유사한 직물 패턴들로 결정할 수 있다.

상기 직물 패턴 검색부는 상기 신규 직물 패턴의 위치를 상기 임베딩 공간상의 좌표로 결정할 수 있다.

상기 직물 패턴 검색부는 상기 결정된 좌표를 기초로 k-최근접 이웃 알고리즘을 통해 상기 좌표에서 상기 특정 반경 내의 좌표에 있는 직물을 상기 유사 직물 패턴으로 결정할 수 있다.

실시예들 중에서, 인공지능 기반의 직물 패턴 검색 방법은 직물 패턴을 획득하여 차원을 결정하는 단계, 상기 직물 패턴을 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습 하여 획득된 직물 특징을 상기 차원에 따라 결정하고, 결정된 상기 직물 특징을 기초로 상기 직물 패턴을 임베딩 공간의 특정 위치에 배치하는 단계 및 신규 직물 패턴이 입력되면 상기 신규 직물 패턴을 기초로 상기 임베딩 공간 상에 상기 신규 직물 패턴의 위치를 결정하고, 상기 신규 직물 패턴의 위치를 중심으로 특정 반경 내에 있는 유사 직물 패턴을 검색하는 단계를 포함한다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치 및 방법은 직물 패턴 간의 유사도를 거리로 정의하고, 이를 활용하여 직물 패턴을 검색할 수 있다.

본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치 및 방법은 먼저 임의의 직물 패턴과 유사 직물 패턴, 유사하지 않은 직물 패턴 등 3개의 직물 패턴을 하나의 데이터로 구성한 데이터셋을 생성하고 이후, 구성된 데이터셋을 통해 트리플렛 신경망 기반 딥 메트릭 러닝을 통해 임의의 직물 패턴에 대한 다차원 좌표를 정의하는 임베딩 신경망을 학습시킬 수 있다.

본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치 및 방법은 직물 패턴 이미지를 사용하여 유사한 직물 패턴을 검색하기 때문에 직물 패턴에 대한 정확한 지식이 없는 소비자도 좀 더 쉽게 원하는 직물 패턴을 찾을 수 있다.

본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치 및 방법은 입력 직물 패턴의 임베딩 좌표와 유사한 좌표를 가지는 다수의 직물 패턴들을 데이터셋에서 검색할 수 있다.

본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치 및 방법은 사용자로 하여금 의상 디자인에서 중요한 부분을 차지하는 직물 패턴을 사용하여 의상 검색을 할 수 있도록 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 시스템을 나타내는 도면이다.
도 2는 도 1에 있는 인공지능 기반의 직물 패턴 검색 장치를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 방법을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습을 위한 데이터로서 직물 패턴들을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습에 해당하는 트리플렛 신경망을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치에서 학습한 신경망을 사용하여 추정한 직물 패턴의 임베딩 공간을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치의 직물 패턴 검색 과정을 보여주는 개요도이다.
도 8은 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치를 통한 직물 패턴 검색 결과를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치의 직물 패턴 획득 과정을 보여주는 도면이다.
도 10은 일 실시예에 따른 조건부 적대적 생성 신경망의 구조를 나타내는 도면이다.
도 11은 일 실시예에 따른 조건부 적대적 생성 신경망을 나타내는 도면이다.
도 12는 일 실시예에 따른 적대적 생성 신경망을 통해 생성한 직물 패턴을 보여주는 도면이다.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

1. 딥 메트릭 러닝(deep metric learning)

직물 패턴을 공간에 임베딩 시키기 위해서는 직물 패턴 데이터들 사이의 관계를 잘 정의하는 것이 중요하다. 딥 메트릭 러닝은 데이터들 거리를 계산하는 방법을 학습하는 방법이다. 딥 메트릭 러닝을 사용하여 학습된 합성곱 신경망을 사용하면 데이터들이 특정 공간 상에서 임베딩 되는 방식을 파악할 수 있다. 예를 들어, 학습된 공간의 좌표는 특정 직물 패턴의 특징으로 볼 수 있으므로, 적대적 생성 신경망 중 조건부 적대적 생성 신경망 기술을 사용하여 새로운 직물 패턴들을 생성하는 조건으로 사용할 수 있다.

보다 구체적으로, 메트릭 러닝이란 데이터 간의 상관관계를 학습하여 데이터의 임베딩 공간을 추정하는 방법이다. 메트릭 러닝은 마할로노비스 거리(Mahalonobis distance)를 사용하는 방법과 합성곱 신경망(CNN, convolutional neural network)을 사용하는 방법으로 나눌 수 있다. 마할로노비스 거리는 기존 유클리드 거리(Euclidean distance)에 데이터 간의 관계를 의미하는 공분산 행렬(covarianc matrix) M을 추가하여 아래의 수학식으로 두 데이터 xi와 xj 사이의 거리를 재정의하는 방법이다.

[수학식]

마할로노비스 거리를 사용한 메트릭 러닝 방법은 위 수학식에서 공분산 행렬 M을 학습을 통해 얻어내는 것으로 데이터의 임베딩 공간을 추정한다. 딥 메트릭 러닝이란 합성곱 신경망을 사용하는 방법에 해당할 수 있다. 딥 메트릭 러닝은 트리플렛(Triplet) 신경망이라는 신경망 모델을 사용할 수 있다. 트리플렛 신경망은 파라미터를 공유하는 3개의 합성곱 신경망(CNN)으로 이루어져 있다. 트리플렛 신경망을 학습시키기 위해선 데이터를 앵커(anchor), 네거티브(negative), 포지티브(positive)로 이루어진 트리플렛으로 구성해야 한다. 앵커란 네거티브와 포지티브를 선정하는 기준이 되는 데이터를 의미한다. 포지티브는 앵커와 유사한 데이터를 의미하며 일반적으로 앵커와 같은 부류(집합)에 속한 데이터로 정한다. 네거티브는 앵커와 다른 데이터를 의미하고 앵커와 다른 부류에 속하는 데이터로 정하게 된다. 트리플렛 신경망 학습 결과를 좋게 하기 위해 네거티브 중 hard-네거티브를 사용하는데, hard-네거티브란 앵커와 가장 유사한 네거티브를 의미한다. 트리플렛 신경망 학습이 진행되면 신경망은 앵커와 포지티브의 거리는 가깝고, 앵커와 네거티브의 거리는 멀어지도록 임베딩 공간을 추정하게 된다. 트리플렛 신경망은 학습 결과가 좋고, 손실 함수(loss function)가 볼록함수 형태이기 때문에 전역 최소(global minimum)를 쉽게 구할 수 있다는 장점이 있다. 또한 데이터가 임베딩 되는 공간에 대한 왜곡이 다소 허용된다. 트리플렛 신경망이 가지고 있는 단점은 학습 시간이 오래 걸린다는 점이다. 일 실시예에서, 트리플렛 신경망 방식보다 더 좋은 결과를 낼 수 있는 lifted structure feature 임베딩(embedding)을 사용할 수 있다. Lifted structured feature 임베딩이란 트리플렛을 활용한 임베딩 방법에서 제안된 하나의 트리플렛에서의 포지티브와 네거티브만을 고려하는 방식이 아닌 전체 앵커와 포지티브 쌍, 앵커와 네거티브 쌍을 고려하여 임베딩 시키는 방법에 해당할 수 있다. 이 방법은 전체 데이터의 쌍을 고려하기 때문에 연산 횟수가 많아 진다는 단점이 있으나, 임의의 앵커와 포지티브 쌍을 선택 후, 해당 쌍이 포함된 배치(batch) 내에서 hard-네거티브만을 고려하는 방식으로 연산 횟수를 줄일 수 있다. 딥 메트릭 러닝 방법들은 만약 임베딩 공간에서 같은 부류에 속한 데이터가 서로 떨어진 공간으로 임베딩 되고 그 사이에 다른 부류가 임베딩 된 경우, 같은 부류 사이에서도 서로 멀어지려는 척력이 작용하게 되는 단점이 있다. 이러한 단점을 보안하기 위하여 Lifted structured feature 임베딩은 facility location이라는 개념을 딥 메트릭 러닝에 도입하였다. Facility location이란 임의의 데이터에 대하여 그 데이터가 속한 부류를 판단하는 근거가 되도록 도와줄 수 있는 데이터를 의미한다. Facility location과 함께 데이터의 임베딩에 관한 클러스터 점수를 제시하여 같은 부류에 데이터들이 좀 더 잘 모이는 임베딩 공간을 추정하는 것에 대해 좋은 결과를 얻어냈다. 딥 메트릭 러닝을 사용해 좀 더 좋은 결과를 내기 위해서는 네거티브중 앵커와 유사한 hard-네거티브를 사용하는 것이 중요하다. 이전 방법들은 기존의 데이터셋에 존재하는 네거티브들 만을 고려하였다. 예를 들어, 적대적 생성 신경망과 easy-네거티브를 활용하여, hard-네거티브를 생성한 후 딥 메트릭 러닝에 적용할 수 있다. 이렇게 생성된 hard-네거티브는 기존에 존재하던 hard-네거티브보다 데이터의 임베딩을 정확하게 할 수 있도록 한다. 합성곱 신경망 구조는 기존에 제시된 트리플렛 신경망을 사용하되, 입력에 들어갈 데이터에 대한 처리 방법을 새롭게 제시함으로써 좋은 결과를 낼 수 있다.

2. 적대적 생성 신경망(GAN, Generative Adversarial Network)

적대적 생성 신경망(GAN)은 생성 신경망(generator network) G와 판별 신경망(discriminator network) D를 학습시켜 생성 신경망 G가 새로운 데이터를 만들어 내도록 하는 방법이다. 생성 신경망 G는 판별 신경망 D를 속이기 위해 좀 더 완벽한 데이터를 생성하는 방향으로 학습이 된다. 반대로 판별 신경망 D는 실제 데이터와 생성 신경망 G가 만들어 내는 데이터를 잘 구별해 내는 방향으로 학습이 된다. 적대적 생성 신경망은 생성 신경망 D와 판별 신경망 G를 교대로 학습시킨다. 생성 신경망 G를 학습시킬 때는 판별 신경망 D의 학습을 진행하지 않고 판별 신경망 D를 학습시킬 때는 생성 신경망G의 학습을 진행하지 않는다. 위와 같은 학습을 통해 생성 신경망 G는 기존 데이터셋 내에 있는 것과 유사한 데이터들을 생성해 낼 수 있게 된다. 기존 적대적 생성 신경망은 신경망의 layer가 모두 fully connected layer로 구성되어 있어 파라미터가 많고 학습이 느리다는 단점이 있다. 이러한 단점을 보완하기 위하여 GAN의 fully connected layer를 convolution layer로 수정한 DCGAN(deep convolution generative adversarial network)가 제안될 수 있다. DCGAN의 학습방법은 기존의 fully connected layer로만 이루어진 적대적 생성 신경망과 동일하지만 기존의 신경망보다 학습이 빨리 이루어진다. 조건부 적대적 생성 신경망(conditional generative adversarial network)은 적대적 생성 신경망이 특정 부류에 속한 데이터를 만들어 내도록 생성 신경망 G를 학습시키는 방법이다. 조건부 적대적 생성 신경망은 기존 적대적 생성 신경망의 학습 방식을 따르나 입력을 추가하여 결과를 다르게 만들어 낸 방법이다. 조건부 적대적 생성 신경망은 기존 적대적 생성 신경망의 학습을 위한 신경망 입력에 데이터의 부류를 추가하여 입력으로 만든다. 생성 신경망 G와 판별 신경망 D 모두 입력에 데이터의 부류를 one-hot 벡터 형태로 만들어서 추가하여 주게 된다. 조건부 적대적 생성 신경망에서 생성 신경망 G는 데이터를 생성할 때 입력으로 주어진 부류에 속하는 데이터를 생성하게 된다. 조건부 적대적 생성 신경망의 판별 신경망 D는 데이터가 특정 부류에 속한 진짜 데이터인지를 판별하도록 학습한다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 시스템을 나타내는 도면이다.

도 1을 참조하면, 인공지능 기반의 직물 패턴 검색 시스템(100)은 인공지능 기반의 직물 패턴 검색 장치(110), 사용자 단말(120) 및 데이터베이스(130)를 포함한다.

인공지능 기반의 직물 패턴 검색 장치(110)는 직물 패턴을 획득하여 유사한 직물 패턴을 사용자에게 제공한다. 일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 직물 패턴 이미지를 획득하여 유사한 직물 패턴 이미지를 사용자에게 제공할 수 있다. 보다 구체적으로, 인공지능 기반의 직물 패턴 검색 장치(110)는 유사한 직물 패턴을 검색하기 위해 직물 패턴 사이의 유사도를 측정할 수 있다. 예를 들어, 인공지능 기반의 직물 패턴 검색 장치(110)는 직물 패턴 사이의 유사도를 측정하기 위하여 딥 러닝 중 딥 메트릭 러닝을 사용할 수 있다. 여기에서, 딥 메트릭 러닝은 상기한 바와 같이 직물 패턴 사이의 유사도를 거리로 보고 유사한 직물 패턴은 거리가 가깝게, 유사하지 않은 직물 패턴은 거리가 멀어지도록 신경망을 학습하는 방법에 해당할 수 있다. 학습된 신경망은 유사한 직물 패턴끼리 서로 뭉쳐서 분포한 임베딩 공간을 형성하게 된다. 인공지능 기반의 직물 패턴 검색 장치(110)는 형성된 임베딩 공간을 사용하여 유사한 직물 패턴을 검색할 수 있다. 일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 임베딩 공간을 형성하기 위한 딥 메트릭 러닝으로 트리플렛(triplet) 신경망을 사용할 수 있다.

인공지능 기반의 직물 패턴 검색 장치(110)는 사용자 단말(120)로부터 신규 직물 패턴(새로운 직물 패턴)을 입력받을 수 있고, 유사한 직물 패턴의 검색 요청을 수신할 수 있으며, 그에 따라 딥 메트릭 러닝을 통해 입력된 직물 패턴과 유사한 직물 패턴을 검색하여 사용자에게 제공할 수 있다. 일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 분산 컴퓨팅 기반으로 동작되는 적어도 하나의 클라우드 서버에서 구현될 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 사용자 단말(120)과 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 유선 또는 무선 네트워크를 통해 사용자 단말(120)과 통신을 수행할 수 있다.

사용자 단말(120)은 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 스마트폰, 태블릿 PC 등 다양한 디바이스로 구현될 수 있다.

데이터베이스(130)는 인공지능 기반의 직물 패턴 검색 장치(110)가 사용자 단말(120)로부터 수신한 인공지능 기반의 직물 패턴 검색 요청에 따라 입력된 신규 직물 패턴의 위치를 검색하고 유사 직물 패턴을 검색하기 위해 필요한 정보들을 저장할 수 있다. 예를 들어, 데이터베이스(130)는 다양한 종류의 직물 패턴들을 특정 차원으로 결정하여 저장할 수 있고 일정 기준에 따라 분류된 직물 패턴 집합들을 저장할 수 있으며, 반드시 이에 한정되지 않고, 딥 메트릭 러닝을 기초로 임베딩 공간을 형성하고 유사한 직물 패턴의 검색을 수행하기 위해 필요한 학습 데이터를 생성하고 분석하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다. 한편, 인공지능 기반의 직물 패턴 검색 장치(110)는 도 1과 달리, 데이터베이스(130)를 내부에 포함하여 구성될 수 있다.

도 2는 도 1에 있는 인공지능 기반의 직물 패턴 검색 장치를 나타내는 블록도이다.

도 2를 참조하면, 인공지능 기반의 직물 패턴 검색 장치(110)는 직물 패턴 처리부(210), 임베딩 공간 처리부(220), 직물 패턴 검색부(230) 및 제어부를 포함할 수 있다.

직물 패턴 처리부(210)는 직물 패턴을 획득하여 차원을 결정할 수 있다. 여기에서, 직물 패턴(textile)은 다양한 직물의 이미지에서, 직물이 가지는 줄무늬, 지그재그, 체크무늬 등에 해당할 수 있다. 일 실시예에서, 직물 패턴 처리부(210)는 직물 패턴을 획득하여 차원을 결정할 수 있다. 예를 들어, 직물 패턴 처리부(210)는 64 x 64의 직물 패턴 이미지를 획득하면 2096차원을 변환하여 128차원으로 결정할 수 있다. 일 실시예에서, 직물 패턴 처리부(210)는 임의의 직물 패턴들을 수집하여 데이터베이스(130)에 저장할 수 있다. 일 실시예에서, 직물 패턴 처리부(210)는 각각은 유사한 직물 패턴들로 구성되는 복수의 직물 패턴 집합들을 획득할 수 있다. 보다 구체적으로, 직물 패턴 처리부(210)는 수집한 임의의 직물 패턴들을 유사도 등 특정 기준에 따라 복수의 직물 패턴 집합으로 분류할 수 있다. 직물 패턴 처리부(210)는 각각은 유사한 직물 패턴들끼리 묶은 복수의 직물 패턴 집합들을 획득할 수 있다. 일 실시예에서, 직물 패턴 처리부(210)는 획득된 복수의 직물 패턴 집합들을 앵커(anchor), 포지티브(positive) 및 네거티브(negative)로 이루어진 트리플렛(triplet)으로 분류할 수 있다. 여기에서, 앵커는 네거티브와 포지티브를 선정하는 기준이 되는 특정 직물 패턴을, 포지티브는 앵커와 유사한 직물 패턴을, 네거티브는 앵커와 비유사한 직물 패턴을 의미할 수 있다. 예를 들어, 직물 패턴 처리부(210)는 특정 직물 패턴 집합에서 하나의 직물 패턴을 임의로 선택하여 앵커로 선정하고, 앵커로 선정된 직물 패턴이 속한 직물 패턴 집합에서 선택된 다른 직물 패턴에 대하여 포지티브로 선정할 수 있고, 앵커와 다른 직물 패턴 집합에서 선택된 모든 직물 패턴에 대해서 네거티브로 선정할 수 있다. 이렇게 트리플렛으로 구성하여 획득된 직물 패턴은 임베딩 공간을 형성하기 위해 수행되는 기계학습에 필요한 데이터셋으로 사용될 수 있다.

임베딩 공간 처리부(220)는 직물 패턴을 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습 하여 획득한 직물 특징을 차원에 따라 결정하고, 결정된 직물 특징을 기초로 직물 패턴을 임베딩 공간의 특정 위치에 배치할 수 있다. 여기에서, 임베딩 공간은 특정 차원으로 결정되어 복수의 직물 패턴들을 늘어놓는 공간에 해당할 수 있다. 즉, 임베딩 공간은 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습을 통해 결정된 직물 특징을 기초로 직물 패턴을 각각의 위치에 배치함으로써 생성될 수 있다. 일 실시예에서, 임베딩 공간 처리부(220)는 딥 메트릭 러닝 중 트리플렛 신경망을 통해 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습을 수행할 수 있다. 예를 들어, 임베딩 공간 처리부(220)는 앵커(anchor), 네거티브(negative), 포지티브(positive)로 이루어진 트리플렛으로 구성된 직물 패턴을 기계학습을 통해 앵커와 포지티브의 거리는 가깝고, 앵커와 네거티브의 거리는 멀어지도록 임베딩 공간을 추정할 수 있다. 일 실시예에서, 임베딩 공간 처리부(220)는 트리플렛 신경망을 통해 직물 패턴의 직물 특징을 결정할 수 있다. 임베딩 공간 처리부(220)는 직물 패턴의 유사도를 기초로 앵커, 네거티브, 포지티브간 거리(distance)에 해당하는 직물 특징을 결정할 수 있다. 일 실시예에서, 임베딩 공간 처리부(220)는 직물 특징을 직물 패턴의 임베딩 공간상의 특정 좌표로 결정할 수 있다. 예를 들어, 임베딩 공간 처리부(220)는 128차원의 임베딩 공간에서 직물 패턴의 직물 특징을 128차원의 특정 좌표로 결정할 수 있다. 임베딩 공간 처리부(220)는 특정 좌표를 기초로 직물 패턴을 임베딩 공간에 배치할 수 있다. 일 실시예에서, 임베딩 공간 처리부(220)는 유사한 직물 패턴들간 특정 위치를 서로 특정 반경 내로 결정하고, 비유사한 직물 패턴들간 특정 위치를 서로 특정 반경 외로 결정할 수 있다. 예를 들어, 임베딩 공간 처리부(220)는 유사한 직물 패턴들간 좌표의 차이를 적게 결정하고 비유사한 직물 패턴들간 좌표의 차이를 크게 결정할 수 있다. 결과적으로, 임베딩 공간 처리부(220)는 유사한 직물 패턴들간 거리를 가깝게 배치하고 비유사한 직물 패턴들간 거리를 멀게 배치할 수 있다. 일 실시예에서, 임베딩 공간 처리부(220)는 포지티브 기계학습을 통해 유사한 직물 패턴의 특정 위치를 결정하고, 네거티브 기계학습을 통해 비유사한 직물 패턴의 특정 위치를 결정할 수 있다. 보다 구체적으로, 임베딩 공간 처리부(220)는 딥 메트릭 러닝 중 트리플렛 신경망을 통해 앵커와 포지티브에 해당하는 직물 패턴끼리는 가까운 위치로 결정하고, 네거티브에 해당하는 직물 패턴은 앵커와 포지티브에서 상대적으로 먼 위치로 결정할 수 있다. 일 실시예에서, 임베딩 공간 처리부(220)는 앵커와 같은 직물 패턴 집합에 속하는 직물 패턴들을 유사한 직물 패턴들로 결정하고, 앵커와 다른 직물 패턴 집합에 속하는 직물 패턴들을 비유사한 직물 패턴들로 결정할 수 있다. 예를 들어, 임베딩 공간 처리부(220)는 앵커와 포지티브를 같은 직물 패턴 집합에 속하여 서로 유사한 직물 패턴으로 결정할 수 있고, 앵커와 다른 직물 패턴 집합에 속한 네거티브를 비유사한 직물 패턴으로 결정할 수 있다. 보다 구체적으로, 임베딩 공간 처리부(220)는 앵커와 앵커와 같은 직물 패턴 집합에 속하는 포지티브에 해당하는 직물 패턴을 서로 가까운 위치로 결정하고, 앵커와 다른 직물 패턴 집합에 속하는 네거티브에 해당하는 직물 패턴을 먼 위치로 결정하여 배치할 수 있다. 결과적으로, 임베딩 공간 처리부(220)는 서로 유사한 직물 패턴끼리 가까운 거리로 배치되고 서로 비유사한 직물 패턴끼리는 먼 거리로 배치되도록 복수의 직물 패턴들을 분포시켜 놓은 임베딩 공간을 생성할 수 있다.

일 실시예에서, 직물 패턴 검색부(230)는 신규 직물 패턴이 입력되면 신규 직물 패턴의 직물 특징을 기초로 임베딩 공간 상에 신규 직물 패턴의 위치를 결정하고, 신규 직물 패턴의 위치를 중심으로 특정 반경 내에 있는 유사 직물 패턴을 검색할 수 있다. 일 실시예에서, 직물 패턴 검색부(230)는 신규 직물 패턴의 위치를 상기 임베딩 공간상의 좌표로 결정할 수 있다. 보다 구체적으로, 직물 패턴 검색부(230)는 딥 메트릭 러닝의 트리플렛 신경망을 통한 앵커 기반의 포지티브 기계학습 네거티브 기계학습을 사용하여 입력된 신규 직물 패턴에 대해서 임베딩 공간상에서 좌표를 출력하여 신규 직물 패턴의 위치를 결정하고, 출력된 좌표와 근접하게 배치된 특정 반경내의 직물 패턴을 신규 직물 패턴과 유사한 유사 직물 패턴으로 검색하여 사용자에게 제공할 수 있다. 예를 들어, 직물 패턴 검색부(230)는 새로운 직물 패턴이 사용자 단말(120)로부터 입력되면 트리플렛 신경망을 사용하여 임베딩 공간상의 좌표를 결정하고 결정된 좌표와 거리가 가까운 위치에 해당하는 직물 패턴을 유사 직물 패턴으로 결정하여 사용자에게 제공할 수 있다. 일 실시예에서, 직물 패턴 검색부(230)는 결정된 좌표를 기초로 k-최근접 이웃 알고리즘을 통해 좌표에서 특정 반경 내의 좌표에 있는 직물을 유사 직물 패턴으로 결정할 수 있다. 예를 들어, 직물 패턴 검색부(230)는 신규 직물 패턴의 좌표에서 가장 가까운 위치에 있는 3개(k=3)의 직물 패턴들을 유사 직물 패턴으로 결정하여 사용자에게 제공할 수 있다.

제어부(240)는 인공지능 기반의 직물 패턴 검색 장치(110)의 전반적인 제어를 수행하고, 직물 패턴 처리부(210), 임베딩 공간 처리부(220) 및 직물 패턴 검색부(230)간 제어 및 데이터 흐름을 관리할 수 있다.

도 3은 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 방법을 보여주는 흐름도이다.

도 3에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 직물 패턴 처리부(210)를 통해 직물 패턴을 획득하고 차원을 결정할 수 있다(단계 S310). 예를 들어, 직물 패턴 처리부(210)는 사용자 단말로부터 64 x 64의 임의의 직물 패턴 이미지를 입력 받을 수 있다.

인공지능 기반의 직물 패턴 검색 장치(110)는 임베딩 공간 처리부(220)를 통해 직물 패턴을 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습하여 직물 특징을 획득하고, 획득된 직물 특징을 차원에 따라 결정하며, 결정된 직물 특징을 기초로 직물 패턴을 임베딩 공간의 특정 위치에 배치할 수 있다(단계 S320). 일 실시예에서, 임베딩 공간 처리부(220)는 직물 패턴을 기준이 되는 직물 패턴(anchor), 기준과 유사한 직물 패턴(positive), 유사하지 않은 직물 패턴(negative)으로 나누어 트리플렛을 구성하고 트리플렛 신경망의 기계학습을 통해 직물 패턴의 좌표에 해당하는 직물 특징을 결정하고 직물 패턴의 위치를 학습하여 임베딩 공간을 추정할 수 있다.

인공지능 기반의 직물 패턴 검색 장치(110)는 직물 패턴 검색부(230)를 통해 신규 직물 패턴이 입력되면 신규 직물 패턴의 직물 특징을 기초로 임베딩 공간 상에 신규 직물 패턴의 위치를 결정하고, 신규 직물 패턴의 위치를 중심으로 특정 반경 내에 있는 유사 직물 패턴을 검색할 수 있다(단계 S330). 일 실시예에서, 직물 패턴 검색부(230)는 딥 메트릭 러닝의 트리플렛 신경망을 통해 신규 직물 패턴을 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습하여 신규 직물 패턴(직물 패턴)의 임베딩 공간에서 특정 위치에 해당하는 좌표를 결정하고 좌표에 가깝게 배치된 유사한 직물 패턴을 검색할 수 있다.

도 4는 본 발명의 일 실시예에 따른 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습을 위한 데이터로서 직물 패턴들을 보여주는 도면이다. 도 5는 본 발명의 일 실시예에 따른 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습에 해당하는 트리플렛 신경망을 보여주는 도면이다. 도 6은 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치에서 학습한 신경망을 사용하여 추정한 직물 패턴의 임베딩 공간을 보여주는 도면이다. 도 7은 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치의 직물 패턴 검색 과정을 보여주는 개요도이다. 도 8은 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치를 통한 직물 패턴 검색 결과를 보여주는 도면이다. 도 9는 본 발명의 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치의 직물 패턴 획득 과정을 보여주는 도면이다. 도 10은 일 실시예에 따른 조건부 적대적 생성 신경망의 구조를 나타내는 도면이다. 도 11은 일 실시예에 따른 조건부 적대적 생성 신경망을 나타내는 도면이다. 도 12는 일 실시예에 따른 적대적 생성 신경망을 통해 생성한 직물 패턴을 보여주는 도면이다.

일 실시예에서, 본 발명에 따른 인공지능 기반의 직물 패턴 검색 장치(110)는 딥 메트릭 러닝(deep metric learning) 중 트리플렛(triplet) 신경망을 사용하여 직물 패턴의 임베딩 공간을 추정하고, 이를 통해 임의의 직물 패턴에 대한 임베딩 공간의 좌표 값을 추정할 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 직물 패턴 데이터를 사용하여 도 4와 같이 기준이 되는 직물 패턴(anchor), 기준과 유사한 직물 패턴(positive), 유사하지 않은 직물 패턴(negative)으로 구성된 트리플렛을 구성할 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 구성한 트리플렛을 활용하여 트리플렛 신경망을 학습시켜 직물 패턴의 임베딩 공간에서 좌표를 구할 수 있고, 구한 임베딩 공간을 활용하여 도 7과 같이 새로운 직물 패턴이 들어왔을 때 거리가 가까운 직물 패턴들을 사용자에게 제공할 수 있다. 이하, 인공지능 기반의 직물 패턴 검색 장치(110)의 임베딩 공간 추정을 위한 트리플렛 신경망의 구조, 직물 패턴 데이터 셋 소개 및 손실함수에 대해 설명한다.

일 실시예에서, 트리플렛 신경망은 도 5와 같은 구조를 가질 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 트리플렛 신경망을 파라미터를 공유하는 3개의 합성곱 신경망으로 구성할 수 있고, 각 합성곱 신경망을 4개의 컨벌루션 계층(convolution layer)과 3개의 풀링 계층(pooling layer)으로 구성할 수 있다. 일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 각 컨벌루션 계층의 컨벌루션 필터의 크기를 5x5, 3x3, 3x3, 1x1로 구성할 수 있다. 또한, 인공지능 기반의 직물 패턴 검색 장치(110)는 풀링 계층을 2x2의 max pooling을 사용하고, 마지막 컨벌루션 계층을 제외한 3개의 컨벌루션 계층에만 적용할 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 모든 계층(layer)에 활성 함수로 ReLU(Rectified Linear Unit)를 사용하고, 정의된 각 계층를 거쳤을 때 나오는 액티베이션 맵(activation map)의 채널 수를 각각 64, 128, 256, 128개로 결정할 수 있다. 예를 들어, 인공지능 기반의 직물 패턴 검색 장치(110)는 마지막 계층에서 나오는 1 x 1 x 128의 액티베이션 맵을 128차원의 벡터로 변환하여 데이터의 특징 벡터로 사용할 수 있다.

일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 트리플렛 신경망을 학습시키기 위한 손실 함수로 아래의 수학식1과 같은 hinge loss(손실 함수)를 사용할 수 있다.

[수학식1]

여기에서, d+는 앵커와 포지티브 사이의 거리를 의미하고, 합성곱 신경망에 앵커와 포지티브를 입력으로 주었을 때의 결과로 나온 특징 벡터사이의 거리를 의미할 수 있다. d-는 앵커와 네거티브사이의 거리로 합성곱 신경망에 앵커와 네거티브 데이터를 입력으로 주었을 때 결과로 나온 특징 벡터 사이의 거리에 해당할 수 있다.

은 앵커와 포지티브의 거리는 가깝도록 만들고 앵커와 네거티브의 거리는 멀어지도록 하는 함수로 m은 각각의 부류(집합)들 사이의 최소 거리를 나타내는 마진을 의미할 수 있다. 일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 기존 hinge loss에 임베딩 loss를 의미하는 수식을 추가하여 아래의 수학식2와 같은 손실 함수를 사용할 수 있다.

[수학식2]

여기에서, 수학식2의 손실 함수는 수학식1의 hinge loss를 사용한 손실 함수에 각각의 데이터들을 합성곱 신경망에 입력으로 주었을 때 나온 특징 벡터의 크기에 대한 수식을 추가하여 임베딩 공간이 너무 크게 확장되는 것을 막도록 설계한 손실 함수에 해당할 수 있다.

합성곱 신경망 학습을 위해서는 많은 양의 직물 패턴 데이터들이 필요하기 때문에 사용자는 인터넷에서 의상 사진 1,425장을 수집할 수 있다. 일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 사용자에 의하거나 직물 패턴 처리부(210)를 통해 수집한 의상 사진에 대해 서로 같은 패턴에 해당하는 직물 패턴을 동일한 하나의 부류(집합)로 묶어 20개의 부류로 분리할 수 있다. 또한, 인공지능 기반의 직물 패턴 검색 장치(110)는 수집한 의상 사진에서 직물 패턴과 관련이 없는 배경 부분이 합성곱 신경망의 학습에 영향을 미치지 않도록 하기 위하여, 직물 패턴이 나타나 있는 부분만 도 9(a)와 같이 64x64 크기의 이미지로 추출할 수 있다. 예를 들어, 인공지능 기반의 직물 패턴 검색 장치(110)는 도 9(b)의 프로그램을 통해 64x64의 직물 패턴 이미지를 추출할 수 있다. 도 9(b)에서, 프로그램은 직물 패턴 이미지를 변경하고, 원본 이미지 이름과 클릭한 부분의 위치 및 추출할 직물 패턴의 크기, 추출하여 저장될 직물 패턴의 이름을 특정 파일에 적을 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 이렇게 작성된 특정 파일을 사용하여 도 9(c)와 같은 64x64 크기의 이미지들을 생성할 수 있다.

여기에서, 트리플렛 신경망을 활용한 딥 메트릭 러닝은 데이터를 트리플렛으로 구성하여 합성곱 신경망을 학습시키는 방법에 해당할 수 있다. 트리플렛 신경망은 파라미터를 공유하는 3개의 합성곱 신경망을 사용하여 데이터의 거리를 학습하고 임베딩 공간을 추정할 수 있다. 트리플렛 신경망을 학습시키기 위한 트리플렛은 앵커, 포지티브, 네거티브로 구성될 수 있다. 여기에서, 앵커란 포지티브 데이터와 네거티브 데이터의 기준이 되는 데이터를 의미할 수 있고, 포지티브는 앵커와 같은 부류(집합)에 속하는 데이터로 결정하고, 네거티브는 앵커와 다른 부류에 속하는 데이터로 결정할 수 있다.

예를 들어, 인공지능 기반의 직물 패턴 검색 장치(110)는 트리플렛 신경망 학습을 위해 도 9에서 추출된 직물 패턴 이미지를 사용하여 도 4와 같이 트리플렛을 구성할 수 있다. 예를 들어, 인공지능 기반의 직물 패턴 검색 장치(110)는 먼저 20개의 부류중 하나의 부류를 무작위로 선택하고 그 중 하나의 직물 패턴 이미지를 앵커로 선정할 수 있다. 그리고, 앵커로 선택한 부류에 속한 다른 직물 패턴 이미지를 포지티브로 선정할 수 있다. 네거티브는 앵커의 부류를 제외한 나머지 19개의 부류 중 하나를 무작위로 선택하여 선택한 부류에 속한 이미지 중 하나로 선정할 수 있다.

일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 기존의 직물 패턴 데이터를 사용하여 추정한 임베딩 공간이 있을 때, 트리플렛 신경망을 사용하여 학습시킨 하나의 임베딩 네트워크를 사용하여 새로운 직물 패턴의 임베딩 공간에서 좌표를 구할 수 있다. 예를 들어, 인공지능 기반의 직물 패턴 검색 장치(110)는 구해진 임베딩 공간에서 좌표를 사용하여 k-최근접 이웃 알고리즘(k-nearest neighbors algorithm)을 사용하여 해당 좌표와 거리가 가까운 좌표에 있는 직물 패턴을 사용자에게 보여줄 수 있다.

일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 도 4와 같이 구성한 트리플렛 데이터와 도 5과 같이 만든 구조를 사용하여 트리플렛 신경망을 학습시킬 수 있다. 예를 들어, 인공지능 기반의 직물 패턴 검색 장치(110)는 학습에 사용한 옵티마이저(optimizer)는 stochastic gradient decent 방식을 사용할 수 있고, learning rate는 0.002로 설정할 수 있다. 손실 함수는 기존의 트리플렛 손실 함수에 임베딩 loss를 추가한 수학식2를 사용할 수 있고, 각 부류의 데이터들 사이의 최소 거리를 의미하는 마진의 크기는 1로 설정할 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 위 설정을 가지고 합성곱 신경망을 2500 epoch 학습시킬 수 있다.

일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 학습된 합성곱 신경망을 사용하여 직물 패턴의 특징 벡터를 추출하고 추출한 벡터를 주성분 분석(PCA) 과 T-분포 확률적 임베딩(t-SNE)을 사용하여 2차원으로 시각화 할 수 있다. 특징 벡터는 128차원의 벡터이기 때문에 고차원을 그대로 시각화 하기는 어려움이 있어 주성분 분석과 T-분포 확률적 임베딩을 사용하여 2차원으로 차원을 낮출수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 2차원으로 차원을 낮춘 벡터를 임베딩 공간에서의 좌표로 사용하여 공간에 직물 패턴들을 위치시킬 수 있다. 도 6은 인공지능 기반의 직물 패턴 검색 장치(110)에서 사용한 합성곱 신경망으로 학습한 직물 패턴의 임베딩 공간과 각 위치에서의 직물 패턴들을 보여주는 예시도에 해당할 수 있다.

인공지능 기반의 직물 패턴 검색 장치(110)는 추정한 임베딩 공간을 활용하여 새로운 직물 패턴을 입력으로 하였을 때, 유사한 직물 패턴들을 사용자에게 보여주는 시스템에 해당할 수 있다. 도 7과 같이 인공지능 기반의 직물 패턴 검색 장치(110)는 새로운 직물 패턴을 트리플렛 방법으로 학습시킨 임베딩 신경망의 입력으로 하여 해당 새로운 직물 패턴의 임베딩 공간에서의 좌표를 추정할 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 추정한 좌표와 k-최근접 이웃 알고리즘을 사용하여 임베딩 공간에서 해당 좌표와 가까운 좌표들을 구하고, 구한 좌표에 해당하는 직물 패턴들을 사용자에게 보여준다. 예를 들어, 인공지능 기반의 직물 패턴 검색 장치(110)는 k를 3으로 설정한 경우 도 8과 같은 결과를 얻을 수 있다. 도 8에서, (a)는 입력에 해당하는 새로운 직물 패턴들에, (b)는 인공지능 기반의 직물 패턴 검색 장치(110)를 통해 사용자에게 제공되는 입력된 새로운 직물 패턴과 유사한 유사 직물 패턴들에 해당할 수 있다.

일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치(110)는 위에서 추정한 임베딩 공간을 사용하여 조건부 적대적 신경망을 기반으로 새로운 직물 패턴을 생성할 수 있다. 여기에서, 조건부 적대적 신경망은 기존 적대적 생성 신경망의 입력에 데이터의 부류 y를 추가하여 학습시키는 신경망에 해당할 수 있다. 이하, 새로운 직물 패턴의 생성을 위한 적대적 생성 신경망의 구조와 목적 함수에 대해 설명한다.

도 10(a)는 일 실시예에 따른 조건부 적대적 생성 신경망의 구조를 나타낸다. 일 실시예에서, 생성 신경망 G는 5개의 계층(layer)으로 구성되고, 512차원의 벡터를 입력으로 받을 수 있다. 모든 계층은 4 x 4의 deconvolution 필터로 구성될 수 있다. 마지막 계층를 제외한 모든 계층에는 batch-normalize를 사용하고, 구성한 각 계층를 거쳤을 때 나오는 액티베이션 맵의 채널의 수는 (1024, 512, 256, 64, 3)이 될 수 있다. 구성한 각 계층의 결과로 나오는 액티베이션 맵의 크기는 (2 Х 2, 4 Х 4, 8 Х 8, 16 Х 16, 32 Х 32, 64 Х 64)가 될 수 있다. 마지막 계층을 제외한 모든 계층에는 활성함수로 ReLU를 사용하고, 마지막 계층에만 tanh 함수를 사용할 수 있다. 최종적으로 나오는 결과는 64 x 64 x 3의 직물 패턴 이미지가 될 수 있다. 일 실시예에서, 판별 신경망 D는 5개의 계층으로 구성되고 입력으로는 직물 패턴 이미지와 직물 패턴의 부류를 받을 수 있다. 모든 계층은 4 x 4의 convolution 필터를 사용할 수 있다. 마지막 계층을 제외한 모든 계층에는 batch-normalize를 적용하고, 구성한 각 계층을 거쳤을 때 나오는 액티베이션 맵의 채널의 수는 (64, 128, 256, 512, 1)이 될 수 있다. 마지막 계층을 제외한 모든 계층은 활성 함수로 leaky ReLU를 사용하고, 마지막 계층에만 sigmoid 함수를 사용할 수 있다. 신경망의 결과는 입력이 진짜 직물 패턴일 경우 1, 생성 신경망이 만들어낸 직물 패턴일 경우는 0을 출력하게 할 수 있다.

조건부 적대적 생성 신경망의 목적 함수는 기존 적대적 생성 신경망의 목적 함수 수학식3에 데이터의 부류를 의미하는 y가 추가되어 수학식4와 같이 정의될 수 있다.

[수학식3]

[수학식4]

여기에서, 수학식4는 주어진 부류 y가 존재할 때, 주어진 입력이 부류 y에 속하는 실제 데이터면 1, 생성 신경망 G가 만들어낸 데이터면 0을 출력으로 하는 판별 신경망 D와 판별 신경망 D가 실제 데이터로 판별하도록 주어진 부류 y에서 데이터를 생성하는 생성 신경망 G를 구하는 함수에 해당할 수 있다. 일 실시예에서, 생성 신경망 G의 목적 함수에 생성 신경망 G가 만들어 내는 직물 패턴을 임베딩 신경망f의 입력으로 주었을 때 나온 좌표가 생성 신경망 G의 입력의 특징 벡터와 유사해지도록 하는 수학식5를 추가할 수 있다. 결과적으로, 새로운 직물 패턴 생성을 위한 적대적 생성 신경망을 위한 목적함수는 수학식6과 같다.

[수학식5]

[수학식6]

일 실시예에서, 인공지능 기반의 직물 패턴 검색 장치(110)는 도 9에서 생성한 직물 패턴 데이터를 적대적 생성 신경망을 학습하기 위한 직물 패턴 데이터로 사용할 수 있다. 또한, 적대적 생성 신경망을 학습시키기 위해서 직물 패턴 이미지와 직물 패턴의 부류를 사용하여 데이터셋을 만들 수 있다. 생성 신경망 G를 학습시키기 위해 입력으로 사용할 입력 벡터 z는 도 10(b)와 같이 512차원의 벡터로 구성될 수 있다. 512차원 중 20차원은 생성 신경망이 만들어낼 직물 패턴의 부류를 one-hot 벡터로 만들어서 구성되고, 다음 128차원은 기존 딥 메트릭 러닝을 사용하여 학습시킨 신경망이 출력한 128차원의 특징 벡터로 구성되며, 나머지 364차원은 정규 분포(normal distribution)를 따르는 값으로 샘플링 하여 구성될 수 있다.

인공지능 기반의 직물 패턴 검색 장치(110)는 생성 신경망 G가 특정 부류 y에 속한 데이터를 생성하게 하기 위해 조건부 적대적 생성 신경망을 사용할 수 있다. 여기에서, 조건부 적대적 생성 신경망은 기존 적대적 생성 신경망의 입력 데이터에 데이터의 부류도 함께 입력으로 주는 적대적 생성 신경망에 해당할 수 있다. 일 실시예에서, 도 11(a)는 트리플렛 신경망을 통해 학습한 임베딩 신경망의 결과와 직물 패턴의 부류를 조건으로 하여 학습시킨 생성 신경망 G를 나타낼 수 있고, 도 11(b) 직물 패턴 이미지에 직물 패턴의 부류를 조건으로 주어 학습시킨 판별 신경망 D를 나타낼 수 있다. 일 실시예에서, 학습한 생성 신경망(Generator) G는 입력으로 받은 부류와 입력으로 받은 좌표에 해당하는 직물 패턴을 생성할 수 있고, 판별 신경망(Discriminator) D는 입력으로 들어온 직물 패턴과 부류를 보고 실제 직물 패턴인지 생성 신경망 G가 만들어낸 직물 패턴인지를 판별할 수 있다. 생성 신경망 G과 판별 신경망 D의 학습은 교대로 진행될 수 있다. 도 10(a)와 같이 구성한 조건부 적대적 생성 신경망은 아래와 같은 조건으로 학습될 수 있다. 학습을 위한 batch의 크기는 128로 설정하고, learning rate는 생성 신경망과 판별 신경망 모두 0.0002로 설정하며, 두 네트워크 모두 adam optimizer를 사용하여 총 3,000 epoch 반복하여 네트워크를 학습할 수 있다.

도 12는 학습 결과 생성 신경망 G가 만들어낸 직물 패턴을 보여주는 도면이다. (a)는 실제 직물 패턴에, (b)는 생성 신경망 G가 만들어낸 새로운 직물 패턴에 해당할 수 있다.

결과적으로, 일 실시예에 따른 인공지능 기반의 직물 패턴 검색 장치(110)는 딥 메트릭 러닝을 활용하여 직물 패턴들을 공간에 임베딩 시키고 임베딩 된 공간을 활용하여 직물 패턴 검색 시스템과 새로운 직물 패턴 데이터를 생성할 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 딥 메트릭 러닝 중 트리플렛 신경망을 활용하여 직물 패턴들이 임베딩 공간에서 분포되는 방식을 추정하고, 직물 패턴들을 공간에 임베딩 시킬 때, 패턴이 단순할수록 같은 부류끼리 좀 더 잘 모이도록 할 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 추정한 임베딩 공간에서 새로운 직물 패턴의 좌표와 근접한 좌표에 해당하는 직물 패턴들을 사용자에게 제공할 수 있다. 또한, 인공지능 기반의 직물 패턴 검색 장치(110)는 데이터의 임베딩 공간과 조건부 적대적 생성 신경망을 활용하여 특정 부류에 속한 직물 패턴을 만들어 낼 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 임베딩 공간내에 직물 패턴들을 분포시키기 때문에 공간 내에서 좌표는 특정 직물 패턴의 특징이 될 수 있고, 이러한 특징을 조건부 적대적 생성 네트워크에 입력으로 주어 특정 부류에 속한 직물 패턴을 만들 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 새로운 직물 패턴을 만들어내는 신경망을 사용하여 향후 서로 어울리는 직물 패턴을 생성하는 연구 등에 활용할 수 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 조건부 적대적 생성 신경망을 활용하여 서로 잘 어울 리는 직물 패턴들을 생성해주는 신경망을 생성할 수 있다. 의상이 서로 잘 어울린다는 것은 의상에서 직물 패턴이 서로 조화롭게 잘 어울린다는 의미를 담고 있다. 인공지능 기반의 직물 패턴 검색 장치(110)는 조건부 적대적 생성 네트워크를 사용하여 2개의 직물 패턴을 조건으로 주었을 때 2개의 직물 패턴과 잘 어울리는 다른 하나의 직물 패턴을 생성해주는 신경망을 만들 수 있다. 서로 잘 어울리는 직물 패턴을 생성할 수 있다면, 일반 사용자들이 옷을 선택할 때, 좀 더 편리한 선택이 가능할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 인공지능 기반의 직물 패턴 검색 시스템
110: 인공지능 기반의 직물 패턴 검색 장치 120: 사용자 단말
130: 데이터베이스
210: 직물 패턴 처리부 220: 임베딩 공간 처리부
230: 직물 패턴 검색부 240: 제어부

Claims (9)

1. 직물 패턴을 획득하여 차원을 결정하는 직물 패턴 처리부;
   상기 직물 패턴을 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습 하여 획득한 직물 특징을 상기 차원에 따라 결정하고, 결정된 상기 직물 특징을 기초로 상기 직물 패턴을 임베딩 공간의 특정 위치에 배치하는 임베딩 공간 처리부; 및
   신규 직물 패턴이 입력되면 상기 신규 직물 패턴의 직물 특징을 기초로 상기 임베딩 공간 상에 상기 신규 직물 패턴의 위치를 결정하고, 상기 신규 직물 패턴의 위치를 중심으로 특정 반경 내에 있는 유사 직물 패턴을 검색하는 직물 패턴 검색부를 포함하는 인공지능 기반의 직물 패턴 검색 장치.
   
2. 제1항에 있어서, 상기 직물 패턴 처리부는
   각각은 유사한 직물 패턴들로 구성되는 복수의 직물 패턴 집합들을 획득하는 것을 특징으로 하는 인공지능 기반의 직물 패턴 검색 장치.
   
3. 제1항에 있어서, 상기 임베딩 공간 처리부는
   상기 직물 특징을 상기 직물 패턴의 임베딩 공간상의 특정 좌표로 결정하는 것을 특징으로 하는 인공지능 기반의 직물 패턴 검색 장치.
   
4. 제2항에 있어서, 상기 임베딩 공간 처리부는
   유사한 직물 패턴들간 상기 특정 위치를 서로 특정 반경 내로 결정하고, 비유사한 직물 패턴들간 상기 특정 위치를 서로 특정 반경 외로 결정하는 것을 특징으로 하는 인공지능 기반의 직물 패턴 검색 장치.
   
5. 제4항에 있어서, 상기 임베딩 공간 처리부는
   상기 포지티브 기계학습을 통해 상기 유사한 직물 패턴의 특정 위치를 결정하고, 상기 네거티브 기계학습을 통해 상기 비유사한 직물 패턴의 특정 위치를 결정하는 것을 특징으로 하는 인공지능 기반의 직물 패턴 검색 장치.
   
6. 제5항에 있어서, 상기 임베딩 공간 처리부는
   상기 앵커와 같은 직물 패턴 집합에 속하는 직물 패턴들을 상기 유사한 직물 패턴들로 결정하고, 상기 앵커와 다른 직물 패턴 집합에 속하는 직물 패턴들을 상기 비유사한 직물 패턴들로 결정하는 것을 특징으로 하는 인공지능 기반의 직물 패턴 검색 장치.
   
7. 제1항에 있어서, 상기 직물 패턴 검색부는
   상기 신규 직물 패턴의 위치를 상기 임베딩 공간상의 좌표로 결정하는 것을 특징으로 하는 인공지능 기반의 직물 패턴 검색 장치.
   
8. 제7항에 있어서, 상기 직물 패턴 검색부는
   상기 결정된 좌표를 기초로 k-최근접 이웃 알고리즘을 통해 상기 좌표에서 상기 특정 반경 내의 좌표에 있는 직물을 상기 유사 직물 패턴으로 결정하는 것을 특징으로 하는 인공지능 기반의 직물 패턴 검색 장치.
   
9. 직물 패턴을 획득하여 차원을 결정하는 단계;
   상기 직물 패턴을 앵커 기반의 포지티브 기계학습 및 네거티브 기계학습 하여 획득된 직물 특징을 상기 차원에 따라 결정하고, 결정된 상기 직물 특징을 기초로 상기 직물 패턴을 임베딩 공간의 특정 위치에 배치하는 단계; 및
   신규 직물 패턴이 입력되면 상기 신규 직물 패턴을 기초로 상기 임베딩 공간 상에 상기 신규 직물 패턴의 위치를 결정하고, 상기 신규 직물 패턴의 위치를 중심으로 특정 반경 내에 있는 유사 직물 패턴을 검색하는 단계를 포함하는 인공지능 기반의 직물 패턴 검색 방법.
   

Images