KR102270989B1 - 인공 지능 코디네이션 시스템 - Google Patents

Abstract

본 발명은 사용자 인터페이스, 사용자가 상기 사용자 인터페이스를 통해 제시하는 이미지에서 이미지 자질을 추출하여 n 차원의 실수값 벡터로 변환하는 이미지 자질 추출부, 상기 실수값을 n 차원의 벡터 공간에 매핑하여 저장하는 벡터 공간 저장소, 상기 사용자가 제시한 이미지의 실수값 벡터와 가까운 순으로 상품 이미지를 정렬하여 유사 상품을 검색하여 상기 사용자 인터페이스를 통해 제시하는 유사 이미지 검색부를 포함하는 것을 특징으로 하는 인공지능 코디네이션 시스템을 제공한다.

Description

인공 지능 코디네이션 시스템{ARTIFICIAL INTELLIGENCE FASHION COORDINATION SYSTEM}

본 발명은 인공지능 코디네이션 시스템에 관한 것이다.

패션 시장은 점차 그 규모가 커져가고 있다. 패션시장 규모 증대는 소비자들의 선호 패션 니즈와도 연결이 되는데, 시장 규모가 더 커질수록 생산되는 많은 양의 의류 중 자신이 원하는 스타일의 패션을 검색하여 찾는 것은 많은 시간을 소비한다. 패션 제공업의 경우 소비자의 선호 패션 니즈를 파악하고 알맞은 서비스를 제공하기 위해서는 사용자가 선호하는 패션 스타일을 파악하고 있어야 하는데, 이는 결국 사용자의 선호 패션 프로파일링을 보유하고 있어야 가능하다. 따라서, 소비자가 원하는 스타일을 시간을 소비하여 검색하는 것보다는 선호 패션에 맞도록 자동적으로 개인의 프로파일을 생성하는 효과적인 선호 패션 프로파일링이 필요하다.

사용자의 패션 프로파일링은 크게 두가지로 나눌 수 있으며, 설문조사형식을 통한 정적인 프로파일링과 사이트 내에서 행동이력을 통한 동적인 프로파일링이 해당된다.

정적인 프로파일링은 설문조사형식을 따르며, 국외 패션 추천 서비스 플랫폼인 스티치 픽스(stitch fix)가 대표적이다. 스티치 픽스에서는 사용자의 사이즈, 체형, 선호 가격, 선호 스타일(보헤미안, 엣지 스타일 등) 등의 총 5단계의 온라인 설문조사를 통해 사용자의 선호 패션에 대한 프로파일링을 진행한다. 이렇게 수집한 데이터를 이용하여 logistic regression, support vector machine 등의 기계학습 방법과 패션 전문가의 자문을 통해 최종 선호 패션을 제안하였다(Colson, E. "Using human and machine processing in recommendation systems". in First AAAI Conference on Human Computation and Crowdsourcing. 2013.)

동적인 프로파일링은 사용자가 사이트 내에서 클릭하는 로그 정보를 활용하는데, 이전 구매내역 등의 행동이력정보를 기반으로 프로파일링을 하는 것이다. 이는 자동적으로 선호 패션 추천과 연관될 수 있는데, 아마존의 추천 시스템도 이와 같은 맥락이다. 아마존 역시 의류 구매에 관한 별도의 카테고리가 있으며, 이전 구매 내역 등의 정보를 가지고 의류를 추천해주는 서비스를 제공한다. 아마존의 경우는 해당 데이터를 활용하여 item-to-item 협업 필터링 (collaborative filtering)을 도입하여, 실시간으로 추천 서비스를 제공한다. Item-to-item 협업 필터링 방식은 각 사용자들의 구매한 아이템과 비슷한 별점으로 평가된 아이템을 추천 리스트에 넣고 그 중 다른 구매자들이 함께 구매한 경향이 있는 아이템을 찾아 추천해준다.

대부분의 의류 검색 시스템은 상품의 속성 정보(상품명, 가격, 카테고리, 색상 등)를 문자를 중심으로 검색하는 방법을 취하고 있다. 시각적 속성이 중요한 의류 산업의 특성상 이러한 방법은 한계가 명확하다. 최근 사진을 이용하여 유사 상품 검색을 수행하는 시스템들이 출시되었지만, 이러한 방법은 사용자가 기존의 검색 시스템을 이용하여 원하는 상품의 이미지를 구하거나, 원하는 상품의 사진을 직접 촬영하여 얻어야 한다는 한계점이 있다.

PCT 국제 공개 번호 WO 2015/161191 대한민국 공개특허 10-2019-0057516 대한민국 등록특허 10-0911239 대한민국 공개특허 10-2012-0085707

본 발명의 실시예는 글로벌 패션 시장의 패러다임 변화와 패션 관련 기술의 지능화에 따라 맞춤형·개인화 의류 제품 추천을 위한 사용자 중심의 지능형 패션검색 및 맞춤형 코디네이션 제품을 개발하여 온라인상에서 서비스 대상이 되는 사용자의 패션 쇼핑 지원하는 것을 목적으로 한다.

본 발명의 실시예는 이미지 및 드로잉 툴 지원을 통해 스케치된 패션 이미지와 실제 상품과의 패션 분석이 용이하고, 검색이 가능한 패션 최적화 검색 서비스 제공하는 것을 목적으로 한다.

본 발명의 실시예는 사용자 선호패션 프로파일링 및 패션 이미지 기반의 다양한 방식의 자동분류(유사패턴, 패션종류, 유사색상 등) 기술 통한 사용자 맞춤형 코디네이션 서비스 제공하는 것을 목적으로 한다.

본 발명의 실시예는, 패션 아이템을 설명하는 텍스트 메타데이터 없이도 이미지 또는 스케치로 검색 할 수 있는 지능형 검색 기술, 사용자 맞춤 패션 코디네이션 서비스 제공을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여 본 발명은,

사용자 인터페이스;

사용자가 상기 사용자 인터페이스를 통해 제시하는 이미지에서 이미지 자질을 추출하여 n 차원의 실수값 벡터로 변환하는 이미지 자질 추출부;

상기 실수값을 n 차원의 벡터 공간에 매핑하여 저장하는 벡터 공간 저장소;

상기 사용자가 제시한 이미지의 실수값 벡터와 가까운 순으로 상품 이미지를 정렬하여 유사 상품을 검색하여 상기 사용자 인터페이스를 통해 제시하는 유사 이미지 검색부를 포함하는 것을 특징으로 하는 인공지능 코디네이션 시스템을 제공한다.

상기 이미지 자질 추출부는 인터넷 쇼핑몰에 카테고리로 구분되어 전시되는 상품들의 데이터를 이용하여 딥러닝 기법을 이용하여 이미지를 통해 패션 상품의 카테고리를 분류하는 이미지 분류기를 추가로 포함하고.

이미지 분류기는 미리 학습된 Deep Residual Network 모델을 이용하여 이미지 분류 모델을 학습하는 것을 특징으로 한다.

상기 유사 이미지 검색부는 검색의 대상이 되는 객체를 벡터 공간상 자질 벡터로 나타내고, cosine similarity 또는 Euclidean distance 등으로 유사도를 수치화하여 검색하는 것을 특징으로 한다.

상기 유사 이미지 검색부는 상기 이미지 자질 추출부에서 추출된 이미지 자질을 인덱싱(Indexing)하여 저장하는 것을 특징으로 한다.

상기 인공지능 코디네이션 시스템은 인터넷 쇼핑몰에 적용되고,

상기 이미지 자질 추출부는 상기 전자상거래 쇼핑몰 내에 포함되는 상품들에 대하여 이미지 자질을 추출하여 n 차원의 실수값 벡터로 변환하고,

상기 벡터 공간 저장소는 각각의 상기 상품들에 대한 실수값을 n 차원의 벡터 공간에 매핑하여 상기 벡터 공간 저장소에 저장하는 것을 특징으로 한다.

사용자가 상기 사용자 인터페이스를 이용하여 이미지를 제시하면 상기 이미지 자질 추출부는 상기 이미지의 이미지 자질을 n 차원 실수값 벡터로 변환하여 상기 벡터 공간 저장소에 저장하고, 상기 유사 이미지 검색부는 상기 상품들 중에서 상기 이미지의 실수값 벡터와 가까운 순서로 설정된 개수의 상품을 상기 사용자 인터페이스를 통해 제시하는 것을 특징으로 한다.

사용자가 상기 사용자 인터페이스를 이용하여 원하는 상품의 스케치를 입력하면 딥러닝 기술을 이용하여 상기 스케치를 이미지 수준으로 업샘플링하고, 상기 업샘플링된 이미지로부터 자질 벡터를 추출하여 n차원 실수값 벡터로 변환하는 드로잉 자질 추출부를 추가로 포함하는 것을 특징으로 한다.

상기 드로잉 자질 추출부는 상품 이미지를 스케치화하고 스케치화된 이미지를 상품 이미지로 업샘플링하는 드로잉 업샘플링 학습을 수행하는 드로잉 업샘플링 모듈을 추가로 포함하는 것을 특징으로 한다.

상기 드로잉 업샘플링 학습은 동일한 상품 이미지를 복수개의 해상도로 축소시킨 후 이를 결합하여 이미지들의 외관선을 추출하여 스케치화하여 학습 데이터를 구성하는 것을 특징으로 한다.

상기 벡터 공간 저장소는 상기 드로잉 자질 추출부에서 추출된 상기 실수값 벡터를 벡터 공간에 맵핑하여 저장하고,

상기 유사 이미지 검색부는 상기 실수값 벡터와 가까운 순으로 상품 이미지를 정렬하여 유사 상품을 검색하여 상기 스케치와 유사한 상품을 상기 사용자 인터페이스를 통해 제시하는 것을 특징으로 한다.

본 발명의 실시예에 따르면 촬영된 사진, 선택된 상품 또는 스케치된 상품과 유사한 상품 검색하여 사용자에게 제공할 수 있다.

또한, 본 발명의 실시예에 따르면, 사용자가 선택한 상품과 어울리는 상품을 추천할 수 있다.

또한, 본 발명의 실시예에 따르면, 패션 아이템을 설명하는 텍스트 메타데이터 없이도 이미지 또는 스케치로 검색할 수 있는 지능형 검색 기술, 사용자 맞춤 패션 코디네이션 기술을 제공할 수 있다.

도 1 은 본 발명의 일 실시예에 따른 인공 지능 코디네이션 시스템을 개략적으로 나타낸 도면이다.
도 2 는 인터넷 쇼핑몰의 상품 데이터의 예를 나타내는 도면이다.
도 3 은 Deep Residual Network를 이용한 상품 이미지 자질 추출 과정을 설명하는 도면이다.
도 4 는 본 발명의 실시예에 따른 인공 지능 코디네이션 시스템을 설명하는 도면이다.
도 5 는 Hdidx 라이브러리의 전체 구성 모듈 구조도이다.
도 6 은 비지도학습 방법으로 스케치 업샘플링 모듈을 학습시키는 과정을 설명하는 도면이다.
도 7 은 Generative Adversarial Network을 이용한 스케치 업샘플링 모델의 구조도이다.
도 8 은 스케치 업샘플링 모듈을 이용해 업샘플링된 결과물의 예를 나타내는 도면이다.
도 9 는 암묵적 사용자 선호 패션 프로파일 기술 및 사용자 선호 코디, 매칭 기술 개요를 나타내는 도면이다.
도 10 은 전문가 필터링을 통한 벡터기반 사용자 선호 코디 기술 개요를 나타내는 도면이다.
도 11 내지 도 19는 본 발명의 실시예에 따른 지능형 패션 검색 및 코디네이션 시스템이 구현되는 화면을 나타낸 도면이다.

본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

본 발명의 실시예에 따르면, 촬영된 사진, 선택된 상품 또는 스케치된 상품(색상이 없고 형태만 있는 스케치 상태의 상품)과 유사한 상품 검색하여 사용자에게 제공한다. 선택한 상품과 어울리는 상품을 추천한다. 패션 아이템을 설명하는 텍스트 메타데이터 없이도 이미지 또는 스케치로 검색할 수 있는 지능형 검색 기술, 사용자 맞춤 패션 코디네이션 기술을 제공한다.

패션 쇼핑몰의 경우, 소수의 카테고리 안에 수많은 종류의 상품이 존재하며 상품의 파편화도 심하여 문자 중심의 검색으로는 사용자가 원하는 상품을 찾기 어렵다. 이러한 문제를 해소하기 위하여 본 발명에서는 사용자가 원하는 상품을 그리거나 상품의 이미지를 제시하면 이를 바탕으로 유사한 상품을 검색하여 제공한다.

도 1은 본 발명의 일 실시예에 따른 인공 지능 코디네이션 시스템(100)을 개략적으로 나타낸 도면이다. 도시된 바와 같이, 인공 지능 코디네이션 시스템은 사용자 인터페이스(110), 이미지 자질 추출부(120), 드로잉 자질 추출부(130), 벡터 공간 저장소(140), 유사 이미지 검색부(150)를 포함한다.

사용자는 패션 상품의 소비자, 패션 상품 인터넷 쇼핑몰의 회원일 수 있다. 실시예에서, 인공 지능 코디네이션 시스템(100)은 온라인 매체에서 구현된다. 예를 들어, 시스템(100)은 패션 상품을 판매하는 온라인 쇼핑몰 사이트, 쇼핑 포털 또는 다른 웹 기반 또는 네트워크 환경의 일부로서 구현될 수 있다. 사용자 인터페이스(110)는 예를 들어, 웹페이지, 또는 웹페이지에서 제공되는 인터랙티브 피쳐(interactive feature)에 대응할 수 있다.

이미지 자질 추출부(120)는 사용자가 선택한 이미지 또는 온라인 쇼핑몰의 패션 상품의 이미지에서 이미지 자질을 추출한다. 이미지 자질 추출부(120)는 이미지를 패션 상품의 카테고리로 분류할 수 있는 이미지 분류기(121)를 추가로 포함한다. 이미지 분류기(121)는 이미지 처리에 많이 이용되는 딥러닝 기법 중 하나인 CNN(convolutional neural network) 모델을 이용하여, 도 3과 같이 이미지를 통해 패션 상품의 카테고리를 분류할 수 있다. 본 실시예에서는 패션 상품 이미지 분류를 위한 학습에, 도 2에 도시된 바와 같이 상품의 이미지와 4 단계 깊이(depth)로 구성된 카테고리 정보로 이루어진 패션 상품 데이터를 이용하였다. 학습된 이미지 분류기(121)는 이미지 자질 추출에 이용된다. 이미지 분류기는 33개의 상품 카테고리로 이루어진 약 6만 6천개의 아마존 데이터를 이용하여 이미지 분류 모델을 학습하였다. 이미지 분류기는 미리 학습된 34층의 Deep Residual Network 모델을 이용하여 학습한다. 본 발명의 실시예에 따른 이미지 분류기는 약 95%의 정확도를 나타냈다.

도 3은 상품 이미지 자질 추출 과정을 설명하는 도면이다. 본 발명의 실시예에서, 학습된 Deep Residual Network에서 상품 이미지의 자질을 추출하기 위해 global average pooling 레이어를 이용한다. 추출된 이미지 자질 벡터는 64차원(dimension)으로 이루어져 있으며, 이는 벡터 공간 기반의 이미지 검색에 이용된다. 이미지 자질 추출부(120)는 이미지를 n 차원의 실수값 벡터로 변환한다. 이때 이미지로부터 얻어진 실수값을 n 차원의 벡터 공간에 매핑하여 벡터 공간 저장소(140)에 저장한다. 유사한 특징을 가지는 이미지는 벡터 공간에서 가까운 자리에 위치하게 된다.

유사 이미지 검색부(150)는 사용자가 선정한 이미지의 실수값 벡터와 가까운 순으로 상품 이미지를 정렬하여 유사 상품을 검색할 수 있다. 벡터 공간 모델은 검색의 대상이 되는 객체를 벡터 공간 상 자질 벡터로 나타내고, cosine similarity 또는 Euclidean distance 등으로 유사도를 수치화 하여 검색을 수행한다. 벡터 공간 상에서 벡터값들 간의 거리를 측정하는 방법은 cosine similarity, euclidean distance 등 중 가장 우수한 성능을 내는 것을 실험적으로 선정하는 것이 바람직하다.

Cosine similarity

Euclidean distance

유사 이미지 검색 시간(time complexity)을 줄이기 위하여 추출된 이미지 자질을 인덱싱(Indexing)하여 검색 엔진에 저장하는 것이 바람직하다. 추출된 이미지의 자질을 인덱싱하는 방법으로 ANN(approximate nearest neighbor) 검색 기반의 hdidx 라이브러리를 활용하는 것이 바람직하다. 도 5 는 Hdidx 라이브러리의 전체 구성 모듈 구조도이다. 본 발명에서는 Hdidx 라이브러리를 이용하여 고차원(high-dimensional space)의 추출된 이미지 자질을 압축된 이진 코드(compact binary codes)로 변형하여 유사도 검색 시 검색 시간을 줄일 수 있다.

본 발명의 실시예에 따른 시스템은 의류 이미지의 카테고리 분류 모델을 지도학습으로 훈련시키며, 이로부터 이미지의 자질 벡터를 얻을 수 있다. 이렇게 만들어진 이미지의 자질 벡터는 이미지 자질 추출부(120)를 이용하여 검색 대상이 되는 의류 이미지들을 벡터화시켜 벡터 공간 저장소(140)에 저장한다. 이를 통해 사용자가 제시한 이미지와 유사한 상품을 검색할 수 있게 된다.

한편, 본 발명의 실시예에 따르면 드로잉 자질 추출부를 구비하여 스케치 기반 상품 검색을 가능하게 된다. 사용자가 상품의 스케치를 그리면 딥러닝 기술을 이용하여 이를 이미지 수준으로 업샘플링하고, 업샘플링된 이미지로부터 얻은 자질 벡터로 벡터 공간 기반 유사 이미지 검색을 수행하게 된다.

이러한 검색 방법의 장점으로는, 첫째, 본인이 원하는 상품을 문자로 표현하는 능력이 부족한 소비자 층에게 효과적인 검색 수단을 제공할 수 있으며, 둘째, 잠재적 소비자와 판매자 간의 거래를 활성화시켜 산업을 성장시킬 수 있게 된다. 시스템은 크게 벡터 공간 기반 검색 모듈, 스케치 업샘플링 모듈, 그리고 이를 훈련시키기 위한 학습 데이터로 구성된다.

본 발명의 실시예에 따른 인공지능 코디네이션 시스템은 사용자가 스케치를 제공하면 이를 드로잉 업샘플링 모델로 쿼리 이미지로 만들고 벡터화하여 cosine similarity 등의 유사도 측정 방법으로 유사 상품 검색 결과를 얻을 수 있다.

드로잉 자질 추출부(130)는 드로잉 업샘플링 모듈(131)을 추가로 포함한다. 드로잉 업샘플링 모듈은 도 6에 도시된 바와 같이, 상품 이미지를 스케치화 전처리하고 스페치화된 이미지를 업샘플링하는 드로잉 업샘플링 학습을 수행한다. 도 8 은 checkpoints/edges2shirts 스케치 업샘플링 모델을 이용해 업샘플링된 결과물의 예를 나타낸다. 학습을 위하여 의류 상품 이미지를 웹크롤러를 이용하여 수집한다. 이미지 자질 추출부의 학습데이터로도 활용할 수 있도록 상품의 카테고리 정보 등 메타 데이터를 함께 수집하는 것이 바람직하다. 드로잉 업샘플링 모듈은 대량의 이미지를 일괄적으로 크기를 줄이고 정사각형으로 자르는 단계를 수행한다. 모델이 다양한 선 굵기에 대응할 수 있도록 하기 위해, 동일한 이미지를 여러 해상도로 축소시킨 후 이를 결합하여 학습 데이터를 구성하는 것이 바람직하다. 학습 데이터 구성을 위해 이미지들의 외곽선을 추출한다. 추출된 외곽선을 후처리한다. 외곽선 및 원본 이미지들을 필요 경로에 맞게 복사하여 학습 데이터를 생성한다.

모델 학습은 다음과 같은 과정을 수행한다. 도 7 은 Generative Adversarial Network을 이용한 스케치 업샘플링 모델의 구조도이다. pix2pix 디렉토리에서 $ DATA_ROOT=/path/to/data/ name=모델명 which_direction=AtoB th train.lua를 실행하여 모델 학습을 진행한다. 학습된 모델 및 중간결과물은 pix2pix 디렉토리 아래 checkpoints/모델명 디렉토리에 저장된다.

학습된 모델을 사용하면 스케치가 이미지로 업샘플링 된다. pix2pix 디렉토리에서 $ DATA_ROOT=/path/to/data/ name=모델명 which_direction=AtoB phase=파일경로 results_dir=출력경로 th test.lua 명령어를 실행하면 스케치가 이미지로 업샘플링된다. 이때, /path/to/data/파일경로 디렉토리 내의 모든 스케치들에 대하여 업샘플링된 결과물들이 출력경로에 저장된다. 업샘플링된 이미지에 대하여 유사이미지 검색을 수행하여 스케치 검색 결과를 얻을 수 있게 된다.

즉, 드로잉 자질 추출부(130)는 인공 신경망을 이용한 드로잉 자질 추출 기술을 사용하여 드로잉을 n차원 실수값 벡터로 변환시킨다. 이때 드로잉으로부터 얻어진 실수 값을 n차원의 벡터 공간에 매핑(mapping)하면, 유사한 특징을 갖는 드로잉은 벡터 공간 상 가까운 자리에 위치하게 된다.

사용자가 그린 드로잉을 자질 추출 기술을 이용하여 실수값 벡터로 변환하고, 기존 상품 이미지들도 실수값 벡터로 변환하여 벡터 공간 저장소(140)에 저장된다. 벡터값들을 사용자 입력 벡터값과 거리가 가까운 순으로 정렬하는 방법으로 드로잉 자질 기반의 이미지 검색을 수행한다.

본 발명의 실시예에서, 드로잉 자질 추출부(130)는 사용자의 쿼리로 주어진 스케치를 이용하여 유사 이미지 검색을 하기 위해서는 해당 스케치를 이미지 수준으로 업샘플링하는 스케치 업샘플링 모듈을 포함한다.

도 7 은 Generative Adversarial Network을 이용한 스케치 업샘플링 모델의 구조도이다. 본 발명의 실시예에서 GAN을 이용하여 스케치를 이미지로 업샘플링한다. Generative Adversarial Network(GAN)은 상호 대립되는 두 신경망을 교차로 훈련시키는 생성 모델로, 기존의 방법보다 선명한 결과물을 얻을 수 있는 장점이 있다.

인공신경망을 훈련시키기 위해서는 대량의 학습용 데이터가 필요하다. 본 발명의 실시예에서 훈련시켜야 할 모델은 이미지 자질 추출부 제작을 위한 이미지 분류기와 스케치 업샘플링 모듈이다. 훈련을 위해 카테고리 정보가 태깅되어 있는 의류 이미지 데이터와, 의류 이미지와 그 스케치가 매칭되어 있는 데이터가 필요하다. 카테고리 정보가 태깅되어 있는 의류 이미지 데이터의 경우, 의류 인터넷 쇼핑몰 웹페이지 크롤러를 이용하여 수집할 수 있다. 대부분의 의류 판매 웹페이지의 경우 의류의 이미지와 해당 의류가 속한 카테고리 정보가 제공되므로, 이를 이용하여 학습용 데이터를 구축할 수 있다. 의류 이미지가 수집되면 Canny Edge Detection이나 Holistically-nested Edge Detection 등의 알고리즘을 이용하여 이를 스케치로 변할 수 있으므로, 이것으로 스케치 업샘플링 모듈을 훈련시킬 수 있다.

도 8 은 본 발명의 실시예에 따라 스케치 업샘플링 모듈을 이용해 업샘플링된 결과물을 나타낸다. 남성 의류를 대상으로 검색 실험을 수행하고 성능을 정량적으로 측정하여 구현된 시스템의 검증을 수행하였다. 검색의 대상은 남성 의류이며, 데이터는 국내 인터넷 쇼핑몰의 의류 전자 상거래 서비스로부터 수집된 사진 및 카테고리 정보를 활용하였다. 스케치 업샘플링 모듈의 경우, 남성 의류 중 상의에 대해서 학습을 시켰으며, 검색의 대상이 되는 상품 모집단은 남성 의류 카테고리(총 5개)로 제한하였다.

본 발명의 실시예에 따른 스케치 업샘플링 모듈의 성능을 Precision at 5를 이용하여 정량적으로 측정하였다. 검색의 결과로 제시된 상품의 카테고리가 쿼리 상품의 카테고리와 일치하는 경우 해당 검색 결과가 적절하다(relevant)고 정의하였다. 시험 데이터는 총 1,000개의 쿼리로 구성하였으며, 이는 학습 데이터에 포함되지 않은 의류 사진 1,000건을 Hollistically-nested Edge Detection(HED) 방법에 따라 처리하여 생성하였다. 성능 비교를 위한 기준 모델로는 검색 결과를 무작위로 제시하는 방법을 사용하였음. 검색 대상 카테고리가 5개이고 이중 적절한 카테고리가 1개이므로, 이러한 모델의 경우 Precision at 5는 0.200을 보였다. 본 실시예에 따른 스케치 업샘플링 모듈은 성능을 측정한 결과 시험 데이터 총 1,000개의 쿼리로부터 5,000개의 검색 결과를 얻었으며, 이 중 2,227건의 상품이 적절한 검색 결과로 확인되었음. 각 쿼리 당 Precision at 5를 계산하여 평균을 낸 값은 0.445로 나타났다. 기준 모델을 영가설로 하였을 때, 제안된 모델은 통계적 유의성 검증 결과 p < 0.01로 기준 모델과 통계적으로 유의미한 차이가 있는 것으로 나타났음. 이는 제안된 모델이 영가설을 기각하고 유의한 성능 향상을 보였음을 의미한다.

본 발명의 실시예에 따른 벡터 공간 기반 드로잉 검색 모델은 공인 인증 기관을 통해 성능을 검증받았다. 이를 위해 아래와 같은 절차를 통해 성능 평가를 진행하였다.

1. 전체데이터 중 일부(일반적으로 전체의 10%)를 테스트 데이터 셋으로 선정하여 학습 데이터에서는 제외시킨다.

2. 테스트데이터가 제외된 학습 데이터로 딥 네트워크를 학습시킨다.

3. 테스트데이터 셋을 드로잉화 하여 테스트 정확도 산정용 쿼리로 사용한다.

4. 학습된 딥 네트워크를 통해 쿼리(상품 이미지)로부터 유사 상품 검색결과를 얻는다.

5. 상품이미지 테스트 데이터 셋을 쿼리로 사용하였을 때, 검색 결과의 이미지들 중 쿼리 상품 이미지와 같은카테고리에 속하는 상품들의 경우 적합(relevant)한 검색 결과로 인정한다.

6. 검색 결과의 우수성은 precision at k를 사용하여 아래 수학식 1에 따라 수치화한다.

7. Precision at k는 상위 k개의 검색 결과 중 적합(relevant)한 검색 결과의 수의 비율이다.

본 발명의 실시예에 따른 시스템은 상기 성능 평과 결과 0.318의 결과를 얻었다.

도 9 는 암묵적 사용자 선호 패션 프로파일 기술 및 사용자 선호 코디, 매칭 기술 개요를 나타내는 도면이다. 암묵적 사용자 선호 패션 프로파일링 기술은 사용자가 직접적으로 신체 정보 및 선호 스타일을 입력하지 않고 제시되는 이미지만으로 데이터를 수집하기 때문에 암묵적이다. 도 11은 암묵적 사용자 선호 패션 프로파일링 화면 예이다. 사용자들은 랜덤으로 보여지는 2개의 스타일(상의 및 하의) 중에서 자신이 더 선호하는 사진에 대해 ‘좋아요’를 클릭하면, 제시되는 두 개의 스타일이 모두 마음에 들지 않을 경우에는 ‘skip’버튼을 눌러서 다른 스타일 이미지를 제시받을 수 있다. 사용자가 클릭한 정보는 지능형 선호 패션 추천을 위한 학습데이터로 사용되게 된다.

본 발명의 실시예에 따른 벡터기반 사용자 선호 코디 기술은 인공신경망 모델을 기반으로 벡터를 입력값으로 사용한다. 사용자 선호 패션 데이터의 입력 데이터는 암묵적 사용자 선호 패션 프로파일링 기술에서 수집한 개인화된 선호 패션 데이터를 사용한다. 암묵적 프로파일링 기법을 통해 수집한 데이터는 상의 및 하의 쌍 (pair) 에 대한 스타일 사진을 2가지로 보여주고 그 중 선호하는 사진을 고르는 형식이며, 사용자가 해당 프로파일링을 할수록 학습 데이터로 계속 누적된다. 해당박식을 사용하면 사용자가 직접 자신의 개인 정보를 입력하지 않아도 간편히 개인화된 정보를 수집할 수 있다.

도 10 은 전문가 필터링을 통한 벡터기반 사용자 선호 코디 기술 개요를 나타내는 도면이다. 사용자에게 스타일 (상의 및 하의)을 제시하기 전에 패션 전문가들을 통하여 먼저 모델을 학습하여 전문가 필터링이 이루어지게 한다. 상의와 하의를 랜덤으로 매칭시킨 스타일을 제시하고 두 개의 스타일 쌍 중에서 더 선호하는 스타일을 선택하면 두 개의 스타일 쌍 중 선호하는 스타일과 선호하지 않는 스타일에 대해서 라벨(label)을 지정할 수 있게 된다. 이렇게 라벨링된 학습 데이터는 이미지 자질 추출기를 이용하여 상품 이미지에 대해 벡터화하여 신경망을 이용해 가중치를 학습하였다. 사용자에게 스타일을 제시하기 전에 패션 전문가 그룹을 통해서 사전 학습을 함으로써 전문가가 판단하기에 일반적으로 선호하지 않는 패션은 모델의 가중치에 반영되어 필터링할 수 있게 된다. 본 실시예의 학습 모델은 인공신경망 기반의 모델로 Hidden layer는 10개를 사용하였으며, 이미지 자질 추출기를 통한 입력벡터는 64차원(dimension)으로 이루어져 있음. 또한, L2-regularization을 사용하여 데이터에 대한 overfitting 문제를 예방하도록 하였다. Activation function으로는 Relu (Rectified linear unit)를 사용하였으며, 학습과정에서 loss는 point wise loss를 이용하여 스타일 쌍에 대해 ‘좋음’과 ‘싫음’의 output layer에서의 벡터값 마진(margin)을 커지도록 학습하였다. 선호 스타일 추천을 위하여 스타일 선호에 대한 값은 top 5개의 상의 및 하의를 추천하도록 하였다.

도 12 내지 19는 상기와 같이 구성된 본 발명의 실시예에 따른 인공지능 코디네이션 시스템이 구현된 화면들이다. 이를 통해 실시예를 설명하기로 한다.

도 12 는 스마트폰에서 동작하는 사진 촬영 검색을 나타낸다. 통합검색화면에 키워드 검색 외에 사진을 촬영하여 검색하는 기능을 구현한다. 카메라 아이콘을 선택하여 의류 사진을 촬영하면 촬영 이미지와 유사한 인터넷 쇼핑몰 내의 상품을 검색하여 검색 결과를 제시하게 된다.

도 13은 스마트 폰에서의 사진촬영검색 QUICK 메뉴를 나타낸다. 본 발명의 실시예에 따른 인공지능 코디네이션 시스템이 적용된 쇼핑몰 앱을 사용하면서 필요하면, 수시로 사용할 수 있도록 기능을 전면에 노출한다. 즉, 메뉴 슬라이드 윈도우에 추가하거나, 상품목록 등 대부분의 화면 하단에 카메라 아이콘 노출한다.

스마트기기에서 촬영된 사진은 바로 자신의 앨범(나의 사진 앨범)에 저장한다. 나의 사진 앨범을 통해 저장된 사진의 이름 등을 수정 관리할 수 있도록 기능을 제공한다. 또한, 앨범에서 사진을 선택하여, 선택된 사진과 유사한 패션을 찾을 수 있도록 기능을 제공한다. 스타일 에디터를 통해 생성한 스케치 이미지를 저장하고 관리하는 나의 스타일 기능을 제공한다. 스타일 에디터에서 저장된 스케치 이미지를 선택하여 편집하거나, 스케치 이미지와 유사한 패션을 찾아주는 기능을 제공한다.

도 14는 스마트폰에서 제공되는 나의 앨범을 나타낸다. 촬영된 이미지는 나의 사진에, 스케치한 이미지는 나의 스타일에, 상품목록에서 관심 있는 상품을 선택하면 나의 상품에 저장되어 사용할 수 있게 된다. 나의 상품에 있는 상품을 선택하여 상품과 어울리는 다른 종류의 상품을 추천받는 기능을 제공한다.

도 15는 스마트폰에서 제공되는 스케치 에디터를 나타낸다. 도시되는 바와 같이 셔츠의 스타일을 결정하는 셔츠의 바탕 스케치 취합하고, 취합된 스케치의 이미지 사이즈를 동일하게 조정하는 보정을 통한 셔츠 바탕 스케치 완성 및 저장한다. 셔츠의 콤포넌트 중 하나인 주머니 스케치 취합 및 크기 보정을 통한 스케치 완성 및 저장한다. 셔츠의 콤포넌트 중 하나인 단추 스케치 취합 및 크기 등 보정을 통한 완성 및 저장한다. 또한, 단추의 마무리 스케치 취합 및 크기 등 보정을 통한 완성 및 저장한다. 셔츠 전체 스케치와 주머니, 단추 등을 선택하여 조합할 수 있다.

도 16은 스마트폰에서 제공되는 스케치 유사 상품 검색을 나타낸 도면이다. 스케치 에디터를 통해 생성된 스케치 이미지를 나의 스케치에 저장하여 관리한다. 생성된 스케치 이미지와 유사한 옷을 찾아주는 서비스 제공한다. 가지고 있는 상품 집합에서 유사한 상품을 찾을 수 있게 된다.

도 17은 맞춤형 패션 코디네이션 서비스를 나타낸다. 추천조건을 입력하여 조건에 맞는 상의 및 하의를 추천받은 기능을 구현한다. 추천받은 상의 및 하의에서 하의만 다시 추천받거나, 상의만 다시 추천받을 수 있다.

도 18은 선택된 상품과 어울리는 상품을 추천하는 코디네이션 서비스를 나타낸다. 선택된 상품에 맞는 상의 또는 하의를 추천하는 기능을 구현할 수 있다. 선택된 상품이 상의인 경우 하의를 추천하며, 하의인 경우에는 상의를 추천한다. 선택된 상품이 상의인지, 하의인지 자동 구분하는 것이 어렵고, 정확도가 떨어지기 때문에 상품속성 정보를 읽어 인자로 전달한다. 상품 이미지를 색인할 때 상품정보 일부를 읽어 함께 색인하여 성능을 개선하였다.

도 19는 개인 선호도 조사 서비스를 나타내는 도면이다. 사용자 맞춤형 코디네이션 서비스의 정확도를 높이기 위해 사용자가 선호하는 패션을 조사하는 서비스를 구현하여 제공한다. 상의와 하의 쌍을 랜덤하게 제공하고, 2개의 쌍 중 더 선호하는 쌍을 선택하도록 하는 쉬운 인터페이스로 구현한다. 빠르게 정보를 수집하고, 사용자의 부담 최소화할 수 있게 된다. 해당 정보는 맞춤형 코디네이션 학습 데이터에 반영되어 코디네이션 서비스의 정확도를 증진시킬 수 있게 한다.

전술한 바와 같이, 본 발명의 실시예에 따르면 촬영된 사진, 선택된 상품, 스케치된 상품과 유사한 상품을 검색하여 사용자에게 제시할 수 있으며, 선택한 상품과 어울리는 상품을 추천할 수 있게 된다.

Claims (10)

1. 사용자 인터페이스;
   사용자가 상기 사용자 인터페이스를 통해 제시하는 이미지에서 이미지 자질을 추출하여 n 차원의 실수값 벡터로 변환하는 이미지 자질 추출부;
   상기 실수값을 n 차원의 벡터 공간에 매핑하여 저장하는 벡터 공간 저장소;
   상기 사용자가 제시한 이미지의 실수값 벡터와 가까운 순으로 상품 이미지를 정렬하여 유사 상품을 검색하여 상기 사용자 인터페이스를 통해 제시하는 유사 이미지 검색부;
   사용자가 상기 사용자 인터페이스를 이용하여 원하는 상품의 스케치를 입력하면 딥러닝 기술을 이용하여 상기 스케치를 이미지 수준으로 업샘플링하고, 상기 업샘플링된 이미지로부터 자질 벡터를 추출하여 n차원 실수값 벡터로 변환하는 드로잉 자질 추출부를 포함하고,
   상기 드로잉 자질 추출부는 상품 이미지를 스케치화하고 스케치화된 이미지를 상품 이미지로 업샘플링하는 드로잉 업샘플링 학습을 수행하는 드로잉 업샘플링 모듈을 포함하고,
   상기 드로잉 업샘플링 학습은 동일한 상품 이미지를 복수개의 해상도로 축소시킨 후 이를 결합하여 이미지들의 외관선을 추출하여 스케치화하여 학습 데이터를 구성하고,
   상기 벡터 공간 저장소는 상기 드로잉 자질 추출부에서 추출된 상기 실수값 벡터를 벡터 공간에 맵핑하여 저장하고,
   상기 유사 이미지 검색부는 상기 실수값 벡터와 가까운 순으로 상품 이미지를 정렬하여 유사 상품을 검색하여 상기 스케치와 유사한 상품을 상기 사용자 인터페이스를 통해 제시하는 것을 특징으로 하는 인공지능 코디네이션 시스템.
2. 제 1 항에 있어서,
   상기 이미지 자질 추출부는 인터넷 쇼핑몰에 카테고리로 구분되어 전시되는 상품들의 데이터를 이용하여 딥러닝 기법을 이용하여 이미지를 통해 패션 상품의 카테고리를 분류하는 이미지 분류기를 추가로 포함하고,
   이미지 분류기는 미리 학습된 Deep Residual Network 모델을 이용하여 이미지 분류 모델을 학습하는 것을 특징으로 하는 인공지능 코디네이션 시스템.
3. 제 1 항에 있어서,
   상기 유사 이미지 검색부는 검색의 대상이 되는 객체를 벡터 공간상 자질 벡터로 나타내고, cosine similarity 또는 Euclidean distance 로 유사도를 수치화하여 검색하는 것을 특징으로 하는 인공지능 코디네이션 시스템.
4. 제 1 항에 있어서,
   상기 유사 이미지 검색부는 상기 이미지 자질 추출부에서 추출된 이미지 자질을 인덱싱(Indexing)하여 저장하는 것을 특징으로 하는 인공지능 코디네이션 시스템.
5. 제 1 항에 있어서,
   상기 인공지능 코디네이션 시스템은 인터넷 쇼핑몰에 적용되고,
   상기 이미지 자질 추출부는 상기 인터넷 쇼핑몰 내에 포함되는 상품들에 대하여 이미지 자질을 추출하여 n 차원의 실수값 벡터로 변환하고,
   상기 벡터 공간 저장소는 각각의 상기 상품들에 대한 실수값을 n 차원의 벡터 공간에 매핑하여 상기 벡터 공간 저장소에 저장하는 것을 특징으로 하는 인공지능 코디네이션 시스템.
6. 제 5 항에 있어서,
   사용자가 상기 사용자 인터페이스를 이용하여 이미지를 제시하면 상기 이미지 자질 추출부는 상기 이미지의 이미지 자질을 n 차원 실수값 벡터로 변환하여 상기 벡터 공간 저장소에 저장하고, 상기 유사 이미지 검색부는 상기 상품들 중에서 상기 이미지의 실수값 벡터와 가까운 순서로 설정된 개수의 상품을 상기 사용자 인터페이스를 통해 제시하는 것을 특징으로 하는 인공지능 코디네이션 시스템.
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images