KR20200085106A - 사용자에게 패션 아이템 추천 서비스를 제공하는 방법 - Google Patents

Abstract

본 발명은 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 관한 것이다. 구체적으로, 사용자 디바이스로부터 이미지를 획득할 수 있는 권한이 존재하는 지 여부를 확인하고, 상기 권한이 존재하는 경우 상기 사용자를 식별할 수 있는 이미지를 획득하는 단계; 상기 사용자를 식별할 수 있는 이미지로부터, 상기 사용자가 착용하고 있는 복수의 패션 아이템들을 추출하여 사용자 패션 데이터베이스를 생성하는 단계; 상기 생성된 사용자 패션 데이터베이스에 저장된 특정 패션 아이템에 대한 추천 서비스 요청을 수신하면, 복수의 패션 아이템들을 조합하여 사람의 느낌을 컴퓨터가 인식가능한 데이터로 표현하는 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스로부터, 이미지 유사도를 기준으로 상기 특정 패션 아이템과 유사한 아이템을 검색하는 단계; 상기 유사한 아이템이 검색된 스타일 이미지로부터 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정하는 단계; 및 상품의 내용에서 추출된 레이블이 인덱싱되어 구성된 상품 데이터베이스로부터, 이미지 유사도를 기준으로 상기 코디네이션 아이템과 유사한 상품을 추천 상품으로 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

사용자에게 패션 아이템 추천 서비스를 제공하는 방법{A METHOD OF PROVIDING A FASHION ITEM RECOMMENDATION SERVICE TO A USER}

본 발명은 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 관한 것으로서, 보다 상세하게는 사용자 디바이스로부터 획득한 이미지를 이용하여 사용자에게 패션 아이템을 추천하는 서비스 제공 방법에 관한 것이다.

최근 증가된 유무선 인터넷 환경을 배경으로 온라인을 이용한 홍보, 매매 등의 상거래가 활성화되고 있다. 이와 관련하여 구매자들은 인터넷과 연결된 데스크탑이나 모바일 단말에서 잡지, 블로그 또는 YouTube의 동영상등을 검색하다가 마음에 드는 상품을 발견하면, 상품명 등을 검색하여 구매로 이르게 된다. 유명 여배우가 공항에서 들었던 가방 이름, 예능 프로그램에 나온 육아 용품 이름이 포탈 사이트의 실시간 검색어 순위 상위에 올라가는 경우가 그 예라고 할 수 있다. 그러나 이때, 사용자는 검색을 위한 웹 페이지를 별도로 열어서 상품명, 제조사, 판매처 등을 검색해야 하고, 이들에 대한 명확한 정보를 이미 알고 있지 않으면 쉽게 검색하지 못하는 불편이 있다.

한편 판매자들은 제품 홍보를 위해서 상업 광고 이외에도 미디어 협찬, 온라인 사용기 모집 등에 많은 비용을 지출한다. 최근에는 온라인 상의 입소문이 제품 판매에 중요한 변수로 작용하기 때문이다. 그러나 홍보 비용 지출에도 불구하고, 상품명과 판매처 등의 쇼핑 정보를 공개할 수 없는 경우도 빈번하다. 상품명 노출에 대한 매체 시청자들의 사전 승인을 개별적으로 받을 수 없어 간접광고이슈가 발생할 수 있기 때문이다.

이와 같이 사용자와 판매자 모두 온라인상의 상품 이미지에 대해 보다 직관적인 UI(User Interface) 환경에서 쇼핑 정보를 제공하기를 원하는 니즈가 존재한다.

상술한 바와 같은 논의를 바탕으로 이하에서는 사용자 디바이스로부터 획득한 이미지를 이용하여 사용자에게 패션 아이템을 추천하는 서비스 제공하고자 한다.

본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 문제점을 해결하기 위한 본 발명의 일 양상인 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법은, 사용자 디바이스로부터 이미지를 획득할 수 있는 권한이 존재하는 지 여부를 확인하고, 상기 권한이 존재하는 경우 상기 사용자를 식별할 수 있는 이미지를 획득하는 단계; 상기 사용자를 식별할 수 있는 이미지로부터, 상기 사용자가 착용하고 있는 복수의 패션 아이템들을 추출하여 사용자 패션 데이터베이스를 생성하는 단계; 상기 생성된 사용자 패션 데이터베이스에 저장된 특정 패션 아이템에 대한 추천 서비스 요청을 수신하면, 복수의 패션 아이템들을 조합하여 사람의 느낌을 컴퓨터가 인식가능한 데이터로 표현하는 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스로부터, 이미지 유사도를 기준으로 상기 특정 패션 아이템과 유사한 아이템을 검색하는 단계; 상기 유사한 아이템이 검색된 스타일 이미지로부터 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정하는 단계; 및 상품의 내용에서 추출된 레이블이 인덱싱되어 구성된 상품 데이터베이스로부터, 이미지 유사도를 기준으로 상기 코디네이션 아이템과 유사한 상품을 추천 상품으로 결정하는 단계를 포함하는 것을 특징으로 한다.

나아가, 웹 페이지(web page)상에 링크된 상품 이미지가 입력되면, 상기 상품 이미지에 대한 패션 아이템을 상기 사용자 패션 데이터베이스에 추가하는 단계를 더 포함할 수 있다.

나아가, 상기 사용자 패션 데이터베이스는, 상기 사용자를 식별할 수 있는 이미지로부터 추출된 사용자 얼굴 이미지를 기준으로, 상기 복수의 패션 아이템들에 대한 정보가 정렬(sorting)되어 저장되며, 상기 복수의 패션 아이템들에 대한 정보는, 패션 아이템 사이즈, 사람이 패션 아이템에서 느끼는 느낌을 컴퓨터 인식가능한 데이터로 표현한 레이블, 상기 사용자가 피팅하였을 경우의 이미지 정보 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다. 더 나아가, 상기 결정된 추천 상품은, 상기 상품의 내용에서 추출된 레이블 및 상기 사용자 패션 데이터베이스에 저장된 상기 복수의 패션 아이템들에 대한 정보를 기반으로, 상기 사용자의 핏(fit)이 예상가능하도록 참고 정보가 제공되는 것을 특징으로 할 수 있다.

나아가, 상기 결정된 추천 상품에 대하여 상기 사용자의 선택이 수신되면, 상기 추천 상품에 대한 웹 페이지를 통하여 상품 주문 서비스를 제공하는 단계를 더 포함할 수 있다.

나아가, 상기 스타일 데이터베이스는, 상기 스타일 이미지에 포함된 적어도 하나의 패션 아이템들로부터 컴퓨터 인식가능한 데이터로 표현된 스타일 레이블이 추출되어, 상기 추출된 스타일 레이블 기반으로 상기 스타일 이미지가 클러스터링되어 생성된, 임의의 스타일 레이블을 공유하는 적어도 하나의 스타일 북(style book)으로 구성된 것을 특징으로 할 수 있다.

본 발명의 실시예에 따르면, 사용자 디바이스로부터 획득한 이미지를 이용하여 사용자에게 패션 아이템을 추천하는 서비스를 효율적으로 제공할 수 있다.

본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 관한 이해를 돕기 위한 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 실시예에 따라 서비스 서버(101)과 사용자 디바이스(103)간에 전송되는 메시지 전송 과정을 설명하기 위한 순서도이다.
도 2는 본 발명의 일 실시예에 따라, 서비스 서버가 패션 아이템 추천 서비스를 제공하는 방법에 대한 설명을 하기 위한 참고도이다.

본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술내용에 대해서는 설명을 생략한다.

이하에서는 상품 정보가 표시되는 사용자 디바이스는 모바일 장치인 것으로 전제하고 설명하지만 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 사용자 디바이스는 데스크탑, 스마트폰, 테블릿 PC 등 검색을 요청하고 광고 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다.

또한 본 명세서에서 상품의 개념은 유형의 재화에 한정되지 않음을 주의해야 한다. 즉, 본 명세서에서 상품은 유형의 물건뿐 아니라 판매 가능한 무형의 서비스를 포함하는 개념으로 이해되어야 한다.

나아가, 본 명세서에서 사용자 디바이스에 표시된 페이지(displayed page in an electronic device)라는 용어는, 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함하는 개념으로 이해될 수 있다. 예를 들어 모바일 디바이스의 디스플레이에서, 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 페이지의 개념에 포함될 수 있다.

한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다.

그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.

도 1은 본 발명의 실시예에 따라 서비스 서버(101)과 사용자 디바이스(103)간에 전송되는 메시지 전송 과정을 설명하기 위한 순서도이다.

본 발명의 실시예에 따르면, 사용자 디바이스에 저장된 이미지에 기반한 사용자 맞춤형 상품 추천 서비스가 제공될 수 있다. 예를 들어, 사용자 디바이스에 저장된 이미지들 중에서, 사용자가 식별될 수 있는 이미지들을 이미지 프로세싱하여, 사용자의 얼굴을 기준으로 사용자가 착용하였던 패션 아이템을 추출하여 분류(sorting)한 후 해당 패션 아이템을 기반으로 추천 상품을 제공할 수 있다. 만약, A라는 사용자가 흰색 가방과 갈색 정장을 착용한 사진이 사용자 디바이스에 존재하는 경우, A라는 사용자의 얼굴을 기준으로 '흰색 가방'과 '갈색 정장'이 사용자 패션 데이터베이스에 구분(sorting)하여 저장될 수 있다. 따라서, 사용자가 사용자 패션 데이터베이스에 포함된 갈색 정장에 대하여 잘 어울리는 패션 아이템에 대하여 추천 서비스를 요청하면, 서비스 서버는 패션 잡지등을 이용하여 학습된 스타일 데이터베이스에서, 갈색 정장과 구두가 매칭된 사진을 기초로, 코디네이션 아이템을 추천할 수 있다.

즉, 서비스 서버(101)는, 갈색 정장에 대해 스타일 추천을 요청하는 요청을 수신하면, 미리 생성한 스타일 데이터베이스, 상품 데이터베이스 및 사용자 패션 데이터베이스를 참고하여 갈색 정장과 잘 어울리고 사용자 사이즈에 부합하는 구두 카테고리의 아이템을 추천하고, 추천 구두의 온라인 마켓 정보를 함께 제공할 수 있다.

보다 구체적으로 서비스 서버는 사용자가 사용자 패션 데이터베이스상의 임의의 패션 아이템을 특정하여 문의하면, 패션 아이템 객체의 이미지 유사도를 기준으로 먼저 스타일 데이터베이스를 검색하여 요청 아이템과 유사한 아이템을 결정할 수 있다. 이후 서비스 서버는 스타일 데이터베이스에 포함된 이미지에서 상기 유사한 아이템과 함께 매칭되어 있는 다른 아이템들을 확인하고, 상기 다른 아이템 중에서 사용자 사이즈 정보를 반영하여 코디네이션 아이템을 결정할 수 있다.

이후 서비스 서버는 상기 코디네이션 아이템에 대해 이미지 유사도를 기준으로 상품 데이터베이스를 검색하여, 사용자 사이즈 정보에 따라 우선순위를 설정하여 추천 상품을 결정할 수 있다.

본 발명의 실시예에 따르는 패션 아이템 추천 서비스 제공을 위하여, 서비스 서버(101)는 사용자 디바이스(103)로부터 이미지를 획득할 수 있는 권한이 존재하는지 여부를 확인할 필요가 있다. 서비스 서버는 사용자 디바이스로부터 이미지를 획득할 수 권한이 없는 경우에는 사용자 디바이스에 이미지 권한을 요청할 수 있다(S110). 예를 들어, 추천 서비스를 제공하기 위하여 사용자 디바이스에 저장된 사진첩·앨범 등에 대한 권한을 요청할 수 있다.

사용자는 서비스 서버의 이미지 권한이 요청된 경우, 이에 대하여 이미지 권한 부여를 진행할 수 있으며(S120), 이에 따라 서비스 서버는 사용자 디바이스에 대한 이미지 권한을 이용하여 사용자에게 본 발명에 따른 추천 서비스를 제공할 수 있다. 만약, 서비스 서버에 이미 사용자 디바이스로부터 이미지를 획득할 수 있는 권한이 존재하는 경우에는 상술한 이미지 권한 요청 단계(S110) 및 이미지 권한 부여 단계(S120)가 생략될 수 있다.

서비스 서버(110)는, 사용자 디바이스(102)에 대하여 이미지 권한이 존재하는 경우, 사용자를 식별할 수 있는 이미지를 획득한다(S130). 이 경우, 서비스 서버는 사용자 디바이스에 저장된 모든 이미지를 획득하여, 그 중 사용자가 식별가능한 이미지만을 이용할 수 도 있으나, 사용자 디바이스에 분류(sorting)된 식별 정보에 기반하여 특정 사용자에 대한 이미지만을 획득할 수 도 있다.

예를 들어, 사용자 디바이스에 A라는 사용자의 얼굴을 기준으로 분류된 이미지들이 존재한다면, 해당 이미지들만을 획득하여 이미지 프로세싱을 수행할 수 도 있다. 이는 사용자 디바이스에 불필요한 사진 등이 포함될 수 있기 때문에 분류된 이미지를 사용함으로써 추천 서비스의 정확도를 향상시키고, 서버의 불필요한 처리연산을 방지할 수 있다.

서비스 서버(101)는 사용자를 식별할 수 있는 이미지로부터, 사용자가 착용하고 있는 복수의 패션 아이템들을 추출하여 사용자 패션 데이터베이스를 생성한다. 만약, 사용자로부터 웹 페이지(예를 들어, 온라인 쇼핑몰, 의류 브랜드 홈페이지)상에서 확인할 수 있거나 링크된 상품 이미지가 입력되면, 상품 이미지에 대한 패션 아이템이 사용자 패션 데이터베이스에 추가될 수 도 있다. 예를 들어, A라는 사용자가 가방을 구매한 쇼핑몰의 온라인 페이지에서 이미지를 캡쳐해서 사용자 패션 데이터베이스에 추가할 수 도 있으며, 특정 사이트의 링크를 입력하는 경우에는 해당 사이트의 이미지가 사용자 패션 데이터베이스에 추가될 수 도 있다.

또한, 사용자 패션 데이터베이스에는 패션 아이템들에 대한 정보가 포함될 수 있는데, 패션 아이템의 사이즈, 사람이 패션 아이템에서 느끼는 느낌을 컴퓨터 인식가능한 데이터로 표현한 레이블, 사용자가 피팅하였을 경우의 사진등이 포함될 수 있다. 예를 들어, 사용자 패션 데이터베이스에는 사용자가 자신의 상의, 하의, 원피스 등의 필요한 사이즈 정보가 포함될 수 있으며, 실제 옷을 피팅하였을 때의 모습이 사진으로 관리되어, 사용자로 하여금 자신의 체형을 고려한 피팅이 가능하도록 할 수 있다. 혹은, 패션 아이템들에 대하여 각각 #편안, #타이트, #적당 등과 같이 개인적인 느낌을 포함하도록 저장함으로써, 사용자가 추후 패션 아이템의 선택시 핏(fit)을 고려할 때 참고할 수 있다.

한편, 본 발명의 다른 실시예를 따르면, 사용자 패션 데이터베이스에는 해당 사용자 디바이스에서 실행된 온라인 쇼핑몰 엑세스 로그 데이터가 포함될 수 있다. 예를 들어 사용자 디바이스에서 특정 온라인 쇼핑몰 어플리케이션 또는 웹페이지가 실행되고, 이를 통해 사용자가 특정 패션 아이템을 열람 또는 구매한 경우, 해당 패션 아이템 정보 및 열람 시간, 구매 시간이 사용자 패션 데이터베이스에 저장될 수 있다.

예를 들어 사용자 디바이스 (103)는 사용자가 구매한 패션 아이템의 상세 설명 URL을 획득하고, URL 데이터를 서비스 서버 (101)로 전송할 수 있다. 이후 서비스 서버는 상기 URL에서 해당 패션 아이템에 대한 이미지 데이터 및 제조사, 사이즈 정보, 색상 등 텍스트 데이터를 수집할 수 있다. 나아가 서비스 서버는 사용자가 구매한 패션 아이템에 대한 이미지 데이터를 이미지 프로세싱하여 해당 패션 아이템의 내용, 예를 들어 색상, 형태, 소재, 패턴, 길이, 형태 등에 대한 레이블을 추출할 수 있으며, URL에서 수집한 텍스트 데이터와 이미지 데이터 및 이미지 데이터에서 추출한 레이블을 사용자 패션 데이터베이스에 저장할 수 있다. 이때 상기 데이터들은 온라인 쇼핑몰 식별정보 및 구매 날짜 데이터와 함께 관리될 수 있다.

본 발명의 추가적인 실시예를 따르면, 사용자 패션 데이터베이스는 수집된 데이터를 바탕으로 사용자 취향을 추정하여 취향 데이터를 생성할 수도 있다. 예를 들어 사용자가 특정 제조사의 패션 아이템을 빈번하게 구매하는 경우, 사용자는 해당 제조사를 선호하는 것으로 추정할 수 있으며,사용자가 보유하거나 구입한 패션 아이템의 색상, 형태, 소재, 패턴, 길이, 형태의 유사성을 계산하여 사용자 취향 데이터를 생성할 수 있다. 상기 사용자 취향 데이터에는 온라인 쇼핑시 선호하는 가격대, 용도, 브랜드에 대한 정보를 포함할 수 있다. 사용자 취향 정보에 대한 보다 구체적인 설명은 첨부된 도 2에 대한 설명에서 후술된다.

이후 서비스 서버(101)는, 사용자 디바이스(103)로부터 상술한 바와 같이 생성된 사용자 패션 데이터베이스에 저장된 특정 패션 아이템에 대한 추천 서비스 요청을 수신하면(S140), 스타일 데이터베이스로부터 이미지 유사도를 기준으로 특정 패션 아이템과 유사한 아이템을 검색한다. 유사한 아에템이 검색된 경우, 서비스 서버는 유사한 아이템이 검색된 스타일 이미지로부터 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정한다.

이에 서비스 서버는 상품 데이터베이스로부터 이미지 유사도를 기준으로 코디네이션 아이템과 유사한 상품을 추천 상품으로 결정하고 사용자에게 제공할 수 있다(S150). 이 때, 서비스 서버는 사용자 패션 데이터베이스에 포함된 패션 아이템들에 대한 정보를 기반으로, 추천 상품을 구매하였을 경우 사용자에게 핏(fit)이 어떨지 예상가능하도록 제공할 수 있다. 만약, 상품 데이터베이스에 상품의 내용에서 추출된 레이블이 있는 경우에는 사용자 패션 데이터베이스에 포함된 패션 아이템들에 대한 정보와 함께 사용자에게 제공될 수 도 있다.

사용자는 서비스 서버로부터 추천 상품을 제공받은 경우, 이를 구매하는 선택을 할 수 도 있는데, 이러한 경우 서비스 서버는 사용자의 선택에 따라 추천 상품에 대한 웹 페이지를 통하여 상품 주문 서비스를 제공할 수 도 있다.

도 2는 본 발명의 일 실시예에 따라, 서비스 서버가 패션 아이템 추천 서비스를 제공하는 방법에 대한 설명을 하기 위한 참고도이다.

먼저, 본 발명에 따른 추천 서비스를 제공하기 위하여 서비스 서버는 사용자 디바이스로부터 사용자를 식별할 수 있는 이미지를 획득한다(S210). 이미지를 획득하는 방법은 사용자 디바이스로부터 이미지를 획득할 수 도 있고, 사용자로부터 웹 페이지(예를 들어, 온라인 쇼핑몰, 의류 브랜드 홈페이지)상에서 확인할 수 있거나 링크된 상품 이미지가 입력될 수 도 있다.

서비스 서버는 획득한 이미지로부터 사용자 패션 데이터베이스를 생성한다(S220).

본 발명에서 사용자 패션 데이터베이스에는 이미지로부터 추출한 패션 아이템이 저장될 수 있으며, 나아가 사용자 패션 데이터베이스는 패션 아이템 사이즈, 사람이 패션 아이템에서 느끼는 느낌을 컴퓨터 인식가능한 데이터로 표현한 레이블, 사용자가 피팅하였을 경우의 이미지 정보가 포함되거나, 사용자의 구입 데이터, 열람 시간 데이터 등 사용자의 취향을 추정할 수 있는 정보, 사용자의 사이즈 정보, 패션 아이템에 대한 온라인 쇼핑시 선호하는 가격대, 용도, 브랜드에 대한 정보를 포함될 수 있다.

혹은, 사용자 패션 데이터베이스는 사용자 식별 정보, 사용자 사이즈를 추정하기 위한 사용자 행동 정보, 행동 정보로부터 추정한 사용자 사이즈 및 사용자 디바이스로부터 직접 수신한 사용자 사이즈 정보를 포함할 수 있다.

예를 들어 서비스 서버는 사용자 디바이스에 사용자의 나이, 성별, 직업, 관심 패션 분야, 기보유 아이템 등에 대한 질의를 제공하고, 상기 질의에 대한 사용자 입력을 수신하여 사용자 사이즈 정보를 생성하고 이를 상기 사용자 패션 데이터 베이스에 반영할 수 있다.

서비스 서버는 본 발명의 실시예를 따르는 어플리케이션을 통해 제공되는 임의의 스타일 북을 사용자가 열람한 시간, 좋아요 태그를 생성한 아이템 정보, 요청 아이템, 상기 어플리케이션 또는 다른 어플리케이션을 통해 구매한 패션 아이템 정보 및 상기 정보가 생성된 시간 정보 등 사용자 사이즈를 추정하기 위한 사용자 행동 정보를 조합하여, 해당 사용자가 해당 시점에 관심있는 스타일에 대한 취향 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 도 있다.

또한, 서비스 서버는, 사용자의 체형 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다. 예를 들어 사용자 디바이스에서 복수의 각도에서 사용자의 신체를 촬영한 신체 이미지를 생성하여 서비스 서버에 전송하면, 서비스 서버는 대량의 신체 이미지로부터 인간의 신체 특징을 학습한 기계학습 프레임워크로부터 사용자 체형 모델을 생성할 수 있다. 사용자 체형 모델은 사용자 신체의 각 부분의 사이즈 정보뿐 만 아니라 사용자 신체의 각 부분의 비율, 피부톤에 대한 정보를 포함할 수 있다.

본 발명의 추가적인 실시예를 따르면, 서비스 서버는, 사용자의 패션 아이템에 대한 선호도 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다. 상기 선호도 정보는 사용자의 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 포함할 수 있다. 예를 들어 사용자 디바이스에서 온라인 마켓을 통한 패션 아이템 열람 또는 구매가 진행되면, 서비스 서버는 열람 또는 구매에 대한 가중치를 다르게 반영하여 선호 가격, 선호 브랜드, 선호 용도에 대한 정보를 생성하고 이를 사용자 패션 데이터베이스에 반영할 수 있다.

특히 본 발명의 실시예를 따르는 서비스 서버는 인간의 느낌에 해당하는 사용자의 “취향”을 추정하고, 추정된 취향 정보를 컴퓨터가 인식가능한 형태로 생성하여 이를 사용자 패션 데이터베이스에 반영하는 특징이 있다.

예를 들어, 서비스 서버는 사용자의 행동 정보로부터 사용자의 취향을 추정하기 위한 레이블을 추출할 수 있다. 상기 레이블은 사용자가 열람한 스타일 북, 좋아요 태그를 생성한 아이템, 요청 아이템, 구매 아이템 등 사용자 행동 정보에 포함되는 패션 아이템들의 의미에 대한 것으로 추출할 수 있다. 나아가 상기 레이블은 사용자 행동 정보에 포함되는 패션 아이템들의 외관, 느낌 등의 룩앤필, 트랜드에 대한 정보로 생성할 수 있다.

사용자 행동 정보로부터 생성된 레이블은 사용자 행동에 따른 가중치가 적용되고, 서비스 서버는 이를 조합하여 사용자 사이즈를 추정하는 사용자 사이즈 정보를 생성하여 사용자 패션 데이터베이스에 저장할 수 있다. 상기 사용자 패션 데이터베이스에 포함된 사용자 사이즈 정보, 사용자 체형 정보 및 사용자 선호도 정보는 추천 아이템 또는 추천 상품에 대한 노출 우선순위 설정에 사용될 수 있다.

서비스 서버는 사용자 패션 데이터베이스에 저장된 특정 패션 아이템에 대한 추천 서비스 요청을 수신하면, 스타일 데이터베이스로부터 이미지 유사도를 기준으로 특정 패션 아이템과 유사한 아이템을 검색한다(S230). 예를 들어, 사용자는 사용자 디바이스의 특정 패션 아이템의 사진을 선택하여, 해당 패션 아이템의 상품 정보를 요청하거나 또는 그것과 잘 어울릴만한 코디네이션 아이템 추천을 요청하는 요청을 서비스 서버에 전송할 수 있다. 여기서, 사용자 디바이스는 디스플레이된 이미지에 미리 설정된 범주의 객체가 포함되어 있는지 여부를 먼저 판단하고, 객체를 특정하여 해당 객체를 특정 패션 아이템으로 특정할 수 도 있다.. 나아가 이미지에 복수의 패션 아이템에 대한 객체가 포함된 경우, 각각의 객체를 특정하고, 사용자가 선택한 객체에 대한 요청만 전송하도록 동작될 수도 있다.

본 발명에서, 스타일 데이터베이스는 웹상에서 수집되는 이미지 중, 패션 스타일, 다수의 아이템의 코디네이션에 대해 참고할 수 있는 패션 이미지에 대한 정보를 포함할 수 있다. 스타일 데이터베이스는 온라인 상에서 수집되는 이미지 중에서, 복수의 패션 아이템들이 잘 어울리도록 조합되어 있는 이미지 (본 명세서에서 이를 스타일 이미지로 지칭함) 및 스타일 이미지에 대한 분류 정보를 포함할 수 있다. 본 발명의 실시예를 따르는 스타일 이미지는 전문가 또는 준전문가가 복수의 패션 아이템들을 미리 조합하여 생성한 이미지 데이터로 웹 상에서 수집 가능한 패션 카탈로그, 패션 잡지 화보 이미지, 패션쇼 촬영 이미지, 아이돌 의상 이미지, 특정 드라마 또는 영화의 의상 이미지, SNS, 블로그 유명인의 의상 이미지, 패션잡지의 스트리트 패션 이미지, 패션 아이템의 판매를 위해 다른 아이템과 코디해놓은 이미지 등을 예시할 수 있다.

따라서, 스타일 이미지는, 본 발명의 실시예를 따르는 스타일 데이터베이스에 저장되어, 특정 아이템과 잘 어울리는 다른 아이템을 결정하는데 사용될 수있다. 이에 따르면 스타일 이미지는 일반적으로 “잘 어울린다”는 인간의 느낌을 컴퓨터가 이해할 수 있는 참고 자료로 활용될 수 있다. 임의의 아이템과 “잘 어울린다”는 것은 인간의 느낌에 대한 것이기 때문에, 어떤 아이템에 대해 사람의 개입없이 “잘 어울리는” 다른 아이템을 컴퓨터가 추천하기 위해서는 복수의 패션 아이템의 매칭에 대해 학습된 기계학습 프레임워크가 필요할 것이다. 이를 위하여 본 발명의 실시예를 따르는 서비스 서버는 복수의 패션 아이템이 전문가 또는 준전문가에 의해 조합되어 사람이 착용한 스타일 이미지를 수집하고 이를 스타일 데이터베이스로 생성할 수 있다. 나아가 서비스 서버는 상기 스타일 데이터베이스를 기계학습 프레임워크에 적용하여 상기 프레임워크를 학습시킬 수 있다. 예를 들어 파란 셔츠와 갈색 타이가 매칭된 대량의 스타일 이미지를 학습한 기계 학습 프레임워크는 파란 셔츠에 대한 요청에 대해 코디네이션 아이템으로 갈색 타이를 추천할 수 있을 것이다.

또한, 스타일 데이터베이스를 구성하기 위하여 서비스 서버는 온라인 상에서 스타일 이미지를 수집할 수 있다. 예를 들어 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로, 웹사이트에 포함된 이미지 정보를 수집할 수 있다.

한편 본 발명의 실시예를 따르는 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹사이트로부터 이미지를 수집하고 색인할 수 있지만, 제휴된 업체로부터 색인 정보와 함께 이미지 정보를 별도로 제공받을 수도 있다.

따라서, 서비스 서버는 수집된 이미지 중 스타일 추천에 부적합한 이미지를 필터링할 수 있다. 예를 들어, 서비스 서버는 수집된 이미지 중 사람 형상의 객체가 포함되고, 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링할 수 있다.

스타일 이미지는 요청 아이템과 코디네이션 할 수 있는 다른 아이템을 결정하기 위해 사용되기 때문에 단일의 패션 아이템에 대한 이미지는 필터링하는 것이 적절하다. 나아가 사람이 복수의 패션 아이템을 직접 착용한 이미지로 데이터베이스를 구성하는 것이 패션 아이템 그 자체에 대한 이미지보다 활용도가 더 좋을 수 있다. 따라서 본 발명의 실시예를 따르는 서비스 서버는 사람 형상의 객체가 포함되고 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링하여 스타일 데이터베이스에 포함되는 스타일 이미지를 결정할 수 있다.

이후 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체 이미지의 특징에 대해 프로세싱할 수 있다. 보다 구체적으로, 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체의 이미지 특징을 추출하고, 특징 정보를 벡터값으로 표현하여 패션 아이템 객체의 특징 값을 생성하고 이미지들의 특징 정보를 구조화할 수 있다.

나아가 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지로부터 스타일 레이블을 추출하고 상기 스타일 레이블을 기준으로 스타일 이미지들을 클러스터링할 수 있다. 스타일 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. 본 발명의 선호되는 실시예를 따르면, 스타일 이미지에 포함된 단일의 패션 아이템의 외관, 복수의 아이템의 조합 등에서 사람이 느낄 수 있는 느낌에 대한 레이블을 추출하고 이를 스타일 레이블로 활용할수 있다. 예를 들어, 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등을 스타일 레이블로 예시할 수 있다.

본 발명의 실시예를 따르면, 서비스 서버는 스타일 레이블을 미리 정의하고, 스타일 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 스타일 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.

본 발명의 다른 실시예를 따르면, 서비스 서버는 각 스타일 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 스타일 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다.

한편, 본 발명의 또다른 실시예를 따르면, 서비스 서버는 레이블에 대한 별도의 학습 없이 스타일 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 스타일 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링하고, 클러스터링된 이미지 그룹에 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등으로 사후적으로 해석되는 레이블을 부여할 수 있다.

이에 서비스 서버는 스타일 레이블을 이용하여 스타일 이미지들을 클러스터링하고, 다수의 스타일북을 생성할 수 있다. 이는 사용자에게 레퍼런스로 제공되기 위한 것이다. 사용자는 서비스 서버에서 제공하는 다수의 스타일북 중 특정 스타일북을 열람하며 마음에 드는 아이템을 찾을 수 있으며, 해당 아이템에 대한 상품 정보 검색을 요청할 수 있을 것이다.

한편, 서비스 서버는 단계는 흰셔츠, 청바지, 검정 스커트 등 출현 비율이 매우 높은 아이템을 미리 분류할 수 도 있다. 예를 들어 청바지는 패션에서 기초가 되는 아이템이기 때문에 스타일 이미지에서 출현 비율이 매우 높다. 따라서 사용자가 어떤 아이템에 대해 문의해도 코디네이션 아이템으로 청바지가 매칭될 확률이 다른 아이템에 비해 월등히 높을 것이다.

따라서 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지에서 출현 비율이 매우 높은 아이템을 버즈 아이템으로 미리 분류하고, 스타일북을 버즈 아이템을 포함하는 것과 버즈 아이템을 포함하지 않는 것으로 버전을 달리하여 생성할 수 있다.

본 발명의 다른 실시예를 따르면, 버즈 아이템은 시간 정보를 반영하여 분류될 수 있다. 예를 들어, 패션 아이템의 유행 주기를 고려하면, 한두달 잠깐 유행하고 사라지는 아이템, 계절마다 돌아오는 유행 아이템, 일정 기간 동안 지속적으로 유행하는 아이템들을 고려할 수 있다. 따라서 버즈 아이템의 분류에 시간 정보를 반영하여, 특정 패션 아이템이 임의의 기간 동안 출현 비율이 매우 높으면, 해당 기간에 대한 정보와 함께 상기 아이템을 버즈 아이템으로 분류할 수 있다. 이와 같이 버즈 아이템을 분류하면, 이후의 아이템 추천 단계에서, 추천 대상 아이템이 유행 중인 것인지 유행과 무관한 것인지 여부를 고려하여 추천할 수 있는 효과가 있다.

즉, 본 발명에 따른 서비스 서버는 수신한 요청에 포함된 특정 패션 아이템 객체를 프로세싱하고, 이미지 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. 즉, 서비스 서버는 검색 대상으로 특정된 이미지 객체를 프로세싱하여 유사한 아이템을 스타일 데이터베이스에서 검색할 수 있다.

이를 위해 서비스 서버는 검색 대상 이미지 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있다.

나아가 본 발명의 실시예를 따르는 서비스 서버는 프로세싱된 검색 대상 객체 이미지에 상품 이미지 데이터베이스 구축에 사용된 머신 러닝의 기법을 적용하여 검색 대상 객체 이미지의 의미에 대한 레이블 및/또는 카테고리 정보를 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다.

예를 들어 본 발명의 실시예를 따르는 서비스 서버는 요청 객체 이미지로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블을 추출할 수 있다. 이 경우, 서비스 서버는 여성, 원피스에 대한 레이블을 요청 객체 이미지의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블은 카테고리 외 객체 이미지의 특성을 설명하는 레이블 정보로 활용할 수 있다.

이후 서비스 서버는 요청 객체 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색할 수 있다. 이는 요청 이미지와 유사한 아이템을 스타일 데이터베이스에서 검색하여, 스타일 이미지에서 유사 아이템과 매칭되어 있는 다른 아이템을 확인하기 위한 것으로, 예를 들어 서비스 서버는 요청 객체 이미지와 스타일 이미지에 포함된 패션 아이템 객체 이미지들의 특징값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 아이템을 확인할 수 있다.

나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 데이터베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 요청 이미지의 특징 값을 가공하고, 요청 이미지와 일정 범위 이내의 거리 값을 가지는 스타일북에 포함된 패션 아이템 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 아이템들을 유사 아이템으로 결정할 수도 있다.

한편, 본 발명의 선호되는 실시예를 따르면, 서비스 서버는 요청 이미지의 유사도를 기준으로 스타일 데이터베이스를 검색하여 유사 아이템을 결정하며, 이때 이미지 검색의 정확도를 높이기 위해 이미지에서 추출한 레이블, 카테고리 정보를 이용할 수 있다.

예를 들어 서비스 서버는 요청 이미지와 스타일 데이터베이스 이미지의 특징값의 유사도를 계산하고, 미리 설정된 범위의 유사도 이상인 상품들 중 레이블 및/또는 카테고리 정보가 요청 이미지의 레이블 및/또는 카테고리 정보와 매칭되지 않은 상품들은 제외하는 방식으로 유사 아이템을 결정할 수 있다.

또 다른 예로 서비스 서버는 요청 이미지의 레이블 및/또는 카테고리 정보와 매칭되는 레이블 및/또는 카테고리 정보를 가지는 스타일 북에서만 아이템 유사도를 계산할 수도 있다.

예를 들어 본 발명의 실시예를 따르는 서비스 서버는 요청 이미지로부터 스타일 레이블을 추출하고, 상기 레이블과 매칭되는 스타일 북에서 요청과 이미지 유사도를 기준으로 유사 아이템을 특정할 수 있다. 물론 서비스 서버는 요청 이미지로부터 별도의 레이블을 추출하지 않고, 스타일 데이터베이스에서 요청 이미지와 이미지 유사도를 기준으로 유사 아이템을 특정할 수도 있다.

예를 들어 요청에 포함된 이미지에 나뭇잎 무늬 원피스가 있는 경우, 서비스 서버는 트로피컬이라는 레이블을 요청으로부터 추출할 수 있다. 이후 서비스 서버는 트로피컬이라는 레이블로 클러스터링된 스타일북에서 나뭇잎 무늬 원피스와 미리 설정된 범위의 유사도를 가지는 유사한 아이템을 특정할 수 있다.

이후 서비스 서버는 스타일북에서 검색된 유사 아이템을 포함하며, 유사 아이템이 다른 패션 아이템들과 조합되어 있는 스타일 이미지를 사용자 디바이스에 제공할 수 있다. 나뭇잎 무늬 원피스가 있는 위의 예에서, 나뭇잎 무늬 원피스와 함께 밀짚모자, 라탄 백 등이 조합된 스타일 이미지를 사용자에게 제공할 수 있다.

서비스 서버는 특정 패션 아이템과 유사한 아이템이 스타일 데이터베이스에서 검색되면, 상기 유사한 아이템과 함께 조합되어 스타일 이미지에 포함된 다른 카테고리의 패션 아이템을 확인하여 코디네이션 아이템을 결정한다(S240).

즉, 사용자가 문의한 특정 패션 아이템을 스타일 데이터베이스에서 이미지 유사도를 기준으로 검색하고, 유사한 아이템이 포함된 스타일 이미지에는 유사한 아이템과 함께 매칭되어 있는 다른 카테고리의 패션 아이템을 추천 아이템으로 고려할 수 있다. 이는 본 발명의 실시예를 따르는 서비스 서버가 스타일 이미지에서 요청 아이템과 함께 매칭되어 있는 다른 아이템은 잘 어울리는 것으로 학습되어 있기 때문이다.

서비스 서버는 스타일 데이터베이스를 이용하여 코디네이션 아이템이 결정되면, 상품 데이터베이스로부터 코디네이션 아이템과 유사한 상품을 추천 상품으로 결정한다(S250).

상품 데이터베이스는 온라인 마켓에서 판매되는 상품들의 원산지, 사이즈, 판매처, 착용샷 등 상품 상세 정보를 포함할 수 있으며, 상품의 이미지를 기초로 상품 정보를 구성되는 특징이 있다.

즉, 서비스 서버는 미리 제휴된 온라인 마켓의 상품 정보는 물론, 임의의 온라인 마켓에서 판매하는 상품에 대해서도 상품 정보를 수집할 수 있다. 예를 들어 서비스 서버는 크롤러, 파서, 인덱서를 구비하여, 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다.

예를 들어 크롤러는 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 데이터를 서비스 서버로 전달할 수 있다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다.

한편 본 발명의 실시예를 따르는 서비스 서버는 임의의 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 제휴 마켓으로부터 미리 설정된 포멧의 상품 정보를 제공받을 수도 있다.

서비스 서버는 상품 이미지를 프로세싱할 수 있다. 이는 상품명이나 판매 카테고리 등 텍스트 정보에 의존하지 않고, 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정하기 위한 것이다.

본 발명의 실시예를 따르면 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정할 수 있지만, 본 발명은 이에 한정되지 않는다. 즉, 구현에 따라 상품 이미지는 물론 상품명 또는 판매 카테고리 등을 단독 또는 보조 요청으로 활용할 수 있으며, 이를 위해 서비스 서버는 상품의 이미지 외 상품명, 상품 카테고리 등 텍스트 정보를 구조화하여 데이터베이스를 생성할 수 있다.

예를 들어 본 발명의 다른 실시예를 따르면, 사용자 취향 정보를 바탕으로, 사용자가 선호하는 브랜드, 컬러, 패턴, 길이 또는 형태 중 적어도 하나 이상과 미리 설정된 범위 이상으로 일치하는 패션 아이템을 추천 아이템으로 결정할 수도 있다. 이때 사용자가 선호하는 가격대, 사용자가 선호하는 온라인 쇼핑몰에 대한 정보를 고려하여 추천 아이템의 우선수위를 결정할 수도 있다.

한편, 본 발명의 선호되는 실시예를 따르면 서비스 서버는 상품 이미지의 특징을 추출하고, 검색의 효율성을 위해 이미지들의 특징 정보를 구조화(indexing)할 수 있다.

보다 구체적으로 서비스 서버는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다.

본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다.

나아가 서비스 서버는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다.

본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다.

한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다.

보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다.

예를 들어 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다.

나아가 본 발명의 실시예를 따르면, 상품 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다.

상기 특징 정보 벡터의 변환은 PCA, ZCA 등 다양한 차원 축소 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 상품 이미지에 인덱싱 될 수 있다.

나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지를 기준으로 머신 러닝의 기법을 적용하여 해당 이미지의 의미에 대한 레이블을 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다.

보다 구체적으로, 서비스 서버는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 상품 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.

또는, 서비스 서버는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 상품 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 서비스 서버는 해당 상품이 어느 그룹에도 포함되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다.

이에 따라, 서비스 서버는 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등 상품에 대한 메타 정보로 활용할 수 있는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하고, 상기 신경망 모델을 광고주의 상품 이미지에 적용하여 광고 대상 상품 이미지에 대한 레이블을 추출할 수 있다.

또는, 서비스 서버는 레이블에 대한 별도의 학습 없이 상품 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링할 수 있다.

이 경우, 특징 값의 어떠한 속성에 따라 해당 이미지들이 클러스터링되었는지 확인하기 위해서, 즉 이미지들의 클러스터링 결과를 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. 예를 들어 서비스 서버가 이미지 프로세싱을 통해 3개의 그룹으로 상품을 분류하고, 제 1 그룹의 특징에 대한 A, 제 2 그룹의 특징에 대한 B, 제 3 그룹의 특징에 대한 C 라는 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미한다는 것이 사후적으로 해석될 필요가 있다.

상기 제 3 실시예에 따르면, 서비스 서버는 클러스터링된 이미지 그룹에 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등으로 사후적으로 해석될 수 있는 레이블을 부여하고, 개별 상품 이미지가 속하는 이미지 그룹에 부여된 레이블들을 해당 상품 이미지의 레이블로 추출할 수 있다.

한편 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지에서 추출한 레이블을 텍스트로 표현할 수 있으며, 텍스트 형태의 레이블은 상품의 태그 정보로 활용될 수 있다.

종래에는 상품의 태그 정보는 판매자가 주관적으로 직접 부여하여 부정확하고 신뢰도가 떨어졌다. 판매자가 주관적으로 부여하는 상품 태그는 노이즈로 작용하여 검색의 효율을 낮추는 문제가 있었다.

그러나 본 발명의 실시예와 같이, 상품 이미지를 기반으로 레이블 정보를 추출하고, 추출된 레이블 정보를 텍스트로 변환하여 해당 상품의 태그 정보로 활용하면, 상품의 태그 정보를 해당 상품의 이미지를 기반으로 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높이지고 검색의 정확도가 향상되는 효과가 있다.

나아가 서비스 서버는 상품 이미지 내용을 기반으로 해당 상품의 카테고리 정보를 생성할 수 있다. 예를 들어 임의의 상품 이미지에 대한 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 서비스 서버는 여성, 상의, 블라우스에 대한 레이블을 해당 상품의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 레이블은 카테고리 외 상품의 특성을 설명하는 레이블 정보로 활용할 수 있다. 또는 서비스 서버는 레이블과 카테고리 정보를 구별하지 않고 해당 상품에 인덱싱할 수 있다. 이때 상품의 카테고리 정보 및/또는 레이블은 이미지 검색의 신뢰도를 높이기 위한 파라미터로 활용될 수 있다.

따라서, 서비스 서버는 상술한 상품의 내용에서 추출된 레이블이 인덱싱되어 구성된 상품 데이터베이스로부터 코디네이션 아이템과 유사한 아이템을 추천 아이템으로 결정하고, 상기 추천 아이템에 대한 상품 정보를 제공하기 위해, 상기 추천 아이템과 유사한 상품을 상품 데이터베이스에서 검색할 수 있다.

보다 구체적으로 서비스 서버는 스타일 데이터베이스를 이용하여 결정된 코디네이션 아이템에 대해, 이미지 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다. (단계 190)

이를 위해 서비스 서버는 코디네이션 아이템 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특정 정보를 구조화할 수 있다.

본 발명의 실시예를 따르는 서비스 서버는 객체 이미지의 유사도를 기준으로 상품 데이터베이스를 검색할 수 있다. 예를 들어 서비스 서버는 추천 아이템 이미지와 상품 데이터베이스에 포함된 상품 이미지의 특징 값들의 유사도를 계산하고, 유사도가 미리 설정된 범위 이내인 상품을 추천 상품으로 결정할 수 있다.

나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 데이터 베이스를 위해 구성한 머신러닝을 위한 인공 신경망 모델의 복수의 레이어에서 요구하는 가중치를 반영하여 추천 아이템 이미지의 특징 값을 가공하고, 일정 범위 이내의 거리 값을 가지는 상품 그룹을 적어도 하나 이상 선정하고, 상기 그룹에 속하는 상품들을 추천 상품으로 결정할 수도 있다.

나아가 본 발명의 다른 실시예를 따르는 서비스 서버는 추천 아이템 객체에서 추출한 레이블을 기반으로 추천 상품을 특정할 수도 있다.

예를 들어 추천 아이템 이미지에서 추출된 객체의 레이블 정보가 여성 상의, 블라우스, 흰색, 줄무늬로 추출된 경우, 서비스 서버는 상품 데이터베이스에서 여성 상의를 상위 카테고리 정보로 가지는 상품 그룹에 대해서만 검색 대상 객체 이미지와 유사도를 계산할 수 있다.

또 다른 예로 서비스 서버는 유사도가 미리 설정된 범위 이상의 상품들을 추천 후보 상품으로 하고, 추천 후보 상품에서 하위 카테고리 정보가 블라우스가 아닌 상품들을 제외할 수 있다. 다시 말해 하위 카테고리 정보가 블라우스로 색인된 상품들을 광고 아이템으로 선정할 수 있다.

또 다른 예로 추천 아이템의 객체 이미지에서 추출된 레이블 정보가 여성 상의, 블라우스, 긴팔, 레이스, 카라넥인 경우, 서비스 서버는 상품 데이터베이스에서 여성 상의, 블라우스, 긴팔, 레이스, 카라넥을 레이블로 가지는 상품 그룹에 대해서만 추천 아이템과 이미지 유사도를 계산할 수도 있다.

추천 상품이 결정되면, 서비스 서버는 사용자 취향/사이즈 정보를 반영하여 노출의 우선순위를 결정할 수 있다. 예를 들어 사용자가 취향 정보가 오피스룩에 치중되어 있는 경우, 오피스룩 레이블에 가중치를 두어 우선순위를 계산하고 계산된 우선순위에 따라 추천 상품 정보를 제공할 수 있다.

본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

상술한 바와 같은 사용자 디바이스로부터 획득한 이미지를 이용하여 사용자에게 패션 아이템을 추천하는 서비스는 다양한 서비스에 적용하는 것이 가능하다.

Claims (6)

1. 서비스 서버를 이용하여 사용자에게 패션 아이템 추천 서비스를 제공하는 방법에 있어서,
   사용자 디바이스로부터 이미지를 획득할 수 있는 권한이 존재하는 지 여부를 확인하고, 상기 권한이 존재하는 경우 상기 사용자를 식별할 수 있는 이미지를 획득하는 단계;
   상기 사용자를 식별할 수 있는 이미지로부터, 상기 사용자가 착용하고 있는 복수의 패션 아이템들을 추출하여 사용자 패션 데이터베이스를 생성하는 단계;
   상기 생성된 사용자 패션 데이터베이스에 저장된 특정 패션 아이템에 대한 추천 서비스 요청을 수신하면, 복수의 패션 아이템들을 조합하여 사람의 느낌을 컴퓨터가 인식가능한 데이터로 표현하는 스타일 레이블이 추출된 스타일 이미지들로 구성된 스타일 데이터베이스로부터, 이미지 유사도를 기준으로 상기 특정 패션 아이템과 유사한 아이템을 검색하는 단계;
   상기 유사한 아이템이 검색된 스타일 이미지로부터 상기 유사한 아이템과 다른 카테고리의 아이템을 코디네이션 아이템으로 결정하는 단계; 및
   상품의 내용에서 추출된 레이블이 인덱싱되어 구성된 상품 데이터베이스로부터, 이미지 유사도를 기준으로 상기 코디네이션 아이템과 유사한 상품을 추천 상품으로 결정하는 단계를 포함하는,
   패션 아이템 추천 서비스 제공 방법.
2. 제 1 항에 있어서,
   웹 페이지(web page)상에 링크된 상품 이미지가 입력되면, 상기 상품 이미지에 대한 패션 아이템을 상기 사용자 패션 데이터베이스에 추가하는 단계를 더 포함하는,
   패션 아이템 추천 서비스 제공 방법.
3. 제 1 항에 있어서,
   상기 사용자 패션 데이터베이스는,
   상기 사용자를 식별할 수 있는 이미지로부터 추출된 사용자 얼굴 이미지를 기준으로, 상기 복수의 패션 아이템들에 대한 정보가 분류(sorting)되어 저장되며,
   상기 복수의 패션 아이템들에 대한 정보는,
   패션 아이템 사이즈, 사람이 패션 아이템에서 느끼는 느낌을 컴퓨터 인식가능한 데이터로 표현한 레이블, 상기 사용자가 피팅하였을 경우의 이미지 정보 중 적어도 하나를 포함하는 것을 특징으로 하는,
   패션 아이템 추천 서비스 제공 방법.
4. 제 3 항에 있어서,
   상기 결정된 추천 상품은,
   상기 상품의 내용에서 추출된 레이블 및 상기 사용자 패션 데이터베이스에 저장된 상기 복수의 패션 아이템들에 대한 정보를 기반으로, 상기 사용자의 핏(fit)이 예상가능하도록 참고 정보가 제공되는 것을 특징으로 하는,
   패션 아이템 추천 서비스 제공 방법.
5. 제 1 항에 있어서,
   상기 결정된 추천 상품에 대하여 상기 사용자의 선택이 수신되면, 상기 추천 상품에 대한 웹 페이지를 통하여 상품 주문 서비스를 제공하는 단계를 더 포함하는,
   패션 아이템 추천 서비스 제공 방법.
6. 제 1 항에 있어서,
   상기 스타일 데이터베이스는,
   상기 스타일 이미지에 포함된 적어도 하나의 패션 아이템들로부터 컴퓨터 인식가능한 데이터로 표현된 스타일 레이블이 추출되어, 상기 추출된 스타일 레이블 기반으로 상기 스타일 이미지가 클러스터링되어 생성된, 임의의 스타일 레이블을 공유하는 적어도 하나의 스타일 북(style book)으로 구성된 것을 특징으로 하는,
   패션 아이템 추천 서비스 제공 방법.

Images