KR20210041733A - 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은, 사용자 디바이스에 추천 상품 정보를 제공하는 서비스 서버에 있어서, 온라인 마켓에서 구입 가능한 상품에 대해, 상기 상품의 이미지를 기반으로 상기 상품의 내용을 설명하는 레이블을 추출하고, 상기 레이블을 상기 상품에 태그한 정보인 레이블 정보를 저장하는 상품 데이터베이스, 상기 사용자 디바이스로부터 상기 추천 상품 정보를 요청하는 쿼리를 수신하고, 상기 쿼리로부터 쿼리 레이블을 획득하는 쿼리 처리부, 상기 쿼리 처리부로부터 상기 쿼리 레이블을 수신하면, 상기 상품 데이터베이스를 검색하여, 상기 쿼리 레이블이 태그된 상품인 추천 후보 상품을 결정하고, 상기 추천 후보 상품에 태그된 특징 레이블을 기초로 특징 레이블 리스트를 생성하고, 상기 특징 레이블 리스트를 상기 사용자 디바이스에 제공하는 특징 레이블 리스트 제공부 및 상기 특징 레이블 리스트에 대해 사용자가 선택한 레이블인 선택 특징 레이블과 상기 쿼리 레이블을 포함하는 상품을 상기 상품 데이터베이스에서 검색하고, 검색된 상품인 추천 상품 관한 정보인 상기 추천 상품 정보를 상기 사용자 디바이스에 제공하는 상품 추천 모듈을 포함하는 것을 특징으로 한다.

Description

패션 상품 추천 방법, 장치 및 컴퓨터 프로그램 {METHOD, APPARATUS AND COMPUTER PROGRAM FOR FASHION ITEM RECOMMENDATION}

본 발명은 패션 상품을 추천하는 방법에 대한 것이다. 보다 구체적으로, 본 발명은 사용자가 선택한 선택 특징 레이블을 포함하는 패션 상품에 관한 정보를 사용자에게 제공하는 패션 상품 추천 시스템에 관한 것이다.

최근 증가된 유무선 인터넷 환경을 배경으로 온라인을 이용한 홍보, 매매 등의 상거래가 활성화되고 있다. 이와 관련하여 구매자들은 인터넷과 연결된 데스크탑이나 모바일 단말에서 잡지, 블로그 또는 YouTube의 동영상 등을 검색하다가 마음에 드는 상품을 발견하면, 상품명 등을 검색하여 구매로 이르게 된다. 유명 여배우가 공항에서 들었던 가방 이름, 예능 프로그램에 나온 육아 용품 이름이 포탈 사이트의 실시간 검색어 순위 상위에 올라가는 경우가 그 예라고 할 수 있다. 그러나 이때, 사용자는 검색을 위한 웹 페이지를 별도로 열어서 상품명, 제조사, 판매처 등을 검색해야 하고, 이들에 대한 명확한 정보를 이미 알고 있지 않으면 쉽게 검색하지 못하는 불편이 있다.

한편 판매자들은 제품 홍보를 위해서 상업 광고 이외에도 미디어 협찬, 온라인 사용기 모집 등에 많은 비용을 지출한다. 최근에는 온라인 상의 입소문이 제품 판매에 중요한 변수로 작용하기 때문이다. 그러나 홍보 비용 지출에도 불구하고, 상품명과 판매처 등의 쇼핑 정보를 공개할 수 없는 경우도 빈번하다. 상품명 노출에 대한 매체 시청자들의 사전 승인을 개별적으로 받을 수 없어 간접광고 이슈가 발생할 수 있기 때문이다.

이와 같이 사용자와 판매자 모두 온라인상의 상품 이미지에 대해 보다 직관적인 UI(User Interface) 환경에서 쇼핑 정보를 제공하기를 원하는 니즈가 존재한다.

본 발명의 실시 예는, 향상된 검색 품질을 가지는 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.

본 발명은, 사용자 디바이스에 추천 상품 정보를 제공하는 서비스 서버에 있어서, 온라인 마켓에서 구입 가능한 상품에 대해, 상기 상품의 이미지를 기반으로 상기 상품의 내용을 설명하는 레이블을 추출하고, 상기 레이블을 상기 상품에 태그한 정보인 레이블 정보를 저장하는 상품 데이터베이스, 상기 사용자 디바이스로부터 상기 추천 상품 정보를 요청하는 쿼리를 수신하고, 상기 쿼리로부터 쿼리 레이블을 획득하는 쿼리 처리부, 상기 쿼리 처리부로부터 상기 쿼리 레이블을 수신하면, 상기 상품 데이터베이스를 검색하여, 상기 쿼리 레이블이 태그된 상품인 추천 후보 상품을 결정하고, 상기 추천 후보 상품에 태그된 특징 레이블을 기초로 특징 레이블 리스트를 생성하고, 상기 특징 레이블 리스트를 상기 사용자 디바이스에 제공하는 특징 레이블 리스트 제공부 및 상기 특징 레이블 리스트에 대해 사용자가 선택한 레이블인 선택 특징 레이블과 상기 쿼리 레이블을 포함하는 상품을 상기 상품 데이터베이스에서 검색하고, 검색된 상품인 추천 상품 관한 정보인 상기 추천 상품 정보를 상기 사용자 디바이스에 제공하는 상품 추천 모듈을 포함하는 것을 특징으로 한다.

본 발명에 따르면, 향상된 검색 품질을 가지는 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램을 제공할 수 있다.

도 1는 본 발명의 실시 예에 따른 패션 상품 추천 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 패션 상품 추천 시스템의 동작을 설명하기 위한 장치도이다.
도 3은 본 발명의 실시 예에 따라 특징 레이블 리스트가 제공된 사용자 디바이스를 예시하기 위한 도면이다.
도 4는 도 3의 실시 예에 따른 추천 상품 정보가 표시된 사용자 디바이스를 예시하기 위한 도면이다.
도 5는 도 3의 실시 예에 따른 코디네이션된 추천 상품 정보가 표시된 사용자 디바이스를 예시하기 위한 도면이다.
도 6은 상품 데이터베이스에 저장된 특징 레이블 정보를 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 패션 상품 추천 방법을 설명하기 위한 순서도이다.
도 8은 도 7의 상품 데이터베이스의 생성을 설명하기 위한 순서도이다.
도 9는 도 7의 스타일 데이터베이스의 생성을 설명하기 위한 순서도이다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 별명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 서술된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1는 본 발명의 실시 예에 따른 패션 상품 추천 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 패션 상품 추천 시스템(50)은 사용자 디바이스(100) 및 서비스 서버(200)를 포함할 수 있다.

본 발명의 실시 예에 따르면, 패션 상품 추천 시스템(50)은 쿼리와 관련성이 높은 상품에 대한 정보를 별도의 검색어 입력 없이 제공함으로써 향상된 검색 품질을 가질 수 있다. 또한, 본 발명의 패션 상품 추천 시스템(50)은 쿼리와 관련된 부수적인 상품 정보를 제공함으로써, 사용자가 미처 생각하지 못한 보다 폭넓은 상품 정보를 제공할 수 있다.

쿼리는 사용자 디바이스(100)가 추천 상품 정보를 서비스 서버(200)에 요청하는 일련의 행위를 포함할 수 있다. 쿼리는 특정 상품 또는 스타일의 키워드 뿐만 아니라, 사진, 캡쳐 화면 등 이미지를 포함할 수 있다. 실시 예에 따라 쿼리는 웹 페이지에 포함된 음성, 동영상, URL 등 다양한 형태를 포함할 수도 있다. 쿼리 이미지란 이미지 형식으로 제공되는 쿼리일 수 있다.

레이블은 상품의 이미지를 기반으로 상품의 내용을 설명하는 정보를 벡터의 형태로 표현한 것일 수 있다. 또한, 레이블은 사람이 복수의 패션 아이템들을 착용하고 있는 스타일 이미지로부터 인간이 직감할 수 있는 느낌을 설명하는 정보를 벡터의 형태로 표현한 것일 수 있다. 특징 레이블은 상품의 이미지로부터 인간이 직감할 수 있는 느낌, 상품의 재질, 용도 등 속성 정보 등을 벡터의 형태로 표현할 것일 수 있다.

쿼리 레이블은 쿼리로부터 추출한 레이블일 수 있다. 예를 들어, 사용자는 열람 중이던 웹사이트 화면의 자켓 사진을 찍어 검색 요청을 할 수 있다. 서비스 서버(200)는 수신한 쿼리에서 패션 아이템 객체, 즉 자켓을 인식하고 자켓 이미지를 프로세싱하여 해당 아이템의 카테고리, 색상, 재질, 스타일 등을 설명하는 레이블(쿼리 레이블)을 이미지 기반으로 추출할 수 있다.

상품 데이터베이스(210)에서 쿼리 레이블을 포함하는 상품으로 검색된 상품은 추천 대상 상품일 수 있다. 추천 대상 상품에 포함된 특징 레이블들 전체는 특징 레이블 리스트를 구성할 수 있다.

실시 예에 따라 각 특징 레이블이 카운트된 횟수에 따라 특징 레이블 리스트가 생성될 수도 있다. 추천 대상 상품 중 사용자가 선택한 특징 레이블(선택 특징 레이블)을 포함하는 상품은 이후 추천 상품으로 결정될 수 있다.

특징 레이블 리스트는 패션 상품이 해당 상품의 특징을 나타낸 키워드와 맵핑되어 룩업 테이블 형태로 저장된 리스트일 수 있다. 사용자는 특징 레이블 리스트에서 제공된 키워드를 이용하여 상품을 검색할 수 있다.

선택 특징 레이블은 특징 레이블 리스트로 제공된 특징 레이블들에 대해 사용자가 선택한 레이블일 수 있다. 특징 레이블 리스트에는 쿼리의 카테고리, 색상, 재질, 스타일 등 패션 상품의 특징을 나타내는 다양한 특징 레이블들이 포함되어 있으므로, 사용자는 이들 특징 레이블 중 자신의 마음에 드는 특징 레이블(선택 특징 레이블)을 선택할 수 있다.

이후, 선택 특징 레이블을 포함하는 상품은 상품 데이터베이스(210)에서 검색될 수 있고, 검색된 상품(추천 상품)에 대한 정보는 추천 상품 정보로 사용자에게 제공될 수 있다.

실시 예에서, 특징 레이블 리스트는 쿼리 레이블에 대응되는 상품(위의 예에서 자켓 카테고리 속하는 모든 상품)들에 포함된 특징 레이블들을 모두 포함할 수 있다. 예를 들어, 자켓 쿼리가 입력되면, 서비스 서버(200)는 자켓 상품의 이미지로부터 추출한 모든 특징 레이블들(가죽 레이블, 오버핏 레이블, 검정색 레이블, 캐쥬얼 레이블, 후드 레이블 등)을 기초로 특징 레이블 리스트를 생성할 수 있다.

다른 실시 예에서, 특징 레이블 리스트는 쿼리에 대응되는 상품들에 포함된 전체 특징 레이블들 중, 일정 기간 동안 카운트 횟수의 증가율이 높은 순으로 미리 설정된 개수의 특징 레이블을 포함할 수도 있다.

또 다른 실시 예에서, 특징 레이블 리스트는 쿼리에 대응되는 상품들에 포함된 전체 특징 레이블들 중, 일정 기간 동안 카운트 횟수의 증가율이 높은 순으로 특징 레이블 리스트를 정렬하여 포함할 수도 있다.

일정 기간을 두는 것은 특정 상품이 등록되고 노출 또는 검색되는 기간이 오래될수록, 해당 상품에 대한 카운트 정보의 누적량이 기간에 비례하여 증가하기 때문에 오류 요소를 효과적으로 제거할 수 있기 때문일 수 있다.

특징 레이블 리스트에 포함된 특징 레이블에 대하여, 사용자가 특징 레이블을 선택할 때 해당 특징 레이블은 카운트될 수 있다. 또한, 특징 레이블 리스트의 특징 레이블을 제외한 나머지 특징 레이블들로 추천 상품이 검색될 수 있을 때, 이러한 특징 레이블들도 함께 카운트 될 수 있다.

카운트 정보는 특징 레이블 각각에 대한 카운트 횟수를 포함할 수 있다. 카운트 횟수는 특징 레이블마다 독립적으로 카운트되고, 상기 특징 레이블에 대응되는 상품과 맵핑되어 상품 데이터베이스(210)에 함께 저장될 수 있다.

위의 자켓의 예에서, 가죽 레이블, 오버핏 레이블, 검정색 레이블, 캐쥬얼 레이블, 후드 레이블이 특징 레이블 리스트를 구성하여 사용자에게 제공될 수 있다. 사용자는 이에 대한 응답으로 가죽 레이블을 선택할 수 있다. 이때, 서비스 서버(200)는 가죽 레이블의 카운트 횟수를 1만큼 증가시켜 상품 데이터베이스(210)에 저장할 수 있다.

이후, 서비스 서버(200)는 선택 특징 레이블을 상품 데이터베이스(210)에서 검색하고, 검색된 상품들(추천 상품들)에 선택 특징 레이블과 함께 태그된 다른 특징 레이블들을 확인할 수 있다.

서비스 서버(200)는 위 다른 특징 레이블들 중 사전에 특징 레이블 리스트로 제공된 특징 레이블들은 제외하고, 선택 특징 레이블과 상이한 특징 레이블의 카운트 횟수를 1만큼 증가시킬 수 있다.

위의 자켓의 예에서, 사용자는 특징 레이블 리스트에서 제공된 특징 레이블들 중 가죽 레이블을 선택 특징 레이블로 선택한 경우를 예시할 수 있다. 서비스 서버(200)는 자켓 카테고리에 속하는 상품 중 가죽 레이블을 포함하는 상품들(가죽 자켓)을 추천 상품으로 결정할 수 있다.

추천 상품으로 결정된 가죽 자켓들에는 가죽 레이블, 자켓 레이블 뿐만 아니라, 각 가죽 자켓의 특징을 표현하는 다른 특징 레이블들이 함께 태그되어 있을 수 있다.

이러한 특징 레이블들은 특징 레이블 리스트에서 제공되었지만 사용자의 선택을 받지 못한 특징 레이블일 수도 있고, 처음부터 특징 레이블 리스트에 포함되지 않았던 특징 레이블일 수도 있다.

서비스 서버(200)는 사용자의 선택 특징 레이블 선택에 따라 추천 상품이 결정될 때, 추천 상품에 태그된 특징 레이블들 중 처음부터 특징 레이블 리스트에 포함되지 않았던 특징 레이블의 카운트 횟수를 1만큼 증가시킬 수 있다.

추천 상품은 특징 레이블 리스트에 포함된 특징 레이블을 상품 데이터베이스(210)에서 검색되어 결정될 수도 있지만, 추천 상품이 그 외에 다른 특징 레이블들을 포함할 수도 있기 때문에, 이러한 특징 레이블들은 특징 레이블 리스트만으로는 확인하기 어려울 수 있다.

또한, 비록 사용자가 직접적으로 자신의 취향을 반영하여 선택한 특징 레이블은 아니지만, 사용자 취향이 반영된 선택 특징 레이블과 자주 함께 태그된 특징 레이블일 수 있으므로 사용자 선호도가 무의식적으로 반영된 특징 레이블일 수 있다.

서비스 서버(200)는 특징 레이블 리스트로부터 사용자가 선택한 선택 특징 레이블을 카운트하고, 동시에 추천 상품에 태그된 선택 특징 레이블과 상이한 특징 레이블들을 카운트함으로써, 이후 사용자에게 특징 레이블 리스트를 제공할 때 사용자의 니즈(needs)를 보다 정확하게 반영할 수 있다.

본 발명의 실시 예에 따르면, 서비스 서버(200)는 사용자의 취향이 반영된 선택 특징 레이블과 자주 함께 등장하는 특징 레이블 또한 카운트하고 이후 특징 레이블 리스트에 반영할 수 있다. 이에 따르면, 사용자에게 특징 레이블 리스트라는 2차 질의를 통해 검색의 정확성을 높일 수 있을 뿐만 아니라, 사용자가 직접 선택한 선택 특징 레이블뿐만 아니라 이와 자주 함께 등장하는 특징 레이블 정보를 함께 반영함으로써 검색의 품질이 올라갈 수 있다.

도 2는 도 1의 패션 상품 추천 시스템의 동작을 설명하기 위한 장치도이다.

도 2를 참조하면, 패션 상품 추천 시스템(50)은 사용자 디바이스(100) 및 서비스 서버(200)를 포함할 수 있다.

사용자 디바이스(100)는 데스크탑, 스마트폰, 테블릿 PC 등 검색을 요청하고 광고 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념일 수 있다.

사용자 디바이스(100)에서, 사용자는 웹 페이지, 스타일 북 등을 열람하고, 서비스 서버(200)에 상품 또는 스타일에 대한 정보를 요청할 수 있다. 웹 페이지 또는 임의의 이미지를 열람하던 사용자는 특정 패션 상품에 대한 상품 정보를 문의하는 쿼리를 서비스 서버(200)에 제공할 수 있다.

예를 들어, 사용자는 임의의 쇼핑몰을 열람하면서, 특정 패션 상품에 대한 정보를 요청하는 쿼리를 서비스 서버(200)에 제공할 수 있다. 실시 예에 따라, 사용자는 오프라인의 특정 스타일 이미지의 사진을 촬영하여, 해당 스타일 이미지의 정보를 요청하는 쿼리를 서비스 서버(200)에 제공할 수도 있다.

사용자 디바이스(100)에서, 사용자는 본 발명의 실시 예에 따른 어플리케이션을 통해 제공되는 스타일 북을 열람할 수 있다. 이때, 사용자 디바이스(100)는 스타일 북에 포함된 특정 스타일 이미지에 대한 정보를 요청하는 쿼리를 서비스 서버(200)에 제공할 수 있다.

쿼리를 전송하는 사용자 디바이스(100)는 웹 브라우저의 기록 로그를 포함하는 쿼리를 서비스 서버(200)에게 전송할 수 있다. 기록 로그에는 웹 브라우저의 브라우징 실행 히스토리, 해당 시점에 실행한 웹 페이지의 URL 정보를 포함할 수 있다. 나아가 사용자 디바이스(100)는 웹페이지의 URL에 포함된 이미지, 동영상, 텍스트 데이터를 추출하고, 추출한 데이터를 쿼리로 전송할 수도 있다. 나아가 URL, 텍스트, 이미지 또는 동영상 데이터를 추출할 수 없는 경우 스크린 샷을 추출하여 쿼리로 전송할 수 있다.

특히 본 발명의 선호되는 실시 예를 따르는 사용자 디바이스(100)는 해당 시점에 표시된 이미지를 쿼리로 전송할 수 있다. 예를 들어 사용자 디바이스(100)는 서비스 서버(200)로부터 수신한 스타일북에 포함된 이미지에 검색 가능한 객체를 추출하여 쿼리로 전송할 수 있다.

사용자 디바이스(100)는 사용자가 별도의 검색을 요청하지 않은 경우에도 쿼리를 전송할 수 있지만, 사용자 검색 요청을 조건으로 쿼리를 전송할 수도 있다.

예를 들어, 사용자 디바이스(100)는 사용자의 검색 요청 수신을 조건으로 쿼리를 전송할 수도 있다. 사용자가 열람 중인 이미지에 포함된 패션 상품에 대해 상위 속성 레이블을 문의한 경우, 사용자 디바이스(100)는 검색 요청을 수신한 이미지 내의 객체를 추출하여 쿼리로 전송할 수 있다. 또는 사용자 디바이스(100)는 표시된 이미지에서 검색 가능한 객체를 미리 특정하고, 사용자 선택 입력이 수신된 객체에 대한 쿼리를 전송할 수도 있다.

이를 위해 사용자 디바이스는 디스플레이된 이미지에 미리 설정된 범주의 객체가 포함되어 있는지 여부를 먼저 판단하고, 객체를 특정하여 해당 객체에 대한 검색 요청 아이콘을 표시하도록 동작할 수 있다.

상기 실시 예를 따르면 스타일 북에 포함된 이미지에서 패션 아이템에 대한 객체를 특정하여 특정된 객체에 대한 쿼리만 전송하도록 동작할 수도 있다. 나아가 이미지에 복수의 패션 상품에 대한 객체가 포함된 경우, 각각의 객체를 특정하고, 사용자가 선택한 객체에 대한 쿼리만 전송하도록 동작할 수도 있다.

서비스 서버(200)는 상품 데이터베이스(210), 특징 레이블 관리 모듈(220) 및 상품 추천 모듈(230)을 포함할 수 있다.

상품 데이터베이스(210)는 특징 레이블 정보를 저장할 수 있다. 특징 레이블 정보는 온라인 마켓에서 구입 가능한 상품에 대해, 상품의 이미지를 기반으로 상품의 내용을 설명하는 특징 레이블이 상기 상품에 태그된 정보를 포함할 수 있다.

특징 레이블 정보는 온라인 마켓에서 판매되는 상품들의 원산지, 사이즈, 판매처, 착용샷 등 상품 상세 정보를 포함할 수 있다. 상기 상품 상세 정보에는 이미지를 추출할 수 있는 정보(이미지 데이터 또는 이미지 주소)가 포함될 수 있고, 해당 상품을 설명하는 텍스트 정보도 포함될 수 있다.

상품 데이터베이스(210)는 온라인상에서 수집되는 상품의 이미지, 텍스트 등을 기반으로 각 상품을 특징지을 수 있는 특징 레이블을 추출하고, 해당 상품과 맵핑하여 상품 데이터베이스(210)에 저장할 수 있다.

이후, 사용자 디바이스(100)로부터 쿼리가 입력되면, 쿼리 레이블을 포함하는 추천 후보 상품을 상품 데이터베이스(210)에서 검색되고, 추천 후보 상품에 태그된 특징 레이블들을 기초로 특징 레이블 리스트를 생성할 수 있다. 이후, 사용자 디바이스(100)로부터 수신한 선택 특징 레이블에 따라 추천 상품을 결정할 때 선택 특징 레이블을 포함하는 추천 상품을 검색하는데 사용될 수 있다.

본 발명의 실시 예에 따른 상품 데이터베이스(210)를 생성하는 구체적인 설명은 첨부된 도 8에 대한 설명과 함께 후술된다.

특징 레이블 관리 모듈(220)은 쿼리 처리부(221), 특징 레이블 리스트 제공부(222) 및 카운팅 수행부(223)을 포함할 수 있다.

쿼리 처리부(221)는 쿼리를 수신하고, 수신한 쿼리에서 패션 아이템 객체를 인식하고, 이미지를 프로세싱하여 해당 아이템의 카테고리, 색상, 재질, 스타일 등을 설명하는 쿼리 레이블을 이미지 기반으로 추출할 수 있다.

이를 위해 쿼리 처리부(221)는 검색 대상 이미지 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특징 정보를 구조화할 수 있으며, 보다 세부적인 방법은 도 8에 대한 설명에서 후술되는 상품 이미지 프로세싱 방법을 참고하여 이해될 수 있다.

나아가 본 발명의 실시예를 따르는 쿼리 처리부(221)는 프로세싱된 검색 대상 객체 이미지에 도 8에 대한 설명에서 후술되는 상품 데이터베이스 생성에 사용된 머신 러닝의 기법을 적용하여, 검색 대상 객체 이미지의 의미에 대한 레이블 및/또는 카테고리 정보를 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다.

구체적으로, 쿼리 처리부(221)는 순환 인공 신경망(Recurrent Neural Network, RNN) 기반의 머신 러닝(Machine learning)을 이용하여 쿼리 레이블을 생성할 수 있다. 머신 러닝은 인공지능의 분야 중 하나로, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘의 집합으로 정의될 수 있다. 서비스 서버(220)가 이용하는 모델은 이러한 머신 러닝의 모델 중 심층 신경망(Deep Neural Networks, DNN), 컨볼루션 신경망(Convolutional deep Neural Networks, CNN), 순환 인공 신경망(Reccurent Neural Network, RNN) 및 심층 신뢰 신경 망(Deep Belief Networks, DBN) 중 어느 하나를 이용한 것일 수 있다.

예를 들어 본 발명의 실시예를 따르는 쿼리 처리부(221)는 쿼리 이미지로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼 룩에 대한 쿼리 레이블을 추출할 수 있다. 이 경우, 쿼리 처리부(221)는 여성, 원피스에 대한 레이블을 쿼리 이미지의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼 룩에 대한 레이블은 카테고리 외 쿼리 이미지의 특성을 설명하는 레이블로 활용할 수 있다.

특징 레이블 추출부(221)는 쿼리로부터 추출한 특징 레이블을 특징 레이블 리스트 제공부(222)에 제공할 수 있다.

특징 레이블 리스트 제공부(222)는 특징 레이블 추출부(221)로부터 수신한 특징 레이블을 기초로 특징 레이블 리스트를 생성하고 사용자 디바이스(100)에 제공할 수 있다.

구체적으로, 레이블 리스트 제공부(222)는 쿼리 처리부(221)로부터 쿼리 레이블을 수신하면, 상품 데이터베이스(210)를 검색하여, 쿼리 레이블이 태그된 상품인 추천 후보 상품을 결정하고, 추천 후보 상품에 태그된 특징 레이블을 기초로 특징 레이블 리스트를 생성하고, 사용자 디바이스(100)에 제공할 수 있다.

본 발명의 실시 예에서, 상품 데이터베이스(210)는 쿼리 레이블이 포함된 상품을 검색하는데 활용될 수 있다. 즉, 상품 데이터베이스(210)는 특징 레이블 리스트를 결정하기 위한 추천 후보 상품을 검색하는데 사용될 수 있다.

상품 데이터베이스(210)에는 신경망 모델을 통해 미리 정의된 특징 레이블들이 태그된 상품 정보가 저장되어 있을 수 있다. 특징 레이블 리스트 제공부(222)는 특징 레이블 추출부(221)로부터 수신한 쿼리 레이블과 상품 데이터베이스(210)에 저장된 상품 정보에 태그된 특징 레이블을 비교하여, 쿼리 레이블이 태그된 상품을 특징 레이블 리스트를 생성하기 위한 추천 후보 상품으로 결정할 수 있다.

예를 들어, 쿼리 레이블이 자켓 레이블이면, 특징 레이블 리스트 제공부(222)는 상품 데이터베이스(210)에서 자켓 레이블이 태그된 상품들을 검색할 수 있다. 검색된 대상 상품들은 추천 후보 상품일 수 있다. 상품 데이터베이스(210)는 추천 후보 상품에 태그된 특징 레이블들에 관한 정보를 특징 레이블 리스트로 제공부(222)에 제공할 수 있다.

특징 레이블 리스트 제공부(222)는 상품 데이터베이스(210)로부터 특징 레이블 정보를 수신하고, 카운트 정보를 참고하여 특징 레이블 리스트를 생성할 수 있다.

특징 레이블 리스트는 패션 상품이 해당 상품의 특징을 나타낸 키워드와 맵핑되어 룩업 테이블 형태로 저장된 리스트일 수 있다. 사용자는 특징 레이블 리스트에서 제공된 키워드를 이용하여 상품을 검색할 수 있다.

특징 레이블 리스트는 추천 후보 상품들에 포함된 전체 특징 레이블들을 모두 포함할 수 있다. 예를 들어, 자켓 쿼리가 입력되면, 특징 레이블 리스트 생성부(222)는 자켓으로부터 추출한 모든 특징 레이블들(가죽 레이블, 오버핏 레이블, 검정색 레이블, 캐쥬얼 레이블, 후드 레이블 등)을 모두 포함하는 특징 레이블 리스트를 생성할 수 있다.

실시 예에서, 특징 레이블 리스트는 추천 후보 상품들에 포함된 전체 특징 레이블들 중, 일정 기간 동안 카운트 횟수의 증가율이 높은 순으로 미리 설정된 개수의 특징 레이블을 포함할 수도 있다.

또 다른 실시 예에서, 특징 레이블 리스트는 추천 후보 상품들에 포함된 전체 특징 레이블들 중, 카운트된 횟수의 증가율이 높은 순으로 특징 레이블 리스트를 정렬하여 포함할 수도 있다.

특징 레이블 리스트 제공부(222)는 생성한 특징 레이블 리스트를 사용자 디바이스(100)에 제공하고, 사용자 디바이스(100)는 특징 레이블 리스트에 포함된 특징 레이블들 중 마음에 드는 특징 레이블을 선택할 수 있다. 사용자로부터 선택된 특징 레이블은 선택 특징 레이블일 수 있다.

카운팅 수행부(223)은 카운트 정보를 생성하고 특징 레이블 리스트 제공부(222)에 제공할 수 있다.

카운트 정보는 각 특징 레이블에 대한 카운트 횟수를 포함할 수 있다. 카운트 횟수는 특징 레이블마다 독립적으로 카운트되고, 상기 특징 레이블에 대응되는 상품과 맵핑되어 상품 데이터베이스(210)에 저장될 수 있다.

특징 레이블 리스트에 포함된 특징 레이블에 대하여, 사용자가 특징 레이블을 선택할 때 해당 특징 레이블은 카운트될 수 있다. 또한, 특징 레이블 리스트의 특징 레이블을 제외한 나머지 특징 레이블들로 추천 상품이 검색될 수 있을 때, 이러한 특징 레이블들도 함께 카운트 될 수 있다.

카운트 정보를 기초로 특징 레이블 리스트를 생성하면 사용자의 취향이 반영된 특징 레이블 리스트를 제공할 수 있다. 카운트 정보는 사용자의 취향, 선호도가 카운트 횟수라는 형태로 가중치가 반영된 정보일 수 있다. 카운트 횟수의 증가율이 높을수록 사용자의 관심도가 높은 상품이라고 판단할 수 있다.

따라서, 특징 레이블 리스트 제공부(222)는 카운트 횟수의 증가율이 특정값보다 높은 순으로 미리 설정된 개수의 특징 레이블을 특징 레이블 리스트로 생성하거나, 증가율이 특정값보다 높은 특징 레이블 전체를 내림차순으로 정렬하여 특징 레이블 리스트로 생성할 수 있다.

상품 추천 모듈(230)은 특징 레이블 리스트 내 키워드로 검색 요청된 특징 레이블(선택 특징 레이블)을 상품 데이터베이스(210)에서 검색하고, 검색된 추천 상품 정보를 사용자에게 제공할 수 있다.

구체적으로, 특징 레이블 리스트에 대해 사용자가 선택한 레이블인 선택 특징 레이블과 쿼리 레이블을 포함하는 상품을 상품 데이터베이스(210)에서 검색하고, 검색된 상품인 추천 상품 관한 정보인 추천 상품 정보를 사용자 디바이스(100)에 제공할 수 있다.

상품 추천 모듈(230)은 선택 특징 레이블을 포함하는 상품을 검색하기 위해 상품 데이터베이스(210)에 저장된 특징 레이블 정보를 참조할 수 있다.

도 3은 본 발명의 실시 예에 따라 특징 레이블 리스트가 제공된 사용자 디바이스를 예시하기 위한 도면이다.

도 3을 참조하면, 사용자 디바이스는 열람 중이던 웹 페이지에서, 연예인이 착용한 상품 또는 스타일 이미지에 대한 정보를 문의하는 쿼리를 서비스 서버에 제공할 수 있다.

쿼리는 연예인이 착용한 자켓 또는 핸드백이라는 상품에 관한 레이블 정보를 포함할 수 있다. 또한, 연예인이 착용한 복수의 패션 아이템으로부터 도출되는 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등의 스타일 이미지에 대한 스타일 레이블 정보를 포함할 수 있다.

레이블은 머신 러닝을 이용하여 학습된 모델을 이용하여 검색 대상 쿼리가 어떤 분류 정보를 갖는지 식별하는 것으로 이해될 수 있다. 서비스 서버는 검색대상 상품 또는 스타일의 레이블(분류 정보) 또는 이미지 특징 정보를 이용하여, 상품 데이터베이스 또는 스타일 데이터베이스에서 동일 또는 유사한 레이블 또는 유사한 스타일 이미지 특징 정보를 갖는 상품 관련 정보를 검색할 수 있다.

도 3에서는 쿼리가 웹 페이지의 연예인 이미지로 제공되는 것으로 도시되었지만, 실시 예에 따라 쿼리는 텍스트, 동영상, 웹 페이지의 URL, 음성 등 다양한 방법으로 제공될 수 있다.

검색 아이콘은 특징 레이블 리스트를 표시하거나, 관련된 URL 링크를 표시하는 기능을 제공할 수 있다.

사용자 디바이스는 301, 302, 303과 같은 검색 아이콘을 사용자 디바이스의 화면에 표시할 수 있다. 사용자는 검색 아이콘에 마우스 커서를 가져가거나 클릭하는 등 서비스 서버에 쿼리를 전송하면, 해당 검색 아이콘에 대응되는 객체의 특징 레이블 리스트를 열람할 수 있다.

도 3에서, 사용자는 301 검색 아이콘에 대응되는 객체를 서비스 서버에 문의할 수 있다. 서비스 서버는 연예인이 착용한 상품에 미리 태그된 특징 레이블을 확인하거나, 태그된 레이블이 없으면 쿼리 이미지를 프로세싱하여 특징 레이블을 추출할 수 있다.

서비스 서버는 301 검색 아이콘에 대응되는 쿼리로부터 자켓 레이블에 해당되는 쿼리 레이블을 추출할 수 있다. 서비스 서버는 상품 데이터베이스에서 자켓 레이블을 포함하는 상품들을 검색하여 추천 후보 상품으로 결정할 수 있다.

서비스 서버는 추천 후보 상품들에 태그된 서로 상이한 특징 레이블을 확인할 수 있다. 이들 특징 레이블들은 모두 사용자의 취향을 알아보기 위한 설문으로 제공될 특징 레이블 리스트를 구성할 수 있다. 다만, 특징 레이블 전체가 특징 레이블 리스트에 포함될 경우, 사용자의 취향을 온전히 반영하기 어려울 수 있다. 따라서, 본 발명의 서비스 서버는 카운트 정보를 이용하여 특징 레이블 리스트를 생성할 수 있다.

카운트 정보는 사용자에게 기 제공된 특징 레이블 리스트에 대하여, 사용자가 선택 특징 레이블을 선택할 때마다 해당 선택 특징 레이블의 증가된 카운트 횟수일 수 있다. 카운트 횟수는 특징 레이블마다 독립적으로 카운트될 수 있고, 특징 레이블 각각에 대한 카운트 횟수는 해당 상품과 맵핑되어 상품 데이터베이스에 함께 저장될 수 있다.

또한, 카운트 정보는 특징 레이블 리스트에 포함되지 않은 특징 레이블들 중 추천 상품에 포함된 특징 레이블이, 선택 특징 레이블이 선택될 때마다 카운트된 횟수일 수 있다.

카운트 정보를 기초로 특징 레이블 리스트를 생성하면 사용자의 취향이 반영된 특징 레이블 리스트를 제공할 수 있다. 카운트 정보는 사용자의 취향, 선호도가 카운트 횟수라는 형태로 가중치가 반영된 정보일 수 있다. 카운트 횟수의 증가율이 높을수록 사용자의 관심도가 높은 상품이라고 판단할 수 있다.

따라서, 특징 레이블 리스트 제공부는 카운트 횟수의 증가율이 특정값보다 높은 순으로 미리 설정된 개수의 특징 레이블을 특징 레이블 리스트로 생성하거나, 증가율이 특정값보다 높은 특징 레이블 전체를 내림차순으로 정렬하여 특징 레이블 리스트로 생성할 수 있다.

도 3을 참조하면, 사용자가 301 검색 아이콘을 클릭한 경우, 미리 설정된 개수(3개)의 특징 레이블(캐쥬얼 레이블, 검정색 레이블, 오버핏 레이블)이 특징 레이블 리스트로 제공된 것을 도시하고 있다.

후술되는 도 4는 사용자가 위 특징 레이블들 중 검정색 레이블 및 오버핏 레이블을 선택한 경우, 사용자 디바이스에 표시된 추천 상품 정보를 도시하고 있다.

마찬가지로, 사용자는 302 검색 아이콘에 대응되는 객체를 서비스 서버에 문의할 수 있다.

서비스 서버는 302 검색 아이콘에 대응되는 쿼리로부터 핸드백 레이블이라는 쿼리 레이블을 추출할 수 있다. 서비스 서버는 연예인이 착용한 상품에 미리 태그된 레이블이 없으면, 쿼리 이미지를 프로세싱하여 쿼리 레이블을 추출할 수 있다.

이후, 서비스 서버는 상품 데이터베이스에서 핸드백 레이블을 포함하는 상품들을 검색하여 추천 후보 상품으로 결정할 수 있다.

도 3은 사용자가 302 검색 아이콘을 클릭한 경우, 미리 설정된 개수(3개)의 특징 레이블(숄더백 레이블, 가죽 레이블, 스트라이프 레이블)이 특징 레이블 리스트로 제공된 것을 도시하고 있다.

303 검색 아이콘은 쿼리로 스타일 이미지를 요청하는 것을 도시하고 있다. 사용자는 303 검색 아이콘에 대응되는 객체를 서비스 서버에 문의할 수 있다. 이때, 객체는 연예인룩이라는 복수의 패션 아이템들이 조합되어 일반 사람들이 공감할 수 있는 전체적인 인상이나 느낌인 스타일 이미지일 수 있다.

서비스 서버는 303 검색 아이콘에 대응되는 쿼리로부터 연예인룩 레이블을 추출할 수 있다. 서비스 서버는 연예인이 착용한 상품에 미리 태그된 레이블이 없으면, 쿼리 이미지를 프로세싱하여 레이블을 추출할 수 있다. 이후, 서비스 서버는 상품 데이터베이스에서 ‘연예인룩 레이블’을 포함하는 상품들을 검색하여 추천 후보 상품으로 결정할 수 있다.

도 3은 사용자가 303 검색 아이콘을 클릭한 경우, 미리 설정된 개수(3개)의 특징 레이블(트랜드 레이블, 노출 레이블, 공항패션 레이블)이 특징 레이블 리스트로 제공된 것을 도시하고 있다.

스타일 이미지를 통해 추천 상품을 결정하면, 사용자는 쿼리 레이블 및 선택 특징 레이블을 포함하는 패션 아이템이 코디된 스타일 이미지를 열람할 수 있다. 후술되는 도 5는 사용자가 트랜드 레이블을 선택했을 때, 사용자 디바이스에 표시되는 추천 상품 정보 및 코디네이션 정보를 도시하고 있다.

트랜드 레이블이 선택되면, 해당 상품을 검색하는 시점의 웹 사이트에서의 상품 히트수, 유행 주기 또는 일정 기간 동안의 웹 사이트 출현 빈도 등을 종합적으로 고려한 유행 정보를 반영하여 결정된 추천 상품을 사용자에게 제공할 수 있다.

도 4는 도 3의 실시 예에 따른 추천 상품 정보가 표시된 사용자 디바이스를 예시하기 위한 도면이다.

도 4를 참조하면, 서비스 서버는 사용자의 선택 특징 레이블 선택에 따라 맞춤형 추천 상품 정보를 제공할 수 있다. 도 3에서 전술한 바와 같이, 사용자는 캐쥬얼 레이블, 검정색 레이블, 오버핏 레이블 중 검정색 레이블 및 오버핏 레이블을 선택 특징 레이블로 선택할 수 있다.

서비스 서버는 쿼리 레이블인 자켓 레이블과 선택 특징 레이블인 검정색 레이블, 오버핏 레이블을 모두 포함하는 상품을 상품 데이터베이스에서 검색할 수 있다.

검색된 상품은 추천 상품일 수 있다. 추천 상품의 브랜드, 가격, 판매처, 다른 사용자들의 리뷰 등 상품 상세 정보는 사용자에게 제공될 수 있다. 도 4는 사용자가 상위 속성 레이블로 가죽 레이블 및 검정색 레이블을 선택했을 때, 사용자 디바이스에 ‘검정 색상의 가죽 재질로 만들어진 자켓‘에 대한 상품 정보가 표시된 것을 도시하고 있다.

도 5는 도 3의 실시 예에 따른 코디네이션된 추천 상품 정보가 표시된 사용자 디바이스를 예시하기 위한 도면이다.

도 5를 참조하면, 서비스 서버는 사용자의 선택 특징 레이블 선택에 따른 추천 상품들이 코디된 스타일 정보를 제공할 수 있다. 도 3에서 전술한 바와 같이, 사용자가 연예인룩의 쿼리를 요청하면, 서비스 서버는 상품 데이터베이스를 검색하여 선택 특징 레이블을 선택하도록 사용자에게 질의할 수 있다.

도 5는 사용자가 트랜드 레이블을 선택 특징 레이블로 선택했을 때, 사용자 디바이스에 표시되는 추천 상품 정보를 도시하고 있다. 도 4의 경우와 비교하여, 도 5의 실시 예에서는 단순한 상품 상세 정보 뿐만 아니라, 추천 상품이 코디된 스타일 정보를 제공받을 수 있다. 즉, 사용자는 쿼리 레이블과 선택 특징 레이블을 모두 포함하는 패션 상품들로 조합된 스타일 정보를 제공받을 수 있다.

도 5는 서비스 서버의 상위 속성 레이블을 선택하라는 질의에 대한 응답으로 트랜드 레이블을 선택한 경우를 도시하고 있다. 서비스 서버는 연애인룩 레이블 및 트랜드 레이블을 포함하는 패션 상품으로 코디된 스타일 정보를 상품 데이터베이스에서 검색할 수 있다. 또한, 코디에 사용된 상품들 각각의 브랜드, 가격, 원산지, 재질, 카테고리 상품 자체의 정보를 상품 데이터베이스 검색을 통하여 확인할 수 있다.

도 6은 상품 데이터베이스에 저장된 특징 레이블 정보를 설명하기 위한 도면이다.

도 6을 참조하면, 서비스 서버는 먼저 쿼리 레이블을 포함하는 상품들을 상품 데이터베이스에서 검색할 수 있다.

검색된 상품들은 추천 후보 상품으로, 사용자와 서비스 서버간의 질의를 통해 결정될 선택 특징 레이블에 따라, 추천 상품이 될 수 있는 후보 상품군일 수 있다.

서비스 서버는 추천 후보 상품들에 태그된 레이블들을 기초로 특징 레이블 리스트를 생성할 수 있다. 서비스 서버는 추천 후보 상품에 태그된 특징 레이블들을 확인하고, 각 특징 레이블의 카운트 정보를 확인할 수 있다.

이후, 서비스 서버는 카운트 횟수의 증가율이 높은 순으로 미리 설정된 개수의 특징 레이블들로 특징 레이블 리스트를 생성할 수 있다.

실시 예에 따라, 카운트 횟수의 증가율이 높은 순으로 추천 후보 상품에 포함된 특징 레이블들을 모두 내림차순으로 정렬하여 특징 레이블 리스트를 생성할 수도 있다.

또한, 실시 예에 따라 추천 후보 상품에 포함된 모든 특징 레이블을 특징 레이블 리스트로 생성할 수도 있다.

추천 후보 상품에 포함된 레이블이라고 하더라도, 카운트 횟수의 증가율이 낮은 특징 레이블은 상대적으로 중요도가 낮거나, 사용자가 검색을 원하지 않는 특징 레이블일 가능성이 높을 수 있다.

예를 들어, 도 6의 상품1은 꽃무늬 레이블을 포함하고 있을 수 있다. 일반 소비자에게 꽃무늬 자켓은, ’검정 색상의 캐쥬얼 느낌을 주는 자켓‘과 같이 자켓에 흔하게 조합될 수 있는 특징에 비해 개성이 뚜렷하다는 느낌을 줄 수 있다.

서비스 서버는 개인의 취향 차이가 상대적으로 클 수 있는 꽃무늬 자켓은 제외하고, 추천 후보 상품에 상대적으로 많이 포함된 특징 레이블을 더 많은 소비자가 검색을 원하는 패션 상품의 특징으로 판단할 수 있다.

도 6을 참조하면, 쿼리 이미지에서 추출한 레이블이 자켓 레이블일 수 있다. 이때, 서비스 서버는 자켓 레이블을 포함하는 상품들을 상품 데이터베이스에서 검색하여 상품1 내지 상품4를 추천 후보 상품으로 결정할 수 있다.

상품1 내지 4의 특징 레이블 정보를 참조하면, 추천 후보 상품들은 자켓 레이블을 4개, 캐쥬얼 레이블을 4개, 검정색 레이블을 3개, 오버핏 레이블을 2개, 그 외의 레이블들을 각각 1개씩 포함할 수 있다. 설명의 편의를 위하여 포함된 특징 레이블의 개수가 많을수록 특징 레이블의 카운트 개수의 증가율이 높다고 가정하도록 한다.

쿼리 이미지에서 추출한 레이블을 제외하고, 위 레이블들이 카운트된 개수가 많은 순서대로 내림차순 정렬하면 캐쥬얼 레이블, 검정색 레이블, 오버핏 레이블, 그 외에 레이블들일 수 있다.

실시 예에 따라 위 내림차순으로 정렬된 특징 레이블 모두가 특징 레이블 리스트에 포함될 수도 있다.

다만, 추천 상위 속성 레이블을 3개 결정하기로 미리 정한 경우, 서비스 서버는 상위 카운트된 레이블 3개만을 특징 레이블 리스트에 포함할 수 있다. 이때 특징 레이블 리스트는 캐쥬얼 레이블, 검정색 레이블, 오버핏 레이블을 포함할 수 있다.

다시 도 6을 참조하면, 쿼리 이미지에서 추출한 레이블이 핸드백인 경우도 전술한 과정에 따라 숄더백 레이블, 가죽 레이블 및 스트라이프 레이블을 특징 레이블 리스트로 결정할 수 있다.

마찬가지로, 쿼리 이미지에서 추출한 레이블이 연예인룩인 경우, 전술한 과정에 따라 트랜드 레이블, 노출 레이블 및 공항패션 레이블을 특징 레이블 리스트로 결정할 수 있다.

도 7은 본 발명의 실시 예에 따른 패션 상품 추천 방법을 설명하기 위한 순서도이다.

도 7을 참조하면, S701 단계 및 S703 단계에서, 본 발명의 실시 예에 따른 서비스 서버는 상품 추천의 기초가 되는 데이터베이스를 생성할 수 있다. 데이터베이스는 상품 데이터베이스 및 스타일 데이터베이스를 포함할 수 있다. 서비스 서버는 상품 데이터베이스 및 스타일 데이터베이스를 참고하여 쿼리를 검색하고, 추천 상품을 결정하는 기능을 수행할 수 있다.

상품 데이터베이스는 온라인 마켓에서 판매되는 상품들의 원산지, 사이즈, 판매처, 착용샷 등 상품 상세 정보를 포함할 수 있다. 스타일 데이터베이스는 웹상에서 수집되는 이미지 중, 패션 스타일, 다수의 아이템의 코디네이션에 대해 참고할 수 있는 패션 이미지에 대한 정보를 포함할 수 있다.

특히 본 발명의 실시예를 따르는 상품 데이터베이스는 상품의 이미지를 기초로 상품 정보를 구성할 수 있다.(S701 단계) 본 발명의 실시 예에 따른 상품 데이터베이스를 생성하는 구체적인 설명은 첨부된 도 8에 대한 설명에서 후술된다.

한편, 본 발명의 실시예를 따르는 서비스 서버는 스타일 추천의 기초가 되는 스타일 데이터베이스를 생성할 수 있다. (S703 단계)

스타일 데이터베이스는 온라인 상에서 수집되는 이미지 중에서, 복수의 패션 아이템들이 잘 어울리도록 조합되어 있는 이미지 (본 명세서에서 이를 스타일 이미지로 지칭함) 및 상기 스타일 이미지에 대한 분류 정보를 포함할 수 있다. 본 발명의 실시예를 따르는 스타일 이미지는 전문가 또는 준전문가가 복수의 패션 아이템들을 미리 조합하여 생성한 이미지 데이터로 웹 상에서 수집 가능한 패션 카탈로그, 패션 잡지 화보 이미지, 패션쇼 촬영 이미지, 아이돌 의상 이미지, 특정 드라마 또는 영화의 의상 이미지, SNS, 블로그 유명인의 의상 이미지, 패션 잡지의 스트리트 패션 이미지, 패션 아이템의 판매를 위해 다른 아이템과 코디해 놓은 이미지 등을 예시할 수 있다.

본 발명의 실시 예에 따른 스타일 데이터베이스를 생성하는 방법은 첨부된 도 9에 대한 설명에서 후술된다.

S705 단계에서 웹페이지 또는 임의의 이미지를 열람하던 사용자는 특정 패션 상품에 대한 상품 정보를 문의하는 쿼리, 또는 상기 패션 상품의 특징 레이블 리스트를 요청하는 쿼리를 서비스 서버에 문의할 수 있다.

예를 들어, 사용자는 임의의 쇼핑몰을 열람하면서, 특정 패션 상품의 정보를 요청하거나, 또는 특정 패션 상품과 동일한 카테고리의 상품들에 포함된 특징 레이블들 중 카운트 정보에 따라 선택된 특징 레이블로 구성된 특징 레이블 리스트를 요청하는 쿼리를 서비스 서버에 문의할 수 있다.

실시 예에 따라, 사용자는 오프라인의 특정 스타일 이미지의 사진을 촬영하여, 해당 스타일 이미지의 정보를 요청하거나, 또는 촬영한 스타일 이미지에 포함된 특징 레이블들 중 카운트 정보에 따라 선택된 특징 레이블로 구성된 특징 레이블 리스트를 요청하는 쿼리를 서비스 서버에 문의할 수 있다.

S707 단계에서, 사용자 디바이스는 본 발명의 실시 예에 따른 어플리케이션을 통해 제공되는 스타일 북을 열람할 수 있다. 이때, 사용자 디바이스는 스타일 북에 포함된 특정 스타일 이미지에 대한 정보를 요청하거나, 또는 특정 스타일 이미지의 특징 레이블들 중 카운트 정보에 따라 선택된 특징 레이블로 구성된 특징 레이블 리스트를 요청하는 쿼리를 서비스 서버에 문의할 수 있다.

쿼리를 전송하는 사용자 디바이스는 예를 들어, 웹 브라우저의 기록 로그를 포함하는 쿼리를 서비스 서버에게 전송할 수 있다. 상기 기록 로그에는 웹 브라우저의 브라우징 실행 히스토리, 해당 시점에 실행한 웹 페이지의 URL 정보를 포함할 수 있다. 나아가 사용자 디바이스는 웹페이지의 URL에 포함된 이미지, 동영상, 텍스트 데이터를 추출하고, 추출한 데이터를 쿼리로 전송할 수도 있다. 나아가 URL, 텍스트, 이미지 또는 동영상 데이터를 추출할 수 없는 경우 스크린 샷을 추출하여 쿼리로 전송할 수 있다.

한편, S709 단계에서 본 발명의 실시예를 따르는 서비스 서버는 수신한 쿼리를 프로세싱할 수 있다. 이는 쿼리의 내용을 기반으로 추출된 레이블을 포함하는 상품을 상품 데이터베이스에서 검색하기 위한 것일 수 있다.

이하, 사용자가 요청한 쿼리가 이미지 형태의 쿼리인 쿼리 이미지라고 가정하고 설명하도록 한다. 다만, 실시 예에 따라, 쿼리는 이미지 뿐만 아니라 음성, 웹 페이지의 URL, 텍스트, 동영상 등이 포함될 수 있다.

본 발명의 실시예를 따르는 서비스 서버는 쿼리 이미지를 수신하고, 쿼리 이미지에 다수의 객체가 포함된 경우 객체들 각각을 분할하여 인식할 수 있다. 사용자 디바이스에서 수신한 쿼리는 검색 대상 객체가 특정되어 있을 수도 있다.

이를 위해 서비스 서버는 검색 대상 이미지 객체의 특징을 추출하고 검색의 효율성을 위해 이미지들의 특징 정보를 구조화할 수 있으며, 보다 세부적인 방법은 도 8에 대한 설명에서 후술되는 상품 이미지 프로세싱 방법을 참고하여 이해될 수 있다.

나아가 본 발명의 실시예를 따르는 서비스 서버는 프로세싱된 검색 대상 객체 이미지에 도 8에 대한 설명에서 후술되는 상품 데이터베이스 생성에 사용된 머신 러닝의 기법을 적용하여 검색 대상 객체 이미지의 의미에 대한 레이블 및/또는 카테고리 정보를 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다.

예를 들어 본 발명의 실시예를 따르는 서비스 서버는 쿼리 이미지로부터 여성, 원피스, 민소매, 린넨, 흰색, 캐주얼룩에 대한 레이블을 추출할 수 있다. 이 경우, 서비스 서버는 여성, 원피스에 대한 레이블을 쿼리 이미지의 카테고리 정보로 활용하고, 민소매, 린넨, 흰색, 캐주얼 룩에 대한 레이블은 카테고리 외 쿼리 이미지의 특성을 설명하는 레이블 정보로 활용할 수 있다.

S711 단계에서, 서비스 서버는 쿼리 이미지로부터 추출한 레이블에 대한 상품 데이터베이스 검색을 수행할 수 있다. 이는 추출한 레이블을 포함하는 상품을 상품 데이터베이스에서 검색하여 추천 대상 상품을 결정하고, 추천 대상 상품에 포함된 특징 레이블로부터 특징 레이블 리스트를 생성하기 위한 것일 수 있다.

예를 들어, 쿼리 이미지로부터 핸드백 레이블이 추출된 경우, 서비스 서버는 상품 데이터베이스에서 핸드백 레이블을 공통적으로 포함하는 상품들을 검색할 수 있다. 이때, 이미지 검색의 정확도를 높이기 위해 쿼리 이미지의 레이블과 매칭되지 않는 상품들을 제외하는 방식으로 검색이 수행될 수 있다.

도면에는 도시되지 않았지만, 본 발명의 다른 실시 예에서, 서비스 서버는 쿼리 이미지로부터 추출한 쿼리 레이블을 스타일 데이터베이스에서 검색할 수도 있다.

S713 단계에서, 서비스 서버는 쿼리 레이블을 태그된 상품을 상품 데이터베이스 및/또는 스타일 데이터베이스에서 검색하여 추천 대상 상품을 결정하고, 추천 대상 상품들에 포함된 서로 상이한 특징 레이블의 카운트 정보를 기초로 특징 레이블 리스트를 생성할 수 있다.

특징 레이블 리스트는 서로 상이한 특징 레이블 모두가 포함될 수도 있고, 카운트 정보에 따라 모든 특징 레이블이 내림차순으로 정렬되어 포함될 수도 있고, 카운트 횟수가 많은 순으로 미리 설정된 개수의 특징 레이블만이 포함될 수도 있다.

예를 들어, 쿼리 레이블이 핸드백 레이블인 경우, 핸드백 레이블을 공통적으로 포함하는 상품들을 상품 데이터베이스에서 검색할 수 있다. 서비스 서버는 검색된 상품들에 포함된 숄더백, 가죽, 크로스백, 오피스 룩 등의 레이블들에 대한 정보인 특징 레이블 정보를 참고하여 특징 레이블 리스트를 생성할 수 있다.

또한, 서비스 서버는 연예인룩 레이블을 포함하는 쿼리 레이블을 상품 데이터베이스 및/또는 스타일 데이터베이스에서 검색할 수 있다. 스타일 데이터베이스는 사람이 복수의 패션 아이템을 직접 착용한 스타일 이미지로 구성되어 있을 수 있다. 따라서, 단일의 패션 아이템에 상품 정보를 저장하는 상품 데이터베이스에서 검색하는 것보다, 경우에 따라서 활용도가 더 높을 수 있다. 즉, 단일의 패션 아이템을 추천 받는 것에 비하여, 추천 상품의 활용도를 높일 수 있는 이점이 있다.

쿼리 이미지는 도 7의 실시 예와 같이 상품 데이터베이스에서만 검색될 수도 있고, 도면에는 도시되지 않았지만 스타일 데이터베이스에서만 검색될 수도 있다. 또한, 실시 예에 따라 상품 데이터베이스와 스타일 데이터베이스에서 중첩적으로 검색될 수도 있다.

이후 S715 단계에서, 사용자 디바이스는 특징 레이블 리스트 내에서 제공되는 키워드(선택 특징 레이블)로 상품을 검색할 수 있다.

사용자는 특징 레이블 리스트에서 제공된 특징 레이블들 중 자신의 마음에 드는 특징 레이블을 적어도 하나 이상 선택할 수 있고, 선택된 특징 레이블은 서비스 서버에 제공될 수 있다. 선택된 특징 레이블은 선택 특징 레이블일 수 있다.

예를 들어, 사용자는 기 제공된 숄더백, 가죽, 크로스백, 오피스 룩에 해당하는 추천 상위 속성 레이블을 입력받고, 숄더백, 가죽 레이블을 선택 특징 레이블로 선택할 수 있다.

S717 단계에서, 서비스 서버는 쿼리 레이블 및 선택 특징 레이블을 모두 포함하는 상품에 대한 상품 데이터베이스 검색을 수행할 수 있다.

예를 들어, 쿼리 레이블이 핸드백 레이블이고, 선택 특징 레이블이 숄더백, 가죽 레이블일 수 있다. 서비스 서버는 핸드백 레이블, 숄더백 레이블 및 가죽 레이블을 모두 포함하는 상품을 상품 데이터베이스에서 검색할 수 있다.

서비스 서버는 쿼리 레이블과 선택 특징 레이블을 모두 포함하는 상품에 관한 정보인 추천 상품 정보를 생성할 수 있다. 생성된 추천 상품 정보는 사용자 디바이스에 제공될 수 있다

본 발명의 실시 예에 따른 패션 상품 추천 방법은 사용자가 특정 상품에 대한 정보를 문의했을 때, 별도의 연관 검색어의 입력 없이도 관련된 상위 속성 레이블을 제공할 수 있다. 예를 들어, 사용자가 열람 중이던 웹 페이지에 포함된 핸드백에 대한 상품 정보를 요청하면, 서비스 서버는 사용자로부터 별도의 요청 없이도, 핸드백에 관한 특징 레이블 리스트를 제공 받을 수 있다.

또한, 본 발명의 패션 상품 추천 시스템은 쿼리와 관련된 부수적인 상품 정보를 사용자에게 제공함으로써, 사용자가 미처 생각하지 못한 보다 폭넓은 상품 정보를 제공할 수 있다.

도 8은 도 7의 상품 데이터베이스의 생성을 설명하기 위한 순서도이다.

도 8을 참조하면, 도 8의 S801 단계에서 서비스 서버는 상품 정보를 수집할 수 있다.

서비스 서버는 미리 제휴된 온라인 마켓의 상품 정보는 물론, 임의의 온라인 마켓에서 판매하는 상품에 대해서도 상품 정보를 수집할 수 있다. 예를 들어 서비스 서버는 크롤러, 파서, 인덱서를 구비하여, 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다.

예를 들어 크롤러는 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 데이터를 서비스 서버로 전달할 수 있다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다.

한편 본 발명의 실시예를 따르는 서비스 서버는 임의의 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 제휴 마켓으로부터 미리 설정된 포멧의 상품 정보를 제공받을 수도 있다.

단계 S802 단계에서 서비스 서버는 상품 이미지를 프로세싱할 수 있다. 이는 상품명이나 판매 카테고리 등 텍스트 정보에 의존하지 않고, 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정하기 위한 것이다.

본 발명의 실시예를 따르면 상품 이미지의 유사 여부를 기준으로 추천 아이템을 결정할 수 있지만, 본 발명은 이에 한정되지 않는다. 즉, 구현에 따라 상품 이미지는 물론 상품명 또는 판매 카테고리 등을 단독 또는 보조 쿼리로 활용할 수 있으며, 이를 위해 서비스 서버는 상품의 이미지 외 상품명, 상품 카테고리 등 텍스트 정보를 구조화하여 데이터베이스를 생성할 수 있다.

본 발명의 선호되는 실시예를 따르면 서비스 서버는 상품 이미지의 특징을 추출하고, 검색의 효율성을 위해 이미지들의 특징 정보를 구조화 (indexing)할 수 있다.

보다 구체적으로 서비스 서버는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다.

본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있으며 이미지의 패치(조각) 또는 이미지 전체를 대상으로 할 수 있다.

나아가 서비스 서버는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다.

본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다.

한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 바이너리 기술자(Binary Descriptor) 또는 신경망 기술자(Neural Network descriptor)로 표현될 수 있다.

보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다.

예를 들어 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 개수, 종래 정의된 색상표와 같은 전역적 특징의 포함 개수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함 여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor), 신경망(Neural Network)의 레이어에서 학습 또는 분류를 위해 사용되는 영상정보를 추출하는 신경망 기술자(Neural Network descriptor)를 포함할 수 있다.

나아가 본 발명의 실시예를 따르면, 상품 이미지로부터 추출한 특징 정보 벡터를 낮은 차원으로 변환할 수 있다. 예를 들어 인공신경망을 통해 추출된 특징 정보는 4만 차원 고차원 벡터 정보에 해당하며, 검색에 요구되는 리소스를 고려하여 적정한 범위의 낮은 차원 벡터로 변환하는 것이 적절하다.

상기 특징 정보 벡터의 변환은 PCA, ZCA 등 다양한 차원 축소 알고리즘을 이용할 수 있으며, 낮은 차원 벡터로 변환된 특징 정보는 해당 상품 이미지에 인덱싱 될 수 있다.

나아가 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지를 기준으로 머신 러닝의 기법을 적용하여 해당 이미지의 의미에 대한 레이블을 추출할 수 있다. 상기 레이블은 추상화된 값으로 표현될 수 있으나, 추상화된 값을 해석하여 텍스트 형태로 표현될 수도 있다. (S803 단계)

보다 구체적으로, 본 발명의 제 1 실시예를 따르면, 서비스 서버는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 상품 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.

본 발명의 제 2 실시예를 따르면, 서비스 서버는 각 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 상품 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다. 나아가 서비스 서버는 해당 상품이 어느 그룹에도 포함되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다.

상기 제 1 실시예와 제 2 실시예에 따르면, 서비스 서버는 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등 상품에 대한 메타 정보로 활용할 수 있는 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하고, 상기 신경망 모델을 광고주의 상품 이미지에 적용하여 광고 대상 상품 이미지에 대한 레이블을 추출할 수 있다.

한편, 본 발명의 제 3 실시예를 따르면, 서비스 서버는 레이블에 대한 별도의 학습 없이 상품 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링할 수 있다.

이 경우, 특징 값의 어떠한 속성에 따라 해당 이미지들이 클러스터링되었는지 확인하기 위해서, 즉 이미지들의 클러스터링 결과를 실제 인간이 인식할 수 있는 개념과 연결하기 위해서는 추가 분석이 필요할 수 있다. 예를 들어 서비스 서버가 이미지 프로세싱을 통해 3개의 그룹으로 상품을 분류하고, 제 1 그룹의 특징에 대한 A, 제 2 그룹의 특징에 대한 B, 제 3 그룹의 특징에 대한 C 라는 레이블을 추출한 경우, A, B, C가 예를 들어 각각 여성 상의, 블라우스, 체크 무늬를 의미한다는 것이 사후적으로 해석될 필요가 있다.

상기 제 3 실시예에 따르면, 서비스 서버는 클러스터링된 이미지 그룹에 여성 하의, 스커트, 원피스, 반팔, 긴팔, 무늬의 형태, 재질, 색상, 추상적 느낌(청순, 시크, 빈티지 등) 등으로 사후적으로 해석될 수 있는 레이블을 부여하고, 개별 상품 이미지가 속하는 이미지 그룹에 부여된 레이블들을 해당 상품 이미지의 레이블로 추출할 수 있다.

한편 본 발명의 실시예를 따르는 서비스 서버는 상품 이미지에서 추출한 레이블을 텍스트로 표현할 수 있으며, 텍스트 형태의 레이블은 상품의 태그 정보로 활용될 수 있다.

종래에는 상품의 태그 정보는 판매자가 주관적으로 직접 부여하여 부정확하고 신뢰도가 떨어졌다. 판매자가 주관적으로 부여하는 상품 태그는 노이즈로 작용하여 검색의 효율을 낮추는 문제가 있었다.

그러나 본 발명의 실시예와 같이, 상품 이미지를 기반으로 레이블 정보를 추출하고, 추출된 레이블 정보를 텍스트로 변환하여 해당 상품의 태그 정보로 활용하면, 상품의 태그 정보를 해당 상품의 이미지를 기반으로 인간의 개입 없이 수학적으로 추출할 수 있어 태그 정보의 신뢰성이 높이지고 검색의 정확도가 향상되는 효과가 있다.

나아가 S804 단계에서 서비스 서버는 상품 이미지 내용을 기반으로 해당 상품의 카테고리 정보를 생성할 수 있다.

도 8의 예에서 S803 단계와 S804 단계는 별개의 단계로 도시하였지만 이는 설명의 편의를 위한 것이며, 본 발명은 이에 한정하여 해석될 수 없다. 본 발명의 실시예를 따르면, 레이블 정보와 카테고리 정보는 각각 생성될 수도 있지만, 레이블 정보를 카테고리 정보로 활용할 수도 있으며, 카테고리 정보를 레이블 정보로 활용할 수도 있다.

예를 들어 임의의 상품 이미지에 대한 레이블이 여성, 상의, 블라우스, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩으로 추출된 경우, 서비스 서버는 여성, 상의, 블라우스에 대한 레이블을 해당 상품의 카테고리 정보로 활용하고, 린넨, 스트라이프, 긴팔, 파랑, 오피스룩에 대한 레이블은 카테고리 외 상품의 특성을 설명하는 레이블 정보로 활용할 수 있다. 또는 서비스 서버는 레이블과 카테고리 정보를 구별하지 않고 해당 상품에 인덱싱할 수 있다. (S806 단계)

이때 상품의 카테고리 정보 및/또는 레이블은 이미지 검색의 신뢰도를 높이기 위한 파라미터로 활용될 수 있다.

나아가 본 발명의 다른 실시예를 따르는 서비스 서버는 이미지 유사도를 별도로 계산하지 않고, 상기 레이블을 기반으로 추천 아이템을 결정할 수도 있다.

한편, 본 발명의 실시예를 따르는 서비스 서버는 수집된 상품 설명 이미지를 필터링할 수 있다. (S805 단계) 이는 이미지 검색에 노이즈로 작용할 수 있는 상품 이미지는 제외하고 상품 이미지 데이터베이스를 구성하기 위한 것이다.

보다 구체적으로 서비스 서버는 상품 이미지에서 추출한 레이블과 판매자가 직접 부여한 카테고리 및/또는 태그 정보를 비교하여 상품 이미지의 필터링 여부를 결정할 수 있다.

본 발명의 실시예를 따르면 특정 상품에 대해 다수의 이미지가 존재하고, 그 중 하나의 이미지에서 추출한 레이블과 해당 상품에 대해 판매자가 부여한 카테고리가 상이하면 해당 이미지 또는 해당 이미지 내의 특정 객체는 데이터베이스에서 필터링할 수 있다.

예를 들어, A 상품에 대한 제 1 내지 제 3 상품 이미지가 존재하고, 제 1 상품 이미지에서는 (여성 상의, 재킷), 제 2 상품 이미지에서는 (여성 상의, 재킷) 및 (선글라스, 라운드), 제 3 상품 이미지에서는 (선글라스, 라운드) 라는 레이블이 추출된 경우를 고려할 수 있다. 이때 A 상품의 판매 카테고리가 “선글라스”이라면, 서비스 서버는 제 1 상품 이미지는 제외하고, 제 2, 제 3 상품 이미지만으로 상품 이미지 데이터베이스를 구성할 수 있다.

이러한 필터링은 이미지 검색의 노이즈를 줄이기 위한 것이다. 위의 예에서 A 상품이 실제로 선글라스에 대한 것인데 제 1 내지 3 상품 설명 이미지를 모두 포함하여 데이터베이스를 구성하면, 쿼리 이미지가 재킷인 경우에도 제 1 상품 이미지와 유사하다고 판단하여 선글라스에 대한 A 상품이 광고 아이템으로 결정될 수 있다. 따라서 검색의 정확도를 떨어뜨릴 수 있는 상품 이미지는 필터링하고 데이터베이스를 구축하는 것이다.

도 9는 도 7의 스타일 데이터베이스의 생성을 설명하기 위한 순서도이다.

도 9를 참조하면, S901 단계에서 서비스 서버는 온라인 상에서 스타일 이미지를 수집할 수 있다. 예를 들어 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로, 웹사이트에 포함된 이미지 정보를 수집할 수 있다.

한편 본 발명의 실시예를 따르는 서비스 서버는 패션 잡지, 패션 브랜드, 드라마 제작사, 연예인 기획사, SNS, 온라인 상점 등의 웹사이트로부터 이미지를 수집하고 색인할 수 있지만, 제휴된 업체로부터 색인 정보와 함께 이미지 정보를 별도로 제공받을 수도 있다.

S902 단계에서 서비스 서버는 수집된 이미지 중 스타일 추천에 부적합한 이미지를 필터링할 수 있다.

예를 들어, 서비스 서버는 수집된 이미지 중 사람 형상의 객체가 포함되고, 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링할 수 있다.

스타일 이미지는 쿼리 아이템과 코디네이션 할 수 있는 다른 아이템을 결정하기 위해 사용되기 때문에 단일의 패션 아이템에 대한 이미지는 필터링하는 것이 적절하다. 나아가 사람이 복수의 패션 아이템을 직접 착용한 이미지로 데이터베이스를 구성하는 것이 패션 아이템 그 자체에 대한 이미지보다 활용도가 더 좋을 수 있다. 따라서 본 발명의 실시예를 따르는 서비스 서버는 사람 형상의 객체가 포함되고 복수의 패션 아이템이 포함된 이미지만 남기고 나머지 이미지를 필터링하여 스타일 데이터베이스에 포함되는 스타일 이미지를 결정할 수 있다.

이후 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체 이미지의 특징에 대해 프로세싱할 수 있다. (S903 단계)

보다 구체적으로, 서비스 서버는 스타일 이미지에 포함된 패션 아이템 객체의 이미지 특징을 추출하고, 특징 정보를 벡터값으로 표현하여 패션 아이템 객체의 특징 값을 생성하고 이미지들의 특징 정보를 구조화할 수 있다.

나아가 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지로부터 스타일 레이블을 추출하고 상기 스타일 레이블을 기준으로 스타일 이미지들을 클러스터링할 수 있다. (S904 단계)

스타일 레이블은 패션 아이템의 외관, 느낌 등의 룩앤필, 트랜드에 대한 것으로 추출되는 것이 적절하다. 본 발명의 선호되는 실시예를 따르면, 스타일 이미지에 포함된 단일의 패션 아이템의 외관, 복수의 아이템의 조합 등에서 사람이 느낄 수 있는 느낌에 대한 레이블을 추출하고 이를 스타일 레이블로 활용할 수 있다. 예를 들어, 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등을 스타일 레이블로 예시할 수 있다.

본 발명의 실시예를 따르면, 서비스 서버는 스타일 레이블을 미리 정의하고, 상기 레이블에 해당하는 이미지의 특징을 학습한 신경망 모델을 생성하여, 스타일 이미지 내의 객체를 분류하고, 해당 객체에 대한 레이블을 추출할 수 있다. 이때 서비스 서버는 각 레이블에 해당하는 이미지의 패턴을 학습한 신경망 모델을 통해 특정 패턴과 임의의 확률로 일치하는 이미지에 해당 레이블을 부여할 수 있다.

본 발명의 다른 실시예를 따르면, 서비스 서버는 각 스타일 레이블에 해당하는 이미지의 특성들을 학습하여 초기 신경망 모델을 형성하고, 여기에 대량의 스타일 이미지 객체들을 적용하여 신경망 모델을 보다 정교하게 확장할 수도 있다.

한편, 본 발명의 또다른 실시예를 따르면, 서비스 서버는 레이블에 대한 별도의 학습 없이 스타일 이미지들을 복수의 레이어로 형성된 계층 구조로 형성된 신경망 모델에 적용할 수 있다. 나아가 스타일 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 특징 정보들을 이용하여 상품 이미지들을 클러스터링하고, 클러스터링된 이미지 그룹에 연예인룩, 잡지룩, 썸머룩, 페미닌룩, 섹시룩, 오피스룩, 드라마룩, 샤넬룩 등으로 사후적으로 해석되는 레이블을 부여할 수 있다.

S905단계에서 서비스 서버는 스타일 레이블을 이용하여 스타일 이미지들을 클러스터링하고, 다수의 스타일북을 생성할 수 있다. 이는 사용자에게 레퍼런스로 제공되기 위한 것이다. 사용자는 서비스 서버에서 제공하는 다수의 스타일북 중 특정 스타일북을 열람하며 마음에 드는 아이템을 찾을 수 있으며, 해당 아이템에 대한 상품 정보 검색을 요청할 수 있을 것이다.

한편, 서비스 서버는 S906 단계에서 흰셔츠, 청바지, 검정 스커트 등 출현 비율이 매우 높은 아이템을 미리 분류할 수 있다.

예를 들어 청바지는 패션에서 기초가 되는 아이템이기 때문에 스타일 이미지에서 출현 비율이 매우 높다. 따라서 사용자가 어떤 아이템에 대해 문의해도 코디네이션 아이템으로 청바지가 매칭될 확률이 다른 아이템에 비해 월등히 높을 것이다.

따라서 본 발명의 실시예를 따르는 서비스 서버는 스타일 이미지에서 출현 비율이 매우 높은 아이템을 버즈 아이템으로 미리 분류하고, 스타일북을 버즈 아이템을 포함하는 것과 버즈 아이템을 포함하지 않는 것으로 버전을 달리하여 생성할 수 있다.

본 발명의 다른 실시예를 따르면, 상기 버즈 아이템은 시간 정보를 반영하여 분류될 수 있다. 예를 들어, 패션 아이템의 유행 주기를 고려하면, 한두달 잠깐 유행하고 사라지는 아이템, 계절마다 돌아오는 유행 아이템, 일정 기간 동안 지속적으로 유행하는 아이템들을 고려할 수 있다. 따라서 버즈 아이템의 분류에 시간 정보를 반영하여, 특정 패션 아이템이 임의의 기간 동안 출현 비율이 매우 높으면, 해당 기간에 대한 정보와 함께 상기 아이템을 버즈 아이템으로 분류할 수 있다. 이와 같이 버즈 아이템을 분류하면, 이후의 아이템 추천 단계에서, 추천 대상 아이템이 유행 중인 것인지 유행과 무관한 것인지 여부를 고려하여 추천할 수 있는 효과가 있다.

본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

50: 패션 상품 추천 시스템
100: 사용자 디바이스
200: 서비스 서버
210: 상품 데이터베이스
220: 특징 레이블 관리 모듈
230: 상품 추천 모듈

Claims (13)

1. 사용자 디바이스에 추천 상품 정보를 제공하는 서비스 서버에 있어서,
   온라인 마켓에서 구입 가능한 상품에 대해, 상기 상품의 이미지를 기반으로 상기 상품의 내용을 설명하는 레이블을 추출하고, 상기 레이블을 상기 상품에 태그한 정보인 레이블 정보를 저장하는 상품 데이터베이스;
   상기 사용자 디바이스로부터 상기 추천 상품 정보를 요청하는 쿼리를 수신하고, 상기 쿼리로부터 쿼리 레이블을 획득하는 쿼리 처리부;
   상기 쿼리 처리부로부터 상기 쿼리 레이블을 수신하면, 상기 상품 데이터베이스를 검색하여, 상기 쿼리 레이블이 태그된 상품인 추천 후보 상품을 결정하고, 상기 추천 후보 상품에 태그된 특징 레이블을 기초로 특징 레이블 리스트를 생성하고, 상기 특징 레이블 리스트를 상기 사용자 디바이스에 제공하는 특징 레이블 리스트 제공부; 및
   상기 특징 레이블 리스트에 대해 사용자가 선택한 레이블인 선택 특징 레이블과 상기 쿼리 레이블을 포함하는 상품을 상기 상품 데이터베이스에서 검색하고, 검색된 상품인 추천 상품 관한 정보인 상기 추천 상품 정보를 상기 사용자 디바이스에 제공하는 상품 추천 모듈을 포함하는 서비스 서버.
   
2. 제1항에 있어서,
   상기 특징 레이블 각각에 대한 카운트 횟수에 관한 정보를 포함하는 카운트 정보를 생성하고, 상기 카운트 정보를 상기 특징 레이블 리스트 제공부에 제공하는 카운팅 수행부를 더 포함하는 서비스 서버.
   
3. 제2항에 있어서, 상기 카운트 횟수는,
   상기 특징 레이블 리스트에 포함된 상기 특징 레이블에 대하여, 사용자가 상기 특징 레이블을 선택할 때 카운트되고, 상기 특징 레이블 리스트의 상기 특징 레이블을 제외한 나머지 특징 레이블로 상기 추천 상품이 검색될 수 있을 때, 상기 나머지 특징 레이블들도 함께 카운트되는 서비스 서버.
   
4. 제3항에 있어서, 상기 특징 레이블 리스트 제공부는,
   상기 추천 후보 상품에 포함된 상기 특징 레이블을 모두 포함하는 상기 특징 레이블 리스트를 생성하는 서비스 서버.
   
5. 제3항에 있어서, 상기 특징 레이블 리스트 제공부는,
   상기 추천 후보 상품에 포함된 특징 레이블 중, 상기 카운트 횟수의 증가율이 높은 순으로 미리 설정된 개수의 상기 특징 레이블을 포함하는 상기 특징 레이블 리스트를 생성하는 서비스 서버.
   
6. 제3항에 있어서, 상기 특징 레이블 리스트 제공부는,
   상기 추천 후보 상품에 포함된 특징 레이블 중, 상기 카운트 횟수의 증가율이 높은 순으로 상기 특징 레이블을 정렬하여 상기 특징 레이블 리스트를 생성하는 서비스 서버.
   
7. 사용자 디바이스에 추천 상품 정보를 제공하는 서비스 서버의 동작 방법에 있어서,
   온라인 마켓에서 구입 가능한 상품에 대해, 상기 상품의 이미지를 기반으로 상기 상품의 내용을 설명하는 레이블을 추출하고, 상기 레이블을 상기 상품에 태그한 정보인 레이블 정보를 저장하는 단계;
   상기 사용자 디바이스로부터 상기 추천 상품 정보를 요청하는 쿼리를 수신하고, 상기 쿼리로부터 쿼리 레이블을 획득하는 단계;
   상기 레이블 정보를 검색하여, 상기 쿼리 레이블이 태그된 상품인 추천 후보 상품을 결정하고, 상기 추천 후보 상품에 태그된 특징 레이블을 기초로 특징 레이블 리스트를 생성하고, 상기 특징 레이블 리스트를 상기 사용자 디바이스에 제공하는 단계; 및
   상기 특징 레이블 리스트에 대해 사용자가 선택한 레이블인 선택 특징 레이블과 상기 쿼리 레이블을 포함하는 상품을 상기 레이블 정보에서 검색하고, 검색된 상품인 추천 상품 관한 정보인 상기 추천 상품 정보를 상기 사용자 디바이스에 제공하는 단계를 포함하는 서비스 서버의 동작 방법.
   
8. 제7항에 있어서,
   상기 특징 레이블 각각에 대한 카운트 횟수에 관한 정보를 포함하는 카운트 정보를 생성하는 단계;
   상기 카운트 정보를 기초로 상기 특징 레이블 리스트를 생성하는 단계를 더 포함하는 서비스 서버의 동작 방법.
   
9. 제8항에 있어서, 상기 카운트 횟수는,
   상기 특징 레이블 리스트에 포함된 상기 특징 레이블에 대하여, 사용자가 상기 특징 레이블을 선택할 때 카운트되고, 상기 특징 레이블 리스트의 상기 특징 레이블을 제외한 나머지 특징 레이블로 상기 추천 상품이 검색될 수 있을 때, 상기 나머지 특징 레이블들도 함께 카운트되는 서비스 서버의 동작 방법.
   
10. 제9항에 있어서, 상기 특징 레이블 리스트를 생성하는 단계는,
    상기 추천 후보 상품에 포함된 상기 특징 레이블을 모두 포함하는 상기 특징 레이블 리스트를 생성하는 서비스 서버의 동작 방법.
    
11. 제9항에 있어서, 상기 특징 레이블 리스트를 생성하는 단계는,
    상기 추천 후보 상품에 포함된 특징 레이블 중, 상기 카운트 횟수의 증가율이 높은 순으로 미리 설정된 개수의 상기 특징 레이블을 포함하는 상기 특징 레이블 리스트를 생성하는 서비스 서버의 동작 방법.
    
12. 제9항에 있어서, 특징 레이블 리스트를 생성하는 단계는,
    상기 추천 후보 상품에 포함된 특징 레이블 중, 상기 카운트 횟수의 증가율이 높은 순으로 상기 특징 레이블을 정렬하여 상기 특징 레이블 리스트를 생성하는 서비스 서버의 동작 방법.
    
13. 제7항 내지 제12항의 방법 중 어느 하나의 방법을 실행시키기 위하여 컴퓨터 판독 가능 매체에 저장된 추천 상품 정보 제공 프로그램.

Images