KR20190029567A - 스타일 특징을 이용한 상품 추천 방법 - Google Patents

스타일 특징을 이용한 상품 추천 방법 Download PDF

Info

Publication number
KR20190029567A
KR20190029567A KR1020190028948A KR20190028948A KR20190029567A KR 20190029567 A KR20190029567 A KR 20190029567A KR 1020190028948 A KR1020190028948 A KR 1020190028948A KR 20190028948 A KR20190028948 A KR 20190028948A KR 20190029567 A KR20190029567 A KR 20190029567A
Authority
KR
South Korea
Prior art keywords
style
image
product
query
learning data
Prior art date
Application number
KR1020190028948A
Other languages
English (en)
Inventor
장윤훈
전재영
박준철
최형원
전진우
Original Assignee
옴니어스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 옴니어스 주식회사 filed Critical 옴니어스 주식회사
Publication of KR20190029567A publication Critical patent/KR20190029567A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Abstract

스타일 특징을 이용한 상품 추천 방법에 있어서, 사용자 클라이언트로부터 질의 영상(query image)을 획득하는 단계, 상기 질의 영상의 카테고리 및 스타일 특징을 추출하는 단계, 복수의 학습 데이터 영상들을 이용하여 학습된 모델을 이용하여, 상품 영상 데이터베이스로부터 상기 질의 영상과 유사한 스타일 특징을 가지는 적어도 하나의 상품 영상을 검색하되, 상기 검색된 상품 영상은 상기 질의 영상의 카테고리와 다른 카테고리에 속하는, 단계 및 상기 검색된 적어도 하나의 상품 영상을 상기 사용자 클라이언트에 제공하는 단계를 포함하고, 상기 복수의 학습 데이터 영상들은, 상기 복수의 학습 데이터 영상들 각각의 카테고리 및 스타일 특징을 지시하는 라벨 정보를 포함한다.

Description

스타일 특징을 이용한 상품 추천 방법 {METHOD FOR RECOMMENDING A PRODUCT USING STYLE FEATURE}
스타일 특징을 이용한 상품 추천 방법이 개시된다. 더욱 상세하게는 사용자가 입력한 질의 영상으로부터 상품을 인식하고, 인식된 상품과 어울리는 다른 카테고리의 상품 영상을 사용자에게 추천하는 상품 추천 방법 및 시스템이 개시된다.
사회적 활동의 참여가 높은 사람들에게 있어서 패션 스타일링은 중요하다. 왜냐하면 패션 스타일링은 순간적인 판단의 기준이 되기 때문이다.
패션 스타일링의 중요도 및 이에 대한 관심이 높아짐에 따라 인터넷을 통한 패션 스타일링 서비스가 제공되기에 이르렀다. 인터넷을 통한 패션 스타일링 서비스는 사용자가 인터넷 사이트에 상품 정보를 등록하면, 등록된 상품과 어울릴만한 상품들을 스타일리스트들이 직접 선별하여 사용자에게 제시하는 방식으로 이루어진다.
그러나 이러한 방식은 상품 선별이 스타일리스트들에 의해 이루어지므로, 상품 선별에 있어 많은 시간 및 비용이 소요된다는 문제가 있다.
또한, 기계학습 기반의 기존 추천엔진은 유저의 구매 히스토리 및 유저의 선호도를 기반으로 하는 기계학습 방식이 주가 되었다. 이러한 방식은 상품 선별이 유저 데이터에 기반하여 이루어지므로, 충분한 유저 데이터를 모으는데 많은 시간 및 비용이 소요된다는 문제가 있다.
등록특허공보 제10-0511210호 (등록일자: 2005년 8월 23일)
본 발명이 해결하고자 하는 과제는 스타일 특징을 이용한 상품 추천 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 스타일 특징을 이용한 상품 추천 방법은, 사용자 클라이언트로부터 질의 영상(query image)을 획득하는 단계, 상기 질의 영상의 카테고리 및 스타일 특징을 추출하는 단계, 복수의 학습 데이터 영상들을 이용하여 학습된 모델을 이용하여, 상품 영상 데이터베이스로부터 상기 질의 영상과 유사한 스타일 특징을 가지는 적어도 하나의 상품 영상을 검색하되, 상기 검색된 상품 영상은 상기 질의 영상의 카테고리와 다른 카테고리에 속하는, 단계 및 상기 검색된 적어도 하나의 상품 영상을 상기 사용자 클라이언트에 제공하는 단계를 포함하고, 상기 복수의 학습 데이터 영상들은, 상기 복수의 학습 데이터 영상들 각각의 카테고리 및 스타일 특징을 지시하는 라벨 정보를 포함한다.
또한, 상기 학습된 모델은 특징 추출부 및 영상 검색부를 포함하고, 상기 질의 영상의 카테고리 및 스타일 특징을 추출하는 단계는, 상기 학습된 모델의 특징 추출부를 이용하여 상기 질의 영상의 카테고리 및 스타일 특징을 추출하는 단계를 포함하고, 상기 적어도 하나의 상품 영상을 검색하는 단계는, 상기 학습된 모델의 영상 검색부를 이용하여 상기 적어도 하나의 상품 영상을 검색하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 상품 영상을 검색하는 단계는, 상기 사용자 클라이언트로부터 상기 질의 영상의 스타일 특징에 포함된 적어도 하나의 스타일에 대한 선택 입력을 수신하는 단계 및 상기 선택된 스타일에 대응하는 적어도 하나의 상품 영상을 검색하는 단계를 포함할 수 있다.
또한, 상기 학습된 모델은, 상기 복수의 학습 데이터 영상들을, 상기 복수의 학습 데이터 영상들 사이의 관계를 나타내는 스타일 특징점 공간(Style Feature Space)에 대응시키는 모델인 것을 특징으로 하고, 상기 스타일 특징점 공간은, 상기 스타일 특징점 공간에 포함된 상기 복수의 학습 데이터 영상들 각각의 스타일 특징을 추출하는 데 이용되고, 상기 추출된 스타일 특징에 따라 상기 복수의 학습 데이터 영상들 사이의 거리가 결정될 수 있다.
또한, 상기 스타일 특징점 공간은, 상기 복수의 학습 데이터 영상들 중 유사한 스타일 특징을 갖는 학습 데이터 영상들이 서로 가깝게 배치되고, 상이한 스타일 특징을 갖는 학습 데이터 영상들이 서로 멀리 배치되는 것을 특징으로 하고, 상기 적어도 하나의 상품 영상을 검색하는 단계는, 상기 스타일 특징점 공간 내에서, 상기 질의 영상과 유사한 기준 상품 영상을 결정하는 단계 및 상기 결정된 기준 상품 영상과 소정의 거리 내에 위치하는 적어도 하나의 상품 영상을 검색하는 단계를 포함할 수 있다.
또한, 상기 복수의 학습 데이터 영상들은, 상기 복수의 학습 데이터 영상들 사이의 연결관계를 나타내는 관계 정보를 더 포함할 수 있다.
또한, 상기 학습된 모델은, 상기 복수의 학습 데이터 영상들을, 상기 복수의 학습 데이터 영상들을 스타일 특징에 기초하여 분류한 하나 이상의 스타일 특징점 공간에 대응시키는 모델인 것을 특징으로 하고, 상기 하나 이상의 스타일 특징점 공간은, 상기 하나 이상의 스타일 특징점 공간 각각에 포함된 복수의 학습 데이터 영상들 각각의 스타일 특징을 추출하는 데 이용되고, 상기 추출된 스타일 특징 및 상기 복수의 학습 데이터 영상들 사이의 연결관계에 따라 상기 복수의 학습 데이터 영상들 사이의 거리가 결정될 수 있다.
또한, 상기 적어도 하나의 상품 영상을 검색하는 단계는, 상기 질의 영상의 스타일 특징에 포함된 적어도 하나의 스타일에 대응하는 스타일 특징점 공간에서 상기 질의 영상과 유사한 기준 상품 영상을 결정하는 단계 및 상기 스타일 특징점 공간 내에서, 상기 결정된 기준 상품 영상과 소정의 거리 내에 위치하는 적어도 하나의 상품 영상을 검색하는 단계를 포함할 수 있다.
또한, 상기 학습된 모델은, 상기 질의 영상과 유사한 스타일 특징을 갖는 타겟 상품 이미지를 생성하는 제너레이티브 모델(Generative Model)을 포함하고, 상기 적어도 하나의 상품 영상을 검색하는 단계는, 상기 제너레이티브 모델을 이용하여 상기 질의 영상과 유사한 스타일 특징을 갖는 적어도 하나의 타겟 상품 이미지를 생성하는 단계 및 상기 상품 영상 데이터베이스로부터 상기 적어도 하나의 타겟 상품 이미지와 유사한 적어도 하나의 상품 영상을 검색하는 단계를 포함할 수 있다.
또한, 상기 타겟 상품 이미지를 생성하는 단계는, 상기 사용자 클라이언트로부터 수신된 선택 입력에 대응하는 스타일 특징 및 카테고리 중 적어도 하나에 대응하는 타겟 상품 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
사용자가 입력한 질의 영상으로부터 상품을 인식하고, 인식된 상품과 유사한 스타일 특징을 갖는 다른 카테고리의 상품이 자동으로 추천되므로, 사용자에게 상품을 추천하는데 소요되는 시간 및 비용을 절감할 수 있다.
또한, 사용자가 입력한 질의 영상으로부터 상품 이미지 데이터베이스의 학습을 통해 추출된 스타일 특징점을 이용하여 사용자에게 자동으로 상품이 추천되므로, 유저 데이터의 도움 없이도 상품 추천이 가능하다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따라 상품을 추천하는 방법을 도시한 도면이다.
도 2는 일 실시 예에 따라 질의 상품과 어울리는 추천 상품을 검색하는 방법을 도시한 도면이다.
도 3은 질의 상품의 스타일을 고려하여 상품을 추천하는 방법을 도시한 도면이다.
도 4는 스타일 특징을 이용하여 상품을 추천하는 모델을 학습시키기 위한 데이터의 일 예를 도시한 도면이다.
도 5는 일 실시 예에 따른 스타일 특징점 공간을 도시한 도면이다.
도 6은 다른 실시 예에 따른 스타일 특징점 공간을 도시한 도면이다.
도 7은 일 실시 예에 따라 제너레이티브 모델을 이용하는 방법을 도시한 도면이다.
도 8은 일 실시 예에 따라 스타일 특징을 이용한 상품 추천 방법을 간략하게 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 일 실시 예에 따라 상품을 추천하는 방법을 도시한 도면이다.
도 1을 참조하면, 사용자 클라이언트(200)가 서버(100)로부터 질의 영상(query image, 10)에 대한 적어도 하나의 추천 상품 영상(20 및 30)을 제공받는 일 예가 도시되어 있다.
질의 영상(10)은 의류, 신발, 가방 및 액세서리 등의 상품을 포함하는 2차원 컬러 영상일 수 있다. 이러한 질의 영상은 다른 장치(도시되지 않음)에서 사용자 클라이언트(100)로 배포된 것이거나, 사용자 클라이언트(200)에 구비된 카메라(도시되지 않음)를 통해 획득된 것이거나, 사용자 클라이언트(200)의 화면 캡처 기능을 통해 획득된 것일 수 있다.
질의 영상(10)은 사용자 클라이언트(200)로부터 서버(100)에 업로드한 것일 수도 있고, 서버(100)에 저장되어 있는 영상들 중 사용자 클라이언트(200)가 선택한 것일 수도 있고, 사용자 클라이언트(200)가 서버(100)에 질의 영상(10)이 저장된 링크 정보를 전달함으로써 서버(100)에 전달되는 것일 수도 있다.
서버(100)는 사용자 클라이언트(200)로부터 질의 영상(10)을 획득하고, 질의 영상(10)으로부터 질의 상품을 인식한다. 개시된 실시예에 따르면, 서버(100)는 딥 러닝(Deep learning)에 기반하여 질의 영상(10)으로부터 상품을 인식한다. 이후, 서버(100)는 질의 상품과 다른 카테고리에 속하는 상품들 중에서 질의 상품과 유사한 스타일의 추천 상품을 포함하는 추천 영상을 검색 및 획득한다. 그리고 획득된 추천 영상을 사용자 클라이언트(200)에 제공한다.
본 명세서에서 질의 영상(10) 및 추천 상품 영상(20 및 30)이 나타내는 상품은 의류 및 악세서리에 한정되는 것으로 도시 및 서술하고 있으나, 개시된 실시 예에 따른 질의 영상(10) 및 추천 상품 영상(20 및 30)이 나타낼 수 있는 상품의 종류는 제한되지 않는다.
사용자 클라이언트(200)로부터 질의 영상(10)을 획득한 서버(100)는 질의 영상(10)에 포함된 질의 상품의 카테고리 및 스타일 특징을 추출한다.
본 명세서에서, '카테고리'는 의복의 종류를 의미한다. 예를 들어, 카테고리는 상의, 하의, 신발, 가방 및 모자 등을 포함한다.
본 명세서에서, '스타일'은 업계에서 통용되는 의복의 스타일을 의미한다. 예를 들어, 스타일은 캐주얼 및 오피스 스타일 등을 포함할 수 있으나, 스타일을 분류하는 방식은 제한되지 않는다. 또한, 스타일은 대분류 및 각 대분류에 속하는 소분류로 구분될 수도 있다. 예를 들어, 캐주얼 스타일은 비즈니스 캐주얼 및 영 캐주얼 등으로 세분화될 수 있다.
일 실시 예에서, 서버(100)는 질의 상품이 속할 수 있는 하나 이상의 카테고리를 추출하고, 각각의 카테고리에 해당할 확률을 획득할 수 있다. 예를 들어, 질의 상품이 상의일 확률이 90%, 하의일 확률이 10%인 것으로 판단할 수 있다. 이 경우, 서버(100)는 질의 상품이 상의인 것으로 판단할 수 있다.
또한, 서버(100)는 질의 상품이 속할 수 있는 하나 이상의 스타일을 추출하고, 각각의 스타일에 해당할 확률을 획득할 수 있다. 예를 들어, 질의 상품이 캐주얼 스타일일 확률이 80%, 오피스 스타일일 확률이 20%인 것으로 판단할 수 있다. 이 경우, 서버(100)는 질의 상품이 캐주얼 스타일인 것으로 판단할 수 있다.
하지만, 카테고리의 분류와 달리 스타일의 분류는 상대적으로 불명확할 수 있다. 예를 들어, 청바지와 같은 경우 캐주얼 스타일에도 어울릴 수 있지만, 오피스 스타일에도 어울릴 수 있다. 또한, 최근에는 오피스와 캐주얼 스타일을 명확히 분류하기 어려운 비즈니스 캐주얼 스타일의 의상도 많아, 카테고리와 같이 스타일을 명백하게 분류하기는 어려울 수 있다.
따라서, 서버(100)는 질의 상품의 스타일을 확정하는 대신에 질의 상품의 스타일 특징을 추출할 수 있다. 일 실시 예에서, 스타일 특징은 질의 상품이 각각의 스타일에 해당할 확률을 나타내는 정보일 수 있다. 또한, 스타일 특징은 질의 상품이 속할 수 있는 적어도 하나의 스타일에 대한 정보를 포함할 수 있다.
예를 들어, 질의 상품이 캐주얼 스타일일 확률이 60%, 오피스 스타일일 확률이 40%인 것으로 판단된다면, 질의 상품은 캐주얼 스타일과 오피스 스타일에 모두 어울릴 수 있다. 따라서, 스타일 특징은 질의 상품이 캐주얼 스타일 및 오피스 스타일 모두에 어울리나, 캐주얼 스타일에 조금 더 가깝다는 정보를 포함하는 정보일 수 있다.
서버(100)는 질의 상품에 대하여 추출된 카테고리 및 스타일 특징에 기초하여 적어도 하나의 상품 영상을 검색한다. 서버(100)는 질의 상품에 포함된 상품과 함께 착용할 수 있도록, 질의 상품의 카테고리와는 다른 카테고리에 속하는 추천 상품을 포함하는 적어도 하나의 추천 영상을 검색한다. 예를 들어, 질의 상품의 카테고리가 상의라면, 서버(100)는 하의, 신발 및 가방 카테고리에 속하는 추천 상품을 포함하는 적어도 하나의 추천 영상을 검색한다.
또한, 서버(100)는 질의 상품과 다른 카테고리에 속하면서, 질의 상품과 유사한 스타일 특징을 갖는 추천 상품을 포함하는 적어도 하나의 추천 영상을 검색한다. 질의 상품과 다른 카테고리에 속하는 추천 상품이라면 질의 상품과 함께 착용할 수는 있으나, 반드시 질의 상품과 어울리는 것은 아니다. 예를 들어, 질의 상품은 캐주얼 스타일인데, 오피스 스타일의 상품을 추천한다면, 두 상품은 서로 어울리지 않는다.
따라서, 서버(100)는 질의 상품과 유사한 스타일 특징을 갖는 추천 상품을 포함하는 적어도 하나의 추천 영상을 검색하여 사용자 클라이언트(200)에 제공할 수 있다. 일 실시 예에서, 질의 상품의 스타일 특징은 특정한 스타일로 확정될 수 있다. 예를 들어, 질의 상품은 캐주얼 스타일인 것으로 확정될 수 있다. 이 경우, 서버(100)는 캐주얼 스타일에 속하는 추천 상품을 포함하는 추천 영상을 제공할 수 있다.
다른 실시 예에서, 질의 상품은 캐주얼 스타일 및 오피스 스타일에 모두 속할 수 있다. 이 경우, 서버(100)는 캐주얼 스타일에 속하는 추천 상품을 포함하는 추천 영상(20) 및 오피스 스타일에 속하는 추천 상품을 포함하는 추천 영상(30)을 각각 제공할 수 있다. 다른 예로, 서버(100)는 두 가지 스타일 중 사용자 클라이언트로부터 선택 입력이 수신된 스타일에 속하는 추천 상품을 포함하는 추천 영상을 사용자 클라이언트(200)에 제공할 수 있다.
또 다른 실시 예에서, 질의 상품은 캐주얼 스타일에 속할 확률이 60%이고, 오피스 스타일에 속할 확률이 40%일 수 있다. 이 경우, 서버(100)는 질의 영상(10)과 유사한 스타일 특징을 갖는 추천 상품을 포함하는 추천 영상을 사용자 클라이언트(200)에 제공할 수 있다. 예를 들어, 서버(100)는 캐주얼 스타일에 속할 확률과 오피스 스타일에 속할 확률이 질의 상품과 유사한 추천 상품을 포함하는 추천 영상을 사용자 클라이언트(200)에 제공할 수 있다.
또한, 서버(100)는 질의 상품과 다른 카테고리에 속하고, 유사한 스타일 특징을 가지면서, 질의 상품과 함께 착용하였을 때 어울리는 추천 상품을 검색할 수 있다. 본 실시 예에서, '어울린다'는 것은 패션 당업자 또는 일반 소비자의 통념에 따라 판단되며, 두 상품을 함께 착용하였을 때 심미적으로 좋은 효과를 일으키는 것을 의미할 수 있다.
따라서, 서버(100)는 질의 상품과 다른 카테고리에 속하고, 질의 상품과 유사한 특징을 가지며, 질의 상품과 함께 착용하기에 어울리는 적어도 하나의 추천 상품을 검색한다. 서버(100)는 검색된 추천 상품을 포함하는 추천 영상을 사용자 클라이언트(200)에 제공한다. 또한, 서버(100)는 각 추천 상품을 구매할 수 있는 링크 또는 쇼핑몰에 대한 정보를 사용자 클라이언트(200)에 제공할 수 있다.
도 2는 일 실시 예에 따라 질의 상품과 어울리는 추천 상품을 검색하는 방법을 도시한 도면이다.
일 실시 예에서, 서버(100)는 딥 러닝을 이용하여 질의 상품과 어울리는 추천 상품을 검색한다.
서버(100)는 질의 영상(10)으로부터 특징을 추출한다. 실시 예에 따르면, 서버(100)는 딥 러닝을 기반으로 학습된 모델을 통해 질의 영상(10)의 특징을 추출한다.
딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화 (abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.
어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태(예를 들어 영상의 경우는 픽셀정보를 열벡터로 표현하는 등)로 표현(representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)가 진행되고 있다. 이러한 노력의 결과로 다양한 딥 러닝 기법들이 개발되었다. 딥 러닝 기법들로는 심층 신경망(Deep Neural Networks, DNN), 합성곱 신경망(Convolutional deep Neural Networks, CNN), 순환 신경망(Reccurent Neural Network, RNN) 및 심층 신뢰 신경망(Deep Belief Networks, DBN)을 예로 들 수 있다. 서버(100)는 예시된 바와 같은 딥 러닝 기법들 중에서 합성곱 신경망 기법으로 학습된 모델을 이용하여, 질의 영상의 특징을 추출할 수 있다.
이외에도, 서버(100)는 서버의 상품 영상 데이터베이스에 저장되어 있는 상품 영상들에 대해서도 특징을 추출할 수 있다. 일 실시 예에 따르면, 상품 영상들에 대한 특징 추출 작업은 일괄적으로 한 번만 수행될 수 있다. 이 경우, 각 상품 영상으로부터 추출된 특징들은 각 상품 영상에 매핑되어 저장될 수 있다. 다른 실시 예에 따르면, 상품 영상들에 대한 특징 추출 작업은 질의 영상에 대한 특징 추출 작업이 완료될 때마다 수행될 수도 있다. 또한, 상품 영상 데이터베이스에 저장되어 있는 상품 영상들은 주기적으로 갱신될 수 있는데, 상품 영상 데이터베이스에 새로운 상품 영상이 저장될 때마다 해당 상품 영상에 대한 특징 추출 작업이 수행될 수 있다.
서버(100)는 질의 영상(10)에서 추출된 특징(feature)에 기초하여 질의 영상(10)과 어울리는 상품 영상을 검색한다. 이를 위해 서버(10)는 이미지 공간(image space)을 특징점 공간(feature space)으로 변환하는 모델을 이용할 수 있다. 상기 모델은 예를 들어, Siamese CNN 기법으로 학습될 수 있다.
상기 모델을 학습시키기 위한 학습 데이터로서, 학습 영상 쌍이 이용될 수 있다. 학습 영상 쌍은 제1 학습 영상 쌍과 제2 학습 영상 쌍을 포함한다.
제1 학습 영상 쌍은 서로 어울리는 상품들의 영상으로 이루어진 것을 말한다. 제2 학습 영상 쌍은 서로 어울리지 않는 상품들의 영상으로 이루어진 것을 말한다.
일 실시 예에서, 제1 학습 쌍 및 제2 학습 쌍은 온라인 쇼핑몰로부터 획득된 데이터베이스를 이용할 수 있다. 예를 들어, 온라인 쇼핑몰의 데이터베이스로부터 획득된 데이터를 이용하여, 소비자들이 함께 구매하는 상품에 대한 목록을 획득할 수 있다. 서버(100)는 소비자들이 함께 구매하는 빈도가 높을수록 서로 어울리는 상품인 것으로 판단할 수 있다.
다른 실시 예에서, 제1 학습 쌍 및 제2 학습 쌍은 각 의상의 모양, 색상 및 패턴 등에 기초하여 서로 어울리는지 여부를 판단하는 소정의 알고리즘을 이용하거나, 사람의 판단으로 서로 어울리는지 여부가 입력된 데이터를 이용할 수도 있다.
일 실시 예에서, 제1 학습 쌍 및 제2 학습 쌍은 서로 다른 카테고리에 속하고, 서로 어울리거나 어울리지 않는 상품들의 영상으로 이루어질 수 있다.
일 실시 예에 따르면, 학습 영상 쌍은 두 가지 상품의 이미지들을 포함할 수 있다. 예를 들면, 제1 학습 영상 쌍은 구두 및 구두와 어울리는 상의를 포함하는 영상들로 구성된다. 다른 예로, 제2 학습 영상 쌍은 구두 및 구두와 어울리지 않는 상의를 포함하는 영상들로 구성된다.
다른 실시 예에 따르면, 학습 영상 쌍은 n 가지 상품의 이미지들을 포함할 수 있다. 예를 들어, 제1 학습 영상 쌍은 구두, 구두와 어울리는 상의, 구두와 어울리는 바지, 구두와 어울리는 치마 및 구두와 어울리는 가방을 포함하는 영상들로 구성된다. 다른 예로, 제2 학습 영상 쌍은 구두, 구두와 어울리지 않는 상의, 구두와 어울리지 않는 바지, 구두와 어울리지 않는 치마, 구두와 어울리지 않는 가방을 포함하는 영상들로 구성된다.
상술한 바와 같은 학습 영상 쌍을 이용하여 학습이 완료되면, 서로 다른 카테고리에 속하는 상품들의 이미지들 중에서 서로 어울리는 상품들의 이미지들은 특징점 공간 내에서 서로 가깝게 배치된다. 예를 들어, 흰색 캐주얼 셔츠와 검정색 캐주얼 바지는 서로 다른 색상이지만, 두 제품은 모두 캐주얼 스타일이기 때문에 서로 어울리는 상품인 것으로 볼 수 있다. 따라서, 흰색 캐주얼 셔츠와 검정색 캐주얼 바지는 특징점 공간 내에서 서로 가깝에 배치된다.
한편, 서로 다른 카테고리에 속하는 상품들의 이미지들 중에서 서로 어울리지 않는 상품들의 이미지들은 특징점 공간 내에서 멀리 배치된다. 예를 들어, 캐주얼 셔츠와 정장 바지는 서로 어울리지 않는 상품인 것으로 볼 수 있다. 따라서, 캐주얼 셔츠와 정장 바지는 특징점 공간 내에서 서로 멀리 배치된다.
도 2를 참조하면, 질의 영상(10)에 포함된 질의 상품과 어울리는 추천 상품을 검색하기 위한 특징점 공간(300)이 도시되어 있다.
서버(100)는 질의 영상(10)의 특징을 추출하여, 특징점 공간(300)에서 질의 영상(10)과 어울리는 추천 상품을 검색한다. 일 실시 예에서, 서버(100)는 딥 러닝으로 학습된 모델을 이용하여 질의 영상(10)으로부터 특징을 추출한다. 여기서, 상기 모델은 합성곱 신경망(CNN) 기법으로 학습된 모델일 수 있다. 그러나 상기 모델이 합성곱 신경망 기법으로 학습된 모델로 반드시 한정되는 것은 아니며, 다른 종류의 딥 러닝 기법에 의해 학습된 모델이 사용될 수도 있음은 물론이다.
서버(100)는 질의 영상(10)의 특징을 이용하여 특징점 공간(300)에서 질의 영상(10)에 포함된 질의 상품과 유사한 상품(310)을 검색한다. 상품(310)은 질의 상품과 동일한 상품일 수도 있고, 유사한 특징을 갖는 상품일 수도 있다.
서버(100)는 특징점 공간 내에서 상품(310)과 가까이 위치한 적어도 하나의 추천 상품(320)을 검색 및 획득한다. 예를 들어, 서버(100)는 특징점 공간 내에서 질의 영상(10)에 포함된 셔츠와 유사한 셔츠(310)에 가까이 위치한 청바지(320)를 획득할 수 있다.
서버(100)는 획득된 청바지(320)가 포함된 추천 영상과 함께 청바지(320)의 가격 정보, 청바지(320)를 구매할 수 있는 쇼핑몰의 링크 등을 사용자 클라이언트(200)에 제공할 수 있다.
도 3은 질의 상품의 스타일을 고려하여 상품을 추천하는 방법을 도시한 도면이다.
서버(100)는 질의 상품과 어울리는 적어도 하나의 추천 상품을 포함하는 추천 영상을 검색한다.
일 실시 예에서, 질의 영상(10)에 포함된 질의 상품이 캐주얼 스타일의 상의인 경우, 서버(100)는 질의 상품과 어울리는 캐주얼 스타일의 바지, 신발 및 가방 등을 추천할 수 있다.
또한, 질의 영상(10)에 포함된 질의 상품이 오피스 스타일의 상의인 경우, 서버(100)는 질의 상품과 어울리는 오피스 스타일의 바지, 신발 및 가방 등을 추천할 수 있다.
또한, 질의 영상(10)에 포함된 질의 상품이 캐주얼 스타일 및 오피스 스타일 양 쪽에 모두 해당하는 상의인 경우, 서버(100)는 캐주얼 스타일의 바지, 신발, 가방과 오피스 스타일의 바지, 신발 및 가방을 각각 추천할 수 있다.
또한, 서버(100)는 캐주얼 스타일 및 오피스 스타일 중 사용자 클라이언트(200)로부터 선택입력이 수신된 스타일의 바지, 신발 및 가방을 추천할 수 있다.
이하에서는, 스타일 특징을 이용한 상품 추천 방법에 대해서 구체적으로 서술한다. 개시된 실시 예에서, 서버(100)는 스타일 특징을 이용하여 상품을 추천할 수 있는 학습된 모델을 생성한다. 서버(100)는 학습된 모델을 이용하여 스타일 특징을 이용한 상품 추천을 수행할 수 있다.
도 4는 스타일 특징을 이용하여 상품을 추천하는 모델을 학습시키기 위한 데이터의 일 예를 도시한 도면이다.
서버(100)는 스타일 특징을 이용하여 상품을 추천하는 모델을 학습시키기 위한 데이터를 수집한다. 서버(100)는 딥 러닝을 이용하여 모델을 학습시킬 수 있으나, 모델을 학습시키기 위하여 이용되는 방법은 제한되지 않는다.
예를 들어, 서버(100)는 Siamese CNN을 이용하여 모델을 학습시킬 수 있다. 다른 예로, 서버(100)는 GAN(Generative Adversarial Networks) 또는 VAE(Variational Auto Encoder)와 같은 제너레이티브 모델(Generative Model)을 이용할 수도 있다. 각각의 모델을 이용하는 구체적인 방법에 대해서는 후술한다.
도 4를 참조하면, 모델을 학습시키기 위하여 이용되는 데이터의 예시가 도시되어 있다. 개시된 실시 예에 따르면, 모델을 학습시키기 위하여 이용되는 데이터는 적어도 하나의 상품 영상을 포함한다.
일 예로, 상품 영상은 서버(100)의 관리자(도시되지 않음)에 의해 업로드될 수 있다. 다른 예로, 상품 영상은 서버(100)와 연동된 다른 장치(도시되지 않음)나 다른 서버(도시되지 않음)로부터 자동으로 수집될 수 있다. 업로드되거나 수집된 상품 영상들은 라벨 정보를 포함할 수 있다.
예를 들어, 라벨 정보는 각각의 상품 영상에 포함된 상품의 카테고리 및 스타일에 대한 정보를 포함한다.
본 명세서에서, '카테고리'는 의복의 종류를 의미한다. 예를 들어, 카테고리는 상의, 하의, 신발, 가방 및 모자 등을 포함한다.
본 명세서에서, '스타일'은 업계에서 통용되는 의복의 스타일을 의미한다. 예를 들어, 스타일은 캐주얼 및 오피스 스타일 등을 포함할 수 있으나, 스타일을 분류하는 방식은 제한되지 않는다. 또한, 스타일은 대분류 및 각 대분류에 속하는 소분류로 구분될 수도 있다. 예를 들어, 캐주얼 스타일은 비즈니스 캐주얼 및 영 캐주얼 등으로 세분화될 수 있다.
도 4에 도시된 바와 같이, 각각의 상품 영상은 캐주얼 스타일 또는 오피스 스타일과 같은 스타일 정보를 포함한다. 또한, 각각의 상품 영상은 가방, 신발 또는 바지와 같은 카테고리 정보를 포함한다.
서버(100)는 카테고리 및 스타일에 대한 정보를 포함하는 라벨 정보가 포함된 상품 영상들을 이용하여 모델을 학습시킬 수 있다. 학습된 모델은 서버(100)가 질의 상품과 다른 카테고리에 속하고, 질의 상품과 유사한 스타일 특징을 가지는 상품을 추천하는 데 이용된다.
일 실시 예에서, 모델의 학습에 이용되는 학습 데이터는 학습에 이용되는 상품 영상들 사이의 연결관계를 나타내는 관계 정보를 더 포함한다.
상품 영상들 사이의 연결관계는, 함께 착용하였을 때 어울리는지 여부에 대한 정보를 포함한다. 예를 들어, 특정 상의와 하의를 함께 착용하였을 때 어울리는지에 대한 정보가 상기 특정 상의와 하의 사이의 연결관계에 대한 정보의 형태로 학습 데이터에 저장된다.
본 실시 예에서, '어울린다'는 것은 패션 당업자 또는 일반 소비자의 통념에 따라 판단되며, 두 상품을 함께 착용하였을 때 심미적으로 좋은 효과를 일으키는 것을 의미할 수 있다. 상기 실시 예의 특정 상의와 하의가 유사한 스타일 특징을 갖는다면, 상기 특정 상의와 하의는 어울릴 수 있다. 하지만, 상기 특정 상의와 하의의 구체적인 색상이나 모양 등에 의해 서로 어울리지 않을 수도 있다. 따라서, 학습 데이터는 카테고리와 스타일에 대한 정보뿐 아니라 각 상품 영상들이 서로 어울리는지에 대한 정보를 더 포함할 수 있다.
서로 다른 카테고리에 속하는 상품 영상이 서로 어울리는지 여부를 나타내는 관계 정보는 관리자에 의하여 입력될 수도 있고, 서버(100)가 자동으로 생성할 수도 있다. 서버(100)는 쇼핑몰 또는 화보로부터 다양한 코디 정보를 수집하고, 수집된 코디 정보에 기초하여 각각의 상품 영상이 서로 어울리는지 여부를 판단할 수 있다. 예를 들어, 화보에서 모델이 함께 입고 있는 상의와 하의는 서로 어울리는 것으로 판단할 수 있다. 또한, 서버(100)는 쇼핑몰에서 사용자들이 함께 구매한 상품들은 서로 어울리는 것으로 판단할 수 있다.
도 5는 일 실시 예에 따른 스타일 특징점 공간을 도시한 도면이다.
개시된 실시 예에 따르면, 서버(100)는 도 4에 도시된 상품 영상들과 Siamese CNN을 이용하여 모델을 학습시킬 수 있다. 학습의 결과로서, 서버(100)는 도 5에 도시된 것과 같은 스타일 특징점 공간(Style Feature Space, 400)을 획득한다.
도 5 에서는, 설명의 편의상 스타일 특징점 공간(400)을 2차원 공간으로 매핑하여 도시하였다. 하지만, 개시된 실시 예에 따라 스타일 특징점 공간(400)은 n차원 공간(n>2)으로 구성된다.
스타일 특징점 공간(400) 내에서, 유사한 스타일 특징을 갖는 상품 영상들은 서로 가깝게 위치하고, 서로 상이한 스타일 특징을 갖는 상품 영상들은 서로 멀리 위치한다.
서버(100)는 질의 영상(10)의 특징을 획득하고, 스타일 특징점 공간(400)에서 질의 영상(10)과 유사한 상품 영상(410)을 획득한다. 서버(100)는 상품 영상(410)과 가까이 위치한 적어도 하나의 상품 영상을 획득한다. 서버(100)는 획득된 적어도 하나의 상품 영상 및 각 상품 영상에 포함된 상품에 대한 정보를 사용자 클라이언트(200)에 제공한다.
일 실시 예에서, 서버(100)는 각 상품 영상들 사이의 연결관계를 나타내는 관계 정보를 이용하여 스타일 특징점 공간(400)을 생성할 수 있다.
상기 실시 예에 따르면, 스타일 특징점 공간(400) 내에서, 유사한 스타일 특징을 갖고 서로 어울리는 상품 영상들은 서로 가깝게 위치하도록 클러스터링되고, 서로 상이한 스타일 특징을 갖거나 서로 어울리지 않는 상품 영상들은 서로 멀리 위치하게 된다.
서버(100)는 질의 영상(10)의 특징을 획득하고, 스타일 특징점 공간(400)에서 질의 영상(10)과 유사한 상품 영상(410)을 획득한다. 서버(100)는 상품 영상(410)과 가까이 위치한 적어도 하나의 상품 영상을 획득한다. 서버(100)는 획득된 적어도 하나의 상품 영상 및 각 상품 영상에 포함된 상품에 대한 정보를 사용자 클라이언트(200)에 제공함으로써, 질의 영상(10)과 유사한 스타일 특징을 가지고, 질의 영상(10)과 어울리는 상품 영상을 사용자 클라이언트(200)에 제공할 수 있다.
도 6은 다른 실시 예에 따른 스타일 특징점 공간을 도시한 도면이다.
개시된 실시 예에 따르면, 서버(100)는 도 4에 도시된 상품 영상들과 Siamese CNN을 이용하여 모델을 학습시킬 수 있다.
일 실시 예에서, 서버(100)는 학습 데이터에 도시된 상품 영상들을 스타일 특징에 기초하여 분류할 수 있다. 예를 들어, 서버(100)는 학습 데이터에 도시된 상품 영상들 각각의 스타일 특징으로부터 각각의 상품 영상들이 어떤 스타일에 속하는지를 결정할 수 있다.
예를 들어, 서버(100)는 각 상품 영상이 각각의 스타일에 속할 확률을 획득할 수 있다. 서버(100)는 각 상품 영상에 대하여, 30% 이상의 확률을 갖는 스타일에 대한 정보를 획득한다. 서버(100)는 각 상품 영상이, 상기 획득된 스타일에 속하는 것으로 판단한다.
각 상품 영상이 속하는 스타일을 판단하는 방법 및 구체적인 수치는 예시를 위하여 제공된 것이고, 실제로 각 상품 영상이 속하는 스타일을 판단하는 방법은 제한되지 않는다.
서버(100)는 분류된 각각의 상품 영상들을 이용하여 모델을 학습시키고, 학습의 결과로서 각각의 스타일에 대한 스타일 특징점 공간을 생성할 수 있다.
도 6을 참조하면, 캐주얼 스타일의 상품 영상들이 포함된 제1 스타일 특징점 공간(500) 및 오피스 스타일의 상품 영상들이 포함된 제2 스타일 특징점 공간(600)이 도시되어 있다. 도 6에 도시된 셔츠(510)의 경우, 오피스 스타일 및 캐주얼 스타일에 모두 포함되어, 제1 스타일 특징점 공간(500)과 제2 스타일 특징점 공간(510)에 모두 포함된다.
상품 영상들을 스타일에 따라 분류한 후, 제1 스타일 특징점 공간(500) 및 제2 스타일 특징점 공간(502) 각각을 생성하는 데에는 도 2에 도시된 특징점 공간(300)을 생성하는 방법이 이용될 수 있다.
따라서, 제1 스타일 특징점 공간(500) 및 제2 스타일 특징점 공간(502)에서, 서로 어울리는 상품 영상들은 가깝게 배치되고, 서로 어울리지 않는 상품 영상들은 서로 멀리 배치된다.
서버(100)는 질의 영상(10)과 스타일 특징점 공간들(500 및 502)을 이용하여 질의 영상(10)과 같은 스타일에 속하고, 질의 영상(10)과 어울리는 다른 카테고리의 상품 영상을 검색한다.
서버(100)는 질의 영상(10)의 특징을 획득하고, 질의 영상(10)의 스타일에 대응하는 하나 이상의 스타일 특징점 공간으로부터 질의 영상(10)과 유사한 상품 영상(510)을 획득한다. 질의 영상(10)은 오피스 스타일과 캐주얼 스타일에 모두 속하므로, 서버(100)는 오피스 스타일의 상품 영상 및 캐주얼 스타일의 상품 영상을 모두 획득할 수 있다.
서버(100)는 제1 스타일 특징점 공간(500)과 제2 스타일 특징점 공간(502)에서 상품(510)과 가까이 배치된 하나 이상의 상품 영상을 검색한다. 일 실시 예에서, 서버(100)는 사용자 클라이언트(200)로부터 획득한 선택 입력에 대응하는 스타일의 스타일 특징점 공간을 선택하고, 선택된 스타일 특징점 공간 내에서 질의 영상(10)과 유사한 상품 영상 가까이에 배치된 하나 이상의 상품 영상을 획득할 수도 있다.
개시된 실시 예에 따르면, 서버(100)는 질의 영상(10)과 같은 스타일에 속하고, 질의 영상(10)과 어울리는 다른 카테고리의 상품 영상을 사용자 클라이언트(200)에 제공할 수 있다.
도 7은 일 실시 예에 따라 제너레이티브 모델을 이용하는 방법을 도시한 도면이다.
일 실시 예에서, 서버(100)는 GAN(Generative Adversarial Networks) 또는 VAE(Variational Auto Encoder)와 같은 제너레이티브 모델(Generative Model)을 이용할 수 있다.
제너레이티브 모델은 샘플 이미지들로부터 실제 이미지와 유사한 이미지를 생성할 수 있는 모델을 만드는 데 이용된다. 예를 들어, 제너레이티브 모델은 사람의 얼굴 이미지들로부터 실제 사진과 같은 사람 얼굴 이미지를 생성해내는 데 이용될 수 있다.
마찬가지로, 제너레이티브 모델은 도 4에 도시된 것과 같은 학습 데이터로부터 실제 의상과 어울리는 이미지를 생성해내는 데 이용될 수 있다. 예를 들어, 제너레이티브 모델은 실제 의상과 어울리는 유사한 스타일의 의상 이미지를 생성하는 데 이용될 수 있다.
도 7을 참조하면, 서버(100)에 저장된 상품 영상들의 데이터베이스(600)가 도시되어 있다. 서버(100)는 데이터베이스(600)를 이용하여 제너레이티브 모델을 학습시킬 수 있다.
서버(100)가 질의 영상(10)을 획득하면, 서버(100)는 질의 영상(10)과 유사한 스타일 특징을 갖는 상품 영상(40)을 생성한다. 일 실시 예에서, 서버(100)는 사용자 클라이언트(200)로부터 획득한 선택 입력에 대응하는 스타일 특징을 갖는 상품 이미지를 생성할 수 있다.
서버(100)는 데이터베이스(600)로부터 상품 영상(40)과 유사한 상품 영상(610)을 획득한다. 서버(100)는 획득된 상품 영상(610) 및 상품 영상(610)에 포함된 상품에 대한 정보를 사용자 클라이언트(200)에 제공할 수 있다.
도 8은 일 실시 예에 따라 스타일 특징을 이용한 상품 추천 방법을 간략하게 도시한 흐름도이다.
도 8을 참조하면, 스타일 특징을 이용한 상품 추천 방법은 도 1에 도시된 서버(100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 도 8의 방법에 대하여 생략된 내용이라 하더라도 도 1의 서버(100)에 대하여 설명된 내용은 도 8에도 적용될 수 있다.
단계 S710에서, 서버(100)는 사용자 클라이언트(200)로부터 질의 영상을 획득한다.
단계 S720에서, 서버(100)는 상기 질의 영상의 카테고리 및 스타일 특징을 추출한다.
단계 S730에서, 서버(100)는 복수의 학습 데이터 영상들을 이용하여 학습된 모델을 이용하여, 상품 영상 데이터베이스로부터 상기 질의 영상과 유사한 스타일 특징을 가지는 적어도 하나의 상품 영상을 검색한다. 검색된 상품 영상은 질의 영상의 카테고리와 다른 카테고리에 속한다.
상기 복수의 학습 데이터 영상들은, 상기 복수의 학습 데이터 영상들 각각의 카테고리 및 스타일 특징을 지시하는 라벨 정보를 포함한다.
단계 S740에서, 서버(100)는 검색된 적어도 하나의 상품 영상을 사용자 클라이언트(200)에 제공한다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10 : 질의 영상
20 및 30 : 추천 상품 영상
100 : 서버
200 : 사용자 클라이언트

Claims (10)

  1. 스타일 특징을 이용한 상품 추천 방법에 있어서,
    사용자 클라이언트로부터 질의 영상(query image)을 획득하는 단계;
    상기 질의 영상의 카테고리 및 스타일 특징을 추출하는 단계;
    복수의 학습 데이터 영상들을 이용하여 학습된 모델을 이용하여, 상품 영상 데이터베이스로부터 상기 질의 영상과 유사한 스타일 특징을 가지는 적어도 하나의 상품 영상을 검색하되, 상기 검색된 상품 영상은 상기 질의 영상의 카테고리와 다른 카테고리에 속하는, 단계; 및
    상기 검색된 적어도 하나의 상품 영상을 상기 사용자 클라이언트에 제공하는 단계; 를 포함하고,
    상기 복수의 학습 데이터 영상들은, 상기 복수의 학습 데이터 영상들 각각의 카테고리 및 스타일 특징을 지시하는 라벨 정보를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 학습된 모델은 특징 추출부 및 영상 검색부를 포함하고,
    상기 질의 영상의 카테고리 및 스타일 특징을 추출하는 단계는,
    상기 학습된 모델의 특징 추출부를 이용하여 상기 질의 영상의 카테고리 및 스타일 특징을 추출하는 단계를 포함하고,
    상기 적어도 하나의 상품 영상을 검색하는 단계는,
    상기 학습된 모델의 영상 검색부를 이용하여 상기 적어도 하나의 상품 영상을 검색하는 단계를 포함하는, 방법.
  3. 제1 항에 있어서,
    상기 적어도 하나의 상품 영상을 검색하는 단계는,
    상기 사용자 클라이언트로부터 상기 질의 영상의 스타일 특징에 포함된 적어도 하나의 스타일에 대한 선택 입력을 수신하는 단계; 및
    상기 선택된 스타일에 대응하는 적어도 하나의 상품 영상을 검색하는 단계; 를 포함하는, 방법.
  4. 제1 항에 있어서,
    상기 학습된 모델은,
    상기 복수의 학습 데이터 영상들을, 상기 복수의 학습 데이터 영상들 사이의 관계를 나타내는 스타일 특징점 공간(Style Feature Space)에 대응시키는 모델인 것을 특징으로 하고,
    상기 스타일 특징점 공간은, 상기 스타일 특징점 공간에 포함된 상기 복수의 학습 데이터 영상들 각각의 스타일 특징을 추출하는 데 이용되고, 상기 추출된 스타일 특징에 따라 상기 복수의 학습 데이터 영상들 사이의 거리가 결정되는, 방법.
  5. 제4 항에 있어서,
    상기 스타일 특징점 공간은,
    상기 복수의 학습 데이터 영상들 중 유사한 스타일 특징을 갖는 학습 데이터 영상들이 서로 가깝게 배치되고, 상이한 스타일 특징을 갖는 학습 데이터 영상들이 서로 멀리 배치되는 것을 특징으로 하고,
    상기 적어도 하나의 상품 영상을 검색하는 단계는,
    상기 스타일 특징점 공간 내에서, 상기 질의 영상과 유사한 기준 상품 영상을 결정하는 단계; 및
    상기 결정된 기준 상품 영상과 소정의 거리 내에 위치하는 적어도 하나의 상품 영상을 검색하는 단계; 를 포함하는, 방법.
  6. 제1 항에 있어서,
    상기 복수의 학습 데이터 영상들은,
    상기 복수의 학습 데이터 영상들 사이의 연결관계를 나타내는 관계 정보를 더 포함하는, 방법.
  7. 제6 항에 있어서,
    상기 학습된 모델은,
    상기 복수의 학습 데이터 영상들을, 상기 복수의 학습 데이터 영상들을 스타일 특징에 기초하여 분류한 하나 이상의 스타일 특징점 공간에 대응시키는 모델인 것을 특징으로 하고,
    상기 하나 이상의 스타일 특징점 공간은, 상기 하나 이상의 스타일 특징점 공간 각각에 포함된 복수의 학습 데이터 영상들 각각의 스타일 특징을 추출하는 데 이용되고, 상기 추출된 스타일 특징 및 상기 복수의 학습 데이터 영상들 사이의 연결관계에 따라 상기 복수의 학습 데이터 영상들 사이의 거리가 결정되는, 방법.
  8. 제7 항에 있어서,
    상기 적어도 하나의 상품 영상을 검색하는 단계는,
    상기 질의 영상의 스타일 특징에 포함된 적어도 하나의 스타일에 대응하는 스타일 특징점 공간에서 상기 질의 영상과 유사한 기준 상품 영상을 결정하는 단계; 및
    상기 스타일 특징점 공간 내에서, 상기 결정된 기준 상품 영상과 소정의 거리 내에 위치하는 적어도 하나의 상품 영상을 검색하는 단계; 를 포함하는, 방법.
  9. 제1 항에 있어서,
    상기 학습된 모델은,
    상기 질의 영상과 유사한 스타일 특징을 갖는 타겟 상품 이미지를 생성하는 제너레이티브 모델(Generative Model)을 포함하고,
    상기 적어도 하나의 상품 영상을 검색하는 단계는,
    상기 제너레이티브 모델을 이용하여 상기 질의 영상과 유사한 스타일 특징을 갖는 적어도 하나의 타겟 상품 이미지를 생성하는 단계; 및
    상기 상품 영상 데이터베이스로부터 상기 적어도 하나의 타겟 상품 이미지와 유사한 적어도 하나의 상품 영상을 검색하는 단계; 를 포함하는, 방법.
  10. 제9 항에 있어서,
    상기 타겟 상품 이미지를 생성하는 단계는,
    상기 사용자 클라이언트로부터 수신된 선택 입력에 대응하는 스타일 특징 및 카테고리 중 적어도 하나에 대응하는 타겟 상품 이미지를 생성하는 단계를 포함하는, 방법.
KR1020190028948A 2016-02-17 2019-03-13 스타일 특징을 이용한 상품 추천 방법 KR20190029567A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160018450 2016-02-17
KR20160018450 2016-02-17

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170021441A Division KR20170096971A (ko) 2016-02-17 2017-02-17 스타일 특징을 이용한 상품 추천 방법

Publications (1)

Publication Number Publication Date
KR20190029567A true KR20190029567A (ko) 2019-03-20

Family

ID=59761700

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170021441A KR20170096971A (ko) 2016-02-17 2017-02-17 스타일 특징을 이용한 상품 추천 방법
KR1020190028948A KR20190029567A (ko) 2016-02-17 2019-03-13 스타일 특징을 이용한 상품 추천 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020170021441A KR20170096971A (ko) 2016-02-17 2017-02-17 스타일 특징을 이용한 상품 추천 방법

Country Status (1)

Country Link
KR (2) KR20170096971A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102133039B1 (ko) * 2020-03-30 2020-07-10 서명교 의류 쇼핑몰 플랫폼을 제공하는 서버
KR102150720B1 (ko) 2020-01-03 2020-09-02 주식회사 스타일쉐어 유저 클러스터링을 위한 패션 콘텐츠 임베딩 장치 및 방법
KR102178961B1 (ko) 2020-04-21 2020-11-13 주식회사 스타일쉐어 유저 클러스터링을 이용한 패션 아이템 추천 인공신경망 장치 및 방법
KR102178962B1 (ko) 2020-04-21 2020-11-13 주식회사 스타일쉐어 패션 브랜드를 위한 크리에이터 추천 인공신경망 장치 및 방법
WO2020251238A1 (ko) * 2019-06-10 2020-12-17 (주)사맛디 입력영상데이터 기반 사용자 관심정보 획득 방법 및 대상체 디자인 커스터마이징 방법
KR20230063271A (ko) * 2021-11-01 2023-05-09 소리달주식회사 스테레오 이미지 기반의 신발 추천 장치
KR102628994B1 (ko) * 2023-04-24 2024-01-25 주식회사 엔피오이 인공지능에 기반한 소비자 맞춤형 가방 추천 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102211650B1 (ko) * 2018-01-19 2021-02-04 네이버 주식회사 인공지능 기반 상품 추천 방법 및 그 시스템
KR102427723B1 (ko) * 2018-01-19 2022-08-03 네이버 주식회사 인공지능 기반 상품 추천 방법 및 그 시스템
KR102119518B1 (ko) * 2018-03-07 2020-06-08 네이버 주식회사 인공지능을 이용하여 생성되는 스타일 공간에 기반한 상품 추천 방법 및 시스템
US11531864B2 (en) 2018-03-21 2022-12-20 Lg Electronics Inc. Artificial intelligence server
KR102116264B1 (ko) * 2018-04-02 2020-06-05 카페24 주식회사 대표이미지 추천 방법 및 장치, 및 시스템
JP7230343B2 (ja) * 2018-05-28 2023-03-01 株式会社リコー 画像検索装置、画像検索方法、画像検索プログラム及び販売システム
KR102153409B1 (ko) * 2018-07-17 2020-09-08 주식회사 비주얼 주얼리 상품 주문 제작 방법 및 주얼리 상품 주문 제작 장치
KR102153410B1 (ko) * 2018-08-22 2020-09-08 주식회사 비주얼 주얼리 상품 추천 방법 및 주얼리 상품 추천 장치
CN110909754B (zh) * 2018-09-14 2023-04-07 哈尔滨工业大学（深圳） 一种属性生成对抗网络及基于该网络的搭配服饰生成方法
KR102152970B1 (ko) * 2019-02-27 2020-09-08 주식회사 마크애니 영상 분석을 이용한 개인화된 상품 추천 방법 및 장치
CN111179031B (zh) * 2019-12-23 2023-09-26 第四范式（北京）技术有限公司 一种商品推荐模型的训练方法、装置及系统
WO2021215758A1 (ko) * 2020-04-23 2021-10-28 오드컨셉 주식회사 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램
CN116127111A (zh) * 2023-01-03 2023-05-16 百度在线网络技术（北京）有限公司 图片搜索方法、装置、电子设备和计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100511210B1 (ko) 2004-12-27 2005-08-30 주식회사지앤지커머스 의사 쓰리디 이미지 생성기법을 토대로 한 이용자 적응인공지능 토탈 코디네이션 방법과, 이를 이용한 서비스사업방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100511210B1 (ko) 2004-12-27 2005-08-30 주식회사지앤지커머스 의사 쓰리디 이미지 생성기법을 토대로 한 이용자 적응인공지능 토탈 코디네이션 방법과, 이를 이용한 서비스사업방법

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020251238A1 (ko) * 2019-06-10 2020-12-17 (주)사맛디 입력영상데이터 기반 사용자 관심정보 획득 방법 및 대상체 디자인 커스터마이징 방법
KR102150720B1 (ko) 2020-01-03 2020-09-02 주식회사 스타일쉐어 유저 클러스터링을 위한 패션 콘텐츠 임베딩 장치 및 방법
KR102282736B1 (ko) * 2020-03-30 2021-07-27 서명교 쇼핑몰 플랫폼을 웹사이트 또는 모바일앱을 운용하는 서버 및 그 방법
KR102282741B1 (ko) * 2020-03-30 2021-07-27 서명교 뉴럴 네트워크를 기반으로 하는 ai 학습 모델을 이용하여 복수의 상품 추천 서비스를 제공하는 서버
KR20210122001A (ko) * 2020-03-30 2021-10-08 서명교 단말간 통신 기반의 쇼핑몰 플랫폼을 제공하는 시스템
KR102254457B1 (ko) * 2020-03-30 2021-05-20 서명교 인공지능 기반의 쇼핑몰 서버
KR102254459B1 (ko) * 2020-03-30 2021-05-20 서명교 상품을 추천하는 서버 및 그 운영 방법
KR102282738B1 (ko) * 2020-03-30 2021-07-27 서명교 사용자에게 복수의 추천 상품을 제공하는 쇼핑몰 플랫폼을 지원하는 시스템
KR102133039B1 (ko) * 2020-03-30 2020-07-10 서명교 의류 쇼핑몰 플랫폼을 제공하는 서버
KR20210122002A (ko) * 2020-03-30 2021-10-08 서명교 개인 정보에 기반하여 상품 추천 서비스를 제공하는 쇼핑몰 플랫폼을 제공하는 서버
KR102282743B1 (ko) * 2020-03-30 2021-07-27 서명교 쇼핑몰에 대한 추천 정보를 제공하는 모바일 어플리케이션을 운용하는 서버
KR102296764B1 (ko) * 2020-03-30 2021-08-31 서명교 상품을 판매 및 추천하는 온라인 플랫폼에 관한 서버
KR20210122003A (ko) * 2020-03-30 2021-10-08 서명교 Rnn 및 dnn을 포함하는 인공지능망을 이용하는 쇼핑몰 플랫폼을 제공하는 서버
KR102178962B1 (ko) 2020-04-21 2020-11-13 주식회사 스타일쉐어 패션 브랜드를 위한 크리에이터 추천 인공신경망 장치 및 방법
KR102178961B1 (ko) 2020-04-21 2020-11-13 주식회사 스타일쉐어 유저 클러스터링을 이용한 패션 아이템 추천 인공신경망 장치 및 방법
KR20230063271A (ko) * 2021-11-01 2023-05-09 소리달주식회사 스테레오 이미지 기반의 신발 추천 장치
KR102628994B1 (ko) * 2023-04-24 2024-01-25 주식회사 엔피오이 인공지능에 기반한 소비자 맞춤형 가방 추천 시스템
KR102654946B1 (ko) * 2023-04-24 2024-04-04 주식회사 엔피오이 인공지능에 기반 소비자 패션 스타일에 기초한 선호 상품 추천 시스템

Also Published As

Publication number Publication date
KR20170096971A (ko) 2017-08-25

Similar Documents

Publication Publication Date Title
KR20190029567A (ko) 스타일 특징을 이용한 상품 추천 방법
JP7196885B2 (ja) 検索システム、検索方法、及びプログラム
CN104504055B (zh) 基于图像相似度的商品相似计算方法及商品推荐系统
Jagadeesh et al. Large scale visual recommendations from street fashion images
US20200320769A1 (en) Method and system for predicting garment attributes using deep learning
KR100687906B1 (ko) 상품 추천 시스템 및 그 방법
US20180096069A1 (en) Interactive clothes searching in online stores
WO2018228448A1 (zh) 搭配服饰的推荐方法和装置、电子设备、存储介质
US20220138831A1 (en) Method of Providing Fashion Item Recommendation Service Using User's Body Type and Purchase History
KR102317432B1 (ko) 이미지 및 텍스트 통합분석에 기반한 패션 트렌드 예측방법, 장치 및 프로그램
CN110110181A (zh) 一种基于用户风格和场景偏好的服装搭配推荐方法
US11062379B2 (en) Automatic fashion outfit composition and recommendation system and method
US9727620B2 (en) System and method for item and item set matching
US20160189274A1 (en) Fashion administration
KR20200045668A (ko) 스타일 추천 방법, 장치 및 컴퓨터 프로그램
De Melo et al. Content-based filtering enhanced by human visual attention applied to clothing recommendation
KR20200066970A (ko) 고객의 보유 패션 아이템 기반 맞춤형 자동 코디 제안과 상품 추천 시스템과 서비스 방법 및 정보 관리 시스템
KR102295459B1 (ko) 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR20200141251A (ko) 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버
KR20200042203A (ko) 사용자 입력 영상 기반 의상코디 장치 및 방법
CN114201681A (zh) 用于推荐衣物的方法及装置
Cushen et al. Mobile visual clothing search
KR102495868B1 (ko) Ai를 활용한 패션 연계 맞춤형 향수 추천시스템
KR102200038B1 (ko) 사용자에게 날짜를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR20210131198A (ko) 추천 상품 광고 방법, 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A107 Divisional application of patent