KR102664008B1 - 시각 정보에 기초한 고객 아이템 추천 방법 및 장치 - Google Patents

시각 정보에 기초한 고객 아이템 추천 방법 및 장치 Download PDF

Info

Publication number
KR102664008B1
KR102664008B1 KR1020180080566A KR20180080566A KR102664008B1 KR 102664008 B1 KR102664008 B1 KR 102664008B1 KR 1020180080566 A KR1020180080566 A KR 1020180080566A KR 20180080566 A KR20180080566 A KR 20180080566A KR 102664008 B1 KR102664008 B1 KR 102664008B1
Authority
KR
South Korea
Prior art keywords
customer
item
purchase
image
feature vector
Prior art date
Application number
KR1020180080566A
Other languages
English (en)
Other versions
KR20190082048A (ko
Inventor
리 웨이밍
유 둥둥
류 양
왕 창
안민수
홍성훈
카오 웨잉
왕 짜이란
왕 하오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/161,153 priority Critical patent/US11188965B2/en
Publication of KR20190082048A publication Critical patent/KR20190082048A/ko
Application granted granted Critical
Publication of KR102664008B1 publication Critical patent/KR102664008B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Algebra (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

일 실시예에 따른 고객 아이템 추천 장치는, 고객 이미지에 기초하여 고객의 구매 성향을 식별하고, 구매 성향에 대응하는 구매 성향 모델을 선택하여 고객에 대응하는 추천 아이템을 결정하며, 결정된 추천 아이템에 관련된 연관 정보를 제공할 수 있다.

Description

시각 정보에 기초한 고객 아이템 추천 방법 및 장치{METHOD AND DEVICE TO RECOMMEND CUSTOMER ITEM BASED ON VISUAL INFORMATION}
이하, 패턴 인식 (pattern recognition) 및 컴퓨터 비전(computer vision) 분야에 관한 기술로서, 개인화된 상품 및 서비스를 추천하는 기술이 제공된다.
기존 상품 추천 기술은, 대부분 고객의 구매 기록 관련 데이터(예를 들어, 구매 기록, 상품 열람 기록 등)를 이용하여 상품을 추천하였다.
예를 들어, 고객의 온라인 구매 기록 또는 온라인 열람 기록에 기초하여, 상품 추천 기술은 이전에 구매 또는 열람한 상품과 유사한 상품을 추천할 수 있다. 다만, 상술한 상품 추천 기술은 고객의 온라인 구매 행위에만 적용될 수 있으므로, 오프라인 상점(physical store)에서의 고객의 구매 행위에 대해서는 적용될 수 없다.
오프라인 상점에서 고객이 쇼핑을 할 때, 직원은 고객의 구매 기록을 이용하여 고객에게 추천을 제공할 줄 수 있다. 그러나, 임의의 오프라인 상점을 처음 방문한 고객에 대해서는, 과거의 구매 또는 열람 기록이 부족하므로, 직원은 고객에게 적절한 추천을 제공하기 어렵다.
증강 현실 기술(augmented reality technology)은, 현실에서 사용자를 위해 관련 정보를 겹겹이 중첩하는 데 사용될 수 있다. 증강 현실 기술은 사용자 경험의 품질을 향상시킬 수 있다. 기존 애플리케이션 분야에서, 증강 현실 기술은, 주로 디스플레이, 컨텐츠 생성, 및 사용자 상호작용(user interactions)의 세 분야에서 응용될 수 있다.
일 실시예에 따른 고객 아이템 추천 방법은, 고객(customer)에 대응하는 고객 이미지(customer image)를 획득하는 단계; 상기 획득된 고객 이미지에 기초하여 상기 고객에 대한 추천 아이템(recommended item)을 결정하는 단계; 및 상기 결정된 추천 아이템과 관련된 연관 정보를 제공하는 단계를 포함할 수 있다.
상기 추천 아이템을 결정하는 단계는, 상기 획득된 고객 이미지에 기초하여, 상기 고객의 구매 성향(purchase tendency)을 식별하는 단계; 상기 식별된 구매 성향에 기초하여, 상기 고객에 대한 상기 추천 아이템을 결정하는 단계를 포함할 수 있다.
상기 고객 이미지를 획득하는 단계는, 적어도 하나의 카메라를 이용하여, 적어도 하나의 고객 이미지를 획득하는 단계를 포함하고, 상기 적어도 하나의 카메라의 시야(FOV, field of view)는 오프라인 상점(physical store)에서 구매 구역의 적어도 일부를 커버(cover)할 수 있다.
상기 고객 이미지를 획득하는 단계는, 사용자 단말에 나타난 복수의 고객들 중 적어도 하나의 고객에 대한 고객 이미지를 획득하는 단계를 포함할 수 있다.
상기 추천 아이템을 결정하는 단계는, 상기 고객 이미지로부터 상기 고객에 대한 이미지 특징을 추출하는 단계; 및 상기 이미지 특징에 기초하여, 상기 고객에 대한 추천 아이템을 결정하는 단계를 포함할 수 있다.
상기 추천 아이템을 결정하는 단계는, 상기 이미지 특징에 기초하여 구매 성향 모델 데이터베이ㅁ스로부터 상기 고객에 대응하는 구매 성향 모델을 검색하는 단계; 및 상기 고객에 대응하는 상기 구매 성향 모델에 기초하여, 상기 고객에 대한 상기 추천 아이템을 결정하는 단계를 더 포함할 수 있다.
상기 구매 성향 모델 데이터베이스는, 복수의 구매 성향 모델을 포함하고, 상기 복수의 구매 성향 모델의 각각은, 패션 카테고리에 대응하는 아이템의 특징 벡터, 고객 이미지의 특징 벡터, 및 비패션 카테고리에 대응하는 아이템의 특징 벡터를 포함하며, 상기 구매 성향 모델을 검색하는 단계는, 상기 고객에 대한 상기 이미지 특징에 기초하여, 패션 카테고리에 대응하는 아이템의 특징 벡터, 고객 이미지의 특징 벡터, 비패션 카테고리에 대응하는 아이템의 특징 벡터에 따른, 고객 및 각 구매 성향 모델 간의 상관도(correlation level)를 산출하는 단계; 및 복수의 구매 성향 모델들 중 가장 높은 상관도를 가지는 구매 성향 모델을 상기 고객의 구매 성향 모델로 결정하는 단계를 포함할 수 있다.
고객 아이템 추천 방법은 구매 성향 모델을 온라인 구매 데이터베이스를 통해 구축함으로써, 상기 구매 성향 모델 데이터베이스를 구축하는 단계를 더 포함할 수 있다.
상기 구매 성향 모델 데이터베이스를 구축하는 단계는, 고객의 온라인 구매 기록에 대한 통계를 학습하는 단계; 고객의 아이템 구매 이력을 나타내는 구매 이력 매트릭스가 분해된 결과로부터 고객의 고유값을 결정하는 단계; 상기 고객의 고유값에 기초하여, 고객들을 복수의 고객 클러스터들로 분류하는 단계; 및 상기 복수의 고객 클러스터들의 각각에 대해 카테고리 별 구매 데이터에 기초하여 해당 카테고리의 고유값을 결정하는 단계를 포함할 수 있다.
고객 아이템 추천 방법은 오프라인 구매 성향 모델을 오프라인 상점 구매 데이터베이스를 통해 구축함으로써, 상기 구매 성향 모델 데이터베이스를 구축하는 단계를 더 포함할 수 있다.
상기 구매 성향 모델 데이터베이스를 구축하는 단계는, 상기 오프라인 상점 구매 데이터베이스로부터 고객 ID, 고객 이미지 및 고객의 구매 기록을 추출하는 단계; 상기 고객 이미지를 분석함으로써, 상기 고객의 외모 정보 및 상기 고객의 구매 행위 정보를 획득하는 단계; 상기 고객 이미지로부터 획득된 정보에 기초하여, 고객들을 복수의 고객 클러스터들로 분류하는 단계; 및 상기 복수의 고객 클러스터들의 각각에 대해 카테고리 별 구매 데이터에 기초하여 해당 카테고리의 특징 벡터를 산출하는 단계를 포함할 수 있다.
상기 추천 아이템을 결정하는 단계는, 구매 성향 모델에서 각 카테고리에 대응하는 아이템에 대해, 해당 아이템의 아이템 이미지와 고객 이미지를 매칭하는 단계; 및 아이템 이미지 및 고객 이미지 간에 산출된 피팅 점수에 기초하여 추천 아이템을 결정하는 단계를 포함할 수 있다.
상기 산출된 피팅 점수에 기초하여 상기 추천 아이템을 결정하는 단계는, 상기 구매 성향 모델에서 개별 아이템의 특징 벡터 및 상기 고객이 착용한 아이템의 특징 벡터 간의 내적을 상기 피팅 점수로서 산출하는 단계를 포함할 수 있다.
상기 추천 아이템과 연관된 연관 정보를 제공하는 단계는, 증강 현실 디스플레이를 포함하는 고객 단말로 푸시 요청을 전송하는 단계; 및 상기 고객 단말로부터 상기 푸시 요청의 수락 여부를 지시하는 정보를 수신하는 단계를 포함할 수 있다.
상기 추천 아이템과 연관된 연관 정보를 제공하는 단계는, 고객 단말에 의해 푸시 요청이 수락된 경우에 응답하여, 상기 고객 단말로 추천 아이템과 연관된 정보를 전송하는 단계를 포함할 수 있다.
상기 추천 아이템과 연관된 연관 정보를 제공하는 단계는, 고객의 위치로부터 임계 거리 내 배치된 디스플레이로 추천 아이템에 대한 아이템 정보를 전송하는 단계를 포함할 수 있다.
상기 추천 아이템과 연관된 연관 정보를 제공하는 단계는, 상기 추천 아이템과 연관된 연관 정보를 업무 단말 및 고객 단말 중 적어도 하나로 전송하는 단계를 포함할 수 있다.
상기 추천 아이템을 결정하는 단계는, 상기 고객이 위치한 구매 구역 및 상기 고객 이미지에 기초하여, 상기 추천 아이템을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 고객 아이템 추천 장치는, 고객 이미지를 획득하는 이미지 획득부; 및 상기 획득된 고객 이미지에 기초하여 상기 고객에 대한 추천 아이템을 결정하고, 상기 결정된 추천 아이템과 관련된 연관 정보를 제공하는 프로세서를 포함할 수 있다.
도 1은 일 실시예에 따른 고객 아이템 추천 방법을 나타낸 흐름도이다.
도 2는 일 실시예에 따른 이미지 획득에 기초한 고객 관리 방법을 나타낸 흐름도이다.
도 3은 일 실시예에 따른 고객 이미지에 기초한 고객의 구매 성향 식별 과정을 도시한 도면이다.
도 4는 일 실시예에 따른 온라인 구매 데이터베이스에 기초한 구매 성향 모델의 구축 과정을 도시한 도면이다.
도 5는 일 실시예에 따른 딥 러닝에 기초한 구매 성향 모델의 구축(building) 방법을 도시한 흐름도이다.
도 6는 일 실시예에 따른 패션 카테고리에 해당하는 아이템으로부터 특징 점수를 출력하도록 설계된 딥 뉴럴 네트워크(neural network)를 도시한 도면이다.
도 7은 일 실시예에 따른 각 고객군에 대한 각 카테고리에 대응하는 아이템에 대응하는 특징 벡터를 각각 구축하는 방법을 나타낸 설명도이다.
도 8은 일 실시예에 따른 오프라인 상점 구매 데이터베이스에 기초한 구매 성향 모델의 구축 과정을 도시한 도면이다.
도 9는 일 실시예에 따른 고객 이미지를 분할하도록 설계된 뉴럴 네트워크를 설명하는 도면이다.
도 10은 일 실시예에 따른 고객 이미지로부터 분할된 이미지와 아이템 이미지를 매칭하도록 설계된 뉴럴 네트워크를 도시하는 도면이다.
도 11은 일 실시예에 따른 식별된 고객 구매 성향에 따라 아이템을 추천하는 방법을 도시한 흐름도이다.
도 12는 일 실시예에 따른 오프라인 상점에 방문한 고객의 증강 디스플레이 장치에 아이템을 추천하는 방법을 도시한 흐름도이다.
도 13은 일 실시예에 따른 오프라인 상점에 방문한 고객 주위의 디스플레이에 아이템 추천과 연관된 정보를 제공하는 방법을 도시한 흐름도이다.
도 14는 일 실시예에 따른 오프라인 상점 내 판매 보조원이 장착한 증강 현실 디스플레이 장치에 고객 정보 및 아이템 추천을 제공하는 방법을 도시한 흐름도이다.
도 15는 일 실시예에 따른 브라우저(browser)에 나타난 얼굴 이미지 상에 고객 정보 및 아이템 추천과 연관된 정보를 제공하는 방법을 도시한 흐름도이다.
도 16은 일 실시예에 따른 고객 아이템 추천 장치의 구성을 도시한 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 고객 아이템 추천 방법을 나타낸 흐름도이다.
일 실시예에 따른 고객 아이템 추천 장치는, 증강 현실 쇼핑을 위하여 대량의 상품 관련 데이터로부터 고객이 흥미를 느끼는 정보를 선별할 수 있다. 고객 아이템 추천 장치는 고객이 흥미를 느끼는 정보를 선별하기 위해, 고객의 구매 성향(purchase tendency)을 식별할 수 있다.
우선, 단계(110)에서 고객 아이템 추천 장치는 고객에 대응하는 고객 이미지를 획득할 수 있다. 예를 들어, 고객 아이템 추천 장치는 최소 한 장의 고객 이미지를 획득하거나, 입력 받을 수 있다. 오프라인 상점(physical store)의 에이전트(agent)가, 사용자 인터페이스를 통해, 고객 아이템 추천 장치로, 고객 이미지를 입력할 수 있다.
그리고 단계(120)에서 고객 아이템 추천 장치는 고객 이미지에 기초하여 고객의 구매 성향을 식별할 수 있다. 예를 들어, 고객 아이템 추천 장치는, 고객 이미지로부터 개별 아이템 별로 분할된 부분 이미지의 특징 벡터에 기초하여, 해당 고객에 대응하는 구매 성향 모델을 검색할 수 있다.
이어서 단계(130)에서 고객 아이템 추천 장치는 획득된 고객 이미지에 기초하여 고객에 대한 추천 아이템을 결정할 수 있다. 예를 들어, 고객 아이템 추천 장치는 해당 고객에 대해 식별된 구매 성향에 기초하여 추천 아이템을 결정할 수 있다. 고객 아이템 추천 장치는 해당 고객에 대응하는 구매 성향 모델에 기초하여, 해당 고객에 대한 추천 아이템을 결정할 수 있다. 추천 아이템은 예를 들어, 추천 상품 및 추천 서비스 등을 포함할 수 있다.
그리고 단계(140)에서 고객 아이템 추천 장치는 결정된 추천 아이템과 관련된 연관 정보를 제공할 수 있다. 추천 아이템과 관련된 연관 정보는, 예를 들어, 추천 아이템의 카테고리, 클래스, 및 시각적 형태 등을 포함할 수 있다. 예를 들어, 고객 아이템 추천 장치는 추천된 상품에 연관된 정보 또는 추천된 서비스에 연관된 정보를 고객에게 발송하거나, 시각화할 수 있다.
도 2는 일 실시예에 따른 이미지 획득에 기초한 고객 관리 방법을 나타낸 흐름도이다.
일 실시예에 따르면, 고객 아이템 추천 장치는 복수의 카메라들(209)을 포함할 수 있다. 고객 아이템 추천 장치는 복수의 카메라들(209)을 이용하여, 고객 이미지를 획득할 수 있다. 복수의 카메라들(209)은 오프라인 상점에 대응하는 영역 내에 위치할 수 있고, 복수의 카메라들(209)에 의한 시야는 오프라인 상점 내의 적어도 일부 구역을 커버(cover)할 수 있다. 복수의 카메라들(209)은 오프라인 상점 내의 모든 구역을 커버할 수도 있다. 복수의 카메라들(209)은 감시 카메라(surveillance camera), 로봇, 헤드 마운트 디스플레이(HMD, head-mounted display) 장치, 및 웨어러블 글래스(wearable glass) 등에 장착될 수 있다.
우선, 단계(210)에서 고객 아이템 추천 장치는 고객을 탐색할 수 있다. 일 실시예에 따르면 고객 아이템 추천 장치는 오프라인 상점의 구매 구역 내에 위치한 고객을 탐지할 수 있다.
그리고 단계(220)에서 고객 아이템 추천 장치는 카메라 시야 내에서 고객을 추적할 수 있다. 고객 아이템 추천 장치는 단일 카메라로 고객을 추적할 수 있으나, 이로 한정하는 것은 아니고, 복수의 카메라들을 이용하여 고객을 추적할 수도 있다.
예를 들어, 단계(230)에서 고객 아이템 추천 장치는 추적 대상인 고객이 카메라 시야를 벗어났는지 여부를 판단할 수 있다. 단계(231)에서 고객 아이템 추천 장치는 고객이 임의의 카메라의 시야를 벗어난 경우에 응답하여, 해당 카메라의 시야와 근접한 시야를 제공하는 다른 카메라를 이용하여 고객의 위치를 추적할 수 있다. 또한, 시야, 해상도, 거리, 및 조명 조건(lighting condition) 중 적어도 하나에 의해 임의의 카메라에 의한 고객 식별이 불가능(not available)한 경우에 응답하여, 고객 아이템 추천 장치는 다른 카메라를 통해 고객을 추적할 수 있다.
이어서 단계(240)에서 고객 아이템 추천 장치는 고객이 오프라인 상점 구역을 벗어났는지 여부를 판단할 수 있다. 고객 아이템 추천 장치는, 카메라에 기초하여 획득된 추적 정보로부터 고객의 위치를 추정할 수 있고, 추정된 고객의 위치가 오프라인 상점 구역의 바깥인 지 여부를 결정할 수 있다. 단계(241)에서 고객 아이템 추천 장치는 고객이 이미 해당 오프라인 상점의 구매 구역을 벗어났다고 판단된 경우에 응답하여, 고객에 대한 추적을 종료하고, 고객 기록 정보를 보존할 수 있다. 예를 들어, 고객 아이템 추천 장치는 고객이 오프라인 상점 구역을 벗어난 경우, 해당 고객 ID에 대응하는 고객 기록 정보를 저장할 수 있다. 고객 ID는 아래에서 설명한다.
그리고 단계(250)에서 고객 아이템 추천 장치는 고객이 오프라인 상점 구역 내에 있는 동안, 해당 고객을 추적하고 고객 ID를 관리할 수 있다.
이어서 단계(260)에서 고객 아이템 추천 장치는 고객 구매 성향을 식별하고, 아이템을 추천할 수 있다. 예를 들어, 고객 아이템 추천 장치는 오프라인 상점의 구매 구역 내 위치한 고객이 탐지된 경우에 응답하여, 탐지된 고객을 식별할 수 있다. 고객 아이템 추천 장치는 탐지된 고객에 대응하는 고객 이미지에 매칭되는 고객 ID를 검색할 수 있다. 매칭 결과가 없는 경우에 응답하여, 고객 아이템 추천 장치는 해당 고객에 대한 고객 ID를 생성할 수 있다. 고객 ID는 고객을 구별하기 위한 식별자(identifier)로서, 동일한 신원(identification)을 지시하는 고객 이미지에 동일한 고객 ID가 할당될 수 있다. 고객 이미지가 지시하는 신원은, 예를 들어, 얼굴 인식을 통해 식별될 수 있다.
일 실시예에 따른 고객 아이템 추천 장치는 고객을 탐색하고 추적하는 동안, 고객의 구매 성향을 식별하기 위해 고객 이미지와 고객 ID를 출력할 수 있다. 고객 아이템 추천 장치는 고객 ID에 대응하는 고객에 대하여 아이템을 추천할 수 있다.
또한, 고객 아이템 추천 장치는 구매 성향 식별 방식 별로 요구되는 정보에 따라, 고객을 탐색하고 추적하는 과정에서 복수의 고객 이미지들을 입력 받을 수 있다. 고객 아이템 추천 장치는, 예를 들어, 서로 다른 시간에 획득된 복수의 고객 이미지들을 고객을 추적하는 동안 수신할 수 있다.
고객이 오프라인 상점의 구매 구역을 벗어났을 때 보존되는 고객 기록 정보는 고객 ID 및 고객을 지시하는 이미지 데이터(예를 들어, 고객 이미지)를 포함할 수 있고, 해당 고객의 실제 구매 기록을 더 포함할 수도 있다. 고객의 실제 구매 기록은, 예를 들어, 고객이 구매한 상품 유형(type), 상품 브랜드, 규격, 수량 및 가격 등을 포함할 수 있다. 다만, 구매 기록을 이로 한정하는 것은 아니고, 설계에 따라 변경될 수 있다.
도 3은 일 실시예에 따른 고객 이미지에 기초한 고객의 구매 성향 식별 과정을 도시한 도면이다.
일 실시예에 따른 고객의 구매 성향 식별 과정은, 두 과정으로서, 오프라인 과정(offline procedure) 및 온라인 과정(online procedure)을 포함할 수 있다. 오프라인 과정은 구매 데이터베이스(330)로부터 구매 성향 모델 데이터베이스(340)를 구축하는 과정을 포함할 수 있다. 온라인 과정은 임의의 고객에 적합한 구매 성향 모델(350)을 검색하는 과정을 포함할 수 있다. 예를 들어, 온라인 과정은, 고객 이미지(310)를 획득하는 동작, 및 고객 이미지(310)로부터 식별된 고객 외모(customer appearance)의 시각적 특징(visual feature)에 기초하여 구매 성향 모델 데이터베이스(340)로부터 해당 고객에 가장 적합한 구매 성향 모델(350)을 자동으로 결정하는 동작을 포함할 수 있다.
일 실시예에 따르면 구매 성향 모델 데이터베이스(340)는 복수의 구매 성향 모델들(341)을 포함할 수 있다. 복수의 구매 성향 모델들(341)의 각각은 구매 데이터베이스(330)로부터 생성될 수 있다. 구매 데이터베이스(330)는 오프라인 상점 또는 온라인 상점에서 발생한 개별 고객의 구매 행위(purchase action)에 기초하여 구축된 데이터베이스를 나타낼 수 있다. 예를 들어, 고객 아이템 추천 장치는 구매 데이터베이스(330)에 대한 통계 분석(예를 들어, 임의의 알고리즘)을 통해 복수의 구매 성향 모델들(341)을 획득할 수 있다. 추가적으로, 고객 아이템 추천 장치는 유사한 구매 성향을 나타내는 고객들의 구매 내역을 통계적으로 분석하여 구매 이력 매트릭스를 생성할 수 있다. 고객 아이템 추천 장치는 협력 필터링(collaborative filtering)을 이용하여 구매 이력 매트릭스를 분해(decompose)함으로써, 서로 다른 클래스에 대응하는 아이템을 구매하는 성향을 나타내는 구매 성향 특징 벡터(purchase tendency feature vector)를 획득할 수 있다. 각 구매 성향 모델(350)은, 아이템을 구매하는 성향을 나타내는 구매 성향 특징 벡터를 포함할 수 있다.
일 실시예에 따른 복수의 구매 성향 모델들(341)의 각각은 대표성이 있는 하나의 유형의 고객 평균 구매 성향을 나타낼 수 있다. 예를 들어, 구매 성향 모델(350)은 여러 고객들이 클러스터링된 고객 클러스터(customer cluster)를 대표하는 구매 성향을 나타내는 모델일 수 있다. 구매 성향 모델(350)은 해당 고객 클러스터의 구매 성향을 나타내는 다양한 특징 벡터들을 포함할 수 있다. 예를 들어, 구매 성향 모델(350)은 고객 이미지 특징 벡터, 패션 카테고리에 대응하는 특징 벡터(351), 및 비패션 카테고리에 대응하는 특징 벡터(352) 등을 포함할 수 있다. 도 3에서는 설명의 편의를 위해 구매 성향 모델(350)의 각 특징 벡터의 추출의 대상인 이미지 또는 행위를 도시하였으나, 실제 구매 성향 모델(350)의 특징 벡터는 해당 이미지 또는 행위가 추상화된 값을 지시하는 벡터로 구현될 수 있다.
본 명세서에서 패션 카테고리에 속하는 아이템은, 예를 들어, 사람이 착용(wear)할 수 있는 아이템을 나타낼 수 있다. 비패션 카테고리에 속하는 아이템은, 패션 카테고리에 속하지 않는 나머지 아이템을 나타낼 수 있다. 또한, 패션 카테고리 및 비패션 카테고리는 각각 복수의 클래스들로 분류될 수 있다. 예를 들어, 패션 카테고리는, 상의 클래스, 하의 클래스, 및 액세서리 클래스 등을 포함할 수 있다. 비패션 카테고리는, 브랜드 클래스, 및 전자 제품 클래스 등을 포함할 수 있다. 다만, 각 카테고리에 포함되는 클래스를 상술한 바로 한정하는 것은 아니고, 패션 카테고리 및 비패션 카테고리는 설계에 따라 달라질 수 있다.
일 실시예에 따른 고객 아이템 추천 장치는 임의의 대상 고객(target customer)에 대한 고객 이미지(310)를 획득한 경우에 응답하여, 해당 고객 이미지(310)로부터 고객의 특징(예를 들어, 패션 카테고리에 대응하는 상품의 특징 벡터, 및 고객 이미지 특징 벡터 등)을 추출할 수 있다. 또한, 고객 아이템 추천 장치는 고객 이미지(310)를 분할(segment)함으로써 부분 이미지(partial image)(320)를 생성할 수 있고, 부분 이미지(320)로부터 추가적인 특징을 추출할 수도 있다.
예를 들어, 고객 아이템 추천 장치는 상술한 특징에 기초하여, 구매 성향 모델 데이터베이스(340)로부터 대상 고객에게 가장 적합한 구매 성향 모델(350)을 검색할 수 있다. 예를 들어, 고객 아이템 추천 장치는, 해당 고객의 고객 이미지(310)로부터 추출된 고객 이미지에 대한 특징 벡터, 부분 이미지(320)에 대한 특징 벡터, 및 비패션 카테고리에 대한 특징 벡터 등과 유사한 특징 벡터를 가지는 구매 성향 모델(350)을 구매 성향 모델 데이터베이스(340)로부터 검색할 수 있다. 고객 아이템 추천 장치는 검색된 구매 성향 모델(350)을 대상 고객에 대한 구매 성향 모델(350)로 결정할 수 있다.
일 실시예에 따르면 고객 아이템 추천 장치는 고객 이미지(310)에 대한 특징 벡터(361)를 분석함으로써, 고객의 연령, 성별, 인종 등 개인 정보를 획득할 수 있다. 예를 들어, 고객 아이템 추천 장치는 고객 이미지(310)로부터 이미지 인식 모델(image recognition model)에 기초하여 특징 벡터(361)를 추출할 수 있고, 추출된 특징 벡터(361)에 대응하는 고객의 연령, 성별, 인종 등을 식별할 수 있다. 고객 아이템 추천 장치는 고객 이미지(310) 중에서도 얼굴 이미지(face image)로부터 이미지 인식 모델에 기초하여 특징 벡터(361)를 추출할 수 있다. 이미지 인식 모델은, 임의의 사람 이미지로부터 그에 대응하는 개인 정보(예를 들어, 연령 및 성별 등)를 출력하도록 디자인(design)된 기계 학습 구조(machine learning structure)를 포함할 수 있다.
일 실시예에 따르면, 고객 아이템 추천 장치는 오프라인 상점 내에서 발생하는 고객의 구매 행위 등에 대한 통계 데이터(362)를 수집할 수 있다. 예를 들어, 고객 아이템 추천 장치는 오프라인 상점 내에서 판매하는 제품(product)을 임의의 고객이 구매한 경우, 해당 고객에 대응하는 고객 ID에 해당 상품의 구매 카운트(purchase count)를 해당 통계 데이터(362)에 추가할 수 있다. 본 명세서에서 오프라인 상점은 물리적인 구역을 차지하는 상점을 나타낼 수 있다.
일 실시예에 따르면 고객 아이템 추천 장치는 구매 성향 모델(350)에 포함된 패션 카테고리에 대응하는 개별 아이템에 대응하는 특징 벡터(363)에 기초하여 고객의 선호(preference)를 결정할 수 있다. 고객 아이템 추천 장치는 결정된 구매 성향 모델(350)에 기초하여 고객의 특징을 분석함으로써 고객의 선호(preference)를 결정할 수 있다. 예를 들어, 고객 아이템 추천 장치는 부분 이미지(320)로부터 고객의 선호를 추정할 수 있다. 고객이 착용한 아이템을 지시하는 부분 이미지(320)로부터 추출된 특징 벡터는 고객 클러스터가 선호하는 임의의 아이템을 포함하는 이미지가 추상화된 벡터를 나타낼 수 있다. 또한, 개별 아이템에 대한 특징 벡터(363)는 해당 고객 클러스터에 속한 고객들이 선호하는 아이템을 포함하는 이미지가 추상화된 벡터를 나타낼 수 있다. 구매 성향 모델(350)에서 부분 이미지(320)에 대한 특징 벡터와 유사한 특징 벡터를 가지는 아이템을 해당 고객이 선호할 가능성이 높을 수 있다. 따라서, 고객 아이템 추천 장치는, 구매 성향 모델(350)에 포함된 패션 카테고리에 대응하는 아이템들로부터, 고객의 부분 이미지(320)로부터 추출된 특징 벡터와 유사한 특징 벡터를 가지는 아이템을 검색할 수 있다.
예를 들어, 고객 아이템 추천 장치는 구매 성향 모델(350)에 포함된 의류 아이템(예를 들어, 상의 및 하의 등) 중 고객의 부분 이미지(320)와 유사한 특징 벡터를 가지는 의류 아이템을 검색할 수 있다. 고객 아이템 추천 장치는 검색된 아이템을 고객에게 추천함으로써, 고객의 선호에 적합한 추천 정보를 제공할 수 있다
비패션 카테고리에 대응하는 특징 벡터(352)는 복수의 벡터 성분들(vector components)을 포함할 수 있다. 비패션 카테고리에 대응하는 특징 벡터(352) 내에 포함되는 벡터 성분들의 각각은 서로 다른 클래스(class)에 해당하는 비패션 원소(non-fashion element)를 나타낼 수 있다. 비패션 원소는 예를 들어, 해당 고객이 구매한 브랜드(brand), 및 전자 제품(electronic product)의 종류 등을 나타낼 수 있다. 다만, 비패션 카테고리를 이로 한정하는 것은 아니고, 패션 아이템 이외의 다양한 아이템들을 지시하는 클래스를 포함할 수 있으며, 설계에 따라 변경될 수 있다.
도 4는 일 실시예에 따른 온라인 구매 데이터베이스에 기초한 구매 성향 모델의 구축 과정을 도시한 도면이다.
일 실시예에 따르면 고객 아이템 추천 장치는 온라인 구매 데이터베이스(410)에 기초하여 구매 성향 모델 데이터베이스(420)를 구축할 수 있다. 온라인 구매 데이터베이스(410)는 여러 고객들이 아이템(예를 들어, 상품)을 구매한 대량의 기록을 포함할 수 있다. 온라인 구매 데이터베이스(410)는 고객 ID, 해당 고객이 구매한 아이템, 및 해당 고객의 브라우징 기록 등을 포함할 수 있으나, 이로 한정하지 않는다. 예를 들어, 고객이 구매한 아이템은 패션 카테고리에 대응하는 아이템 및 비패션 카테고리에 대응하는 아이템을 포함할 수 있다.
우선, 고객 아이템 추천 장치는 온라인 구매 데이터베이스(410)로부터 고객의 온라인 구매 기록에 대한 통계를 학습할 수 있다. 고객의 온라인 구매 기록에 대한 통계는 예를 들어, M개의 아이템들 및 N명의 고객들에 대한 구매 이력 매트릭스를 포함할 수 있다. 구매 이력 매트릭스는 고객의 상품 구매 이력을 나타낼 수 있다. 여기서, N 및 M은 1이상의 정수일 수 있다. 구매 이력 매트릭스의 i번째 행(row), j번째 열(column)의 원소(element)는 j번째 아이템에 대한 i번째 고객의 구매 기록을 나타낼 수 있다. i는 1이상 N 이하의 정수, j는 1이상 M이하의 정수를 나타낼 수 있다.
고객 아이템 추천 장치는 구매 이력 매트릭스를 분해한 결과(예를 들어, 고객-아이템 연관 벡터)로부터, 고객의 고유값(unique value)을 결정할 수 있다. 고유값은, 고객 특징 벡터의 형태로 표현될 수 있다. 고객 특징 벡터의 산출은 하기 도 6에서 설명한다.
고객 아이템 추천 장치는 고객의 고객 특징 벡터에 기초하여 고객들을 클러스터링함으로써, 복수의 고객 클러스터들로 고객들을 분류할 수 있다. 고객 아이템 추천 장치는 고객들 간 유사도(similarity level)를 개별 고객의 고객 특징 벡터 간 내적(inner product)에 기초하여 산출할 수 있다. 고객 아이템 추천 장치는 고객들 간 유사도에 기초하여 고객들을 개별 고객 클러스터로 분류할 수 있다. 개별 고객 클러스터는 서로 유사한 구매 이력을 가지는 고객들을 포함하는 클러스터를 나타낼 수 있다.
고객 아이템 추천 장치는 상기 복수의 고객 클러스터들의 각각에 대해 카테고리(예를 들어, 패션 카테고리 및 비패션 카테고리 등) 별 구매 데이터에 기초하여 해당 카테고리의 고유값을 결정할 수 있다. 카테고리의 고유값은, 예를 들어, 해당 카테고리에 대한 구매 성향 특징 벡터일 수 있다.
일 실시예에 따른 고객 아이템 추천 장치는 개별 고객 클러스터마다 해당 고객 클러스터에 대응하는 구매 성향 모델(430)을 생성할 수 있다. 구매 성향 모델(430)은 해당 클러스터를 대표하는 다양한 특징 벡터를 포함할 수 있다. 예를 들어, 고객 아이템 추천 장치는 구매 이력 매트리스를 분해(decompose)함으로써, 각 고객의 구매 성향 특징 벡터를 결정할 수 있다.
본 명세서에서 고객 특징 벡터는 실제 고객들의 구매 속성이 추상화된 특징 벡터를 나타낼 수 있다. 또한, 구매 성향 특징 벡터는, 실제 고객들이 클러스터링된 고객 클러스터를 대표하는 가상의 고객의 구매 성향을 지시하는 특징 벡터를 나타낼 수 있다. 고객 특징 벡터 및 구매 성향 특징 벡터의 산출은 하기 도 5에서 설명한다.
예를 들어, 임의의 고객 클러스터에 대해 매핑된 구매 성향 모델(430)은, 해당 고객 클러스터를 지시하는 구매 성향 모델 ID(431), 해당 고객 클러스터를 대표하는 특징 벡터(예를 들어, 패션 아이템에 대응하는 아이템의 특징 벡터(432), 및 비패션 아이템에 대응하는 특징 벡터(433))를 포함할 수 있다.
예를 들어, 고객 아이템 추천 장치는, 개별 고객 클러스터에, 구매 성향 모델 ID(431), 패션 카테고리에 대응하는 아이템의 특징 벡터(432), 및 비패션 카테고리에 대응하는 아이템의 특징 벡터(433)를 포함하는 구매 성향 모델(430)을 할당할 수 있다. 고객 아이템 추천 장치는 각 고객 클러스터의 구매 이력 매트릭스에 기초하여 카테고리별로 해당 고객 클러스터의 특징 벡터를 결정함으로써, 구매 성향 모델(430)을 생성할 수 있다.
도 5는 일 실시예에 따른 딥 러닝에 기초한 구매 성향 모델의 구축(building) 방법을 도시한 흐름도이다.
우선, 단계(510)에서 고객 아이템 추천 장치는 온라인 구매 데이터베이스(501)로부터 고객-아이템 연관 벡터를 추출할 수 있다. 고객-아이템 연관 벡터는, 고객이 구매한 아이템을 나타내는 벡터이다. 예를 들어, 고객-아이템 연관 벡터의 길이는 아이템의 종류 개수에 대응할 수 있다. 고객-아이템 연관 벡터는 원핫 인코딩(one-hot encoding)에 기초하여 생성될 수 있다. 예를 들어, 임의의 고객이 임의의 아이템을 구매한 경우, 해당 고객에 대한 고객-아이템 연관 벡터는 해당 아이템에 대응하는 원소(element)의 값을 1로 가질 수 있다. 반대로, 해당 고객이 해당 아이템을 구매하지 않는 경우, 해당 고객-아이템 연관 벡터에서 해당 아이템에 대응하는 원소의 값은 0일 수 있다.
그리고 단계(520)에서 고객 아이템 추천 장치는 온라인 구매 데이터베이스(501)로부터 패션 카테고리에 대응하는 아이템의 아이템 이미지를 획득할 수 있다.
이어서, 단계(530)에서 고객 아이템 추천 장치는 패션 아이템 추천 모델에 기초하여 출력을 산출할 수 있다. 일 실시예에 따르면, 패션 아이템 추천 모델은, 임의의 고객이 패션 카테고리에 대응하는 임의의 아이템을 구매할 지 여부를 예측한 결과를 출력하도록 설계된 모델(예를 들어, 뉴럴 네트워크)을 나타낼 수 있다. 고객 아이템 추천 장치는 패션 카테고리에 대응하는 아이템에 대해, 대량의 고객-아이템 연관 벡터 및 패션 카테고리에 대응하는 아이템의 이미지에 기초하여, 패션 아이템 추천 모델을 트레이닝시킬 수 있다.
예를 들어, 고객 아이템 추천 장치는 해당 고객의 고객-아이템 연관 벡터 및 해당 패션 카테고리에 대응하는 아이템의 아이템 이미지를 패션 아이템 추천 모델에 입력할 수 있다. 패션 아이템 추천 모델은 0과 1 사이의 소수의 형태로 출력을 생성할 수 있다. 패션 아이템 추천 모델의 출력은, 해당 고객이 해당 패션 카테고리에 대응하는 아이템을 구매할 확률을 나타낼 수 있고, 0에 가까울수록 낮을 확률, 1에 가까울수록 높은 확률을 나타낼 수 있다.
그리고 단계(540)에서 고객 아이템 추천 장치는 고객 특징 벡터를 획득할 수 있다. 예를 들어, 고객 아이템 추천 장치는 패션 아이템 추천 모델의 출력 레이어 이전에 배치된 히든 레이어로부터 출력된 특징 벡터를, 고객 특징 벡터로 결정할 수 있다. 패션 아이템 추천 모델은 복수의 히든 레이어를 포함할 수 있고, 히든 레이어의 출력은 임의의 고객의 구매 성향이 추상화된 정보를 나타낼 수 있다. 예를 들어, 고객 특징 벡터는 고객-아이템 연관 벡터로부터, 패션 아이템 추천 모델의 히든 레이어에 기초하여 추출된 특징 벡터를 나타낼 수 있다. 고객 특징 벡터의 추출은 하기 도 6에서 설명한다.
이어서 단계(550)에서 고객 아이템 추천 장치는 고객 클러스터링을 수행할 수 있다. 예를 들어, 고객 아이템 추천 장치는 온라인 구매 데이터베이스(501)의 여러 고객들의 각각의 고객 특징 벡터를 상술한 단계(540)와 같이 획득할 수 있고, 각 고객의 고객 특징 벡터에 기초하여 고객들을 클러스터링할 수 있다.
그리고 단계(560)에서 고객 아이템 추천 장치는 복수의 고객 클러스터들을 획득할 수 있다. 예를 들어, 고객 아이템 추천 장치는 서로 유사한 고객 특징 벡터를 가지는 고객들을 동일한 고객 클러스터로 분류할 수 있다. 각 고객 클러스터에 속하는 고객들은 서로 유사한 아이템 구매 성향을 가질 수 있다. 각 고객 클러스터는 대표성을 가지는 가상의 고객으로 취급될 수 있다.
이어서 단계(570)에서 고객 아이템 추천 장치는 구매 성향 모델 데이터베이스를 구축할 수 있다. 예를 들어, 고객 아이템 추천 장치는 온라인 구매 데이터베이스(501)로부터 대표성을 가지는 가상의 고객의 구매 기록을 획득할 수 있다. 온라인 구매 데이터베이스(501)의 구매 기록으로부터, 고객 아이템 추천 장치는 각 고객 클러스터의 대표성을 가지는 가상의 고객에 대해 고객-아이템 연관 매트릭스를 구축할 수 있다. 고객 아이템 추천 장치는 각 고객 클러스터를 대표하는 고객에 대한 고객-아이템 연관 매트릭스를 분해함으로써, 다른 카테고리에 대응하는 아이템(예를 들어, 패션 카테고리 및 비패션 카테고리)에 대한 구매 성향 특징 벡터를 획득할 수 있다. 구매 성향 모델은 다른 카테고리에 대응하는 아이템에 대한 구매 성향 특징 벡터를 포함할 수 있다.
도 6는 일 실시예에 따른 패션 카테고리에 해당하는 아이템으로부터 특징 점수를 출력하도록 설계된 딥 뉴럴 네트워크(neural network)를 도시한 도면이다.
고객 아이템 추천 장치는 패션 아이템 추천 모델(690)에 두 종류의 벡터를 입력할 수 있다.
예를 들어, 고객 아이템 추천 장치는 고객-아이템 연관 벡터(611)를 입력할 수 있다. 고객 아이템 추천 장치는 고객-아이템 연관 벡터(611)에 차원 감소(reducing dimension) 맵핑(mapping)을 적용할 수 있다. 차원 감소 맵핑은 예를 들어, 단일 매트릭스에 의한 연산일 수 있으나, 이로 한정하는 것은 아니고 뉴럴 네트워크에 의한 연산일 수도 있다. 예를 들어, 만약 차원이 감소되기 전, 고객-아이템 연관 벡터(611)가 K 차원이고, 차원 감소 이후의 벡터가 L 차원이라면, Matrix Factorization Techniques for Recommender Systems (Y. Koren等，August 2009， IEEE Computer)의 기법이 고객-아이템 연관 벡터(611)에 적용될 수 있다. 여기서, K 및 L은 1이상의 정수일 수 있고, K는 L보다 클 수 있다. 다른 예를 들어, 고객 아이템 추천 장치는 다층 퍼셉트론(MLP, Multiple Layer Perceptron) 구조의 뉴럴 네트워크 연산을 통해 고객-아이템 연관 벡터(611)의 차원을 감소시킬 수도 있다. 차원 감소 매핑 P가 제1 히든 레이어(621)로 구현된 경우, 고객 아이템 추천 장치는 차원이 감소된 고객-아이템 연관 벡터(611)를 고객 특징 벡터로 결정할 수 있다. 예를 들어, u번째 고객에 대한 고객-아이템 연관 벡터(611)를 vu라고 나타낼 수 있고, 고객 특징 벡터를 p= PTvu로 나타낼 수 있다. 여기서, u는 1이상의 정수일 수 있다.
또한, 고객 아이템 추천 장치는 아이템 이미지(612)를 입력할 수 있다. 고객 아이템 추천 장치는 컨볼루션 뉴럴 네트워크(631)에 아이템 이미지(612)를 입력함으로써, 아이템 이미지 특징(632)을 추출할 수 있다. 아이템 이미지 특징(632)은 해당 아이템의 시각적 특징이 추상화된 벡터를 나타낼 수 있다. 고객 아이템 추천 장치는 아이템의 시각적 특징이 추상화된 벡터에 차원 축소 매핑 Q를 제2 히든 레이어(633)를 통해 적용함으로써, 아이템 특징 벡터를 획득할 수 있다. 예를 들어, i번째 패션 카테고리의 아이템 이미지(612)로부터 컨볼루션 뉴럴 네트워크(631)를 통해 추출된 이미지 특징(632)을 vi라고 나타낼 수 있고, 아이템 특징 벡터를 q=QTvi라고 나타낼 수 있다. 여기서, i는 1이상의 정수일 수 있다.
고객 아이템 추천 장치는 직렬 레이어(cascade layer)(640)를 통해, 고객 특징 벡터 및 아이템 특징 벡터를 통합할 수 있다. 고객 아이템 추천 장치는 통합된 특징 벡터를 하나의 코딩(coding) 뉴럴 네트워크에 입력할 수 있다. 코딩 뉴럴 네트워크의 중간 레이어(650)의 노드 개수는 상위 레이어가 될 수록 감소할 수 있다. 중간 레이어(650)는 예를 들어, 뉴럴 협력 필터링 레이어(neural collaborative filtering layer)로서, 고객 특징 벡터 p 및 아이템 특징 벡터 q 간의 상호작용(interaction)(예를 들어, 상관관계(correlation))을 학습한 레이어를 나타낼 수 있다.
코딩 뉴럴 네트워크의 출력 레이어(660)는 최종적으로 0과 1 사이의 값을 출력 yui로 출력할 수 있다. 출력 yui는 u번째 고객이 i번째 패션 카테고리에 대응하는 아이템을 구매할 확률을 나타낼 수 있다. 출력 yui가 1에 가까울수록, u번째 고객이 i번째 패션 카테고리의 아이템을 구매할 확률이 높은 것을 나타낼 수 있다.
일 실시예에 따르면, 고객 아이템 추천 장치는 온라인 구매 데이터베이스로부터 패션 아이템 추천 모델(690)을 위한 대량의 트레이닝 데이터를 생성할 수 있다. 또한, 고객 아이템 추천 장치는 역전파 알고리즘(back-propagation algorithm)을 통해, 패션 아이템 추천 모델(690)을 트레이닝시킬 수 있다.
도 7은 일 실시예에 따른 각 고객군에 대한 각 카테고리에 대응하는 아이템에 대응하는 특징 벡터를 각각 구축하는 방법을 나타낸 설명도이다.
우선, 단계(710)에서 고객 아이템 추천 장치는 각 고객 클러스터의 대표 고객이 구매한 아이템의 카테고리를 식별할 수 있다. 각 고객 클러스터의 대표 고객은, 예를 들어, 해당 클러스터를 대표하는 가상의 고객을 나타낼 수 있다. 고객 아이템 추천 장치는 온라인 구매 데이터베이스(701)로부터 해당 고객 클러스터에 속하는 각각의 고객이 구매한 아이템을 검색할 수 있다. 각 고객 클러스터를 대표성을 지닌 하나의 가상 고객으로 가정하여, 고객 아이템 추천 장치는 해당 대표성을 가지는 가상의 고객이 구매한 아이템들을 검색할 수 있다.
그리고 단계(721)에서 고객 아이템 추천 장치는 비패션 카테고리에 대응하는 아이템을 선택할 수 있다. 예를 들어, 고객 아이템 추천 장치는 고객 클러스터를 대표하는 대표 고객이 구매한 아이템들 중 비패션 카테고리에 대응하는 아이템을 선택할 수 있다.
이어서 단계들(722, 725)에서 고객 아이템 추천 장치는 비패션 카테고리 중 클래스 A에 대응하는 아이템 및 클래스 B에 대응하는 아이템 등에 대하여 고객-아이템 연관 벡터에 기초하여 구매 이력 매트릭스를 구축할 수 있다.
그리고 단계들(723, 726)에서 고객 아이템 추천 장치는 협력 필터링 방법(collaborative filtering)을 사용해, 상술한 구매 이력 매트릭스를 분해할 수 있다.
이어서 단계(724, 727)에서 고객 아이템 추천 장치는 구매 이력 매트릭스의 분해를 통해, 클래스 A에 대응하는 아이템의 구매 성향 특징 벡터 및 클래스 B에 대응하는 아이템의 구매 성향 특징 벡터를 산출할 수 있다.
그리고 단계(728)에서 고객 아이템 추천 장치는 비패션 카테고리에 속하는 클래스들의 각각에 대응하는 구매 성향 특징 벡터에 기초하여, 비패션 카테고리에 대응하는 아이템의 구매 성향 특징 벡터를 결정할 수 있다.
또한, 단계(731)에서 고객 아이템 추천 장치는 패션 카테고리에 대응하는 아이템 및 그 아이템 이미지를 선택할 수 있다.
그리고 단계(732)에서 고객 아이템 추천 장치는 해당 아이템 이미지의 이미지 특징을 추출할 수 있다.
이어서 단계(733)에서 고객 아이템 추천 장치는 패션 카테고리 내 개별 클래스에 속하는 아이템의 평균 이미지 특징을 획득할 수 있다. 예를 들어, 고객 아이템 추천 장치는 패션 카테고리 내 개별 클래스(예를 들어, 상의 등)에 속하는 여러 아이템 이미지들에 대한 이미지 특징의 평균을 산출함으로써, 평균 이미지 특징을 획득할 수 있다.
그리고 단계(734)에서 고객 아이템 추천 장치는 패션 카테고리에 해당하는 아이템의 구매 성향 특징 벡터를 결정할 수 있다.
이어서 단계(740)에서 고객 아이템 추천 장치는 상술한 비패션 카테고리에 대응하는 아이템의 구매 성향 특징 벡터 및 패션 카테고리에 대응하는 아이템의 구매 성향 특징 벡터에 기초하여, 해당 고객 클러스터에 대한 구매 성향 모델을 생성할 수 있다.
도 8은 일 실시예에 따른 오프라인 상점 구매 데이터베이스에 기초한 구매 성향 모델의 구축 과정을 도시한 도면이다.
도 8은 오프라인 상점 구매 데이터베이스(810)를 통한 구매 성향 모델(830)의 구축을 설명한다. 일 실시예에 따른 오프라인 상점 구매 데이터베이스(810)는 고객 ID, 고객의 이미지 및 고객의 구매기록 등을 포함할 수 있다.
고객 이미지에 대한 이미지 분석을 통해 획득될 수 있는 정보는 고객의 외모 정보, 및 고객의 구매 행위 정보 등을 포함할 수 있다. 고객의 외모 정보는 고객의 연령, 성별, 헤어스타일, 옷 특징, 헤어 액세서리 특징, 액세서리의 브랜드 특징, 인종, 시선(gaze direction), 및 표정(facial expression) 등을 포함할 수 있다. 고객의 구매 행위 정보는 고객의 오프라인 상점 내 발자취, 및 고객이 오프라인 상점내의 서로 다른 구역에서 머무른 시간, 상점 내 이동 경로, 대화, 및 아이템과의 상호 작용 등을 포함할 수 있다.
고객 아이템 추천 장치는 고객 이미지로부터 획득된 정보에 기초하여, 고객들을 복수의 클러스터들로 분류할 수 있다. 예를 들어, 고객 아이템 추천 장치는 구매 행위 정보(예를 들어, 고객-아이템 연관 벡터)로부터 고객 특징 벡터를 추출할 수 있고, 고객 특징 벡터에 기초하여 고객들을 클러스터링할 수 있다.
고객 아이템 추천 장치는 복수의 고객 클러스터들의 각각에 대해 카테고리 별 구매 데이터에 기초하여, 해당 카테고리의 특징 벡터를 산출할 수 있다. 예를 들어, 구매 성향 모델 데이터베이스(820)는, 고객 특징 벡터에 따라 분류된 고객 클러스터에 대응하는 구매 성향 모델(830)을 포함할 수 있다. 각각의 고객 클러스터 별로, 고객 아이템 추천 장치는 서로 다른 카테고리의 아이템에 대한 구매 데이터의 통계를 획득할 수 있다. 고객 아이템 추천 장치는 서로 다른 카테고리의 아이템 별로 특징 벡터를 산출할 수 있다.
각 고객 클러스터에 대해 구축된 구매 성향 모델(830)은, 패션 카테고리에 대응하는 아이템의 특징 벡터(832), 고객 이미지의 특징 벡터(833), 비패션 카테고리에 대응하는 아이템의 특징 벡터(834) 등을 포함할 수 있다. 각 구매 성향 모델(830)에는 구매 성향 모델 ID(831)가 매핑될 수 있다.
일 실시예에 따르면, 고객 아이템 추천 장치는 대상 고객에 대해 고객 이미지를 획득할 수 있다. 고객 아이템 추천 장치는 고객 이미지로부터 해당 고객의 이미지 특징을 추출할 수 있다. 고객의 이미지 특징은, 예를 들어, 고객의 얼굴에 대한 이미지 특징, 및 고객이 착용한 개별 아이템에 대한 아이템 이미지의 이미지 특징 등을 포함할 수 있다. 고객 아이템 추천 장치는 추출된 이미지 특징에 기초하여, 구매 성향 모델 데이터베이스(820)로부터 각 구매 성향 모델(830)에 포함된 패션 카테고리에 대응하는 아이템의 특징 벡터, 고객 이미지의 특징 벡터, 비패션 카테고리에 대응하는 아이템의 특징 벡터 등에 기초하여 해당 고객에게 적합한 구매 성향 모델(830)을 검색할 수 있다. 고객 아이템 추천 장치는 고객의 이미지 특징에 기초하여, 패션 카테고리에 대응하는 아이템의 특징 벡터, 고객 이미지의 특징 벡터, 비패션 카테고리에 대응하는 아이템의 특징 벡터에 따른, 고객 및 각 구매 성향 모델 간의 상관도(correlation level)을 산출할 수 있다. 고객 아이템 추천 장치는 복수의 구매 성향 모델들 중 해당 고객에 대해 가장 높은 상관도를 가지는 구매 성향 모델을 선택할 수 있다. 상관도는 임의의 고객 및 임의의 구매 성향 모델이 서로에 대해 관련된 정도를 나타낼 수 있다. 상관도는, 예를 들어, 구매 성향 모델의 특징 벡터 및 고객이 착용한 아이템의 특징 벡터 간에 산출된 내적들의 평균일 수 있으나, 이로 한정하는 것은 아니다.
예를 들어, 고객 아이템 추천 장치는 해당 고객의 이미지 특징 벡터 및 모든 구매 성향 모델들 각각의 시각적 특징 관련 벡터 간의 내적을 계산할 수 있다. 고객 아이템 추천 장치는 개별 구매 성향 모델들마다 획득된 내적 중 가장 큰 내적에 대응하는 구매 성향 모델(830)을 해당 고객에게 적합한 구매 성향 모델(830)로 결정할 수 있다.
도 9는 일 실시예에 따른 고객 이미지를 분할하도록 설계된 뉴럴 네트워크를 설명하는 도면이다.
고객 아이템 추천 장치는 영상 분할 모델(900)에 기초하여, 고객 이미지(901)를 분할할 수 있다. 예를 들어, 고객 아이템 추천 장치는 영상 분할 모델(900)에 기초하여, 고객 이미지(901)를 배경 및 아이템 이미지로 분할할 수 있다. 영상 분할 모델(900)은 도 9에 도시된 바와 같은 기계 학습 구조로 구현될 수 있으나, 이로 한정하는 것은 아니다. 예를 들어, 영상 분할 모델(900)은 뉴럴 네트워크를 포함할 수 있다.
영상 분할 모델(900)은, 고객 이미지(901)를 수신하는 컨볼루션 네트워크(910)를 포함할 수 있다. 컨볼루션 네트워크(910)에 기초하여 추출된 특징 데이터는 풀링 레이어(920)로 전파(propagate)될 수 있다. 풀링 레이어는 복수의 컨볼루션 네트워크들(931, 932, 933, 934)와 연결될 수 있다. 복수의 컨볼루션 네트워크들(931, 932, 933, 934)의 각각은 서로 다른 크기의 커널로 구성될 수 있다. 영상 분할 모델(900)은 복수의 컨볼루션 네트워크들(931, 932, 933, 934)의 출력을 업 샘플링(940)하도록 설계될 수 있다.
또한, 컨볼루션 네트워크(910)에 기초하여 추출된 특징 데이터는 다른 컨볼루션 네트워크(960)로 전파될 수 있다. 컨볼루션 네트워크(960)의 출력은 완전 연결 레이어들(fully connected layer)(971, 972)로 전파될 수 있다. 완전 연결 레이어(972)의 출력은 트레이닝 과정에서 보조 손실 함수를 산출하는데 사용될 수 있다.
완전 연결 레이어(972)의 출력 및 업 샘플링(940)의 출력은 출력 컨볼루션 네트워크(950)로 전파될 수 있다. 출력 컨볼루션 네트워크(950)는 고객 이미지(901)가 분할된 이미지(909)를 생성할 수 있다. 예를 들어, 고객 이미지(901)가 분할된 이미지(909)는, 고객 이미지(901)를 구성하는 화소들의 각각이 속하는 카테고리 및 클래스를 나타낼 수 있다. 고객 이미지(901)가 분할된 이미지(909)는 배경, 모자, 헤어, 얼굴, 선글라스, 목도리, 상의, 오버스커트(over skirt), 외투, 장갑, 바지, 원피스, 미니스커트, 왼팔, 오른팔, 왼다리, 오른다리, 왼발, 오른발, 양말, 가방, 헤어 액세서리, 및 손목시계 등으로 화소를 분류할 수 있다.
고객 아이템 추천 장치는 화소 분류 결과에 기초하여, 고객 이미지(901)로부터 서로 다른 패션 카테고리에 대응하는 아이템에 대응하는 이미지 윈도우(image window)를 추출할 수 있다. 또한, 고객 아이템 추천 장치는 개별 아이템에 대응하는 이미지 윈도우로부터, 배경으로 분류된 화소를 제거함으로써, 방해 요소(예를 들어, 배경 오브젝트의 색과 무늬 등)를 제거할 수 있다. 이미지 윈도우는 부분 이미지라고 나타낼 수도 있다.
도 10은 일 실시예에 따른 고객 이미지로부터 분할된 이미지와 아이템 이미지를 매칭하도록 설계된 뉴럴 네트워크를 도시하는 도면이다.
고객 아이템 추천 장치는 대상 고객의 고객 이미지를 획득한 경우에 응답하여, 대상 고객이 착용한 아이템(예를 들어, 옷)에 대응하는 부분 이미지(1001)를 추출할 수 있다. 예를 들어, 도 9에서 상술한 바와 같이, 고객 아이템 추천 장치는 개별 아이템에 대응하는 이미지 윈도우를 부분 이미지(1001)로서 추출할 수 있다. 일 실시예에 따른 고객 아이템 추천 장치는 대상 고객에 대해 선택된 구매 성향 모델에 의해 관리되는 패션 카테고리에 대응하는 아이템 이미지(1002)들로부터, 부분 이미지(1001)에 대해 스타일이 가장 적합한 이미지를 검색할 수 있다.
참고로, 착용된 상태의 의류 이미지의 특징과 온라인 구매 사이트에 전시된 상태의 의류 이미지의 특징은, 서로 동일한 의류 스타일을 가지더라도, 현저한 차이를 나타낼 수 있다. 일 실시예에 따른 고객 아이템 추천 장치는 스타일 비교 모델(style comparison model)(예를 들어, 뉴럴 네트워크)에 기초하여, 임의의 고객 클러스터의 고객 이미지(예를 들어, 부분 이미지(1001)) 및 임의의 패션 카테고리에 대응하는 아이템 이미지(1002) 간의 스타일 적합도를 평가할 수 있다. 스타일 비교 모델은, 두 아이템 이미지 간의 스타일 유사성(1090)을 나타내는 피팅 점수를 출력하도록 트레이닝된 모델을 나타낼 수 있다.
도 10에 도시된 바와 같이, 고객 아이템 추천 장치는 멀티 테스킹 트윈 컨볼루션 네트워크 구조(multitasking twin convolutional network structure)(1010)를 가지는 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크의 적어도 일부 네트워크(1011)는 고객 이미지(예를 들어, 부분 이미지(1001))로부터 특징을 추출하는 제1 브랜치 컨볼루션 네트워크 및 임의의 패션 카테고리에 대응하는 아이템 이미지(1002)로부터 특징을 추출하는 제2 브랜치 컨볼루션 네트워크를 포함할 수 있다. 제1 브랜치 컨볼루션 네트워크 및 제2 브랜치 컨볼루션 네트워크는 서로 동일한 파라미터를 공유할 수 있다. 뉴럴 네트워크의 파라미터는 예를 들어, 연결 가중치일 수 있다.
뉴럴 네트워크의 출력 레이어(1012)에서, 제1 브랜치 컨볼루션 네트워크는 부분 이미지(1001)로부터 패션 카테고리에 대응하는 아이템의 클래스(예를 들어, 상의, 하의, 가방, 및 선글라스 등)(1081)를 출력할 수 있다. 제2 브랜치 컨볼루션 네트워크는 출력 레이어(1012)에서, 아이템 이미지(1002)로부터 패션 카테고리에 대응하는 아이템의 클래스(1082)를 출력할 수 있다. 아이템 이미지(1002)의 클래스(1081) 및 부분 이미지(1001)의 클래스(1082)는 서로 동일하거나, 서로 다를 수 있다.
고객 아이템 추천 장치는 또한, 제1 브랜치 컨볼루션 네트워크 및 제2 브랜치 컨볼루션 네트워크의 출력 레이어(1012)는 각각 임베딩 벡터들(embedding vectors)(1071, 1072)를 출력할 수 있다. 일 실시예에 따른 고객 아이템 추천 장치는 두 임베딩 벡터들(1071, 1072)에 기초하여 부분 이미지(1001) 및 아이템 이미지(1002) 간의 스타일 유사성(1090)을 산출할 수 있다. 예를 들어, 고객 아이템 추천 장치는 두 임베딩 벡터들(1071, 1072) 간의 내적을 계산할 수 있다. 두 임베딩 벡터들(1071, 1072) 간의 내적은 두 이미지들 간의 스타일 유사성(1090)을 나타낼 수 있다. 예를 들어, 두 이미지들 간의 스타일 유사성(1090)은 피팅 점수(fitting score)로 표현될 수 있다.
또한, 고객 아이템 추천 장치는 하기 수학식 1에 따른 손실 함수에 기초하여, 스타일 비교 모델을 트레이닝시킬 수 있다. 예를 들어, 고객 아이템 추천 장치는 하기 수학식 1에 따른 손실에 기초하여 스타일 비교 모델의 파라미터를 업데이트함으로써, 스타일 비교 모델을 트레이닝시킬 수 있다.
[수학식 1]
상술한 수학식 1에서, Lpos 및 Lneg는 하기 수학식 2 및 수학식 3과 같이 나타낼 수 있다.
[수학식 2]
[수학식 3]
상술한 수학식 1 내지 3에서, (Iq, Ip)의 이미지 페어는 동일한 스타일을 가지고, (Iq, In)의 이미지 페어는 다른 스타일을 가지는 것으로 가정할 수 있다. 고객 아이템 추천 장치는 이미지들 Iq, Ip, In의 각각을 임베딩 레이어로 매핑함으로써, 임베딩 벡터들 fq, fp, fn을 획득할 수 있다. 수학식 1에서 상술한 손실 함수 Loss는 2개의 페널티들(penalties)을 가질 수 있다. Lpos는 지나치게 떨어진 양의 페어(positive pair)에 대한 페널티를 부과하는(penalize) 함수를 나타내고, Lneg는 마진 m보다 지나치게 가까운 음의 페어(negative pair)에 대한 페널티를 부과하는 함수를 나타낼 수 있다. StyleSim(fp, fq)는 fp 및 fq 간의 유사성(similarity)(예를 들어, 벡터 내적)을 산출하는 함수를 나타낼 수 있고, StyleSim(fn, fq)는 fn 및 fq 간의 유사성을 산출하는 함수를 나타낼 수 있다.
도 11은 일 실시예에 따른 식별된 고객 구매 성향에 따라 아이템을 추천하는 방법을 도시한 흐름도이다.
일 실시예에 따르면 고객 아이템 추천 장치는 구매 성향 모델에서 각 카테고리에 대응하는 아이템에 대해, 해당 아이템의 아이템 이미지와 고객 이미지를 매칭할 수 있다. 예를 들어, 도 10에서 상술한 바와 같이, 고객 아이템 추천 장치는 뉴럴 네트워크에 기초하여, 아이템 이미지 및 고개 이미지 간의 피팅 점수를 산출할 수 있다. 고객 아이템 추천 장치는 산출된 피팅 점수에 기초하여 추천 아이템을 결정할 수 있다.
우선, 단계(1110)에서 고객 아이템 추천 장치는, 추천할 아이템의 카테고리를 결정할 수 있다. 예를 들어, 고객 아이템 추천 장치는 대상 고객으로부터 아이템 카테고리를 지정하는 사용자 입력을 획득할 수 있고, 사용자 입력에 기초하여 아이템 카테고리를 결정할 수 있다. 다른 예를 들어, 고객 아이템 추천 장치는 개별 카테고리에 대한 구매 빈도, 고객이 위치한 구매 구역, 및 상점의 판매 전략 등에 기초하여 개별 카테고리에 대한 신뢰도(confidence level)를 산출할 수 있고, 가장 높은 신뢰도를 가지는 카테고리를 결정할 수 있다. 또 다른 예를 들면, 고객 아이템 추천 장치는 카테고리 추천을 위한 카테고리 모델(category model)을 구축할 수 있다. 고객 아이템 추천 장치는 뉴럴 네트워크에 기초한 카테고리 모델을 이용하여, 고객에게 추천할 카테고리를 예측(predict)할 수 있다.
그리고 단계(1120)에서 고객 아이템 추천 장치는 아이템 정보를 검색할 수 있다. 일 실시예에 따른 고객 아이템 추천 장치는 아이템 데이터베이스로부터, 상술한 단계(1110)에서 결정된 카테고리에 대응하는 아이템 정보를 검색할 수 있다. 아이템 데이터베이스에 저장된 아이템 정보는, 해당 아이템의 속성을 추상적으로 설명하는 특징 벡터를 포함할 수 있다. 고객 아이템 추천 장치는 협력 필터링 알고리즘에 따라 매트릭스를 분해함으로써 아이템의 특징 벡터를 획득할 수 있다. 아이템의 특징 벡터를 획득하는 계산법은 "Matrix Factorization Techniques for Recommender Systems"를 참고할 수 있다.
이어서 단계(1130)에서 고객 아이템 추천 장치는 고객의 구매 성향 모델로부터 아이템 카테고리에 대응하는 구매 성향 특징 벡터를 식별할 수 있다. 일 실시예에 따르면, 고객 아이템 추천 장치는 대상 고객에 대응하는 구매 성향 모델을 식별할 수 있다. 예를 들어, 고객 아이템 추천 장치는 구매 성향 모델의 특징 벡터 및 고객이 착용한 아이템의 특징 벡터 간의 내적(inner product)을 산출하고, 산출된 내적들의 평균을 결정할 수 있다. 고객 아이템 추천 장치는 내적들의 평균이 가장 높은 구매 성향 모델을 해당 고객에 대응하는 구매 성향 모델로 결정할 수 있다. 고객 아이템 추천 장치는 구매 성향 모델로부터, 단계(1110)에서 결정된 카테고리에 대응하는 구매 성향 특징 벡터를 결정할 수 있다.
그리고 단계(1140)에서 고객 아이템 추천 장치는 고객과 아이템의 피팅 점수를 계산할 수 있다. 예를 들어, 고객 아이템 추천 장치는 단계(1130)에서 식별된 구매 성향 특징 벡터 및 단계(1120)에서 획득된 아이템의 특징 벡터 사이의 내적을 피팅 점수로서 계산할 수 있다.
이어서 단계(1150)에서 고객 아이템 추천 장치는 고객에게 피팅 점수가 가장 높은 아이템 k건을 추천할 수 있다. 예를 들어, 고객 아이템 추천 장치는 가장 높은 피팅 점수를 가지는 아이템부터 k번째 높은 피팅 점수를 가지는 아이템을 추천 아이템으로 결정할 수 있다. k는 1이상의 정수일 수 있다.
고객 아이템 추천 장치는 추천할 아이템을 결정한 경우에 응답하여, 아래 도 12 내지 도 15에 설명된 예시 등을 통해 추천 정보를 제공할 수 있다.
도 12는 일 실시예에 따른 오프라인 상점에 방문한 고객의 증강 디스플레이 장치에 아이템을 추천하는 방법을 도시한 흐름도이다.
도 12에서 고객 아이템 추천 장치는 서버(1210)로 구현될 수 있다.
우선, 단계(1211)에서 서버(1210)는 고객을 탐지하고 추적할 수 있다. 예를 들어, 서버(1210)는 오프라인 상점에 배치된 카메라를 통해 고객을 탐지할 수 있다.
그리고 단계(1212)에서 서버(1210)는 고객 단말(1220)(customer terminal)로 푸시 요청을 전송할 수 있다. 고객 단말(1220)은, 예를 들어, 증강 현실 장치(augmented reality device)일 수 있다. 증강 현실 장치는 증강 현실을 제공하는 장치로서, 예를 들어, 증강 현실 디스플레이를 포함하는 헬멧, 안경, 및 핸드폰 등일 수 있다.
이어서 단계(1221)에서 고객 단말(1220)의 증강 현실 어플리케이션이 푸시 요청을 감지할 수 있다. 예를 들어, 고객 단말(1220)은 무선 통신을 통해, 서버(1210)로부터 송신된 푸시 요청을 수신할 수 있다.
그리고 단계(1222)에서 고객 단말(1220)은 증강 현실 관리 애플리케이션에 의해 푸시 요청을 수락할 지 여부를 결정할 수 있다. 고객 단말(1220)은 푸시 요청을 수락하는 경우에 응답하여, 서버(1210)로 수락 여부를 지시하는 정보를 전송할 수 있다. 서버(1210)는 푸시 요청의 수락 여부를 지시하는 정보를 고객 단말(1220)로부터 수신할 수 있다.
이어서 단계(1213)에서 서버(1210)는 고객 단말(1220)에 의해 푸시 요청이 수락된 경우에 응답하여, 고객 이미지에 기초하여 구매 성향을 예측할 수 있다. 예를 들어, 서버(1210)는 상술한 바와 같이 같이 고객 이미지로부터 식별된 고객에 대응하는 구매 성향 모델을 결정할 수 있다.
그리고 단계(1214)에서 서버(1210)는 아이템을 추천할 수 있다. 예를 들어, 서버(1210)는 구매 성향 모델에 기초하여, 해당 고객에게 추천할 아이템의 카테고리 및 클래스 등을 결정할 수 있다. 서버(1210)는 아이템 데이터베이스(1280)로부터, 구매 성향 모델에 대한 피팅 점수가 높은 아이템을 검색할 수 있다. 서버(1210)는 피팅 점수가 높은 아이템을 추천 아이템으로 결정하고, 추천 아이템과 연관된 정보를 고객 단말(1220)로 전송할 수 있다.
이어서 단계(1215)에서 서버(1210)는 고객 추적을 계속할 수 있다. 그리고 단계(1216)에서 서버(1210)는 고객을 추적하던 중, 고객의 상태에 기초하여 추천 정보를 업데이트할 수 있다. 예를 들어, 고객이 오프라인 상점 내 과일 구역에 위치할 시, 과일 카테고리에 해당하는 아이템을 추천할 수 있다. 다른 예를 들어, 고객이 오프라인 상점 내 문서 구역에 위치할 시, 문서 카테고리에 대응하는 아이템을 추천할 수 있다.
그리고 단계(1223)에서 고객 단말(1220)은 서버(1210)로부터 아이템 정보를 제공받을 수 있다. 아이템 정보는 서버(1210)에 의해 추천된 아이템에 관련된 정보를 나타낼 수 있다. 고객 단말(1220)은 아이템 정보를 증강 현실을 통해 시각화함으로써, 아이템 정보를 고객에게 제공할 수 있다.
도 13은 일 실시예에 따른 오프라인 상점에 방문한 고객 주위의 디스플레이에 아이템 추천과 연관된 정보를 제공하는 방법을 도시한 흐름도이다.
도 13에 도시된 예시에서 고객 아이템 추천 장치는 서버로 구현될 수 있다.
우선, 단계(1311)에서 서버(1310)는 고객을 탐지하고 추적할 수 있다. 예를 들어, 서버(1310)와 연결된 카메라는 오프라인 상점 내 물품 선반 근처에 설치될 수 있다.
그리고 단계(1312)에서 서버(1310)는 구매 성향을 예측할 수 있다. 예를 들어, 서버(1310)는 단계(1311)에서 고객이 탐지된 경우에 응답하여, 고객 이미지에 기초하여 고객에 대응하는 구매 성향 모델을 결정할 수 있다.
이어서 단계(1313)에서 서버(1310)는 아이템을 추천할 수 있다. 예를 들어, 서버(1310)는 아이템 데이터베이스(1380)로부터 구매 성향 모델에 대응하는 아이템을 검색하여, 검색된 아이템을 추천 아이템으로 결정할 수 있다. 서버(1310)는 추천 아이템에 대한 아이템 정보를 추가 디스플레이(1320)로 전송할 수 있다. 서버(1310)는 예를 들어, 오프라인 상점 내 고객의 위치를 추정할 수 있고, 추정된 고객의 위치로부터 임계 거리 내 배치된 추가 디스플레이(1320)로 추천 아이템에 대한 아이템 정보를 전송할 수 있다.
그리고 단계(1314)에서 서버(1310)는 고객 추적을 계속할 수 있다. 이어서 단계(1315)에서 서버(1310)는 아이템 추천을 업데이트할 수 있다. 예를 들어, 서버(1310)는 추적되는 고객의 상태 변화(예를 들어, 오프라인 상점 내 고객의 위치 변경 등)에 기초하여, 고객에 대한 아이템 추천을 업데이트할 수 있다.
또한, 단계(1321)에서 추가 디스플레이(1320)는 아이템 정보를 시각화할 수 있다. 예를 들어, 추가 디스플레이(1320)는 오프라인 상점 내 설치된 디스플레이로서, 서버(1310)와 연결될 수 있다. 추가 디스플레이(1320)는 서버(1310)에 의해 결정된, 추천 아이템에 대한 아이템 정보를 시각화할 수 있다.
도 14는 일 실시예에 따른 오프라인 상점 내 판매 보조원이 장착한 증강 현실 디스플레이 장치에 고객 정보 및 아이템 추천을 제공하는 방법을 도시한 흐름도이다.
도 14에서 고객 아이템 추천 장치는 서버(1410)로 구현될 수 있다.
우선, 단계(1411)에서 서버(1410)는 고객을 탐지하고 추적할 수 있다.
그리고 단계(1412)에서 서버(1410)는 고객의 구매 성향을 예측할 수 있다. 예를 들어, 서버(1410)는 오프라인 상점 내 설치된 카메라에 의해 고객이 탐지된 경우에 응답하여, 고객 이미지에 기초하여 해당 고객에 대응하는 구매 성향 모델을 결정할 수 있다.
이어서 단계(1421)에서 판매원 단말(1420)은 고객 정보를 제공할 수 있다. 판매원 단말(1420)은 증강 현실 장치로 구현될 수 있고, 도 14에서는 증강 현실 안경으로 설명된다. 판매원 단말(1420)은 판매원에게 고객 이미지에 기초하여 식별된 고객 정보를 시각화함으로써, 판매원을 보조할 수 있다. 판매원 단말(1420)은 업무 단말이라고 나타낼 수도 있다.
이어서 단계(1413)에서 서버(1410)는 아이템을 추천할 수 있다. 예를 들어, 서버(1410)는 아이템 데이터베이스(1480)로부터 해당 고객에 대해 선택된 구매 성향 모델에 대응하는 아이템을 검색할 수 있고, 검색된 아이템을 추천 아이템으로 결정할 수 있다.
그리고 단계(1422)에서 판매원 단말(1420)은 아이템 정보를 제공할 수 있다. 예를 들어, 서버(1410)는 판매원 단말(1420)로, 추천 아이템에 관련된 아이템 정보를 제공할 수 있다. 판매원 단말(1420)은 서버(1410)로부터 제공된 추천 아이템에 관련된 아이템 정보를 시각화할 수 있다.
이어서 단계(1414)에서 서버(1410)는 고객을 계속해서 추적할 수 있다. 그리고 단계(1415)에서 서버(1410)는 아이템 추천을 업데이트할 수 있다. 예를 들어, 판매원 앞에 위치한 고객의 상태에 변경이 있는 경우에 응답하여, 서버(1410)는 아이템 추천을 업데이트할 수 있다.
판매원 단말(1420)을 장착한 판매원 대신, 로봇이 오프라인 상점 내 배치될 수도 있다. 로봇은 이미지를 시각화하거나, 고객과 대화하는 기능을 수행할 수 있다. 로봇은 도 14에서 설명된 방법과 유사하게, 추천 아이템에 관련된 아이템 정보를 고객에게 제공할 수 있다.
따라서, 일 실시예에 따른 고객 아이템 추천 장치는 편리한 쇼핑 서비스를 고객에게 제공할 수 있다.
도 15는 일 실시예에 따른 브라우저(browser)에 나타난 얼굴 이미지 상에 고객 정보 및 아이템 추천과 연관된 정보를 제공하는 방법을 도시한 흐름도이다.
도 15에서 고객 아이템 추천 장치는, 사용자 단말(1510)로 구현될 수 있다.
우선, 단계(1511)에서 사용자 단말(1510)은 고객 이미지를 획득할 수 있다. 사용자 단말(1510)은 사용자 단말(1510)의 브라우저에 디스플레이된 복수의 고객들 중 적어도 하나의 고객에 대한 고객 이미지를 획득할 수 있다. 예를 들어, 사용자 단말(1510)은, 복수의 고객들 중 적어도 일부 고객을 지정하는 사용자 입력에 응답하여, 적어도 일부 고객을 선택할 수 있다. 사용자 단말(1510)은 선택된 적어도 일부 고객에 대한 고객 이미지를 획득할 수 있다. 사용자 단말(1510)은 고객 장치 또는 판매원 장치일 수 있으나, 이로 한정하는 것은 아니다.
그리고 단계(1512)에서 사용자 단말(1510)은 고객을 식별할 수 있다. 예를 들어, 사용자 단말(1510)은 획득된 고객 이미지로부터, 고객 이미지에 나타난 고객을 식별할 수 있다.
이어서 단계(1513)에서 사용자 단말(1510)은 구매 성향을 식별할 수 있다. 예를 들어, 사용자 단말(1510)은 고객 이미지에 기초하여, 해당 고객에 대응하는 구매 성향 모델을 결정할 수 있다.
그리고 단계(1514)에서 사용자 단말(1510)은 구매 성향을 시각화할 수 있다. 예를 들어, 사용자 단말(1510)은 해당 고객에 대응하는 구매 성향 모델을 순서대로 브라우저(1590)에 디스플레이할 수 있다. 도 15에서 사용자 단말(1510)은 성향 A가 95%, 성향 B가 85%, 성향 C가 83%로 고객에게 적합하다고 시각화할 수 있다.
이어서 단계(1515)에서 사용자 단말(1510)은 아이템을 추천할 수 있다. 예를 들어, 사용자 단말(1510)은 서비스 제공자 서버(1520)에 저장된 데이터베이스들(1521, 1522, 1523)로부터 고객의 구매 성향 모델에 부합하는 추천 아이템을 결정할 수 있다.
그리고 단계(1516)에서 사용자 단말(1510)은 추천 아이템을 시각화할 수 있다. 사용자 단말(1510)은 고객의 구매 성향 모델에 부합하는 적어도 하나의 추천 아이템을, 피팅 점수에 따라 순서대로 사용자 단말(1510)의 브라우저(1590)에 디스플레이할 수 있다. 예를 들어, 도 15에서 사용자 단말(1510)은 고객에게 피팅되는 정보를 상품 A가 98%, 상품 B가 87%, 상품 C가 54%로 시각화할 수 있다.
도 16은 일 실시예에 따른 고객 아이템 추천 장치의 구성을 도시한 블록도이다.
고객 아이템 추천 장치(1600)는 이미지 획득부(1610), 프로세서(1620), 및 메모리(1630)를 포함할 수 있다.
이미지 획득부(1610)는 고객 이미지를 획득할 수 있다. 예를 들어, 고객 이미지는 오프라인 상점에 설치된 이미지 센서(예를 들어, 카메라)일 수 있고, 대상 고객을 추적하면서 대상 고객에 대응하는 고객 이미지를 연속적으로 촬영할 수 있다.
프로세서(1620)는 상기 획득된 고객 이미지에 기초하여 상기 고객에 대한 추천 아이템을 결정하고, 상기 결정된 추천 아이템과 관련된 연관 정보를 제공할 수 있다. 프로세서(1620)는 도 1 내지 도 15에서 상술한 방법의 동작들 중 적어도 일부를 수행할 수 있다.
메모리(1630)는 고객 아이템 추천 방법을 수행하는데 요구되는 데이터를 임시적으로 또는 영구적으로 저장할 수 있다. 예를 들어, 메모리(1630)는 구매 성향 모델, 이미지 인식 모델, 패션 아이템 추천 모델, 영상 분할 모델, 스타일 비교 모델, 및 카테고리 모델 등을 포함할 수 있다.
일 실시예에 따른 고객 아이템 추천 장치(1600)는 대량의 고객 구매 이력에 기초하여, 임의의 고객 클러스터에 대한 구매 성향 모델을 구축할 수 있다. 고객 아이템 추천 장치(1600)는 임의의 대상 고객을 카메라로 촬영하고, 딥 러닝 기법을 이용하여 대상 고객의 시각적 특징을 분석함으로써, 대상 고객에게 가장 적합한 구매 성향 모델을 검색할 수 있다. 고객 아이템 추천 장치(1600)는 검색된 구매 성향 모델에 기초하여, 대상 고객에게 추천하고자 하는 아이템을 결정할 수 있다.
또한, 고객 아이템 추천 장치(1600)는 추천 아이템과 연관된 연관 정보를 오프라인 상점에서 고객이 착용한 증강 현실 장치로 전송할 수 있다. 또한, 고객 아이템 추천 장치(1600)는 오프라인 상점의 판매원의 장치로 추천 아이템에 대한 정보를 제공함으로써 판매원을 보조할 수 있다. 아울러, 고객 아이템 추천 장치(1600)는 사용자 장치의 브라우저에 시각화되는 이미지에 고객의 구매 성향 정보에 기초한 증강 현실을 제공할 수도 있다.
따라서, 고객 아이템 추천 장치(1600)는 임의의 고객에게 추천 아이템에 대한 정보를 제공하기 위해, 해당 고객의 구매 데이터 기록을 요구하지 않는다. 또한, 고객 아이템 추천 장치(1600)는 고객이 데이터를 입력하거나 상품을 선택하는 것을 요구하지 않는다. 고객 아이템 추천 장치(1600)는 패션 카테고리에 대응하는 아이템과 같이 시각적 특징을 포함한 아이템을 추천할 수 있고, 더 나아가 시각적 특징을 가지지 않는 비패션 카테고리에 대응하는 아이템도 추천할 수 있다.
일 실시예에 따르면 고객 아이템 추천 장치(1600)는 개별 고객에 대해 식별된 구매 성향에 따라, 증강 현실 쇼핑 애플리케이션에서 고객에게 고품질로 관련된 상품과 서비스에 대한 개인화된 추천 정보를 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1600: 고객 아이템 추천 장치
1610: 이미지 획득부
1620: 프로세서
1630: 메모리

Claims (20)

  1. 고객 아이템 추천 방법에 있어서,
    카메라에 의해 고객(customer)에 대응하는 고객 이미지(customer image)를 획득하는 단계;
    프로세서가 상기 획득된 고객 이미지로부터 상기 고객의 부분 이미지 특징 벡터를 추출하는 단계;
    상기 프로세서가 구매 성향 모델 데이터베이스의 복수의 구매 성향 모델 각각에 대하여, 해당 구매 성향 모델에 대해 결정된 특징 벡터와 상기 부분 이미지 특징 벡터 사이의 유사성에 기초하여 상기 고객과 상기 해당 구매 성향 모델 사이의 상관도를 산출하는 단계;
    상기 프로세서가 상기 복수의 구매 성향 모델 중 상관도가 가장 높게 산출되는 구매 성향 모델을 선택하는 단계;
    상기 프로세서가 상기 선택된 구매 성향 모델에 기초하여 상기 고객에 대한 추천 아이템(recommended item)을 결정하는 단계; 및
    디스플레이에 의해 상기 결정된 추천 아이템과 관련된 연관 정보를 출력하는 단계
    를 포함하고,
    상기 고객과 상기 해당 구매 성향 모델 사이의 상관도를 산출하는 단계는,
    상기 프로세서가 상기 해당 구매 성향 모델에 대해 결정된 특징 벡터와 상기 부분 이미지 특징 벡터 간에 산출된 내적 값의 평균을 상기 상관도로 산출하는 단계
    를 포함하는
    고객 아이템 추천 방법.
  2. 제1항에 있어서,
    상기 추천 아이템을 결정하는 단계는,
    상기 획득된 고객 이미지에 기초하여, 상기 고객의 구매 성향(purchase tendency)을 식별하는 단계;
    상기 식별된 구매 성향에 기초하여, 상기 고객에 대한 상기 추천 아이템을 결정하는 단계
    를 포함하는 고객 아이템 추천 방법.
  3. 제1항에 있어서,
    상기 고객 이미지를 획득하는 단계는,
    적어도 하나의 카메라를 이용하여, 적어도 하나의 고객 이미지를 획득하는 단계
    를 포함하고,
    상기 적어도 하나의 카메라의 시야(FOV, field of view)는 오프라인 상점(physical store)에서 구매 구역의 적어도 일부를 커버(cover)하는,
    고객 아이템 추천 방법.
  4. 제1항에 있어서,
    상기 고객 이미지를 획득하는 단계는,
    사용자 단말에 나타난 복수의 고객들 중 적어도 하나의 고객에 대한 고객 이미지를 획득하는 단계
    를 포함하는 고객 아이템 추천 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 구매 성향 모델 데이터베이스는,
    복수의 구매 성향 모델들
    을 포함하고,
    상기 복수의 구매 성향 모델들 각각은,
    패션 카테고리에 대응하는 아이템의 특징 벡터, 고객 이미지의 특징 벡터, 및 비패션 카테고리에 대응하는 아이템의 특징 벡터
    를 포함하며,
    상기 상관도(correlation level)를 산출하는 단계는,
    상기 고객에 대한 상기 부분 이미지 특징 벡터에 기초하여, 패션 카테고리에 대응하는 아이템의 특징 벡터, 고객 이미지의 특징 벡터, 비패션 카테고리에 대응하는 아이템의 특징 벡터에 따른, 고객 및 각 구매 성향 모델 간의 상관도(correlation level)를 산출하는 단계,
    를 포함하는 고객 아이템 추천 방법.
  8. 제1항에 있어서,
    구매 성향 모델을 온라인 구매 데이터베이스를 통해 구축함으로써, 상기 구매 성향 모델 데이터베이스를 구축하는 단계
    를 더 포함하는 고객 아이템 추천 방법.
  9. 제8항에 있어서,
    상기 구매 성향 모델 데이터베이스를 구축하는 단계는,
    고객의 온라인 구매 기록에 대한 통계를 학습하는 단계;
    고객의 아이템 구매 이력을 나타내는 구매 이력 매트릭스가 분해된 결과로부터 고객의 고유값을 결정하는 단계;
    상기 고객의 고유값에 기초하여, 고객들을 복수의 고객 클러스터들로 분류하는 단계; 및
    상기 복수의 고객 클러스터들의 각각에 대해 카테고리 별 구매 데이터에 기초하여 해당 카테고리의 고유값을 결정하는 단계
    를 포함하는 고객 아이템 추천 방법.
  10. 제1항에 있어서,
    오프라인 구매 성향 모델을 오프라인 상점 구매 데이터베이스를 통해 구축함으로써, 상기 구매 성향 모델 데이터베이스를 구축하는 단계
    를 더 포함하는 고객 아이템 추천 방법.
  11. 제10항에 있어서,
    상기 구매 성향 모델 데이터베이스를 구축하는 단계는,
    상기 오프라인 상점 구매 데이터베이스로부터 고객 ID, 고객 이미지 및 고객의 구매 기록을 추출하는 단계;
    상기 고객 이미지를 분석함으로써, 상기 고객의 외모 정보 및 상기 고객의 구매 행위 정보를 획득하는 단계;
    상기 고객 이미지로부터 획득된 정보에 기초하여, 고객들을 복수의 고객 클러스터들로 분류하는 단계; 및
    상기 복수의 고객 클러스터들의 각각에 대해 카테고리 별 구매 데이터에 기초하여 해당 카테고리의 특징 벡터를 산출하는 단계
    를 포함하는 고객 아이템 추천 방법.
  12. 제1항에 있어서,
    상기 추천 아이템을 결정하는 단계는,
    구매 성향 모델에서 각 카테고리에 대응하는 아이템에 대해, 해당 아이템의 아이템 이미지와 고객 이미지를 매칭하는 단계; 및
    아이템 이미지 및 고객 이미지 간에 산출된 피팅 점수에 기초하여 추천 아이템을 결정하는 단계
    를 포함하는 고객 아이템 추천 방법.
  13. 제12항에 있어서,
    상기 산출된 피팅 점수에 기초하여 상기 추천 아이템을 결정하는 단계는,
    상기 구매 성향 모델에서 개별 아이템의 특징 벡터 및 상기 고객이 착용한 아이템의 특징 벡터 간의 내적을 상기 피팅 점수로서 산출하는 단계
    를 포함하는 고객 아이템 추천 방법.
  14. 제1항에 있어서,
    상기 추천 아이템과 연관된 연관 정보를 제공하는 단계는,
    증강 현실 디스플레이를 포함하는 고객 단말로 푸시 요청을 전송하는 단계; 및
    상기 고객 단말로부터 상기 푸시 요청의 수락 여부를 지시하는 정보를 수신하는 단계
    를 포함하는 고객 아이템 추천 방법.
  15. 제1항에 있어서,
    상기 추천 아이템과 연관된 연관 정보를 제공하는 단계는,
    고객 단말에 의해 푸시 요청이 수락된 경우에 응답하여, 상기 고객 단말로 추천 아이템과 연관된 정보를 전송하는 단계
    를 포함하는 고객 아이템 추천 방법.
  16. 제1항에 있어서,
    상기 추천 아이템과 연관된 연관 정보를 제공하는 단계는,
    고객의 위치로부터 임계 거리 내 배치된 디스플레이로 추천 아이템에 대한 아이템 정보를 전송하는 단계
    를 포함하는 고객 아이템 추천 방법.
  17. 제1항에 있어서,
    상기 추천 아이템과 연관된 연관 정보를 제공하는 단계는,
    상기 추천 아이템과 연관된 연관 정보를 업무 단말 및 고객 단말 중 적어도 하나로 전송하는 단계
    를 포함하는 고객 아이템 추천 방법.
  18. 제1항에 있어서,
    상기 추천 아이템을 결정하는 단계는,
    상기 고객이 위치한 구매 구역 및 상기 고객 이미지에 기초하여, 상기 추천 아이템을 결정하는 단계
    를 포함하는 고객 아이템 추천 방법.
  19. 제1항 내지 제4항 및 제7항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어를 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
  20. 고객 아이템 추천 장치에 있어서,
    고객 이미지를 획득하는 카메라;
    상기 획득된 고객 이미지로부터 상기 고객의 부분 이미지 특징 벡터를 추출하고, 구매 성향 모델 데이터베이스의 복수의 구매 성향 모델 각각에 대하여, 해당 구매 성향 모델에 대해 결정된 특징 벡터와 상기 부분 이미지 특징 벡터 사이의 유사성에 기초하여 상기 고객과 상기 해당 구매 성향 모델 사이의 상관도를 산출하며, 상기 복수의 구매 성향 모델 중 상관도가 가장 높게 산출되는 구매 성향 모델을 선택하고, 상기 선택된 구매 성향 모델에 기초하여 상기 고객에 대한 추천 아이템을 결정하는 프로세서; 및
    상기 결정된 추천 아이템과 관련된 연관 정보를 출력하는 디스플레이
    를 포함하고,
    상기 프로세서는,
    상기 해당 구매 성향 모델에 대해 결정된 특징 벡터와 상기 부분 이미지 특징 벡터 간에 산출된 내적 값의 평균을 상기 상관도로 산출하는,
    고객 아이템 추천 장치.
KR1020180080566A 2017-12-29 2018-07-11 시각 정보에 기초한 고객 아이템 추천 방법 및 장치 KR102664008B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/161,153 US11188965B2 (en) 2017-12-29 2018-10-16 Method and apparatus for recommending customer item based on visual information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711483236.5 2017-12-29
CN201711483236.5A CN109993595A (zh) 2017-12-29 2017-12-29 个性化推荐商品及服务的方法、系统及设备

Publications (2)

Publication Number Publication Date
KR20190082048A KR20190082048A (ko) 2019-07-09
KR102664008B1 true KR102664008B1 (ko) 2024-05-09

Family

ID=67110168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180080566A KR102664008B1 (ko) 2017-12-29 2018-07-11 시각 정보에 기초한 고객 아이템 추천 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102664008B1 (ko)
CN (1) CN109993595A (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102300574B1 (ko) * 2019-07-10 2021-09-09 엘지전자 주식회사 사용자 신체 특성을 반영하여 파워 어시스트 모드로 이동하는 방법 및 이를 구현하는 카트로봇
KR102290855B1 (ko) * 2019-11-05 2021-08-18 신주헌 디지털 사이니지 시스템
CN111079015B (zh) * 2019-12-17 2021-08-31 腾讯科技（深圳）有限公司 一种推荐方法、装置、计算机设备和存储介质
KR102307070B1 (ko) * 2020-01-29 2021-09-29 주식회사 엘지유플러스 서비스 서버 및 이의 동작 방법
CN113392671A (zh) * 2020-02-26 2021-09-14 上海依图信息技术有限公司 基于顾客动作的商品检索方法、装置及电子设备
CN113327145A (zh) * 2020-02-28 2021-08-31 北京沃东天骏信息技术有限公司 一种物品推荐方法和装置
TWI743844B (zh) * 2020-06-18 2021-10-21 遠東百貨股份有限公司 資訊顯示系統及其操作方法
CN111932353A (zh) * 2020-10-12 2020-11-13 歌尔光学科技有限公司 一种服饰推荐方法、装置、ar眼镜以及存储介质
CN112561648B (zh) * 2020-12-17 2022-07-29 浙江信网真科技股份有限公司 一种偏好组动态生成的商品推送方法及装置
KR102323861B1 (ko) * 2021-01-15 2021-11-09 주식회사 쪼이 온라인 의류 판매 시스템
CN113627598B (zh) * 2021-08-16 2022-06-07 重庆大学 一种用于加速推荐的孪生自编码器神经网络算法及系统
CN114840761B (zh) * 2022-05-13 2024-05-28 北京达佳互联信息技术有限公司 推送模型的训练方法、装置、设备、存储介质及程序产品

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004427A (ja) 2005-06-23 2007-01-11 Fujifilm Holdings Corp 画像表示システムおよび画像表示装置ならびにプログラム
US20080004953A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Public Display Network For Online Advertising
US20110246329A1 (en) * 2010-04-01 2011-10-06 Microsoft Corporation Motion-based interactive shopping environment
KR101212949B1 (ko) * 2012-05-22 2012-12-18 삼일씨티에스(주) 상품 전시 장치
US20130110666A1 (en) 2011-10-28 2013-05-02 Adidas Ag Interactive retail system
US20130151382A1 (en) 2011-12-09 2013-06-13 Andrew S. Fuller System and method for modeling articles of clothing
WO2013147003A1 (ja) 2012-03-30 2013-10-03 日本電気株式会社 デジタルサイネージシステム、デジタルサイネージ、物品情報提示方法及びプログラム
US20140035913A1 (en) 2012-08-03 2014-02-06 Ebay Inc. Virtual dressing room
KR101392877B1 (ko) 2013-09-16 2014-05-09 (주)엘케이지오 디지털 쇼케이스 및 이를 포함한 디지털 쇼케이스 시스템과 이를 이용한 마케팅방법
US20140168217A1 (en) 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Method of fitting virtual item using human body model and system for providing fitting service of virtual item
US8799461B2 (en) 1994-11-29 2014-08-05 Apple Inc. System for collecting, analyzing, and transmitting information relevant to transportation networks
US20180101531A1 (en) 2016-10-10 2018-04-12 The Directv Group, Inc. Determining recommended media programming from sparse consumption data

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032453A (ja) * 2000-07-18 2002-01-31 Nippon Telegr & Teleph Corp <Ntt> プライバシ保護方法および装置とプライバシ保護プログラムを記録した記録媒体
KR100477206B1 (ko) * 2002-07-04 2005-03-22 성균관대학교산학협력단 개인 적응형 기술에 의한 컨텐츠 여과전송기능을 갖는전자상거래시스템 및 이의 운용방법
KR100631581B1 (ko) * 2004-08-18 2006-10-09 엘지전자 주식회사 패션 코디네이션 기능을 구비한 이동통신 단말기 및 이를이용한 코디네이션 방법
KR100859502B1 (ko) * 2005-07-19 2008-09-24 에스케이네트웍스 주식회사 3차원 가상 캐릭터를 이용한 가상 피팅 서비스 제공 방법및 가상 피팅 서버
JP2008225629A (ja) * 2007-03-09 2008-09-25 Ricoh Co Ltd 商品推薦システム、商品推薦方法、及び商品推薦方法を記録した記録媒体
CN101206751A (zh) * 2007-12-25 2008-06-25 北京科文书业信息技术有限公司 基于数据挖掘的顾客推荐系统及其方法
KR20100048733A (ko) * 2008-10-31 2010-05-11 에스케이씨앤씨 주식회사 사용자 고유 디자인을 지원하는 아바타 기반 의류 서비스 시스템 및 그 서비스 방법
KR20120040565A (ko) * 2010-10-19 2012-04-27 (주)피센 모바일 기기를 이용한 3차원 가상 피팅 시스템 및 방법
KR101464273B1 (ko) * 2013-03-06 2014-11-24 (주)피엑스디 투명 디스플레이를 이용한 인터랙티브 이미지 표시장치, 표시방법 및 그 기록매체
KR101741592B1 (ko) * 2013-03-13 2017-05-30 인텔 코포레이션 위치 기반 디지털 사이니지 서비스를 제공하기 위한 시스템 및 방법
KR20140124087A (ko) * 2013-04-16 2014-10-24 허명구 사용자 단말기를 이용한 개인 스타일 추천 시스템과 방법 및 그 방법을 컴퓨터로 실행시키기 위한 프로그램 코드를 저장한 기록매체
KR101556158B1 (ko) * 2013-05-01 2015-10-02 (주)인더스웰 실사 영상 기반의 스마트 피팅장치를 이용한 소셜 서비스시스템
US20140363059A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail customer service interaction system and method
KR101494445B1 (ko) * 2013-06-10 2015-02-23 (주)피엑스디 투명 디스플레이를 이용한 프로모션 이미지 표시장치, 표시방법 및 그 기록매체
KR20150090353A (ko) * 2014-01-28 2015-08-06 홍상보 의류 매칭 서비스 방법
US10013710B2 (en) * 2014-04-17 2018-07-03 Ebay Inc. Fashion preference analysis
CN103971251A (zh) * 2014-05-25 2014-08-06 吴正畦 一种基于模特真实试衣效果影像库的试衣系统
KR20170094279A (ko) * 2014-12-16 2017-08-17 미테일 리미티드 3d 의복 이미지와 조합되는 사람의 3d 가상 신체 모델을 생성하기 위한 방법들, 및 관련 디바이스들, 시스템들 및 컴퓨터 프로그램 제품들
KR20160120674A (ko) * 2015-04-08 2016-10-18 주식회사 컴퍼니원헌드레드 그래픽 처리 장치를 이용한 의류 추천 시스템
KR20160144277A (ko) * 2015-06-08 2016-12-16 (주)엘앤케이랩 코디 서비스 제공 시스템, 서버, 사용자 기기 및 이를 이용한 방법
KR102136223B1 (ko) * 2015-08-18 2020-07-21 삼성전자주식회사 LFD(large format display) 장치 및 그 제어 방법
KR20170060740A (ko) * 2015-11-25 2017-06-02 박진수 오프라인 패션/의류 매장 판매 활성화 솔루션
CN107507017A (zh) * 2017-07-07 2017-12-22 阿里巴巴集团控股有限公司 一种线下导购方法和装置
CN107507059A (zh) * 2017-08-15 2017-12-22 广东欧珀移动通信有限公司 基于用户特征的电商购物方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8799461B2 (en) 1994-11-29 2014-08-05 Apple Inc. System for collecting, analyzing, and transmitting information relevant to transportation networks
JP2007004427A (ja) 2005-06-23 2007-01-11 Fujifilm Holdings Corp 画像表示システムおよび画像表示装置ならびにプログラム
US20080004953A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Public Display Network For Online Advertising
US20110246329A1 (en) * 2010-04-01 2011-10-06 Microsoft Corporation Motion-based interactive shopping environment
US20130110666A1 (en) 2011-10-28 2013-05-02 Adidas Ag Interactive retail system
US20130151382A1 (en) 2011-12-09 2013-06-13 Andrew S. Fuller System and method for modeling articles of clothing
WO2013147003A1 (ja) 2012-03-30 2013-10-03 日本電気株式会社 デジタルサイネージシステム、デジタルサイネージ、物品情報提示方法及びプログラム
KR101212949B1 (ko) * 2012-05-22 2012-12-18 삼일씨티에스(주) 상품 전시 장치
US20140035913A1 (en) 2012-08-03 2014-02-06 Ebay Inc. Virtual dressing room
US20140168217A1 (en) 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Method of fitting virtual item using human body model and system for providing fitting service of virtual item
KR101392877B1 (ko) 2013-09-16 2014-05-09 (주)엘케이지오 디지털 쇼케이스 및 이를 포함한 디지털 쇼케이스 시스템과 이를 이용한 마케팅방법
US20180101531A1 (en) 2016-10-10 2018-04-12 The Directv Group, Inc. Determining recommended media programming from sparse consumption data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YouTube, "FXMirror_3D Virtual Fitting Solution" (2015.02.03.) <URL: https://www.youtube.com/watch?v=nWcGhuX6N7w> 1부.*
네이버 블로그, "[PMC] 증강현실 피팅 거울~ IoT 기술로 태어난 에프엑스미러 가상 피팅 체험존 운영! IT뉴스" (2016.06.21.) <URL: http://blog.naver.com/pmccorp5088/220741933629>*

Also Published As

Publication number Publication date
CN109993595A (zh) 2019-07-09
KR20190082048A (ko) 2019-07-09

Similar Documents

Publication Publication Date Title
KR102664008B1 (ko) 시각 정보에 기초한 고객 아이템 추천 방법 및 장치
US11188965B2 (en) Method and apparatus for recommending customer item based on visual information
CN110110181B (zh) 一种基于用户风格和场景偏好的服装搭配推荐方法
US10747826B2 (en) Interactive clothes searching in online stores
CN104504055B (zh) 基于图像相似度的商品相似计算方法及商品推荐系统
EP3267362B1 (en) Machine learning image processing
KR20190117584A (ko) 스트리밍 비디오 내의 객체를 검출하고, 필터링하고 식별하기 위한 방법 및 장치
US9727620B2 (en) System and method for item and item set matching
CN110728015B (zh) 认知自动化和交互式个性化时尚设计
CN111295669A (zh) 图像处理系统
CN106776619A (zh) 用于确定目标对象的属性信息的方法和装置
US11809985B2 (en) Algorithmic apparel recommendation
KR20120085707A (ko) 사용자 장르 및 스타일을 학습하고 사용자 선호도에 따라 상품을 매칭하는 방법 및 시스템
US11475500B2 (en) Device and method for item recommendation based on visual elements
KR102043440B1 (ko) 이미지 내 복수의 객체들의 조화에 기반한 조화 검색 방법 및 시스템
US11461630B1 (en) Machine learning systems and methods for extracting user body shape from behavioral data
US11842378B2 (en) Systems and methods for product identification using image analysis and trained neural network
CN111784845A (zh) 基于人工智能的虚拟试穿方法、装置、服务器及存储介质
US11972466B2 (en) Computer storage media, method, and system for exploring and recommending matching products across categories
CN108596646B (zh) 一种融合人脸属性分析的服装搭配推荐方法
CN113034237A (zh) 服饰套装推荐系统与方法
KR102495868B1 (ko) Ai를 활용한 패션 연계 맞춤형 향수 추천시스템
CN108416611B (zh) 一种超市路径推荐系统及其方法
EP3982277A1 (en) Image data retrieval method, device, and program using deep learning algorithm
Garude et al. Skin-tone and occasion oriented outfit recommendation system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant