KR102374861B1 - O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법 - Google Patents

O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102374861B1
KR102374861B1 KR1020190053102A KR20190053102A KR102374861B1 KR 102374861 B1 KR102374861 B1 KR 102374861B1 KR 1020190053102 A KR1020190053102 A KR 1020190053102A KR 20190053102 A KR20190053102 A KR 20190053102A KR 102374861 B1 KR102374861 B1 KR 102374861B1
Authority
KR
South Korea
Prior art keywords
customer
information
face
main server
level face
Prior art date
Application number
KR1020190053102A
Other languages
English (en)
Other versions
KR20200128927A (ko
Inventor
김지성
김지훈
Original Assignee
주식회사 엘토브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘토브 filed Critical 주식회사 엘토브
Priority to KR1020190053102A priority Critical patent/KR102374861B1/ko
Publication of KR20200128927A publication Critical patent/KR20200128927A/ko
Application granted granted Critical
Publication of KR102374861B1 publication Critical patent/KR102374861B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명에 따른 O2O 기반 고객 맞춤 정보를 제안하기 위한 시스템은, 고객 각각의 얼굴 이미지 및 상기 고객이 온라인(On-Line) 또는 오프라인(Off-Line)을 통해 구매한 구매 내역을 포함하는 고객 정보를 수집하고 인식할 수 있는 고객 정보 인식 장치, 상기 고객 정보 인식 장치로부터 상기 고객 정보를 수신하여 고객 별로 제1 및 제2 레벨 페이스 아이디를 생성 및 부여하는 메인 서버(main server), 상기 메인 서버로부터 고객 별로 분류된 추천 쇼핑 정보를 수신하여 상기 추천 쇼핑 정보가 필요한 해당 고객에게 표시하는 정보 표시 장치 및 상기 고객의 현재 위치를 알려주는 위치 정보 표시 장치를 포함하고, 상기 메인 서버는 상기 제2 레벨 페이스 아이디에 기반하여 각 고객의 취향 및 생활 방식을 예측하고, 고객 별로 선호 또는 필요 상품 및 서비스를 선별하여 상기 추천 쇼핑 정보를 생성한다.

Description

O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법{O2O(On-line to Off-line) BASED SYSTEM AND METHOD FOR SUGGESTING CUSTOMIZED INFORMATION}
본 발명은 고객 맞춤 정보를 제안하기 위한 시스템 및 방법에 관한 것으로써, 보다 구체적으로는 고객의 얼굴을 인식할 수 있는 키오스크를 사용하여 고객의 성별, 연령, 행동 패턴, 구매 내역을 분석하여 고객이 선호하는 상품을 예측하고, 고객 별로 추천 쇼핑 정보를 제안하기 위한 시스템 및 방법에 관한 것이다.
최근, 고객의 온라인 구매 내역을 바탕으로 고객에게 상품이나 서비스를 자동으로 추천하는 시스템이 등장하였다.
이러한 시스템은 고객들이 상품을 구매하기 위해, 많은 정보를 검색할 필요가 없도록 하였으며, 동시에 상품에 대한 가격 할인 정보도 제공함에 따라 고객들의 소비를 촉진하여, 고객의 편의와 매장의 매출 증대가 같이 이루어졌다.
하지만, 종래 고객에게 상품이나 서비스를 추천하는 시스템들은 고객의 취향이나 실제 생활 방식을 고려하지 않고, 단순히 고객의 이전 구매 내역 및 검색 기록에 근거하여, 고객이 이전에 온라인으로만 구매한 상품 또는 검색한 기록과 유사한 상품들 만을 추천 쇼핑 정보로 제공하였다.
또한, 종래의 시스템은 고객의 성별이나 연령을 파악하기 위해, 시스템에 고객이 직접 고객의 성별이나 연령을 입력해야 했으며, 고객이 실제의 성별 및 연령과 다르게 입력하는 경우도 있었다.
특히, 미성년자가 미성년자에게 부적절하거나 유해한 상품을 구매하기 위해, 고객 정보를 고의적으로 조작하여 입력하는 경우는, 미성년자가 유해한 상품에 노출되는 것을 방지할 수 없었다.
따라서, 온라인(On-Line)과 오프라인(Off-Line)을 통합하여 고객이 진정으로 원하는 상품이나 서비스를 시스템 스스로 파악하고, 고객 별로 일대일 맞춤 정보를 제공 할 수 있는 시스템에 대한 필요성이 높아졌다.
아울러, 미성년자들이 미성년자들에게 유해한 상품 정보로부터 노출되는 것을 예방할 수 있는 쇼핑 정보 제공 시스템에 대한 필요성도 있었다.
본 발명은 상술한 문제점을 개선하기 위한 것으로써, 고객의 행동 패턴과 구매 내역을 온라인(On-Line)과 오프라인(Off-Line) 정보를 기반으로 분석하여 각 고객의 취향과 생활 방식에 알맞은 쇼핑 정보를 제공할 수 있는 고객 맞춤 정보를 제안하기 위한 시스템 및 방법을 제공하는데 목적이 있다.
한편, 본 발명은 상술한 다른 문제점을 개선하기 위한 것으로써, 미성년자들이 미성년자들에게 유해한 상품 정보로부터 노출되는 것을 예방할 수 있는 고객 맞춤 정보를 제안하기 위한 시스템 및 방법을 제공하는데 목적이 있다.
본 발명은 상기의 목적을 달성하기 위하여, 고객 각각의 얼굴 이미지 및 상기 고객이 온라인(On-Line) 또는 오프라인(Off-Line)을 통해 구매한 구매 내역을 포함하는 고객 정보를 수집하고 인식할 수 있는 고객 정보 인식 장치, 상기 고객 정보 인식 장치로부터 상기 고객 정보를 수신하여 고객 별로 제1 및 제2 레벨 페이스 아이디를 생성 및 부여하는 메인 서버(main server), 상기 메인 서버로부터 고객 별로 분류된 추천 쇼핑 정보를 수신하여 상기 추천 쇼핑 정보가 필요한 해당 고객에게 표시하는 정보 표시 장치 및 상기 고객의 현재 위치를 알려주는 위치 정보 표시 장치를 포함하고, 상기 메인 서버는 상기 제2 레벨 페이스 아이디에 기반하여 각 고객의 취향 및 생활 방식을 예측하고, 고객 별로 선호 또는 필요 상품 및 서비스를 선별하여 상기 추천 쇼핑 정보를 생성하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 시스템을 제공한다.
상기 메인 서버는 상기 고객 정보 인식 장치로부터 전송되는 상기 얼굴 이미지들을 통해 고객 별로 상기 제1 레벨 페이스 아이디를 지속적으로 생성하고, 각 고객의 성별, 연령, 인종 및 감정을 파악하며, 상기 위치 정보 생성 장치를 통해 각 고객의 행동 패턴을 파악하며, 상기 제1 레벨 페이스 아이디, 상기 행동 패턴 및 상기 구매 내역을 결합하여 상기 제2 레벨 페이스 아이디를 생성할 수 있다.
상기 고객 정보 인식 장치는 상기 얼굴 이미지를 획득하기 위한 얼굴 이미지 촬영 장치 및 상기 구매 내역을 수집하기 위한 결제 장치를 포함하며, 상기 얼굴 이미지 촬영 장치는, 카메라, 뎁스(Depth) 및 적외선 이미지 촬영 디바이스, 상기 카메라, 뎁스(Depth) 및 적외선 이미지 촬영 디바이스 중 적어도 하나 이상이 장착된 키오스크 및 보안을 위해 매장 내에 분산 설치되는 CCTV 중 적어도 하나 이상을 포함하고, 상기 결제 장치는 포스(POS) 단말기, 신용카드 리더기, 바코드 리더기, 영수증 출력기 및 계좌이체 정보 관리 서버 중 적어도 하나 이상을 포함할 수 있다.
상기 메인 서버는 상기 결제 장치로부터 상기 구매 내역을 수신할 때, 상기 고객이 온라인(On-Line) 또는 오프라인(Off-Line)을 통해 구매한 상품이나 서비스의 이름, 종류, 지불 가격 및 구매한 시간 중 적어도 하나 이상은 상기 고객 정보로 인식하고 수신하되, 상기 고객의 이름, 주소, 전화번호, 신용카드 번호, 및 계좌번호는 수집하지 않도록 필터링하는 필터부를 더 포함할 수 있다.
상기 메인 서버는 상기 메인 서버에서 수행되는 모든 연산 작업을 처리할 수 있는 프로세서, 상기 제1 및 제2 레벨 페이스 아이디를 생성하는 페이스 아이디 생성부, 상기 정보 표시 장치에 표시될 상기 추천 쇼핑 정보를 생성 및 분류하는 컨텐츠 관리부, 고객 별로 상기 구매 내역을 추적 및 관리하는 레거시 관리부 및 상기 페이스 아이디 생성부, 컨텐츠 관리부 및 레거시 관리부에서 생성되는 데이터를 모두 저장하는 데이터베이스를 더 포함할 수 있다.
상기 메인 서버는 고객 별 상기 제1 및 제2 레벨 페이스 아이디가 생성된 과정과 상기 추천 쇼핑 정보가 선별된 과정을 기계 학습하는 학습부를 더 포함할 수 있다.
상기 고객은 매장을 처음 방문한 제1 고객 및 상기 매장을 적어도 1회 이상 재방문한 제2 고객을 포함하며, 상기 학습부는 상기 매장을 방문한 제1 및 제2 고객들을 성별, 연령, 인종 및 감정 카테고리 별로 분류하고, 상기 제1 고객에 대한 상기 제1 레벨 페이스 아이디가 생성되면, 상기 제1 고객과 동일한 성별 및 인종에 해당되는 제2 고객 또는 상기 제1 고객과 유사한 연령 및 감정을 가지고 있는 제2 고객에게 제시되었던 추천 쇼핑 정보를 상기 컨텐츠 관리부가 상기 제1 고객에게 상기 제2 레벨 페이스 아이디가 생성되기 이전에 제공하도록 제어할 수 있다.
상기 정보 표시 장치는 카메라, 뎁스(Depth) 및 적외선 이미지 촬영 디바이스 중 적어도 하나 이상이 장착된 키오스크, 디지털 정보 표시 디바이스(Digital Information Display device, DID), 홀로그램 셋탑 박스, 스피커 및 스마트폰과 테블릿 디바이스를 포함하는 모바일 디바이스 중 적어도 하나 이상을 포함할 수 있다.
상기 위치 정보 표시 장치는 상기 고객들이 개별적으로 소지하고 있는 GPS, 비콘 및 상기 GPS 및 비콘 중 적어도 하나 이상을 포함하는 모바일 디바이스를 포함할 수 있다.
상기 컨텐츠 관리부는 상기 제1 레벨 페이스 아이디를 통해 고객의 연령이 미성년자에 해당한다고 판단한 경우, 기호 식품 중 술과 담배, 의약품 중 향정신성 의약, 본드와 부탄 가스 및 성인 용품을 포함하는 미성년자 유해 상품은 추천 쇼핑 정보에서 배제되도록 할 수 있다.
상기 컨텐츠 관리부는 상기 위치 정보 표시 장치로부터 고객의 매장 내 동선에 대한 정보를 수신하여 고객의 행동 패턴에 대한 제1 데이터를 생성하고, 상기 레거시 관리부를 통해 고객의 이전 구매 내역에 대한 정보를 수신하여 고객의 구매 패턴에 대한 제2 데이터를 생성하며, 상기 제1 및 제2 데이터를 통합하여 상기 고객의 생활 방식 및 취향을 예측하고 이에 근거하여 추천 쇼핑 정보를 선별할 수 있다.
한편, 본 발명은 상기의 다른 목적을 달성하기 위하여, 고객 맞춤 정보를 제안하기 위한 시스템을 이용하여 고객 맞춤 정보를 제안하기 위한 방법은, 고객 정보 인식 장치가 고객의 얼굴 이미지 획득하는 제1 단계, 메인 서버가 상기 얼굴 이미지 별로 제1 레벨 페이스 아이디를 생성하고 부여하는 제2 단계, 상기 메인 서버가 고객의 구매 내역을 수집하고 저장하는 제3 단계, 상기 메인 서버가 고객의 행동 패턴을 분석하고, 상기 제1 레벨 페이스 아이디에 상기 구매 내역과 상기 행동 패턴을 통합하여 제2 레벨 페이스 아이디를 생성하는 제4 단계, 상기 메인 서버가 상기 제2 레벨 페이스 아이디에 기반하여 상기 고객의 생활 방식 및 취향을 예측하고 이에 근거하여 추천 쇼핑 정보를 선별하는 제5 단계 및 정보 표시 장치가 상기 고객에게 상기 추천 쇼핑 정보를 표시하는 제6 단계를 포함하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 방법을 제공한다.
상기 제6 단계 이후, 상기 제2 레벨 페이스 아이디를 이용하여 매장을 방문한 전체 고객의 성별, 연령, 인종, 감정, 행동 패턴, 구매 내역, 생활 방식 및 취향 중 적어도 하나 이상을 포함하는 통계 데이터를 생성하는 제7 단계를 더 포함할 수 있다.
상기 제1 단계는 상기 얼굴 이미지에서 얼굴의 윤곽에 대한 특징 값과 눈, 코, 입의 위치 벡터 값을 특징 값으로 추출하는 제1-1 단계, 상기 얼굴 이미지에서 그림자 패턴을 추출하는 제1-2 단계, 상기 얼굴 이미지에서 뎁스(depth)를 추출하는 제1-3 단계 및 상기 얼굴 이미지에서 명암비 및 체온 분포도를 추출하는 제1-4 단계를 더 포함할 수 있다.
상기 제2 단계는, 상기 얼굴 이미지에서 추출된 특징 값들을 이용하여 상기 고객의 성별, 연령, 인종, 감정을 분석하는 제2-1 단계, 상기 얼굴 이미지 별로 상기 고객의 성별, 연령, 인종 및 감정을 분석한 분석 데이터 값이 생성되는 제2-2 단계, 상기 분석 데이터 값에 해쉬 알고리즘을 통해 생성된 해쉬 값이 추가되어 제1 레벨 페이스 아이디가 생성되는 제2-3 단계 및 상기 얼굴 이미지들 각각과 상기 제1 레벨 페이스 아이디들 각각을 매칭하여, 각 얼굴 이미지마다 제1 레벨 페이스 아이디를 부여하는 제2-4 단계를 더 포함할 수 있다.
상기 제3 단계는, 상기 메인 서버가 결제 장치로부터 상기 구매 내역을 수신하는 제3-1 단계, 상기 메인 서버가 상기 구매 내역 중 고객의 이름, 주소, 전화번호, 신용카드 번호 및 계좌번호는 수집하지 않도록 필터링하는 제3-2 단계 및 상기 메인 서버가 상기 구매 내역 중 고객이 구매한 상품이나 서비스의 이름, 종류, 지불 가격 및 구매한 시간 중 적어도 하나 이상은 상기 고객 정보로 인식하고 수신하는 제3-3 단계를 더 포함할 수 있다.
상기 제4 단계는, 상기 고객이 이동한 경로를 수집하는 제4-1 단계, 상기 이동한 경로에 따라서 상기 고객에게 최초로 생성된 제1 레벨 페이스 아이디와 이후 순차적으로 발생된 모든 제1 레벨 페이스 아이디들 간의 유사도를 분석하는 제4-2 단계, 유사도가 일정 수준 이상 되는 제1 레벨 페이스 아이디들을 상기 고객에 대한 제1 레벨 페이스 아이디로 분류하는 제4-3 단계, 상기 유사도에 근거하여 분류된 제1 레벨 페이스 아이디를 보유한 고객이 상기 이동한 경로에 포함되는 판매점들 중 일정시간 이상 체류한 판매점의 정보를 수집하는 제4-4 단계 및 상기 유사도에 근거하여 분류된 제1 레벨 페이스 아이디와 상기 일정시간 이상 체류한 판매점의 정보를 결합하여 상기 고객의 행동 패턴을 도출하는 제4-5 단계, 상기 고객의 행동 패턴 및 구매 내역을 상기 최초로 생성된 제1 레벨 페이스 아이디에 통합하여 제2 레벨 페이스 아이디를 생성하는 제4-6 단계를 더 포함할 수 있다.
상기 제7 단계는, 상기 메인 서버가 고객 별 상기 제1 및 제2 레벨 페이스 아이디가 생성된 과정을 기계 학습하는 제7-1 단계, 상기 메인 서버가 상기 추천 쇼핑 정보가 선별된 과정을 기계 학습하는 제7-2 단계 및 상기 메인 서버가 상기 제7-1 단계 및 제7-2 단계의 학습 결과에 근거하여, 매장을 방문한 전체 고객의 성별, 연령, 인종, 감정, 행동 패턴, 구매 내역, 생활 방식 및 취향에 대한 분석 데이터를 모두 포함하는 통계 데이터를 기계 학습하는 제7-3 단계를 더 포함할 수 있다.
상기 고객은, 매장을 처음 방문한 제1 고객 및 상기 매장을 적어도 1회 이상 재방문한 제2 고객을 포함하며, 상기 제7-3 단계 이후, 상기 메인 서버가 상기 매장을 방문한 제1 및 제2 고객들을 성별, 연령, 인종 및 감정 카테고리 별로 분류하는 제7-4 단계 및 상기 메인 서버는 상기 제1 고객에 대한 상기 제1 레벨 페이스 아이디가 생성되면, 상기 제1 고객과 동일한 성별 및 인종에 해당되는 제2 고객 또는 상기 제1 고객과 유사한 연령 및 감정을 가지고 있는 제2 고객에게 제시되었던 추천 쇼핑 정보가 상기 제1 고객에게 제공되도록 상기 정보 표시 장치를 제어하는 제7-5 단계를 더 포함할 수 있다.
상기 제5 단계는, 상기 메인 서버가 상기 제1 레벨 페이스 아이디를 통해 고객의 연령을 파악하는 제5-1 단계 및 상기 메인 서버가 상기 고객의 연령이 미성년자에 해당된다고 판단하면, 기호 식품 중 술과 담배, 의약품 중 향정신성 의약품, 본드와 부탄 가스 및 성인 용품을 포함하는 미성년자 유해 상품은 추천 쇼핑 정보에서 배제되도록 하는 제5-2 단계를 더 포함할 수 있다.
상기 제5 단계는, 상기 메인 서버가 특정 고객의 행동 패턴에 대한 제1 데이터를 생성하는 제5-3 단계, 상기 메인 서버가 상기 제1 데이터로부터 상기 고객의 행동 패턴을 대표할 수 있는 키워드를 도출하는 제5-4 단계, 상기 메인 서버가 상기 고객의 구매 내역으로부터 특정 고객의 구매 패턴에 대한 제2 데이터를 생성하는 제5-5 단계, 상기 메인 서버가 상기 제2 데이터로부터 상기 고객의 구매 패턴을 대표할 수 있는 키워드를 도출하는 제5-6 단계, 상기 메인 서버가 상기 제1 및 제2 데이터로부터 각각 도출된 키워드들의 연관성을 검토하고 고객의 취향 및 관심 분야를 설정하는 제5-7 단계 및 상기 메인 서버가 설정된 상기 취향 및 관심 분야와 동일 또는 유사한 상품 또는 서비스에 대한 정보가 포함되도록 추천 쇼핑 정보를 선별하는 제5-8 단계를 더 포함할 수 있다.
본 발명에 따른 O2O기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법을 이용하면, 고객의 적극적인 소비를 유도하여 매장의 매출을 극대화함과 동시에, 고객은 자신의 취향에 맞는 상품이나 서비스에 대한 정보를 손쉽게 얻을 수 있다.
본 발명에 따른 O2O기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법은 미성년자들이 미성년자에 유해한 정보에 노출되는 것을 막을 수 있다.
도 1은 본 발명의 일 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 고객 맞춤 정보를 제안하는 방법에 따라 고객 맞춤 정보를 제안하는 과정을 나타낸 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 메인 서버가 고객의 얼굴 이미지를 처리하는 과정을 나타낸 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 메인 서버가 제1 레벨 페이스 아이디를 생성하고 부여하는 과정을 나타낸 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 메인 서버가 고객의 구매 내역을 수집하는 과정을 나타낸 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 메인 서버가 제2 레벨 페이스 아이디를 생성하고 부여하는 과정을 나타낸 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 메인 서버가 고객 별로 추천 쇼핑 정보를 선별하는 과정을 나타낸 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 메인 서버가 통계 데이터를 생성하고 학습하는 과정을 나타내는 순서도이다.
도 9는 본 발명의 일 실시 예에 따른 메인 서버가 기계 학습한 결과를 자체적으로 피드백하는 과정을 나타내는 순서도이다.
도 10은 본 발명의 일 실시 예에 따른 고객 정보 인식 장치로써 키오스크를 나타낸 도면이다.
도 11은 본 발명의 일 실시 예에 따른 추천 쇼핑 정보가 디스플레이 되는 장면을 예시적으로 나타낸 도면이다.
이하에서 설명되는 모든 실시 예들은 본 발명의 이해를 돕기 위해 예시적으로 나타낸 것이며, 여기에 설명된 실시 예들과 다르게 변형되어 다양한 실시 형태로 실시될 수 있다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 공지 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명은 생략하도록 한다.
첨부된 도면은 발명의 이해를 돕기 위해서 제공되는 것으로, 실제 형태나 축적을 그대로 도시한 것은 아니다. 또한, 각 구성요소들에 참조번호를 기재할 때, 동일한 구성요소들에 대해서는 다른 도면에 표시되더라도 가능한 한 동일한 참조번호로 표시하였다.
이하에서 별도로 명시되지 않는 한, 명세서 전반에 걸쳐 동일 참조번호는 동일한 구성요소를 지칭한다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결, 결합 또는 접속될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 '연결', '결합' 또는 '접속'될 수도 있다고 이해되어야 할 것이다.
따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 발명에 대한 다양한 변형 실시 예들이 있을 수 있다.
그리고, 본 명세서 및 청구범위에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
또한, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
또한, 본 출원에서 사용된 단수의 표현은 문맥상 명백히 다른 것을 뜻하지 않는 한, 복수의 표현을 포함한다.
따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 발명에 대한 다양한 변형 실시 예들이 있을 수 있다.
그리고, 본 명세서 및 청구범위에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
또한, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
이하에서, 고객 맞춤 정보를 제안하기 위한 시스템 및 방법의 실시 예들을 설명함에 있어, 어느 하나의 구성요소가 다른 구성요소로써 데이터 또는 신호를 '송신' 또는 '전송'하는 경우, 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 다른 구성요소를 통하여 데이터 또는 신호를 또 다른 구성요소로 전송할 수도 있음을 의미한다.
본 발명에서 모바일 디바이스란, 네트워크를 통해 통신이 가능한 단말로서, 사용자가 특정 서버에 접속하여 정보를 저장하거나 다운로드 또는 업로드하고, 파일을 공유할 수 있는 클라우드 서비스 기능을 이용할 수 있는 휴대용 전자 단말을 의미한다. 이러한 휴대용 전자 단말은 데스크탑 컴퓨터, 스마트폰, 노트북, 태블릿 컴퓨터를 포함한다.
또한, 본 발명에서 서버란, 가상의 저장공간을 제공하고 다른 서버 및 휴대용 전자 단말들과 정보의 송수신을 처리하고, 새로운 정보를 생성할 수 있는 클라우드 서비스를 제공하는 장치를 의미한다.
본 발명에서 서버는 휴대용 전자 단말과 정보 교환을 통해 다양한 형태의 정보를 저장할 수 있고, 휴대용 전자 단말이 클라우드 서비스를 이용하여 가상의 공간에 파일을 저장할 때, 파일명을 인식하고 각 파일명에 따라 필요한 기능 또는 작업들을 판단할 수 있다.
이하에서는, 첨부된 도 1, 도 10 및 도 11을 참조하여 본 발명의 일 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 시스템에 대해 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 시스템을 개략적으로 나타낸 도면이며, 도 10은 본 발명의 일 실시 예에 따른 고객 정보 인식 장치로써 키오스크를 나타낸 도면이고, 도 11은 본 발명의 일 실시 예에 따른 추천 쇼핑 정보가 디스플레이 되는 장면을 예시적으로 나타낸 도면이다.
본 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 시스템(100)은 고객 정보 인식 장치(1000), 메인 서버(main server)(1100), 정보 표시 장치(1200) 및 위치 정보 표시 장치(1300)를 포함한다.
고객 정보 인식 장치(1000), 메인 서버(1100), 정보 표시 장치(1200) 및 위치 정보 표시 장치(1300)는 모두 서로 데이터 통신이 가능하도록 연결되며, 네트워크를 형성한다.
고객 정보 인식 장치(1000)는 본 실시 예에 따른 시스템(100)이 설치된 매장, 기관 시설 또는 건물을 이용하는 고객 각각의 얼굴 이미지와 구매 내역을 포함하는 고객 정보를 수집하고 인식할 수 있다.
즉, 본 발명에서 고객 정보라 함은 고객의 얼굴 이미지와 고객이 구매한 상품이나 서비스에 대한 모든 상세를 포함하는 구매 내역을 모두 포함하는 정보를 말한다.
한편, 여기서 구매 내역은 고객이 구매한 상품이나 서비스의 이름, 종류, 지불 가격 및 구매한 시간외에도 고객의 이름, 주소, 전화번호, 고객의 신용카드 번호, 신용카드 결제 내역, 고객의 계좌번호 및 계좌 이체 내역을 모두 포함한다.
한편, 고객 정보 인식 장치(1000)는 얼굴 이미지 촬영 장치(1010) 및 결제 장치(1020)를 포함한다.
얼굴 이미지 촬영 장치(1010)는 고객의 얼굴 이미지를 획득하기 위한 모든 장치를 의미하며, 카메라, 뎁스(Depth) 및 적외선 이미지 촬영 디바이스 외에도 이러한 카메라, 뎁스(Depth) 및 적외선 이미지 촬영 디바이스 중 적어도 하나 이상이 장착된 키오스크와 보안을 위해 매장, 기관, 시설 및 건물 내에 분산 설치되는 CCTV 중 적어도 하나 이상을 포함한다.
이하에서 본 발명에서는 설명의 편의를 위해, 얼굴 이미지 촬영 장치(1010)는 카메라, 뎁스 및 적외선 이미지 촬영 디바이스가 장착된 키오스크(1011)와 CCTV가 사용되는 실시 예를 예시로써 설명한다.
하지만, 본 예시적인 설명에 의해 얼굴 이미지 촬영 장치(1010)가 키오스크(1011) 및 CCTV만 사용되는 것으로 제한되는 것은 아님이 명백하다.
도 10을 참조하면, 본 발명의 일 실시 예에 따른 키오스크(1011)는 상부에 카메라(1012)가 탑재되며, 카메라(1012)의 아래 부분에는 디스플레이 장치(10110)가 탑재된다.
카메라(1012)는 뎁스(Depth) 및 적외선 이미지 촬영 디바이스를 포함하는 영상 촬영 장치로써, 고객의 얼굴을 촬영하여 고객의 얼굴 이미지를 획득할 수 있다.
디스플레이 장치(10110)는 고객에게 도 11에 개시된 쇼핑 관련 정보를 디스플레이 하도록 구성된다.
본 발명에서 쇼핑 관련 정보라 함은, 메인 서버(1100)에 의해 고객의 행동 패턴과 구매 내역을 분석하여 고객의 취향이나 선호 상품을 파악하여 제시되는 추천 쇼핑 정보를 말하며, 상품이나 서비스에 대한 할인 정보(도 11의 (a) 참조), 판매점의 위치(도 11의 (b) 참조), 판매점에 이르는 경로, 고객이 선호하는 상품이나 서비스와 유사한 상품과 서비스를 제공하는 브랜드(도 11의 (c) 참조) 및 판매점에 대한 상세 정보(도 11의 (d) 참조)를 포함한다.
한편, 결제 장치(1020)는 고객의 결제를 처리하고 고객의 구매 내역을 수집하기 위한 장치로써, 포스(POS) 단말기(1021), 신용카드 리더기, 바코드 리더기, 영수증 출력기 및 계좌이체 정보 관리 서버 중 적어도 하나 이상을 포함한다.
본 실시 예에 따른 메인 서버(1100)는 상술한 고객 정보 인식 장치(1000)로부터 고객 정보를 수신하여 고객 별로 제1 및 제2 레벨 페이스 아이디를 생성하고, 이러한 제1 및 제2 페이스 아이디를 각 고객의 얼굴 이미지에 부여한다.
즉, 메인 서버(1100)에 의해 매장, 기관, 시설 또는 건물을 이용하는 모든 고객들은 각각 제1 및 제2 레벨 페이스 아이디가 생성되고 부여된다.
메인 서버(1100)는 고객 정보 인식 장치(1000)로부터 전송되는 얼굴 이미지들을 통해 고객 별로 제1 레벨 페이스 아이디를 생성하고 각 고객의 성별, 연령, 인종 및 감정을 파악할 수 있다.
특히, 본 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 시스템(100)은 전체 매장이나 시설에 분포된 얼굴 이미지 촬영 장치(1010)를 통해 획득된 특정 고객의 다양한 얼굴 이미지들을 모두 제1 레벨 페이스 아이디를 생성하는데 사용하며, 매장 내 분포된 얼굴 이미지 촬영 장치(1010)가 매장을 돌아다니는 고객의 얼굴을 지속적으로 촬영하여 복수의 제1 레벨 페이스 아이디들을 생성한다.
또한, 본 실시 예에 따른 시스템(100)은 위치 정보 생성 장치(1300)를 통해 각 고객의 이동 경로를 분석하여 고객의 행동 패턴을 파악하고, 이를 제1 레벨 페이스 아이디 및 구매 내역과 결합하여 제2 레벨 페이스 아이디를 생성한다.
따라서, 본 실시 예에 따른 시스템에 따라 생성된 제2 레벨 페이스 아이디는 매장이나 시설을 방문한 고객의 행동 패턴, 구매 내역부터 생활 방식이나 취향을 분석한 정보를 포함하고 있다.
이러한, 메인 서버(1100)는 프로세서(1101), 페이스 아이디 생성부(1103), 컨텐츠 관리부(1102), 레거시 관리부(1104) 및 데이터베이스(1106)를 포함한다.
메인 서버(1100)는 데이터베이스(1106)에 제1 및 제2 페이스 아이디를 저장 및 관리하며, 제2 레벨 페이스 아이디에 기반하여 각 고객의 취향 및 생활 방식을 예측하고, 고객 별로 선호 또는 필요 상품 및 서비스를 선별하여 추천 쇼핑 정보를 생성한다.
본 발명에서 추천 쇼핑 정보란 상술한 바와 같이, 특정 고객의 행동 패턴 및 구매 내역을 분석하여 특정 고객의 취향에 알맞은 상품과 서비스에 대한 전반적인 정보들을 말하며, 관련 상품이나 서비스에 대한 할인 정보(도 11의 (a) 참조), 판매점의 위치(도 11의 (b) 참조), 판매점에 이르는 경로, 고객이 선호하는 상품이나 서비스와 유사한 상품과 서비스를 제공하는 브랜드(도 11의 (c) 참조) 및 판매점에 대한 상세 정보(도 11의 (d) 참조)를 포함한다.
상품이나 서비스에 대한 할인 정보로는 단순히 가격 정보이외에도 상품이나 서비스를 제공하는 브랜드 명, 상품이나 서비스의 명칭, 상품이나 서비스의 종류, 상품이나 서비스에 대한 이미지 또는 설명을 위한 동영상을 모두 포함한다.
또한, 판매점의 위치 정보는 해당 상품이나 서비스를 판매하는 판매점의 위치를 하이라이트로 표시하는 기능도 제공할 수 있다.
한편, 프로세서(1101)는 메인 서버(1100)에서 수행되는 모든 연산 작업을 처리하고 작업들을 관리하며 메인 서버(1100)에 포함된 다른 구성 요소들에게 명령을 내린다. 이러한 프로세서(1101)는 중앙 처리 유닛(CPU)으로 구성될 수 있다.
본 실시 예에 따른 페이스 아이디 생성부(1103)는 제1 및 제2 레벨 페이스 아이디를 생성한다.
페이스 아이디 생성부(1103)는 얼굴 이미지 촬영 장치(1010)와 데이터 통신 가능하게 전자적으로 연결되며, 얼굴 이미지 촬영 장치(1010)에서 생성된 고객의 얼굴 이미지에 대한 모든 데이터들을 수집하고 관리한다.
페이스 아이디 생성부(1103)는 각 고객의 얼굴을 촬영한 얼굴 이미지들로부터 얼굴 윤곽에 대한 특징 값, 눈, 코 및 입의 위치 벡터 값을 추출할 수 있으며, 이외에도 얼굴 이미지에 포함된 그림자 패턴과 뎁스(Depth), 명암비, 적색에서 청색까지 색 분포로 표시된 체온 분포도를 추출할 수 있다.
페이스 아이디 생성부(1103)는 이렇게 고객의 얼굴 이미지로부터 추출된 얼굴 윤곽에 대한 특징 값, 눈, 코 및 입의 위치 벡터 값, 그림자 패턴, 뎁스(Depth), 명암비, 및 체온 분포도를 이용하여 고객 별 얼굴 이미지들 각각에 대한 고유의 데이터 값들을 생성한 뒤, 이를 통해 제1 페이스 아이디를 생성한다.
한편, 페이스 아이디 생성부(1103)는 생성된 제1 페이스 아이디에 고객의 행동 패턴과 구매 내역에 대한 정보들을 통합하여 제2 페이스 아이디를 생성한다.
컨텐츠 관리부(1102)는 정보 표시 장치에 표시될 상기 추천 쇼핑 정보를 생성 및 분류한다.
컨텐츠 관리부(1102)는 제1 레벨 페이스 아이디를 통해 고객의 성별, 연령, 인종 및 감정을 파악할 수 있다.
만약, 컨텐츠 관리부(1102)가 제1 레벨 페이스 아이디를 통해 해당 제1 레벨 페이스 아이디를 가진 고객의 연령이 미성년자에 해당한다고 판단한 경우, 기호 식품 중 술과 담배, 의약품 중 향정신성 의약, 본드와 부탄 가스 및 성인 용품을 포함하는 미성년자 유해 상품은 추천 쇼핑 정보에서 배제되도록 한다.
한편, 컨텐츠 관리부(1102)는 위치 정보 표시 장치(1300)로부터 고객의 매장 내 동선에 대한 정보를 수신하여 고객의 행동 패턴에 대한 제1 데이터를 생성하고, 레거시 관리부(1104)는 고객의 모든 구매 내역에 대한 정보를 이용하여 고객의 구매 패턴에 대한 제2 데이터를 생성한다.
컨텐츠 관리부(1102)는 이러한 제1 및 제2 데이터를 색인할 수 있는 태그나 키워드를 생성하고, 이렇게 생성된 태그나 키워드를 제1 및 제2 데이터에 결합한다.
태그와 키워드가 결합된 제1 및 제2 데이터는 페이스 아이디 생성부(1103)에 의해 제1 페이스 아이디에 결합되어 제2 페이스 아이디를 생성한다.
따라서, 추후 컨텐츠 관리부(1102)는 제1 및 제2 페이스 아이디에 해당되는 고객에게 추천할 정보 또는 제공할 프로모션 정보나 매장의 위치 정보를 선별할 때, 제2 페이스 아이디에 포함된 키워드나 태그에 기반하여 해당 고객에게 적합한 추천 쇼핑 정보를 선별할 수 있다.
만약, 제1 페이스 아이디가 생성된 A 고객이 매장에서 기저귀와 분유를 구입하면, 컨텐츠 관리부(1102)는 위치 정보 표시 장치(1300)로부터 고객의 이동 동선을 수신하여 고객이 유아 용품점에 들렸다는 데이터를 포함하는 행동 패턴에 대한 제1 데이터를 생성하고, 레거시 관리부(1104)는 고객이 유아 용품점에서 유아 용품을 구입했다는 구매 패턴에 대한 제2 데이터를 생성한다.
컨텐츠 관리부(1102)는 이러한 제1 및 제2 데이터에 대하여, '어린 아이', '영아', '육아', '출산' 또는 '자녀'를 포함하는 키워드 및 태그를 생성하며, 이러한 키워드와 태그를 제1 및 제2 데이터에 결합한다.
그리고 이러한 제1 및 제2 데이터는 페이스 아이디 생성부(1103)에 의해 제1 레벨 페이스 아이디와 결합되어 제2 레벨 페이스 아이디를 생성한다.
추후, A 고객이 다시 매장을 방문하거나, A 고객과 동일하거나 유사한 제1 및 제2 데이터가 생성되는 A' 고객들에 대하여 컨텐츠 관리부(1102)는 A 고객이나 A' 고객이 어린 아이를 양육하는 부모이거나, 육아를 하는 생활 방식을 가지고 있다고 판단하고, 육아가 필요한 부모에게 적합한 육아 용품들을 추천 쇼핑 정보에 포함되도록 쇼핑 정보를 선별한다.
이와 같이, 컨텐츠 관리부(1102)는 A 고객에게 적합한 추천 쇼핑 정보를 선별할 때, 제1 및 제2 데이터에 포함된 키워드 및 태그를 이용하여 빠르고 쉽게 어린 아이를 기르는 집에 필요한 상품이나 서비스를 추천하도록 추천 쇼핑 정보를 선별할 수 있다.
또한, 컨텐츠 관리부(1102)는 정보 표시 장치(1200)와 데이터 통신이 가능하도록 전자적으로 연결되어 있으므로, 상술한 바와 같이 컨텐츠 관리부(1102)에서 선별된 추천 쇼핑 정보는 정포 표시 장치(1200)를 통해 고객에게 디스플레이 된다.
한편, 레거시 관리부(Legacy management part)(1104)는 고객 별로 구매 내역을 추적 및 관리한다.
레거시 관리부(1104)는 결제 장치(1020)와 데이터 통신이 가능하도록 전자적으로 연결되어 있으므로, 결제 장치(1020)로부터 생성되는 모든 결제에 관한 데이터는 레거시 관리부(1104)로 전송된다.
한편, 메인 서버(1100)는 레거시 관리부(1104)가 결제 장치(1020)로부터 구매 내역을 수신할 때, 구매 정보에 포함된 일부 정보는 수집되지 않도록 하는 필터부(1105)를 더 포함한다.
이 때, 필터부(1105)는 구매 내역에 포함된 정보 중 고객의 이름, 주소, 전화번호, 신용카드 번호, 신용카드 결제 내역, 계좌번호 및 계좌 이체 내역은 수집하지 않도록 필터링하고, 고객이 구매한 상품이나 서비스의 이름, 종류, 지불 가격 및 구매한 시간 중 적어도 하나 이상은 고객 정보로 인식하고 수신한다.
이는, 고객의 이름, 주소, 전화번를 포함하는 고객의 개인 정보를 수집할 경우, 개인정보보호법에 위반되는 것을 방지하기 위함이다.
이러한 필터부(1105)는 레거시 관리부(1104) 내부에 형성될 수 있다. 하지만, 필터부(1105)가 반드시 레거시 관리부(1104) 내부에 형성되어야 하는 것은 아니며, 도 1에 도시된 바와 같이 레거시 관리부(1104)와 별도로 형성되어 레거시 관리부(1104)에 구매 내역이 수신되기 전, 구매 내역이 필터부(1105)에서 우선 필터링 된 후 레거시 관리부에 전달되도록 구성될 수도 있다.
데이터베이스(1106)는 페이스 아이디 생성부(1103), 컨텐츠 관리부(1102) 및 레거시 관리부(1104)에서 생성되는 데이터를 모두 저장한다.
한편, 메인 서버(1100)는 학습부(1107)를 더 포함할 수 있다.
학습부(1107)는 기계 학습 능력을 보유한 인공 신경망으로 구성된다. 따라서, 본 실시 예에 따른 학습부(1107)는 고객 별 제1 및 제2 레벨 페이스 아이디가 생성된 과정과 추천 쇼핑 정보가 선별된 과정을 기계 학습할 수 있다.
학습부(1107)는 매장이나 시설을 처음 방문한 고객을 제1 고객으로 분류하고, 매장이나 시설을 적어도 1회 이상 재방문한 고객을 제2 고객으로 분류한다.
그리고, 학습부(1107)는 제1 및 제2 고객을 다시 성별, 연령, 인종 및 감정이라는 카테고리에 따라 분류할 수 있다.
특히, 제1 고객에 대한 제1 레벨 페이스 아이디가 페이스 아이디 생성부(1103)에 의해 생성되면, 학습부(1107)는 제1 레벨 페이스 아이디가 생성된 과정을 학습한 결과 데이터를 페이스 아이디 생성부(1103)에 피드백하여, 제1 고객과 동일한 성별 및/또는 인종을 가지는 제2 고객에게 제시되었던 추천 쇼핑 정보가 컨텐츠 관리부(1102)에 의해 선별되도록 제어한다.
그리고, 학습부(1107)는 제1 고객에게 제2 레벨 페이스 아이디가 생성되기 이전에, 제1 고객과 동일한 성별 및/또는 인종을 가지는 제2 고객에게 제시되었던 추천 쇼핑 정보가 제1 고객에게 제공되도록 정보 표시 장치(1200)를 제어할 수 있다.
이와 유사하게, 제1 고객에 대한 제1 레벨 페이스 아이디가 페이스 아이디 생성부(1103)에 의해 생성되면, 학습부(1107)는 제2 레벨 페이스 아이디가 생성된 과정을 학습한 결과 데이터를 이용하여 제1 고객과 유사한 연령 및/또는 감정을 가지고 있는 제2 고객에게 제시되었던 추천 쇼핑 정보가 컨텐츠 관리부(1102)에 선별되도록 제어한다.
또한, 학습부(1107)는 제1 고객에게 제1 레벨 페이스 아이디가 생성되자마자 이전에 제1 고객과 유사한 연령 및/또는 감정을 가지고 있는 제2 고객에게 제시되었던 추천 쇼핑 정보가 제공되도록 정보 표시 장치(1200)를 제어할 수 있다.
즉, 학습부(1107)는 매장에 방문한 제2 고객의 페이스 아이디, 행동 패턴 및 구매 내역을 기계 학습하고, 성별, 연령, 인종 및 감정 중 적어도 하나 이상이 동일하거나 유사한 제1 고객이 매장을 방문한 경우, 이전에 방문한 제2 고객에게 제공되었던 추천 쇼핑 정보가 제1 고객에게 표시되도록 컨텐츠 관리부(1102)와 정보 표시 장치(1200)를 제어한다.
더욱이, 학습부(1107)는 제2 고객을 학습한 결과 데이터 및 피드백이 적용된 결과를 모두 데이터베이스(1106)로 전송하여 저장한다.
한편, 본 실시 예에 따른 정보 표시 장치(1200)는 고객 별로 분류된 추천 쇼핑 정보를 메인 서버(1100)로부터 수신하여 추천 쇼핑 정보가 필요한 해당 고객에게 표시되도록 한다.
이러한 정보 표시 장치(1200)는 도 1에 도시된 바와 같이, 카메라, 뎁스(Depth) 및 적외선 이미지 촬영 디바이스 중 적어도 하나 이상이 장착된 키오스크(1011), 모바일 디바이스(1201), 디지털 정보 표시 디바이스(Digital Information Display device, DID)(1202), 홀로그램 셋탑 박스(1203) 및 스피커(1204) 중 적어도 하나 이상을 포함한다.
모바일 디바이스(1201)는 스마트폰 및 테블릿 디바이스를 포함하며, 추천 쇼핑 정보를 디스플레이 하기 위하여 모바일 디바이스(12010)에 별도의 응용 프로그램이나 어플리케이션을 설치해야 할 수도 있다.
본 실시 예에 따른 키오스크(1011), 디지털 정보 표시 디바이스(1202), 홀로그램 셋탑 박스(1203) 및 스피커(1204)는 적어도 둘 이상이 매장 또는 시설에 넓게 분포 배치되어, 고객이 이러한 장치가 배치된 장소 근처에 위치할 경우, 고객에게 추천 쇼핑 정보가 표시되도록 한다.
또한, 본 실시 예에 따른 위치 정보 표시 장치(1300)는 매장, 기관, 시설 또는 건물 내부나 주변에 위치한 고객의 현재 위치를 메인 서버(1100)에 알려주는 장치를 말한다.
이러한 위치 정보 표시 장치(1300)는 고객들이 개별적으로 소지하고 있는 GPS(1303), 비콘(1302) 디바이스 및 GPS(1303) 및 비콘(1302) 중 적어도 하나 이상을 포함하는 모바일 디바이스(1301)로써 스마트폰이나 테블릿 디바이스를 포함한다.
위치 정보 표시 장치(1300)는 고객의 매장 내 위치를 실시간으로 메인 서버(1100)에 전송하며, 메인 서버(1100)는 고객의 매장 내 위치 정보를 실시간으로 파악하여 고객의 동선을 파악하고 행동 패턴을 추측하거나 예측할 수 있다.
이와 같이, 본 발명의 일 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 시스템(100)은 메인 서버(1100)가 매장이나 시설에 분산 배치된 고객 정보 인식 장치(1000)와 위치 정보 표시 장치(1300)를 이용하여 고객의 얼굴 이미지를 통해 고객의 성별, 연령, 인종 및 감정을 파악하고, 고객의 구매 내역 및 행동 패턴을 분석하여, 매장이나 시설을 방문한 모든 고객에 대한 생활 방식이나 취향을 파악한 뒤, 개별 고객들 마다 필요한 쇼핑 정보를 분류하여 추천할 수 있다.
따라서, 본 발명의 일 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 시스템(100)은 고객 별로 고객의 필요에 따른 쇼핑 정보를 선별적으로 제시할 수 있으므로, 고객의 소비를 유발하고 매장이나 시설의 매출을 증가시킬 수 있으며, 고객의 취향을 파악하기 위하여 설문 조사를 하거나 별도의 조사 인력을 배치할 필요가 없고, 고객에게 쇼핑 정보를 제공하기 위해 별도의 인력을 배치할 필요도 없으므로, 상품이나 서비스 홍보에 투입되는 비용과 인력을 최소화 할 수 있다.
아울러, 본 발명에 따른 시스템(100)은 고객의 연령을 파악하여, 고객이 미성년자로 판단될 경우, 미성년자에게 부적합한 상품이나 서비스에 대한 정보는 노출되지 않도록 차단함으로써, 미성년자를 유해한 상품이나 서비스로부터 보호할 수도 있다.
이하에서는, 도 2 내지 도 9를 참조하여 본 발명의 일 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 시스템을 이용해 고객에게 맞춤 정보를 제안하는 방법에 대하여 구체적으로 설명한다.
본 발명에 따른 고객에게 맞춤 정보를 제안하기 위한 방법을 설명함에 있어서, 본 발명의 일 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 시스템(100)과 동일한 구성에 대하여는 동일한 도면 참조 번호를 사용하거나 동일한 설명을 할 수 있다.
아울러, 본 발명의 일 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 시스템(100)과 본 발명에 따른 고객에게 맞춤 정보를 제안하기 위한 방법이 서로 동일한 구성을 포함하고 있는 경우, 이러한 동일한 구성에 대하여 중복되는 설명을 피하기 위해, 일부 설명 및 도면의 도시는 생략될 수도 있다.
도 2는 본 발명의 일 실시 예에 따른 고객 맞춤 정보를 제안하는 방법에 따라 고객 맞춤 정보를 제안하는 과정을 나타낸 순서도이며, 도 3은 본 발명의 일 실시 예에 따른 메인 서버가 고객의 얼굴 이미지를 처리하는 과정을 나타낸 순서도이고, 도 4는 본 발명의 일 실시 예에 따른 메인 서버가 제1 레벨 페이스 아이디를 생성하고 부여하는 과정을 나타낸 순서도이다. 도 5는 본 발명의 일 실시 예에 따른 메인 서버가 고객의 구매 내역을 수집하는 과정을 나타낸 순서도이며, 도 6은 본 발명의 일 실시 예에 따른 메인 서버가 제2 레벨 페이스 아이디를 생성하고 부여하는 과정을 나타낸 순서도이고, 도 7은 본 발명의 일 실시 예에 따른 메인 서버가 고객 별로 추천 쇼핑 정보를 선별하는 과정을 나타낸 순서도이다. 도 8은 본 발명의 일 실시 예에 따른 메인 서버가 통계 데이터를 생성하고 학습하는 과정을 나타내는 순서도이며, 도 9는 본 발명의 일 실시 예에 따른 메인 서버가 기계 학습한 결과를 자체적으로 피드백하는 과정을 나타내는 순서도이다.
도 2를 참조하면, 본 발명에 따른 고객에게 맞춤 정보를 제안하기 위한 방법은, 우선, 매장, 기관, 시설 또는 건물에 고객이 입장하면, 고객 정보 인식 장치(1000)가 고객의 얼굴 이미지 획득한다(S1000).
본 발명에 따른 고객 정보 인식 장치(1000)는 얼굴 이미지 촬영 장치(1010)를 이용하여 고객의 얼굴 이미지를 획득한다.
이때, 얼굴 이미지 촬영 장치(1010)는 도 1에 도시된 바와 같이, 키오스크(1011)와 CCTV로 구성될 수 있으며, 이러한 키오스크(1011)와 CCTV는 카메라(1012), 뎁스(Depth) 및 적외선 이미지 촬영 디바이스를 포함한다.
한편, 카메라(1012)는 일반적으로 사용되는 정지 영상 촬영 및 동영상 촬영 카메라 이외에도 뎁스 카메라 또는 적외선 카메라가 더 사용될 수 있으며, 이러한 카메라가 모두 통합 및 내장되어 사용될 수도 있다.
따라서, 본 실시 예에 따른 얼굴 이미지 촬영 장치(1010)는 고객의 얼굴 이미지를 픽셀, 뎁스, 색분포 및 명암비로 구분된 다층 이미지로 촬영할 수 있다.
이렇게 촬영된 고객의 얼굴 이미지는 메인 서버(1100)의 페이스 아이디 생성부(1103)로 전송된다.
페이스 아이디 생성부(1103)는 고객의 얼굴을 촬영한 얼굴 이미지를 분석하여, 얼굴 이미지에 표현된 얼굴 윤곽을 추출하고, 눈, 코 및 입의 위치 벡터 값을 추출한다.
도 3을 참조하여 좀 더 구체적으로 본 발명에 따른 페이스 아이디 생성부(1103)가 고객의 얼굴 이미지를 획득하는 과정을 살펴보면, 페이스 아이디 생성부(1103)는 전송된 얼굴 이미지를 컨벌루션 뉴럴 네트워크 연산을 통해, 얼굴의 윤곽을 나타낼 수 있는 특징점들을 추출하고, 추출된 특징점들을 선으로 연결하여 얼굴 윤곽에 대한 특징 값을 도출한다.
또한, 컨벌루션 뉴럴 네트워크 연산을 통해 얼굴 이미지에 표현된 픽셀 값을 분석하여 눈, 코 및 입에 특징점들을 설정하고 이들을 연결한 위치 벡터의 벡터 값을 특징 값으로 추출한다(S10001).
이 외에도 페이스 아이디 생성부(1103)는 전송된 얼굴 이미지를 분석하여 고객의 얼굴을 촬영할 당시 빛에 의해 고객의 얼굴에 생성되는 그림자 패턴을 추출하고(S10002) 추출된 그림자 패턴을 분석한다.
또한, 페이스 아이디 생성부(1103)는 이와 유사한 방법으로 고객의 얼굴 이미지로부터 뎁스 정보를 파악한다(S10003).
본 실시 예에 따른 얼굴 이미지 촬영 장치(1010)가 적외선 촬영 장비를 구비하고 있는 경우, 페이스 아이디 생성부(1103)는 고객의 얼굴을 적외선 촬영한 이미지를 분석하여 고객의 얼굴에 나타나는 체온의 분포도를 색분포도에 따라 파악한다(S10004).
이러한 적외선 촬영 영상에는 체온이 높은 부분은 적색으로 표시되고 체온이 낮은 부분은 파란색으로 표시될 수 있다.
이 외에도, 페이스 아이디 생성부(1103)는 전송된 얼굴 이미지에서 밝기를 분석하여 얼굴 각 부분에 대한 명암비를 분석하고 이를 패턴 형태로 저장할 수 있다(S10004).
아울러, 페이스 아이디 생성부(1103)는 얼굴 이미지로부터 고객의 얼굴에 있는 주름, 눈의 망막 비중, 홍채 모양, 귀의 생김새에 대한 특징 값들도 추출할 수 있으며, 이들에 대한 특징 값을 특정 고객에 대한 식별 정보로 사용할 수도 있다.
페이스 아이디 생성부(1103)는 이렇게 추출된 윤곽에 대한 특징 값, 눈, 코 및 입의 위치 벡터 값, 그림자 패턴, 뎁스, 명암비 및 체온 분포도을 모두 특정 고객에 대한 식별 정보로 분류한다.
이 후, 메인 서버(1100)는 촬영된 고객들의 얼굴 이미지 별로 제1 레벨 페이스 아이디를 생성하고 부여한다(S1100).
제1 레벨 페이스 아이디를 생성할 때, 메인 서버(1100)는 이러한 식별 정보들을 종합하여 고객의 성별, 연령, 인종을 파악하고, 얼굴 이미지 촬영 당시 고객이 느끼고 있는 감정을 개략적으로 정의하고 파악할 수 있다.
도 4를 참조하여 좀 더 구체적으로 본 발명에 따른 페이스 아이디 생성부(1103)가 제1 레벨 페이스 아이디를 생성하는 과정을 살펴보면 다음과 같다.
페이스 아이디 생성부(1103)는 윤곽에 대한 특징 값, 눈, 코 및 입의 위치 벡터 값, 그림자 패턴, 뎁스, 명암비 및 체온 분포도가 포함된 특정 고객에 대한 식별 정보 중 적어도 하나 이상을 이용하여, 특정 고객의 성별, 연령, 인종 및 감정을 분석한다(S11001).
이 때, 페이스 아이디 생성부(1103)는 고객의 입과 눈의 모양 및 패턴, 주름의 개수, 얼굴의 형태를 통합적으로 고려하여 고객이 즐거움, 분노, 슬픔 등을 느끼고 있는지 여부를 판단할 수 있다.
페이스 아이디 생성부(1103)가 성별, 연령, 인종, 및 감정을 분석할 경우, 데이터베이스(1106)에 저장된 다양한 사람들의 얼굴을 촬영한 이미지 데이터를 참고할 수 있다.
페이스 아이디 생성부(1103)는 고객의 성별, 연령, 인종 및 감정을 분석한 데이터 값을 도출한다(S11002).
다만, 고객의 성별, 연령, 인종 및 감정이 모두 동일하게 분석된 경우도 있을 수 있으므로, 페이스 아이디 생성부(1103)는 이와 같이 분석된 데이터 값에 각 고객들 마다 고유의 식별이 가능하게끔 하는 인식 마크로써, 해쉬 값을 더한다.
이러한 해쉬 값은 별도의 해쉬 알고리즘을 통해 생성되며, 페이스 아이디 생성부(1103)는 고객의 성별, 연령, 인종 및 감정이 분석된 데이터 값에 해쉬 값을 추가하여 제1 레벨 페이스 아이디를 생성한다(S11003).
제1 레벨 페이스 아이디가 생성되면, 페이스 아이디 생성부(1103)는 얼굴 이미지들 각각과 제1 레벨 페이스 아이디들 각각을 매칭한 뒤, 각 얼굴 이미지 마다 고유의 해쉬 값을 가진 제1 레벨 페이스 아이디를 부여한다(S11004).
해시 알고리즘은 고유의 키 값을 가지고 있는 해쉬 값을 생성하므로, 해쉬 값이 부여된 제1 페이스 아이디들은 서로 모두 다른 해쉬 값을 가지게 된다.
따라서, 매장이나 시설을 방문한 모든 고객은 고객 별로 각자 고유의 제1 레벨 페이스 아이디를 보유하게 되는 것이며, 본 발명에 따른 메인 서버(1100)는 이러한 제1 레벨 페이스 아이디를 통해 각 고객을 인식하고 관리를 한다.
한편, 메인 서버(1100)는 고객의 행동 패턴 및 구매 내역을 수집하고 저장한다(S1200).
메인 서버(1100)가 고객의 구매 내역을 수집하는 과정을 구체적으로 살펴보면 다음과 같다.
우선, 도 5를 참조하면, 메인 서버(1100)는 고객 정보 인식 장치(1000)에 포함된 결제 장치(1020)로부터 고객의 구매 내역을 수신한다(S12001). 좀 더 정확하게는, 결제 장치(1020)는 고객의 모든 구매 내역을 메인 서버(1100)의 레거시 관리부(1104)로 전송한다.
이 때, 고객의 모든 구매 내역은 고객의 이름, 주소, 전화번호, 신용카드 번호, 신용카드 결제 내역, 계좌번호 및 계좌 이체 내역과, 고객이 구매한 상품이나 서비스의 이름, 종류, 지불 가격 및 구매한 시간을 모두 포함한다.
또한, 구매 내역은 레거시 관리부(1104)로 전송되기 전에 필터부(1105)를 거쳐 레거시 관리부(1104)로 전송될 수도 있고, 레거시 관리부(1104) 내부에 필터부(1105)가 있는 경우, 레거시 관리부(1104)에 수신된 구매 내역이 필터부(1105)에 의해 필터링 될 수도 있다.
필터부(1105)는 고객의 구매 내역 중 고객의 이름, 주소, 전화번호, 신용카드 번호, 신용카드 결제 내역, 계좌번호 및 계좌 이체 내역은 수집하지 않도록 필터링한다(S12002).
그리고, 레거시 관리부(1104)는 구매 내역 중 고객이 구매한 상품이나 서비스의 이름, 종류, 지불 가격 및 구매한 시간 중 적어도 하나 이상을 고객 정보로 인식하고 수집한다(S12003).
이는 고객의 개인 정보를 메인 서버(1100)가 무분별하게 수집하여 개인 정보가 불법적으로 누출될 수 있는 가능성을 아예 배제하기 위함이다.
한편, 메인 서버(1100)는 제1 레벨 페이스 아이디에 수집된 구매 내역과 고객의 행동 패턴을 통합하여 제2 레벨 페이스 아이디를 생성한다(S1300).
본 발명에 따른 메인 서버(1100)가 제2 레벨 페이스 아이디를 생성하는 과정을 구체적으로 살펴보면 다음과 같다.
도 6을 참조하면, 메인 서버(1100)는 고객이 이동한 경로를 위치 정보 표시 장치(1300)를 통하여 수집한다(S13001).
좀 더 구체적으로는, 메인 서버(1100)에 포함된 페이스 아이디 생성부(1103)가 위치 정보 표시 장치(1300)로부터 고객이 매장이나 시설 내에서 체류한 장소, 특정 장소로부터 다른 장소로 이동한 경로에 대한 모든 이동 정보를 수집한다.
한편, 매장이나 시설 내 분산 배치된 얼굴 이미지 촬영 장치(1010)들에 의해, 고객이 이동하면서 고객의 얼굴은 지속적으로 촬영되고, 고객에 대한 얼굴 이미지는 지속적으로 생성된다.
따라서, 메인 서버(1100)는 이렇게 생성된 복수의 얼굴 이미지들을 이용하여 지속적으로 제1 레벨 페이스 아이디를 생성하며, 생성된 제1 레벨 페이스 아이디들은 특정 고객에 대한 제1 레벨 페이스 아이디로써 모두 통합 관리된다.
하지만, 복수의 얼굴 이미지 촬영 장치(1010)들 각각에서 촬영된 특정 고객에 대한 얼굴 이미지는, 그 촬영 각도나 조도에 의해 촬영된 얼굴 이미지에 다소 차이가 있을 수 있으며, 이로 인하여 페이스 아이디 생성부(1103)는 단일 고객 당 생성되는 복수의 얼굴 이미지들이 모두 동일한 고객으로부터 촬영된 얼굴 이미지라고 판단하지 못할 수도 있다.
따라서, 복수의 얼굴 이미지 촬영 장치(1010)들 각각에서 촬영된 특정 고객에 대한 복수의 얼굴 이미지들은 페이스 아이디 생성부(1103)에 의해 특정 고객에 대하여 최초로 생성된 제1 레벨 페이스 아이디와 얼마나 유사한지 여부가 비교된다.
즉, 페이스 아이디 생성부(1103)는 특정 고객에 대하여 최초로 생성된 제1 레벨 페이스 아이디와 이후 특정 고객이 매장이나 시설 내부를 이동하면서 지속적으로 추가 생성된 모든 제1 레벨 페이스 아이디들 간에 유사도를 분석한다(S13002).
이 때, 페이스 아이디 생성부(1103)는 특정 고객에 대하여 생성된 복수의 제1 레벨 페이스 아이디들 중 유사도가 일정 수준 이상 되는 제1 레벨 페이스 아이디들을, 모두 특정 고객에 대한 제1 레벨 페이스 아이디로 분류한다(S13003).
이 경우, 유사도의 정도는 얼굴 이미지에서 추출된 얼굴 윤곽, 눈, 코, 입의 위치 벡터 값들을 모두 복합적으로 판단하여 이러한 벡터 값들의 유사도가 70% 내지 80% 이상일 경우, 모두 동일한 특정 고객에 대한 얼굴 이미지로 분류하도록 설정될 수 있다.
하지만, 유사도는 상술한 설명에 의해 70% 내지 80%로 한정되어 설정되는 것은 아니며, 더 높은 유사도 기준을 가지도록 설정될 수도 있고, 더 낮은 유사도 기준을 가지도록 설정될 수도 있다.
한편, 페이스 아이디 생성부(1103)는 유사도에 근거하여 분류된 제1 레벨 페이스 아이디를 보유한 고객이 매장이나 시설 내에서 이동하면서 들린 판매점에 대한 정보를 위치 정보 표시 장치(1300)로부터 수집한다(S13004).
이 때, 페이스 아이디 생성부(1103)가 수집하는 판매점에 대한 정보는 고객이 체류한 판매점의 위치, 판매점이 위치한 층, 고객의 최초 위치로부터 판매점까지 도달하기 위한 이동 경로, 고객이 이동 경로를 이동한 이동 속도, 고객이 판매점에 체류한 시간들을 모두 포함한다.
만약, 페이스 아이디 생성부(1103)는 고객이 특정 판매점에 15분 이상을 체류한 경우, 그 매장에 고객의 관심 상품이 있는 것으로 보고 그 매장에 대한 이름, 브랜드명, 위치, 취급 상품 및 상품의 가격 정보를 모두 수집할 수 있다.
하지만, 고객이 판매점에 체류한 시간을 통해 관심 판매점으로 분류하기 위한 시간 기준은 상술한 설명과 같이 반드시 15분에 한정되지 않으며, 더 길게 설정될 수도 있다.
또한, 페이스 아이디 생성부(1103)는 고객이 가장 오랜 시간동안 머물렀던 판매점이나 장소들을 시간이 긴 순으로 오름차순 정렬하거나, 고객이 매장에 입장하여 가장 먼저 방문한 판매점을 선별하는 방식으로 판매점들을 분류할 수 있다.
그리고, 페이스 아이디 생성부(1103)는 유사도에 근거하여 분류된 제1 레벨 페이스 아이디와 수집된 판매점의 정보를 결합하여 고객이 매장이나 시설에 들어와서 가장 자주 방문하는 판매점이나 가장 먼저 방문하는 판매점을 파악하고, 이를 통해 고객의 행동 패턴을 도출한다(S13005).
이 후, 페이스 아이디 생성부(1103)는 도출된 고객의 행동 패턴 및 수집된 구매 내역을 최초로 생성된 제1 레벨 페이스 아이디에 통합하여 제2 레벨 페이스 아이디를 생성한다(S13006).
따라서, 제2 레벨 페이스 아이디는 고객의 기본적인 정보인 성별, 연령, 인종에 대한 정보에 고객의 성향을 통계적으로 분석한 벡터 값이 부가된 통합 고객 정보로써, 본 발명에 따른 시스템 및 방법을 사용하는 관리자는 제2 레벨 페이스 아이디를 조회하는 것만으로도 고객의 성향을 바로 파악할 수 있다.
한편, 메인 서버(1100)는 생성된 제2 레벨 페이스 아이디에 기반하여 고객의 생활 방식 및 취향을 예측하며, 제2 레벨 페이스 아이디에 근거하여 고객 별로 추천할 추천 쇼핑 정보를 선별한다(S1400).
도 7을 참조하고, 컨텐츠 관리부(1102)가 제2 레벨 페이스 아이디에 기반하여 추천 쇼핑 정보를 선별하는 과정을 예시적으로 설명하면 다음과 같다.
만약, B 고객이 육류 판매점에서 30분간 체류하였다면, 컨텐츠 관리부(1102)에 의해 B 고객의 행동 패턴에 대한 제1 데이터가 생성되고, B 고객이 아웃도어 용품 판매점에서 텐트 및 스툴을 구입한 구매 내역이 있으면, 레거시 관리부(1104)에 의해 B 고객의 구매 패턴에 대한 제2 데이터가 생성된다.
그리고, 페이스 아이디 생성부(1103)는 제1 및 제2 데이터를 제1 레벨 페이스 아이디에 결합시켜 제2 레벨 페이스 아이디를 생성한다(S1300).
컨텐츠 관리부(1102)는 이와 같이 형성된 제2 레벨 페이스 아이디에 기반하여 B 고객에게 추천 쇼핑 정보를 선별한다(S1400).
이 때, 컨텐츠 관리부(1102)는 제1 데이터에 포함된 육류 판매점에 대한 정보로부터 식료품, 화식 재료, 외식용 식료품이라는 키워드를 추출하고(S14003), 제2 데이터에 포함된 아웃도어 용품으로부터 외부활동, 외박, 캠핑이라는 키워드를 추출한다(S14004).
그리고, 컨텐츠 관리부(1102)는 외부활동 및 외식용 식료품이라는 키워드가 제1 및 제2 데이터의 상호 연관성이 높은 키워드로 판단하고, 외부 활동 및 외식용 식품에 대한 카테고리에 B 고객의 취향 및 관심 분야를 설정한다(S14005).
그리고, B 고객이 실제로 구매한 상품 중에서 가장 많은 비용을 지출하거나 가장 자주 구입한 상품이 어떠한 카테고리에 속해있는지 여부를 확인하여, 컨텐츠 관리부(1102)가 설정한 B 고객의 관심 분야에 해당 상품이 포함되는지 여부를 검토한다(S14006).
B 고객이 텐트 및 스툴을 구입한 내역이 가장 많은 비용을 지출한 항목이며, 이러한 상품들은 외부 활동용 소품에 해당되므로, 컨텐츠 관리부(1102)는 B 고객의 취향 및 관심 분야가 외부 활동에 있다고 판단할 수 있으며, B 고객이 실제로 구입한 텐트와 스툴을 추가적으로 고려하여 B 고객이 캠핑 활동을 준비하고 있다고 판단한다.
그리고, 컨텐츠 관리부(1102)는 레거시 관리부(1104)를 검색하여, B 고객이 구매한 아웃도어 용품과 구매하지 않은 아웃도어 용품을 파악한다(S14007).
예를 들어, 캠핑용 취사 도구로써 버너나 숯불을 아직 B 고객이 구매하지 않은 경우, 컨텐츠 관리부(1102)는 이와 같은 상품을 B 고객이 구매할 수 있도록 돕기 위해, 캠핑용 취사 도구 관련 상품을 취급하는 판매점의 위치 정보, 해당 상품의 판매 가격, 할인 정보 및 사용 방법이 추천 쇼핑 정보에 포함되도록 정보를 선별한다.
컨텐츠 관리부(1102)가 추천 쇼핑 정보를 선별하는 다른 예를 들면 다음과 같다.
만약, 컨텐츠 관리부(1102)가 제1 또는 제2 레벨 페이스 아이디를 통해 C 고객의 연령이 미성년자에 해당된다고 파악하고, C 고객의 현재 위치가 완구류를 포함하는 장난감 판매점 근처에서 확인된 경우, 컨텐츠 관리부(1102)는 장난감 판매점에 대한 정보를 포함하는 제1 데이터를 생성한다.
한편, 레거시 관리부(1104)는 미성년자의 구매 내역을 확인할 수 없으므로, 제2 데이터를 생성할 수는 없으나, 컨텐츠 관리부(1102)가 제1 또는 제2 레벨 페이스 아이디를 통해 C 고객의 연령이 미성년자에 해당된다고 파악하였으므로, C 고객에 대한 제2 데이터 대신에 C 고객의 성별 및 연령 정보를 사용할 수 있다.
컨텐츠 관리부(1102)는 제1 데이터 및 C 고객의 성별 및 연령 정보에서 각각 '어린이', '놀이', '장난감' 및 '완구'와 같은 키워드들을 서로 연관성 있는 키워드로 도출할 수 있으며(S14003, S14004), 장난감에 대한 카테고리에 C 고객의 취향 및 관심 분야를 설정할 수 있다(S14005).
그리고, C 고객이 미성년자여서 상품을 구매할 경제적 능력이 없는 관계로, 실제로 구매한 상품의 구매 내역이 확인되지 않을 수 있으므로, 이 경우에는 C 고객의 구매 내역과 컨텐츠 관리부(1102)가 설정한 C 고객의 관심 분야 매칭 여부를 검토하지 않고 생략할 수도 있다(S14006).
C 고객의 구매 내역과 컨텐츠 관리부(1102)가 설정한 C 고객의 관심 분야 매칭 여부를 검토하는 대신, 컨텐츠 관리부(1102)는 C 고객의 연령대에 속한 미성년자들에게 가장 인기 있는 장난감에 대한 정보를 선별하여, 해당 장난감의 판매 가격, 할인 정보 및 해당 상품의 광고 영상이 추천 쇼핑 정보에 포함되도록 추천 쇼핑 정보를 구성할 수 있다.
이와 같이, 본 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 방법은 고객의 성별, 연령, 인종 및 감정 이외에 고객의 행동 패턴과 구매 내역을 모두 반영하여 고객에게 추천할 쇼핑 정보를 선별한다.
한편, 본 발명에 따른 메인 서버(1100)는 고객이 미성년자에 해당하는 경우, 미성년자에게 부적절한 상품이나 서비스에 대한 정보가 노출되지 않도록 필터링 할 수 있다.
즉, 본 발명에 따른 메인 서버(1100)에 포함된 컨텐츠 관리부(1102)는 제1 레벨 페이스 아이디를 통해 고객의 연령을 파악한다(S14001).
만약, 컨텐츠 관리부(1102)가 고객의 연령이 미성년자에 해당된다고 판단하면, 컨텐츠 관리부(1102)는 미성년자에게 표시될 추천 쇼핑 정보에 기호 식품 중 술과 담배, 의약품 중 향정신성 의약품, 본드와 부탄 가스 및 성인 용품을 포함하는 미성년자 유해 상품은 배제되도록 한다(S14002).
따라서, 본 발명에 따른 고객 맞춤 정보를 제안하기 위한 방법은 미성년자가 미성년자에게 부적절한 상품 및 서비스에 노출되는 것을 사전에 방지할 수 있다.
이와 같이, 컨텐츠 관리부(1102)에서 고객에게 표시할 추천 쇼핑 정보의 컨텐츠가 선별되고 확정되면, 컨텐츠 관리부(1102)는 정보 표시 장치(1200)를 이용하여 추천 쇼핑 정보를 고객에게 표시한다(S1500).
한편, 본 발명에 따른 고객 맞춤 정보를 제안하기 위한 방법은 고객이 1인 고객이 아니고 2인 이상의 고객으로 구성된 경우에도, 2인 이상 고객에 대한 공통된 정보를 수집 및 분석하여 2인 이상의 고객에 대한 추천 쇼핑 정보를 선별하고 제시할 수 있다.
예를 들어, 남성 및 여성 고객이 매장 내에서 이동 동선 및 체류 시간이 일치하면서, 둘 중의 한명에게만 구매 내역만 수집되는 경우, 메인 서버(1100)는 이러한 2인 이상의 고객은 A 고객군으로 분류한 뒤, 2명의 행동 패턴과 구매 내역을 통합하여 관리할 수 있다.
그리고, 메인 서버(1100)는 A 고객군에 대한 행동 패턴과 구매 내역을 다시 수집하여, 이들을 부부라고 판단하고, 부부 생활을 하는 고객군에게 필요한 상품이나 서비스를 추천 쇼핑 정보로 구성되도록 할 수 있다.
또한, 다른 예에서는 오후 3시부터 저녁 6시까지 매장을 방문하는 고객의 성별이 여성이 대다수이고, 이들의 과반수 이상의 연령이 30~50대라고 메인 서버(1100)가 판단한 경우, 메인 서버는 이러한 30~50대의 연령을 가진 여성 고객들에게 일괄적으로 저녁 식사 관련 상품에 대한 정보를 추천 쇼핑 정보로 제공하도록 컨텐츠를 구성할 수도 있다.
한편, 본 실시 예에 따른 고객 맞춤 정보를 제안하기 위한 방법은, 컨텐츠 관리부(1102)가 정보 표시 장치(1200)를 이용하여 추천 쇼핑 정보를 고객에게 표시한 뒤(S1500), 페이스 아이디 생성부(1103)는 제2 레벨 페이스 아이디를 이용하여 매장을 방문한 전체 고객의 성별, 연령, 인종, 감정, 행동 패턴, 구매 내역, 생활 방식 및 취향 중 적어도 하나 이상을 포함하는 통계 데이터를 생성한다(S1600).
이러한 통계 데이터는 매장이나 시설을 방문하는 전체 고객의 성향, 매출 현황 또는 최근 고객들에게 인기있는 상품의 트랜드를 파악하는 데이터로 활용될 수 있으며, 동시에 본 발명의 일 실시 예에 따른 학습부(1107)가 통계 데이터를 기계 학습하여 추후 방문할 고객들을 정확하게 인식 및 분류하고 이들에게 적합한 정보를 효율적으로 제시할 수 있도록 한다.
한편, 본 발명의 일 실시 예에 따른 학습부(1107)는 제1 및 제2 레벨 페이스 아이디가 생성된 과정과 추천 쇼핑 정보가 도출된 과정, 그리고 통계 데이터를 기계 학습하여, 본 발명의 일 실시 예에 따른 시스템(100)이 고객들의 성별, 연령, 인종 및 감정을 더 잘 파악하고, 고객의 취향에 맞는 정확한 상품이나 서비스를 예측하여 제시할 수 있도록 한다.
도 8을 참조하여 학습부(1107)가 기계 학습하는 과정을 좀 더 구체적으로 설명하면 아래와 같다.
우선, 메인 서버(1100)에 포함된 학습부(1107)가 고객 별로 제1 및 제2 레벨 페이스 아이디가 생성된 과정을 기계 학습한다(S16001).
학습부(1107)는 제1 레벨 페이스 아이디를 생성하기 위해 사용되는 얼굴의 윤곽, 눈, 코, 입의 위치 벡터 값을 얼굴 이미지로부터 도출하는 과정과 그림자 패턴, 뎁스(depth), 명암비 및 체온 분포도를 얼굴 이미지로부터 도출하는 과정을 전부 기계 학습한다.
또한, 학습부(1107)는 제2 레벨 페이스 아이디를 생성하기 위해 사용되는 고객의 행동 패턴 및 구매 내역을 도출하고 수집하는 과정도 기계 학습한다.
학습부(1107)는 제2 레벨 페이스 아이디를 이용하여 컨텐츠 관리부(1102)가 어떠한 기준에 따라 추천 쇼핑 정보를 선별하였는지 기계 학습한다(S16002).
그리고, 학습부(1107)는 제1 및 제2 레벨 페이스 아이디가 생성된 과정 및 추천 쇼핑 정보가 선별된 과정을 학습한 결과를 각각 페이스 아이디 생성부(1103)와 컨텐츠 관리부(1102)에 피드백으로 제공한다.
또한, 학습부(1107)는 제2 레벨 페이스 아이디를 통해 매장을 방문한 전체 고객의 성별, 연령, 인종, 감정, 행동 패턴, 구매 내역, 생활 방식 및 취향을 분석하고 이에 대한 분석 데이터를 포함하는 통계 데이터를 기계 학습한다(S16003).
이러한 기계 학습을 통해, 본 발명에 따른 메인 서버(1100)는 각 매장 별 주요 이용 고객의 성별, 연령, 인종 및 고객들의 행동 패턴과 선호 상품을 스스로 파악하고 관리자에게 알려줄 수 있다.
특히, 본 발명에 따른 학습부(1107)가 제1 및 제2 레벨 페이스 아이디가 생성된 과정 및 추천 쇼핑 정보가 선별된 과정을 학습한 결과를 각각 페이스 아이디 생성부(1103)와 컨텐츠 관리부(1102)에 피드백으로 제공하는 과정은 다음과 같다.
도 9를 참조하면, 학습부(1107)는 매장을 방문한 전체 고객을 매장을 처음 방문한 제1 고객과 매장을 적어도 1회 이상 재방문한 제2 고객으로 분류하며, 제1 및 제2 고객들을 다시 성별, 연령, 인종 및 감정 카테고리 별로 분류한다(S16005).
학습부(1107)는 제1 고객에 대한 제1 레벨 페이스 아이디가 생성되면, 제1 고객과 동일한 성별 및 인종에 해당되는 제2 고객 제시되었던 추천 쇼핑 정보가 제1 고객에게 제공되도록 정보 표시 장치를 제어한다(S16006).
또한, 학습부(1107)는 제1 고객에 대한 제1 레벨 페이스 아이디가 생성되면, 제1 고객과 유사한 연령 및 감정을 가지고 있는 제2 고객에게 제시되었던 추천 쇼핑 정보가 제1 고객에게 제공되도록 정보 표시 장치를 제어할 수도 있다(S16006).
특히, 학습부(1107)는 제2 고객의 제1 레벨 페이스 아이디에 포함된 제2 고객 별 성별, 연령, 인종 및 감정에 대한 데이터들을 학습 데이터로 기계 학습하고, 학습한 결과를 결과 데이터로 분류하여 학습부(1107) 자체적으로 저장하거나 데이터베이스(1106)에 별도로 저장한다.
그리고, 학습부(1107)는 제1 고객에 대한 제1 레벨 페이스 아이디가 생성되는 과정에 결과 데이터가 반영되도록 하여, 페이스 아이디 생성부(1103)가 얼굴 이미지를 통하여 좀 더 정확하게 고객의 성별, 연령, 인종 및 감정을 인식하고 파악할 수 있도록 한다.
본 발명에 따른 고객 맞춤 정보를 제안하기 위한 시스템 및 방법은 고객이 가지고 있는 개인 모바일 디바이스에서 구동되는 어플리케이션, 매장 내 배치된 디지털 디스플레이 장치들을 통해 고객 맞춤 쇼핑 정보 또는 고객 맞춤형 컨텐츠를 표시하고, 이를 통해 고객에게 편의를 제공함과 동시에 매장의 매출을 증대시킨다.
또한, 페이스 아이디가 발급된 고객이 매장에서 상품을 결제할 경우, 구매한 상품에 대한 상품 정보와 상품 가격, 상품을 구매하기 위해 매장에서 이동한 동선에 대한 정보만 구매 내역으로 저장하므로, 고객의 이름이나 전화번호와 같은 개인정보를 수집하지 않으며, 개인정보 유출에 대한 위험이 원천적으로 봉쇄된다.
또한, 페이스 아이디를 통해 고객의 연령을 분석하여 고객이 미성년임을 나타내는 경우, 미성년자에게 유해한 상품이나 서비스에 대한 정보가 노출되지 않도록 필터링 하므로, 미성년자가 미성년자에게 부적합한 상품이나 서비스 정보에 노출되는 것을 예방할 수 있다.
아울러, 매장을 이용한 고객들의 성별, 연령, 인종 및 감정과 고객들의 행동 패턴 및 구매 내역에 대한 데이터들이 모두 저장 관리되므로, 추후 매장 관리를 위해 이러한 데이터를 통계 데이터로 사용 가능하다.
한편, 본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수도 있다.
또한, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서에 구애되지 않고 발생하는 것이 가능함을 주목해야 한다.
예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하다. 그리고, 블록들 또는 단계들은 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 명세서에 설명된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 이들 모두의 결합으로 직접 구현될 수도 있다.
소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다.
예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 하지만 이와 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다.
한편, 프로세서 및 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
또한, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것도 가능하다. 이 때, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.
또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 고객 맞춤 정보를 제안하기 위한 시스템
1000: 고객 정보 인식 장치
1100: 메인 서버
1200: 정보 표시 장치
1300: 위치 정보 표시 장치

Claims (22)

  1. O2O 기반 고객 맞춤 정보를 제안하기 위한 시스템에 있어서,
    상기 시스템은,
    고객 각각의 얼굴 이미지 및 상기 고객이 온라인(On-Line)과 오프라인(Off-Line)을 통해 구매한 구매 내역을 포함하는 고객 정보를 수집하고 인식할 수 있는 고객 정보 인식 장치;
    상기 고객 정보 인식 장치로부터 상기 고객 정보를 수신하여 고객 별로 제1 및 제2 레벨 페이스 아이디를 생성 및 부여하는 메인 서버(main server);
    상기 메인 서버로부터 고객 별로 분류된 추천 쇼핑 정보를 수신하여 상기 추천 쇼핑 정보가 필요한 해당 고객에게 표시하는 정보 표시 장치; 및
    상기 고객의 현재 위치를 알려주는 위치 정보 표시 장치를 포함하고,
    상기 메인 서버는,
    상기 제2 레벨 페이스 아이디에 기반하여 각 고객의 취향 및 생활 방식을 예측하고, 고객 별로 선호 또는 필요 상품 및 서비스를 선별하여 상기 추천 쇼핑 정보를 생성하는 것을 특징으로 하되,
    상기 메인 서버는,
    상기 고객 정보 인식 장치로부터 전송되는 상기 얼굴 이미지를 획득하고 상기 얼굴 이미지에서 추출된 특징 값들을 이용하여 고객 별로 상기 제1 레벨 페이스 아이디를 지속적으로 생성하고,
    상기 위치 정보 생성 장치를 통해 각 고객의 행동 패턴에 대한 제1 데이터를 생성하며, 상기 구매내역 정보로부터 각 고객의 구매 패턴에 대한 제2데이터를 생성하고, 상기 고객 중 유사도가 일정 수준 이상되는 상기 제1 레벨 아이디를 보유한 고객에 대해, 상기 제1 레벨 페이스 아이디에 상기 제1데이터 및 제2데이터를 통합한 정보에 대해 상기 제2 레벨 페이스 아이디를 생성하며,
    상기 메인 서버는 상기 메인 서버에서 수행되는 모든 연산 작업을 처리할 수 있는 프로세서;
    상기 제1 및 제2 레벨 페이스 아이디를 생성하는 페이스 아이디 생성부;
    상기 정보 표시 장치에 표시될 상기 추천 쇼핑 정보를 생성 및 분류하는 컨텐츠 관리부;
    고객 별로 상기 구매 내역을 추적 및 관리하는 레거시 관리부;
    상기 페이스 아이디 생성부, 컨텐츠 관리부 및 레거시 관리부에서 생성되는 데이터를 모두 저장하는 데이터베이스;
    고객 별 상기 제1 및 제2 레벨 페이스 아이디가 생성된 과정과 상기 추천 쇼핑 정보가 선별된 과정을 기계 학습하는 학습부 및
    상기 고객정보인식 장치로부터 구매 내역을 수신하며, 상기 구매내역 중 상기 고객이 온라인(On-Line)과 오프라인(Off-Line)을 통해 구매한 상품이나 서비스의 이름, 종류, 지불 가격 및 구매한 시간 중 적어도 하나 이상은 상기 고객 정보로 인식하고 수신하되, 상기 고객의 이름, 주소, 전화번호, 신용카드 번호, 및 계좌번호는 수집하지 않도록 필터링하는 필터부를 포함하되,
    상기 수신된 고객 정보의 고객은, 매장을 처음 방문한 제1 고객 및 상기 매장을 적어도 1회 이상 재방문한 제2 고객을 포함하며,
    상기 학습부는, 상기 매장을 방문한 제1 및 제2 고객들을 성별, 연령, 인종 및 감정 카테고리 별로 분류하고, 상기 제1 고객에 대한 상기 제1 레벨 페이스 아이디가 생성하고,
    상기 콘텐츠 관리부가 상기 제1 고객과 동일한 성별 및 인종에 해당되는 제2 고객 또는 상기 제1 고객과 유사한 연령 및 감정을 가지고 있는 제2 고객에게 제시되었던 추천 쇼핑 정보를 상기 제1 고객에게 상기 제2 레벨 페이스 아이디가 생성되기 이전에 제공하도록 제어하고,
    상기 컨텐츠 관리부는,
    상기 제1 및 제2 데이터를 통합하여 상기 고객의 생활 방식 및 취향을 예측하고 이에 근거하여 추천 쇼핑 정보를 선별하는 것을 특징으로 하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 고객 정보 인식 장치는,
    상기 얼굴 이미지를 획득하기 위한 얼굴 이미지 촬영 장치; 및
    상기 구매 내역을 수집하기 위한 결제 장치를 포함하며,
    상기 얼굴 이미지 촬영 장치는,
    카메라, 뎁스(Depth) 및 적외선 이미지 촬영 디바이스, 상기 카메라, 뎁스(Depth) 및 적외선 이미지 촬영 디바이스 중 적어도 하나 이상이 장착된 키오스크 및 보안을 위해 매장 내에 분산 설치되는 CCTV 중 적어도 하나 이상을 포함하고,
    상기 결제 장치는,
    포스(POS) 단말기, 신용카드 리더기, 바코드 리더기, 영수증 출력기 및 계좌이체 정보 관리 서버 중 적어도 하나 이상을 포함하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    상기 정보 표시 장치는,
    카메라, 뎁스(Depth) 및 적외선 이미지 촬영 디바이스 중 적어도 하나 이상이 장착된 키오스크, 디지털 정보 표시 디바이스(Digital Information Display device, DID), 홀로그램 셋탑 박스, 스피커 및 스마트폰과 테블릿 디바이스를 포함하는 모바일 디바이스 중 적어도 하나 이상을 포함하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 시스템.
  9. 청구항 1에 있어서,
    상기 위치 정보 표시 장치는,
    상기 고객들이 개별적으로 소지하고 있는 GPS, 비콘 및 상기 GPS 및 비콘 중 적어도 하나 이상을 포함하는 모바일 디바이스를 포함하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 시스템.
  10. 청구항 1에 있어서,
    상기 컨텐츠 관리부는,
    상기 제1 레벨 페이스 아이디를 통해 고객의 연령이 미성년자에 해당한다고 판단한 경우, 기호 식품 중 술과 담배, 의약품 중 향정신성 의약, 본드와 부탄 가스 및 성인 용품을 포함하는 미성년자 유해 상품은 추천 쇼핑 정보에서 배제되도록 하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 시스템.
  11. 청구항 5에 있어서,
    상기 컨텐츠 관리부는,
    상기 위치 정보 표시 장치로부터 고객의 매장 내 동선에 대한 정보를 수신하여 고객의 행동 패턴에 대한 제1 데이터를 생성하고,
    상기 레거시 관리부를 통해 고객의 이전 구매 내역에 대한 정보를 수신하여 고객의 구매 패턴에 대한 제2 데이터를 생성하며,
    상기 제1 및 제2 데이터를 통합하여 상기 고객의 생활 방식 및 취향을 예측하고 이에 근거하여 추천 쇼핑 정보를 선별하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 시스템.
  12. 고객 맞춤 정보를 제안하기 위한 시스템을 이용하여 고객 맞춤 정보를 제안하기 위한 방법은,
    고객 정보 인식 장치가 고객의 얼굴 이미지 획득하는 제1 단계;
    메인 서버가 상기 얼굴 이미지 별로 제1 레벨 페이스 아이디를 생성하고 부여하는 제2 단계;
    상기 메인 서버가 고객의 구매 내역을 수집하고 저장하는 제3 단계;
    상기 메인 서버가 고객의 행동 패턴을 분석하고, 상기 제1 레벨 페이스 아이디에 상기 구매 내역과 상기 행동 패턴을 통합한 것에 대해 제2 레벨 페이스 아이디를 생성하는 제4 단계;
    상기 메인 서버가 상기 제2 레벨 페이스 아이디에 기반하여 상기 고객의 생활 방식 및 취향을 예측하고 이에 근거하여 추천 쇼핑 정보를 선별하는 제5 단계; 및
    정보 표시 장치가 상기 고객에게 상기 추천 쇼핑 정보를 표시하는 제6 단계를 포함하되,
    상기 제1 단계는,
    상기 얼굴 이미지에서 얼굴의 윤곽에 대한 특징 값을 포함하여 상기 제1레벨 페이스 아이디를 생성하는 것을 더 포함하며,
    상기 제3 단계는,
    상기 메인 서버가 결제 장치로부터 상기 구매 내역을 수신하는 제3-1 단계;
    상기 메인 서버가 상기 구매 내역 중 고객의 이름, 주소, 전화번호, 신용카드 번호 및 계좌번호는 수집하지 않도록 필터링하는 제3-2 단계; 및
    상기 메인 서버가 상기 구매 내역 중 고객이 구매한 상품이나 서비스의 이름, 종류, 지불 가격 및 구매한 시간 중 적어도 하나 이상은 상기 고객 정보로 인식하고 수신하는 제3-3 단계를 더 포함하고,
    상기 4단계는 각 고객의 행동 패턴에 대한 제1 데이터를 생성하고, 상기 구매내역 정보로부터 각 고객의 구매 패턴에 대한 제2데이터를 생성하며, 상기 고객 중 유사도가 일정 수준 이상되는 상기 제1 레벨 아이디를 보유한 고객에 대하여, 상기 제1 레벨 페이스 아이디에 상기 제1데이터 및 제2데이터를 통합한 정보에 대해 상기 제2 레벨 페이스 아이디를 생성하는 것을 더 포함하되,
    상기 제4 단계는,
    상기 고객이 이동한 경로를 수집하는 제4-1 단계;
    상기 이동한 경로에 따라서 상기 고객에게 최초로 생성된 제1 레벨 페이스 아이디와 이후 순차적으로 발생된 모든 제1 레벨 페이스 아이디들 간의 유사도를 분석하는 제4-2 단계;
    유사도가 일정 수준 이상 되는 제1 레벨 페이스 아이디들을 상기 고객에 대한 제1 레벨 페이스 아이디로 분류하는 제4-3 단계;
    상기 유사도에 근거하여 분류된 제1 레벨 페이스 아이디를 보유한 고객이 상기 이동한 경로에 포함되는 판매점들 중 일정시간 이상 체류한 판매점의 정보를 수집하는 제4-4 단계; 및
    상기 유사도에 근거하여 분류된 제1 레벨 페이스 아이디와 상기 일정시간 이상 체류한 판매점의 정보를 결합하여 상기 고객의 행동 패턴을 도출하는 제4-5 단계;
    상기 고객의 행동 패턴 및 구매 내역을 상기 최초로 생성된 제1 레벨 페이스 아이디에 통합하여 제2 레벨 페이스 아이디를 생성하는 제4-6 단계를 더 포함하고,
    상기 제5 단계는,
    상기 메인 서버가 특정 고객의 행동 패턴에 대한 제1 데이터를 생성하는 제5-3 단계;
    상기 메인 서버가 상기 제1 데이터로부터 상기 고객의 행동 패턴을 대표할 수 있는 키워드를 도출하는 제5-4 단계;
    상기 메인 서버가 상기 고객의 구매 내역으로부터 특정 고객의 구매 패턴에 대한 제2 데이터를 생성하는 제5-5 단계;
    상기 메인 서버가 상기 제2 데이터로부터 상기 고객의 구매 패턴을 대표할 수 있는 키워드를 도출하는 제5-6 단계;
    상기 메인 서버가 상기 제1 및 제2 데이터로부터 각각 도출된 키워드들의 연관성을 검토하고 고객의 취향 및 관심 분야를 설정하는 제5-7 단계; 및
    상기 메인 서버가 설정된 상기 취향 및 관심 분야와 동일 또는 유사한 상품 또는 서비스에 대한 정보가 포함되도록 추천 쇼핑 정보를 선별하는 제5-8 단계를 더 포함하고,
    상기 제6 단계 이후,
    상기 제2 레벨 페이스 아이디를 이용하여 매장을 방문한 전체 고객의 성별, 연령, 인종, 감정, 행동 패턴, 구매 내역, 생활 방식 및 취향 중 적어도 하나 이상을 포함하는 통계 데이터를 생성하는 제7 단계를 더 포함하되,
    상기 제7 단계는,
    상기 메인 서버가 고객 별 상기 제1 및 제2 레벨 페이스 아이디가 생성된 과정을 기계 학습하는 제7-1 단계;
    상기 메인 서버가 상기 추천 쇼핑 정보가 선별된 과정을 기계 학습하는 제7-2 단계; 및
    상기 메인 서버가 상기 제7-1 단계 및 제7-2 단계의 학습 결과에 근거하여, 매장을 방문한 전체 고객의 성별, 연령, 인종, 감정, 행동 패턴, 구매 내역, 생활 방식 및 취향에 대한 분석 데이터를 모두 포함하는 통계 데이터를 기계 학습하는 제7-3 단계를 더 포함하고,
    상기 고객은, 매장을 처음 방문한 제1 고객 및 상기 매장을 적어도 1회 이상 재방문한 제2 고객을 포함하되,
    상기 제7-3 단계 이후,
    상기 메인 서버가 상기 매장을 방문한 제1 및 제2 고객들을 성별, 연령, 인종 및 감정 카테고리 별로 분류하는 제7-4 단계; 및
    상기 메인 서버는 상기 제1 고객에 대한 상기 제1 레벨 페이스 아이디가 생성되면, 상기 제1 고객과 동일한 성별 및 인종에 해당되는 제2 고객 또는 상기 제1 고객과 유사한 연령 및 감정을 가지고 있는 제2 고객에게 제시되었던 추천 쇼핑 정보가 상기 제1 고객에게 제공되도록 상기 정보 표시 장치를 제어하는 제7-5 단계를 더 포함하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 방법.
  13. 삭제
  14. 청구항 12에 있어서,
    상기 제1 단계는,
    상기 얼굴 이미지에서 얼굴의 윤곽에 대한 특징 값과 눈, 코, 입의 위치 벡터 값을 특징 값으로 추출하는 제1-1 단계;
    상기 얼굴 이미지에서 그림자 패턴을 추출하는 제1-2 단계;
    상기 얼굴 이미지에서 뎁스(depth)를 추출하는 제1-3 단계; 및
    상기 얼굴 이미지에서 명암비 및 체온 분포도를 추출하는 제1-4 단계를 더 포함하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 방법.
  15. 청구항 12에 있어서,
    상기 제2 단계는,
    상기 얼굴 이미지에서 추출된 특징 값들을 이용하여 상기 고객의 성별, 연령, 인종, 감정을 분석하는 제2-1 단계;
    상기 얼굴 이미지 별로 상기 고객의 성별, 연령, 인종 및 감정을 분석한 분석 데이터 값이 생성되는 제2-2 단계;
    상기 분석 데이터 값에 해쉬 알고리즘을 통해 생성된 해쉬 값이 추가되어 제1 레벨 페이스 아이디가 생성되는 제2-3 단계; 및
    상기 얼굴 이미지들 각각과 상기 제1 레벨 페이스 아이디들 각각을 매칭하여, 각 얼굴 이미지마다 제1 레벨 페이스 아이디를 부여하는 제2-4 단계를 더 포함하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 청구항 12에 있어서,
    상기 제5 단계는,
    상기 메인 서버가 상기 제1 레벨 페이스 아이디를 통해 고객의 연령을 파악하는 제5-1 단계; 및
    상기 메인 서버가 상기 고객의 연령이 미성년자에 해당된다고 판단하면, 기호 식품 중 술과 담배, 의약품 중 향정신성 의약품, 본드와 부탄 가스 및 성인 용품을 포함하는 미성년자 유해 상품은 추천 쇼핑 정보에서 배제되도록 하는 제5-2 단계를 더 포함하는, O2O 기반 고객 맞춤 정보를 제안하기 위한 방법.
  21. 삭제
  22. 청구항 12 항의 O2O 기반 고객 맞춤 정보를 제안하기 위한 방법을 실행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록 매체.
KR1020190053102A 2019-05-07 2019-05-07 O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법 KR102374861B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190053102A KR102374861B1 (ko) 2019-05-07 2019-05-07 O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190053102A KR102374861B1 (ko) 2019-05-07 2019-05-07 O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200128927A KR20200128927A (ko) 2020-11-17
KR102374861B1 true KR102374861B1 (ko) 2022-03-17

Family

ID=73642361

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190053102A KR102374861B1 (ko) 2019-05-07 2019-05-07 O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102374861B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102333757B1 (ko) * 2021-01-21 2021-12-01 주식회사 티지 인공지능 기반 맞춤 서비스 제공 시스템
KR102261065B1 (ko) * 2021-02-04 2021-06-04 (주)요일 Ai 기반의 실시간 정보 노출 시스템
CN112927055A (zh) * 2021-04-01 2021-06-08 山西慧虎健康科技有限公司 一种精准推荐相关商品的智能零售服务方法及系统
KR102636228B1 (ko) * 2021-06-17 2024-02-13 김민재 신용카드 결제 시스템
KR102451099B1 (ko) * 2021-06-29 2022-10-07 주식회사 소프트자이온 인공지능 기반의 사용자 니즈 추론을 통한 구매 유도 시스템 및 방법
KR102388010B1 (ko) * 2021-08-06 2022-04-19 (주)디핑컴퍼니 성 관련 정보 공유 및 성인용품 추천 시스템
KR102393485B1 (ko) * 2021-12-06 2022-05-03 주식회사 엠플렛 디지털 현수막 시스템 및 그 운영방법
KR102595827B1 (ko) * 2023-01-16 2023-10-31 조인구 사용자 인증 기반 전자담배 자동판매 서비스 제공 시스템
KR102632995B1 (ko) * 2023-03-23 2024-02-02 네모시스템(주) 빅데이터 분석으로 커스터마이징한 상품을 추천하는 인공지능 기반의 매장 내 상품 판매 가이드 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006351041A (ja) 2006-09-21 2006-12-28 Mitsubishi Electric Corp サービス提供システム
KR101314293B1 (ko) 2012-08-27 2013-10-02 재단법인대구경북과학기술원 조명변화에 강인한 얼굴인식 시스템
KR101453317B1 (ko) 2014-02-14 2014-10-22 (주)지란지교소프트 와이파이를 이용한 위치 기반 서비스 방법 및 시스템
JP2015055924A (ja) 2013-09-10 2015-03-23 株式会社セオン 店内情報配信装置、店内情報配信方法及び店内情報配信プログラム
KR101685437B1 (ko) * 2015-07-31 2016-12-28 울산과학기술원 얼굴 인식 센서를 활용한 연령 제한 서비스 제공 시스템 및 제공 방법
US20160379225A1 (en) * 2015-06-24 2016-12-29 Intel Corporation Emotional engagement detector
KR101785427B1 (ko) * 2016-05-27 2017-10-13 (주)가비아 고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법
KR102097781B1 (ko) 2013-09-06 2020-05-29 에스케이 텔레콤주식회사 객체 정보 제공 장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101698212B1 (ko) * 2010-08-27 2017-01-19 엘지전자 주식회사 그래픽 유저 인터페이스（ｇｕｉ）표시 방법 및 그를 이용한 휴대용 단말기
KR101203705B1 (ko) * 2010-11-18 2012-12-24 주식회사 에스원 고객 관리 시스템 및 방법
KR20120076509A (ko) * 2010-11-29 2012-07-09 대진대학교 산학협력단 쇼핑 안내 서비스 시스템 및 방법
WO2012139243A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Personalized advertisement selection system and method
KR101288181B1 (ko) * 2011-06-09 2013-07-19 주식회사 와이더플래닛 양방향 맞춤형 광고 제공 시스템 및 그 방법
KR101271483B1 (ko) * 2011-06-17 2013-06-05 한국항공대학교산학협력단 사용자 인식기능을 이용하는 지능형 양방향 광고 단말기
KR20140010598A (ko) * 2012-07-16 2014-01-27 주식회사 엘지유플러스 매장 방문고객 현황분석 시스템, 매장 내 방문고객 현황 분석장치, 매장별 방문고객 현황 분석장치, 및 매장 방문고객 현황 분석방법
KR101657227B1 (ko) * 2015-01-09 2016-09-21 에스케이플래닛 주식회사 고객 정보 관리 장치, 고객 정보 관리 방법, 고객 정보 관리 시스템 및 컴퓨터 프로그램이 기록된 기록매체
KR101779096B1 (ko) * 2016-01-06 2017-09-18 (주)지와이네트웍스 지능형 영상분석 기술 기반 통합 매장관리시스템에서의 객체 추적방법
KR101779094B1 (ko) * 2016-01-06 2017-09-18 (주)지와이네트웍스 지능형 영상분석 기술을 이용한 통합 매장관리시스템
KR20170130727A (ko) * 2016-05-19 2017-11-29 삼성에스디에스 주식회사 위치 측정 시스템 및 방법
KR102103931B1 (ko) * 2016-07-08 2020-04-24 김만이 식별 가능 태그와 인공지능을 이용한 결제수단과 문서 전산관리 방법 및 시스템
KR101865253B1 (ko) * 2016-10-04 2018-06-08 재단법인대구경북과학기술원 Ｒｅｇｉｏｎ－ｓｉｆｔ와 ｄｉｓｃｒｉｍｉｎａｎｔ ｓｖｍ 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006351041A (ja) 2006-09-21 2006-12-28 Mitsubishi Electric Corp サービス提供システム
KR101314293B1 (ko) 2012-08-27 2013-10-02 재단법인대구경북과학기술원 조명변화에 강인한 얼굴인식 시스템
KR102097781B1 (ko) 2013-09-06 2020-05-29 에스케이 텔레콤주식회사 객체 정보 제공 장치 및 방법
JP2015055924A (ja) 2013-09-10 2015-03-23 株式会社セオン 店内情報配信装置、店内情報配信方法及び店内情報配信プログラム
KR101453317B1 (ko) 2014-02-14 2014-10-22 (주)지란지교소프트 와이파이를 이용한 위치 기반 서비스 방법 및 시스템
US20160379225A1 (en) * 2015-06-24 2016-12-29 Intel Corporation Emotional engagement detector
KR101685437B1 (ko) * 2015-07-31 2016-12-28 울산과학기술원 얼굴 인식 센서를 활용한 연령 제한 서비스 제공 시스템 및 제공 방법
KR101785427B1 (ko) * 2016-05-27 2017-10-13 (주)가비아 고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
네이버블로그, "오프라인 빅데이터 시장을 발견하다" (2014.09.30.) <URL: https://blog.naver.com/scienceall1/220137069594> 1부.
유튜브, "V-Count Solutions" (2018.03.27.) <URL: https://www.youtube.com/watch?v=jL-EEJHJn5c>
중앙일보, "알리바바 차세대 무인 편의점 타오카페, 뭐가 다를까?" (2017.07.12.) <URL: https//news.joins.com/article/21746878> 1부.

Also Published As

Publication number Publication date
KR20200128927A (ko) 2020-11-17

Similar Documents

Publication Publication Date Title
KR102374861B1 (ko) O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법
US11238654B2 (en) Offline shopping guide method and apparatus
US11915288B2 (en) Useful and novel shopping application
CN110462669B (zh) 自动化购物环境内的动态顾客结账体验
US11049176B1 (en) Systems/methods for identifying products within audio-visual content and enabling seamless purchasing of such identified products by viewers/users of the audio-visual content
CN109165992A (zh) 一种智能导购方法、装置、系统及计算机存储介质
US20090083121A1 (en) Method and apparatus for determining profitability of customer groups identified from a continuous video stream
CN106462825A (zh) 数据网格平台
US20140363059A1 (en) Retail customer service interaction system and method
US9727620B2 (en) System and method for item and item set matching
US20100265311A1 (en) Apparatus, systems, and methods for a smart fixture
US20180053240A1 (en) Systems and methods for delivering requested merchandise to customers
KR102320749B1 (ko) 인플루언서를 매개로 하는 쇼핑 정보 제공 시스템 및 방법
KR102152970B1 (ko) 영상 분석을 이용한 개인화된 상품 추천 방법 및 장치
CN110782267A (zh) 用于认知邻接规划和认知货架图设计的系统和方法
KR20200079721A (ko) 스마트 의류 관리 시스템 및 그 방법
US20210342914A1 (en) Systems and methods of product identification within an image
JP4742083B2 (ja) 情報端末及びコンピュータプログラム
KR20170091402A (ko) 패션 아이템 검색 시스템
KR102200817B1 (ko) 몰입형 가상피팅 연계 서비스 제공 시스템 및 몰입형 가상피팅 연계 서비스 제공 방법
KR20230137861A (ko) 고객 맞춤 준비로 구매 편의성을 제공하는 오프라인 구매 서비스 제공 방법 및 장치
KR102555439B1 (ko) 고객 문의 응답 기능을 제공하는 병행 수입 플랫폼을 운용하는 시스템
KR102153336B1 (ko) 스마트 미러의 생체인증에 연동한 블록체인 기반의 마케팅 정보처리 시스템
KR101671449B1 (ko) 위치 기반 상품 검색 방법 및 그 장치
KR102512371B1 (ko) 온라인 의류 판매 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right