KR20220020047A - 매장 내 고객동선 및 쇼핑시간 예측방법과 그 시스템 - Google Patents

매장 내 고객동선 및 쇼핑시간 예측방법과 그 시스템 Download PDF

Info

Publication number
KR20220020047A
KR20220020047A KR1020200100501A KR20200100501A KR20220020047A KR 20220020047 A KR20220020047 A KR 20220020047A KR 1020200100501 A KR1020200100501 A KR 1020200100501A KR 20200100501 A KR20200100501 A KR 20200100501A KR 20220020047 A KR20220020047 A KR 20220020047A
Authority
KR
South Korea
Prior art keywords
customer
movement
store
location
recognized
Prior art date
Application number
KR1020200100501A
Other languages
English (en)
Other versions
KR102493331B1 (ko
Inventor
전성재
Original Assignee
주식회사 클럽
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 클럽 filed Critical 주식회사 클럽
Priority to KR1020200100501A priority Critical patent/KR102493331B1/ko
Publication of KR20220020047A publication Critical patent/KR20220020047A/ko
Application granted granted Critical
Publication of KR102493331B1 publication Critical patent/KR102493331B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

본 발명은 매장 내 고객동선 및 쇼핑시간 예측방법 및 그 시스템에 관한 것으로, 더욱 상세하게는, 매장 내에서의 고객의 움직임을 추적하여 시간에 따른 고객의 위치를 고객의 동선으로 저장하며, 저장된 고객의 동선을 학습데이터로 기계학습을 수행하여 매장 내에서 쇼핑중인 고객의 잔여 동선을 추출한 후 퇴장시간과 퇴장 시 물품별 구매량을 예측함으로써 잔여 동선, 퇴장시간을 기반으로 하여 매장 내 혼잡도 관리, 고객의 쇼핑유형 분류, 고객이 구매했거나 구매할 상품들의 포장과 배송의 관리가 가능한 매장 내 고객동선 및 쇼핑시간 예측방법 및 그 시스템에 관한 것이다.

Description

매장 내 고객동선 및 쇼핑시간 예측방법과 그 시스템{Method and System for Predicting Customer Tracking and Shopping Time in Stores}
본 발명은 매장 내 고객동선 및 쇼핑시간 예측방법 및 그 시스템에 관한 것으로, 더욱 상세하게는, 매장 내에서의 고객의 움직임을 추적하여 시간에 따른 고객의 위치를 고객의 동선으로 저장하며, 저장된 고객의 동선을 학습데이터로 기계학습을 수행하여 매장 내에서 쇼핑중인 고객의 잔여 동선을 추출한 후 퇴장시간과 퇴장 시 물품별 구매량을 예측함으로써 잔여 동선, 퇴장시간을 기반으로 하여 매장 내 혼잡도 관리, 고객의 쇼핑유형 분류, 고객이 구매했거나 구매할 상품들의 포장과 배송의 관리가 가능한 매장 내 고객동선 및 쇼핑시간 예측방법 및 그 시스템에 관한 것이다.
매장의 매출, 재고 등을 관리하는 시스템이 고도화되고, 상품의 구매에 대한 다량의 데이터가 저장 및 분석이 가능해짐에 따라, 마트, 쇼핑몰 등에서는 고객이 어떤 상품을 주로 구매하는지, 어떠한 상품군끼리 같이 팔리는지 등 온라인 및 오프라인으로 상품의 판매에 대한 데이터를 얻어 분석하고 있다. 이를 통해 구매사항을 제품의 배열, 마케팅과 연결하여 매장의 매출을 높이려는 노력이 계속되고 있다.
그러나, 단순히 계산 시 제품의 구매목록을 입력받아 저장하는 것으로는 매장 내에서의 고객의 행동, 이동경로에 따른 제품의 구매상황, 고객이 매장 내에서 어떤 방식으로 쇼핑을 하는지에 대해서는 알 수 없다. 이러한 정보는 매장 내에서 고객이 어떻게 이동하였는지를 지칭하는 매장 내 동선에 의해 알 수 있는데, 매장 내에서의 고객의 동선은 따로 데이터로 저장하거나 분석하지 않아 매장 운영 효율성을 도모하지 못하고 있다.
또한, 매장 내에서 고객이 쇼핑카트 등을 끌고 다니면서 발생하는 혼잡성으로 인한 충돌, 정체된 고객들로 인해 발생하는 불편이 자주 발생하고, 이러한 문제점과 계산에 소요되는 대기 시간, 계산 이후 구매한 상품들의 포장까지 걸리는 시간을 관리하기 위해서는 매장 내에서 돌아다니는 고객의 이동정보를 실시간으로 관리하여야 할 필요성이 있다.
나아가, 최근 대두되고 있는 무인마트, 쇼핑카트가 없는 마트 시스템을 구축하기 위해서는, 고객이 많은 경우 고객이 언제 쇼핑을 마치고 물품들을 계산할 것이며, 구매한 물품은 얼마나 될 것인지에 대한 예측치가 있어야 매장이 혼잡하지 않게 관리될 수 있다. 그러나 현재 기술로는 매장 내에서의 동선을 받아들이기만 하여 고객의 과거 이동경로에 따라 발생하는 제품 구매 등의 이벤트에 대해서만 분석이 가능하고, 고객이 어떻게 이동하면서 물건을 살 것인지에 대해서는 알지 못하기 때문에 매장 내에서 발생할 수 있는 혼잡성이나 계산 대기 문제를 해결할 수 없다.
따라서, 관련 업계에서는 매장 내에서 고객의 움직임에 따라 고객이 매장 내에서 어떻게 움직이면서 쇼핑을 할 것인지 파악하고, 계산까지의 잔여 동선을 바탕으로 쇼핑시간과 구매량을 예측하여 마트 내 혼잡성을 방지하고 구매한 제품의 계산 또는 포장 시 대기시간을 최소화할 수 있도록 하는 기술의 도입을 요구하고 있는 실정이다.
한국등록특허공보 제10-1321397호(2013.10.17.)
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로,
본 발명의 목적은, 매장 내에 설치되거나 매장과 연결된 매장 내 고객동선 및 쇼핑시간 예측시스템에서 수행되며, 매장을 이용하는 고객의 동선을 수집하여 저장하는 동선수집단계, 고객의 동선으로부터 기계학습을 통해 잔여동선, 쇼핑시간, 구매물품, 구매량 중 적어도 하나 이상을 산출하는 종료예측단계를 포함하고, 상기 동선수집단계는 시간에 따른 매장 내에서의 고객의 위치를 고객의 동선으로 저장하는 동선저장단계를 포함하여 매장 내에서의 고객의 동선을 기반으로 잔여동선, 쇼핑시간과 물품별 구매량을 제공하는 것이다.
본 발명의 목적은, 상기 동선수집단계 이전에 매장 내 고객 또는 디바이스를 인식하는 인식단계를 더 포함하고, 상기 인식단계는 매장 내 구비된 영상촬영장치를 통해 촬영된 영상정보로부터 움직이는 객체를 탐지하여 고객을 인식하는 영상검출단계, 상기 영상검출단계에서 인식된 고객에 식별자를 부여하는 식별자부여단계를 포함하여 매장 내 설치된 영상촬영장치를 통해 object tracking을 기반으로 각 고객의 동선을 추적하는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공하는 것이다.
본 발명의 목적은, 추적단계를 통해 시간에 따른 매장 내에서의 고객의 위치가 모두 파악되는 경우, 동선저장단계는 상기 추적단계에서 검출한 고객의 동선을 저장하여 영상정보만으로 매장 내 고객의 동선을 저장하고, 기계학습을 통해 잔여 동선을 예측하는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공하는 것이다.
본 발명의 목적은, 상기 인식단계는 매장 내 구비된 센싱장치를 통해 무선신호를 송수신하여 센싱된 신호로부터 하나 이상의 디바이스의 위치를 인식하는 신호검출단계를 더 포함하고, 상기 식별자부여단계는 상기 신호검출단계에서 인식된 디바이스에 식별자를 추가로 부여하고, 상기 동선수집단계는 상기 추적단계를 통해 시간에 따른 매장 내에서의 고객의 위치의 적어도 일부가 파악되지 않는 경우, 동선저장단계의 수행 전에 상기 인식단계에서 인식된 고객과 디바이스의 위치를 매칭하는 위치매칭단계를 더 포함하여 고객의 동선을 특정함으로써 보다 정밀한 고객 동선을 수집하고 예측하는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공하는 것이다.
본 발명의 목적은, 상기 위치매칭단계는 매장 내 좌표를 기준으로 신호검출단계에서 인식된 디바이스의 위치를 matrix로 형성하고, 하나 이상의 디바이스의 위치가 sparse matrix를 형성하여 영상정보에서 인식된 고객과 대응되는 경우 상기 영상검출단계에서 인식된 고객과 신호검출단계에서 인식된 디바이스를 매칭하여 동선 추적의 연산을 단순화하는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공하는 것이다.
본 발명의 목적은, 상기 위치매칭단계는 상기 추적단계에서 추적한 고객의 움직임과 상기 신호검출단계에서 인식된 디바이스의 위치변화를 비교하여 고객의 움직임에 대응되는 디바이스를 매칭하여 고객과 고객의 디바이스를 특정하여 잔여동선 및 구매량 예측이 가능한 매장 내 고객동선 및 쇼핑시간 예측방법을 제공하는 것이다.
본 발명의 목적은, 종료예측단계는 저장된 고객의 동선을 학습데이터로 하여 페이크동선을 생성하는 페이크동선 생성단계, 페이크동선과 학습데이터를 판별하는 판별단계를 포함하고, 상기 페이크동선 생성단계와 판별단계는 생성적 적대신경망에서 반복수행되어 실제 동선과 구분이 불가능한 샘플동선을 도출하는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공하는 것이다.
본 발명의 목적은, 상기 페이크동선 생성단계는 학습데이터를 기반으로 하는 가우시안 분포의 노이즈로부터 페이크동선을 생성하며, 이를 위해 가우시안 분포의 노이즈로부터 동선을 재구성하여 페이크동선을 생성하는 디코딩단계를 포함하여 데이터베이스에 저장된 고객의 동선을 기반으로 가상의 동선을 형성하는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공하는 것이다.
본 발명의 목적은, 상기 페이크동선 생성단계는 고객의 동선으로부터 특징을 추출하여 평균과 표준편차를 부여하는 인코딩단계 및 상기 인코딩단계에서 부여된 평균과 표준편차의 가우시안 분포에 해당하는 노이즈를 샘플링하는 샘플링단계를 더 포함하여 변이형 오토인코더에서 수행되어 가우시안 분포의 노이즈를 인풋하도록 기계학습할 수 있는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공하는 것이다.
본 발명의 목적은, 상기 종료예측단계는 고객의 동선에 상응하는 도출된 샘플동선을 기반으로 잔여동선, 쇼핑시간과 구매량 중 적어도 하나 이상을 산출하는 산출단계를 더 포함하되, 상기 산출단계는 고객의 동선에 상응하는 도출된 샘플동선들의 종료시간과 구매량의 평균을 산출하는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공하는 것이다.
본 발명은 앞서 본 목적을 달성하기 위해서 다음과 같은 구성을 가진 실시예에 의해서 구현된다.
본 발명의 일 실시예에 따르면, 본 발명은, 매장 내에 설치되거나 매장과 연결된 매장 내 고객동선 및 쇼핑시간 예측시스템에서 수행되며, 매장을 이용하는 고객의 동선을 수집하여 저장하는 동선수집단계, 고객의 동선으로부터 기계학습을 통해 잔여동선, 쇼핑시간과 구매량 중 적어도 하나 이상을 산출하는 종료예측단계를 포함하고, 상기 동선수집단계는 시간에 따른 매장 내에서의 고객의 위치를 고객의 동선으로 저장하는 동선저장단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 동선수집단계 이전에 매장 내 고객 또는 디바이스를 인식하는 인식단계를 더 포함하고, 상기 인식단계는 매장 내 구비된 영상촬영장치를 통해 촬영된 영상정보로부터 움직이는 객체를 탐지하여 고객을 인식하는 영상검출단계, 상기 영상검출단계에서 인식된 고객에 식별자를 부여하는 식별자부여단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 인식단계는 상기 영상정보로부터 인식된 고객의 움직임을 추적하는 추적단계를 더 포함하고, 상기 추적단계는 object tracking을 기반으로 인식된 고객의 움직임을 추적하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 추적단계를 통해 시간에 따른 매장 내에서의 고객의 위치가 모두 파악되는 경우, 동선저장단계는 상기 추적단계에서 검출한 고객의 동선을 저장하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 인식단계는 매장 내 구비된 센싱장치를 통해 무선신호를 송수신하여 센싱된 신호로부터 하나 이상의 디바이스의 위치를 인식하는 신호검출단계를 더 포함하고, 상기 식별자부여단계는 상기 신호검출단계에서 인식된 디바이스에 식별자를 추가로 부여하고, 상기 동선수집단계는 상기 추적단계를 통해 시간에 따른 매장 내에서의 고객의 위치의 적어도 일부가 파악되지 않는 경우, 동선저장단계의 수행 전에 상기 인식단계에서 인식된 고객과 디바이스의 위치를 매칭하는 위치매칭단계를 더 포함하여 고객의 동선을 특정하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 위치매칭단계는 매장 내 좌표를 기준으로 신호검출단계에서 인식된 디바이스의 위치를 matrix로 형성하고, 하나 이상의 디바이스의 위치가 sparse matrix를 형성하여 영상정보에서 인식된 고객과 대응되는 경우 상기 영상검출단계에서 인식된 고객과 신호검출단계에서 인식된 디바이스를 매칭하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 위치매칭단계는 상기 추적단계에서 추적한 고객의 움직임과 상기 신호검출단계에서 인식된 디바이스의 위치변화를 비교하여 고객의 움직임에 대응되는 디바이스를 매칭하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 종료예측단계는 저장된 고객의 동선을 학습데이터로 하여 페이크동선을 생성하는 페이크동선 생성단계, 페이크동선과 학습데이터를 판별하는 판별단계를 포함하고, 상기 페이크동선 생성단계와 판별단계는 생성적 적대신경망에서 반복수행되어 샘플동선을 도출하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 페이크동선 생성단계는 학습데이터를 기반으로 하는 가우시안 분포의 노이즈로부터 페이크동선을 생성하며, 이를 위해 가우시안 분포의 노이즈로부터 동선을 재구성하여 페이크동선을 생성하는 디코딩단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 페이크동선 생성단계는 고객의 동선으로부터 특징을 추출하여 평균과 표준편차를 부여하는 인코딩단계 및 상기 인코딩단계에서 부여된 평균과 표준편차의 가우시안 분포에 해당하는 노이즈를 샘플링하는 샘플링단계를 더 포함하여 변이형 오토인코더에서 수행되는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 본 발명은, 상기 종료예측단계는 고객의 동선에 상응하는 도출된 샘플동선을 기반으로 잔여동선, 쇼핑시간과 구매량 중 적어도 하나 이상을 산출하는 산출단계를 더 포함하되, 상기 산출단계는 고객의 동선에 상응하는 도출된 샘플동선들의 종료시간과 구매량의 평균을 산출하는 것을 특징으로 한다.
본 발명은 앞서 본 실시예와 하기에 설명할 구성과 결합, 사용관계에 의해 다음과 같은 효과를 얻을 수 있다.
본 발명은, 매장 내에 설치되거나 매장과 연결된 매장 내 고객동선 및 쇼핑시간 예측시스템에서 수행되며, 매장을 이용하는 고객의 동선을 수집하여 저장하는 동선수집단계, 고객의 동선으로부터 기계학습을 통해 잔여동선, 쇼핑시간과 구매량 중 적어도 하나 이상을 산출하는 종료예측단계를 포함하고, 상기 동선수집단계는 시간에 따른 매장 내에서의 고객의 위치를 고객의 동선으로 저장하는 동선저장단계를 포함하여 매장 내에서의 고객의 동선을 기반으로 잔여동선, 쇼핑시간과 구매량을 제공하는 효과가 있다.
본 발명은, 상기 동선수집단계 이전에 매장 내 고객 또는 디바이스를 인식하는 인식단계를 더 포함하고, 상기 인식단계는 매장 내 구비된 영상촬영장치를 통해 촬영된 영상정보로부터 움직이는 객체를 탐지하여 고객을 인식하는 영상검출단계, 상기 영상검출단계에서 인식된 고객에 식별자를 부여하는 식별자부여단계를 포함하여 매장 내 설치된 영상촬영장치를 통해 object tracking을 기반으로 각 고객의 동선을 추적하는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공할 수 있다.
본 발명은, 추적단계를 통해 시간에 따른 매장 내에서의 고객의 위치가 모두 파악되는 경우, 동선저장단계는 상기 추적단계에서 검출한 고객의 동선을 저장하여 영상정보만으로 매장 내 고객의 동선을 저장하고, 기계학습을 통해 잔여 동선을 예측하는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공하는 효과를 가진다.
본 발명은, 상기 인식단계는 매장 내 구비된 센싱장치를 통해 무선신호를 송수신하여 센싱된 신호로부터 하나 이상의 디바이스의 위치를 인식하는 신호검출단계를 더 포함하고, 상기 식별자부여단계는 상기 신호검출단계에서 인식된 디바이스에 식별자를 추가로 부여하고, 상기 동선수집단계는 상기 추적단계를 통해 시간에 따른 매장 내에서의 고객의 위치의 적어도 일부가 파악되지 않는 경우, 동선저장단계의 수행 전에 상기 인식단계에서 인식된 고객과 디바이스의 위치를 매칭하는 위치매칭단계를 더 포함하여 고객의 동선을 특정함으로써 보다 정밀한 고객 동선을 수집하고 예측할 수 있다.
본 발명은, 상기 위치매칭단계는 매장 내 좌표를 기준으로 신호검출단계에서 인식된 디바이스의 위치를 matrix로 형성하고, 하나 이상의 디바이스의 위치가 sparse matrix를 형성하여 영상정보에서 인식된 고객과 대응되는 경우 상기 영상검출단계에서 인식된 고객과 신호검출단계에서 인식된 디바이스를 매칭하여 동선 추적의 연산을 단순화하는 효과를 수반한다.
본 발명은, 상기 위치매칭단계는 상기 추적단계에서 추적한 고객의 움직임과 상기 신호검출단계에서 인식된 디바이스의 위치변화를 비교하여 고객의 움직임에 대응되는 디바이스를 매칭하여 고객과 고객의 디바이스를 특정하여 잔여동선 및 구매량 예측이 가능한 매장 내 고객동선 및 쇼핑시간 예측방법을 제공한다.
본 발명은, 종료예측단계는 저장된 고객의 동선을 학습데이터로 하여 페이크동선을 생성하는 페이크동선 생성단계, 페이크동선과 학습데이터를 판별하는 판별단계를 포함하고, 상기 페이크동선 생성단계와 판별단계는 생성적 적대신경망에서 반복수행되어 실제 동선과 구분이 불가능한 샘플동선을 도출할 수 있다.
본 발명은, 상기 페이크동선 생성단계는 학습데이터를 기반으로 하는 가우시안 분포의 노이즈로부터 페이크동선을 생성하며, 이를 위해 가우시안 분포의 노이즈로부터 동선을 재구성하여 페이크동선을 생성하는 디코딩단계를 포함하여 데이터베이스에 저장된 고객의 동선을 기반으로 가상의 동선을 형성한다.
본 발명은, 상기 페이크동선 생성단계는 고객의 동선으로부터 특징을 추출하여 평균과 표준편차를 부여하는 인코딩단계 및 상기 인코딩단계에서 부여된 평균과 표준편차의 가우시안 분포에 해당하는 노이즈를 샘플링하는 샘플링단계를 더 포함하여 변이형 오토인코더에서 수행되어 가우시안 분포의 노이즈를 인풋하도록 기계학습할 수 있는 매장 내 고객동선 및 쇼핑시간 예측방법을 제공할 수 있다.
본 발명은, 종료예측단계는 고객의 동선에 상응하는 도출된 샘플동선을 기반으로 잔여동선, 쇼핑시간과 구매량 중 적어도 하나 이상을 산출하는 산출단계를 더 포함하되, 상기 산출단계는 고객의 동선에 상응하는 도출된 샘플동선들의 종료시간과 구매량의 평균을 산출하는 효과가 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 영상촬영장치(10)와 센싱장치(20)가 설치된 매장과 연결된 매장 내 고객동선 및 쇼핑시간 예측시스템(30)을 도시한 도면
도 2는 본 발명의 일 실시예에 따른 인식부(31)의 블록도
도 3는 영상촬영장치(10)를 통해 촬영된 영상정보에서 고객이 인식되고 식별자가 부여된 것을 도시한 도면
도 4는 신호검출모듈(313)이 센싱된 신호로부터 매장 내 디바이스를 인식하고 디바이스의 정보 및 위치를 파악하는 것을 도시한 도면
도 5는 본 발명의 일 실시예에 따른 동선수집부(33)의 블록도
도 6은 특정 시간대에 누락이 발생한 영상검출모듈(311) 및 추적모듈(317)에 의해 추적된 고객의 동선과 신호검출모듈(313)에서 인식한 디바이스의 위치변화를 비교하여 고객의 동선을 추출하는 것을 도시한 도면
도 7은 매장 내 좌표를 기준으로 신호검출단계에서 인식된 디바이스의 위치를 matrix로 형성한 것을 표시한 도면
도 8은 각 고객의 동선이 이미지로 변환되어 데이터베이스(37)에 저장되는 것을 도시한 도면
도 9는 본 발명의 일 실시예에 따른 종료예측부(35)의 블록도
도 10은 생성적 적대 신경망(GAN)의 학습 프로세스를 도시한 도면
도 11은 본 발명의 일 실시예에 따른 VAE-GAN의 개념도
도 12는 본 발명의 일 실시예에 따른 생성자 네트워크(351)가 페이크 동선을 생성하고 판별자 네트워크(353)는 제시된 동선이 학습데이터에 존재할 확률을 연산하는 것을 반복시행함으로써 샘플동선을 도출하는 것을 표시한 도면
도 13은 본 발명의 일 실시예에 따른 매장 내 고객동선 및 쇼핑시간 예측방법(S)의 흐름도
도 14는 도 13의 추적단계로부터 고객동선 파악여부에 따라 동선이 저장되는 과정을 도시한 흐름도
도 15는 도 13의 페이크동선 생성단계(S351)의 흐름도
이하에서는 본 발명에 따른 매장 내 고객동선 및 쇼핑시간 예측방법 및 그 시스템의 바람직한 실시 예들을 첨부된 도면을 참고하여 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 공지의 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하도록 한다. 특별한 정의가 없는 한 본 명세서의 모든 용어는 본 발명이 속하는 기술분야의 통상의 지식을 가진 기술자가 이해하는 당해 용어의 일반적 의미와 동일하고 만약 본 명세서에서 사용된 용어의 의미와 충돌하는 경우에는 본 명세서에서 사용된 정의에 따른다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니고, 다른 구성요소 또한 더 포함할 수 있는 것을 의미하며, 명세서에 기재된 "~부","~모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하고, 이는 하드웨어나 소프트웨어 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 어떤 구성요소가 다른 구성요소와 "연결"된다는 것은 직접 연결될 수도 있으나, 다른 구성요소를 매개하여 연결되는 것을 배제하지는 않으며, 무선 또는 유선통신을 이용하여 연결되는 것을 포함한다. 이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써 본 발명을 상세히 설명한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 영상촬영장치(10)와 센싱장치(20)가 설치된 매장과 연결된 매장 내 고객동선 및 쇼핑시간 예측시스템(30)을 도시한 도면이다. 먼저 도 1을 참고하여 영상촬영장치(10)와 센싱장치(20)를 설명하면, 상기 영상촬영장치(10)는 매장 내에 적어도 하나 이상 설치되어 매장 내를 촬영하여 영상정보를 고객동선 및 쇼핑시간 예측시스템(30)으로 전송하여 후술하는 인식부(31)에서 영상정보를 통해 고객을 인식하도록 할 수 있고, 상기 센싱장치(20)는 매장 내에 적어도 하나 이상 설치되어 무선신호를 송수신하고 고객동선 및 쇼핑시간 예측시스템(30)에 전송한다.
상기 매장 내 고객동선 및 쇼핑시간 예측시스템(30)은 매장 내 고객을 인식하고, 매장 내에서의 고객의 움직임을 추적하여 시간에 따른 고객의 위치를 고객의 동선으로 저장하며, 저장된 고객의 동선을 학습데이터로 기계학습을 수행하여 매장 내에서 쇼핑중인 고객의 잔여 동선을 추출한 후 퇴장시간과 퇴장 시 구매량과 구매물품을 예측할 수 있고 잔여 동선, 퇴장시간을 기반으로 하여 매장 내 혼잡도 관리, 고객의 쇼핑유형 분류, 고객이 구매했거나 구매할 상품들의 포장과 배송의 관리 등을 수행할 수 있다. 매장 내 고객동선 및 쇼핑시간 예측시스템(30)은 인식부(31), 동선수집부(33), 종료예측부(35)를 포함하며, 데이터베이스(37)를 추가로 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 인식부(31)의 블록도이다. 상기 인식부(31)는 상기 영상촬영장치(10)와 센싱장치(20)로부터의 영상정보 또는 센싱정보로부터 매장 내 고객과 디바이스 중 적어도 하나 이상을 인식할 수 있다. 고객의 동선, 즉 매장 내에서의 시간에 따른 고객 각각의 위치를 파악하고 동선으로 저장하기 위해서는 먼저 매장 내에서 돌아다니는 고객의 특정이 필요하다. 상기 인식부(31)는 영상정보와 센싱정보로부터 움직임, 바람직하게는 매장 내 고객의 움직임을 인식하기 위하여 영상검출모듈(311), 신호검출모듈(313), 식별자부여모듈(315) 및 추적모듈(317)을 포함한다.
상기 영상검출모듈(311)은 매장 내 구비된 영상촬영장치(10)를 통해 촬영된 영상정보로부터 움직이는 객체를 탐지하여 고객을 인식한다. 도 3에는 영상촬영장치(10)를 통해 촬영된 영상정보가 도시되어 있는데, 영상검출모듈(311)은 상기 영상정보에서 도 3에서와 같이 움직이는 고객을 검출하여 인식할 수 있다. 객체탐지(Object detection)는 영상정보 내에서 관심이 되는 객체를 식별하는 것으로, 본 발명의 영상검출모듈(311)은 영상정보 내의 픽셀을 클러스터하여 매장 내 고객을 인식한다. 두 개의 연속되는 이미지 사이의 차이를 계산함으로써 움직이는 객체가 존재한다고 판단하는 frame differencing, 영상촬영장치와 매장 내 광경 사이에서의 관계있는 움직임에 의해 발생되는 visual scene에서 edges와 surfaces, objects의 동작들에 의해 발생하는 모션 벡터를 감지하는 optical flow, 가우시안 혼합모델을 이용한 배경 제거 방법 등을 통하여 영상정보 내의 객체를 탐지할 수 있으나, 탐지방법은 이에 국한되지 않는다.
이후, 탐지된 객체를 분류(Object classification)하게 되는데, 인식된 point, blob과 같은 기하학적 특징을 추출하여 움직이는 객체를 분류하는 shape-based classification, 가우시안 혼합모델을 기반으로 이미지 시퀀스와 배경과 객체에서 color의 distribution으로 표현되는 컬러 히스토그램을 통해 보행자나 움직이는 물체를 실시간으로 추적하는 Color-based classification 등이 사용되어 매장 내 고객을 인식할 수 있다. 이로 인해, 도 3과 같이 매장 내를 움직이는 고객이 인식된다.
도 4를 참고하면, 상기 신호검출모듈(313)은 센싱된 신호로부터 매장 내 디바이스를 인식하고 디바이스의 정보 및 위치를 파악할 수 있다. 이때, 디바이스는 매장 내 고객이 사용하는 이동통신 디바이스일 수 있으나, RFID등과 같이 센싱장치(20)로부터 송신되는 무선신호에 반응할 수 있는 유형의 고객이 소지하고 있는 카드일 수도 있다. 본 발명의 바람직한 일 실시예에서, 상기 센싱장치(20)는 매장 내에 격자형태로 배치되고, 각 센서들은 무선신호가 수신되는 강도를 수치화함으로써 인식되는 디바이스의 위치를 감지할 수 있다. 감지된 디바이스의 위치는 수치화된 좌표값으로 표시되어 저장될 수 있다.
한 명의 고객이 여러장의 교통카드나 신용카드를 소지한 상태로 매장을 돌아다니게 되면 한 명의 고객으로부터 여러개의 무선신호가 수신되게 된다. 이때, 이 신호들을 그룹핑하여 한명의 고객 위치로 인식을 하고, 한 개의 그룹에서 나온 여러개의 무선신호의 발생 위치들의 평균을 취하여 고객의 위치를 더욱 정확하게 파악할 수 있다.
상기 식별자부여모듈(315)은 상기 영상검출모듈(311)과 신호검출모듈(313)에서 검출된 고객과 디바이스들 중 적어도 하나 이상에 대하여 식별자를 부여한다. 도 3에서 볼 수 있는 것과 같이, 영상정보에서 인식된 각 고객에 대하여 식별자를 부여할 수 있다. 연속적으로 변화하는 영상정보 내에서 검출되는 고객의 움직임에 대하여 식별자를 부여함으로써 서로 다른 고객이 구별되며, 이와 같은 방식으로 신호검출모듈(313)에서 인식한 디바이스에 대해서도 식별자가 부여될 수 있다.
상기 추적모듈(317)은 상기 영상정보로부터 인식된 고객의 움직임을 추적하도록 구비된다. 추적모듈(317)은 Object tracking을 기반으로 인식된 고객의 움직임을 추적할 수 있는데, 탐지한 객체의 움직임, 경로를 추적하는 것이 목표이다.
영상검출모듈(311)에서 인식된 고객에 대한 식별자가 부여되고, 경계상자가 부여되는데, 영상 내에서 객체를 추적하는 방법으로 영상 프레임의 변화에 따라 경계상자의 이동을 인식하여 추적하는 경계상자 기반, 물체의 위치와 속도를 기반으로 추적을 모델링하고 가우시안 분포를 통해 물체의 뒤 프레임에서의 위치와 속도를 추측하는 칼만 필터가 Object tracking 알고리즘으로 사용될 수 있다. 다만, Object tracking은 상술한 방법에 한정되지 않고 SORT(Simple Online and Realtime Tracking), 회기 네트워크(GOTURN)을 통한 객체 추적 등의 알고리즘을 배제하지는 않는다. 이에 따라, 추적모듈(317)은 고객이 감지된 경계상자의 위치좌표를 파악하고, 고객의 움직임을 추적함에 따라 변경되는 경계상자의 위치좌표를 통해 고객의 매장 내에서의 위치를 파악할 수 있다.
도 5는 본 발명의 일 실시예에 따른 동선수집부(33)의 블록도이다. 도 1 내지 도 5를 참고하면, 상기 동선수집부(33)는 매장을 이용하는 고객의 동선을 수집하여 저장하며, 시간에 따른 고객의 위치와 함께 쇼핑 종료시의 구매량, 자세하게는 구매 물품별 구매량에 대한 정보도 저장할 수 있다. 동선수집부(33)는 위치매칭모듈(331)과 동선저장모듈(333)을 포함한다.
상기 위치매칭모듈(331)은 상기 인식부(31)에서 인식된 고객과 디바이스의 위치를 매칭할 수 있다. 추적모듈(317)의 object tracking에 의해 고객의 매장 내에서의 모든 동선이 추적된다면 추적모듈(317)에서의 추적을 통해 고객의 동선이 저장될 수 있겠지만, 매장 내에서는 영상촬영장치(10)에 의해 감지되지 않는 사각지대가 존재하거나 특정 시간에 고객끼리의 오버랩 등에 의해 동선추적이 원활하지 않을 수 있다. 이 경우, 영상검출모듈(311)을 통해 인식된 고객과 신호검출모듈(313)을 통해 인식된 디바이스를 매칭함으로써 고객의 움직임 추적을 보완할 수 있다. 도 6에서 볼 수 있는 것과 같이, 영상검출모듈(311) 및 추적모듈(317)에 의해 추적된 고객의 동선(vc_8)의 경우 특정 시간대에 누락이 발생할 수 있는데, 신호검출모듈(313)에서 인식한 디바이스(sc_8)의 시간에 따른 위치변화를 비교하여 공통점 매칭 후 누락부분을 보완함으로써 고객의 동선을 추출하게 된다.
또한, 위치매칭모듈(331)은 도 7과 같이 매장 내 좌표를 기준으로 신호검출단계에서 인식된 디바이스의 위치를 matrix로 형성할 수 있다. matrix 내에서의 디바이스의 식별자를 원소로 나타낼 때 디바이스의 분포에 의한 matrix가 희소행렬, 즉 sparse matrix를 형성하는 경우가 발생할 수 있다. 이때 영상정보에서 인식되는 고객의 움직임 등으로 인한 위치변화와 디바이스의 위치변화를 대비할 필요 없이 고객의 위치와 디바이스의 위치가 대응되므로, 영상검출단계에서 인식된 고객과 신호검출단계에서 인식된 디바이스를 매칭할 수 있다.
상기 동선저장모듈(333)은 시간에 따른 매장 내에서의 고객의 위치를 고객의 동선으로 저장한다. 하기의 표 1과 같이 입력되는 시간에 따른 고객의 위치에 대한 데이터는 고객의 동선에 해당하므로, i번째 고객(c_i)이 쇼핑을 시작한 시각(t_start(c_i))으로부터 현재 시각(t_cur)까지의 시간에 따른 고객의 좌표(pos(c_i,t))가 표현되면, 동선이 하기와 같은 array로 데이터베이스에 저장될 수 있다.
시간 t_start t1 t2 ... t9 t10
고객 위치 x0,y0 x1,y1 x2,y2 ... x9,y9, x10,y10
고객 c_i의 동선 trace(c_i, t_start(c_i), t_cur) = {pos(c_i, t_start(c_i)), ..., pos(c_i, t_cur)}
또한, 상기 동선은 도 8에 표시되는 것과 같이 각 고객의 동선이 이미지로 변환되어 데이터베이스(37)에 저장될 수 있으며, array와 이미지가 대응되는 짝을 이루어 저장될 수도 있다. 동선저장모듈(333)에서는 고객의 동선과 함께 물품별 구매량도 같이 데이터베이스에 저장될 수 있는데, 맥주, 기저귀 등의 물품분류별 구매량이 저장될 수 있다.
도 9는 본 발명의 일 실시예에 따른 종료예측부(35)의 블록도이다. 도 1 및 도 9를 참고하면, 상기 종료예측부(35)는 저장된 고객의 동선으로부터 기계학습을 통해 잔여동선, 쇼핑시간, 구매물품, 물품별 구매량 중 적어도 하나 이상을 산출할 수 있다. 상기 동선수집부(33)에서 수집되어 데이터베이스(37)에 저장된 고객의 동선 및 물품별 구매량이 학습데이터로 적용되어 매장 내 고객의 동선을 학습하고 현재까지의 고객의 동선과 상응하는 경로를 가진 샘플동선을 통해 잔여동선, 남은 쇼핑 시간 및 예측되는 물품별 구매량을 산출하게 된다. 상기 종료예측부(35)는 바람직하게는 변이형 오토인코더를 통한 생성적 적대신경망(VAE-GAN)을 통하여 고객동선에 대한 학습을 실시할 수 있으며, 생성자 네트워크(351), 판별자 네트워크(353) 및 산출모듈(355)을 포함한다.
학습데이터를 인식하기 위한 신경망은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있으며, 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 신경망은 노드(뉴런)라고 지칭될 수 있는 상호연결된 계산 단위들의 집합으로 구성될 수 있고, 하나 이상의 링크에 의해 상호연결되며, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 이들 중 일부는 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있고, 신경망은 입력 레이어(Input layer), 출력 레이어(Output layer) 외에 복수의 히든 레이어(Hidden layer)를 통해 DNN(Deep neural network)를 구성할 수 있다.
도 10및 도 11을 참고하면, 생성자 네트워크에서 랜덤 노이즈를 통해 학습데이터와 유사한 페이크 이미지, 즉 페이크 동선을 생성하고, 판별자 네트워크는 제시된 이미지가 학습데이터에 존재하는 데이터인지 확률을 연산하는데, 이러한 과정이 반복시행되어 생성자 네트워크와 판별자 네트워크가 경쟁적으로 학습하게 되면, 생성적 적대 신경망을 통해서 실제와 구분이 가지 않는 모방된 이미지가 도출된다. 본 발명에 따른 종료예측부(35)는, 도 10에 도시되는 바와 같이 생성자 네트워크(351)가 페이크 동선을 생성하고 판별자 네트워크(353)는 제시된 동선이 학습데이터에 존재할 확률을 연산하여 경쟁적으로 학습하여 샘플동선을 도출하게 된다.
상기 생성자 네트워크(351)는 노이즈를 기반으로 페이크 동선을 생성한다. 이때 생성자 네트워크(351)는 데이터베이스에 저장된 고객의 동선 데이터로부터 쇼핑에 걸린 시간, 물품별 구매량, 일정한 위치에 머문 시간, 방향전환, 직진 거리 등의 요소를 변수로 추출하여 가공한 노이즈로부터 페이크 동선을 생성할 수 있다. 본 발명의 바람직한 일 실시예에서, 상기 생성자 네트워크(351)는 학습데이터를 바탕으로 하는 가우시안 분포의 노이즈를 인풋으로 하여 페이크 동선을 생성할 수 있으며, 이를 위해 변이형 오토인코더의 디코더(3515)가 생성자 네트워크(351)로 작용할 수 있다. 상기 생성자 네트워크(351)는 인코더(3511), 샘플생성자(3513) 및 디코더(3515)를 포함할 수 있다.
상기 인코더(3511)는 고객의 동선으로부터 특징을 추출하여 평균과 표준편차를 부여한다. 특징이란 밝기 변화나 기하 변화 등과 같이 이미지 비교에 있어서 주요 요소가 될 수 있는 것으로 정의되며, 특징 추출에는 에지 검출, 지역특징 검출과 같은 알고리즘이 사용될 수 있다. 본 발명의 일 실시예에서는 상기 인코더가 쇼핑에 걸린 시간, 물품별 구매량, 일정한 위치에 머문 시간, 방향전환, 직진 거리 등의 요소를 특징으로 추출하여 평균과 표준편차를 부여한다.
상기 샘플생성자(3513)는 상기 인코더에서 부여된 평균과 표준편차를 샘플링하여 가우시안 분포의 노이즈를 생성한다. 상기 인코더(3511)가 동선 데이터에서 추출한 각 특징별로, 평균과 표준편차 또는 분산에 의한 가우시안 분포의 노이즈가 생성된다. 따라서 가우시안 분포의 노이즈는 상기 학습데이터의 동선데이터를 기반으로 생성된 것이다.
상기 디코더(3515)는 샘플생성자에 의한 가우시안 분포 내의 샘플링 결과로부터 동선을 재구성하여 페이크 동선을 생성함으로써 실질적으로 생성자 네트워크(351)로 기능할 수 있다. 인코더(3511)에서 추출된 특징에 부여된 평균과 표준편차를 기반으로 가우시안 분포의 노이즈가 생성되는데, 상기 가우시안 분포의 노이즈로부터 특징을 재구성하여 페이크 동선을 생성한다. 본 발명의 바람직한 일 실시예에서는 기계학습이 수행되어 디코더(3515)가 실제 동선과 구분이 불가능한 페이크 동선을 생성할 수 있게 되면 디코더(3515)만이 생성자 네트워크(351)로 기능할 수 있다.
상기 판별자 네트워크(353)는 데이터베이스에 저장된 동선을 기반으로 하여 페이크 동선과 학습데이터의 실제 동선을 판별하여 학습을 수행한다. 상기 생성자 네트워크(351)와의 경쟁적 학습 수행이 반복되면 도 12에서 볼 수 있는 것과 같이 실제 고객의 동선과 구분이 불가능한 샘플동선을 생성하게 된다.
상기 산출모듈(355)은 고객의 동선에 상응하는 도출된 샘플동선을 기반으로 잔여동선, 쇼핑시간과 물품별 구매량 중 적어도 하나 이상을 산출한다. 고객의 동선에 따라 복수의 샘플동선이 존재할 수 있는데, 산출모듈은 샘플동선을 통해 도출되는 쇼핑 종료시간, 쇼핑 종료 시 예측되는 물품별 구매량을 산출함으로써 매장 내 고객이 어떤 경로를 따라서 언제 퇴장하고 어떤 제품을 얼마나 살 것인지를 예측할 수 있다. 본 발명의 바람직한 일 실시예에서는 상기 산출모듈(355)이 복수의 샘플동선들이 가지는 쇼핑 종료시간(t_end)들의 평균 값으로 쇼핑 종료시간의 예측값(E=[t_end])을 제안하고, 고객의 최종 구매 상품은 위의 n개의 샘플들에서 발견된 상품 목록들을 모두 합친후 구매 수량에는 1/n을 곱하여 평균을 산출함으로써 최종 구매할 상품들의 목록과 수량을 예측할 수 있다(=E[items(c_j, t_end)]).
따라서, 도 12와 같이 예측되는 샘플동선을 기반으로 하여 산출된 퇴장시간 및 구매량이 매장 내 혼잡도 관리, 고객의 쇼핑유형 분류, 고객이 구매했거나 구매할 상품들의 포장과 배송의 관리를 위하여 사용될 수 있다. 따라서, 매장을 이용하는 고객이 현재 동선을 기반으로 언제 쇼핑을 끝내고 계산을 할 것인지, 식재료나 주류, 위생용품 등의 물품을 종류별로 얼마나 구매할 것인지 예측할 수 있다. 이때 식재료, 주류 등과 같은 비교적 넓은 분류의 물품별로 구매량을 합산하고 평균을 산출할 수도 있으나, 기저귀, 맥주 등과 같이 물품을 분류하여 구매량을 합산하고 평균을 산출할 수도 있다.
이하에서는 도 13 내지 도 15를 참고하여 본 발명의 일 실시예에 따른 매장 내 고객동선 및 쇼핑시간 예측방법(S)을 설명하도록 한다. 도 13은 본 발명의 일 실시예에 따른 매장 내 고객동선 및 쇼핑시간 예측방법(S)의 흐름도이다. 상기 매장 내 고객동선 및 쇼핑시간 예측방법(S)은 매장 내 고객을 인식하고, 매장 내에서의 고객의 움직임을 추적하여 시간에 따른 고객의 위치를 고객의 동선으로 저장하며, 저장된 고객의 동선을 학습데이터로 기계학습을 수행하여 매장 내에서 쇼핑중인 고객의 잔여 동선을 추출한 후 퇴장시간과 퇴장 시 구매량을 예측할 수 있다. 매장 내 고객동선 및 쇼핑시간 예측방법(S)은 인식단계(S31), 동선수집단계(S33), 종료예측단계(S35)를 포함한다.
상기 인식단계(S31)는 상기 영상촬영장치(10)와 센싱장치(20)로부터 전송된 영상정보 또는 센싱정보로부터 매장 내 고객과 디바이스 중 적어도 하나 이상을 인식하는 과정이다. 고객의 동선, 즉 매장 내에서의 시간에 따른 고객 각각의 위치를 파악하고 동선으로 저장하기 위해서는 먼저 매장 내에서 돌아다니는 고객의 특정이 필요하다. 상기 인식단계(S31)에서는 영상정보와 센싱정보로부터 움직임, 바람직하게는 매장 내 고객의 움직임을 인식하기 위하여 영상검출단계(S311), 신호검출단계(S313), 식별자부여단계(S315) 및 추적단계(S317)를 포함한다.
상기 영상검출단계(S311)는 매장 내 구비된 영상촬영장치(10)를 통해 촬영된 영상정보로부터 움직이는 객체를 탐지하여 고객을 인식한다. 상기 영상검출단계(S311)에서는 영상정보에서 도 3에서와 같이 움직이는 고객을 검출하여 인식한다. 영상검출단계(S311)에서는 상술한 것과 같이 두 개의 연속되는 이미지 사이의 차이를 계산함으로써 움직이는 객체가 존재한다고 판단하는 frame differencing, 영상촬영장치와 매장 내 광경 사이에서의 관계있는 움직임에 의해 발생되는 visual scene에서 edges와 surfaces, objects의 동작들에 의해 발생하는 모션 벡터를 감지하는 optical flow, 가우시안 혼합모델을 이용한 배경 제거 방법 등을 통하여 영상정보 내에서 관심이 되는 객체를 식별하는 객체탐지(Object detection)를 수행할 수 있고, 인식된 point, blob과 같은 기하학적 특징을 추출하여 움직이는 객체를 분류하는 shape-based classification, 가우시안 혼합모델을 기반으로 이미지 시퀀스와 배경과 객체에서 color의 distribution으로 표현되는 컬러 히스토그램을 통해 보행자나 움직이는 물체를 실시간으로 추적하는 Color-based classification 등의 알고리즘을 통해 탐지된 객체를 분류(Object classification)함으로써 도 3과 같이 매장 내를 움직이는 고객을 인식한다.
상기 신호검출단계(S313)는 센싱된 신호로부터 매장 내 디바이스를 인식하고 디바이스의 정보 및 위치를 파악하는 과정이다. 상술한 것과 같이, 디바이스는 매장 내 고객이 사용하는 이동통신 디바이스와 RFID등과 같이 센싱장치(20)로부터 송신되는 무선신호에 반응할 수 있는 유형의 고객이 소지하고 있는 카드 등을 포함한다. 매장 내에 격자형태로 배치된 센싱장치(20)가 수치화한 무선신호의 수신강도를 바탕으로 인식되는 디바이스의 위치를 감지하고 감지한 디바이스의 위치를 좌표값으로 표시한다. 한 명의 고객이 여러장의 교통카드나 신용카드를 소지한 상태로 매장을 돌아다니는 경우에는 복수의 신호들을 그룹핑하여 한명의 고객 위치로 인식을 하고, 한 개의 그룹에서 나온 여러개의 무선신호의 발생 위치들의 평균을 취하여 고객의 위치를 더욱 정확하게 파악할 수 있다.
상기 식별자부여단계(S315)는 상기 영상검출단계(S311)와 신호검출단계(S313)에서 검출된 고객과 디바이스들 중 적어도 하나 이상에 대하여 식별자를 부여한다. 연속적으로 변화하는 영상정보 내에서 검출되는 고객의 움직임에 대하여 식별자를 부여함으로써 서로 다른 고객이 구별되며, 이와 같은 방식으로 신호검출단계(S313)에서 인식한 디바이스에 대해서도 식별자가 부여될 수 있다.
상기 추적단계(S317)는 상기 영상정보로부터 인식된 고객의 움직임을 추적한다. 추적단계(S317)는 Object tracking을 기반으로 인식된 고객의 움직임을 추적할 수 있는데, 탐지한 객체의 움직임, 경로를 추적하는 것이 목표이다.
영상검출단계(S311)에서 인식된 고객에 대한 식별자와 경계상자가 부여된 것에 대하여 영상 내에서 객체를 추적하는 방법으로는 상술한 것과 같이 영상 프레임의 변화에 따라 경계상자의 이동을 인식하여 추적하는 경계상자 기반, 물체의 위치와 속도를 기반으로 추적을 모델링하고 가우시안 분포를 통해 물체의 뒤 프레임에서의 위치와 속도를 추측하는 칼만 필터가 Object tracking 알고리즘으로 사용될 수 있고, 상술한 방법에 한정되지 않은 SORT(Simple Online and Realtime Tracking), 회기 네트워크(GOTURN)을 통한 객체 추적 등의 알고리즘 또한 Object tracking 알고리즘으로 사용될 수 있다. 이에 따라, 상기 추적단계(S317)는 고객이 감지된 경계상자의 위치좌표를 파악하고, 고객의 움직임을 추적함에 따라 변경되는 경계상자의 위치좌표를 통해 고객의 매장 내에서의 위치를 파악할 수 있다.
상기 동선수집단계(S33)는 매장을 이용하는 고객의 동선을 수집하여 저장하며, 시간에 따른 고객의 위치와 함께 쇼핑 종료시의 구매량에 대한 정보도 저장할 수 있다. 동선수집단계(S33)는 위치매칭단계(S331)와 동선저장단계(S333)를 포함한다.
도 14를 참고하면, 상기 위치매칭단계(S331)의 수행과 동선저장단계(S333)의 수행 사이의 관계를 파악할 수 있다. 이를 참고하여 위치매칭단계(S331)와 동선저장단계(S333)를 설명하면, 상기 위치매칭단계(S331)는 상기 인식부(31)에서 인식된 고객과 디바이스의 위치를 매칭한다. 추적단계(S317)의 object tracking에 의해 고객의 매장 내에서의 모든 동선이 추적된다면 추적단계(S317)에서의 추적을 통해 고객의 동선이 저장될 수 있겠지만, 매장 내에서는 영상촬영장치(10)에 의해 감지되지 않는 사각지대가 존재하거나 특정 시간에 고객끼리의 오버랩 등에 의해 동선추적이 원활하지 않을 수 있다.
상기 추적단계(S317)에 의해서 고객의 동선이 모두 파악하는 것이 불가능한 경우, 영상검출단계(S311)에서 인식된 고객과 신호검출단계(S313)를 통해 인식된 디바이스를 매칭함으로써 고객의 움직임 추적을 보완할 수 있다. 도 6에서 볼 수 있는 것과 같이, 영상검출단계(S311) 및 추적단계(S317)에 의해 추적된 고객의 동선(vc_8)에서 특정 시간대에 누락이 발생한 경우, 신호검출단계(S313)에서 인식한 디바이스(sc_8)의 시간에 따른 위치변화를 비교하여 공통점 매칭 후 누락부분을 보완함으로써 고객의 동선을 추출할 수 있다.
또한, 위치매칭단계(S331)는 도 7과 같이 매장 내 좌표를 기준으로 신호검출단계에서 인식된 디바이스의 위치를 matrix로 형성하고, matrix 내에서의 디바이스의 식별자를 원소로 나타낼 때 디바이스의 분포에 의한 matrix가 희소행렬, 즉 sparse matrix를 형성하는 경우에는 영상정보에서 인식되는 고객의 움직임 등으로 인한 위치변화와 디바이스의 위치변화를 대비할 필요 없이 고객의 위치와 디바이스의 위치가 대응되므로, 영상검출단계에서 인식된 고객과 신호검출단계에서 인식된 디바이스를 매칭할 수도 있다.
상기 동선저장단계(S333)는 시간에 따른 매장 내에서의 고객의 위치를 고객의 동선으로 저장하며, i번째 고객(c_i)이 쇼핑을 시작한 시각(t_start(c_i))으로부터 현재 시각(t_cur)까지의 시간에 따른 고객의 좌표(pos(c_i,t))가 표현되면, 동선이 array로 데이터베이스에 저장될 수 있다. 또한, 상기 동선은 도 8에 표시되는 것과 같이 각 고객의 동선이 이미지로 변환되어 데이터베이스(37)에 저장될 수 있으며, array와 이미지가 대응되는 짝을 이루어 저장될 수도 있다.
다시 도 13을 참고하면, 상기 종료예측단계(S35)는 저장된 고객의 동선으로부터 기계학습을 통해 잔여동선, 쇼핑시간과 구매량 중 적어도 하나 이상을 산출하는 과정이다. 상기 동선수집단계(S33)에서 수집되어 데이터베이스(37)에 저장된 고객의 동선 및 구매량이 학습데이터로 적용되어 매장 내 고객의 동선을 학습하고 현재까지의 고객의 동선과 상응하는 경로를 가진 샘플동선을 통해 잔여동선, 남은 쇼핑 시간 및 구매량, 바람직하게는 물품별 구매량을 산출하게 된다. 상기 종료예측단계(S35)는 바람직하게는 변이형 오토인코더를 통한 생성적 적대신경망(VAE-GAN)을 통하여 고객동선에 대한 학습을 실시할 수 있으며, 페이크동선 생성단계(S351), 판별단계(S353) 및 산출단계(S355)를 포함한다.
도 15를 참고하면, 생성자 네트워크에서 랜덤 노이즈를 통해 학습데이터와 유사한 페이크 이미지를 생성하고, 판별자 네트워크는 제시된 이미지가 학습데이터에 존재하는 데이터인지 확률을 연산하는데, 이러한 과정이 반복시행되어 경쟁적으로 학습되면, 생성적 적대 신경망을 통해서 실제와 구분이 가지 않는 모방된 이미지가 도출된다. 본 발명에 따른 종료예측단계(S35)는, 생성자 네트워크(351)가 페이크 동선을 생성하는 페이크동선 생성단계(S351)와 판별자 네트워크(353)가 제시된 동선이 학습데이터에 존재할 확률을 연산하는 판별단계(S353)가 경쟁적으로 수행되어 학습함으로써 샘플동선을 도출하도록 한다.
상기 페이크동선 생성단계(S351)는 노이즈를 기반으로 페이크 동선을 생성한다. 이때 페이크동선 생성단계(S351)는 생성자 네트워크(351)를 통해 데이터베이스에 저장된 고객의 동선 데이터로부터 쇼핑에 걸린 시간, 구매량, 일정한 위치에 머문 시간, 방향전환, 직진 거리 등의 요소를 변수로 추출하여 가공한 노이즈로부터 페이크 동선을 생성할 수 있다. 본 발명의 바람직한 일 실시예에서, 상기 페이크동선 생성단계(S351)는 학습데이터를 바탕으로 하는 가우시안 분포의 노이즈를 인풋으로 하여 페이크 동선을 생성할 수 있으며, 변이형 오토인코더에서 수행될 수 있고, 이를 위해 변이형 오토인코더 학습에서의 디코딩단계(S3515)가 페이크동선 생성단계(S351)로 작용할 수 있다. 상기 페이크동선 생성단계(S351)는 인코딩단계(S3511), 샘플링단계(S3513) 및 디코딩단계(S3515)를 포함할 수 있다.
상기 인코딩단계(S3511)는 고객의 동선으로부터 특징을 추출하여 평균과 표준편차를 부여한다. 특징이란 밝기 변화나 기하 변화 등과 같이 이미지 비교에 있어서 주요 요소가 될 수 있는 것으로 정의되며, 특징 추출에는 에지 검출, 지역특징 검출과 같은 알고리즘이 사용될 수 있다. 본 발명의 일 실시예에서는 상기 인코더가 쇼핑에 걸린 시간, 구매량, 일정한 위치에 머문 시간, 방향전환, 직진 거리 등의 요소를 특징으로 추출하여 평균과 표준편차를 부여한다.
상기 샘플링단계(S3513)는 상기 인코더에서 부여된 평균과 표준편차를 샘플링하여 가우시안 분포의 노이즈를 생성한다. 상기 인코딩단계(S3511)에서 추출한 동선데이터의 각 특징별로, 평균과 표준편차 또는 분산에 의한 가우시안 분포의 노이즈가 생성된다. 따라서 가우시안 분포의 노이즈는 상기 학습데이터의 동선데이터를 기반으로 생성된 것이다.
상기 디코딩단계(S3515)는 샘플생성자에 의한 가우시안 분포 내의 샘플링 결과로부터 동선을 재구성하여 페이크 동선을 생성함으로써 실질적으로 페이크동선 생성단계(S351)로 기능할 수 있다. 인코딩단계(S3511)에서 추출된 특징에 부여된 평균과 표준편차를 기반으로 가우시안 분포의 노이즈가 생성되는데, 상기 가우시안 분포의 노이즈로부터 특징을 재구성하여 페이크 동선을 생성한다. 본 발명의 바람직한 일 실시예에서는 기계학습 이후 디코딩단계만 실시되어 샘플동선을 생성한다.
상기 판별단계(S353)는 데이터베이스에 저장된 동선을 기반으로 하여 페이크 동선과 실제 동선을 판별하여 학습을 수행한다. 페이크동선 생성단계(S351)와의 경쟁적 학습 수행 반복되면 도 12에서 볼 수 있는 것과 같이 실제 고객의 동선과 구분이 불가능한 샘플동선을 생성하게 된다.
상기 산출단계(S355)는 고객의 동선에 상응하는 도출된 샘플동선을 기반으로 잔여동선, 쇼핑시간과 구매량 중 적어도 하나 이상을 산출한다. 고객의 동선에 따라 복수의 샘플동선이 존재할 수 있는데, 산출모듈은 샘플동선을 통해 도출되는 쇼핑 종료시간, 쇼핑 종료 시 구매량을 산출함으로써 매장 내 고객이 어떤 경로를 따라서 언제 퇴장하고 어떤 제품을 얼마나 살 것인지를 예측할 수 있다. 본 발명의 바람직한 일 실시예에서는 상기 산출단계(S355)가 복수의 샘플동선들이 가지는 쇼핑 종료시간(t_end)들의 평균 값으로 쇼핑 종료시간의 예측값(E=[t_end])을 제안하고, 고객의 최종 구매 상품은 위의 n개의 샘플들에서 발견된 상품 목록들을 모두 합친후 구매 수량에는 1/n 을 곱하여 평균을 산출함으로써 최종 구매할 상품들의 목록과 수량을 예측할 수 있다(=E[items(c_j, t_end)]). 따라서, 예측되는 샘플동선을 기반으로 하여 산출된 퇴장시간 및 구매량이 매장 내 혼잡도 관리, 고객의 쇼핑유형 분류, 고객이 구매했거나 구매할 상품들의 포장과 배송의 관리를 위하여 사용될 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
10: 영상촬영장치 20: 센싱장치
30: 매장 내 고객동선 및 쇼핑시간 예측시스템
31: 인식부
311: 영상검출모듈 313: 신호검출모듈
315: 식별자부여모듈 317: 추적모듈
33: 동선수집부
331: 위치매칭모듈 333: 동선저장모듈
35: 종료예측부
351: 생성자 네트워크 3511: 인코더
3513: 샘플생성자 3515: 디코더
353: 판별자 네트워크 355: 산출모듈
c_i: i번째 쇼핑 고객 t_cur: 현재 시간
t_start(c_i): i번째 고객(c_i)이 쇼핑을 시작한 시각
pos(c_i,t): i번째 고객(c_i)의 시간 t에서 매장 내 위치
trace(c_i, t_start(c_i), t_cur): i번째 고객(c_i)의 쇼핑을 시작한 시각부터 현재시간까지의 동선

Claims (19)

  1. 매장 내에 설치되거나 매장과 연결된 매장 내 고객동선 및 쇼핑시간 예측시스템에서 수행되며, 매장을 이용하는 고객의 동선을 수집하여 저장하는 동선수집단계, 고객의 동선으로부터 기계학습을 통해 잔여동선, 쇼핑시간, 구매물품, 구매량 중 적어도 하나 이상을 산출하는 종료예측단계를 포함하고,
    상기 동선수집단계는 시간에 따른 매장 내에서의 고객의 위치를 고객의 동선으로 저장하는 동선저장단계를 포함하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  2. 제1항에 있어서, 상기 동선수집단계 이전에 매장 내 고객 또는 디바이스를 인식하는 인식단계를 더 포함하고,
    상기 인식단계는 매장 내 구비된 영상촬영장치를 통해 촬영된 영상정보로부터 움직이는 객체를 탐지하여 고객을 인식하는 영상검출단계, 상기 영상검출단계에서 인식된 고객에 식별자를 부여하는 식별자부여단계를 포함하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  3. 제2항에 있어서, 상기 인식단계는 상기 영상정보로부터 인식된 고객의 움직임을 추적하는 추적단계를 더 포함하고, 상기 추적단계는 object tracking을 기반으로 인식된 고객의 움직임을 추적하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  4. 제3항에 있어서, 상기 추적단계를 통해 시간에 따른 매장 내에서의 고객의 위치가 모두 파악되는 경우, 동선저장단계는 상기 추적단계에서 검출한 고객의 동선을 저장하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  5. 제3항에 있어서, 상기 인식단계는 매장 내 구비된 센싱장치를 통해 무선신호를 송수신하여 센싱된 신호로부터 하나 이상의 디바이스의 위치를 인식하는 신호검출단계를 더 포함하고, 상기 식별자부여단계는 상기 신호검출단계에서 인식된 디바이스에 식별자를 추가로 부여하고,
    상기 동선수집단계는 상기 추적단계를 통해 시간에 따른 매장 내에서의 고객의 위치의 적어도 일부가 파악되지 않는 경우, 동선저장단계의 수행 전에 상기 인식단계에서 인식된 고객과 디바이스의 위치를 매칭하는 위치매칭단계를 더 포함하여 고객의 동선을 특정하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  6. 제5항에 있어서, 상기 위치매칭단계는 매장 내 좌표를 기준으로 신호검출단계에서 인식된 디바이스의 위치를 matrix로 형성하고, 하나 이상의 디바이스의 위치가 sparse matrix를 형성하여 영상정보에서 인식된 고객과 대응되는 경우 상기 영상검출단계에서 인식된 고객과 신호검출단계에서 인식된 디바이스를 매칭하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  7. 제5항에 있어서, 상기 위치매칭단계는 상기 추적단계에서 추적한 고객의 움직임과 상기 신호검출단계에서 인식된 디바이스의 위치변화를 비교하여 고객의 움직임에 대응되는 디바이스를 매칭하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  8. 제4항 내지 제7항 중 어느 한 항에 있어서, 종료예측단계는 노이즈로부터 페이크 동선을 생성하는 페이크동선 생성단계, 페이크 동선과 학습데이터를 판별하는 판별단계를 포함하고, 상기 페이크동선 생성단계와 판별단계는 생성적 적대신경망에서 경쟁적으로 학습하여 샘플동선을 도출하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  9. 제8항에 있어서, 상기 페이크동선 생성단계는 학습데이터를 기반으로 하는 가우시안 분포의 노이즈로부터 페이크동선을 생성하며,
    이를 위해 가우시안 분포의 노이즈로부터 동선을 재구성하여 페이크동선을 생성하는 디코딩단계를 포함하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  10. 제9항에 있어서, 상기 페이크동선 생성단계는 고객의 동선으로부터 특징을 추출하여 평균과 표준편차를 부여하는 인코딩단계 및 상기 인코딩단계에서 부여된 평균과 표준편차의 가우시안 분포에 해당하는 노이즈를 샘플링하는 샘플링단계를 더 포함하여 변이형 오토인코더에서 수행되는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  11. 제8항에 있어서, 상기 종료예측단계는 고객의 동선에 상응하는 도출된 샘플동선을 기반으로 잔여동선, 쇼핑시간, 구매물품 및 구매량 중 적어도 하나 이상을 산출하는 산출단계를 더 포함하되,
    상기 산출단계는 고객의 동선에 상응하는 도출된 샘플동선들의 종료시간과 구매량의 평균을 산출하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측방법.
  12. 매장 내 고객과 디바이스 중 적어도 하나 이상을 인식하는 인식부, 매장을 이용하는 고객의 동선을 수집하여 저장하는 동선수집부 및 고객의 동선으로부터 기계학습을 통해 잔여동선, 쇼핑시간, 구매물품 및 구매량 중 적어도 하나 이상을 산출하는 종료예측부를 포함하는 매장 내 고객동선 및 쇼핑시간 예측시스템.
  13. 제12항에 있어서, 동선수집부는 시간에 따른 매장 내에서의 고객의 위치를 고객의 동선으로 저장하는 동선저장모듈을 포함하고,
    상기 인식부는 매장 내 구비된 영상촬영장치를 통해 촬영된 영상정보로부터 움직이는 객체를 탐지하여 고객을 인식하는 영상검출모듈, 상기 영상검출모듈에서 인식된 고객에 식별자를 부여하는 식별자부여모듈, 상기 영상정보로부터 인식된 고객의 움직임을 추적하는 추적모듈을 포함하되,
    상기 추적모듈은 object tracking을 기반으로 인식된 고객의 움직임을 추적하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측시스템.
  14. 제13항에 있어서, 상기 추적모듈에 의해 시간에 따른 매장 내에서의 고객의 위치가 모두 파악되는 경우, 상기 동선저장모듈은 상기 추적모듈에서 검출한 고객의 동선을 저장하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측시스템.
  15. 제13항에 있어서, 상기 인식부는 매장 내 구비된 센싱장치를 통해 무선신호를 송수신하여 센싱된 신호로부터 하나 이상의 디바이스의 위치를 인식하는 신호검출모듈을 더 포함하고, 상기 식별자부여모듈은 상기 신호검출모듈에서 인식된 디바이스에 식별자를 추가로 부여하며,
    상기 동선수집부는 상기 인식부에서 인식된 고객과 디바이스의 위치를 매칭하는 위치매칭모듈을 더 포함하여, 상기 추적모듈에 의해 시간에 따른 매장 내에서의 고객의 위치의 적어도 일부가 파악되지 않는 경우, 고객과 매칭된 디바이스의 위치를 통해 고객의 동선을 특정하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측시스템.
  16. 제14항 또는 제15항에 있어서, 종료예측부는 저장된 고객의 동선을 학습데이터로 하여 페이크 동선을 생성하는 생성자 네트워크, 페이크 동선과 학습데이터를 판별하는 판별자 네트워크를 포함하고, 상기 생성자 네트워크와 판별자 네트워크는 생성적 적대신경망을 형성하여 샘플동선을 도출하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측시스템.
  17. 제16항에 있어서, 상기 생성자 네트워크는 학습데이터를 기반으로 하는 가우시안 분포의 노이즈로부터 페이크동선을 생성하며,
    이를 위해 가우시안 분포의 노이즈로부터 동선을 재구성하여 페이크동선을 생성하는 디코더를 포함하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측시스템.
  18. 제17항에 있어서, 상기 생성자 네트워크는 고객의 동선으로부터 특징을 추출하여 평균과 표준편차를 부여하는 인코더 및 상기 인코더에서 부여된 평균과 표준편차의 가우시안 분포에 해당하는 노이즈를 샘플링하는 샘플생성자를 더 포함하여 변이형 오토인코더를 형성하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측시스템.
  19. 제16항에 있어서, 상기 종료예측부는 고객의 동선에 상응하는 도출된 샘플동선을 기반으로 잔여동선, 쇼핑시간, 구매물품 및 구매량 중 적어도 하나 이상을 산출하는 산출모듈을 더 포함하되,
    상기 산출모듈은 고객의 동선에 상응하는 도출된 샘플동선들의 종료시간과 구매량의 평균을 산출하는 것을 특징으로 하는 매장 내 고객동선 및 쇼핑시간 예측시스템.
KR1020200100501A 2020-08-11 2020-08-11 매장 내 고객동선 및 쇼핑시간 예측방법과 그 시스템 KR102493331B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200100501A KR102493331B1 (ko) 2020-08-11 2020-08-11 매장 내 고객동선 및 쇼핑시간 예측방법과 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200100501A KR102493331B1 (ko) 2020-08-11 2020-08-11 매장 내 고객동선 및 쇼핑시간 예측방법과 그 시스템

Publications (2)

Publication Number Publication Date
KR20220020047A true KR20220020047A (ko) 2022-02-18
KR102493331B1 KR102493331B1 (ko) 2023-02-03

Family

ID=80495185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200100501A KR102493331B1 (ko) 2020-08-11 2020-08-11 매장 내 고객동선 및 쇼핑시간 예측방법과 그 시스템

Country Status (1)

Country Link
KR (1) KR102493331B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564472A (zh) * 2022-09-22 2023-01-03 内蒙古宏联网络科技有限责任公司 基于大数据的设备交互式信息服务系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060053214A (ko) * 2004-08-23 2006-05-19 (주)리테일테크 Ｒｆｉｄ 기반의 쇼핑 패턴 분석 시스템 및 방법
KR101321397B1 (ko) 2007-03-27 2013-10-22 에스케이플래닛 주식회사 매장 관리 시스템 및 방법
KR101829274B1 (ko) * 2017-03-24 2018-02-19 디에스엔전주 주식회사 비콘을 이용한 영상 보안 시스템 및 방법과 이를 위한 객체 관리 장치
WO2019093293A1 (ja) * 2017-11-07 2019-05-16 日本電気株式会社 接客支援装置、接客支援方法、及びコンピュータ読み取り可能な記録媒体
WO2019111932A1 (ja) * 2017-12-08 2019-06-13 日本電気株式会社 モデル学習装置、モデル学習方法及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060053214A (ko) * 2004-08-23 2006-05-19 (주)리테일테크 Ｒｆｉｄ 기반의 쇼핑 패턴 분석 시스템 및 방법
KR101321397B1 (ko) 2007-03-27 2013-10-22 에스케이플래닛 주식회사 매장 관리 시스템 및 방법
KR101829274B1 (ko) * 2017-03-24 2018-02-19 디에스엔전주 주식회사 비콘을 이용한 영상 보안 시스템 및 방법과 이를 위한 객체 관리 장치
WO2019093293A1 (ja) * 2017-11-07 2019-05-16 日本電気株式会社 接客支援装置、接客支援方法、及びコンピュータ読み取り可能な記録媒体
WO2019111932A1 (ja) * 2017-12-08 2019-06-13 日本電気株式会社 モデル学習装置、モデル学習方法及び記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564472A (zh) * 2022-09-22 2023-01-03 内蒙古宏联网络科技有限责任公司 基于大数据的设备交互式信息服务系统及方法

Also Published As

Publication number Publication date
KR102493331B1 (ko) 2023-02-03

Similar Documents

Publication Publication Date Title
JP7009389B2 (ja) 環境内のコンピュータビジョン駆動型アプリケーションのためのシステムおよび方法
US10373322B1 (en) Autonomous store system that analyzes camera images to track people and their interactions with items
JP6707724B6 (ja) 自律店舗追跡システム
US11790433B2 (en) Constructing shopper carts using video surveillance
CN111415461B (zh) 物品识别方法及系统、电子设备
US10290031B2 (en) Method and system for automated retail checkout using context recognition
JP2020115344A6 (ja) 自律店舗追跡システム
US8009863B1 (en) Method and system for analyzing shopping behavior using multiple sensor tracking
CA3072056A1 (en) Subject identification and tracking using image recognition
CN106776619A (zh) 用于确定目标对象的属性信息的方法和装置
Liu et al. Customer behavior classification using surveillance camera for marketing
US20210304291A1 (en) Identifying objects of interest for handicapped individuals based on eye movement patterns
CN108805644A (zh) 贩售机的商品售卖方法以及贩售机
EP3629276A1 (en) Context-aided machine vision item differentiation
KR102493331B1 (ko) 매장 내 고객동선 및 쇼핑시간 예측방법과 그 시스템
CN110264219B (zh) 一种基于大数据的客户监测分析系统
KR20220026810A (ko) 매장 내 스마트 쇼핑 시스템
Abed et al. Shoppers interaction classification based on an improved DenseNet model using RGB-D data
Alkhodre et al. Employing Video-based Motion Data with Emotion Expression for Retail Product Recognition
Rajvanshi et al. Queue time estimation in checkout counters using computer vision and deep neural network
Della Sciucca et al. Shoppers detection analysis in an intelligent retail environment
Zhang et al. Design and Implementation of a Vision-and Grating-Sensor-Based Intelligent Unmanned Settlement System
JP7276535B1 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
US20230267486A1 (en) Computer-readable recording medium, information processing method, and information processing apparatus
WO2023148856A1 (ja) 購買分析装置、購買分析方法、及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right