KR20200073519A - 독립형 객층 자동 분석 장치 및 방법 - Google Patents

독립형 객층 자동 분석 장치 및 방법 Download PDF

Info

Publication number
KR20200073519A
KR20200073519A KR1020180161759A KR20180161759A KR20200073519A KR 20200073519 A KR20200073519 A KR 20200073519A KR 1020180161759 A KR1020180161759 A KR 1020180161759A KR 20180161759 A KR20180161759 A KR 20180161759A KR 20200073519 A KR20200073519 A KR 20200073519A
Authority
KR
South Korea
Prior art keywords
customer
face
unit
data
face image
Prior art date
Application number
KR1020180161759A
Other languages
English (en)
Other versions
KR102153967B1 (ko
Inventor
설진현
이정표
Original Assignee
주식회사 세중아이에스
(주) 비지에프리테일
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 세중아이에스, (주) 비지에프리테일 filed Critical 주식회사 세중아이에스
Priority to KR1020180161759A priority Critical patent/KR102153967B1/ko
Publication of KR20200073519A publication Critical patent/KR20200073519A/ko
Application granted granted Critical
Publication of KR102153967B1 publication Critical patent/KR102153967B1/ko

Links

Images

Classifications

    • G06K9/00268
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06K9/00288
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H04N5/23219
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

본 발명은 독립적으로 구동하면서, 매장에 방문해서 상품을 구매하는 시점에 고객의 얼굴을 자동으로 인식하여 성별, 연령 등(즉, 객층)을 자동으로 분석하도록 구현한 독립형 객층 자동 분석 장치 및 방법에 관한 것으로, 카메라부가 고객의 접근을 센싱하여 고객의 얼굴을 포커싱해서 촬영하며; 얼굴인식부가 카메라부에서 촬영한 고객의 얼굴을 인식하여 얼굴 이미지 데이터를 캐싱하며; 객층분석부가 얼굴인식부에서 캐싱한 얼굴 이미지 데이터로부터 특징점을 추출하여 객층을 분석하며; 데이터저장부가 객층분석부에서 분석한 객층 데이터를 저장한다.

Description

독립형 객층 자동 분석 장치 및 방법{Stand-alone type apparatus and method for automatically analyzing clientele}
본 발명의 기술 분야는 독립형 객층 자동 분석 장치 및 방법에 관한 것으로, 특히 독립적으로 구동하면서, 매장에 방문해서 상품을 구매하는 시점에 고객의 얼굴을 자동으로 인식하여 성별, 연령 등(즉, 객층)을 자동으로 분석하도록 구현한 독립형 객층 자동 분석 장치 및 방법에 관한 것이다.
한국등록특허 제10-140249호(2014.05.26 등록)는 객층 인식 기능을 구비한 판매 시점 관리 장치 및 방법에 관하여 개시되어 있는데, 성별 및 연령에 기초한 복수 개의 그룹별로 정의된 특징 데이터를 저장하는 데이터베이스로서, 특징 데이터는 학습 이미지로부터 산출된 데이터에 데이터 마이닝 알고리즘을 적용함으로써 차원이 감소된 데이터인 데이터베이스; 구매자에 대한 상품 판매에 관련된 정보를 입력받고, 인식 제한 메시지를 객층 인식 모듈에 전달함으로써 객층 인식 모듈을 호출하도록 구성된 판매 시점 관리(Point Of Sales; POS) 모듈; 및 POS 모듈에 연결되며, POS 모듈과 독립적으로 구동되고, POS 모듈에 의해 호출되는 것에 대한 응답으로 인식 제한 메시지에 의해 정의된 조건 하에서 구매자에 관련된 하나 이상의 식별 정보를 획득하도록 구성된 객층 인식 모듈을 포함하되, 객층 인식 모듈은, 이미지를 촬영하기 위한 촬영부; POS 모듈에 의해 호출되는 것에 대한 응답으로 구매자의 이미지 정보를 획득하도록 촬영부를 제어하는 제어부; 및 이미지 정보로부터 하나 이상의 특징 정보를 추출하고, 추출된 특징 정보를 데이터베이스에 저장된 특징 데이터와 비교함으로써 구매자에 대한 하나 이상의 식별 정보를 추출하는 이미지 처리부를 포함하는 것을 특징으로 한다. 개시된 기술에 따르면, 저사양의 POS 장치에서 활용될 수 있도록 부하를 줄이고, 데이터 손실을 최소화하기 위한 분류(classification) 알고리즘을 적용함으로써 인식률을 높이며, 카메라가 장시간 사용되지 않는 경우 운영 체제에 의하여 카메라가 강제적으로 비활성화되는 것을 방지할 수 있다.
한국공개특허 제10-2016-0011804호(2016.02.02 공개)는 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법에 관하여 개시되어 있다. 개시된 기술에 따르면, 매장의 입장 지점에 설치된 카메라를 통하여 촬영된 영상물로부터 입장 고객의 얼굴영역을 얼굴인식 모듈에 의해 검출하는 단계; 얼굴인식 모듈이 촬영된 영상물의 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하고, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴 특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계; 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 입장 고객의 성별/연령 정보를 분석 모듈에 의해 도출하는 단계; 매장의 계산 지점에 설치된 카메라를 통하여 촬영된 고객을 구매 고객으로 추정하는 상태에서, 계산 지점에 설치된 카메라를 통해 촬영된 영상물로부터 구매 고객의 얼굴영역을 얼굴인식 모듈에 의해 검출하고, 얼굴인식 모듈은 해당 얼굴영역에서 얼굴의 코 부위를 기준 좌표로 선정하며, 그 기준 좌표를 중심으로 3차원으로 모델링함 동시에, 그 3차원 얼굴모델로부터 얼굴 특징점을 3차원 좌표값으로 검출함으로써, 개인 고유의 특징점으로 이루어지는 좌표를 선정하여 해당 좌표값을 프로메타데이터로 추출하는 단계; 추출된 프로메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로메타데이터 패턴과 대비하여 해당 구매 고객의 성별/연령 정보를 상기 분석 모듈에 의해 도출하는 단계; 및 입장 고객으로부터 도출한 성별/연령 정보와 상기 구매 고객으로부터 도출한 성별/연령 정보를 비교함으로써 입장 고객의 성별 또는 연령별 실제 구매 정보를, 분석 모듈에 의해 제공하는 단계를 포함하여, 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공한다.
상술한 바와 같은 종래의 기술에서는, 매장에 설치된 CCTV 또는 별도의 카메라와 연결된 서버 또는 컴퓨터에 얼굴 인식 소프트웨어를 설치하여, 얼굴이 인식되는 시점에 얼굴 이미지를 취득하고, 이를 하드드라이브 등의 스토리지에 취득된 얼굴 이미지를 저장해서 특징점을 분석하여 이에 대한 성별-연령 데이터를 추출하는 방식으로 구동함으로써, 상품을 인지하는 시점을 인식하지 못하고 얼굴만 인식이 되면, 무조건 얼굴 이미지를 취득하여 상술한 바와 같은 프로세스로 분석된 성별-연령값을 추출하게 되며, 이에 따라 고객의 상품 구매 시점을 식별 또는 인식하지 못하기 때문에, 실제 특정 상품 또는 상품군을 구매한 고객이나 관심 고객층에 대한 데이터를 매핑하여 실시간으로 바로 데이터를 분석할 수 없었으며, 얼굴이 인식되는 경우에 얼굴 이미지를 스토리지에 저장하여 이를 분석하는 방식을 사용하기 때문에 개인정보보호법 위반의 소지가 있으며, 반드시 얼굴 이미지 취득에 대한 고객 동의가 요구되며, 얼굴 인식 및 분석을 위하여 별도의 서버, 컴퓨터와 같은 높은 사양의 컴퓨팅 장치가 요구되는 등의 문제점을 가지고 있다.
다시 말해서, 상술한 바와 같은 얼굴 인식을 통한 종래의 객층 분석 제품들은, 얼굴을 인식하여 성별-연령을 분석할 수 있지만, POS와의 직접적인 연동을 통한 구매시점 및 구매 상품 데이터를 매칭하거나, 혹은 POS와의 직접적인 연동은 없지만 얼굴이 인식되는 시점과 상품이 결제되는 시점을 시계열 방식으로 DB 서버에서 사후에 매핑하여 실제 상품 구매 고객층과 구매 상품 또는 상품군을 매칭함으로써, 특정한 상품 또는 상품군에 대한 구매 객층 또는 상품 선호 객층을 실시간으로 분석할 수 없는 문제점을 가지고 있다. 또한, 종래 기술에서는, 매장에 별도의 서버 또는 얼굴 인식 및 분석을 위한 컴퓨터, POS 등의 장치에 얼굴 인식용 소프트웨어를 설치하여 구동되기 때문에, 높은 하드웨어 사양을 요구하고, 이로 인해 제품 구매비용이 많이 발생하는 문제점도 있었다.
한편, 상술한 바와 같은 종래의 기술에서는, POS 내장 카메라의 경우에, POS 단말의 설치 위치로 인한 카메라 각도와 고객 위치 불합치의 문제, 결제 과정 중에 얼굴 인식 타이밍 불일치 문제가 발생하며, 또한 얼굴인식용 카메라가 얼굴 탐지 시에 얼굴 이미지를 채취하여 POS 단말로 얼굴 이미지를 전송하고, POS 단말 내에 설치된 객층인식엔진을 통해 객층 데이터를 추출함으로써, 얼굴 이미지의 데이터 파일 전송에 따른 소켓 통신 과부하가 발생하거나, 이로 인하여 데이터가 누락되는 등의 문제가 발생한다.
한국등록특허 제10-140249호 한국공개특허 제10-2016-0011804호
본 발명이 해결하고자 하는 과제는, 전술한 바와 같은 문제점들을 해결하기 위한 것으로, 독립적으로 구동하면서, 매장에 방문해서 상품을 구매하는 시점에 고객의 얼굴을 자동으로 인식하여 성별, 연령 등(즉, 객층)을 자동으로 분석하도록 구현한 독립형 객층 자동 분석 장치 및 방법을 제공하는 것이다.
상술한 과제를 해결하는 수단으로는, 본 발명의 한 특징에 따르면, 고객의 접근을 센싱하여 고객의 얼굴을 포커싱해서 촬영하기 위한 카메라부; 상기 카메라부에서 촬영한 고객의 얼굴을 인식하여 얼굴 이미지 데이터를 캐싱하기 위한 얼굴인식부; 상기 얼굴인식부에서 캐싱한 얼굴 이미지 데이터로부터 특징점을 추출하여 객층을 분석하기 위한 객층분석부; 및 상기 객층분석부에서 분석한 객층 데이터를 저장하기 위한 데이터저장부를 포함하는 독립형 객층 자동 분석 장치를 제공한다.
일 실시 예에서, 상기 카메라부는, 스탠바이 상태로 대기하면서 고객의 접근을 센싱하며, 고객 접근 센싱 시에 액티브 상태로 전환시켜 고객의 얼굴을 포커싱해서 촬영하는 것을 특징으로 한다.
일 실시 예에서, 상기 카메라부는, 인쇄물을 카메라 렌즈의 주변에 부착시켜 구성한 것을 특징으로 한다.
일 실시 예에서, 상기 얼굴인식부는, 상기 카메라부에서 촬영한 고객 얼굴 영상에서 고객 얼굴을 최초로 인식한 시점으로부터 기 설정된 시간 이내 동안에, 기 설정된 초당 프레임 이상으로 인식한 얼굴 이미지 데이터를 얻는 것을 특징으로 한다.
일 실시 예에서, 상기 얼굴인식부는, 상기 카메라부에서 촬영한 고객 얼굴 영상에서 고객 얼굴을 인식하여 인식한 얼굴 이미지 데이터를 상기 객층분석부로 캐싱하는 것을 특징으로 한다.
일 실시 예에서, 상기 얼굴인식부는, 상기 카메라부에서 촬영한 고객 얼굴 영상에서 인식한 얼굴 이미지 데이터를 메모리 캐싱 방식을 통해 저장하는 것을 특징으로 한다.
일 실시 예에서, 상기 얼굴인식부는, 상기 카메라부에서 촬영한 고객 얼굴 영상에서 인식한 얼굴 이미지 데이터를 스토리지에 저장하지 않고 메모리에 캐싱하는 것을 특징으로 한다.
일 실시 예에서, 상기 객층분석부는, 상기 얼굴인식부에서 메모리로 캐싱한 얼굴 이미지 데이터로부터 저차원 특징점을 추출하고, 추출한 저차원 특징점을 이용하여 연령, 성별의 객층 데이터를 추정하는 것을 특징으로 한다.
일 실시 예에서, 상기 객층분석부는, 상기 얼굴인식부에서 메모리로 캐싱한 얼굴 이미지 데이터로부터 특징점을 추출한 후에, 바로 얼굴 이미지 데이터를 삭제함과 동시에, 추출한 특징점으로 객층을 분석해서 객층 데이터를 얻는 것을 특징으로 한다.
일 실시 예에서, 상기 객층분석부는, 상기 얼굴인식부에서 메모리로 캐싱한 얼굴 이미지 데이터로부터 특징점을 추출한 후에, 얼굴 이미지 데이터를 즉시 삭제함과 동시에, 개인을 특정할 수 없는 성별 및 연령 데이터만을 추출하는 것을 특징으로 한다.
일 실시 예에서, 상기 객층분석부는, 상기 얼굴인식부에서 메모리로 캐싱한 얼굴 이미지 데이터로부터 추출한 특징점을 비식별화시켜 익명의 객층 데이터를 얻는 것을 특징으로 한다.
일 실시 예에서, 상기 객층분석부는, 상기 얼굴인식부에서 메모리로 캐싱한 얼굴 이미지 데이터로부터 추출한 특징점을 암호화시켜 비식별화하여 익명 객층 데이터로 사용하는 것을 특징으로 한다.
일 실시 예에서, 상기 객층분석부는, 기 설정해 둔 변환규칙을 가지는 암호화모듈을 이용하여 특징점을 암호화하는 것을 특징으로 한다.
일 실시 예에서, 상기 독립형 객층 자동 분석 장치는, 고객 얼굴의 높이에 맞게 POS 단말의 주변에 독립적으로 설치되는 것을 특징으로 한다.
일 실시 예에서, 상기 독립형 객층 자동 분석 장치는, 상기 카메라부로부터 고객 접근의 센싱이나 고객 얼굴의 포커싱 촬영을 통보받아 고객의 상품 구매 시점 또는 상품 관심 시점으로 판단하여 상기 카메라부, 상기 얼굴인식부, 상기 객층분석부 및 상기 데이터저장부의 동작을 제어하기 위한 제어부를 더 포함하는 것을 특징으로 한다.
일 실시 예에서, 상기 카메라부는, 고객 접근의 센싱이나 고객 얼굴의 포커싱 촬영을 상기 제어부에 통보하는 것을 특징으로 한다.
일 실시 예에서, 상기 독립형 객층 자동 분석 장치는, POS 단말로부터 수신되는 거래시작알림신호를 상기 제어부에 통보하고, 상기 제어부로부터 객층 데이터를 전달받아 POS 단말로 전송하기 위한 통신부를 더 포함하는 것을 특징으로 한다.
일 실시 예에서, 상기 POS 단말은, 고객의 상품 구매 또는 결제 시에 거래 시작을 알리는 거래시작알림신호를 생성시켜 상기 통신부로 전송하며, 상기 통신부로부터 수신되는 객층 데이터를, 거래 종료 시에 거래 관련 정보와 함께 관리서버로 전송하는 것을 특징으로 한다.
일 실시 예에서, 상기 통신부는, POS 단말로부터 수신되는 거래메시지를 상기 제어부에 통보하는 것을 특징으로 한다.
일 실시 예에서, 상기 POS 단말은, 상품에 대한 결제가 이루어지는 시점에 특정한 거래번호가 포함된 거래메시지를 생성시켜 상기 통신부로 전송하는 것을 특징으로 한다.
일 실시 예에서, 상기 통신부는, POS 단말로부터 수신되는 구매정보를 상기 제어부에 통보하는 것을 특징으로 한다.
일 실시 예에서, 상기 POS 단말은, 상품에 대한 결제가 이루어지는 시점에 고객의 구매 상품 또는 상품군의 데이터를 포함한 구매정보를 생성시켜 상기 통신부로 전송하는 것을 특징으로 한다.
일 실시 예에서, 상기 통신부는, 상기 제어부로부터 전달되는 고객 분석 데이터를 관리서버로 전송하는 것을 특징으로 한다.
일 실시 예에서, 상기 제어부는, 상기 통신부로부터 통보되는 거래시작알림신호에 따라 고객 얼굴을 실시간으로 검출하고 객층을 분석하여 객층 데이터를 얻도록 각 구성요소의 동작을 제어한 후에, 얻은 객층 데이터를 상기 통신부에 전달하는 것을 특징으로 한다.
일 실시 예에서, 상기 제어부는, 상기 통신부로부터 통보되는 거래메시지에서 특정 거래번호를 확인하며, 특정 거래번호와 객층 데이터를 매핑하는 것을 특징으로 한다.
일 실시 예에서, 상기 제어부는, 상기 통신부로부터 통보되는 구매정보에서 고객 구매 상품 또는 상품군의 데이터를 확인하며, 고객 구매 상품 또는 상품군의 데이터를 특정 거래번호나 객층 데이터와 매핑하며, 데이터 매핑을 통해 고객 분석을 수행하며, 고객 분석 데이터를 상기 통신부로 전달하는 것을 특징으로 한다.
일 실시 예에서, 상기 제어부는, 상품 구매 고객의 객층 데이터를 시계열 방식으로 POS 단말을 통해 결제된 구매 상품 데이터와 매칭시켜, 구매한 특정 상품 또는 상품군에 대한 실제 구매 고객층 또는 관심 고객층을 분석하는 것을 특징으로 한다.
상술한 과제를 해결하는 수단으로는, 본 발명의 다른 한 특징에 따르면, 독립형 객층 자동 분석 장치에 있어서, 카메라부가 고객의 접근을 센싱하여 고객의 얼굴을 포커싱해서 촬영하는 단계; 얼굴인식부가 상기 카메라부에서 촬영한 고객의 얼굴을 인식하여 얼굴 이미지 데이터를 캐싱하는 단계; 객층분석부가 상기 얼굴인식부에서 캐싱한 얼굴 이미지 데이터로부터 특징점을 추출하여 객층을 분석하는 단계; 및 데이터저장부가 상기 객층분석부에서 분석한 객층 데이터를 저장하는 단계를 포함하는 독립형 객층 자동 분석 방법을 제공한다.
본 발명의 효과로는, 독립적으로 구동하면서, 매장에 방문해서 상품을 구매하는 시점에 고객의 얼굴을 자동으로 인식하여 성별, 연령 등(즉, 객층)을 자동으로 분석하도록 구현한 독립형 객층 자동 분석 장치 및 방법을 제공함으로써, 별도의 서버나 컴퓨터와 같은 높은 사양의 컴퓨팅 장치가 필요 없어 제품 구매비용이 많이 발생하지 않으며, 상품을 인지하는 시점이나 고객의 상품 구매 시점을 식별 또는 인식할 수 있어, 실제 특정 상품 또는 상품군을 구매한 고객이나 관심 고객층에 대한 데이터를 매핑하여 실시간으로 바로 데이터를 분석할 수 있으며, 얼굴 이미지를 스토리지에 저장해 두지 않기 때문에 개인정보보호법 위반의 소지가 없으며, 이에 얼굴 이미지 취득에 대한 고객 동의가 필요 없다는 것이다.
본 발명에 의하면, 특정한 상품 또는 상품군에 대한 구매 객층 또는 상품 선호 객층을 실시간으로 분석할 수 있으며, 카메라 각도와 고객 위치의 합치가 가능하고, 결제 과정 중에 얼굴 인식 타이밍 일치가 가능하며, 얼굴 탐지 시에 채취된 얼굴 이미지를 POS 단말로 전송하지 않으므로 소켓 통신 과부하가 발생하지 않고 이로 인하여 데이터의 누락이 없는 효과를 가진다.
도 1은 본 발명의 실시 예에 따른 독립형 객층 자동 분석 장치를 설명하는 도면이다.
도 2는 본 발명의 실시 예에 따른 독립형 객층 자동 분석 장치의 설치 예를 설명하는 도면이다.
도 3은 본 발명의 실시 예에 따른 독립형 객층 자동 분석 방법을 설명하는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이제 본 발명의 실시 예에 따른 독립형 객층 자동 분석 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 독립형 객층 자동 분석 장치를 설명하는 도면이며, 도 2는 본 발명의 실시 예에 따른 독립형 객층 자동 분석 장치의 설치 예를 설명하는 도면이다.
도 1 및 도 2를 참조하면, 독립형 객층 자동 분석 장치(100)는, 카메라부(110), 얼굴인식부(120), 객층분석부(130), 데이터저장부(140)를 포함한다.
카메라부(110)는, 고객의 접근을 센싱하여 고객의 얼굴을 포커싱해서 촬영하고, 해당 촬영된 고객의 얼굴 영상을 얼굴인식부(120)로 전달해 준다.
일 실시 예에서, 카메라부(110)는, 독립형 객층 자동 분석 장치(100)에 장착된 카메라를 이용해서 항상 스탠바이 상태로 대기하면서 고객의 접근을 센싱할 수 있으며, 이에 고객의 접근을 센싱한 경우에만 액티브 상태로 전환시켜 고객의 얼굴을 포커싱해서 촬영할 수 있으며, 이에 소비 전력을 감소시키면서도 효율적인 촬영동작을 수행할 수 있다.
일 실시 예에서, 카메라부(110)는, 독립형 객층 자동 분석 장치(100)의 매장 설치 시에, 고객 식별 가능성을 고려해서, 도 2에 도시된 바와 같은 매장 로고 등과 같은 인쇄물을 카메라 렌즈의 주변으로 부착시켜 줌으로써, 고객의 시선 분리 처리하도록 할 수 있다.
얼굴인식부(120)는, 카메라부(110)로부터 전달되는 고객의 얼굴 영상에서 고객의 얼굴을 인식하고, 해당 인식한 얼굴 이미지 데이터를 객층분석부(130)로 캐싱(caching)해 준다.
일 실시 예에서, 얼굴인식부(120)는, 카메라부(110)로부터 전달되는 고객 얼굴 영상에서 고객 얼굴을 최초로 인식한 시점으로부터 기 설정된 시간(예를 들어, 5초) 이내 동안에, 기 설정된 초당 프레임(예를 들어, 10~30프레임) 이상으로 인식한 얼굴 이미지 데이터를 얻을 수 있다.
일 실시 예에서, 얼굴인식부(120)는, 카메라부(110)로부터 전달되는 고객 얼굴 영상에서 인식한 얼굴 이미지 데이터를 메모리 캐싱 방식을 통해 저장해 줄 수 있는데, 즉 카메라부(110)로부터 전달되는 고객 얼굴 영상에서 인식한 얼굴 이미지 데이터를 스토리지에 저장하지 않고 메모리에 캐싱해 줄 수 있다.
객층분석부(130)는, 얼굴인식부(120)로부터 캐싱되는 얼굴 이미지 데이터로부터 특징점을 추출하여 객층(즉, 성별, 연령 등)을 분석하고, 해당 분석된 객층 데이터를 데이터저장부(140)에 전달해 준다.
일 실시 예에서, 객층분석부(130)는, 얼굴인식부(120)로부터 메모리에 캐싱되는 얼굴 이미지 데이터에서 저차원 특징점을 추출할 수 있고, 해당 추출된 저차원 특징점을 이용하여 연령, 성별 등과 같은 객층 데이터를 추정할 수 있다.
일 실시 예에서, 객층분석부(130)는, 얼굴인식부(120)로부터 메모리에 캐싱되는 얼굴 이미지 데이터에서 특징점을 추출한 후에, 바로 메모리에 캐싱된 얼굴 이미지 데이터를 삭제함과 동시에, 해당 추출한 특징점으로 객층을 분석해서 해당 분석한 객층 데이터를 얻을 수 있다.
일 실시 예에서, 객층분석부(130)는, 객층 데이터를 얻기 위한 특징점을 추출한 후에, 메모리에 캐싱된 얼굴 이미지 데이터를 즉시 삭제함과 동시에, 개인을 특정할 수 없는 성별 및 연령 데이터만을 추출함으로써, 개인정보보호법에 위배되지 아니하도록 할 수 있다. 다시 말해서, 객층분석부(130)는, 얼굴 이미지 데이터의 저장 없이 메모리 캐싱 방식을 통해 얼굴 특징점만을 추출한 후에 얼굴 이미지 데이터를 즉시 메모리에서 삭제함으로써, 얼굴 이미지 데이터 사후 복원이 영구적으로 불가능하여 개인정보보호에 유효할 수 있다.
일 실시 예에서, 객층분석부(130)는, 얼굴인식부(120)로부터 메모리에 캐싱되는 얼굴 이미지 데이터에서 추출한 특징점을 비식별화시켜 익명의 객층 데이터를 얻을 수도 있다.
일 실시 예에서, 객층분석부(130)는, 얼굴인식부(120)로부터 메모리에 캐싱되는 얼굴 이미지 데이터에서 추출한 특징점을 암호화시켜 비식별화하여 익명 객층 데이터로 사용할 수 있다. 이때, 특징점 암호화는, 기 설정해 둔 변환규칙을 가지는 암호화모듈에 의해서 수행될 수 있다.
데이터저장부(140)는, 객층분석부(130)로부터 전달되는 객층 데이터를 저장해 준다.
상술한 바와 같은 구성을 가진 독립형 객층 자동 분석 장치(100)는, 카메라와 얼굴 인식/분석용 소프트웨어가 통합된 장치로서 독립적으로 구동하면서, 매장에 방문해서 상품을 구매하는 시점에 고객의 얼굴을 자동으로 인식하여 성별, 연령 등을 자동으로 분석하도록 구현함으로써, 별도의 서버나 컴퓨터와 같은 높은 사양의 컴퓨팅 장치가 필요 없어 제품 구매비용이 많이 발생하지 않으며, 상품을 인지하는 시점이나 고객의 상품 구매 시점을 식별 또는 인식할 수 있어, 실제 특정 상품 또는 상품군을 구매한 고객이나 관심 고객층에 대한 데이터를 매핑하여 실시간으로 바로 데이터를 분석할 수 있으며, 얼굴 이미지를 스토리지에 저장해 두지 않기 때문에 개인정보보호법 위반의 소지가 없으며, 이에 얼굴 이미지 취득에 대한 고객 동의가 필요 없다.
상술한 바와 같은 구성을 가진 독립형 객층 자동 분석 장치(100)는, 독립적인 구동을 위한 전원(예를 들어, 배터리나 충전배터리, 외부의 상용전원 등)을 각 구성요소(즉, 카메라부(110), 얼굴인식부(120), 객층분석부(130), 데이터저장부(140), 또는 제어부(150), 통신부(160))에 필요한 전원으로 공급하는 전원공급부(설명의 편의상으로 도면에는 도시하지 않음)를 더 포함할 수 있다.
상술한 바와 같은 구성을 가진 독립형 객층 자동 분석 장치(100)는, 태양광 또는 태양열, 풍력 등으로 전기를 자가 발전시켜 독립적인 구동을 위한 전원으로 전원공급부에 공급해 주기 위한 자가발전부(설명의 편의상으로 도면에는 도시하지 않음)를 더 포함할 수 있다. 다르게는, 자가발전부는, 압전회로를 매장 바닥에 형성시켜 고객들이 밟고 지나갈 때마다 발생되는 압력을 전기로 변환시켜 독립적인 구동을 위한 전원으로 공급해 줄 수도 있다.
상술한 바와 같은 구성을 가진 독립형 객층 자동 분석 장치(100)는, 도 2에 도시된 바와 같이, 고객의 상품 구매 또는 결제 시에 고객 예상 위치를 고려하면서, 상품 구매 고객임을 인지하기 위해서, 고객 얼굴의 높이에 맞게 POS 단말(설명의 편의상으로 도면에는 도시하지 않음)의 주변에 독립적으로 설치될 수 있으며, 이에 POS 단말의 주변으로 접근한 고객의 얼굴을 보다 정확하게 인식할 수 있어, 객층 데이터의 취득률을 상승시킬 수 있으며, 또한 결제 과정 개시 후 종료 시점까지 고객 얼굴의 실시간 인식 및 분석을 수행할 수 있다.
상술한 바와 같은 구성을 가진 독립형 객층 자동 분석 장치(100)는, 고객 얼굴의 높이에 맞게 POS 단말의 주변에 독립적으로 설치되어, 카메라 각도와 고객 위치의 합치가 가능하다.
상술한 바와 같은 구성을 가진 독립형 객층 자동 분석 장치(100)는, 도 1에 도시된 바와 같이, 각 구성요소(즉, 카메라부(110), 얼굴인식부(120), 객층분석부(130), 데이터저장부(140), 또는 통신부(160))의 동작을 제어하기 위한 제어부(150)를 더 포함할 수 있다.
카메라부(110)는, 고객 접근의 센싱이나 고객 얼굴의 포커싱 촬영을 제어부(150)에 통보해 준다.
제어부(150)는, 카메라부(110)로부터 고객 접근의 센싱이나 고객 얼굴의 포커싱 촬영을 통보받아 이에 따라 고객의 상품 구매 시점(또는, 상품 관심 시점)으로 판단하여 각 구성요소(즉, 얼굴인식부(120), 객층분석부(130), 데이터저장부(140), 또는 통신부(160))의 동작을 제어해 줌으로써, POS 단말과의 연동을 통한 별도의 트리거가 없이도 고객의 상품 구매 시점(또는, 상품 관심 시점)을 예측할 수 있다. 다시 말해서, 제어부(150)는, 어떠한 트리거가 없이도(즉, POS 단말과의 연동 없이도) 고객 얼굴을 실시간 자동으로 검출하고 객층을 분석하여 객층 데이터를 얻도록 각 구성요소의 동작을 제어할 수 있다.
상술한 바와 같은 구성을 가진 독립형 객층 자동 분석 장치(100)는, 도 1에 도시된 바와 같이, POS 단말과의 유선 또는 무선 통신을 수행하기 위한 통신부(160)를 더 포함할 수 있다.
통신부(160)는, POS 단말로부터 전송되는 거래시작알림신호를 수신받아 해당 수신받은 거래시작알림신호를 제어부(150)에 통보해 주며, 제어부(150)로부터 전달되는 객층 데이터를 POS 단말로 전송해 준다. 이때, POS 단말에서는, 고객의 상품 구매 또는 결제 시에 거래 시작을 알리는 신호인 거래시작알림신호를 생성시켜 독립형 객층 자동 분석 장치(100)로 전송해 줄 수 있으며, 독립형 객층 자동 분석 장치(100)로부터 전송되는 객층 데이터를 수신받아, 거래 종료 시에 해당 수신받은 객층 데이터를 거래 관련 정보와 함께 관리서버(설명의 편의상으로 도면에는 도시하지 않음)로 전송해 줄 수 있다.
일 실시 예에서, 통신부(160)는, POS 단말과 연계하여 POS 단말로부터 전송되는 거래메시지를 수신받아 해당 수신받은 거래메시지를 제어부(150)에 통보해 줄 수 있다. 이때, POS 단말에서는, 상품에 대한 결제가 이루어지는 시점에 특정한 거래번호가 포함된 메시지인 거래메시지를 생성시켜 독립형 객층 자동 분석 장치(100)로 전송해 줄 수 있다.
일 실시 예에서, 통신부(160)는, POS 단말로부터 전송되는 구매정보를 수신받아 해당 수신받은 구매정보를 제어부(150)에 통보해 줄 수 있다. 이때, POS 단말에서는, 상품에 대한 결제가 이루어지는 시점에 고객의 구매 상품 또는 상품군의 데이터를 포함한 구매정보를 생성시켜 독립형 객층 자동 분석 장치(100)로 전송해 줄 수 있다.
일 실시 예에서, 통신부(160)는, 제어부(150)로부터 전달되는 고객 분석 데이터를 관리서버 등으로 전송해 줄 수 있다.
제어부(150)는, 통신부(160)로부터 통보되는 거래시작알림신호에 따라 고객 얼굴을 실시간으로 검출하고 객층을 분석하여 객층 데이터를 얻도록 각 구성요소의 동작을 제어한 후에, 해당 얻은 객층 데이터를 통신부(160)에 전달해 준다.
일 실시 예에서, 제어부(150)는, 통신부(160)로부터 통보되는 거래메시지에서 특정 거래번호를 확인할 수 있으며, 특정 거래번호와 객층 데이터를 매핑할 수 있다.
일 실시 예에서, 제어부(150)는, 통신부(160)로부터 통보되는 구매정보에서 고객 구매 상품 또는 상품군의 데이터를 확인할 수 있으며, 해당 확인한 고객 구매 상품 또는 상품군의 데이터를 특정 거래번호나 객층 데이터와 매핑할 수 있으며, 해당 데이터 매핑을 통해 고객 분석을 수행할 수 있으며, 해당 수행한 고객 분석 데이터를 통신부(160)로 전달해 줄 수 있다.
일 실시 예에서, 제어부(150)는, 객층 데이터(즉, 상품 구매 고객의 객층 데이터)를 시계열 방식으로 POS 단말을 통해 결제된 상품(즉, 구매 상품 데이터)과 매칭시켜, 구매한 특정 상품 또는 상품군에 대한 실제 구매 고객층(또는, 관심 고객층)을 자동으로 분석해 줄 수도 있다.
상술한 바와 같은 구성을 가진 독립형 객층 자동 분석 장치(100)는, 얼굴 탐지 시에 얼굴 이미지를 채취하고 바로 객층 데이터를 추출하여 객층 데이터만을 POS 단말로 전송하며, 채취된 얼굴 이미지는 삭제하고 POS 단말로 전송하지 않으므로, 얼굴 이미지의 데이터 파일을 전송할 필요가 없어 소켓 통신 과부하가 발생하지 않고 이로 인하여 데이터가 누락되지 않으며, 또한 POS 단말의 자원을 사용하지 않아 자원의 효율적인 사용이 가능하다.
상술한 바와 같은 구성을 가진 독립형 객층 자동 분석 장치(100)는, 특정한 상품 또는 상품군에 대한 구매 객층 또는 상품 선호 객층을 실시간으로 분석할 수 있으며, 또한 결제 과정 중에 얼굴 인식 타이밍 일치가 가능하다.
상술한 바와 같은 구성을 가진 독립형 객층 자동 분석 장치(100)는, 저렴한 비용으로 소상공인 매장에 도입시켜 줄 수 있으며, 또한 소상공인 매장에 도입될 경우 실제 상품이나 서비스의 유효 고객군, 실제 고객군을 분석함으로써, 저렴한 비용으로 고객 객층에 대한 정보를 분석하는데 기여할 수 있다.
도 3은 본 발명의 실시 예에 따른 독립형 객층 자동 분석 방법을 설명하는 도면이다.
도 3을 참조하면, 카메라부(110)에서는, 고객의 접근을 센싱하여 고객의 얼굴을 포커싱해서 촬영하고, 해당 촬영된 고객의 얼굴 영상을 얼굴인식부(120)로 전달해 주게 된다(S301).
상술한 단계 S301에서 고객 얼굴 영상을 전달함에 있어서, 카메라부(110)에서는, 독립형 객층 자동 분석 장치(100)에 장착된 카메라를 이용해서 항상 스탠바이 상태로 대기하면서 고객의 접근을 센싱할 수 있으며, 이에 고객의 접근을 센싱한 경우에만 액티브 상태로 전환시켜 고객의 얼굴을 포커싱해서 촬영할 수 있으며, 이에 소비 전력을 감소시키면서도 효율적인 촬영동작을 수행할 수 있다.
상술한 단계 S301에서 고객 얼굴 영상을 전달함에 있어서, 카메라부(110)에서는, 고객 접근의 센싱이나 고객 얼굴의 포커싱 촬영을 독립형 객층 자동 분석 장치(100)에 구비된 제어부(150)에 통보해 주게 된다. 이에, 제어부(150)에서는, 카메라부(110)로부터 고객 접근의 센싱이나 고객 얼굴의 포커싱 촬영을 통보받아 이에 따라 고객의 상품 구매 시점(또는, 상품 관심 시점)으로 판단하여 각 구성요소(즉, 얼굴인식부(120), 객층분석부(130), 데이터저장부(140), 또는 통신부(160))의 동작을 제어해 줌으로써, POS 단말과의 연동을 통한 별도의 트리거가 없이도 고객의 상품 구매 시점(또는, 상품 관심 시점)을 예측할 수 있다. 다시 말해서, 제어부(150)에서는, 어떠한 트리거가 없이도(즉, POS 단말과의 연동 없이도) 고객 얼굴을 실시간 자동으로 검출하고 객층을 분석하여 객층 데이터를 얻도록 각 구성요소의 동작을 제어할 수 있다.
상술한 단계 S301에서 고객 얼굴 영상을 전달함에 있어서, POS 단말에서는, 고객의 상품 구매 또는 결제 시에 거래 시작을 알리는 신호인 거래시작알림신호를 생성시켜 독립형 객층 자동 분석 장치(100)로 전송해 줄 수 있다. 이에, 독립형 객층 자동 분석 장치(100)에 구비된 통신부(160)에서는, POS 단말로부터 전송되는 거래시작알림신호를 수신받아 해당 수신받은 거래시작알림신호를 제어부(150)에 통보해 줄 수 있다. 그러면, 제어부(150)에서는, 통신부(160)로부터 통보되는 거래시작알림신호에 따라 고객 얼굴을 실시간으로 검출하고 객층을 분석하여 객층 데이터를 얻도록 각 구성요소의 동작을 제어해 줄 수 있다.
상술한 단계 S301에서 고객 얼굴 영상을 전달하게 되면, 얼굴인식부(120)에서는, 카메라부(110)로부터 전달되는 고객의 얼굴 영상에서 고객의 얼굴을 인식하고, 해당 인식한 얼굴 이미지 데이터를 객층분석부(130)로 캐싱해 주게 된다(S302).
상술한 단계 S302에서 얼굴 이미지 데이터를 캐싱함에 있어서, 얼굴인식부(120)에서는, 카메라부(110)로부터 전달되는 고객 얼굴 영상에서 고객 얼굴을 최초로 인식한 시점으로부터 기 설정된 시간(예를 들어, 5초) 이내 동안에, 기 설정된 초당 프레임(예를 들어, 10~30프레임) 이상으로 인식한 얼굴 이미지 데이터를 얻을 수 있다.
상술한 단계 S302에서 얼굴 이미지 데이터를 캐싱함에 있어서, 얼굴인식부(120)에서는, 카메라부(110)로부터 전달되는 고객 얼굴 영상에서 인식한 얼굴 이미지 데이터를 메모리 캐싱 방식을 통해 저장해 줄 수 있는데, 즉 카메라부(110)로부터 전달되는 고객 얼굴 영상에서 인식한 얼굴 이미지 데이터를 스토리지에 저장하지 않고 메모리에 캐싱해 줄 수 있다.
상술한 단계 S302에서 얼굴 이미지 데이터를 캐싱하게 되면, 객층분석부(130)에서는, 얼굴인식부(120)로부터 캐싱되는 얼굴 이미지 데이터로부터 특징점을 추출하여 객층(즉, 성별, 연령 등)을 분석하고, 해당 분석된 객층 데이터를 데이터저장부(140)에 전달해 주게 된다(S303).
상술한 단계 S303에서 객층 데이터를 전달함에 있어서, 객층분석부(130)에서는, 얼굴인식부(120)로부터 메모리에 캐싱되는 얼굴 이미지 데이터에서 저차원 특징점을 추출할 수 있고, 해당 추출된 저차원 특징점을 이용하여 연령, 성별 등과 같은 객층 데이터를 추정할 수 있다.
상술한 단계 S303에서 객층 데이터를 전달함에 있어서, 객층분석부(130)에서는, 얼굴인식부(120)로부터 메모리에 캐싱되는 얼굴 이미지 데이터에서 특징점을 추출한 후에, 바로 메모리에 캐싱된 얼굴 이미지 데이터를 삭제함과 동시에, 해당 추출한 특징점으로 객층을 분석해서 해당 분석한 객층 데이터를 얻을 수 있다.
상술한 단계 S303에서 객층 데이터를 전달함에 있어서, 객층분석부(130)에서는, 객층 데이터를 얻기 위한 특징점을 추출한 후에, 메모리에 캐싱된 얼굴 이미지 데이터를 즉시 삭제함과 동시에, 개인을 특정할 수 없는 성별 및 연령 데이터만을 추출함으로써, 개인정보보호법에 위배되지 아니하도록 할 수 있다.
상술한 단계 S303에서 객층 데이터를 전달함에 있어서, 객층분석부(130)에서는, 얼굴인식부(120)로부터 메모리에 캐싱되는 얼굴 이미지 데이터에서 추출한 특징점을 비식별화시켜 익명의 객층 데이터를 얻을 수도 있다.
상술한 단계 S303에서 객층 데이터를 전달함에 있어서, 객층분석부(130)에서는, 얼굴인식부(120)로부터 메모리에 캐싱되는 얼굴 이미지 데이터에서 추출한 특징점을 암호화모듈에 의해서 암호화시켜 비식별화하여 익명 객층 데이터로 사용할 수 있다.
상술한 단계 S303에서 객층 데이터를 전달하게 되면, 데이터저장부(140)에서는, 객층분석부(130)로부터 전달되는 객층 데이터를 저장해 주게 된다(S304).
상술한 단계 S304에서 객층 데이터를 저장한 다음에, 제어부(150)에서는, 상술한 단계 S304에서 저장한 객층 데이터를 통신부(160)에 전달해 준다. 이에, 통신부(160)에서는, 제어부(150)로부터 전달되는 객층 데이터를 POS 단말로 전송해 준다. 그러면, POS 단말에서는, 독립형 객층 자동 분석 장치(100)로부터 전송되는 객층 데이터를 수신받아, 거래 종료 시에 해당 수신받은 객층 데이터를 거래 관련 정보와 함께 관리서버(설명의 편의상으로 도면에는 도시하지 않음)로 전송해 주게 된다(S305).
상술한 단계 S305에서 객층 데이터를 전송하는 한편, POS 단말에서는, 상품에 대한 결제가 이루어지는 시점에 특정한 거래번호가 포함된 메시지인 거래메시지를 생성시켜 독립형 객층 자동 분석 장치(100)로 전송해 준다. 이에, 통신부(160)에서는, POS 단말과 연계하여 POS 단말로부터 전송되는 거래메시지를 수신받아 해당 수신받은 거래메시지를 제어부(150)에 통보해 준다. 그러면, 제어부(150)에서는, 통신부(160)로부터 통보되는 거래메시지에서 특정 거래번호를 확인할 수 있으며, 특정 거래번호와 객층 데이터를 매핑해 주게 된다.
상술한 단계 S305에서 객층 데이터를 전송하는 다른 한편, POS 단말에서는, 상품에 대한 결제가 이루어지는 시점에 고객의 구매 상품 또는 상품군의 데이터를 포함한 구매정보를 생성시켜 독립형 객층 자동 분석 장치(100)로 전송해 준다. 이에, 통신부(160)에서는, POS 단말로부터 전송되는 구매정보를 수신받아 해당 수신받은 구매정보를 제어부(150)에 통보해 준다. 그러면, 제어부(150)에서는, 통신부(160)로부터 통보되는 구매정보에서 고객 구매 상품 또는 상품군의 데이터를 확인할 수 있으며, 해당 확인한 고객 구매 상품 또는 상품군의 데이터를 특정 거래번호나 객층 데이터와 매핑할 수 있으며, 해당 데이터 매핑을 통해 고객 분석을 수행할 수 있으며, 해당 수행한 고객 분석 데이터를 통신부(160)로 전달해 준다. 이에 따라, 통신부(160)에서는, 제어부(150)로부터 전달되는 고객 분석 데이터를 관리서버 등으로 전송해 주게 된다.
상술한 바와 같은 고객 분석을 수행함에 있어서, 제어부(150)에서는, 객층 데이터(즉, 상품 구매 고객의 객층 데이터)를 시계열 방식으로 POS 단말을 통해 결제된 상품(즉, 구매 상품 데이터)과 매칭시켜, 구매한 특정 상품 또는 상품군에 대한 실제 구매 고객층(또는, 관심 고객층)을 자동으로 분석해 줄 수도 있다.
이상, 본 발명의 실시 예는 상술한 장치 및/또는 운용방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 독립형 객층 자동 분석 장치
110: 카메라부
120: 얼굴인식부
130: 객층분석부
140: 데이터저장부
150: 제어부
160: 통신부

Claims (5)

  1. 고객의 접근을 센싱하여 고객의 얼굴을 포커싱해서 촬영하기 위한 카메라부;
    상기 카메라부에서 촬영한 고객의 얼굴을 인식하여 얼굴 이미지 데이터를 캐싱하기 위한 얼굴인식부;
    상기 얼굴인식부에서 캐싱한 얼굴 이미지 데이터로부터 특징점을 추출하여 객층을 분석하기 위한 객층분석부; 및
    상기 객층분석부에서 분석한 객층 데이터를 저장하기 위한 데이터저장부를 포함하는 독립형 객층 자동 분석 장치.
  2. 제1항에 있어서, 상기 카메라부는,
    스탠바이 상태로 대기하면서 고객의 접근을 센싱하며, 고객 접근 센싱 시에 액티브 상태로 전환시켜 고객의 얼굴을 포커싱해서 촬영하는 것을 특징으로 하는 독립형 객층 자동 분석 장치.
  3. 제1항에 있어서, 상기 카메라부는,
    인쇄물을 카메라 렌즈의 주변에 부착시켜 구성한 것을 특징으로 하는 독립형 객층 자동 분석 장치.
  4. 제1항에 있어서, 상기 얼굴인식부는,
    상기 카메라부에서 촬영한 고객 얼굴 영상에서 고객 얼굴을 최초로 인식한 시점으로부터 기 설정된 시간 이내 동안에, 기 설정된 초당 프레임 이상으로 인식한 얼굴 이미지 데이터를 얻는 것을 특징으로 하는 독립형 객층 자동 분석 장치.
  5. 독립형 객층 자동 분석 장치에 있어서, 카메라부가 고객의 접근을 센싱하여 고객의 얼굴을 포커싱해서 촬영하는 단계;
    얼굴인식부가 상기 카메라부에서 촬영한 고객의 얼굴을 인식하여 얼굴 이미지 데이터를 캐싱하는 단계;
    객층분석부가 상기 얼굴인식부에서 캐싱한 얼굴 이미지 데이터로부터 특징점을 추출하여 객층을 분석하는 단계; 및
    데이터저장부가 상기 객층분석부에서 분석한 객층 데이터를 저장하는 단계를 포함하는 독립형 객층 자동 분석 방법.
KR1020180161759A 2018-12-14 2018-12-14 독립형 객층 자동 분석 장치 및 방법 KR102153967B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180161759A KR102153967B1 (ko) 2018-12-14 2018-12-14 독립형 객층 자동 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180161759A KR102153967B1 (ko) 2018-12-14 2018-12-14 독립형 객층 자동 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200073519A true KR20200073519A (ko) 2020-06-24
KR102153967B1 KR102153967B1 (ko) 2020-09-09

Family

ID=71407754

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180161759A KR102153967B1 (ko) 2018-12-14 2018-12-14 독립형 객층 자동 분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102153967B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0140249B1 (ko) 1995-05-18 1998-07-01 구자홍 공기조화기의 풍향조절장치
KR101402497B1 (ko) * 2013-01-21 2014-06-17 주식회사 비지에프리테일 객층 인식 기능을 구비한 판매 시점 관리 장치 및 방법
KR20160011804A (ko) 2014-07-22 2016-02-02 홍승권 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법
JP2017033401A (ja) * 2015-08-04 2017-02-09 株式会社 impactTV 顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法
JP2018181384A (ja) * 2018-08-23 2018-11-15 東芝テック株式会社 商品販売データ処理装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0140249B1 (ko) 1995-05-18 1998-07-01 구자홍 공기조화기의 풍향조절장치
KR101402497B1 (ko) * 2013-01-21 2014-06-17 주식회사 비지에프리테일 객층 인식 기능을 구비한 판매 시점 관리 장치 및 방법
KR20160011804A (ko) 2014-07-22 2016-02-02 홍승권 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법
JP2017033401A (ja) * 2015-08-04 2017-02-09 株式会社 impactTV 顧客情報収集装置、顧客情報収集システムおよび顧客情報収集方法
JP2018181384A (ja) * 2018-08-23 2018-11-15 東芝テック株式会社 商品販売データ処理装置及びプログラム

Also Published As

Publication number Publication date
KR102153967B1 (ko) 2020-09-09

Similar Documents

Publication Publication Date Title
JP2021511554A (ja) 映像モニタリングに基づく商品検知システムおよび商品検知方法
CN110033293B (zh) 获取用户信息的方法、装置及系统
US20150324635A1 (en) Methods, systems, and apparatuses for visitor monitoring
US20160125404A1 (en) Face recognition business model and method for identifying perpetrators of atm fraud
US9891798B2 (en) Face image tracking system
JP2006221515A (ja) Posシステム
WO2021079549A1 (ja) ネットワークシステム、不審者検知装置、および不審者検知方法
JP2003263641A (ja) 移動分析装置
JP6728649B2 (ja) ポイント管理システム、アカウント生成方法、自動販売機及びプログラム
CN113409056B (zh) 支付方法、装置、本地识别设备、人脸支付系统及设备
US20230102033A1 (en) Payment processing system, payment processing method, and recording medium
TWI671701B (zh) 交易行為偵測系統及其方法
JP6289308B2 (ja) 情報処理装置およびプログラム
JP6418270B2 (ja) 情報処理装置及び情報処理プログラム
KR102153967B1 (ko) 독립형 객층 자동 분석 장치 및 방법
JP6428062B2 (ja) 情報処理装置及び情報処理プログラム
JP6301759B2 (ja) 顔識別装置及びプログラム
JP2014508358A (ja) 収集情報を用いて広告を提供する方法、サーバ及びコンピュータ可読記憶媒体
JP6605822B2 (ja) 顧客情報システム及びプログラム
JP2019192074A (ja) 見込み客情報収集システム及びその収集法
JP7092205B2 (ja) 顧客情報登録装置
JP6580224B2 (ja) 商品販売データ処理装置及びプログラム
JP2022155061A (ja) 画像処理装置、画像処理方法およびプログラム
US20210182542A1 (en) Determining sentiments of customers and employees
KR102182340B1 (ko) 지능형 마케팅 지원 서비스 제공 시스템, 서버 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant