KR20230117945A - 고객 객체 분석 시스템 및 방법 - Google Patents

고객 객체 분석 시스템 및 방법 Download PDF

Info

Publication number
KR20230117945A
KR20230117945A KR1020220014310A KR20220014310A KR20230117945A KR 20230117945 A KR20230117945 A KR 20230117945A KR 1020220014310 A KR1020220014310 A KR 1020220014310A KR 20220014310 A KR20220014310 A KR 20220014310A KR 20230117945 A KR20230117945 A KR 20230117945A
Authority
KR
South Korea
Prior art keywords
human
gender
age
customer
determination unit
Prior art date
Application number
KR1020220014310A
Other languages
English (en)
Inventor
한상희
오석조
서해발
Original Assignee
주식회사 퀀텀에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 퀀텀에이아이 filed Critical 주식회사 퀀텀에이아이
Priority to KR1020220014310A priority Critical patent/KR20230117945A/ko
Publication of KR20230117945A publication Critical patent/KR20230117945A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일실시 예에 의하면, 고객 객체 분석 시스템은, 촬영시간이 포함된 이미지 데이터로부터 기학습된 학습모델에 의해 사람 객체를 탐지하는 사람 유무 판별부; 상기 사람 유무 판별부에서 사람 객체가 탐지되면 상기 사람 객체의 신체 특징값을 이용하여 상기 사람 객체의 성별 및 나이를 추정하며, 상기 이미지 데이터와 함께 성별 및 나이를 출력하는 사람 속성 판별부; 성별 및 나이대를 기준으로 복수의 영역을 구성하며, 사람 속성 판별부가 추정한 상기 사람 객체의 성별 및 나이에 해당되는 영역으로 상기 사람 객체를 배치하되, 동일한 영역 내의 사람 객체들 간의 유사도를 비교하여 유사한 경우 동일한 ID를 부여하는 재학습부; 그리고 상기 ID에 해당되는 사람 객체의 촬영시간 정보를 이용하여 상기 사람 객체의 체류시간을 결정하는 데이터 분석부;를 포함한다.

Description

고객 객체 분석 시스템 및 방법{System and method for analyzing customer object}
본 발명은 고객 객체 분석 시스템에 관한 것으로, 보다 상세하게는 딥러닝 인공지능 기술을 이용하여 빠르고 정확하게 고객 객체를 인식 및 분석할 수 있는 고객 객체 분석 시스템 및 방법에 관한 것이다.
과거에 상가, 백화점 등 오프라인 매장에서는 마케팅 계획을 수립 또는 변경하고자, 매장에 입장하는 다양한 고객의 속성을 수집 및 분석하려고 시도해 왔다.
이러한 고객 객체 분석은, 카운터의 매장 종업원이 고객의 구매 물품 계산 시 구매하는 고객의 나이 및 성별 정보를 직접 입력하여 데이터를 수집하는 방법, 별도의 인력을 배치하여 구매 고객의 나이 및 성별 정보 등을 입력하게 하는 방법 또는 이벤트/경품행사 등을 통하여 구매 고객이 자신의 신상정보를 직접 입력하게 하는 방법 등이 있었다.
현재는, 얼굴 인식 기술을 이용하여 얼굴 특징점을 좌표 값으로 검출하고 검출된 좌표 값을 프로 메타데이터로 추출한 후에, 추출된 프로 메타데이터와 기존에 누적되어 있는 연령 또는 성별 프로 메타데이터 패턴과 단순 대비하여 소비자의 나이 및 성별 정보를 도출하는 방식의 지능형 영상감시 시스템(Intelligent Surveillance System)이 사용되고 있다.
그러나 상기와 같이 얼굴을 기준으로 성별 및 나이 정보를 판단하는 경우, 카메라를 통해 취득되는 이미지가 정면 이미지가 아니라 다양한 각도의 이미지가 취득되거나, 역광 또는 조명상태가 좋지 않아 어두운 이미지가 취득되는 등의 경우 고객의 나이 및 성별 정보를 정확하게 도출할 수 없다는 문제가 있다.
대한민국공개특허공보 제10-2020-0106796호(2020.09.15.)
본 발명의 해결하고자 하는 과제는 카메라를 통해 정면 이미지가 아니라 다양한 각도의 이미지가 취득되거나, 역광 또는 조명상태가 좋지 않아 어두운 이미지가 취득되는 등의 경우에도 고객의 나이 및 성별 정보를 정확하게 도출할 수 있는 고객 객체 분석 시스템 및 방법을 제공하는 것이다.
본 발명의 해결하고자 하는 다른 과제들은 다음의 상세한 설명과 도면으로부터 보다 명확해질 것이다.
본 발명의 일실시 예에 의하면, 고객 객체 분석 시스템은, 촬영시간이 포함된 이미지 데이터로부터 기학습된 학습모델에 의해 사람 객체를 탐지하는 사람 유무 판별부; 상기 사람 유무 판별부에서 사람 객체가 탐지되면 상기 사람 객체의 신체 특징값을 이용하여 상기 사람 객체의 성별 및 나이를 추정하며, 상기 이미지 데이터와 함께 성별 및 나이를 출력하는 사람 속성 판별부; 성별 및 나이대를 기준으로 복수의 영역을 구성하며, 사람 속성 판별부가 추정한 상기 사람 객체의 성별 및 나이에 해당되는 영역으로 상기 사람 객체를 배치하되, 동일한 영역 내의 사람 객체들 간의 유사도를 비교하여 유사한 경우 동일한 ID를 부여하는 재학습부; 그리고 상기 ID에 해당되는 사람 객체의 촬영시간 정보를 이용하여 상기 사람 객체의 체류시간을 결정하는 데이터 분석부;를 포함한다.
그리고, 상기 사람 유무 판별부가 탐지하는 상기 사람 객체의 신뢰도는 기준신뢰도(N)보다 큰 것이 바람직하다
아울러, 상기 이미지 데이터는 수치화된 픽셀값이며, 상기 재학습부는 상기 픽셀값을 비교하여 상기 유사도를 판단할 수 있다.
또한, 상기 사람 속성 판별부는, 제1신체특징값에 따라 성별을 추정하고, 제2신체특징값에 따라 나이를 추정할 수 있다.
여기서, 상기 제1신체특징값은 가슴유무, 골반형상 및 머리형태 중 어느 하나 이상을 포함하며, 상기 제2신체특징값은 등의 굽은 각도, 키 및 상하체 비율 중에 어느 하나 이상을 포함할 수 있다.
그리고, 상기 체류시간은, 상기 사람 객체의 가장 빠른 촬영시간과 가장 늦은 촬영시간과의 차이인 것이 바람직하다.
본 발명의 다른 실시 예에 의하면, 고객 객체 분석 방법은, 촬영시간이 포함된 이미지 데이터로부터 기학습된 학습모델에 의해 사람 객체가 탐지되는 사람 탐지 단계; 상기 사람 객체의 신체 특징값을 이용하여 상기 사람 객체의 성별 및 나이를 추정하여, 상기 이미지 데이터와 함께 성별 및 나이를 출력하는 사람 속성 판별단계; 성별 및 나이대를 기준으로 복수의 영역을 구성하며, 사람 속성 판별부가 추정한 상기 사람 객체의 성별 및 나이에 해당되는 영역으로 상기 사람 객체를 배치하되, 동일한 영역 내의 사람 객체들 간의 유사도를 비교하여 유사한 경우 동일한 ID를 부여하는 재학습 단계; 그리고 상기 ID에 해당되는 사람 객체의 촬영시간 정보를 이용하여 상기 사람 객체의 체류시간을 결정하는 데이터 분석단계;를 포함한다.
그리고, 상기 사람 탐지 단계에서 탐지되는 상기 사람 객체의 신뢰도는 기준신뢰도(N)보다 큰 것이 바람직하다.
아울러, 상기 이미지 데이터는 수치화된 픽셀값이며, 상기 재학습 단계는 상기 픽셀값을 비교하여 상기 유사도를 판단할 수 있다.
또한, 상기 사람 속성 판별단계는 제1신체특징값에 따라 성별을 추정하고, 제2신체특징값에 따라 나이를 추정하는 단계이다.
여기서, 상기 제1신체특징값은 가슴유무, 골반형상 및 머리형태 중 어느 하나 이상을 포함하며, 상기 제2신체특징값은 등의 굽은 각도, 키 및 상하체 비율 중에 어느 하나 이상을 포함할 수 있다.
그리고, 상기 체류시간은, 상기 사람 객체의 가장 빠른 촬영시간과 가장 늦은 촬영시간과의 차이인 것이 바람직하다.
본 발명에 따른 고객 객체 분석 시스템 및 방법의 효과를 설명하면 다음과 같다.
첫째, 카메라를 통해 정면 이미지가 아니라 다양한 각도의 이미지가 취득되거나, 역광 또는 조명상태가 좋지 않아 어두운 이미지가 취득되는 등의 경우에도 고객의 나이 및 성별 정보를 정확하게 도출할 수 있는 이점이 있다.
둘째, 나이 및 성별 정보에 따라 분류된 그룹 단위로 동일한 고객을 탐색하는 재학습 과정을 통해 보다 신속하게 고객의 속성을 판단할 수 있는 이점이 있다.
도 1은 본 발명의 일실시 예에 의한 고객 객체 분석 시스템의 모식도이다.
도 2는 본 발명의 일실시 예에 의한 고객 객체 분석 시스템의 구성도이다.
도 3은 도 2의 고객 객체 분석 시스템의 작동 과정을 나타낸 순서도이다.
도 4는 도 2의 고객 객체 분석 시스템이 사람 유무를 판별하는 과정을 나타낸 도면이다.
도 5는 도 2의 고객 객체 분석 시스템이 고객 속성을 판별하는 과정을 나타낸 도면이다.
도 6은 도 2의 고객 객체 분석 시스템이 고객 데이터를 재학습하는 과정을 나타낸 도면이다.
도 7은 도 2의 고객 객체 분석 시스템이 나이별-성별 동일 계층 간을 비교하는 과정을 나타내는 도면이다.
이하, 본 발명의 바람직한 실시 예들을 첨부된 도 1 내지 7을 참고하여 더욱 상세히 설명한다. 본 발명의 실시 예들은 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 설명하는 실시 예들에 한정되는 것으로 해석되어서는 안 된다. 본 실시 예들은 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 상세하게 설명하기 위해서 제공되는 것이다. 따라서 도면에 나타난 각 요소의 형상은 보다 분명한 설명을 강조하기 위하여 과장될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 “직접적으로 연결”되어 있는 경우뿐 아니라 그 중간에 다른 소자를 사이에 두고 “전기적으로 연결”되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대 또는 축소하여 도시한 것일 수 있다.
설명에 앞서, 인공 신경망은 기계 학습에서 사용되는 모델로써, 기계학습과 인지과학에서 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘이다. 즉, 인공신경망은 시냅스(synapse)의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.
인공 신경망은 일반적으로 다른 레이어의 뉴런들 사이의 연결 패턴, 연결의 가중치를 갱신하는 학습 과정, 이전 레이어로부터 수신되는 입력에 대한 가중 합으로부터 출력값을 생성하는 활성화 함수에 의해 정의될 수 있다. 이러한 인공 신경망은, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)와 같은 방식의 네트워크 모델들을 포함할 수 있다.
인공 신경망이 학습 데이터(training data)를 이용하여 학습(training)되는 과정은, 입력 데이터를 분류(classification)하거나 회귀분석(regression)하거나 군집화(clustering)하는 등의 목적을 달성하기 위하여, 학습 데이터를 이용하여 인공 신경망의 파라미터(parameter)를 결정하는 과정을 의미할 수 있다.
도 1은 본 발명의 일실시 예에 의한 고객 객체 분석 시스템의 모식도이며, 도 2는 본 발명의 일실시 예에 의한 고객 객체 분석 시스템의 구성도이고, 도 3은 도 2의 고객 객체 분석 시스템의 작동 과정을 나타낸 순서도이며, 도 4는 도 2의 고객 객체 분석 시스템이 사람 유무를 판별하는 과정을 나타낸 도면이고, 도 5는 도 2의 고객 객체 분석 시스템이 고객 속성을 판별하는 과정을 나타낸 도면이며, 도 6은 도 2의 고객 객체 분석 시스템이 고객 데이터를 재학습하는 과정을 나타낸 도면이다. 도 7은 도 2의 고객 객체 분석 시스템이 나이별-성별 동일 계층 간을 비교하는 과정을 나타내는 도면이다.
다만, 이러한 도 1 및 도 2의 고객 객체 분석 시스템은 본 발명의 일실시예에 불과하므로 도 1 및 도 2를 통해 본 발명이 한정 해석되는 것은 아니다.
도 1 및 도 2를 참조하면, 본 실시 예에 따른 고객 객체 분석 시스템(20)은 상가, 백화점예약 등 오프라인 매장에 설치된 카메라(10)로부터 전송된 영상 정보를 이용하여 고객(사람)을 인식할 뿐만 아니라 고객의 속성(성별, 나이 등)을 판별하기 위한 것으로, 사람 유무 판별부(21), 고객 속성 판별부(22), 재학습부(23), 데이터 분석부(24), 통신부(25) 및 저장부(26)를 포함한다.
카메라(10)는 고객 객체 인식 및 속성 판별에 필요한 분석대상공간에 대한 영상을 획득할 수 있다. 고객 객체 분석 시스템(20)은 카메라(10)에 의하여 획득된 영상을 분석하여 고객 객체 인식과 속성 판별 기능을 수행할 수 있다. 또한 고객 객체 분석 시스템(20)은 고객 객체 인식 및 속성 판별 결과를 분석하고 사용자 단말(예컨대, 점주나 마케팅 담당자의 PC 등)로 전송할 수 있다.
사람 유무 판별부(21)는 카메라(10)로부터 전송된 입력 영상을 실시간으로 분석하여 고객 객체를 탐지 및 인식한다. 사람 유무 판별부(21)는 고객 객체를 탐지하고 인식하도록 미리 설계된 학습모델(인공 신경망)을 학습(training)한다. 사람 유무 판별부(21)는 이렇게 학습된 신경망을 기반으로 입력 영상 내 고객 객체를 탐지 및 인식한다.
예를 들어, 사람 유무 판별부(21)는 YOLO(You Only Look Once) 신경 네트워크(neural network) 아키텍처에 의하여 고객 객체 인식을 수행할 수 있다. 이때, 신경망으로는 컨볼루션 신경망(CNN)이 이용될 수 있다. 컨볼루션 신경망(CNN)은 입력영상에 대해 컨볼루션 연산을 수행하는 하나 이상의 컨볼루션 층(Convolution Layer) 및 컨볼루션 층의 출력을 샘플링하는 하나 이상의 풀링 층(Pooling Layer)을 포함할 수 있다.
다만, 컨볼루션 신경망(CNN)은 하나의 예시일 뿐 반드시 이에 한정되는 것은 아니며, 순환 신경망(RNN: Recurrent Neural Network) 또는 CNN 및 RNN의 조합 등 그 밖의 다양한 신경망이 이용될 수 있음은 물론이다.
사람 유무 판별부(21)는 정보의 인식률을 향상시키기 위해서 상기 영상 정보의 잡음제거 및 영상보정을 수행할 수 있다. 이때 잡음제거 및 영상보정은 메디안 필터(standard median filter, SMF)를 이용한 방법을 통해 수행될 수 있다.
다만, 이러한 처리 과정은 상기 영상 정보의 품질을 향상시키기 위해 수행되는 것으로, 상기에서 열거한 방법 이외에 다양한 방법을 통해 상기 잡음제거 및 영상보정에 대한 처리 과정이 수행될 수 있음은 물론이다.
도 3을 참조하면, 사람 유무 판별부(21)는 카메라(10)로부터 수신된 영상 정보를 프레임 단위의 이미지 데이터로 변환한다. 이때, 상기 이미지 데이터는 탐지시간(촬영시간) 및 수치화된 픽셀값(예컨데, 기하학적인 텐서(tensor)값)을 포함할 수 있다. 이렇게 수치화된 픽셀값을 사용함으로써 얼굴 이미지를 사용하는 개인정보보호법 위반을 미연에 방지할 수 있게 된다.
사람 유무 판별부(21)는 상기 이미지 데이터를 인식 신경망에 사용 적합한 크기(예를 들면, 해상도 448 ⅹ 448)로 조정(resizing)한다. 사람 유무 판별부(21)는 학습된 신경망을 기반으로 상기 이미지 데이터로부터 고객 객체를 탐색하여 인식한다.
사람 유무 판별부(21)는 신경망에 포함된 여러 개의 층(예: Convolution Layer, Max-pooling Layer 등)에서의 계산을 통해 검출 대상을 탐색한다. 사람 유무 판별부(21)는 검출 대상에 대하여 임계값(threshold)을 적용하여 최종 탐지결과를 생성 및 출력한다. 이때, 탐지결과는 관심영역(예를 들면, 이미지 데이터 상의 고객(사람) 감지 라인)의 위치정보 및 고객 객체의 신뢰도(confidence) 중 어느 하나 이상을 포함할 수 있다.
여기서, 관심영역의 위치정보는 고객 객체가 탐지된 영역에 대한 정보(예: 위치좌표, 영역의 폭과 높이)를 나타낸다. 고객 객체의 신뢰도는 고객 객체가 사람에 속할 확률을 나타낸다.
예를 들어, 객체가 존재하지 않는 경우 이상적인 신뢰도 값은 0이 된다. 사람 유무 판별부(21)는 상기 이미지 데이터와 함께 관심영역(예를 들면, 이미지 데이터 상의 고객(사람) 감지 라인)의 위치정보 및 고객 객체의 신뢰도(confidence)를 고객 속성 판별부(23)로 전송할 수 있다. 이때, 사람 유무 판별부(21)는 고객 객체의 신뢰도가 기설정된 신뢰도(N)보다 큰 값인 이미지 데이터만 고객 속성 판별부(23)로 전송할 수 있다.
고객 속성 판별부(23)는 상기 이미지 데이터로부터 고객 객체의 신체 특징값을 이용하여 상기 고객 객체의 성별 및 나이를 추정할 수 있다. 여기서, 상기 신체 특징값은 가슴유무, 골반형상, 머리형태(단발, 긴머리, 포니테일), 등의 굽은 각도, 키 및 상하체 비율이 포함될 수 있다.
우선, 고객 속성 판별부(23)는 제1신체 특징값(가슴유무, 골반형상, 머리형태(단발, 긴머리, 포니테일))에 따라 남성 및 여성을 구분할 수 있다. 구체적으로, 가슴이 있으면 여성, 골반이 크면 여성, 머리가 단발이면 여성으로 구분할 수 있다.
한편, 고객 속성 판별부(23)는 제2신체 특징값(등의 굽은 각도, 키 및 상하체 비율)에 따라 나이을 10대, 20대, 30대, 40대, 50대, 60대 및 70대로 구분할 수 있다.
구체적으로, 우선, 수직방향에 대하여 등의 굽은 각도가 20°이상이면 70대로 분류한다.
다음으로, 등의 굽은 각도가 20°미만인 고객 객체에 대해서 키가 150이하인 경우는 고객 객체에서 제외시킨다.
다음으로, 키에 대하여 하체 비율이 55% 이하인 경우 40대, 50대, 60대로 구분한다.
이렇게, 제2신체 특징값에 따라 고객 객체의 범위를 제외시키는(좁히는) 방식으로 고객 객체의 나이대를 용이하게 구분할 수 있게 된다.
고객 속성 판별부(23)는 상기 이미지 데이터와 함께 고객 객체의 성별, 나이대, 고객 객체의 성별 및 나이대 신뢰도(confidence)를 재학습부(24)로 전송할 수 있다. 이때, 고객 속성 판별부(23)는 고객 객체의 성별 및 나이대 신뢰도가 기설정된 신뢰도(A)보다 큰 값인 이미지 데이터만 재학습부(24)로 전송할 수 있다.
재학습부(24)는 고객 속성 판별부(23)로부터 전송된 상기 이미지 데이터를 상기 고객 객체의 성별 및 나이대를 기준으로 복수의 그룹으로 분류하여, 그룹별로 고객 객체들의 유사도를 판단한다(S50).
구체적으로, 성별(남/녀) 각각 10대, 20대, 30대, 40대, 50대, 60대, 70대로 14개의 그룹으로 분류된다. 재학습부(24)는 상기 14개의 그룹(M1, M2, M3, M4, M5, M6, M7, F1, F2, F3, F4, F5, F6, F7)에 대하여 그룹별로 고객 객체들의 유사도를 판단한다.
예를 들면, 도 7에 도시된 바와 같이, 재학습부(24)는 제1카메라로부터 전송된 제1이미지 데이터를 필터링 과정을 통해 M10(10대 남성), M20(20대 남성), M30(30대 남성), F30(30대 여성), F40(40대 여성), F50(50대 여성)으로 분류한다.
재학습부(24)는 제2카메라로부터 전송된 제2이미지 데이터를 필터링 과정을 통해 M10(10대 남성), M20(20대 남성), M30(30대 남성), F30(30대 여성), F40(40대 여성), F50(50대 여성)으로 분류한다.
재학습부(24)는 고객 객체의 성별-나이 계층별로 제1이미지 데이터 및 제2이미지 데이터를 비교함으로써 병렬연산을 통해 추론 속도를 향상시킬 수 있다.
재학습부(24)는 동일한 그룹의 고객 객체들의 신체 특징값이 유사한 경우 동일한 고객으로 판단하여 동일한 아이디(Person ID)를 부여할 수 있다. 여기서, 상기 신체 특징값은 가슴유무, 골반형상, 머리형태(단발, 긴머리, 포니테일), 등의 굽은 각도, 키 및 상하체 비율이 포함될 수 있다.
이렇게 그룹별로 고객 객체들의 유사도를 비교함으로써 1:N(전체)으로 비교하는 것보다 신속하게 동일한 고객을 탐지할 수 있게 된다. 재학습부(24)는 고객 객체의 아이디 및 상기 아이디에 대응되는 고객 객체의 탐지시간 정보를 데이터 분석부(25)로 전송할 수 있다.
데이터 분석부(25)는 재학습부(24)로부터 전송된 고객 객체의 아이디 및 상기 아이디에 대응되는 고객 객체의 탐지시간 정보를 이용하여 상기 고객 객체의 체류시간을 산출한다. 즉, 상기 아이디에 대응되는 고객 객체의 가장 빠른 탐지시간과 가장 늦은 탐지시간과의 차이를 계산하여 상기 체류시간을 산출한다.
통신부(25)는 무선 또는 유선 연결을 통해 신호를 송신 및 수신하기 위해 다양한 전자 회로로 구현되는 하드웨어 장치로서, 본 발명에서는 유무선 통신(예, LAN, WiFi)를 수행하여 정보들을 수집할 수 있다.
저장부(26)에는 미리 학습된 사람 객체에 대한 딥러닝 기반의 객체인식 학습결과가 저장된다. 저장부(26)에는 카메라(10)에서 입력된 입력 데이터(영상 정보, 이미지 데이터 등), 모델 학습을 위하여 이용되는 학습데이터 등이 저장될 수 있다.
따라서, 본 실시예에 따른 고객 객체 분석 시스템(1)은 영상에서 인식되는 객체들에 대한 고객 객체 인식 기능을 수행할 수 있다. 본 명세서에서는 학습 데이터를 이용하여 학습됨으로써 결정되는 인공 신경망을 학습 모델이라 부르기로 한다.
이하, 도 3을 참조하여, 본 실시 예에 따른 고객 객체 분석 방법을 설명한다.
우선, 사람 유무 판별부(21)는 고객 객체를 탐지하고 인식하도록 미리 설계된 학습 모델을 학습(training)한다. 사람 유무 판별부(21)는 이렇게 학습된 신경망을 기반으로 입력 영상 내 고객 객체를 탐지 및 인식한다.
다음으로, 카메라(10)는 고객 객체 인식 및 속성 판별에 필요한 분석대상공간에 대한 영상을 획득한다. 카메라(10)는 이렇게 획득한 영상 정보를 고객 객체 시스템(20)으로 전송한다(S10).
다음으로, 사람 유무 판별부(21)는 카메라(10)로부터 수신된 영상 정보를 프레임 단위의 이미지 데이터로 변환한다(S20). 이때, 상기 이미지 데이터는 탐지시간(촬영시간) 및 수치화된 픽셀값(예컨데, 기하학적인 텐서(tensor)값)을 포함할 수 있다. 이렇게 수치화된 픽셀값을 사용함으로써 얼굴 이미지를 사용하는 개인정보보호법 위반을 미연에 방지할 수 있게 된다.
다음으로, 사람 유무 판별부(21)는 카메라(10)로부터 전송된 입력 영상을 실시간으로 분석하여 사람을 탐지 및 인식한다(S30). 구체적으로, 사람 유무 판별부(21)는 상기 이미지 데이터를 인식 신경망에 사용 적합한 크기(예를 들면, 해상도 448 ⅹ 448)로 조정(resizing)한다. 사람 유무 판별부(21)는 학습된 신경망을 기반으로 상기 이미지 데이터로부터 고객 객체를 탐색하여 인식한다.
여기서, 사람 유무 판별부(21)는 신경망에 포함된 여러 개의 층(예: Convolution Layer, Max-pooling Layer 등)에서의 계산을 통해 검출 대상을 탐색한다. 사람 유무 판별부(21)는 검출 대상에 대하여 임계값(threshold)을 적용하여 최종 탐지결과를 생성 및 출력한다.
이때, 탐지결과는 관심영역(예를 들면, 이미지 데이터 상의 고객(사람) 감지 라인)의 위치정보 및 고객 객체의 신뢰도(confidence) 중 어느 하나 이상을 포함할 수 있다.
여기서, 관심영역의 위치정보는 고객 객체가 탐지된 영역에 대한 정보(예: 위치좌표, 영역의 폭과 높이)를 나타낸다. 고객 객체의 신뢰도는 고객 객체가 사람에 속할 확률을 나타낸다. 예를 들어, 객체가 존재하지 않는 경우 이상적인 신뢰도 값은 0이 된다. 사람 유무 판별부(21)는 상기 이미지 데이터와 함께 관심영역(예를 들면, 이미지 데이터 상의 고객(사람) 감지 라인)의 위치정보 및 고객 객체의 신뢰도(confidence)를 고객 속성 판별부(23)로 전송할 수 있다. 이때, 사람 유무 판별부(21)는 고객 객체의 신뢰도가 기설정된 신뢰도(N)보다 큰 값인 이미지 데이터만 고객 속성 판별부(23)로 전송할 수 있다.
다음으로, 고객 속성 판별부(23)는 상기 이미지 데이터로부터 고객 객체의 신체 특징값을 이용하여 상기 고객 객체의 성별 및 나이를 추정한다(S40). 여기서, 상기 신체 특징값은 가슴유무, 골반형상, 머리형태(단발, 긴머리, 포니테일), 등의 굽은 각도, 키 및 상하체 비율이 포함될 수 있다.
우선, 고객 속성 판별부(23)는 제1신체 특징값(가슴유무, 골반형상, 머리형태(단발, 긴머리, 포니테일))에 따라 남성 및 여성을 구분할 수 있다. 구체적으로, 가슴이 있으면 여성, 골반이 크면 여성, 머리가 단발이면 여성으로 구분할 수 있다.
한편, 고객 속성 판별부(23)는 제2신체 특징값(등의 굽은 각도, 키 및 상하체 비율)에 따라 나이을 10대, 20대, 30대, 40대, 50대, 60대 및 70대로 구분할 수 있다.
구체적으로, 우선, 수직방향에 대하여 등의 굽은 각도가 20°이상이면 70대로 분류한다.
다음으로, 등의 굽은 각도가 20°미만인 고객 객체에 대해서 키가 150이하인 경우는 고객 객체에서 제외시킨다.
다음으로, 키에 대하여 하체 비율이 55% 이하인 경우 40대, 50대, 60대로 구분한다.
이렇게, 제2신체 특징값에 따라 고객 객체의 범위를 제외시키는(좁히는) 방식으로 고객 객체의 나이대를 용이하게 구분할 수 있게 된다.
고객 속성 판별부(23)는 상기 이미지 데이터와 함께 고객 객체의 성별, 나이대, 고객 객체의 성별 및 나이대 신뢰도(confidence)를 재학습부(24)로 전송할 수 있다. 이때, 고객 속성 판별부(23)는 고객 객체의 성별 및 나이대 신뢰도가 기설정된 신뢰도(A)보다 큰 값인 이미지 데이터만 재학습부(24)로 전송할 수 있다.
다음으로, 재학습부(24)는 고객 속성 판별부(23)로부터 전송된 상기 이미지 데이터를 상기 고객 객체의 성별 및 나이대를 기준으로 복수의 그룹으로 분류하여, 그룹별로 고객 객체들의 유사도를 판단한다(S50).
구체적으로, 성별(남/녀) 각각 10대, 20대, 30대, 40대, 50대, 60대, 70대로 14개의 그룹으로 분류된다. 재학습부(24)는 상기 14개의 그룹(M1, M2, M3, M4, M5, M6, M7, F1, F2, F3, F4, F5, F6, F7)에 대하여 그룹별로 고객 객체들의 유사도를 판단한다.
예를 들면, 도 7에 도시된 바와 같이, 재학습부(24)는 제1카메라로부터 전송된 제1이미지 데이터를 필터링 과정을 통해 M10(10대 남성), M20(20대 남성), M30(30대 남성), F30(30대 여성), F40(40대 여성), F50(50대 여성)으로 분류한다.
재학습부(24)는 제2카메라로부터 전송된 제2이미지 데이터를 필터링 과정을 통해 M10(10대 남성), M20(20대 남성), M30(30대 남성), F30(30대 여성), F40(40대 여성), F50(50대 여성)으로 분류한다.
재학습부(24)는 고객 객체의 성별-나이 계층별로 제1이미지 데이터 및 제2이미지 데이터를 비교함으로써 병렬연산을 통해 추론 속도를 향상시킬 수 있다.
재학습부(24)는 동일한 그룹의 고객 객체들의 신체 특징값이 유사한 경우 동일한 고객으로 판단하여 동일한 아이디(Person ID)를 부여할 수 있다. 여기서, 상기 신체 특징값은 가슴유무, 골반형상, 머리형태(단발, 긴머리, 포니테일), 등의 굽은 각도, 키 및 상하체 비율이 포함될 수 있다.
이렇게 그룹별로 고객 객체들의 유사도를 비교함으로써 1:N(전체)으로 비교하는 것보다 신속하게 동일한 고객을 탐지할 수 있게 된다. 재학습부(24)는 고객 객체의 아이디 및 상기 아이디에 대응되는 고객 객체의 탐지시간 정보를 데이터 분석부(25)로 전송할 수 있다.
다음으로, 데이터 분석부(25)는 재학습부(24)로부터 전송된 고객 객체의 아이디 및 상기 아이디에 대응되는 고객 객체의 탐지시간 정보를 이용하여 상기 고객 객체의 체류시간을 산출한다(S60). 즉, 상기 아이디에 대응되는 고객 객체의 가장 빠른 탐지시간과 가장 늦은 탐지시간과의 차이를 계산하여 상기 체류시간을 산출한다.
결과적으로, 본 실시 예에 따른 고객 객체 분석 시스템 및 방법은 카메라를 통해 정면 이미지가 아니라 다양한 각도의 이미지가 취득되거나, 역광 또는 조명상태가 좋지 않아 어두운 이미지가 취득되는 등의 경우에도 고객의 나이 및 성별 정보를 정확하게 도출할 수 있으며, 나이 및 성별 정보에 따라 분류된 그룹 단위로 동일한 고객을 탐색하는 재학습 과정을 통해 보다 신속하게 고객의 속성을 판단할 수 있다.
본 발명을 바람직한 실시예들을 통하여 상세하게 설명하였으나, 이와 다른 형태의 실시예들도 가능하다. 그러므로, 이하에 기재된 청구항들의 기술적 사상과 범위는 바람직한 실시예들에 한정되지 않는다.
10: 카메라 10: 고객 객체 분석 시스템
30: 통신 네트워크 21: 사람 유무 판별부
22: 고객 속성 판별부 23: 재학습부
24: 데이터 분석부 25: 통신부
26: 저장부

Claims (10)

  1. 촬영시간이 포함된 이미지 데이터로부터 기학습된 학습모델에 의해 사람 객체를 탐지하는 사람 유무 판별부;
    상기 사람 유무 판별부에서 사람 객체가 탐지되면 상기 사람 객체의 신체 특징값을 이용하여 상기 사람 객체의 성별 및 나이를 추정하며, 상기 이미지 데이터와 함께 성별 및 나이를 출력하는 사람 속성 판별부;
    성별 및 나이대를 기준으로 복수의 영역을 구성하며, 사람 속성 판별부가 추정한 상기 사람 객체의 성별 및 나이에 해당되는 영역으로 상기 사람 객체를 배치하되, 동일한 영역 내의 사람 객체들 간의 유사도를 비교하여 유사한 경우 동일한 ID를 부여하는 재학습부; 및
    상기 ID에 해당되는 사람 객체의 촬영시간 정보를 이용하여 상기 사람 객체의 체류시간을 결정하는 데이터 분석부;를 포함하는, 고객 객체 분석 시스템.
  2. 청구항 1에 있어서,
    상기 사람 유무 판별부가 탐지하는 상기 사람 객체의 신뢰도는 기준신뢰도(N)보다 큰, 고객 객체 분석 시스템.
  3. 청구항 1에 있어서,
    상기 이미지 데이터는 수치화된 픽셀값이며, 상기 재학습부는 상기 픽셀값을 비교하여 상기 유사도를 판단하는, 고객 객체 분석 시스템.
  4. 청구항 1에 있어서,
    상기 사람 속성 판별부는,
    제1신체특징값에 따라 성별을 추정하고, 제2신체특징값에 따라 나이를 추정하되,
    상기 제1신체특징값은 가슴유무, 골반형상 및 머리형태 중 어느 하나 이상을 포함하며,
    상기 제2신체특징값은 등의 굽은 각도, 키 및 상하체 비율 중에 어느 하나 이상을 포함하는, 고객 객체 분석 시스템.
  5. 청구항 1에 있어서,
    상기 체류시간은, 상기 사람 객체의 가장 빠른 촬영시간과 가장 늦은 촬영시간과의 차이인, 고객 객체 분석 시스템.
  6. 촬영시간이 포함된 이미지 데이터로부터 기학습된 학습모델에 의해 사람 객체가 탐지되는 사람 탐지 단계;
    상기 사람 객체의 신체 특징값을 이용하여 상기 사람 객체의 성별 및 나이를 추정하여, 상기 이미지 데이터와 함께 성별 및 나이를 출력하는 사람 속성 판별단계;
    성별 및 나이대를 기준으로 복수의 영역을 구성하며, 사람 속성 판별부가 추정한 상기 사람 객체의 성별 및 나이에 해당되는 영역으로 상기 사람 객체를 배치하되, 동일한 영역 내의 사람 객체들 간의 유사도를 비교하여 유사한 경우 동일한 ID를 부여하는 재학습 단계; 및
    상기 ID에 해당되는 사람 객체의 촬영시간 정보를 이용하여 상기 사람 객체의 체류시간을 결정하는 데이터 분석단계;를 포함하는, 고객 객체 분석 방법.
  7. 청구항 6에 있어서,
    상기 사람 탐지 단계에서 탐지되는 상기 사람 객체의 신뢰도는 기준신뢰도(N)보다 큰, 고객 객체 분석 방법.
  8. 청구항 6에 있어서,
    상기 이미지 데이터는 수치화된 픽셀값이며, 상기 재학습 단계는 상기 픽셀값을 비교하여 상기 유사도를 판단하는, 고객 객체 분석 방법.
  9. 청구항 6에 있어서,
    상기 사람 속성 판별단계는 제1신체특징값에 따라 성별을 추정하고, 제2신체특징값에 따라 나이를 추정하는 단계이고,
    상기 제1신체특징값은 가슴유무, 골반형상 및 머리형태 중 어느 하나 이상을 포함하며,
    상기 제2신체특징값은 등의 굽은 각도, 키 및 상하체 비율 중에 어느 하나 이상을 포함하는, 고객 객체 분석 방법.
  10. 청구항 6에 있어서,
    상기 체류시간은, 상기 사람 객체의 가장 빠른 촬영시간과 가장 늦은 촬영시간과의 차이인, 고객 객체 분석 방법.
KR1020220014310A 2022-02-03 2022-02-03 고객 객체 분석 시스템 및 방법 KR20230117945A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220014310A KR20230117945A (ko) 2022-02-03 2022-02-03 고객 객체 분석 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220014310A KR20230117945A (ko) 2022-02-03 2022-02-03 고객 객체 분석 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230117945A true KR20230117945A (ko) 2023-08-10

Family

ID=87560845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220014310A KR20230117945A (ko) 2022-02-03 2022-02-03 고객 객체 분석 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20230117945A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117558457A (zh) * 2024-01-11 2024-02-13 合肥特斯塔信息科技有限公司 一种客户关系管理系统中客户画像分析方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200106796A (ko) 2019-03-05 2020-09-15 롯데정보통신 주식회사 실시간 영상에서 대상의 id를 부여하고 연령과 성별을 추정하는 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200106796A (ko) 2019-03-05 2020-09-15 롯데정보통신 주식회사 실시간 영상에서 대상의 id를 부여하고 연령과 성별을 추정하는 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117558457A (zh) * 2024-01-11 2024-02-13 合肥特斯塔信息科技有限公司 一种客户关系管理系统中客户画像分析方法
CN117558457B (zh) * 2024-01-11 2024-03-26 合肥特斯塔信息科技有限公司 一种客户关系管理系统中客户画像分析方法

Similar Documents

Publication Publication Date Title
CN109902573B (zh) 面向矿井下视频监控的多摄像机无标注行人重识别方法
JP7132387B2 (ja) 画像処理装置、画像処理方法およびプログラム
US7881524B2 (en) Information processing apparatus and information processing method
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
Hasan et al. Fingerprint image enhancement and recognition algorithms: a survey
KR100944247B1 (ko) 얼굴 인식 방법 및 시스템
KR101433472B1 (ko) 상황 인식 기반의 객체 검출, 인식 및 추적 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR102189405B1 (ko) 실시간 영상에서 안면을 인식하는 시스템
CN109492588A (zh) 一种基于人工智能的快速车辆检测与分类方法
CN111738120B (zh) 人物识别方法、装置、电子设备及存储介质
JP2020119154A (ja) 情報処理装置、情報処理方法、及びプログラム
Linda et al. Color-mapped contour gait image for cross-view gait recognition using deep convolutional neural network
KR20230117945A (ko) 고객 객체 분석 시스템 및 방법
Hsiao et al. EfficientNet based iris biometric recognition methods with pupil positioning by U-net
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
Varga et al. Person re-identification based on deep multi-instance learning
Alsaedi et al. Design and Simulation of Smart Parking System Using Image Segmentation and CNN
Abayomi-Alli et al. Facial image quality assessment using an ensemble of pre-trained deep learning models (EFQnet)
Yoo et al. Deep Learning-Based Action Classification Using One-Shot Object Detection.
Ranganayaki et al. Machine Learning Approaches on Pedestrian Detection in an autonomous vehicle
KR20230077560A (ko) 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법
Chen Design and simulation of AI remote terminal user identity recognition system based on reinforcement learning
Tarek et al. Eye Detection-Based Deep Belief Neural Networks and Speeded-Up Robust Feature Algorithm.
Jiashu Performance analysis of facial recognition: A critical review through glass factor
Devi et al. Deep learn helmets-enhancing security at ATMs