KR101785427B1 - 고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법 - Google Patents

고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법 Download PDF

Info

Publication number
KR101785427B1
KR101785427B1 KR1020160065875A KR20160065875A KR101785427B1 KR 101785427 B1 KR101785427 B1 KR 101785427B1 KR 1020160065875 A KR1020160065875 A KR 1020160065875A KR 20160065875 A KR20160065875 A KR 20160065875A KR 101785427 B1 KR101785427 B1 KR 101785427B1
Authority
KR
South Korea
Prior art keywords
customer
facial
pattern information
neural network
image
Prior art date
Application number
KR1020160065875A
Other languages
English (en)
Inventor
노규남
Original Assignee
(주)가비아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)가비아 filed Critical (주)가비아
Priority to KR1020160065875A priority Critical patent/KR101785427B1/ko
Application granted granted Critical
Publication of KR101785427B1 publication Critical patent/KR101785427B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N5/335—

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 고객의 안면이미지로부터 추출된 고객 특성에 근거하여 고객별 최적화된 서비스를 제공하는 고객 안면이미지에 근거한 고객 관리 시스템 및 방법에 관한 것으로, 본 발명의 고객 관리 시스템은 촬영을 통해 고객의 안면이미지를 획득하는 이미지 획득장치와, 고객을 대면하는 직원이 소지한 직원 단말, 통신망을 통해 이미지 획득장치로부터 촬영된 안면이미지를 수신하고 신경망 엔진을 이용하여 안면이미지로부터 얼굴 특징(feature)을 추출한 후 추출된 얼굴 특징에 적합한 고객패턴정보를 분석하며, 분석된 고객패턴정보를 직원 단말에게 전송하여 고객별 차별화된 서비스를 제공하는 고객 분석 서버를 포함한다.

Description

고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법{CUSTOMER MANAGEMENT SYSTEM AND METHOD BASED ON FEATURES EXTRACTED FROM FACIAL IMAGE OF CUSTOMER BY NEURAL NETWORK}
본 발명은 신경망을 이용하여 고객의 안면이미지로부터 추출된 고객 특성에 근거하여 개별 고객에게 최적화된 서비스를 제공하는 고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법에 관한 것이다.
식당이나 커피숍, 영화관, 서비스센터, 의류 매장 등 고객을 대면하여 응대하는 상황에서, 직원은 고객의 외형을 보고 성별, 연령대, 표정 등 다양한 특성을 직관적이고 순간적으로 파악한다.
그런데, 해당 업종에 숙련되고 경험과 지식이 풍부한 직원이라면 고객의 특성에 맞는 적절한 서비스를 제공할 수 있지만, 해당 업종에 경험과 지식이 부족한 직원이라면 고객마다 차별화된 서비스의 제공을 기대하기는 어렵다. 모든 고객에게 대하여 거의 유사하게 응대할 수밖에 없다. 이로 인해 고객의 체감 만족도는 낮아지게 된다.
이러한 이유로 대부분의 업종에서는 숙련된 직원을 채용하여 고객 만족 서비스를 높이려고 하고 있으나, 숙련된 직원을 수급하기가 쉽지 않은 문제점이 있다.
따라서, 본 출원인은 이러한 어려움을 기술적으로 해소하기 위해 본 발명을 제안하게 되었으며, 이와 관련된 선행기술문헌으로는 한국등록특허 제10-0826878호(발명의 명칭: 손 모양을 인식하는 방법 및 이를 위한 장치, 등록일: 2008.04.25.)가 있다.
본 발명은 고객을 대면하여 응대하는 상황에서 고객의 안면이미지를 인식하여 얼굴의 특징을 추출하고 기존에 축적된 고객 자료와 대조하여 추출된 얼굴 특징에 적합한 고객 패턴 정보를 분석함으로써 고객별 최적화된 서비스를 제공하는 데 그 목적이 있다.
더 나아가, 본 발명의 다른 목적은 제공하려는 서비스와 상품의 종류가 복잡하고 자주 변경되는 상황에서 개별 고객에 맞는 서비스 또는 재화를 정확하고도 빠르게 제공할 수 있는 방법을 제공하고자 한다.
상기 과제를 달성하기 위한 본 발명의 고객의 안면이미지에 근거한 고객 관리 시스템은, 촬영을 통해 고객의 안면이미지를 획득하는 이미지 획득장치; 상기 고객을 대면하는 직원이 소지한 직원 단말; 통신망을 통해 상기 이미지 획득장치로부터 촬영된 안면이미지를 수신하고 신경망 엔진을 이용하여 상기 안면이미지로부터 얼굴 특징(feature)을 추출한 후 추출된 얼굴 특징에 적합한 고객패턴정보를 분석하며, 분석된 상기 고객패턴정보를 상기 직원 단말에게 전송하여 고객별 차별화된 서비스를 제공하는 고객 분석 서버;를 포함한다.
상기 고객 분석 서버는, 상기 직원 단말로 전송한 상기 고객패턴정보에 대하여 고객의 반응을 반영한 학습 피드백 정보를 수신하고, 수신된 학습 피드백 정보를 상기 신경망 엔진에 전달하여 지도 학습(supervised learning)을 수행하도록 한다.
상기 직원 단말은, 상기 고객 분석 서버로부터 전송받은 고객패턴정보에 대하여 해당 고객과 맞으면 성공, 맞지 않으면 실패, 보류하려면 보류 관련 피드백 정보를 선택하고, 상기 고객 분석 서버의 신경망 엔진은, 상기 직원 단말이 선택한 상기 성공, 실패, 보류 중 적어도 하나의 피드백 정보를 수신하고 실시간 또는 일괄적으로 지도 학습과정을 수행한다.
또한, 상기 신경망 엔진은, 상기 안면이미지에 포함된 얼굴 형상으로부터 성별, 연령대, 표정을 포함한 얼굴 특징을 추출하는 특징 추출부; 상기 얼굴 특징을 갖는 고객들이 주로 선택한 서비스 또는 상품에 대하여 상기 신경망 엔진을 통해 학습시킨 고객패턴정보를 반영한 패턴정보 신경망; 상기 패턴정보 신경망에 이미 학습시킨 고객 자료에 기초하여 상기 특징 추출부를 통해 추출된 얼굴 특징에 적합한 고객패턴정보를 추정하는 고객 패턴 분석부;를 포함한다.
한편, 본 발명의 고객의 안면이미지에 근거한 고객 관리 방법은, 이미지 획득장치가 촬영을 통해 고객의 안면이미지를 획득하는 단계; 고객 분석 서버가 통신망을 통해 상기 이미지 획득장치로부터 촬영된 안면이미지를 수신하는 단계; 상기 고객 분석 서버가 신경망 엔진을 이용하여 상기 안면이미지로부터 얼굴 특징(feature)을 추출한 후 이미 학습시킨 고객 자료에 기초하여 추출된 얼굴 특징에 적합한 고객패턴정보를 분석하는 단계; 상기 고객 분석 서버가 분석된 상기 고객패턴정보를 직원 단말에게 전송하여 고객별 차별화된 서비스를 제공하는 단계;를 포함한다.
본 발명에 따르면, 고객의 안면화상으로부터 추출된 특징에 근거하여 개별 고객의 성향에 맞는 맞춤 서비스를 해당 고객에게 추천해 줌으로써 고객마다 차별화된 서비스를 제공할 수 있고, 해당 업종에 숙련되지 않은 직원들에게도 적극적인 고객 응대가 가능하도록 지원해 주는 효과가 있다. 이로 인해 고객으로 하여금 서비스의 만족도를 높일 수 있다.
나아가 서비스와 상품의 종류가 복잡하고 자주 변경되는 상황에서 개별 고객에 최적화된 서비스나 재화를 정확하고도 빠르게 제공할 수 있다.
또한, 본 발명은 해당 고객에게 추천한 맞춤 서비스에 대하여 성공 또는 실패인지 등에 대한 고객의 반응이 반영된 피드백 정보를 수신하여 고객의 패턴을 분석하는 신경망 엔진을 다시 지도 학습시킴으로써 신경망 엔진의 정확도를 향상시키는 효과가 있다.
도 1은 본 발명의 실시예에 따른 고객 안면이미지에 근거한 고객 관리 시스템의 네트워크 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 시스템에 적용되는 이미지 획득장치를 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 시스템에 적용되는 고객 분석 서버를 나타낸 구성도이다.
도 4는 본 발명의 실시예에 따른 고객 안면이미지에 근거한 고객 관리 방법을 설명하기 위해 나타낸 흐름도이다.
도 5는 본 발명의 실시예에 따른 고객 안면이미지에 근거한 고객 관리 방법을 구현하기 위해 신경망 학습 과정을 설명하는 흐름도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 고객 안면이미지에 근거한 고객 관리 시스템의 네트워크 구성을 나타낸 도면이다.
본 발명의 실시예에 따른 고객 안면이미지에 근거한 고객 관리 시스템은 이미지 획득장치(100), 고객 분석 서버(200), 직원 단말(300)을 포함한다.
이미지 획득장치(100)는 고객을 대면하는 공간에 설치되어 고객의 안면을 촬영하고, 촬영을 통해 고객의 안면이미지를 획득한다. 예컨대, 이미지 획득장치(100)는 매장의 입구, 고객이 착석하는 테이블 또는 좌석 인근에 설치되어 식당이나 커피숍, 영화관, 서비스 센터, 의류 매장 등에 활용할 수 있다. 특히 의류 매장의 경우 전신 거울에 설치되어 고객별 적합한 의류 스타일을 제안해 주는 데 활용할 수 있다.
도 2에 나타낸 것처럼, 이미지 획득장치(100)는 촬상 장치(110), 이미지 처리부(120), 통신부(130)를 포함하여 구현될 수 있다. 여기서, 이미지 처리부(120) 및 통신부(130)를 촬상 장치(110)와 하나의 장치에 탑재되어 구현될 수 있지만, 유무선 통신 연결에 의해 촬상 장치(110)와 별개의 장치로 구현될 수도 있다. 이때, 이미지 처리부(120)는 통신부(130)를 통해 촬상 장치(110)와 연결될 수도 있다.
촬상 장치(110)는 고객의 안면을 촬영한다. 촬상 장치(110)는 카메라, CCTV, 캠코더, 웹캠 등을 포함한다.
이미지 처리부(120)는 촬상 장치(110)로부터 촬영된 고객의 안면이미지를 획득하고 안면이미지를 통신부(130)를 통해 고객 분석 서버(도 1의 200)로 전송한다.
또한, 이미지 처리부(120)는 고객 분석 서버(도 1의 200)가 제공하는 고객패턴정보를 수신하여 통신부(130)를 통해 직원 단말(도 1의 300)로 전송할 수 있다. 이는 직원 단말(도 1의 300)이 이미지 획득장치(100)와 연결되는 경우이며 이에 대해서는 하기에서 자세히 설명한다.
다시 도 1을 참조하면, 직원 단말(300)은 고객을 대면하는 직원이 소지한 단말로서, 고객을 대면하는 공간에 설치되거나 휴대용 단말을 이용할 수 있다.
직원 단말(300)은 스마트 폰, PDA, 태블릿, PC, 노트북, 표시장치 등을 포함하며 정보를 표시할 수 있는 장치라면 그 종류에 관계없이 적용 가능하다.
휴대용 단말의 경우, 직원 단말(300)은 통신망을 통해 고객 분석 서버(200)와 연계된다. 또는, 고객을 대면하는 공간에 설치되는 경우, 직원 단말(300)은 통신망을 통해 고객 분석 서버(200)와 연결될 수 있지만, 이미지 획득장치(100)와 연결될 수도 있다.
이러한 직원 단말(300)은 해당 고객에 대하여 고객 분석 서버(200)에서 분석한 고객패턴정보를 제공받아 화면에 표시함으로써 고객을 대면하는 직원 또는 해당 고객이 고객의 특성에 맞는 정보를 실시간 확인할 수 있도록 한다. 이를 확인한 직원은 고객을 능동적으로 응대할 수 있다.
또한, 직원 단말(300)은 고객 분석 서버(200)로부터 제공받은 고객패턴정보에 대하여 해당 고객과 맞으면 성공, 맞지 않으면 실패, 또는 보류하려면 보류 관련 피드백 정보를 선택하여 고객의 반응을 수집한다.
고객 분석 서버(200)는 통신망을 통해 이미지 획득장치(100)로부터 촬영된 안면이미지를 수신하고, 수신된 안면이미지로부터 미리 지정된 얼굴 특징(feature; 성별, 연령대, 표정 등)을 추출한다. 또한, 고객 분석 서버(200)는 미리 학습시킨 고객 자료에 기초하여 추출된 얼굴 특징에 적합한 고객패턴정보를 분석한 후, 분석된 고객패턴정보를 직원 단말(300)에게 전송하여 고객별 차별된 서비스를 제공한다.
여기서, 직원 단말(300)에게 전송하는 방법으로는 앞서 설명한 바와 같이 통신망을 통해 직원 단말(300)에게 직접 송신이 가능하며 경우에 따라 이미지 획득장치(100)를 통해 전송하는 것도 가능하다.
본 발명의 실시예에서, 고객 분석 서버(200)는 해당 업종과 관련하여 구축된 신경망 엔진을 적용할 수 있다. 즉, 신경망 엔진은 인간의 뇌 구조를 모델로 학습과정을 수행하는 알고리즘을 기반으로 하되, 미리 정의된 서비스나 상품, 할인제도 등에서 안면이미지로부터 추출되는 얼굴 특징을 갖는 고객들이 가장 많이 선택하는 확률을 미리 학습시키는 학습과정을 지속적으로 수행한다.
따라서, 신경망 엔진은 고객의 안면이미지가 입력 데이터로 입력되면 안면이미지로부터 추출되는 얼굴 특징에 대하여 추정되는 고객패턴정보가 출력으로 나오게 된다. 예를 들어, 해당 고객의 성별, 연령대, 표정 등의 얼굴 특징을 획득하고 이 특징을 미리 학습시켜 놓은 고객의 서비스 내역과 대조하여 유사한 특징을 가진 고객들이 많이 선택하는 서비스나 상품, 할인제도 등을 알아내게 된다.
이렇게 추출된 고객패턴정보는 직원 단말(300)로 전송하여 직원이나 해당 고객이 정보를 확인할 수 있게 된다.
이때, 해당 고객 또는 직원이 확인하고, 직원 단말(300)을 통해 제공받은 고객패턴정보에 대하여 고객의 반응이 입력되면 입력된 정보가 고객 분석 서버(200)로 보내진다.
이에 따라, 고객 분석 서버(200)는 직원 단말(300)로 전송한 고객패턴정보에 대하여 고객의 반응을 반영한 피드백 정보를 수신하고 학습할 정보로 수집한다. 그리고, 학습할 피드백 정보를 실시간 또는 일괄적으로 신경망 엔진에 전달하여 지도 학습(supervised learning)을 수행하도록 한다. 이러한 학습 과정을 통해 신경망 엔진의 정확도 및 신뢰성은 높아진다.
도 3은 본 발명의 실시예에 따른 시스템에 적용되는 고객 분석 서버를 나타낸 구성도이다.
본 발명의 실시예에 따른 고객 분석 서버(200)는 특징 추출부(210), 고객 패턴 분석부(220), 얼굴특징 신경망(230), 패턴정보 신경망(240), 학습정보 수신부(250), 신경망 학습장치(260)를 포함한다.
특징 추출부(210) 및 고객 패턴 분석부(220)는 신경망 엔진을 통해 수행되며, 신경망 엔진을 통해 지도 학습시키는 데이터는 얼굴특징 신경망(230) 및 패턴정보 신경망(240)에 반영된다.
얼굴특징 신경망(230)은 얼굴 형상 이미지를 입력으로 받아 그에 따른 특징(성별, 연령대, 표정 등)을 학습하고 출력하는 신경망이다.
패턴정보 신경망(240)은 얼굴 특징을 갖는 고객들이 주로 선택한 서비스 또는 상품에 대한 고객패턴정보를 학습하고 출력하는 신경망이다.
특징 추출부(210)는 얼굴특징 신경망(230)에 학습된 데이터를 기초하여 고객의 안면이미지에 포함된 얼굴 형상으로부터 성별, 연령대, 표정을 포함한 얼굴 특징을 추출한다. 안면이미지에 포함된 얼굴 형상은 이미지 인식을 통해 추출할 수 있다.
고객 패턴 분석부(220)는 패턴정보 신경망(240)에 이미 학습시킨 고객 자료로부터 특징 추출부(210)를 통해 추출된 얼굴 특징에 적합한 고객패턴정보를 추정하여 선택한다. 그리고, 선택된 고객패턴정보를 해당 직원 단말로 제공한다.
학습정보 수신부(250)는 직원 단말로 제공한 고객패턴정보에 대하여 직원 단말로부터 성공, 실패, 보류 중 학습할 적어도 하나의 피드백 정보를 수신한다.
신경망 학습장치(260)는 학습정보 수신부(250)를 통해 수신된 피드백 정보에 기초하여 신경망 엔진을 실시간 또는 일괄적으로 지도 학습과정을 수행한다.
예컨대, 직원 단말이 성공 또는 실패 피드백 정보를 선택한 경우 신경망 학습장치(260)는 실시간으로 신경망을 학습하여 더욱 정확해지며, 보류의 피드백 정보를 선택하면 신경망 학습장치(260)가 수집해 두었다가 일정 기간마다 관리자가 일괄적으로 지도학습을 시킬 수 있다.
삭제
도 4는 본 발명의 실시예에 따른 고객 안면이미지에 근거한 고객 관리 방법을 설명하기 위해 나타낸 흐름도이고, 도 5는 본 발명의 실시예에 따른 고객 안면이미지에 근거한 고객 관리 방법을 구현하기 위해 신경망 학습 과정을 설명하는 흐름도이다.
먼저 도 4를 참조하면, S100 단계에서, 이미지 획득장치(100)가 고객을 촬영하고 촬영을 통해 고객의 안면이미지를 획득한다.
S110 단계에서, 이미지 획득장치(100)가 획득한 안면이미지를 통신망을 통해 고객 분석 서버(200)로 전송한다. 이에 따라, 고객 분석 서버(200)는 이미지 획득장치(100)로부터 촬영된 안면이미지를 수신한다.
다음 S120 및 S130 단계에서, 고객 분석 서버(200)가 신경망 엔진을 이용하여 안면이미지로부터 얼굴 특징(feature)을 추출한 후 이미 학습시킨 고객 자료로부터 추출된 얼굴 특징에 적합한 고객패턴정보를 분석한다.
예를 들어, 안면이미지에 포함된 얼굴 형상으로부터 성별, 연령대, 표정 등의 얼굴 특징을 추출하고, 해당 얼굴 특징을 갖는 고객들이 주로 선택한 서비스, 상품, 또는 할인제도를 추정한다.
다음 S140 단계에서, 고객 분석 서버(200)가 분석된 고객패턴정보를 직원 단말(300)에게 전송하여 고객별 차별화된 서비스를 제공한다.
이러한 과정을 통해 고객을 대면하는 직원 또는 해당 고객이 직원 단말(300)을 통해 고객패턴정보를 확인하고 이에 대한 피드백 정보를 입력한다. 피드백 정보는 간단하게 성공, 실패, 보류를 포함하는데, 성공 및 실패는 고객패턴정보가 해당 고객과 맞는지 아닌지에 대한 고객의 반응이 반영된 것이고, 성공과 실패의 구분이 모호하거나 애매할 때 보류를 선택할 수 있다.
다음 도 5의 S150 단계에서, 고객 분석 서버(200)가 직원 단말(300)로부터 고객의 반응이 반영된 피드백 정보를 수신한다.
다음 S160 단계에서, 고객 분석 서버가 신경망 학습장치를 통해 피드백 정보를 실시간 또는 일괄적으로 지도 학습시킨다.
마지막으로 S170 단계에서, 고객 분석 서버가 학습시킨 정보를 데이터베이스에 반영하여 갱신한다.
이러한 과정을 거쳐 신경망은 실시간으로 학습하여 보다 정확한 고객패턴정보를 추천할 수 있게 된다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석 되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
100: 이미지 획득장치 200: 고객 분석 서버
300: 직원 단말 110: 촬상 장치
120: 이미지 처리부 130: 통신부
210: 특징 추출부 220: 고객 패턴 분석부
230: 얼굴특징 신경망 240: 패턴정보 신경망
250: 학습정보 수신부 260: 신경망 학습장치

Claims (5)

  1. 촬영을 통해 고객의 안면이미지를 획득하는 이미지 획득장치;
    상기 고객을 대면하는 직원이 소지한 직원 단말;
    통신망을 통해 상기 이미지 획득장치로부터 촬영된 안면이미지를 수신하고 신경망 엔진을 이용하여 상기 안면이미지로부터 얼굴 특징(feature)을 추출한 후 추출된 얼굴 특징에 적합한 고객패턴정보를 분석하며, 분석된 상기 고객패턴정보를 상기 직원 단말에게 전송하여 고객별 차별화된 서비스를 제공하는 고객 분석 서버;
    를 포함하고,
    상기 고객 분석 서버는,
    상기 직원 단말로 전송한 상기 고객패턴정보에 대하여 고객의 반응을 반영한 학습 피드백 정보를 수신하고, 수신된 학습 피드백 정보를 상기 신경망 엔진에 전달하여 지도 학습(supervised learning)을 수행하도록 하고,
    상기 직원 단말은,
    상기 고객 분석 서버로부터 전송받은 고객패턴정보에 대하여 해당 고객과 맞으면 성공, 맞지 않으면 실패, 보류하려면 보류 관련 피드백 정보를 선택하고,
    상기 고객 분석 서버의 신경망 엔진은,
    상기 얼굴 특징을 미리 학습시켜 놓은 고객의 서비스 내역과 대조하여 유사한 얼굴 특징을 가진 고객들이 선택하는 서비스나 상품, 할인제도 중 적어도 하나를 포함하는 고객패턴정보를 추정하며, 상기 직원 단말이 선택한 상기 성공, 실패, 보류 중 적어도 하나의 피드백 정보를 수신하고 실시간 또는 일괄적으로 지도 학습과정을 수행하는 것을 특징으로 하는 고객의 안면이미지에 근거한 고객 관리 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 신경망 엔진은,
    상기 안면이미지에 포함된 얼굴 형상으로부터 성별, 연령대, 표정을 포함한 얼굴 특징을 추출하는 특징 추출부;
    상기 얼굴 특징을 갖는 고객들이 주로 선택한 서비스 또는 상품에 대하여 상기 신경망 엔진을 통해 학습시킨 고객패턴정보를 반영한 패턴정보 신경망;
    상기 패턴정보 신경망에 이미 학습시킨 고객 자료에 기초하여 상기 특징 추출부를 통해 추출된 얼굴 특징에 적합한 고객패턴정보를 추정하는 고객 패턴 분석부;
    를 포함하는 것을 특징으로 하는 고객의 안면이미지에 근거한 고객 관리 시스템.
  5. 이미지 획득장치가 촬영을 통해 고객의 안면이미지를 획득하는 단계;
    고객 분석 서버가 통신망을 통해 상기 이미지 획득장치로부터 촬영된 안면이미지를 수신하는 단계;
    상기 고객 분석 서버가 신경망 엔진을 이용하여 상기 안면이미지로부터 얼굴 특징(feature)을 추출한 후 이미 학습시킨 고객 자료에 기초하여 추출된 얼굴 특징에 적합한 고객패턴정보를 분석하는 단계;
    상기 고객 분석 서버가 분석된 상기 고객패턴정보를 직원 단말에게 전송하여 고객별 차별화된 서비스를 제공하는 단계;
    를 포함하고,
    상기 고객 분석 서버는,
    상기 직원 단말로 전송한 상기 고객패턴정보에 대하여 고객의 반응을 반영한 학습 피드백 정보를 수신하고, 수신된 학습 피드백 정보를 상기 신경망 엔진에 전달하여 지도 학습(supervised learning)을 수행하도록 하고,
    상기 직원 단말은,
    상기 고객 분석 서버로부터 전송받은 고객패턴정보에 대하여 해당 고객과 맞으면 성공, 맞지 않으면 실패, 보류하려면 보류 관련 피드백 정보를 선택하고,
    상기 고객 분석 서버의 신경망 엔진은,
    상기 얼굴 특징을 미리 학습시켜 놓은 고객의 서비스 내역과 대조하여 유사한 얼굴 특징을 가진 고객들이 선택하는 서비스나 상품, 할인제도 중 적어도 하나를 포함하는 고객패턴정보를 추정하며, 상기 직원 단말이 선택한 상기 성공, 실패, 보류 중 적어도 하나의 피드백 정보를 수신하고 실시간 또는 일괄적으로 지도 학습과정을 수행하는 것을 특징으로 하는 고객의 안면이미지에 근거한 고객 관리 방법.
KR1020160065875A 2016-05-27 2016-05-27 고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법 KR101785427B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160065875A KR101785427B1 (ko) 2016-05-27 2016-05-27 고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160065875A KR101785427B1 (ko) 2016-05-27 2016-05-27 고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101785427B1 true KR101785427B1 (ko) 2017-10-13

Family

ID=60139638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160065875A KR101785427B1 (ko) 2016-05-27 2016-05-27 고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101785427B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415875A (zh) * 2018-02-01 2018-08-17 深圳奥比中光科技有限公司 深度成像移动终端及人脸识别应用的方法
KR20200021693A (ko) 2018-08-21 2020-03-02 유한회사 하존솔루션 안면 인식을 사용한 샵앤샵 고객 관리 시스템 및 방법
KR20200128927A (ko) * 2019-05-07 2020-11-17 주식회사 엘토브 O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법
CN114037201A (zh) * 2021-09-29 2022-02-11 国家电网有限公司 一种营业厅服务效能评估方法及系统
KR20220019459A (ko) * 2020-08-10 2022-02-17 주식회사 나투 인공지능 기반 의료관광 서비스 제공 시스템 및 방법
KR102503637B1 (ko) * 2022-06-08 2023-02-24 이성미 Erp 통합관리 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236066A (ja) * 2005-02-25 2006-09-07 Nec Corp 会員認証システムとサーバ、携帯端末、情報確認端末、会員認証方法とプログラム及びプログラム記録媒体
JP2008262435A (ja) * 2007-04-13 2008-10-30 Hitachi Ltd 顔認証、及び顧客状況情報を利用した営業支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236066A (ja) * 2005-02-25 2006-09-07 Nec Corp 会員認証システムとサーバ、携帯端末、情報確認端末、会員認証方法とプログラム及びプログラム記録媒体
JP2008262435A (ja) * 2007-04-13 2008-10-30 Hitachi Ltd 顔認証、及び顧客状況情報を利用した営業支援システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415875A (zh) * 2018-02-01 2018-08-17 深圳奥比中光科技有限公司 深度成像移动终端及人脸识别应用的方法
KR20200021693A (ko) 2018-08-21 2020-03-02 유한회사 하존솔루션 안면 인식을 사용한 샵앤샵 고객 관리 시스템 및 방법
KR20200128927A (ko) * 2019-05-07 2020-11-17 주식회사 엘토브 O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법
KR102374861B1 (ko) * 2019-05-07 2022-03-17 주식회사 엘토브 O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법
KR20220019459A (ko) * 2020-08-10 2022-02-17 주식회사 나투 인공지능 기반 의료관광 서비스 제공 시스템 및 방법
WO2022035087A1 (ko) * 2020-08-10 2022-02-17 주식회사 나투 인공지능 기반 의료관광 서비스 제공 시스템 및 방법
KR102567862B1 (ko) * 2020-08-10 2023-08-17 주식회사 나투 인공지능 기반 의료관광 서비스 제공 시스템 및 방법
CN114037201A (zh) * 2021-09-29 2022-02-11 国家电网有限公司 一种营业厅服务效能评估方法及系统
KR102503637B1 (ko) * 2022-06-08 2023-02-24 이성미 Erp 통합관리 시스템

Similar Documents

Publication Publication Date Title
KR101785427B1 (ko) 고객 안면이미지로부터 신경망으로 추출한 특성에 근거한 고객 관리 시스템 및 방법
US11036991B2 (en) Information display method, device, and system
US10360599B2 (en) Tracking of members within a group
JP5780348B1 (ja) 情報提示プログラム及び情報処理装置
US11023713B2 (en) Suspiciousness degree estimation model generation device
US20200387866A1 (en) Environment tracking
CN110991249A (zh) 人脸检测方法、装置、电子设备及介质
US10891561B2 (en) Image processing for item recognition
US20190042836A1 (en) Facilitating monitoring of users
CN111178124A (zh) 一种婚恋交友系统及其数据处理方法
CN109074498A (zh) 用于pos区域的访问者跟踪方法和系统
US11854068B2 (en) Frictionless inquiry processing
US12094130B2 (en) Systems and methods for detecting and tracking humans in captured images
KR20160149185A (ko) 통합 영상 검색 시스템 및 그 서비스 방법
EP3570207A1 (en) Video cookies
CN112685533A (zh) 销售员推荐方法和装置、电子设备、存储介质
CN108256729B (zh) 评价方法、装置、电子设备及计算机可读存储介质
JP2020166590A (ja) 監視システム、監視装置、監視方法および監視プログラム
JP2012049774A (ja) 映像監視装置
US11763366B1 (en) Automatic initialization of customer assistance based on computer vision analysis
US20220284324A1 (en) Methods and systems for identifying and generating images of faces attractive to many people
KR102432992B1 (ko) 인식 기술을 활용한 맞춤형 정보 제공 방법 및 서버
CN108764033A (zh) 身份验证方法和装置、电子设备、计算机程序和存储介质
CN111382408A (zh) 智能化用户识别方法、装置及计算机可读存储介质
JP2016045743A (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant