KR20190113245A - 안면 정보를 이용한 서비스 방법 - Google Patents

안면 정보를 이용한 서비스 방법 Download PDF

Info

Publication number
KR20190113245A
KR20190113245A KR1020180035668A KR20180035668A KR20190113245A KR 20190113245 A KR20190113245 A KR 20190113245A KR 1020180035668 A KR1020180035668 A KR 1020180035668A KR 20180035668 A KR20180035668 A KR 20180035668A KR 20190113245 A KR20190113245 A KR 20190113245A
Authority
KR
South Korea
Prior art keywords
user
store
service server
service
information
Prior art date
Application number
KR1020180035668A
Other languages
English (en)
Inventor
손수정
봉재원
Original Assignee
손수정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 손수정 filed Critical 손수정
Priority to KR1020180035668A priority Critical patent/KR20190113245A/ko
Publication of KR20190113245A publication Critical patent/KR20190113245A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 목적은, 매장을 방문한 사용자의 안면을 인식하며, 인식된 사용자별로 다양한 서비스를 제공할 수 있는 안면 정보를 이용한 서비스 방법을 제공하는 것이다. 이를 위해, 본 발명에 따른 안면 정보를 이용하 서비스 방법은, 사용자가 매장에 입장하면, 상기 서비스 서버가 상기 매장에 장착된 카메라로부터 전송된 상기 사용자의 얼굴 이미지를 이용해 상기 사용자의 안면을 인식하여, 상기 사용자의 매장 방문 이력을 추출하며, 인식된 상기 안면을 분석하여 상기 사용자의 감정 상태를 판단하는 단계; 상기 서비스 서버가 상기 사용자의 안면 인식 정보 또는 상기 감정 상태를 이용하여 상기 사용자에게 매장내 서비스를 제공하는 단계; 상기 사용자가 이용한 매장내 서비스에 따라 상기 매장 방문 이력을 수정하는 단계; 상기 매장 방문 이력을 이용하여, 상기 서비스 서버가 상기 매장을 벗어난 사용자에게 광고 서비스를 제공하는 단계; 및 상기 서비스 서버가, 각 사용자별로 안면을 인식하여 추출한 각 사용자들의 매장 방문 이력들 또는 사용자들의 감정 상태들 중 적어도 하나를 이용하여, 상기 매장을 방문한 사용자들에 대한 통계 정보를 관리자에게 제공하는 단계를 포함한다.

Description

안면 정보를 이용한 서비스 방법{METHOD OF PROVIDING A SERVICE USING A FACE INFORMATION}
본 발명은 쇼핑몰, 마트, 백화점 등과 같은 매장을 방문한 사용자에게 다양한 서비스를 제공하는 방법에 관한 것이다.
최근에는 온라인을 이용한 마케팅 방법이 증가하고 있지만, 쇼핑몰, 마트, 백화점 등과 같은 매장을 직접 방문하여 상품을 구매하는 사용자들도 많다.
각 매장의 관리자는 보다 많은 사용자들이 매장을 방문하여 보다 많은 상품을 구매할 수 있도록, 온라인 또는 오프라인 상에서 다양한 홍보 및 행사를 하고 있다.
또한, 각 매장은 회원 카드를 발행하고 있으며, 회원 카드의 실적 등에 따라, 각 사용자들에게 다양한 서비스를 제공하고 있다.
그러나, 회원 카드를 이용하는 사용자는 상품 구매시 회원 카드를 판매원에게 보여주거나, 자신의 회원 카드 번호 또는 전화번호 등을 제시해야 한다.
또한, 각 매장에서 종래에 제공되고 있는 서비스들은 각 매장을 방문한 사용자들의 실시간 현황을 반영하지 못하고 있다.
상술한 문제점을 해결하기 위해 제안된 본 발명의 목적은, 매장을 방문한 사용자의 안면을 인식하며, 인식된 사용자별로 다양한 서비스를 제공할 수 있는 안면 정보를 이용한 서비스 방법을 제공하는 것이다.
상술한 기술적 과제를 달성하기 위한 본 발명에 따른 안면 정보를 이용한 서비스 방법은, 사용자가 매장에 입장하면, 상기 서비스 서버가 상기 매장에 장착된 카메라로부터 전송된 상기 사용자의 얼굴 이미지를 이용해 상기 사용자의 안면을 인식하여, 상기 사용자의 매장 방문 이력을 추출하며, 인식된 상기 안면을 분석하여 상기 사용자의 감정 상태를 판단하는 단계; 상기 서비스 서버가 상기 사용자의 안면 인식 정보 또는 상기 감정 상태를 이용하여 상기 사용자에게 매장내 서비스를 제공하는 단계; 상기 사용자가 이용한 매장내 서비스에 따라 상기 매장 방문 이력을 수정하는 단계; 상기 매장 방문 이력을 이용하여, 상기 서비스 서버가 상기 매장을 벗어난 사용자에게 광고 서비스를 제공하는 단계; 및 상기 서비스 서버가, 각 사용자별로 안면을 인식하여 추출한 각 사용자들의 매장 방문 이력들 또는 사용자들의 감정 상태들 중 적어도 하나를 이용하여, 상기 매장을 방문한 사용자들에 대한 통계 정보를 관리자에게 제공하는 단계를 포함하고, 상기 매장내 서비스를 제공하는 단계는, 상기 안면 인식 정보를 이용하여 상기 사용자의 성별을 구분한 상기 서비스 서버가, 상기 성별에 따른 추천 상품을 상기 매장에 장착된 스피커들 또는 디스플레이들 또는 상기 사용자가 이용하는 사용자 단말기를 통해 안내하는 단계를 포함하며, 상기 통계 정보를 제공하는 단계는, 상기 서비스 서버가 상기 사용자들의 감정 상태를 분석하여, 상기 매장을 방문한 사용자들의 만족도를 산출하여 상기 만족도를 제공하는 단계를 포함한다.
본 발명에 의하면, 각 매장은 매장을 방문한 사용자의 감정 변화 등을 이용하여, 매장에서 직접 다양한 서비스를 사용자에게 제공할 수 있다.
도 1은 본 발명에 따른 안면 정보를 이용한 서비스 방법이 적용되는 서비스 시스템의 구성을 나타낸 예시도.
도 2는 본 발명에 따른 안면 정보를 이용한 서비스 방법을 제공하는 서비스 서버의 내부 구성을 나타낸 예시도.
도 3은 본 발명에 따른 안면 정보를 이용한 서비스 방법의 일실시예 흐름도.
도 4는 본 발명에 따른 안면 정보를 이용한 서비스 방법에 의해 제공되는 서비스들을 나타낸 예시도.
도 5는 본 발명에 따른 안면 정보를 이용한 서비스 방법이 이용하는 사용자의 감정 정보의 변화를 나타낸 일실시예 그래프.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.
도 1은 본 발명에 따른 안면 정보를 이용한 서비스 방법이 적용되는 서비스 시스템의 구성을 나타낸 예시도이며, 도 2는 본 발명에 따른 안면 정보를 이용한 서비스 방법을 제공하는 서비스 서버의 내부 구성을 나타낸 예시도이다. 도 3은 본 발명에 따른 안면 정보를 이용한 서비스 방법의 일실시예 흐름도이고, 도 4는 본 발명에 따른 안면 정보를 이용한 서비스 방법에 의해 제공되는 서비스들을 나타낸 예시도이며, 도 5는 본 발명에 따른 안면 정보를 이용한 서비스 방법이 이용하는 사용자의 감정 정보의 변화를 나타낸 일실시예 그래프이다.
본 발명에 따른 안면 정보를 이용한 서비스 방법이 적용되는 서비스 시스템은, 도 1에 도시된 바와 같이, 서비스 서버(20), 관리자 단말기(10), 포스(POS) 단말기(40), 카메라(30), 스피커(70) 및 사용자(50)들이 이용하는 사용자 단말기(60)를 포함할 수 있다.
첫째, 상기 서비스 서버(20)는 본 발명에 따른 안면 정보를 이용한 서비스 방법을 실행하여 다양한 서비스를 제공한다.
상기 서비스 서버(20)는 현재 일반적으로 이용되는 네트워크 서버가 될 수 있다.
상기 서비스 서버(20)는, 도 2에 도시된 바와 같이, 네트워크를 통해 다양한 구성요소들과 통신을 수행하는 통신부(21), 관리자로부터 각종 정보를 입력받는 입력부(23), 서비스와 관련된 각종 정보를 출력하는 출력부(24), 서비스와 관련된 각종 정보를 저장하는 저장부(25) 및 상기 통신부, 입력부, 출력부, 저장부의 기능을 제어하는 제어부(22)를 포함한다.
둘째, 상기 관리자 단말기(10)는 상기 서비스 서버(20)로부터 제공되는 각종 정보들, 예를 들어, 사용자들의 매장 방문 현황, 매장을 방문한 사용자들의 연령대, 매장을 방문한 사용자들의 성별 등에 대한 다양한 정보들을 관리자에게 제공한다. 상기 관리자 단말기(10)는 개인용 컴퓨터(PC), 테블릿PC 또는 스마튼폰과 같은 다양한 장치들이 될 수 있다.
셋째, 상기 포스(POS) 단말기(40)는 매장에 구비되며, 결재를 수행한다. 특히, 상기 포스(POS) 단말기(40)는 상기 서비스 서버(20)로부터 전송되는 정보에 따라, 결재 비용 또는 포인트 등을 각 사용자별로 차별화하여 산출할 수 있다.
넷째, 상기 카메라(30)는 매장(90)에 구비되어 상기 매장(90)을 방문한 사용자들의 얼굴을 촬영한 후, 촬영된 얼굴을 상기 서비스 서버(20)로 전송한다.
다섯째, 상기 스피커(70)는 상기 매장(90)에 장착되어 각종 안내 방송 또는 음악을 출력한다. 여기서, 상기 스피커(70)는 독립적으로 구성된 스피커뿐만 아니라, 영상을 표시하는 디스플레이에 구비된 스피커가 될 수도 있다. 또한, 본 발명에는 상기 스피커(70)가 장착된 디스플레이뿐만 아니라, 영상만을 출력하도록 독립적으로 구성된 디스플레이가 더 포함될 수 있다. 즉, 상기 디스플레이는 상기 매장(90)에 장착되어 각종 안내 방송을 영상 또는 음성으로 출력할 수 있다.
여섯째, 상기 사용자 단말기(60)들은 스마트폰 또는 테블릿PC 등과 같이, 사용자가 직접 소지하고 다니며 이용할 수 있는 단말기이다. 상기 사용자 단말기(60)는 상기 서비스 서버(20)와 통신을 수행하여 각종 정보를 수신할 수 있다.
도 3은 본 발명에 따른 안면 정보를 이용한 서비스 방법의 일실시예 흐름도이고, 도 4는 본 발명에 따른 안면 정보를 이용한 서비스 방법에 의해 제공되는 서비스들을 나타낸 예시도이며, 도 5는 본 발명에 따른 안면 정보를 이용한 서비스 방법이 이용하는 사용자의 감정 정보의 변화를 나타낸 일실시예 그래프이다.
본 발명에 따른 안면 정보를 이용한 서비스 방법은, 도 3에 도시된 바와 같이, 상기 서비스 서버(20)가 사용자로부터 전송된 안면 정보를 등록하는 단계(502), 사용자가 매장에 입장하면(504), 상기 서비스 서버가 상기 매장에 장착된 카메라로부터 전송된 상기 사용자의 얼굴 이미지를 이용해 상기 사용자의 안면을 인식하여, 상기 사용자의 매장 방문 이력을 추출하며, 인식된 상기 안면을 분석하여 상기 사용자의 감정 상태를 판단하는 단계(506), 상기 서비스 서버가 상기 사용자의 안면 인식 정보 또는 상기 감정 상태를 이용하여 상기 사용자에게 매장내 서비스를 제공하는 단계(508), 상기 사용자가 이용한 매장내 서비스에 따라 상기 매장 방문 이력을 수정하는 단계(510), 상기 사용자가 상기 매장 방문 이력을 이용하여, 상기 서비스 서버가 상기 매장을 벗어난 사용자에게 광고 서비스를 제공하는 단계(512) 및 상기 서비스 서버가, 각 사용자별로 안면을 인식하여 추출한 각 사용자들의 매장 방문 이력들 또는 사용자들의 감정 상태들 중 적어도 하나를 이용하여, 상기 매장을 방문한 사용자들에 대한 통계 정보를 관리자에게 제공하는 단계(514)를 포함한다.
< 1. 안면 정보 등록 단계(502) >
사용자는 상기 사용자 단말기(60) 또는 카메라 또는 PC 웹캠 등을 통해 자신의 안면을 촬영한 후, 상기 사용자 단말기(60) 또는 개인용 컴퓨터(PC) 또는 노트북 등을 통해, 자신의 안면 정보를 상기 서비스 서버(20)로 전송한다. 이 경우, 사용자는 자신을 식별할 수 있는 식별정보, 예를 들어, 이름, 나이, 핸드폰, 메일주소 등과 같은 정보를 상기 서비스 서버(20)로 전송할 수 있다.
상기 서비스 서버(20)는 상기 사용자로부터 전송된 안면 정보를 상기 서비스 서버(20)에 등록한다. 이 경우, 상기 서비스 서버(20)는 상기 안면 정보로부터 특징을 추출한 후, 상기 특징을 해쉬화하여 코드로 변경한 후, 상기 코드를 저장할 수 있다.
그러나, 본 발명을 이용하기 위해, 사용자가 반드시 자신의 안면 정보를 상기 서비스 서버(20)로 직접 전송할 필요는 없다.
예를 들어, 상기 서비스 서버(20)에 등록이 안된 얼굴이 상기 카메라(30)로부터 최초로 촬영되어 취득된 경우, 상기 서비스 서버(20)는 촬영된 사용자의 안면 정보로부터 특징을 추출한 후, 상기 특징을 해쉬화하여 코드로 변경시킨 후, 상기 코드를 상기 서비스 서버(20)에 저장할 수 있다.
이를 위해, 상기 카메라(30)는 상기 매장(90)의 다양한 위치에 구비될 수 있다.
상기 서비스 서버(20)가 상기 안면 정보로부터 특징을 추출한 후, 상기 특징을 해쉬화하여 코드로 변경하는 방법을 구체적으로 설명하면 다음과 같다.
우선, 상기 사용자로부터 직접 전송된 안면 정보 또는 상기 카메라(30)로부터 안면을 촬영한 영상이 전송되면, 상기 서비스 서버(20)는 상기 영상에 얼굴의 일반적인 HOG를 매칭시켜 얼굴 영역을 찾는다.
다음, 상기 서비스 서버(20)는 얼굴의 주요 지점을 찾아서, 얼굴의 방향을 찾는다.
다음, 상기 서비스 서버(20)는 얼굴의 방향을 근거로 하여, 중앙에 얼굴이 오도록 이미지를 변형한다.
다음, 상기 서비스 서버(20)는 얼굴의 특징들을 측정하는 알고리즘(예를 들어, 얼굴 분류 신경망 등)을 이용하여, 얼굴의 특징들을 측정한 측정값을 산출하여 저장한다.
다음, 상기 서비스 서버(20)는 저장된 측정값을 36진수로 변환(0~9 + a~z)한다.
마지막으로, 상기 서비스 서버(20)는 상기 수치를 일련번호로 저장한 후 활용한다.
상기에서 설명된 과정들은, 상기 매장(90)을 방문한 사용자의 안면을 인식하는 단계(506)에서도 적용될 수 있다.
< 2. 사용자가 매장에 입장하는 단계(504) >
상기 서비스 서버(20)에 자신의 안면 정보를 제공하거나 또는 제공하지 않은 사용자는 상기 서비스 서버(20)에 의해 관리되는 매장(90)을 방문한다.
여기서, 상기 매장(90)은 쇼핑몰, 마트, 백화점과 같이 다양한 상품을 판매하는 장소일 수도 있고, 연극, 영화, 뮤지컬 등을 상연하는 장소일 수도 있고, 각종 물품을 전시하는 전시장이 될 수도 있으며, 이 외에도, 다양한 장소가 될 수 있다.
< 3. 사용자 안면 인식 단계(506) >
사용자가 매장(90)에 입장하면(504), 상기 서비스 서버(20)는 상기 매장에 장착된 카메라(30)로부터 전송된 상기 사용자의 얼굴 이미지를 이용해 상기 사용자의 안면을 인식한다.
또한, 상기 서비스 서버(20)는, 인식된 상기 사용자의 안면 인식 정보를 이용하여, 상기 사용자의 매장 방문 이력을 추출하며, 인식된 상기 안면을 분석하여 상기 사용자의 감정 상태를 판단한다.
상기 매장에 최초로 방문하고, 상기 안면 정보를 상기 서비스 서버(20)에 등록하지 않은 사용자가 상기 매장에 방문한 경우, 상기 서비스 서버(20)는, 우선, 상기 안면 인식 정보를 이용하여 상기 사용자를 상기 서비스 서버(20)에 등록시킨다. 이후, 상기 서비스 서버(20)는 인식된 상기 사용자의 안면 인식 정보를 이용하여, 상기 사용자의 매장 방문 이력을 추출하며, 인식된 상기 안면을 분석하여 상기 사용자의 감정 상태를 판단한다.
즉, 상기 서비스 서버(20)는 상기 얼굴 이미지를 분석하여 상기 얼굴 이미지의 특징을 추출하며, 상기 서비스 서버(20)에 저장되어 있는 사용자들의 안면 정보들 중, 추출된 특징과 일치되는 특징을 갖는 안면 정보에 대응되는 사용자를 추출한다. 상기 서비스 서버(20)는 추출된 사용자와 매칭되어 있는 매장 방문 이력을 추출한다.
또한, 상기 서비스 서버(20)는 상기 특징을 분석하여, 상기 사용자가 현재 웃고 있는지, 찡그리고 있는지, 기쁜 표정인지, 슬픈 표정인지, 만족한 표정인지, 불만족한 표정인지 등을 분석하여 상기 사용자의 감정 상태를 판단할 수 있다.
예를 들어, 상기 서비스 서버(20)는 얼굴의 눈, 코, 입의 각 부분을 랜드마킹하여 종합적인 피로도, 스트레스 지수 등을 기쁨, 슬픔, 분노, 우울, 중립 등으로 감정지수화하여 산출할 수 있으며, 상기 산출된 정보들을 기준으로 하여, 상기 매장을 방문한 사용자의 감정 상태를 판단할 수 있다.
즉, 상기 서비스 서버(20)는 도 5에 도시된 바와 같이, 사용자의 감정 상태를 감저의 세기로 구분하여 판단한 후 상기 사용자의 매장 방문 이력에 저장할 수 있다.
< 4. 매장내 서비스 제공 단계(508) >
상기 서비스 서버(20)는 상기 사용자의 안면 인식 정보 또는 상기 감정 상태를 이용하여 상기 사용자에게 다양한 매장내 서비스를 제공할 수 있다.
상기 매장내 서비스에는 다음과 같은 다양한 서비스들이 포함될 수 있다.
첫째, 상기 안면 인식 정보를 이용하여 상기 사용자의 성별을 구분한 상기 서비스 서버(20)는, 상기 성별에 따른 추천 상품을 상기 매장에 장착된 스피커(70)들 또는 상기 디스플레이 또는 상기 사용자가 이용하는 사용자 단말기(10)를 통해 안내할 수 있다.
예를 들어, 상기 사용자가, 상기 안면 인식 정보에 따라 여자로 판단되거나, 또는 상기 안면 인식 정보와 매칭된 사용자 정보를 통해 여자로 판단되면, 상기 서비스 서버(20)는 상기 사용자 단말기(60)로 상기 사용자와 관련된 추천 상품을 전송할 수 있다.
상기 안면 인식 정보를 통해, 상기 사용자의 연령대가 판단되는 경우, 상기 서비스 서버(20)는 상기 연령대를 고려하여, 추천 상품을 전송할 수 있다.
또한, 상기 서비스 서버(20)는 상기 매장을 방문한 사용자들의 안면 인식 정보들을 분석하여 현재, 매장에 방문한 사용자들의 성별 비율 또는 연령 비율 등을 판단할 수 있으며, 상기 판단 결과, 특정 성별 또는 특정 연령대가 상대적으로 매우 많다고 판단되는 경우, 상기 서비스 서버(20)는 상기 특정 성별 또는 특정 연령대를 타겟으로 하는 추천 상품 또는 행사 내용 등을 상기 매장(90)에 장착되어 있는 상기 스피커(70)들 또는 상기 디스플레이를 통해 안내할 수도 있다.
둘째, 상기 사용자의 매장 방문 이력을 통해 상기 사용자가 상기 매장을 처음으로 방문했다고 판단되면, 상기 서비스 서버(20)는 상기 사용자 단말기(10)로, 상기 매장의 구조에 대한 안내 정보를 제공할 수도 있다.
셋째, 상기 안면 인식 정보를 이용하여 상기 사용자의 성별 및 연령대를 구분한 상기 서비스 서버(20)는, 상기 성별 및 연령대에 따른 매장 행사에 대한 정보를 상기 스피커(70)들 또는 상기 디스플레이 또는 상기 사용자 단말기(10)를 통해 안내할 수 있다.
넷째, 상기 서비스 서버(20)는 상기 안면 인식 정보에 따라 추출된 상기 사용자의 매장 방문 이력을 이용하여, 상기 사용자가 구매하는 상품의 결재 비용을 할인하거나 상기 상품의 결재에 따른 포인트 액수를 결정할 수 있다.
예를 들어, 상기 사용자가 상기 포스 단말기(40) 앞에서 결재를 할 때, 상기 포스 단말기(40) 옆에 장착된 상기 카메라(30)가 상기 사용자의 안면을 촬영하여 상기 서비스 서버(20)로 전송하면, 상기 서비스 서버(20)는 상기 사용자를 인식한다.
상기 서비스 서버(20)는 상기 사용자와 매칭된 매장 방문 이력을 분석하여, 상기 사용자가 매장을 자주 방문하고, 많은 상품을 구매했다고 판단되면, 할인율 또는 포인트 지급율을 높일 수 있으며, 그 반대의 기능도 수행할 수 있다.
또한, 상기 서비스 서버(20)는 상기 안면 인식 정보를 이용하여, 적립 포인트를 조정할 수도 있다. 예를 들어, 만족 또는 기쁨과 관련된 감정 상태의 크기가 큰 경우, 상기 사용자가 상기 매장(90)을 다시 방문할 가능성이 높으므로, 상기 사용자에게 다른 사용자들보다 더 많은 적립 포인트를 부여할 수도 있다.
다섯째, 상기 안면 인식 정보를 이용하여 상기 사용자의 성별 및 연령대를 구분한 상기 서비스 서버(20)는, 상기 성별 및 연령대에 따른 음악을 상기 스피커(70)를 통해 제공할 수도 있다.
예를 들어, 상기 서비스 서버(20)는 젊은 층의 사용자들이 많이 매장을 방문한 경우에는, 젊은 층에 인기가 있는 음악을 제공하고. 중년의 여성 사용자들이 많이 매장을 방문한 경우에는 중년의 여성 사용자들에게 인기가 있는 음악을 제공할 수도 있다.
< 5. 사용자 방문이력 수정 단계(510) >
상기 서비스 서버(20)는 상기 사용자가 이용한 매장내 서비스에 따라 상기 매장 방문 이력을 수정할 수 있다.
예를 들어, 상기 매장 방문 이력에는, 상기 매장(90) 내에서 상기 사용자가 구매한 상품, 상기 사용자가 상기 매장(90)을 방문한 날짜, 입장한 시간, 퇴장한 시간 또는 머무른 시간과 관련된 방문 정보, 상기 사용자가 상기 매장내 서비스에 반응한 정도, 상기 사용자의 감정 상태의 변화 정보 등이 포함될 수 있다.
< 6. 사용자별로 광고 서비스를 제공하는 단계(512) >
상기 서비스 서버(20)는 상기 매장 방문 이력을 이용하여, 상기 매장을 벗어난 사용자에게 다양한 광고 서비스를 제공할 수 있다. 이 경우, 상기 서비스 서버(20)는 상기 사용자 단말기(20)로 문자를 통해 상기 광고 서비스를 제공할 수도 있으며, 상기 사용자가 제공한 메일 주소로 상기 광고 서비스를 제공할 수도 있다.
예를 들어, 상기 서비스 서버(20)는, 상기 매장 방문 이력에 포함되어 있는, 상기 사용자가 방문한 주기 및 구매한 상품 등의 정보를 이용하여 상기 주기별로 상기 사용자에게 필요한 상품에 대한 할인 정보 등을 제공할 수 있다.
또한, 상기 서비스 서버(20)는 상기 감정 상태의 변화정보를 분석하여, 상기 매장(90)에서 상기 사용자가 만족 또는 기쁨을 표현한 장소와 관련된 상품 정보 또는 행사 정보 등을 제공할 수도 있다.
< 7. 통계정보 제공 단계(514) >
상기 서비스 서버(20)는, 각 사용자별로 안면을 인식하여 추출한 각 사용자들의 매장 방문 이력들 또는 사용자들의 감정 상태들 중 적어도 하나를 이용하여, 상기 매장을 방문한 사용자들에 대한 통계 정보를 관리자에게 제공할 수도 있다.
첫째, 상기 서비스 서버(20)는 상기 사용자들의 감정 상태를 분석하여, 상기 매장을 방문한 사용자들의 만족도를 산출하여 상기 만족도를 상기 관리자 단말기(10)로 제공할 수 있다.
예를 들어, 상기 서비스 서버(20)는 사용자가 입장했을때와 결제할때의 감정 곡선을 체크하여, 구매 만족도를 분석하여 제공할 수 있다. 따라서, 상기 매장(90)의 관리자는 별도의 설문조사를 하지 않더라도 사용자들의 만족도들을 지속적으로 확인할 수 있다.
또한, 상기 서비스 서버(20)는, 상기 얼굴 인식 정보들을 이용한 사용자들의 감정 상태에 대한 정보들을 이용하여, 사용자들이 상기 매장(90)에 들어올때의 감정과 계산할때의 감정을 분석하여, 구매시 만족도의 상승 하락 등을 유추한 후 유추된 정보들을 상기 관리자 단말기(10)로 전송할 수 있다.
둘째, 상기 서비스 서버(20)는, 상기 사용자들의 감정 상태들을 분석하여, 상기 매장을 방문한 사용자들의 감정이 긍정적으로 판단된 진열대 또는 음악 또는 시간대 또는 행사에 대한 정보를 상기 관리자 단말기(10)로 전송할 수 있다.
셋째, 종래에는 객단가를 중복으로 체크할 수 있는 방법이 없으나, 본 발명은 생체정보를 이용한 고객 일련번호를 사용하여 기간별로 중복자를 체크할 수 있으며, 이에 따라, 상기 서비스 서버(20)는 기간범위안에서의 객단가를 추출하여 그 정보를 상기 관리자 단말기(10)로 전송할 수 있다.
넷째, 상기 서비스 서버(20)는 상기 매장을 방문한 사용자들의 연령대에 대한 정보를 상기 관리자 단말기(10)로 전송할 수 있다.
상기 관리자 단말기(10)를 관리하는 관리자는, 상기 연령대의 트렌드에 맞는 음악을 제공할 수 있고, 상기 연령대의 트렌드에 맞는 상품을 보다 더 많이 진열할 수도 있으며, 사용자의 이동 동선이 많은 위치에 상기 연령대의 트렌드에 맞는 상품을 진열할 수도 있다.
다섯째, 상기 서비스 서버(20)는 상기 매장을 방문한 사용자들의 수와, 실 구매자들의 수 및 실구매율(실 구매율 = 실 구매자 / 방문자 * 100 % @ (단위시간내, 시간별, 일자별, 월별, 년도별)을 계산하여 그 정보를 제공할 수 있다.
상기 관리자는 상기 정보를 이용하여 매장의 운영 방법을 개선할 수 있다.
즉, 상기 매장(90)의 관리자는 상기한 바와 같은 통계정보들을 이용하여 상기 매장의 재고를 조정하거나, 행사를 기획하거나, 상품의 진열 방법 등을 변경할 수도 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.　 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 관리자 단말기 20: 서비스 서버
40: 포스(POS) 단말기 30: 카메라
70: 스피커 60: 사용자 단말기

Claims (3)

  1. 사용자가 매장에 입장하면, 상기 서비스 서버가 상기 매장에 장착된 카메라로부터 전송된 상기 사용자의 얼굴 이미지를 이용해 상기 사용자의 안면을 인식하여, 상기 사용자의 매장 방문 이력을 추출하며, 인식된 상기 안면을 분석하여 상기 사용자의 감정 상태를 판단하는 단계;
    상기 서비스 서버가 상기 사용자의 안면 인식 정보 또는 상기 감정 상태를 이용하여 상기 사용자에게 매장내 서비스를 제공하는 단계;
    상기 사용자가 이용한 매장내 서비스에 따라 상기 매장 방문 이력을 수정하는 단계;
    상기 매장 방문 이력을 이용하여, 상기 서비스 서버가 상기 매장을 벗어난 사용자에게 광고 서비스를 제공하는 단계; 및
    상기 서비스 서버가, 각 사용자별로 안면을 인식하여 추출한 각 사용자들의 매장 방문 이력들 또는 사용자들의 감정 상태들 중 적어도 하나를 이용하여, 상기 매장을 방문한 사용자들에 대한 통계 정보를 관리자에게 제공하는 단계를 포함하고,
    상기 매장내 서비스를 제공하는 단계는, 상기 안면 인식 정보를 이용하여 상기 사용자의 성별을 구분한 상기 서비스 서버가, 상기 성별에 따른 추천 상품을 상기 매장에 장착된 스피커들 또는 디스플레이들 또는 상기 사용자가 이용하는 사용자 단말기를 통해 안내하는 단계를 포함하며,
    상기 통계 정보를 제공하는 단계는, 상기 서비스 서버가 상기 사용자들의 감정 상태를 분석하여, 상기 매장을 방문한 사용자들의 만족도를 산출하여 상기 만족도를 제공하는 단계를 포함하는 안면 정보를 이용한 서비스 방법.
  2. 제 1 항에 있어서,
    상기 매장내 서비스를 제공하는 단계는,
    상기 사용자의 매장 방문 이력을 통해 상기 사용자가 상기 매장을 처음으로 방문했다고 판단되면, 상기 서비스 서버가 상기 사용자 단말기로, 상기 매장의 구조에 대한 안내 정보를 제공하는 단계;
    상기 안면 인식 정보를 이용하여 상기 사용자의 성별 및 연령대를 구분한 상기 서비스 서버가, 상기 성별 및 연령대에 따른 매장 행사에 대한 정보를 상기 스피커들 또는 상기 사용자 단말기를 통해 안내하는 단계;
    상기 안면 인식 정보에 따라 추출된 상기 사용자의 매장 방문 이력을 이용하여, 상기 사용자가 구매하는 상품의 결재 비용을 할인하거나 상기 상품의 결재에 따른 포인트 액수를 결정하는 단계; 및
    상기 안면 인식 정보를 이용하여 상기 사용자의 성별 및 연령대를 구분한 상기 서비스 서버가, 상기 성별 및 연령대에 따른 음악을 상기 스피커를 통해 제공하는 단계를 더 포함하는 안면 정보를 이용한 서비스 방법.
  3. 제 1 항에 있어서,
    상기 통계 정보를 제공하는 단계는,
    상기 서비스 서버가, 상기 사용자들의 감정 상태들을 분석하여, 상기 매장을 방문한 사용자들의 감정이 긍정적으로 판단된 진열대 또는 음악 또는 시간대 또는 행사에 대한 정보를 제공하는 단계를 포함하는 안면 정보를 이용한 서비스 방법.


KR1020180035668A 2018-03-28 2018-03-28 안면 정보를 이용한 서비스 방법 KR20190113245A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180035668A KR20190113245A (ko) 2018-03-28 2018-03-28 안면 정보를 이용한 서비스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180035668A KR20190113245A (ko) 2018-03-28 2018-03-28 안면 정보를 이용한 서비스 방법

Publications (1)

Publication Number Publication Date
KR20190113245A true KR20190113245A (ko) 2019-10-08

Family

ID=68208998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180035668A KR20190113245A (ko) 2018-03-28 2018-03-28 안면 정보를 이용한 서비스 방법

Country Status (1)

Country Link
KR (1) KR20190113245A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102133943B1 (ko) * 2020-01-16 2020-07-14 가천대학교 산학협력단 시니어의 건강을 위한 홈 헬스케어 제공방법 및 제공장치
WO2021237414A1 (zh) * 2020-05-25 2021-12-02 鸿富锦精密工业(武汉)有限公司 信息推送方法、装置、电子设备及存储介质
WO2022014798A1 (ko) * 2020-07-15 2022-01-20 (주)헬로팩토리 고객 만족도 조사 수행 시스템
KR20220019563A (ko) 2020-08-10 2022-02-17 김종만 인공지능기반의 비접촉 입장관리시스템
KR102485600B1 (ko) * 2022-06-24 2023-01-10 주식회사 엘젠 인공지능을 통한 우울증 관리 시스템
KR20230075026A (ko) * 2021-11-22 2023-05-31 주식회사 코밴 안면 인식을 이용한 고객 혜택 정보 제공 방법 및 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102133943B1 (ko) * 2020-01-16 2020-07-14 가천대학교 산학협력단 시니어의 건강을 위한 홈 헬스케어 제공방법 및 제공장치
WO2021237414A1 (zh) * 2020-05-25 2021-12-02 鸿富锦精密工业(武汉)有限公司 信息推送方法、装置、电子设备及存储介质
WO2022014798A1 (ko) * 2020-07-15 2022-01-20 (주)헬로팩토리 고객 만족도 조사 수행 시스템
KR20220019563A (ko) 2020-08-10 2022-02-17 김종만 인공지능기반의 비접촉 입장관리시스템
KR20230075026A (ko) * 2021-11-22 2023-05-31 주식회사 코밴 안면 인식을 이용한 고객 혜택 정보 제공 방법 및 시스템
KR102485600B1 (ko) * 2022-06-24 2023-01-10 주식회사 엘젠 인공지능을 통한 우울증 관리 시스템

Similar Documents

Publication Publication Date Title
KR20190113245A (ko) 안면 정보를 이용한 서비스 방법
US11341515B2 (en) Systems and methods for sensor data analysis through machine learning
CN108876526B (zh) 商品推荐方法、装置和计算机可读存储介质
Ström et al. Mobile marketing: A literature review on its value for consumers and retailers
CN110033298B (zh) 信息处理设备及其控制方法、系统和存储介质
JP6596899B2 (ja) 接客データ処理装置及び接客データ処理方法
US20180033045A1 (en) Method and system for personalized advertising
CN106713255B (zh) 用户信息管理方法和系统
Chen et al. Real-time smartphone sensing and recommendations towards context-awareness shopping
WO2021049300A1 (ja) 店舗利用情報配信装置及びこれを備えた店舗利用情報配信システム並びに店舗利用情報配信方法
CN108846724A (zh) 数据分析方法和系统
US20150046244A1 (en) Server, Computer Readable Storage Medium, Computer Implemented Method and Mobile Computing Device for Discounting Payment Transactions, Facilitating Discounting Using Augmented Reality and Promotional Offering Using Augmented Reality
WO2018190773A1 (en) Method and system for targeted advertising based on personal physical characteristics
CN108230033A (zh) 用于输出信息的方法和装置
CN110322262A (zh) 门店信息处理方法、装置及门店系统
KR20130139521A (ko) 미니 홈피 형식의 미용 정보 포털 사이트 운영 시스템
CN113887884A (zh) 商超服务系统
CN111476613A (zh) 基于客流分析的导购辅助方法及装置、服务器、存储介质
KR20120057668A (ko) 오프라인 쇼핑몰에서 고객들 간의 커뮤니케이션 지원시스템 및 방법
KR20230044382A (ko) 안면 인식 및 IoT 기반 애드큐레이션 사이니지 시스템
CN110866810A (zh) 一种智能零售系统
KR102332487B1 (ko) 오프라인 매장과 연동하여 사용자 맞춤형 의류 상품을 제공하는 방법 및 장치
TW202029092A (zh) 販賣支援系統
KR20200103144A (ko) 소비자의 소비 행태 및 비정형적 정보를 활용한 빅데이터 기반의 마케팅 캠페인 플랫폼
WO2019025790A1 (en) INTELLIGENT DISPLAY SYSTEM

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application