KR102480291B1 - 안면인식을 통한 고객 맞춤 서비스 제공 시스템 - Google Patents

안면인식을 통한 고객 맞춤 서비스 제공 시스템 Download PDF

Info

Publication number
KR102480291B1
KR102480291B1 KR1020220128654A KR20220128654A KR102480291B1 KR 102480291 B1 KR102480291 B1 KR 102480291B1 KR 1020220128654 A KR1020220128654 A KR 1020220128654A KR 20220128654 A KR20220128654 A KR 20220128654A KR 102480291 B1 KR102480291 B1 KR 102480291B1
Authority
KR
South Korea
Prior art keywords
image
change data
unit
facial
customer
Prior art date
Application number
KR1020220128654A
Other languages
English (en)
Inventor
박용철
Original Assignee
주식회사 토노베이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토노베이션 filed Critical 주식회사 토노베이션
Priority to KR1020220128654A priority Critical patent/KR102480291B1/ko
Application granted granted Critical
Publication of KR102480291B1 publication Critical patent/KR102480291B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/002—Vending machines being part of a centrally controlled network of vending machines
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/009—User recognition or proximity detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/023—Arrangements for display, data presentation or advertising
    • G07F9/0235—Arrangements for display, data presentation or advertising the arrangements being full-front touchscreens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H04N5/2257—

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Administration (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명에 의하면, 키오스크의 이용고객의 이용접근과 이용고객에 대하여 제공되는 제품이나 서비스의 선택을 감지하기 위한 센서부(10); 센서부(10)에 의하여 감지된 이용고객의 영상이미지를 입력받기 위한 영상입력부(20); 영상입력부(20)로부터 입력된 이미지의 데이터로부터 이용고객의 안면 이미지(I_f)를 감지하여 추출하기 위한 안면 감지부(30); 안면 감지부(30)로부터 추출된 안면 이미지(I_f)에 대하여 동공, 미간 및 입술 이미지(E_f, B_f, L_f) 중의 어느 하나 이상의 이미지변화 데이터(I_v)를 추출하기 위한 안면이미지 추출부(40); 안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)와 관련된 감정 변화의 데이터가 축적되어 저장되며 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화를 저장하기 위한 데이터 베이스부(50); 및 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화 데이터(D_s)에 대한 가중치에 따라 데이터 베이스부(50)의 감정변화 데이터(D_e)를 갱신하도록 제어하기 위한 제어부(60)를 포함하는 안면인식을 통한 고객 맞춤 서비스 제공 시스템이 제공된다.

Description

안면인식을 통한 고객 맞춤 서비스 제공 시스템{Customizable kiosk using facial recognition}
본 발명은 안면인식을 통한 고객 맞춤 서비스 제공 시스템에 관한 것으로서, 보다 상세하게는 키오스크를 이용하는 고객의 얼굴 표정 변화를 인공지능적으로 인식하여 고객의 감정상태에 관한 데이터를 분석하여 고객이 원하는 제품이나 서비스의 제공의 향상을 도모할 수 있는 안면인식을 통한 고객 맞춤 서비스 제공 시스템에 관한 것이다.
기술 발전과 코로나 19 등으로 인해 언택트 시대에 맞추어 편의점, 패스트 푸드점, 카페 등 많은 장소들을 기준으로 키오스크 사용이 증가하고 있으며, 심지어는 인건비를 줄이는 명목하에 키오스크만 존재하는 곳도 점차 늘어나고 있다.
이러한 키오스크에 있어서 다양한 외형을 가진 고객에 대하여 이용의 편의성을 갖고 있지 못하는 문제점을 해결하기 위하여 공개특허 10-2022-0120878는 도 1에 도시된 바와 같이, 몸체부, 상기 몸체부의 상측에 구비되고, 사람의 접근 여부를 거리 측정에 의해 감지하는 센서부, 상기 센서부의 감지시, 제어부의 제어하에 동작되어 사람의 얼굴 안면을 촬영하는 카메라부, 상기 카메라부에서 촬영되는 얼굴 안면의 위치에 따라 제어부의 제어하에 카메라 촬영 영역의 정중앙에 안면이 위치하도록 상하 또는 좌우로 구동 제어되는 구동부, 상기 센서부의 감지 신호를 수신하여 상기 카메라부를 동작시켜 사람의 얼굴 안면을 촬영하도록 제어하고, 카메라 촬영 영역의 정중앙에 안면이 위치하도록 상기 구동부를 상하 또는 좌우로 이동 제어하는 상기 제어부, 상기 구동부에 결합되어 상기 구동부의 제어에 따라 상하 또는 좌우로 이동되도록 제어되는 디스플레이부를 포함하는 안면인식을 이용한 사용자 맞춤형 키오스크를 개시하고 있다.
이러한 기술에 의하여 사용자의 안면이 카메라부의 중심에 위치하도록 조절함으로써 신장이 과도하게 큰사람이나 아동 및 장애인과 같은 노약자, 특히 휠체어에 앉은 장애인들이 사용함에 있어서 편의성을 향상시킬 수 있었다.
그러나, 이러한 기술에 의하더라도 키오스크를 이용하는 사용자에게 제공되는 제품이나 서비스의 만족이나 불만족의 정도를 무인으로 운영하는 한계로 인하여 인식할 수 없을 뿐만 아니라, 그로 인하여 정확하게 고객에 필요한 제품이나 서비스의 제공이 이루어질 수 없는 문제점이 있다.
더욱이 무인으로 이용되는 키오스크를 통한 제품이나 서비스의 제공에 있어서 고객의 감정 변화를 인지하지 못함에 따른 제공되는 제품이나 서비스의 개선의 방향성을 제공하지 못하는 문제점이 있다.
또한, 무인으로 이용되는 키오스크에 있어서 키오스크를 이용하는 이용자의 범죄를 인식할 수 없는 문제점이 있는 바, 이러한 문제점을 해결할 수 있는 기술의 개발이 요구되고 있다.
따라서 본 발명의 목적은 키오스크를 이용하는 사용자에게 제공되는 제품이나 서비스의 만족도 여부에 대한 얼굴 감정 변화를 인공지능적으로 인지하여 정확하게 고객에 필요한 제품이나 서비스의 제공이 이루어질 수 있는 안면인식을 통한 고객 맞춤 서비스 제공 시스템을 제공하는 것이다.
또한, 본 발명의 다른 목적은 무인으로 이용되는 키오스크에 있어서 키오스크 이용자의 범죄 가능성이나 범죄여부를 인식할 수 있도록 하여 사전에 범죄를 예방함과 동시에 관할 기관에 통보할 수 있도록 하여 치안의 기능을 향상시킬 수 있는 안면인식을 통한 고객 맞춤 서비스 제공 시스템을 제공하는 것이다.
본 발명에 의하면, 키오스크의 이용고객의 이용접근과 이용고객에 대하여 제공되는 제품이나 서비스의 선택을 감지하기 위한 센서부(10); 센서부(10)에 의하여 감지된 이용고객의 영상이미지를 입력받기 위한 영상입력부(20); 영상입력부(20)로부터 입력된 이미지의 데이터로부터 이용고객의 안면 이미지(I_f)를 감지하여 추출하기 위한 안면 감지부(30); 안면 감지부(30)로부터 추출된 안면 이미지(I_f)에 대하여 동공, 미간 및 입술 이미지(E_f, B_f, L_f) 중의 어느 하나 이상의 이미지변화 데이터(I_v)를 추출하기 위한 안면이미지 추출부(40); 안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)와 관련된 감정 변화의 데이터가 축적되어 저장되며 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화를 저장하기 위한 데이터 베이스부(50); 및 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화 데이터(D_s)에 대한 가중치에 따라 데이터 베이스부(50)의 감정변화 데이터(D_e)를 갱신하도록 제어하기 위한 제어부(60)를 포함하는 안면인식을 통한 고객 맞춤 서비스 제공 시스템이 제공된다.
여기서, 안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)에 있어서 선택된 제품이나 서비스에 대한 궁금증의 감정에 대한 판단이 이루어질 경우 키오스크 운영서버(미도시)에 대하여 챗을 접속하도록 하기 위한 챗봇 연결부(70)를 더 포함하는 것이 바람직하다.
또한, 안면이미지 추출부(40)는 안면 감지부(30)로부터 추출된 안면 이미지(I_f)에 대하여 동공 이미지(E_f)를 추출하여 동공 이미지 변화 데이터(I_ve)를 생성하기 위한 동공이미지 추출부(42), 안면 이미지(I_f)에 대하여 미간 이미지(B_f)를 추출하여 미간 이미지 변화 데이터(I_vb)를 생성하기 위한 미간이미지 추출부(44), 및 안면 이미지(I_f)에 대하여 입술 이미지(L_f)를 추출하여 입술 이미지 변화 데이터(I_vl)를 생성하기 위한 입술이미지 추출부(46)로 이루어지는 것이 바람직하다.
또한, 안면이미지 추출부(40)의 동공이미지 추출부(42), 미간이미지 추출부(44), 및 입술이미지 추출부(46)는 안면 이미지(I_f)의 각 동공 이미지(B_f), 미간 이미지(B_f) 및 입술 이미지(L_f)에 대하여 각 부위에 대한 위치 벡터가 시간에 대한 변화량을 연산하여 출력한다. 이와 같이 연상되어 출력된 벡터의 시간 변화량에 관한 데이터에 대하여 제어부(60)는 데이터 베이스부(50)에 저장된 감정 변화의 데이터와 비교하여 키오스크 이용 고객에 대하여 제공되는 제품이나 서비스의 만족도에 관한 데이터를 매칭하여 키오스크 운영서버 및 데이터 베이스부(50)로 출력하는 것이 바람직하다.
또한, 안면이미지 추출부(40)는 영상입력부(20)로부터 입력된 안면 이미지(I_f)로부터 동공, 미간, 및 입술 등의 부위마다 벡터 정보 및 시간 정보를 추출하며, to 및 t´0은 각각 안면의 부위(n)의 움직임이 개시된 시각이며, wn은 안면 부위(n)의 가중 계수이며, xn, yn, zn 및 x´n, y´n, z´n 은 각 얼굴의 부위(n)의 위치 벡터이며, Δxn, Δyn, Δzn 및 Δx´n, Δy´n, Δz´n은 각각 얼굴의 부위(n)의 속도 벡터라 할 때, 벡터 정보와 시간 정보와 관련하여 얼굴 정보와의 유클리드 거리 D는
Figure 112022105849409-pat00001
와
Figure 112022105849409-pat00002
로 이루어지는 것이 바람직하다.
또한, 데이터 베이스부(50)는 고객의 데이터가 입력되기 위한 고객 데이터부(52), 안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)와 관련된 감정 변화의 데이터가 축적되어 저장되기 위한 감정변화 데이터부(54), 및 선택된 제품이나 서비스와 관련되어 이용 고객의 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화를 저장하기 위한 매출변화 데이터부(56)를 포함하는 것이 바람직하다.
또한, 제어부(60)는 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화 데이터(D_s)에 대한 가중치에 따라 데이터 베이스부(50)의 감정변화 데이터(D_e)를 갱신하도록 제어하는 것이 바람직하다.
또한, 안면이미지 추출부(40)에 의하여 추출된 이용고객의 이미지변화 데이터(I_v)에 있어서 범죄 결심의 감정 변화와 유사한 데이터가 제어부(60)에 의하여 판단될 경우 키오스크 운영 서버(미도시)의 모니터링 서버(미도시)와 관련 관공서 서버(미도시)와 접속이 이루어지도록 하는 것이 바람직하다.
따라서 본 발명에 의하면, 키오스크를 이용하는 사용자에게 제공되는 제품이나 서비스의 만족도 여부에 대한 얼굴 감정 변화를 인공지능적으로 인지하여 정확하게 고객에 필요한 제품이나 서비스의 제공이 이루어질 수 있을 뿐만 아니라, 키오스크 이용자의 범죄 가능성이나 범죄여부를 인식할 수 있도록 하여 사전에 범죄를 예방함과 동시에 관할 기관에 통보할 수 있도록 하여 치안의 기능을 향상시킬 수 있다.
도 1은 공개특허 10-2022-0120878에 따른 안면 인식을 이용한 사용자 맞춤형 키오스크의 개략도이다.
도 2는 본 발명의 바람직한 실시예에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템의 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템에 있어서 안면의 각 부위에 대한 벡터 정보를 예시적으로 나타낸 예시도이다.
도 4는 본 발명의 바람직한 다른 실시예에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템의 블록도이다.
이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시예에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템에 대하여 상세히 설명하기로 한다.
도 2는 본 발명의 바람직한 실시예에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템의 블록도이며, 도 3은 본 발명의 바람직한 실시예에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템에 있어서 안면의 각 부위에 대한 벡터 정보를 예시적으로 나타낸 예시도이며, 도 4는 본 발명의 바람직한 실시예에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템의 흐름도이다.
본 발명의 바람직한 실시예에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템에 의하면, 도 2 내지 도 4에 도시된 바와 같이, 키오스크의 이용고객의 이용접근과 이용고객에 대하여 제공되는 제품이나 서비스의 선택을 감지하기 위한 센서부(10), 센서부(10)에 의하여 감지된 이용고객의 영상이미지를 입력받기 위한 영상입력부(20), 영상입력부(20)로부터 입력된 이미지의 데이터로부터 이용고객의 안면 이미지(I_f)를 감지하여 추출하기 위한 안면 감지부(30), 안면 감지부(30)로부터 추출된 안면 이미지(I_f)에 대하여 동공, 미간 및 입술 이미지(E_f, B_f, L_f) 중의 어느 하나 이상의 이미지변화 데이터(I_v)를 추출하기 위한 안면이미지 추출부(40), 안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)와 관련된 감정 변화의 데이터가 축적되어 저장되며 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화를 저장하기 위한 데이터 베이스부(50), 및 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화 데이터(D_s)에 대한 가중치에 따라 데이터 베이스부(50)의 감정변화 데이터(D_e)를 갱신하도록 제어하기 위한 제어부(60)를 포함한다.
한편, 본 발명의 바람직한 변형예에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템에 의하면, 안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)에 있어서 선택된 제품이나 서비스에 대한 궁금증의 감정에 대한 판단이 이루어질 경우 키오스크 운영서버(미도시)에 대하여 챗을 접속하도록 하기 위한 챗봇 연결부(70)를 더 포함한다.
센서부(10)는 키오스크의 이용고객의 이용접을 감지하기 위한 접근 센서(12)와, 이용고객에 대하여 제공되는 제품이나 서비스의 선택을 감지하기 위한 터치 센서(14)로 이루어진다.
영상입력부(20)는 센서부(10)에 의하여 감지된 이용고객의 영상이미지의 데이터를 입력받기 위한 디지털 촬영장치로 이루어진다.
안면 감지부(30)는 영상입력부(20)로부터 입력된 이미지의 데이터로부터 이용고객의 안면 이미지(I_f)를 감지하여 추출하기 위한 알고리즘이 내재된다.
안면이미지 추출부(40)는 안면 감지부(30)로부터 추출된 안면 이미지(I_f)에 대하여 동공 이미지(E_f)를 추출하여 동공 이미지 변화 데이터(I_ve)를 생성하기 위한 동공이미지 추출부(42), 안면 이미지(I_f)에 대하여 미간 이미지(B_f)를 추출하여 미간 이미지 변화 데이터(I_vb)를 생성하기 위한 미간이미지 추출부(44), 및 안면 이미지(I_f)에 대하여 입술 이미지(L_f)를 추출하여 입술 이미지 변화 데이터(I_vl)를 생성하기 위한 입술이미지 추출부(46)로 이루어진다.
이 때, 안면이미지 추출부(40)는 영상입력부(20)로부터 입력된 안면 이미지(I_f)로부터 동공, 미간, 및 입술 등의 부위마다 벡터 정보 및 시간 정보를 추출한다.
벡터 정보와 시간 정보와 관련하여 얼굴 정보와의 유클리드 거리 D는 다음 식으로 나타낸다.
Figure 112022105849409-pat00003
여기서, to 및 t´0은 각각 안면의 부위(n)의 움직임이 개시된 시각이며, wn은 안면 부위(n)의 가중 계수이며, xn, yn, zn 및 x´n, y´n, z´n 은 각 얼굴의 부위(n)의 위치 벡터이며, Δxn, Δyn, Δzn 및 Δx´n, Δy´n, Δz´n은 각각 얼굴의 부위(n)의 속도 벡터이다.
Figure 112022105849409-pat00004
Figure 112022105849409-pat00005
안면이미지 추출부(40)의 동공이미지 추출부(42), 미간이미지 추출부(44), 및 입술이미지 추출부(46)는 안면 이미지(I_f)의 각 동공 이미지(B_f), 미간 이미지(B_f) 및 입술 이미지(L_f)에 대하여 각 부위에 대한 위치 벡터가 시간에 대한 변화량을 연산하여 출력한다. 이와 같이 연상되어 출력된 벡터의 시간 변화량에 관한 데이터에 대하여 제어부(60)는 데이터 베이스부(50)에 저장된 감정 변화의 데이터와 비교하여 키오스크 이용 고객에 대하여 제공되는 제품이나 서비스의 만족도에 관한 데이터를 매칭하여 키오스크 운영서버 및 데이터 베이스부(50)로 출력한다.
데이터 베이스부(50)는 고객의 데이터가 입력되기 위한 고객 데이터부(52), 안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)와 관련된 감정 변화의 데이터가 축적되어 저장되기 위한 감정변화 데이터부(54), 및 선택된 제품이나 서비스와 관련되어 이용 고객의 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화를 저장하기 위한 매출변화 데이터부(56)를 포함한다.
한편, 제어부(60)는 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화 데이터(D_s)에 대한 가중치에 따라 데이터 베이스부(50)의 감정변화 데이터(D_e)를 갱신하도록 제어한다.
한편, 본 발명의 바람직한 다른 실시예에 따른 안면인식을 통한 고객 맞춤 서비스 제공 시스템에 의하면, 도 4에 도시된 바와 같이, 안면이미지 추출부(40)에 의하여 추출된 이용고객의 이미지변화 데이터(I_v)에 있어서 범죄 결심의 감정 변화와 유사한 데이터가 제어부(60)에 의하여 판단될 경우 키오스크 운영 서버(미도시)의 모니터링 서버(미도시)와 관련 관공서 서버(미도시)와 접속이 이루어지도록 한다.
따라서 본 발명에 의하면, 키오스크를 이용하는 사용자에게 제공되는 제품이나 서비스의 만족도 여부에 대한 얼굴 감정 변화를 인공지능적으로 인지하여 정확하게 고객에 필요한 제품이나 서비스의 제공이 이루어질 수 있을 뿐만 아니라, 키오스크 이용자의 범죄 가능성이나 범죄여부를 인식할 수 있도록 하여 사전에 범죄를 예방함과 동시에 관할 기관에 통보할 수 있도록 하여 치안의 기능을 향상시킬 수 있다.
10: 센서부
20: 영상입력부
30: 안면 감지부
40: 안면이미지 추출부
50-: 데이터 베이스부
60: 제어부
70: 챗봇 연결부
80: 관공서 서버부

Claims (8)

  1. 삭제
  2. 키오스크의 이용고객의 이용접근과 이용고객에 대하여 제공되는 제품이나 서비스의 선택을 감지하기 위한 센서부(10);
    센서부(10)에 의하여 감지된 이용고객의 영상이미지를 입력받기 위한 영상입력부(20);
    영상입력부(20)로부터 입력된 이미지의 데이터로부터 이용고객의 안면 이미지(I_f)를 감지하여 추출하기 위한 안면 감지부(30);
    안면 감지부(30)로부터 추출된 안면 이미지(I_f)에 대하여 동공, 미간 및 입술 이미지(E_f, B_f, L_f) 중의 어느 하나 이상의 이미지변화 데이터(I_v)를 추출하기 위한 안면이미지 추출부(40);
    안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)와 관련된 감정 변화의 데이터가 축적되어 저장되며 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화를 저장하기 위한 데이터 베이스부(50); 및
    이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화 데이터(D_s)에 대한 가중치에 따라 데이터 베이스부(50)의 감정변화 데이터(D_e)를 갱신하도록 제어하기 위한 제어부(60)를 포함하며,
    , 안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)에 있어서 선택된 제품이나 서비스에 대한 궁금증의 감정에 대한 판단이 이루어질 경우 키오스크 운영서버(미도시)에 대하여 챗을 접속하도록 하기 위한 챗봇 연결부(70)를 더 포함하는 것을 특징으로 하는 안면인식을 통한 고객 맞춤 서비스 제공 시스템.
  3. 제2항에 있어서, 안면이미지 추출부(40)는 안면 감지부(30)로부터 추출된 안면 이미지(I_f)에 대하여 동공 이미지(E_f)를 추출하여 동공 이미지 변화 데이터(I_ve)를 생성하기 위한 동공이미지 추출부(42), 안면 이미지(I_f)에 대하여 미간 이미지(B_f)를 추출하여 미간 이미지 변화 데이터(I_vb)를 생성하기 위한 미간이미지 추출부(44), 및 안면 이미지(I_f)에 대하여 입술 이미지(L_f)를 추출하여 입술 이미지 변화 데이터(I_vl)를 생성하기 위한 입술이미지 추출부(46)로 이루어지는 것을 특징으로 하는 안면인식을 통한 고객 맞춤 서비스 제공 시스템.
  4. 제3항에 있어서, 안면이미지 추출부(40)의 동공이미지 추출부(42), 미간이미지 추출부(44), 및 입술이미지 추출부(46)는 안면 이미지(I_f)의 각 동공 이미지(B_f), 미간 이미지(B_f) 및 입술 이미지(L_f)에 대하여 각 부위에 대한 위치 벡터가 시간에 대한 변화량을 연산하여 출력한다. 이와 같이 연상되어 출력된 벡터의 시간 변화량에 관한 데이터에 대하여 제어부(60)는 데이터 베이스부(50)에 저장된 감정 변화의 데이터와 비교하여 키오스크 이용 고객에 대하여 제공되는 제품이나 서비스의 만족도에 관한 데이터를 매칭하여 키오스크 운영서버 및 데이터 베이스부(50)로 출력하는 것을 특징으로 하는 안면인식을 통한 고객 맞춤 서비스 제공 시스템.
  5. 제4항에 있어서, 안면이미지 추출부(40)는 영상입력부(20)로부터 입력된 안면 이미지(I_f)로부터 동공, 미간, 및 입술 등의 부위마다 벡터 정보 및 시간 정보를 추출하며, to 및 t´0은 각각 안면의 부위(n)의 움직임이 개시된 시각이며, wn은 안면 부위(n)의 가중 계수이며, xn, yn, zn 및 x´n, y´n, z´n 은 각 얼굴의 부위(n)의 위치 벡터이며, Δxn, Δyn, Δzn 및 Δx´n, Δy´n, Δz´n은 각각 얼굴의 부위(n)의 속도 벡터라 할 때, 벡터 정보와 시간 정보와 관련하여 얼굴 정보와의 유클리드 거리 D는
    Figure 112022105849409-pat00006

    와
    Figure 112022105849409-pat00007

    로 이루어지는 것을 특징으로 하는 안면인식을 통한 고객 맞춤 서비스 제공 시스템.
  6. 제4항에 있어서, 데이터 베이스부(50)는 고객의 데이터가 입력되기 위한 고객 데이터부(52), 안면이미지 추출부(40)에 의하여 추출된 이미지변화 데이터(I_v)와 관련된 감정 변화의 데이터가 축적되어 저장되기 위한 감정변화 데이터부(54), 및 선택된 제품이나 서비스와 관련되어 이용 고객의 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화를 저장하기 위한 매출변화 데이터부(56)를 포함하는 것을 특징으로 하는 안면인식을 통한 고객 맞춤 서비스 제공 시스템.
  7. 제6항에 있어서, 제어부(60)는 이미지변화 데이터(I_v)를 기반으로 이용고객에 의하여 선택된 제품이나 서비스의 매출변화 데이터(D_s)에 대한 가중치에 따라 데이터 베이스부(50)의 감정변화 데이터(D_e)를 갱신하도록 제어하는 것을 특징으로 하는 안면인식을 통한 고객 맞춤 서비스 제공 시스템.
  8. 제7항에 있어서, 안면이미지 추출부(40)에 의하여 추출된 이용고객의 이미지변화 데이터(I_v)에 있어서 범죄 결심의 감정 변화와 유사한 데이터가 제어부(60)에 의하여 판단될 경우 키오스크 운영 서버(미도시)의 모니터링 서버(미도시)와 관련 관공서 서버(미도시)와 접속이 이루어지도록 하는 것을 특징으로 하는 안면인식을 통한 고객 맞춤 서비스 제공 시스템.
KR1020220128654A 2022-10-07 2022-10-07 안면인식을 통한 고객 맞춤 서비스 제공 시스템 KR102480291B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220128654A KR102480291B1 (ko) 2022-10-07 2022-10-07 안면인식을 통한 고객 맞춤 서비스 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220128654A KR102480291B1 (ko) 2022-10-07 2022-10-07 안면인식을 통한 고객 맞춤 서비스 제공 시스템

Publications (1)

Publication Number Publication Date
KR102480291B1 true KR102480291B1 (ko) 2022-12-26

Family

ID=84547585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220128654A KR102480291B1 (ko) 2022-10-07 2022-10-07 안면인식을 통한 고객 맞춤 서비스 제공 시스템

Country Status (1)

Country Link
KR (1) KR102480291B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110630A (ko) * 2013-03-08 2014-09-17 주식회사 슈프리마 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치
KR20170077366A (ko) * 2015-12-28 2017-07-06 삼성에스디에스 주식회사 얼굴 인식 시스템 및 방법
KR20170133048A (ko) * 2016-05-25 2017-12-05 김선필 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
KR20190123374A (ko) * 2018-04-12 2019-11-01 윤제희 구매자 감정 분석 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140110630A (ko) * 2013-03-08 2014-09-17 주식회사 슈프리마 얼굴 등록 장치, 방법, 포즈 변화 유도 장치 및 얼굴 인식 장치
KR20170077366A (ko) * 2015-12-28 2017-07-06 삼성에스디에스 주식회사 얼굴 인식 시스템 및 방법
KR20170133048A (ko) * 2016-05-25 2017-12-05 김선필 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
KR20190123374A (ko) * 2018-04-12 2019-11-01 윤제희 구매자 감정 분석 시스템

Similar Documents

Publication Publication Date Title
KR101803081B1 (ko) 매장 관리 로봇
KR100776801B1 (ko) 화상 처리 시스템에서의 제스처 인식 장치 및 방법
Abobakr et al. Rgb-d fall detection via deep residual convolutional lstm networks
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR20210000078A (ko) 개인 맞춤형 조절이 가능한 키오스크 및 그 제어 시스템
US20130136304A1 (en) Apparatus and method for controlling presentation of information toward human object
WO2011102416A1 (ja) 移動物体追跡システムおよび移動物体追跡方法
KR20050085583A (ko) 표정 불변 얼굴 인식
CN107735813A (zh) 图像处理系统、图像处理装置、图像处理方法及图像处理程序
JP3727798B2 (ja) 画像監視システム
KR101677426B1 (ko) 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템
JP2002323858A (ja) 情報表示装置付き家庭電化製品、および、情報表示装置の移動用装置
KR102112846B1 (ko) 서초 스마트 시니어 키오스크 교육시스템
CN111052185A (zh) 影像配准方法及其装置
Wilhelm et al. A multi-modal system for tracking and analyzing faces on a mobile robot
JP4208450B2 (ja) 顔画像監視システム
KR102480291B1 (ko) 안면인식을 통한 고객 맞춤 서비스 제공 시스템
KR101817773B1 (ko) 깊이 영상 센싱 기반의 맞춤형 광고 제공 시스템
Cielniak et al. People recognition by mobile robots
JP5627811B1 (ja) 遊技場内管理システム
Amin et al. HMM based automatic Arabic sign language translator using Kinect
JP2023026630A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
KR102592923B1 (ko) 행동분석을 통한 사용자 맞춤형 인터페이스 제공용키오스크 및 그 방법
KR102465608B1 (ko) 동작인식 기반 무인택배 관리시스템 및 이의 제어방법
KR20230077560A (ko) 전시관 맞춤형 서비스 제공 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant