KR20220124441A - 판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체 - Google Patents

판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체 Download PDF

Info

Publication number
KR20220124441A
KR20220124441A KR1020210028045A KR20210028045A KR20220124441A KR 20220124441 A KR20220124441 A KR 20220124441A KR 1020210028045 A KR1020210028045 A KR 1020210028045A KR 20210028045 A KR20210028045 A KR 20210028045A KR 20220124441 A KR20220124441 A KR 20220124441A
Authority
KR
South Korea
Prior art keywords
customer
mask
point
sale management
processor
Prior art date
Application number
KR1020210028045A
Other languages
English (en)
Other versions
KR102632281B1 (ko
Inventor
김규섭
Original Assignee
쿠팡 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쿠팡 주식회사 filed Critical 쿠팡 주식회사
Priority to KR1020210028045A priority Critical patent/KR102632281B1/ko
Priority to PCT/KR2021/019613 priority patent/WO2022186459A1/ko
Publication of KR20220124441A publication Critical patent/KR20220124441A/ko
Application granted granted Critical
Publication of KR102632281B1 publication Critical patent/KR102632281B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/22—Payment schemes or models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

판매시점 관리 장치가 개시된다. 판매시점 관리 장치는 고객의 얼굴 이미지를 획득하는 렌즈부, 고객 및 점원 간의 발화 음성을 인식하는 음성인식부 및 획득된 고객의 얼굴 이미지 및 발화 음성에 기초하여 분쟁 발생 여부를 판단하고, 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 프로세서를 포함한다. 이에 따라, 분쟁 발생 여부를 판단하여 자동적으로 음성 녹음을 수행함으로써 추후 분쟁 해결을 위한 자료를 확보할 수 있다.

Description

판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체{POINT OF SALE MANAGEMENT DEVICE, CONTROLLING METHOD OF THE POINT OF SALE MANAGEMENT DEVICE AND A COMPUTER READABLE RECORDING MEDIUM STORING A PROGRAM THAT CONTROLS THE POINT OF SALE MANAGEMENT DEVICE}
본 발명은 판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체에 관한 것으로, 보다 상세하게는 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체에 관한 것이다.
포스 시스템(POS system: Point Of Sales system)은 까페, 음식점, 대형마트와 같은 곳에서 결재 관리, 재고 관리, 매출 관리등의 형태로 이용되고 있는 판매 관리 시스템을 의미한다.
포스 시스템은 일반적으로 포스 호스트(POS host)와 포스 주변기기(POS peripheral) 및 포스 호스트와 포스 주변기기 사이에 통신이 가능하도록 연결되는 포스 서버(POS server)로 구성될 수 있다. 포스 호스트는 사용자로부터 입력 받은 정보를 기초로 제어 데이터를 생성할 수 있고, 생성된 제어 데이터를 전송하여 제어 데이터에 대응되는 주변기기를 제어하도록 구현될 수 있다.
최근에는 포스 시스템에 얼굴 인식 장비가 부착되어 인식된 얼굴을 통해 결제 프로세스를 진행하는 기술이 개발되었다. 이러한 얼굴 인식 기능이 포스 시스템에 부가될 경우 포스 시스템은 다양한 서비스를 제공할 수 있다.
특히, 고객과 점원 간에 분쟁이 발생하는 경우 포스 시스템의 활용 방안에 대한 필요성이 대두되고 있다.
본 발명의 목적은 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체를 제공함에 있다.
이러한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 판매시점 관리 장치는, 고객의 얼굴 이미지를 획득하는 렌즈부, 고객 및 점원 간의 발화 음성을 인식하는 음성인식부 및 상기 획득된 고객의 얼굴 이미지 및 발화 음성에 기초하여 분쟁 발생 여부를 판단하고, 상기 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 프로세서를 포함한다.
여기서, 상기 프로세서는, 상기 획득된 고객의 얼굴 이미지로부터 얼굴 표정을 인식하고, 상기 발화 음성으로부터 기 설정된 단어를 인식하며, 상기 인식된 얼굴 표정 및 기 설정된 단어에 기초하여 상기 분쟁 발생 여부를 판단할 수 있다.
또한, 상기 프로세서는, 상기 분쟁이 발생된 경우 상기 렌즈부를 통해 상기 고객 및 점원 중 적어도 하나를 녹화 촬영하도록 제어할 수 있다.
또한, 상기 프로세서는, 상기 획득된 고객의 얼굴 이미지에 기초하여 마스크 착용 여부를 판단하고, 마스크를 미착용한 경우 마스크 착용 가이드 음성을 출력할 수 있다.
또한, 상기 프로세서는, 상기 획득된 고객의 얼굴 이미지 상에 표시된 마스크의 형태 및 위치에 관한 정보, 상기 획득된 고객의 얼굴 노출에 관한 정보 및 마스크 착용 끈의 상태에 관한 정보에 기초하여 마스크 착용 수준을 판단하고, 상기 판단된 마스크 착용 수준이 기설정된 수치 이하인 경우 마스크 착용 가이드 음성을 출력할 수 있다.
여기서, 상기 프로세서는, 마스크를 미착용한 경우 또는 상기 판단된 마스크 착용 수준이 상기 기설정된 수치 이하인 경우 결제 프로세스를 중단할 수 있다.
또한, 상기 프로세서는, 상기 마스크 착용 가이드 음성에 따라 상기 고객이 마스크를 착용하는 경우 또는 상기 고객이 마스크를 재착용하여 상기 판단된 마스크 착용 수준이 상기 기설정된 수치를 초과하는 경우 상기 결제 프로세스를 진행할 수 있다.
한편, 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 제어 방법은, 고객의 얼굴 이미지를 획득하는 단계, 고객 및 점원 간의 발화 음성을 인식하는 단계, 상기 획득된 고객의 얼굴 이미지 및 발화 음성에 기초하여 분쟁 발생 여부를 판단하는 단계 및 상기 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 단계를 포함한다.
한편, 본 발명의 일 실시 예에 따른 컴퓨터로 판독이 가능한 기록매체에 저장된 판매시점 관리 장치를 제어하는 프로그램은, 고객의 얼굴 이미지를 획득하는 단계, 고객 및 점원 간의 발화 음성을 인식하는 단계, 상기 획득된 고객의 얼굴 이미지 및 발화 음성에 기초하여 분쟁 발생 여부를 판단하는 단계 및 상기 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 단계를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 분쟁 발생 여부를 판단하여 자동적으로 음성 녹음을 수행함으로써 추후 분쟁 해결을 위한 자료를 확보할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 구성을 도시한 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 구현 예를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 얼굴 표정 및 발화 음성 인식을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 마스크 착용 여부에 대한 결제 프로세스를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 구성을 도시한 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 판매시점 관리 장치(100)는 렌즈부(110), 음성인식부(120) 및 프로세서(130)를 포함한다. 여기서, 판매시점 관리 장치(100)는 POS(POINT OF SALE) 장치라고도 불리우며, 매장에서 판매에 관한 사무처리는 물론 시장조사, 재고조사 등의 종합적인 관리를 가능하게 하는 기기이다.
이러한 판매시점 관리 장치(100)는 최근 들어 생체 정보 인식 기능과 결합하여 사용자의 기호 및 구매 이력을 파악하고 이를 바탕으로 구매 동선 관리, 선호 제품 위치 안내, 예상 구매 물품 선정 등과 같은 다양한 서비스를 제공하고 있다.
본 발명의 일 실시 예에 따른 판매시점 관리 장치(100) 역시 이러한 생체 정보 인식 기능을 활용하여 분쟁이 발생되는 특수한 상황에서 다양한 기능을 제공하고자 한다.
한편, 렌즈부(110)는 고객의 얼굴 이미지를 획득할 수 있다. 이렇게 획득된 얼굴 이미지는 얼굴 인식 및 얼굴 표정 인식이 가능하다. 얼굴 인식 및 얼굴 표정 인식에 대한 인식 알고리즘은 이미 다양한 알고리즘이 공지되어 있는바, 이에 대한 상세한 설명은 생략하기로 한다.
또한, 렌즈부(110)는 판매시점 관리 장치(100)에 삽입된 구성으로 구현될 수도 있으나, 판매시점 관리 장치(100)와 별도로 분리된 구성으로 구현될 수도 있다.
또한, 음성인식부(120)는 고객 및 점원 간의 발화 음성을 인식할 수 있다. 구체적으로, 음성인식부(120)는 크게 언어모델과 음향모델을 사용하여 음성 신호 즉, 고객 및 점원 간의 발화음성 신호로부터 문자 정보를 출력하게 된다. 이때, 기술적으로 언어모델이나 음향모델을 정규화하기 위해 학습 메커니즘 또는 딥러닝 기술이 활용될 수 있다.
한편, 프로세서(130)는 렌즈부(110)를 통해 획득된 고객의 얼굴 이미지 및 음성인식부(120)를 통해 획득된 발화 음성에 기초하여 분쟁 발생 여부를 판단하고, 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행할 수 있다.
구체적으로, 프로세서(130)는 획득된 고객의 얼굴 이미지와 발화 음성으로부터 얼굴의 표정, 발화 음성에 포함된 단어 등에 기초하여 분쟁이 발생되었는지 여부를 판단할 수 있다.
한편, 도 2는 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 구현 예를 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 판매시점 관리 장치(100)는 고객이 사용하는 제1 화면 장치와 점원이 사용하는 제2 화면 장치로 구성될 수 있으며, 각각의 화면 장치에는 화면 장치를 사용하는 사용자의 얼굴 이미지를 획득하기 위한 렌즈부(110)와 사용자의 발화 음성을 인식하기 위한 음성인식부(120)가 구비될 수 있다.
여기서, 렌즈부(110)는 카메라 또는 렌즈 모듈로 구현될 수 있고, 음성인식부(120)는 소형 마이크 또는 내장 마이크로 구현될 수 있다.
또한, 도 2에 도시된 본 발명의 일 실시 예에 따른 판매시점 관리 장치(100)는 고객이 사용하는 제1 화면 장치와 점원이 사용하는 제2 화면 장치로 구성되어 있으나, 이에 한정되지 않고 하나의 화면 장치가 회전되어 고객 및 점원에게 사용될 수도 있으며, 단순히 고객의 얼굴 이미지와 발화음성을 인식하는 화면 장치로 구현될 수도 있다.
한편, 프로세서(130)는 획득된 고객의 얼굴 이미지로부터 얼굴 표정을 인식하고 발화 음성으로부터 기 설정된 단어를 인식하며, 인식된 얼굴 표정 및 기 설정된 단어에 기초하여 분쟁 발생 여부를 판단할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 얼굴 표정 및 발화 음성 인식을 설명하기 위한 도면이다.
도 3을 참조하면, 렌즈부(110)를 통해 획득된 사용자의 얼굴 이미지가 도시되어 있으며, 프로세서(130)는 먼저 사용자의 얼굴 영역(310)을 인식하고, 인식된 얼굴 영역으로부터 얼굴의 윤곽(311)을 인식하고 각 얼굴의 특징 예를 들어, 눈썹의 모양(312), 윗입술의 모양(313), 아랫입술의 모양(314), 코의 모양(315) 등을 추출할 수 있다.
그리고, 프로세서(130)는 추출된 얼굴 영역(310)과 얼굴의 윤곽(311) 및 각 얼굴의 특징(312, 313, 314, 315) 등에 기초하여 얼굴의 표정을 인식할 수 있다. 이때, 프로세서(130)는 추출된 얼굴 영역(310), 얼굴의 윤곽(311) 및 각 얼굴의 특징(312, 313, 314, 315) 각각에 대해 가중치를 상이하게 두어 얼굴의 표정 인식 정확도를 높일 수 있다.
한편, 표정을 인식하는 과정을 상세히 설명하기로 한다. 프로세서(130)는 고객의 얼굴 이미지로부터 얼굴 표정을 인식하는데 있어서, 얼굴 검출, 특징 추출, 분류기 및 표정 인식의 단계를 수행한다.
여기서, 프로세서(130)는 얼굴 검출에 있어서 전체 얼굴에 대한 검출뿐 아니라 표정 인식을 위하여 필요한 얼굴 부분만을 검출할 수도 있다.
그리고, 프로세서(130)는 얼굴 검출 후에 검출된 얼굴을 바탕으로 정규화를 수행한다. 예를 들어, 얼굴이 기울어져 있거나 정면을 보지 않고 돌아가 이TDmf 경우에 전체 얼굴에 대한 회전이나 와핑(warping)을 통해 얼굴을 정규화한다.
또한, 프로세서(130)는 얼굴 검출 후에 표정 인식을 위한 얼굴 특징 추출을 수행한다. 여기서, 얼굴 특징 추출은 이미지 기반 특징 추출과 모델 기반 특징 추출로 나뉜다.
이미지 기반 특징 추출의 경우에는 얼굴 검출을 통하여 추출된 이미지에 대하여 이미지에 대한 PCA(Principle Component Analysis)와 같은 차원 감소 기법을 이용하거나 이미지들 사이의 변형을 추출하거나 이미지 픽셀 단위의 이동 추출을 통한 표정의 움직임을 추출하여 사용하게 된다.
또한, 모델 기반 특징 추출의 경우에는 2차원 점들의 분포에 대한 모델을 바탕으로 한 ASM(Active Shape Model), 3차원 기하학적 모델 또는 2차원의 외형모델을 바탕으로 한 AAM(Active Appearance Model) 등이 개발되고 표정인식의 특징을 추출하기 위하여 사용된다.
여기서, 모델 기반 특징 추출의 경우에는 모델을 추정하는 과정에서 기본모델로부터 변형된 모델에 대한 계수를 찾게 되며, 이러한 과정에서 정규화도 이루어지게 된다.
그리고, 표정 분류는 추출된 표정 특징을 바탕으로 기본 표정 중에 하나로 분류하거나 또는 표정 인식을 위한 중간 단계의 분류를 수행하게 된다. 또한, 중간 단계의 분류로는 표정동작 단위인 AU로의 분류가 일반적으로 사용된다.
표정 분류의 결과가 기본 표정 중에 어떠한 표정인지를 바로 결정하기도 하지만, AU 분류의 경우에는 AU 분류 결과를 바탕으로 최종 표정을 분류하게 된다.
프로세서(130)는 상술한 표정 인식 과정을 순차적으로 수행함으로써 고객의 얼굴 이미지로부터 얼굴 표정을 인식할 수 있다.
또한, 프로세서(130)는 사용자가 발화한 음성(320)으로부터 기 설정된 단어를 추출하여 인식할 수 있다. 예를 들어, 기 설정된 단어가 "야" 또는 "지금 뭐라고 했어" 인 경우, 프로세서(130)는 사용자 발화한 음성(320)으로부터 "야", "지금 뭐라고 했어"가 포함되어 있는지 여부를 판단하여 인식할 수 있다.
물론, 기 설정된 단어는 분쟁 발생과 관련된 다양한 단어들을 포함할 수 있으며, 분쟁 발생과 관련된 다양한 단어들은 딥러닝을 통해 계속적으로 쌓여서 학습될 수 있고, 이러한 단어들은 하나의 룩업 테이블 형태로 제공되어 프로세서(130)가 룩업 테이블과 사용자가 발화한 음성(320)을 비교하여 기 설정된 단어가 사용자의 발화 음성(320)에 포함되어 있는지 여부를 판단할 수 있다.
그리고, 프로세서(130)는 인식된 얼굴 표정 및 인식된 기 설정된 단어에 기초하여 분쟁 발생 여부를 판단할 수 있다. 특히, 프로세서(130)는 인식된 얼굴 표정이 "화남", "기분 나쁨" 등으로 판단되고, 기 설정된 단어 예를 들어, "야", "지금 뭐라고 했어" 등이 인식되는 경우 분쟁이 발생된 것으로 판단할 수 있다.
뿐만 아니라, 프로세서(130)는 사용자가 발화한 음성(320)으로부터 목소리 톤, 굵기, 억양, 뉘앙스 등에 관한 정보를 추출할 수 있으며, 목소리 톤, 굵기, 억양, 뉘앙스 등에 관한 정보에 기초하여 분쟁 발생 여부 판단의 정확도를 높일 수 있다.
또한, 렌즈부(110)는 고객의 얼굴 이미지뿐만 아니라 고객의 행동을 인식할 수도 있으며, 이에 따라 프로세서(130)는 인식된 고객의 행동에 기초하여 분쟁 발생 여부의 판단의 정확도를 높일 수 있다. 예를 들어, 프로세서(130)는 고객의 행동이 비이성적이거나 폭력적이라고 판단되는 경우, 분쟁이 발생된 것으로 판단할 수 있다.
이에 따라, 프로세서(130)는 분쟁이 발생된 것으로 판단되면, 자동적으로 음성 녹음을 수행하여 분쟁 관련 상황을 기록화할 수 있다. 그리고, 프로세서(130)는 녹음된 음성 파일을 날짜 및 시간 순으로 메모리에 저장하거나 서버로 전송할 수 있다.
한편, 프로세서(130)는 인식된 얼굴 표정 및 기 설정된 단어에 기초하여 분쟁 발생 여부를 판단함과 동시에 분쟁의 심각성 정도를 판단할 수 있다.
구체적으로, 프로세서(130)는 인식된 얼굴 표정 결과 및 기 설정된 단어의 종류에 따라 분쟁의 심각성 정도를 판단할 수 있다. 즉, 프로세서(130)는 분쟁이 발생되더라도 발생된 분쟁의 심각성 정도를 판단할 수 있다.
예를 들어, 인식된 얼굴 표정 결과가 냉소적인 제1 단계 및 기분 나쁜 제2 단계 중 냉소적인 제1 단계에 해당되는 것으로 판단되고 인식된 기 설정된 단어의 종류가 주로 "욕"이 아닌 반말을 포함하는 경우 프로세서(130)는 분쟁이 발생한 것으로 판단함과 동시에 분쟁의 심각성 정도를 첫번째 심각 단계인 제1 심각 단계로 판단할 수 있다.
그리고, 인식된 얼굴 표정 결과가 냉소적인 제1 단계 및 기분 나쁜 제2 단계 중 기분 나쁜 제2 단계에 해당되는 것으로 판단되고 인식된 기 설정된 단어의 종류가 주로 "욕"을 포함하는 경우 프로세서(130)는 분쟁이 발생한 것으로 판단함과 동시에 분쟁의 심각성 정도를 두번째 심각 단계인 제2 심각 단계로 판단할 수 있다.
여기서, 제2 심각 단계는 제1 심각 단계보다 더 심각한 단계를 의미한다.
만약 프로세서(130)는 분쟁의 심각성 정도가 제2 심각 단계로 판단되는 경우 자동적으로 음성 녹음을 수행하는 것 이외에 해당 매장의 매니저의 사용자 단말 장치로 호출 알림을 보내거나 현재 분쟁 상황을 메시지로 전송할 수 있다. 또한, 프로세서(130)는 분쟁의 심각성 정도가 제2 심각 단계로 판단되는 경우 자동적으로 경찰서에 신고하여 해당 매장의 주소와 현재 상황에 관한 정보를 전송하여 경찰관의 출동을 요청할 수도 있다.
이와 같이, 프로세서(130)는 인식된 얼굴 표정의 결과값과 인식된 기설정된 단어의 종류에 따라 분쟁의 심각성 정도를 판단할 수 있으며, 분쟁의 심각성 정도는 상술한 예에 한정되지 않고 더욱 다양하게 세분화될 수 있으며, 프로세서(130)는 분쟁의 심각성 정도에 따라 상이한 기능을 수행할 수 있다.
예를 들어, 프로세서(130)는 분쟁의 심각성 정도에 따라 음성 녹음, 영상 촬영, 비상벨 울림, 경비원 호출, 매니저 호출, 경고 방송 및 경찰서 신고 등과 같은 다양한 기능 중 적어도 하나를 선택적으로 취합하여 수행할 수 있다.
또한, 프로세서(130)는 분쟁이 발생된 경우 렌즈부(110)를 통해 고객 및 점원 중 적어도 하나를 녹화 촬영하도록 제어할 수 있다. 즉, 프로세서(130)는 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행함과 동시에 렌즈부(110)를 통해 고객 및 점원 중 적어도 하나를 녹화 촬영함으로써, 분쟁 관련 동영상 파일을 생성하여 메모리에 저장하거나 서버로 전송할 수 있다.
한편, 프로세서(130)는 획득된 고객의 얼굴 이미지에 기초하여 마스크 착용 여부를 판단하고 마스크를 미착용한 경우 마스크 착용 가이드 음성을 출력할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 마스크 착용 여부에 대한 결제 프로세스를 설명하기 위한 도면이다.
도 4를 참조하면, 사용자가 마스크를 미착용한채 렌즈부(110)에 의해 촬영된 제1 이미지(410)에 대해, 프로세서(130)는 마스크 착용 여부를 판단하여 마스크가 미착용되었음을 확인할 수 있고, 이에 따라 프로세서(130)는 마스크 착용 가이드 음성 출력(440)을 수행할 수 있다.
또한, 프로세서(130)는 획득된 고객의 얼굴 이미지 상에 표시된 마스크의 형태 및 위치에 관한 정보, 획득된 고객의 얼굴 노출에 관한 정보 및 마스크 착용 끈의 상태에 관한 정보에 기초하여 마스크 착용 수준을 판단할 수 있다.
여기서, 마스크의 형태 및 위치에 관한 정보는 고객의 얼굴 이미지 상에 표시된 마스크의 모양, 형상, 고객의 얼굴 영역 상에서 마스크의 위치 등에 관한 정보를 포함한다.
또한, 획득된 고객의 얼굴 노출에 관한 정보는 고객의 얼굴 영역 중 마스크로 가려지지 않은 영역에 관한 정보를 포함한다.
또한, 마스크 착용 끈의 상태에 관한 정보는 마스크 양 측에 존재하는 착용 끈이 모두 존재하는지 귀에 걸려있는지 등에 관한 정보를 포함한다.
예를 들어, 고객의 얼굴 이미지 상에 표시된 마스크의 형태가 한쪽이 찌그러져있다던지 접혀있는 경우 또는 마스크의 위치가 얼굴 영역의 아래에 위치한 경우 또는 고객의 코가 노출된 경우 또는 마스크 착용 끈의 한쪽이 끊어지거나 느슨한 경우 등에 있어서, 각각의 경우에 대해 프로세서(130)는 점수를 매길 수 있고, 매겨진 점수에 따라 마스크의 착용 수준을 판단할 수 있다.
그리고, 프로세서(130)는 판단된 마스크 착용 수준이 기설정된 수치 이하인 경우 마스크가 제대로 착용되어 있지 않은 것으로 판단하여 마스크 착용 가이드 음성을 출력할 수 있다.
예를 들어, 마스크가 제대로 착용되어 있는지 여부를 판단하는 기설정된 수치가 80이라고 상정하면, 마스크의 형태가 한쪽이 찌그러진채 고객의 코가 노출된 경우에 있어서 프로세서(130)는 마스크의 형태가 한쪽이 찌그러진 것에 대해 -10, 코가 노출된 경우에 대해 -30으로 점수를 매겨 고객의 마스크 착용 수준에 대한 점수를 최종 60점으로 산출할 수 있고, 이렇게 산출된 점수 60점이 기설정된 수치 80보다 낮은 경우, 프로세서(130)는 고객이 마스크를 제대로 착용하고 있지 않은 것으로 판단할 수 있다. 그리고, 이러한 경우 프로세서(130)는 마스크 착용 가이드 음성을 출력할 수 있다.
물론, 프로세서(130)는 마스크를 판단된 마스크 착용 수준이 기설된 수치 이하인 경우 스피커부(미도시)를 통해 마스크 착용 가이드 음성을 출력할 수도 있고, 이와 더불어 판매시점 관리 장치(100)의 화면 상에 마스크 착용 가이드 화면을 디스플레이할 수도 있다.
도 4를 참조하면, 사용자가 코를 노출시킨채 입만 가리는 방식으로 마스크를 착용한채 렌즈부(110)에 의해 촬영된 제2 이미지(420)에 대해, 프로세서(130)는 마스크의 착용 여부를 판단하여 마스크가 착용된 것을 확인한 후, 마스크 착용 수준을 판단할 수 있다.
그리고, 프로세서(130)는 제2 이미지(420)에 대해 상술한 바와 같이 마스크 착용 수준을 판단하여 판단된 마스크 착용 수준 관련 수치가 기설정된 수치 이하인 경우 마스크 착용 가이드 음성 출력(440)을 수행할 수 있다.
한편, 프로세서(130)는 마스크를 미착용한 경우 또는 판단된 마스크 착용 수준이 기설정된 수치 이하인 경우 결제 프로세스를 중단할 수 있다.
즉, 프로세서(130)는 제1 이미지(410)와 같이 마스크를 미착용한 것으로 판단하거나, 제2 이미지(420)와 같이 마스크가 제대로 착용되지 않은 것으로 판단되는 경우 즉, 판단된 마스크 착용 수준이 기설된 수치 이하로 판단되면, 결제 프로세스를 중단하여 더 이상 결제가 진행되지 않도록 할 수 있다.
또는, 프로세서(130)는 제1 이미지(410)와 같이 마스크를 미착용한 것으로 판단하거나, 제2 이미지(420)와 같이 마스크가 제대로 착용되지 않은 것으로 판단되는 경우, 처음부터 결제 프로세스 자체가 진행되지 않도록 할 수 있다.
그리고, 프로세서(130)는 마스크 착용 가이드 음성에 따라 고객이 마스크를 착용하는 경우 또는 고객이 마스크를 재착용하여 판단된 마스크 착용 수준이 기설정된 수치를 초과하는 경우 결제 프로세스를 진행할 수 있다.
도 4를 참조하면, 마스크 착용 가이드 음성이 출력(440)되고, 결제 프로세스가 중단된 경우(450), 사용자가 마스크 착용 가이드 음성에 따라 마스크를 꺼내 착용하거나 또는 마스크를 제대로 착용하여 렌즈부(110)에 의해 제3 이미지(430)가 촬영된 경우, 프로세서(130)는 중단된 결제 프로세스를 다시 진행하거나 또는 결제 프로세스를 시작하여 결제 프로세스 진행(460)을 수행할 수 있다.
물론, 마스크 착용 가이드 음성이 출력되고 결제 프로세스가 중단된 경우 마스크를 착용하거나 또는 마스크를 제대로 착용함으로써, 프로세서(130)는 결제 프로세스 진행을 수행하는 것뿐만 아니라, 처음부터 사용자가 마스크를 제대로 착용한 것으로 판단되는 경우에는 프로세서(130)는 바로 결제 프로세스 진행을 수행할 수 있다.
이에 따라, 사용자는 결제를 진행하고자 할 경우 마스크를 올바르게 착용할 수 밖에 없으며, 만약 마스크 착용 여부와 관련하여 고객과 점원 간에 말싸움이 일어나게 될 경우 앞서 설명한 바와 같이 프로세서(130)는 고객의 얼굴 이미지 및 발화 음성에 기초하여 분쟁이 발생된 것으로 판단하여 자동적으로 음성 녹음을 수행할 수 있다.
상술한 바와 같이, 프로세서(130)는 고객의 얼굴 이미지로부터 마스크 착용 여부 및 마스크의 착용 수준을 판단하고, 판단 결과에 따라 결제 프로세스의 진행 여부를 결정할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 제어 방법은 고객의 얼굴 이미지를 획득하는 단계(S510), 고객 및 점원 간의 발화 음성을 인식하는 단계(S520), 획득된 고객의 얼굴 이미지 및 발화 음성에 기초하여 분쟁 발생 여부를 판단하는 단계(S530) 및 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 단계(S540)를 포함한다.
여기서, 분쟁 발생 여부를 판단하는 단계(S530)는, 획득된 고객의 얼굴 이미지로부터 얼굴 표정을 인식하고 발화 음성으로부터 기 설정된 단어를 인식하며, 인식된 얼굴 표정 및 기 설정된 단어에 기초하여 분쟁 발생 여부를 판단할 수 있다.
또한, 본 발명의 일 실시 예에 따른 판매 시점 관리 장치의 제어 방법은 분쟁이 발생된 경우 고객 및 점원 중 적어도 하나를 녹화 촬영하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 제어 방법은 획득된 고객의 얼굴 이미지에 기초하여 마스크 착용 여부를 판단하고 마스크를 미착용한 경우 마스크 착용 가이드 음성을 출력하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 제어 방법은 획득된 고객의 얼굴 이미지 상에 표시된 마스크의 형태 및 위치에 관한 정보, 획득된 고객의 얼굴 노출에 관한 정보 및 마스크 착용 끈의 상태에 관한 정보에 기초하여 마스크 착용 수준을 판단하고, 판단된 마스크 착용 수준이 기설정된 수치 이하인 경우 마스크 착용 가이드 음성을 출력하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 제어 방법은 마스크를 미착용한 경우 또는 판단된 마스크 착용 수준이 기설정된 수치 이하인 경우 결제 프로세스를 중단하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 판매시점 관리 장치의 제어 방법은 마스크 착용 가이드 음성에 따라 고객이 마스크를 착용하는 경우 또는 고객이 마스크를 재착용하여 판단된 마스크 착용 수준이 기설정된 수치를 초과하는 경우 결제 프로세스를 진행하는 단계를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 컴퓨터 판독이 가능한 기록매체는 판매시점 관리 장치를 제어하는 프로그램을 저장한다. 여기서, 저장매체는 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같이 다양한 종류 및 형태로 구현될 수 있다.
판매시점 관리 장치를 제어하는 프로그램은 고객의 얼굴 이미지를 획득하는 단계, 고객 및 점원 간의 발화 음성을 인식하는 단계, 획득된 고객의 얼굴 이미지 및 발화 음성에 기초하여 분쟁 발생 여부를 판단하는 단계 및 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 단계를 순차적으로 수행할 수 있다.
또한, 판매시점 관리 장치를 제어하는 프로그램은 상술한 판매시점 관리 장치를 제어하는 제어 방법의 구체적인 과정을 동일하게 수행할 수 있다.
한편, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 판매시점 관리 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 판매시점 관리 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 판매시점 관리 장치 110: 렌즈부
120: 음성인식부 130: 프로세서

Claims (9)

  1. 고객의 얼굴 이미지를 획득하는 렌즈부;
    고객 및 점원 간의 발화 음성을 인식하는 음성인식부; 및
    상기 획득된 고객의 얼굴 이미지 및 발화 음성에 기초하여 분쟁 발생 여부를 판단하고, 상기 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 프로세서;를 포함하는 판매시점 관리 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 고객의 얼굴 이미지로부터 얼굴 표정을 인식하고, 상기 발화 음성으로부터 기 설정된 단어를 인식하며, 상기 인식된 얼굴 표정 및 기 설정된 단어에 기초하여 상기 분쟁 발생 여부를 판단하는 것인, 판매시점 관리 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 분쟁이 발생된 경우 상기 렌즈부를 통해 상기 고객 및 점원 중 적어도 하나를 녹화 촬영하도록 제어하는 것인, 판매시점 관리 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 획득된 고객의 얼굴 이미지에 기초하여 마스크 착용 여부를 판단하고, 마스크를 미착용한 경우 마스크 착용 가이드 음성을 출력하는 것인, 판매시점 관리 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    상기 획득된 고객의 얼굴 이미지 상에 표시된 마스크의 형태 및 위치에 관한 정보, 상기 획득된 고객의 얼굴 노출에 관한 정보 및 마스크 착용 끈의 상태에 관한 정보에 기초하여 마스크 착용 수준을 판단하고, 상기 판단된 마스크 착용 수준이 기설정된 수치 이하인 경우 마스크 착용 가이드 음성을 출력하는 것인, 판매시점 관리 장치.
  6. 제4항 또는 제5항에 있어서,
    상기 프로세서는,
    마스크를 미착용한 경우 또는 상기 판단된 마스크 착용 수준이 상기 기설정된 수치 이하인 경우 결제 프로세스를 중단하는 것인, 판매시점 관리 장치.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 마스크 착용 가이드 음성에 따라 상기 고객이 마스크를 착용하는 경우 또는 상기 고객이 마스크를 재착용하여 상기 판단된 마스크 착용 수준이 상기 기설정된 수치를 초과하는 경우 상기 결제 프로세스를 진행하는 것인, 판매시점 관리 장치.
  8. 판매시점 관리 장치의 제어 방법에 있어서,
    고객의 얼굴 이미지를 획득하는 단계;
    고객 및 점원 간의 발화 음성을 인식하는 단계;
    상기 획득된 고객의 얼굴 이미지 및 발화 음성에 기초하여 분쟁 발생 여부를 판단하는 단계; 및
    상기 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 단계;를 포함하는 판매시점 관리 장치의 제어 방법.
  9. 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체에 있어서,
    상기 프로그램은,
    고객의 얼굴 이미지를 획득하는 단계;
    고객 및 점원 간의 발화 음성을 인식하는 단계;
    상기 획득된 고객의 얼굴 이미지 및 발화 음성에 기초하여 분쟁 발생 여부를 판단하는 단계; 및
    상기 분쟁이 발생된 경우 자동적으로 음성 녹음을 수행하는 단계;를 포함하는 컴퓨터 판독이 가능한 기록매체.
KR1020210028045A 2021-03-03 2021-03-03 판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체 KR102632281B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210028045A KR102632281B1 (ko) 2021-03-03 2021-03-03 판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체
PCT/KR2021/019613 WO2022186459A1 (ko) 2021-03-03 2021-12-22 판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210028045A KR102632281B1 (ko) 2021-03-03 2021-03-03 판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20220124441A true KR20220124441A (ko) 2022-09-14
KR102632281B1 KR102632281B1 (ko) 2024-02-02

Family

ID=83155401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210028045A KR102632281B1 (ko) 2021-03-03 2021-03-03 판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체

Country Status (2)

Country Link
KR (1) KR102632281B1 (ko)
WO (1) WO2022186459A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000106602A (ja) * 1998-09-28 2000-04-11 Mitsubishi Electric Corp 顧客情報データベース生成システム
KR20180052863A (ko) * 2016-11-11 2018-05-21 주식회사 얍컴퍼니 비콘 기반의 음성 녹음 기능을 갖는 결제 처리 장치와 이를 이용한 음성 녹음 방법
KR20200019297A (ko) * 2018-08-09 2020-02-24 에스케이텔레콤 주식회사 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법
KR20200080585A (ko) * 2018-12-27 2020-07-07 효성아이티엑스(주) 컴퓨팅 장치 및 이를 이용하는 스마트 컨택 센터 서비스 시스템
KR102134903B1 (ko) * 2020-06-08 2020-07-17 주식회사 유니온씨티 감염예방 인증 키오스크

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4322537B2 (ja) * 2003-04-07 2009-09-02 株式会社豊田中央研究所 マスク着用判定装置
JP6478006B2 (ja) * 2013-12-16 2019-03-06 パナソニックＩｐマネジメント株式会社 無線通信装置、無線通信システム、及びデータ処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000106602A (ja) * 1998-09-28 2000-04-11 Mitsubishi Electric Corp 顧客情報データベース生成システム
KR20180052863A (ko) * 2016-11-11 2018-05-21 주식회사 얍컴퍼니 비콘 기반의 음성 녹음 기능을 갖는 결제 처리 장치와 이를 이용한 음성 녹음 방법
KR20200019297A (ko) * 2018-08-09 2020-02-24 에스케이텔레콤 주식회사 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법
KR20200080585A (ko) * 2018-12-27 2020-07-07 효성아이티엑스(주) 컴퓨팅 장치 및 이를 이용하는 스마트 컨택 센터 서비스 시스템
KR102134903B1 (ko) * 2020-06-08 2020-07-17 주식회사 유니온씨티 감염예방 인증 키오스크

Also Published As

Publication number Publication date
WO2022186459A1 (ko) 2022-09-09
KR102632281B1 (ko) 2024-02-02

Similar Documents

Publication Publication Date Title
CN112328999B (zh) 双录质检方法、装置、服务器及存储介质
EP3067829B1 (en) Person authentication method
US20170364854A1 (en) Information processing device, conduct evaluation method, and program storage medium
JP6596899B2 (ja) 接客データ処理装置及び接客データ処理方法
US20180096353A1 (en) Payment system, payment apparatus, program, and payment method
US20160300247A1 (en) Sales data processing apparatus, server and method for acquiring attribute information
US20150278585A1 (en) Video processing system for video surveillance and methods for use therewith
AU2015324346A1 (en) Credit card with built-in sensor for fraud detection
KR101216115B1 (ko) 고객 인적정보 생성방법 및 생성장치, 그 기록매체 및 포스 시스템
US20160180315A1 (en) Information processing apparatus using object recognition, and commodity identification method by the same
JP5787686B2 (ja) 顔認識装置、及び顔認識方法
JP2019168762A (ja) 精算システム、精算方法及びプログラム
JP2013045300A (ja) 顔認証装置、顔認証方法及びプログラム
KR102632281B1 (ko) 판매시점 관리 장치, 판매시점 관리 장치의 제어 방법 및 판매시점 관리 장치를 제어하는 프로그램이 저장된 컴퓨터 판독이 가능한 기록매체
JP2013114043A (ja) 情報処理装置及びプログラム
JP7070674B2 (ja) 登録システム、登録方法及びプログラム
JP5751889B2 (ja) 顔画像認証装置
US20180276636A1 (en) Point-of-sale terminal having a dynamically set user interface
CN108174298B (zh) 业务内容播放方法及装置
KR20210158466A (ko) 음성인식을 사용한 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법
JP6140327B2 (ja) メッセージ送信システム、メッセージ送信方法、プログラム
US20170068848A1 (en) Display control apparatus, display control method, and computer program product
US20230419736A1 (en) Detection apparatus and spoofing detection method
JP2015022357A (ja) 情報処理システム、情報処理方法および情報処理装置
US11490285B2 (en) Server and method of controlling the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant