KR102253279B1 - 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법 - Google Patents

인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법 Download PDF

Info

Publication number
KR102253279B1
KR102253279B1 KR1020200173370A KR20200173370A KR102253279B1 KR 102253279 B1 KR102253279 B1 KR 102253279B1 KR 1020200173370 A KR1020200173370 A KR 1020200173370A KR 20200173370 A KR20200173370 A KR 20200173370A KR 102253279 B1 KR102253279 B1 KR 102253279B1
Authority
KR
South Korea
Prior art keywords
user
kiosk
artificial intelligence
voice
age
Prior art date
Application number
KR1020200173370A
Other languages
English (en)
Inventor
고태건
박민준
Original Assignee
고태건
박민준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고태건, 박민준 filed Critical 고태건
Priority to KR1020200173370A priority Critical patent/KR102253279B1/ko
Application granted granted Critical
Publication of KR102253279B1 publication Critical patent/KR102253279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

본 발명은 인공지능을 사용하는 키오스크 기반 무인결제시스템으로서, 디스플레이를 통해 메뉴를 표시하고 사용자로부터 터치 또는 음성으로 주문을 입력 받고 주문 내역을 표시하는, 키오스크; 및 키오스크를 통해 사용자로부터 입력된 주문 정보를 분석하고 분석 결과를 키오스크에 전송하는, 서버; 를 포함하고, 상기 서버는, 사람인식 인공지능에 기반하여 상기 키오스크 앞에 사용자가 존재하는지 여부를 검출하고, 연령예측 인공지능에 기반하여 상기 사람인식 인공지능을 통해 검출된 사용자의 연령대를 예측하고, 및 음성인식 인공지능에 기반하여 사용자의 음성을 분석하고 상기 키오스크를 통해 사용자와 음성으로 양방향 대화하도록 구성된다.

Description

인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법{KIOSK-BASED UNMANNED PAYMENT SYSTEM USING ARTIFICIAL INTELLIGENCE AND ITS METHOD}
본 발명은 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 인공지능을 이용하여 사람을 인식하고 연령을 예측하여 맞춤 UI/UX를 제공하고 음성인식을 통해 양방향 대화 기반 주문이 가능한 키오스크 기반 무인결제시스템 및 그 방법에 관한 것이다.
인공지능(Artificial Intelligence, AI)은 인간의 지능으로 할 수 있는 사고, 학습, 자기 개발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로서, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있게 한다.
키오스크는 ‘신문, 음료 등을 파는 매점'을 뜻하는 영어단어로, 정보통신에서는 정보서비스와 업무의 무인/자동화를 통해 대중들이 쉽게 이용할 수 있도록 공공장소에 설치한 무인단말기를 말한다. 대부분 키보드를 사용하지 않고 손을 화면에 접촉하는 터치스크린(touch screen)을 채택하여 단계적으로 쉽게 검색할 수 있다. 최근에는 무인화/자동화 확산과 비대면화 서비스 선호 현상 및 인력절감 차원에서 많은 식당 또는 프랜차이즈 음식점 등에서 음식 주문용으로도 점점 널리 활용되고 있다.
2018년 기준으로 대형 프랜차이즈 패스트푸드점의 키오스크 도입률이 60% 전후이거나 그보다 훨씬 웃돌고 있으며 그 증가폭도 가파르게 상승하고 있는 등, 현재 식당이나 프랜차이즈 등 요식업체에서 키오스크 도입률이 증가하는 추세이다. 키오스크는 외식 산업뿐만 아니라 영화관, 마트, 교통, 편의점 등의 업계로 차츰 지평을 넓히고 있다. 그러나, 역설적으로 편의성 향상을 위해 도입된 키오스크는 장노년층과 장애인 등의 디지털 기기 사용이 불편하거나 익숙하지 않은 디지털 소외계층 또는 정보 취약계층에게는 종래의 대인 주문방식보다 더 불편함을 초래하고 있다.
또한 키오스크는 디지털 소외계층이 아닌 사람들 조차 키오스크 결제를 불편해 하는 사람이 많을 만큼 복잡한 메뉴의 구성을 가지고 사용 방식도 어려우며, 섰을 때의 눈높이에 맞춰 설계됐기 때문에 휠체어를 사용하는 장애인의 경우에는 사용이 불편하고, 대체로 이어폰 단자나 점자가 별도로 마련되어있지 않은 경우가 많아 시각장애인에 불편을 초래한다.
이에 따라 본 발명은 디지털소외계층도 불편함 없이 사용할 수 있는 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법을 제시한다. 본 발명의 무인결제시스템은 인공지능을 기반으로, 장노년층도 더욱 다루기 쉽도록 연령대에 맞춘 인터페이스로 메뉴를 제공하고, 한국어에 기반하며, 표준어 외에 사투리를 사용하는 사람들도 어려움 없이 사용할 수 있게 한다.
상술한 기술적 과제 해결을 위하여, 본 발명의 일 실시예에 따른 인공지능을 사용하는 키오스크 기반 무인결제시스템은: 디스플레이를 통해 메뉴를 표시하고 사용자로부터 터치 또는 음성으로 주문을 입력 받고 주문 내역을 표시하는, 키오스크; 및 키오스크를 통해 사용자로부터 입력된 정보를 분석하고 분석 결과를 키오스크에 전송하는, 서버; 를 포함하고, 상기 서버는, 사람인식 인공지능에 기반하여 상기 키오스크 앞에 사용자가 존재하는지 여부를 검출하고, 연령예측 인공지능에 기반하여 상기 사람인식 인공지능을 통해 검출된 사용자의 연령대를 예측하고, 및 음성인식 인공지능에 기반하여 사용자의 음성을 분석하고 상기 키오스크를 통해 사용자와 음성으로 양방향 대화하도록 구성될 수 있다.
본 발명의 일 실시예에 따른 인공지능을 사용하는 키오스크 기반 무인결제시스템에 있어서, 상기 음성인식 인공지능은 사투리를 표준어로 변환하는 표준어 변환 인공지능 모델로 기계학습되어 입력된 사용자의 음성이 사투리인 경우 표준어로 변환할 수 있다.
본 발명의 일 실시예에 따른 인공지능을 사용하는 키오스크 기반 무인결제시스템에 있어서, 상기 음성인식 인공지능은 상기 무인결제시스템이 한국어 기반으로 작동하도록 적어도 하나의 한국어 기반 음성 및 음향 모델과 적어도 하나의 한국어 표준어 데이터셋을 활용하여 기계학습될 수 있다.
본 발명의 일 실시예에 따른 인공지능을 사용하는 키오스크 기반 무인결제시스템에 있어서, 상기 연령예측 인공지능은 객체 검출(object detection) 및 CNN(convolution neural network) 알고리즘을 사용하여 사용자의 얼굴로부터 사용자의 연령대를 예측하고, 상기 키오스크는 예측된 사용자의 연령대에 따라 미리 적합하게 결정된 UI/UX 디자인으로 메뉴를 디스플레이에 표시할 수 있다.
본 발명의 일 실시예에 따른 인공지능을 사용하는 키오스크 기반 무인결제시스템에 있어서, 상기 음성인식 인공지능은 사용자의 연령대에 따라 서로 다른 어투 및 어법으로 음성을 구사하기 위한 음성 구사 인공지능 모델로 기계학습될 수 있다.
본 발명의 일 실시예에 따른 인공지능을 사용하는 키오스크 기반 무인결제시스템에 있어서, 상기 음성인식 인공지능은 STT(speech to text) 및 정규화를 통해 사용자의 음성을 분석하여 주문 내역을 확인하고, 상기 키오스크는 서버로부터 전송된 사용자의 주문 내역을 디스플레이에 표시할 수 있다.
상술한 기술적 과제 해결을 위하여, 본 발명의 일 실시예에 따른 인공지능을 사용하는 키오스크 기반 무인결제방법은: 서버가 사람인식 인공지능에 기반하여 키오스크 앞에 사용자가 존재하는지 여부를 검출하는 단계; 서버가 연령예측 인공지능에 기반하여 상기 사람인식 인공지능을 통해 검출된 사용자의 연령을 예측하는 단계; 키오스크가 예측된 사용자 연령에 따라 미리 결정된 방식으로 구성된 UI/UX 디자인으로 디스플레이에 메뉴를 표시하는 단계; 키오스크가 사용자로부터 음성으로 주문을 입력받는 단계; 서버가 음성인식 인공지능에 기반하여 사용자의 음성을 분석하고 주문 내역을 확인하는 단계; 키오스크가 서버로부터 전송된 사용자의 주문 내역을 디스플레이에 표시하는 단계; 및 사용자가 표시된 주문 내역을 확인하고 주문을 완료하는 단계; 를 포함할 수 있다.
이하 설명하는 기술은, 사용자의 존재를 인식할 수 있고 사용자와의 양방향 대화를 기반으로 하는 효율적이고 정확한 무인결제시스템을 제공한다.
이하 설명하는 기술은, 사투리를 사용하는 사용자도 어려움 없이 음성으로 키오스크를 통해 음식을 주문을 할 수 있게 한다.
이하 설명하는 기술은, 인식된 사용자 얼굴을 분석하여 얻어진 사용자의 연령대에 맞춰 적합한 UI/UX 디자인으로 메뉴를 디스플레이함으로써 전 연령층이 쉽게 음식을 주문할 수 있게 한다.
이하 설명하는 기술은, 다양한 연령층에 맞춰서 언어를 구사할 수 있는 인공지능 모델을 사용함으로써 사용자의 편의성 및 친밀함을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 사용하는 키오스크 기반 무인결제시스템의 구성들 간의 플로우 차트를 개략적으로 나타낸다.
도 2는 본 발명의 일 실시예에 따른 사용자의 연령대 별 메뉴 주문화면 UI/UX 디자인을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 연령예측 인공지능에 기반하여 사용자의 나이를 예측하는 모습을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 음성인식을 사용한 주문 과정에 따른 키오스크 화면을 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당해 기술분야의 통상의 지식을 가진 사람이 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.
본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능을 사용하는 키오스크 기반 무인결제시스템의 구성들 간의 플로우 차트를 개략적으로 나타낸다.
본 발명의 인공지능을 사용하는 키오스크 기반 무인결제시스템은, 디스플레이를 통해 메뉴를 표시하고 사용자로부터 터치 또는 음성으로 주문을 입력 받고 주문 내역을 표시하는 키오스크(200)와, 키오스크(200)를 통해 사용자로부터 입력된 정보(예컨대, 주문 관련 정보, 사용자 관련 정보)를 분석하고 분석 결과를 키오스크(200)에 전송하는 서버(100)를 포함한다.
키오스크(200)는 서버(100)와의 유무선 네트워크 통신을 위한 통신부, 프로세서, 데이터 저장부, 터치 스크린형 디스플레이, 키오스크 몸체 전면에 위치된 카메라, 스피커 등을 포함하여 구성된다.
서버(100)는 사람인식 인공지능에 기반하여 키오스크(200) 앞에 사용자(특정 사용자가 아닌, 즉, 사람)가 존재하는지 여부를 검출하고, 연령예측 인공지능에 기반하여 사람인식 인공지능을 통해 검출된 사용자의 연령대를 예측하고, 및 음성인식 인공지능에 기반하여 사용자의 음성을 분석하고 키오스크(200)를 통해 사용자와 음성으로 양방향 대화하도록 구성된다.
도 1을 참조하면, 먼저 사용자가 메뉴 주문을 위해 키오스크(200) 앞으로 접근한다. 키오스크(200)의 카메라를 통해 촬영된 영상 안에 사람이 있는지를 판별함으로써 사용자 접근을 확인하기 위해, 서버(100)는 사람인식 인공지능(또는 사람인식 A.I)을 기반으로 키오스크(200) 앞에 '사람'이 존재하는지 여부를 검출한다. 일 예로, 사람인식 인공지능은 YOLOV3에 COCO DATASET를 사용하여 DARKNET 학습이 수행된 것일 수 있다.
키오스크(200)는 사람의 접근을 확인한 뒤 서버(100)로 사용자 정보를 전송한다. 이때 사용자 정보는 사람인식 인공지능을 통해 검출된 사용자의 얼굴 정보를 포함한다.
서버(100)는 연령예측 인공지능(또는 연령예측 A.I)에 기반하여 사람인식 인공지능을 통해 검출된 사용자의 연령대를 예측한다. 일 예로, 연령예측 인공지능은 객체 검출(object detection) 및 CNN(convolution neural network) 알고리즘을 사용하여 영상 내 사용자의 얼굴로부터 사용자의 연령대를 예측한다. 일 예로, 연령예측 인공지능은 MOBILE NET V2에 IMDB WIKI 데이터셋을 FINE TUNNING 하여 분류할 수 있다. 일 예로, 서버(100)는 사용자 나이를 청년층, 중년층, 노인/장년층의 3가지로 예측/분류할 수 있다. 서버(100)는 예측한 사용자 연령대 정보를 키오스크(200)에 전송한다.
키오스크(200)는 연령예측 인공지능을 통해 예측된 사용자의 연령대에 따라 미리 적합하게 결정된 UI/UX 디자인으로 메뉴를 디스플레이에 표시한다. 즉, 키오스크(200)는 각 연령대 별로 적합하게 화면 구성과 아이콘 크기 등이 맞춰진 UI/UX 디자인으로 메뉴를 제공할 수 있다. 일 예로, 키오스크(200)는 연령예측 인공지능에 의해 예측된 사용자의 나이가 노인/장년층인 경우 각 메뉴의 사진, 설명, 글씨 크기, 필요 아이콘 등이 미리 결정된 사이즈만큼 또는 미리 결정된 비율만큼 더 커진 화면을 디스플레이에 표시할 수 있다. 이에 따라 노인/장년층 사용자도 특화된 UI/UX를 통해 더 편하게 음식을 주문할 수 있다.
사용자가 디스플레이된 UI/UX를 보면서 주문을 할 때 터치 선택뿐만 아니라 음성으로도 주문이 가능하다. 사용자가 음성으로 주문하는 경우, 서버(100)는 음성인식 인공지능(또는 음성인식 A.I)에 기반하여 사용자의 음성을 분석하고 키오스크(200)를 통해 사용자와 음성으로 양방향 대화할 수 있다. 일 예로, 양방향 음성 대화 시 음성인식 인공지능은 GOOGLE의 DIALOG FLOW를 활용할 수 있다.
일 예로, 음성인식 인공지능은 사용자의 연령대에 따라 서로 다른 어투 및 어법으로 (즉 다양한 연령층에 따라 미리 맞춰진 언어 구사 방법으로) 음성을 구사/출력하기 위한 음성 구사 인공지능 모델로 기계학습될 수 있다.
일 예로, 음성인식 인공지능은 사투리를 표준어로 변환하는 표준어 변환 인공지능 모델로 기계학습되어 입력된 사용자의 음성이 사투리인 경우 표준어로 변환할 수 있다. 이를 통해 지역에 상관 없이 모든 양방향 대화 키오스크가 더 높은 정확성으로 상용화될 수 있다.
일 예로, 음성인식 인공지능은 본 무인결제시스템이 한국어 기반으로 작동하도록 (예컨대 KOBERT, KCBERT, MORFESSOR 등의) 적어도 하나의 한국어 기반 음성 및 음향 모델과 적어도 하나의 한국어 표준어 데이터셋을 활용하여 기계학습될 수 있다.
음성인식 인공지능은 음성을 텍스트로 변환해서 보여주는 기술인 STT(speech to text) 및 정규화를 통해 사용자의 음성을 분석하여 주문 내역을 확인하고, 키오스크(200)는 서버(100)로부터 전송된 사용자의 주문 내역을 디스플레이에 표시한다.
이후, 사용자는 표시된 주문 내역을 확인하고 (예컨대, 완료 아이콘을 터치하여) 주문을 완료한다.
상술한 도 1의 흐름도 및 이에 대한 설명은 일 예시에 불과하며, 본 발명의 키오스크 기반 무인결제시스템은 개시된 순서와 내용으로 제한되지 않는다. 상술한 실시예들은 본 발명의 키오스크 기반 무인결제시스템에 단독으로 또는 함께 적용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 사용자의 연령대 별 메뉴 주문화면 UI/UX 디자인을 나타낸다.
도 2는 햄버거체인점의 키오스크 주문화면 UI/UX 예시로서, 연령예측 인공지능에 의해 예측된 사용자의 연령대에 따라 (a) 노인/장년층의 경우 음식 아이콘과 가격이 2행 2열로 크게 디스플레이될 수 있고, (b) 중년층은 3행 3열로, (c) 청년층의 경우 4행 4열로 비교적 더 작게 디스플레이될 수 있다.
도 3은 본 발명의 일 실시예에 따른 연령예측 인공지능에 기반하여 사용자의 나이를 예측하는 모습을 나타낸다. 일 실시예로서, 도 3은 연령예측 인공지능이 MOBILE NET V2로 카메라로 촬영된 사용자의 나이를 18살로 예측한 모습을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 음성인식을 사용한 주문 과정에 따른 키오스크 화면을 나타낸다. 도 4를 참조하면, 일 실시예로서, 키오스크 디스플레이에 순서대로 (a) 주문 대기화면, (b) 주문 시작 후 사용자의 음성 주문 입력을 대기하는 화면, (c) 사용자의 음성 주문을 분석하고 주문 내역을 화면에 표시하여 주문 내용이 맞는지 확인을 요청하는 화면, (d) 주문을 접수하는 화면이 표시된다.
상술한 기술을 통해 인공지능을 활용하여 사용자의 연령대, 사투리 사용여부를 고려하고 양방향 대화를 기반으로 하는 더욱 사용자 친화적인 키오스크 기반 무인결제시스템이 제공될 수 있다.
본 발명에 따른 인공지능을 사용하는 키오스크 기반 무인결제방법은, 서버가 사람인식 인공지능에 기반하여 키오스크 앞에 사용자가 존재하는지 여부를 검출하는 단계; 서버가 연령예측 인공지능에 기반하여 상기 사람인식 인공지능을 통해 검출된 사용자의 연령을 예측하는 단계; 키오스크가 예측된 사용자 연령에 따라 미리 결정된 방식으로 구성된 UI/UX 디자인으로 디스플레이에 메뉴를 표시하는 단계; 키오스크가 사용자로부터 음성으로 주문을 입력받는 단계; 서버가 음성인식 인공지능에 기반하여 사용자의 음성을 분석하고 주문 내역을 확인하는 단계; 키오스크가 서버로부터 전송된 사용자의 주문 내역을 디스플레이에 표시하는 단계; 및 사용자가 표시된 주문 내역을 확인하고 주문을 완료하는 단계; 를 포함한다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다. 다양한 구현예에서 설명된 방법은 단일 시스템 내에서 서로 조합되거나 선택 가능한 옵션으로서 사용될 수 있다.
본 실시예 및 본 명세서에 첨부된 도면은 상술한 기술에 포함된 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하다. 상술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서, 당해 기술분야의 통상의 기술자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 상술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
100: 서버
200: 키오스크

Claims (7)

  1. 인공지능을 사용하는 키오스크 기반 무인결제시스템으로서,
    음식점에 배치되고, 디스플레이를 통해 메뉴를 표시하고 사용자로부터 터치 또는 음성으로 주문을 입력 받고 주문 내역을 표시하는, 키오스크; 및
    키오스크를 통해 사용자로부터 입력된 정보를 분석하고 분석 결과를 키오스크에 전송하는, 서버; 를 포함하고,
    상기 서버는,
    사람인식 인공지능에 기반하여 상기 키오스크 앞에 사용자가 존재하는지 여부를 검출하고, 연령예측 인공지능에 기반하여 상기 사람인식 인공지능을 통해 검출된 사용자의 연령대를 예측하고, 및 음성인식 인공지능에 기반하여 사용자의 음성을 분석하고 상기 키오스크를 통해 사용자와 음성으로 양방향 대화하도록 구성되고,
    상기 키오스크는 통신부, 프로세서, 데이터 저장부, 터치 스크린형 디스플레이, 키오스크 몸체 전면에 위치된 카메라, 스피커를 포함하고, 상기 카메라를 통해 촬영된 사용자의 얼굴을 상기 서버로 전송하고
    상기 음성인식 인공지능은 사투리를 표준어로 변환하는 표준어 변환 인공지능 모델로 기계학습되어 입력된 사용자의 음성이 사투리인 경우 표준어로 변환하고, 상기 무인결제시스템이 한국어 기반으로 작동하도록 적어도 하나의 한국어 기반 음성 및 음향 모델과 적어도 하나의 한국어 표준어 데이터셋을 활용하여 기계학습되고, 사용자의 연령대에 따라 서로 다른 어투 및 어법으로 음성을 구사하기 위한 음성 구사 인공지능 모델로 기계학습되고, 상기 음성인식 인공지능은 STT(speech to text) 및 정규화를 통해 사용자의 음성을 분석하여 주문 내역을 확인하고, 상기 키오스크는 서버로부터 전송된 사용자의 주문 내역을 디스플레이에 표시하며
    상기 연령예측 인공지능은 객체 검출(object detection) 및 CNN(convolution neural network) 알고리즘을 사용하여 상기 카메라에 의해 촬영된 사용자의 얼굴로부터 사용자의 연령대를 예측하고,
    상기 키오스크는 예측된 사용자의 연령대에 따라 미리 적합하게 결정된 UI/UX 디자인으로 메뉴를 디스플레이에 표시하고, 상기 예측된 사용자의 연령대가 청년층인 경우, 메뉴들을 4행 4열로 배치하면서 각 메뉴의 사진, 설명, 글씨크기, 필요 아이콘을 제1 사이즈로 상기 디스플레이에 표시하고, 상기 예측된 사용자의 연령대가 중년층인 경우, 메뉴들을 3행 3열로 배치하면서 각 메뉴의 사진, 설명, 글씨크기, 필요 아이콘을 제1 사이즈보다 큰 제2 사이즈로 확대하여 상기 디스플레이에 표시하고, 상기 예측된 사용자의 연령대가 노인 및 장년층인 경우, 메뉴들을 2행 2열로 배치하면서 각 메뉴의 사진, 설명, 글씨크기, 필요 아이콘을 제2 사이즈보다 큰 제3 사이즈로 확대하여 상기 디스플레이에 표시하는, 인공지능을 사용하는 키오스크 기반 무인결제시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
KR1020200173370A 2020-12-11 2020-12-11 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법 KR102253279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200173370A KR102253279B1 (ko) 2020-12-11 2020-12-11 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200173370A KR102253279B1 (ko) 2020-12-11 2020-12-11 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102253279B1 true KR102253279B1 (ko) 2021-05-18

Family

ID=76158519

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200173370A KR102253279B1 (ko) 2020-12-11 2020-12-11 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102253279B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220168074A (ko) * 2021-06-15 2022-12-22 엔디에스솔루션 주식회사 정보 제공 시스템 및 그 동작 방법
KR102564067B1 (ko) * 2023-04-27 2023-08-04 주식회사 엠앤엠네트웍스 디지털 기반의 사용자별 가변형 맞춤 ui 제공을 통한 사용자별 효과적인 정보 제공을 위한 디스플레이 장치, 방법 및 프로그램
KR20240047025A (ko) 2022-10-04 2024-04-12 우경민 카드 미탈거 경고 기능을 구비한 무인 결제 단말기
KR102669422B1 (ko) * 2024-02-16 2024-05-29 주식회사 타키 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102062524B1 (ko) * 2019-05-10 2020-01-06 고현선 음성 인식과 번역 방법 및 그를 위한 단말 장치와 서버
KR20200064387A (ko) * 2018-11-29 2020-06-08 주식회사 유니나인 운송수단 탑승객 대상 고객 맞춤형 디지털 사이니지 시스템이 수행하는 방법
KR20200104562A (ko) * 2019-02-27 2020-09-04 주식회사 뉴턴 비콘 기반의 고객 자동 인식 기능을 갖는 대화형 키오스크 시스템과 이를 이용한 고객 맞춤형 서비스 제공 방법
KR20210025269A (ko) * 2019-08-27 2021-03-09 엘지전자 주식회사 승차구매 주문처리 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200064387A (ko) * 2018-11-29 2020-06-08 주식회사 유니나인 운송수단 탑승객 대상 고객 맞춤형 디지털 사이니지 시스템이 수행하는 방법
KR20200104562A (ko) * 2019-02-27 2020-09-04 주식회사 뉴턴 비콘 기반의 고객 자동 인식 기능을 갖는 대화형 키오스크 시스템과 이를 이용한 고객 맞춤형 서비스 제공 방법
KR102062524B1 (ko) * 2019-05-10 2020-01-06 고현선 음성 인식과 번역 방법 및 그를 위한 단말 장치와 서버
KR20210025269A (ko) * 2019-08-27 2021-03-09 엘지전자 주식회사 승차구매 주문처리 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220168074A (ko) * 2021-06-15 2022-12-22 엔디에스솔루션 주식회사 정보 제공 시스템 및 그 동작 방법
KR102654090B1 (ko) * 2021-06-15 2024-04-03 엔디에스솔루션 주식회사 정보 제공 시스템 및 그 동작 방법
KR20240047025A (ko) 2022-10-04 2024-04-12 우경민 카드 미탈거 경고 기능을 구비한 무인 결제 단말기
KR102564067B1 (ko) * 2023-04-27 2023-08-04 주식회사 엠앤엠네트웍스 디지털 기반의 사용자별 가변형 맞춤 ui 제공을 통한 사용자별 효과적인 정보 제공을 위한 디스플레이 장치, 방법 및 프로그램
KR102669422B1 (ko) * 2024-02-16 2024-05-29 주식회사 타키 생성형 인공지능을 활용한 키오스크 시스템과 동작 방법

Similar Documents

Publication Publication Date Title
KR102253279B1 (ko) 인공지능을 사용하는 키오스크 기반 무인결제시스템 및 그 방법
JP6888125B2 (ja) ユーザプログラマブル自動アシスタント
US11514909B2 (en) Third party account linking for voice user interface
Li et al. Multi-modal repairs of conversational breakdowns in task-oriented dialogs
US11735182B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
KR102222421B1 (ko) 캡처된 이미지들과 관련된 메타 데이터 저장
US11347801B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
JP2022084707A (ja) デジタルアシスタントサービスの遠距離拡張
US11200893B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
JP2022501730A (ja) 自動ナビゲーションを容易にするためのウェブページの分析
US9900427B2 (en) Electronic device and method for displaying call information thereof
JP6966979B2 (ja) 対話システムの制御方法、対話システム及びプログラム
JP6983118B2 (ja) 対話システムの制御方法、対話システム及びプログラム
KR20190138888A (ko) 이미지 및/또는 다른 센서 데이터 기반의 자동화 어시스턴트 요청 해석
JP6383748B2 (ja) 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム
JP6110539B1 (ja) 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム
US20230343336A1 (en) Multi-modal interaction between users, automated assistants, and other computing services
JP7513684B2 (ja) ユーザと、自動化されたアシスタントと、他のコンピューティングサービスとの間のマルチモーダル対話
CN112868060B (zh) 用户、自动化助理和其它计算服务之间的多模态交互
JP2017182406A (ja) 音声翻訳システム、その制御方法および音声翻訳プログラム

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant