KR102216783B1 - System for providing order service for non-face-to-face and noncontact based on speech recognition - Google Patents
System for providing order service for non-face-to-face and noncontact based on speech recognition Download PDFInfo
- Publication number
- KR102216783B1 KR102216783B1 KR1020200110134A KR20200110134A KR102216783B1 KR 102216783 B1 KR102216783 B1 KR 102216783B1 KR 1020200110134 A KR1020200110134 A KR 1020200110134A KR 20200110134 A KR20200110134 A KR 20200110134A KR 102216783 B1 KR102216783 B1 KR 102216783B1
- Authority
- KR
- South Korea
- Prior art keywords
- order
- kiosk
- face
- voice
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 238000012790 confirmation Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000003058 natural language processing Methods 0.000 claims abstract description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 13
- 230000036760 body temperature Effects 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 8
- 210000001331 nose Anatomy 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 7
- 238000001931 thermography Methods 0.000 description 7
- 244000269722 Thea sinensis Species 0.000 description 5
- 235000015109 caffè americano Nutrition 0.000 description 5
- 235000013305 food Nutrition 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 244000273928 Zingiber officinale Species 0.000 description 2
- 235000006886 Zingiber officinale Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 2
- 238000012508 change request Methods 0.000 description 2
- 235000013353 coffee beverage Nutrition 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 235000008397 ginger Nutrition 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- LPLLVINFLBSFRP-UHFFFAOYSA-N 2-methylamino-1-phenylpropan-1-one Chemical compound CNC(C)C(=O)C1=CC=CC=C1 LPLLVINFLBSFRP-UHFFFAOYSA-N 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241000711573 Coronaviridae Species 0.000 description 1
- 244000293323 Cosmos caudatus Species 0.000 description 1
- 235000005956 Cosmos caudatus Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 208000021760 high fever Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
- G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
- G07F17/16—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices exhibiting advertisements, announcements, pictures or the like
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Acoustics & Sound (AREA)
- Accounting & Taxation (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physiology (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 발명은 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 시스템에 관한 것으로, 사람 및 스크린과의 접촉없이도 사용자의 음성 발화로 주문을 할 수 있는 시스템을 제공한다.The present invention relates to a system for providing a non-face-to-face and non-contact order service based on voice recognition, and provides a system capable of placing an order with a user's voice utterance without contact with a person or a screen.
정보기술의 지속적인 발달로 인하여 고객들을 스스로 서비스 생산에 참여하게 유도하는 TBSS(Technology-Based Self-Service)가 도입된 기기의 설치 및 운영비용은 낮아지고 그 효율성은 보다 높아지고 있다. 또한, 최저임금의 지속적인 상승으로 해당 기술 및 서비스를 필요로 하는 다양한 형태의 서비스업에서 TBSS에 대한 수요가 꾸준히 증가하고 있다. 초기 TBSS는 단순한 업무 수행에서 벗어나 고객들에게 더 많은 기능과 효용성을 제공할 수 있게 되었으며 최근에는 대형 쇼핑몰이나 백화점 내부의 구조, 현재 위치, 매장 내의 정보를 안내해주는 정보 제공용 키오스크가 이용된다. TBSS를 대표하는 키오스크는 각종 업무의 무인자동화를 위해 공공시설이나 거리 등에 설치되어 고객이 쉽게 사용할 수 있도록 하는 기기라 할 수 있으며, 키오스크를 유형화하기 위해 정보제공, 촉진, 정보교환, 판매, 기업과 고객의 관계 등 다양한 기능을 제공한다.Due to the continuous development of information technology, the installation and operation cost of equipment with TBSS (Technology-Based Self-Service), which induces customers to participate in service production by themselves, is lowered, and the efficiency is higher. In addition, as the minimum wage continues to rise, the demand for TBSS is steadily increasing in various types of service industries that require corresponding technologies and services. Initially, TBSS was able to provide more functions and utility to customers beyond simple task performance, and recently, information providing kiosks are used to guide information in large shopping malls or department stores, current location, and information in stores. The kiosk representing TBSS can be said to be a device that is installed in public facilities or streets for unmanned automation of various tasks so that customers can easily use it.In order to categorize the kiosk, information provision, promotion, information exchange, sales, and companies It provides various functions such as customer relationship.
이때, 음성인식 기반으로 키오스크를 운영하는 플랫폼이 연구 및 개발되었는데, 이와 관련하여 선행기술인 한국공개특허 제2020-0000010호(2020년01월02일 공개) 및 한국등록특허 제10-2100704호(2020년04월14일 공고)에는, 셀프 뱅킹 키오스크 이용시 각종 금융서비스를 위한 거래 선택 메뉴가 표시되는 디스플레이부의 메뉴 선택 화면에 음성인식 기능을 제공하기 위한 음성인식 활성화 메뉴를 제공하여, 고객이 키오스크 이용 과정에서 음성인식 활성화 메뉴를 선택하는 경우, 키오스크에 구비된 음성입력부를 통해 고객의 음성명령을 입력받는 동시에, 음성인식 기능을 통해 고객의 음성명령을 인식하고, 인식된 음성명령과 연관되는 거래 선택 메뉴들을 추출하여 디스플레이부의 화면을 통해 일괄적으로 제공하는 구성과, 디스플레이가 구비된 키오스크 본체, 키오스크 본체의 표면에 구비되어, 발화자의 음성 신호를 수신하는 복수의 입력수단, 음성 신호 외에 발화자 주변의 소음을 제거하는 제어부 및 음성 신호를 기반으로 디스플레이에 발화자가 요청하는 정보를 출력하는 출력부의 구성이 각각 개시되어 있다.At this time, a platform for operating a kiosk based on voice recognition was researched and developed. In this regard, Korean Patent Publication No. 2020-0000010 (published on January 2, 2020) and Korean Registered Patent No. 10-2100704 (2020 Announcement on April 14, 2014), a voice recognition activation menu to provide a voice recognition function is provided on the menu selection screen of the display unit where the transaction selection menu for various financial services is displayed when using a self-banking kiosk. In the case of selecting the voice recognition activation menu at, the customer's voice command is input through the voice input unit provided in the kiosk, and the voice command is recognized through the voice recognition function, and a transaction selection menu related to the recognized voice command is selected. The components are extracted and provided collectively through the screen of the display unit, a kiosk body equipped with a display, a plurality of input means provided on the surface of the kiosk body to receive the talker's voice signal, noise around the talker in addition to the voice signal Configurations of a control unit for removing is and an output unit for outputting information requested by a talker to a display based on a voice signal are disclosed.
다만, 코로나(COVID-19)로 인하여 팬데믹 사태가 장기화되면서 터치 기반의 키오스크를 음성 기반으로 바꾼다고 할지라도 초기 화면은 홍보 영상이 돌아가고 있거나 꺼져있기 때문에 이를 터치를 해서 주문화면으로 돌아오도록 턴 온(Turn On)시켜야 하는데 이 과정에서 다양한 사람이 만졌던 화면을 사용자 본인이 다시 만진다는 것 자체가 공포로 다가오고 있기 때문에 터치 기반의 키오스크를 이용하는 사용자가 줄어들고 있다. 또 키오스크가 있는 매장에 들어오는 손님들을 일일이 발열체크하여 들여보내는 경우 온도를 체크하는 직원이 있어야 하고, 열화상 카메라를 설치해둔다고 할지라도 열화상 카메라로 촬영되는 화면을 봐야하는 직원이 요구된다. 이에, 비대면 및 비접촉을 유지하면서 매장에서 주문 및 결제를 할 수 있으면서도 재미요소를 부가하여 고객 스스로 키오스크를 사용하도록 유도하는 플랫폼의 연구 및 개발이 요구된다.However, as the pandemic is prolonged due to COVID-19, even if the touch-based kiosk is changed to voice-based, the initial screen is turned on to return to the order screen by touching it because the promotional video is running or turned off. Turn On), but the number of users using touch-based kiosks is decreasing because the fear that the user himself touches the screen again touched by various people in this process is approaching. In addition, when customers entering a kiosk-equipped store are individually heat-checked and sent in, there must be an employee who checks the temperature, and even if a thermal imaging camera is installed, an employee who has to watch the screen shot with the thermal imaging camera is required. Accordingly, research and development of a platform that induces customers to use kiosks themselves by adding fun elements while maintaining non-face-to-face and contactless orders and payments at the store is required.
본 발명의 일 실시예는, 비대면을 넘어 비접촉까지 유지할 수 있도록 사람의 안면, 특히 눈 및 코가 인식되는 경우 주문초기화면으로 돌아오도록 설정함으로써 사용자가 화면을 터치하지 않아도 되도록 하며, 사용자의 발열체크를 열화상 카메라 또는 적외선 센서 등을 이용하여 수행함으로써 별도의 직원을 두지 않고도 매장에 입장가능한 사람을 구분할 수 있고, 음성 기반으로 주문이 시행됨으로 인하여 주문을 하는데 키오스크의 터치 스크린을 만지지 않아도 되며, O2O(Online to Offline) 기반으로 주문을 하더라도 QR 코드만 스캔하면 POS(Point of Sale)인 가맹점 단말로 바로 주문서가 들어가게 되므로 비대면 및 비접촉을 유지하면서 주문이 가능해지고, 연령 및 성별에 맞는 배경화면을 인공지능으로 선택하여 사진을 찍어주고 즉석에서 인쇄해주는 서비스까지 제공함으로 인하여 흥미요소제공으로 사용자가 스스로 키오스크를 사용하도록 유도할 수 있는, 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.In one embodiment of the present invention, the user does not have to touch the screen by setting to return to the initial order screen when the face of a person, especially eyes and nose, is recognized so as to maintain non-contact beyond non-face-to-face. By performing the check using a thermal imaging camera or infrared sensor, it is possible to identify who can enter the store without having a separate staff, and because the order is executed based on voice, you do not have to touch the touch screen of the kiosk to place an order. Even if you place an order based on O2O (Online to Offline), just scanning the QR code will directly enter the order form into the POS (Point of Sale) affiliated store terminal, so you can order while maintaining non-face-to-face and contactless, and wallpaper suitable for age and gender. We can provide a method of providing non-face-to-face and non-contact ordering services based on voice recognition that can induce users to use the kiosk themselves by providing interesting elements by providing a service that takes pictures and prints on the spot by selecting artificial intelligence. have. However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사용자의 음성 발화를 인식하고 자연어처리(Natural Language Processing)로 주문 객체를 식별한 후 음성으로 출력하고, 음성으로 출력된 주문 객체를 사용자로부터 음성으로 컨펌받은 후 결제 프로세스를 수행하는 키오스크, 키오스크에서 결제된 주문 객체가 포함된 주문서를 출력하고, 주문 객체 및 결제 금액을 매출 데이터로 기록 및 저장하는 가맹점 단말 및 키오스크 및 가맹점 단말을 매핑하여 등록하는 등록부, 사용자 단말로부터 O2O(Online to Offline) 기반으로 주문 객체의 선택 및 결제가 이루어지는 경우, 주문 객체에 대응하는 주문식별코드를 부여하는 부여부, 키오스크에서 주문식별코드가 스캔되는 경우 주문식별코드에 매핑되어 저장된 주문 객체 데이터를 가맹점 단말로 전송하는 전송부를 포함하는 주문 서비스 제공 서버를 포함한다.As a technical means for achieving the above-described technical problem, an embodiment of the present invention recognizes a user's voice utterance, identifies an order object by natural language processing, and outputs it as a voice, and outputs it as a voice. A kiosk that performs a payment process after receiving the confirmation of the order object by voice from the user, outputs an order form including the order object paid at the kiosk, and records and stores the order object and payment amount as sales data, and a kiosk and affiliate store A registration unit that maps and registers a terminal, a grant unit that assigns an order identification code corresponding to the order object when an order object is selected and payment is made based on O2O (Online to Offline) from a user terminal, and the order identification code is scanned at a kiosk. If so, it includes an order service providing server including a transmission unit for transmitting the stored order object data mapped to the order identification code to the affiliated store terminal.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 비대면을 넘어 비접촉까지 유지할 수 있도록 사람의 안면, 특히 눈 및 코가 인식되는 경우 주문초기화면으로 돌아오도록 설정함으로써 사용자가 화면을 터치하지 않아도 되도록 하며, 사용자의 발열체크를 열화상 카메라 또는 적외선 센서 등을 이용하여 수행함으로써 별도의 직원을 두지 않고도 매장에 입장가능한 사람을 구분할 수 있고, 음성 기반으로 주문이 시행됨으로 인하여 주문을 하는데 키오스크의 터치 스크린을 만지지 않아도 되며, O2O(Online to Offline) 기반으로 주문을 하더라도 QR 코드만 스캔하면 POS(Point of Sale)인 가맹점 단말로 바로 주문서가 들어가게 되므로 비대면 및 비접촉을 유지하면서 주문이 가능해지고, 연령 및 성별에 맞는 배경화면을 인공지능으로 선택하여 사진을 찍어주고 즉석에서 인쇄해주는 서비스까지 제공함으로 인하여 흥미요소제공으로 사용자가 스스로 키오스크를 사용하도록 유도할 수 있다.According to any one of the above-described problem solving means of the present invention, the user does not touch the screen by setting the order to return to the initial order screen when the human face, especially eyes and nose, is recognized so as to maintain non-contact beyond non-face-to-face. By performing the user's heat check using a thermal imaging camera or infrared sensor, it is possible to distinguish who can enter the store without having a separate staff, and because the order is executed based on voice, the touch of the kiosk is used to place an order. You do not need to touch the screen, and even if you place an order based on O2O (Online to Offline), just scan the QR code to directly enter the order form into the POS (Point of Sale) affiliated store terminal, so you can order while maintaining non-face-to-face and contactlessness. And by providing a service that takes pictures and prints on the spot by selecting a background screen suitable for the gender with artificial intelligence, it is possible to induce users to use the kiosk by themselves by providing interesting elements.
도 1은 본 발명의 일 실시예에 따른 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 주문 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 음성인식 기반 비대면 및 비접촉 주문 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 음성인식 기반 비대면 및 비접촉 주문 서비스를 직접 시연해보는 동영상을 캡쳐한 화면이다.
도 6은 본 발명의 일 실시예에 따른 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.1 is a diagram illustrating a system for providing a non-face-to-face and non-contact order service based on voice recognition according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an order service providing server included in the system of FIG. 1.
3 and 4 are diagrams for explaining an embodiment in which a voice recognition-based non-face-to-face and non-contact order service is implemented according to an embodiment of the present invention.
5 is a screen captured of a video for directly demonstrating a voice recognition-based non-face-to-face and non-contact order service according to an embodiment of the present invention.
6 is a flowchart illustrating a method of providing a non-face-to-face and non-contact order service based on voice recognition according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is said to be "connected" to another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included, and one or more other features, not excluding other components, unless specifically stated to the contrary. It is to be understood that it does not preclude the presence or addition of any number, step, action, component, part, or combination thereof.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다. The terms "about", "substantially" and the like, as used throughout the specification, are used in or close to the numerical value when manufacturing and material tolerances specific to the stated meaning are presented, and are used in the sense of the present invention. To assist, accurate or absolute figures are used to prevent unfair use of the stated disclosure by unscrupulous infringers. As used throughout the specification of the present invention, the term "step (to)" or "step of" does not mean "step for".
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.In the present specification, the term "unit" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized using two or more hardware, or two or more units may be realized using one hardware. Meanwhile,'~ unit' is not meant to be limited to software or hardware, and'~ unit' may be configured to be in an addressable storage medium or configured to reproduce one or more processors. Thus, as an example,'~ unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables. The components and functions provided in the'~ units' may be combined into a smaller number of elements and'~ units', or may be further divided into additional elements and'~ units'. In addition, components and'~ units' may be implemented to play one or more CPUs in a device or a security multimedia card.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. In this specification, some of the operations or functions described as being performed by the terminal, device, or device may be performed instead in a server connected to the terminal, device, or device. Likewise, some of the operations or functions described as being performed by the server may also be performed by a terminal, device, or device connected to the server.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.In this specification, some of the operations or functions described as mapping or matching with the terminal means mapping or matching the unique number of the terminal or the identification information of the individual, which is the identification information of the terminal. Can be interpreted as.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 주문 서비스 제공 서버(300), 적어도 하나의 키오스크(400) 및 적어도 하나의 가맹점 단말(500)을 포함할 수 있다. 다만, 이러한 도 1의 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.1 is a diagram illustrating a system for providing a non-face-to-face and non-contact order service based on voice recognition according to an embodiment of the present invention. Referring to FIG. 1, a system for providing a non-face-to-face and contactless order service based on voice recognition 1 includes at least one
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 주문 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 주문 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 키오스크(400), 적어도 하나의 가맹점 단말(500)과 연결될 수 있다. 또한, 적어도 하나의 키오스크(400)는, 네트워크(200)를 통하여 주문 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 가맹점 단말(500)은, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 주문 서비스 제공 서버(300) 및 적어도 하나의 키오스크(400)와 연결될 수 있다. In this case, each component of FIG. 1 is generally connected through a
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.Here, the network refers to a connection structure in which information exchange is possible between respective nodes such as a plurality of terminals and servers, and examples of such networks include a local area network (LAN) and a wide area communication network (WAN: Wide Area Network), Internet (WWW: World Wide Web), wired/wireless data communication network, telephone network, wired/wireless television communication network, etc. Examples of wireless data networks include 3G, 4G, 5G, 3GPP (3rd Generation Partnership Project), 5GPP (5th Generation Partnership Project), LTE (Long Term Evolution), WIMAX (World Interoperability for Microwave Access), and Wi-Fi. , Internet, LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), Bluetooth(Bluetooth) network, NFC( Near-Field Communication) network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc. are included, but are not limited thereto.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.In the following, the term “at least one” is defined as a term including the singular number and the plural number, and even if the term “at least one” does not exist, each component may exist in the singular or plural, and may mean the singular or plural. It will be self-evident. In addition, it will be possible to change according to the embodiment that each component is provided in a singular or plural.
적어도 하나의 사용자 단말(100)은, 음성인식 기반 비대면 및 비접촉 주문 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 O2O 기반 주문을 하는 사용자의 단말일 수 있다. 이때, 사용자 단말(100)은 주문 서비스 제공 서버(300)에 접속하여 가맹점을 선택한 후, 해당 가맹점에서 주문가능한 적어도 하나의 메뉴 리스트를 출력하고, 어느 하나의 주문 객체가 선택되면 결제를 수행하여 주문 서비스 제공 서버(300)로부터 주문식별코드, 예를 들어 QR 코드를 수신하는 단말일 수 있다. 이때, QR 코드가 키오스크(400)에서 스캔되면 주문한 메뉴를 찾아갈 수 있도록 구성되며, 스캔된 QR 코드는 더 이상 쓸 수 없게 되거나 삭제 또는 비활성화처리될 수 있다.The at least one
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the at least one
주문 서비스 제공 서버(300)는, 음성인식 기반 비대면 및 비접촉 주문 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 주문 서비스 제공 서버(300)는, 적어도 하나의 키오스크(400)를 고유부호, 예를 들어 ID를 부여하여 관리하고, 적어도 하나의 가맹점 단말(500)과 연동하여 등록하는 서버일 수 있다. 만약, 가맹점 단말(500)이 완전히 제거된 무인매장이라면 키오스크(400)만 저장하는 것도 가능하다. 그리고, 주문 서비스 제공 서버(300)는 O2O 서비스를 위해 사용자 단말(100)에서 주문 이벤트가 발생하고, 키오스크(400)에서 스캔이 되면 가맹점 단말(500)로 주문 데이터를 전송하여 주문한 메뉴가 만들어지도록 주문서를 출력시키는 서버일 수 있다. 그리고, 주문 서비스 제공 서버(300)는 적어도 하나의 키오스크(400)의 관리를 위하여 키오스크(400)에서 오류가 발생한 경우, 오류 데이터를 수집하여 패턴을 학습하고 오류가 발생하지 않도록 적어도 하나의 키오스크(400)에 내장된 음성인식 챗봇을 업데이트하는 서버일 수 있다.The order
여기서, 주문 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.Here, the order
적어도 하나의 키오스크(400)는, 음성인식 기반 비대면 및 비접촉 주문 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 음성인식 기반으로 주문을 받고 결제를 수행하는 장치일 수 있다. 이때, 적어도 하나의 키오스크(400)는 홍보영상을 디폴트로 출력하고 있다가 사람의 안면, 특히 눈 또는 코와 같은 사람인 것을 나타내는 특징이 인식되면 주문화면, 즉 홈 화면으로 전환하여 주문을 받는 장치일 수 있다. 또한, 적어도 하나의 키오스크(400)는 발열체크를 수행할 수 있고, 사용자 단말(100)에서 QR 코드를 스캔하도록 하는 경우 QR 코드를 스캔한 결과를 가맹점 단말(500)로 전송하는 장치일 수 있다. 그리고, 적어도 하나의 키오스크(400)는 나이 또는 성별에 대응하는 배경화면을 인공지능으로 학습한 후, 사용자의 사진을 찍어 즉석에서 프린트하여 출력하는 장치일 수 있다. 그리고, 적어도 하나의 키오스크(400)는, 음성인식 기반으로 주문을 받고, 또 각 단계에 따른 멘트를 음성멘트로 출력함으로써 터치 기반이 아닌 음성 기반으로 주문을 받고 결제를 수행하는 장치일 수 있다. 물론, 터치 기반을 제외한다는 것이 아님은 자명하다. 또, 적어도 하나의 키오스크(400)는 음성인식에 오류가 발생한 경우 오류 리포트를 생성하여 주문 서비스 제공 서버(300)로 전송하는 장치일 수 있고, 주문 서비스 제공 서버(300)에 의해 주기적 또는 실시간으로 업데이트되는 장치일 수 있다.The at least one
여기서, 적어도 하나의 키오스크(400)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 키오스크(400)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 키오스크(400)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, at least one
적어도 하나의 가맹점 단말(500)은, 음성인식 기반 비대면 및 비접촉 주문 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 키오스크(400) 또는 사용자 단말(100)로부터 주문 서비스 제공 서버(300)를 경유하여 수신된 주문을 출력하고 매출을 누적시키는 단말일 수 있다.At least one
여기서, 적어도 하나의 가맹점 단말(500)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 가맹점 단말(500)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 가맹점 단말(500)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, POS(Point of Sale), PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the at least one
도 2는 도 1의 시스템에 포함된 주문 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 음성인식 기반 비대면 및 비접촉 주문 서비스가 구현된 일 실시예를 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시예에 따른 음성인식 기반 비대면 및 비접촉 주문 서비스를 직접 시연해보는 동영상을 캡쳐한 화면이다.FIG. 2 is a block diagram illustrating an order service providing server included in the system of FIG. 1, and FIGS. 3 and 4 are a diagram illustrating a non-face-to-face and contactless order service based on voice recognition according to an embodiment of the present invention. It is a diagram for explaining an embodiment, and FIG. 5 is a screen captured of a video for directly demonstrating a voice recognition-based non-face-to-face and non-contact order service according to an embodiment of the present invention.
도 2를 참조하면, 주문 서비스 제공 서버(300)는, 등록부(310), 부여부(320), 전송부(330), 재학습부(340)를 포함할 수 있다.Referring to FIG. 2, the order
본 발명의 일 실시예에 따른 주문 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 키오스크(400) 및 적어도 하나의 가맹점 단말(500)로 음성인식 기반 비대면 및 비접촉 주문 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 키오스크(400) 및 적어도 하나의 가맹점 단말(500)은, 음성인식 기반 비대면 및 비접촉 주문 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 적어도 하나의 키오스크(400) 및 적어도 하나의 가맹점 단말(500)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.The order
도 2를 참조하면, 등록부(310)는, 키오스크(400) 및 가맹점 단말(500)을 매핑하여 등록할 수 있다. 키오스크(400)는, 사용자의 음성 발화를 인식하고 자연어처리(Natural Language Processing)로 주문 객체를 식별한 후 음성으로 출력하고, 음성으로 출력된 주문 객체를 사용자로부터 음성으로 컨펌받은 후 결제 프로세스를 수행할 수 있다. 가맹점 단말(500)은, 키오스크(400)에서 결제된 주문 객체가 포함된 주문서를 출력하고, 주문 객체 및 결제 금액을 매출 데이터로 기록 및 저장할 수 있다.Referring to FIG. 2, the
각 키오스크(400)는 고유부호, 예를 들어 ID가 매핑 및 저장되어 관리되며, 각 가맹점 단말(500)로부터 각 가맹점에서 판매하는 음료나 음식 등의 메뉴를 수집하여 각 키오스크(400)에서 출력되도록 등록할 수 있다. 이때, 본 발명의 일 실시예에 따른 주문 서비스 제공 서버(300)는 크게 2 가지의 기능을 제공할 수 있다. 하나는 키오스크(400)를 관리하는 기능과 다른 하나는 O2O 서비스를 위하여 사용자 단말(100)과 키오스크(400)를 연결해주는 기능이다. Each
키오스크(400) 자체적으로 어느 정도의 또는 어느 구성에 대응하는 프로세스를 수행할 것인지는 네트워크에 걸리는 부하에 따라 서로 달라질 수 있다. 기본적인 주문 및 결제 구성은 모두 키오스크(400)에서 수행되고 오류 점검 또는 업데이트만 주문 서비스 제공 서버(300)에서 할 것인지, 디테일한 주문까지 모두 주문 서비스 제공 서버(300)에서 할 것인지는 실시예에 따라 각 설치되는 매장의 상황에 따라, 또 컴퓨팅 자원 또는 네트워킹 자원과 같은 자원량에 따라 각각 달라질 수 있고 어느 하나의 실시예에 한정하지 않는다. 다만, 본 발명의 일 실시예에서는, 주문 프로세스는 키오스크(400)에서 수행하고, O2O 서비스를 위한 데이터 송수신과, 각 버그 수정이나 업데이트를 주문 서비스 제공 서버(300)에서 한다고 가정하고 설명한다. 물론, 상술한 바와 같이 이러한 실시예에 한정되는 것은 아니다.The
부여부(320)는, 사용자 단말(100)로부터 O2O(Online to Offline) 기반으로 주문 객체의 선택 및 결제가 이루어지는 경우, 주문 객체에 대응하는 주문식별코드를 부여할 수 있다. 사용자 단말(100) 단(End)에서 주문 및 결제까지 이루어졌다면 이제 사용자는 해당 매장에 가서 그 음식이나 음료를 찾아오기만 하면 된다. 이때, 사용자 단말(100)에서 주문식별코드를 직접 매장 직원에게 보여준다면, 이 또한 대면 서비스가 된다. 이에 따라, 키오스크(400)에서 QR 코드를 스캔하도록 하고, 키오스크(400)가 가맹점 단말(500), 즉 POS 쪽으로 주문서가 갈 수 있도록 함으로써 사용자는 직원과 대면 접촉할 행동을 1 번 더 줄이게 된다. 마지막으로, 음료나 음식이 나오고 음료 나오는 곳에 주문번호가 음료나 음식에 붙어있다면 이를 찾아가기만 하면 된다. 즉 결제에서부터 음료나 음식을 찾아가기까지 직원과의 대면 또는 키오스크(400) 터치 스크린에의 접촉이 한 번도 없게 된다.When the
전송부(330)는, 키오스크(400)에서 주문식별코드가 스캔되는 경우 주문식별코드에 매핑되어 저장된 주문 객체 데이터를 가맹점 단말(500)로 전송할 수 있다. 이때, 스캔은 바코드를 스캔하는 적외선 스캐너일 수도 있고, QR 코드를 스캔하는 별도의 장비일 수도 있다. 스캐너는 직접 스캐너와 스마트폰(사용자 단말(100)) 과의 접촉이 없어도 되므로 스캔하는 과정에서 다른 물체를 접촉할 일은 없다. 키오스크(400)에 홍보화면(광고화면)이 디폴트로 출력되고는 있지만, 후술할 안면 인식 센서(410)에 의해 키오스크(400)가 사람의 눈이나 코를 인식하는 순간 주문 모드로 돌아가기 때문에 터치 스크린을 터치할 일도 없다. 사용자는 키오스크(400)를 향해 얼굴을 보여준 후, 키오스크(400)에 구비된 스캐너 쪽으로 자신의 스마트폰, 즉 사용자 단말(100)에 QR 코드가 떠 있는 화면을 가져다 대면 완료된다.When the order identification code is scanned by the
이때, 키오스크(400)는, 사람의 안면 내 눈 및 코가 인식되는 경우에만 홈 화면으로 전환되어 주문 프로세스를 진행하는 화면을 출력하도록 구비되는 안면 인식 센서(410)를 포함할 수 있다. 예를 들어, 안면 인식 센서(410)는 고주파 센서일 수 있지만 이에 한정되지는 않는다. 예를 들어, 근접 센서를 이용하여 사람이 근접하는 경우에 홍보화면을 출력하다가 주문 모드 화면으로 전환될 수도 있다. 이때, 어떠한 센서를 사용하는지는 각 실시예에 따라 달라질 수 있으므로 상술한 것들로 한정하지 않고 열거되지 않은 이유로 배제되지 않는다.In this case, the
키오스크(400)는, 사람의 체온을 측정하기 위한 체온 측정 장치(440)를 포함할 수 있고, 기 설정된 기준체온 이상의 체온이 측정된 경우 알람을 출력하도록 설정될 수 있다. 이때, 체온 측정 장치(440)는 열화상 카메라일 수 있으나 이에 한정되지는 않는다.The
키오스크(400)는, 주문자인 사용자를 촬영하는 카메라(430) 및 촬영된 사용자를 사진으로 출력하는 프린터(420)를 포함할 수 있다. 이때, 사용자의 연령 및 성별에 기 매핑되어 저장된 배경화면을, 피사체인 사용자를 제외한 배경으로 설정하여 출력되도록 할 수 있다. 이때, 피사체를 전경으로부터 분리하는 기술은 다양한 기술이 사용될 수 있으므로 어느 하나로 특정하지는 않는다. 간단하게 설명하면, 우선 피사체인 사용자를 제외하고 나머지 배경은 삭제하도록, 사진을 이진화하여 전처리하고 피사체를 윤곽선 인식으로 인식한 후, 그 나머지 배경은 삭제하고, 연령 및 성별에 기 매핑되어 저장된 배경화면을 합성하여 사진을 찍어주고 인쇄해주는 것이다. 이때, 연령을 확인하기 위해서는 안면인식 후 연령을 추정하는 알고리즘이 요구된다. 연령을 추정한 후 해당 연령 그룹에서 선호하는 배경화면을 자동으로 삽입하는데, 배경화면이 마음에 들지 않는다면 사용자는 "다른 배경" 등과 같이 음성으로 배경화면의 교체를 요구할 수 있고, 키오스크(400)는 다른 배경으로 바꾸어 화면에 출력하면서 "이 배경이 마음에 드시나요?"와 같이 컨펌을 요청할 수도 있다.The
키오스크(400)는, 주문식별코드를 스캔 또는 리딩하는 식별장치(미도시)를 포함할 수 있다. 이에 따라, 사용자 단말(100)은 주문식별코드를 가지고 매장 직원에게 가지 않고 바로 키오스크(400)로 가서 QR 코드만 스캔하면 주문을 완료할 수 있다. 이때, 주문식별코드가 바코드나 QR 코드라면 적외선 스캐너 등이 사용될 수 있으나 다른 종류의 주문식별코드라면 이에 대응하는 스캐너 또는 리더기가 이용될 수도 있다.The
재학습부(340)는, 적어도 하나의 키오스크(400)를 고유부호를 기준으로 관리하고, 적어도 하나의 키오스크(400)로부터 음성인식 오류 데이터가 보고되는 경우, 오류 부분 및 오류 원인을 음성인식 빅데이터에 업데이트한 후, 오류의 패턴을 파악하여 기 구축된 인공지능 음성인식 알고리즘을 재학습시킬 수 있다. 이때, 키오스크(400)는 적어도 하나의 장소에 위치하고, 각각의 고유부호가 부여된 적어도 하나의 키오스크(400)일 수 있다. 장치가 잘 구동되지 않을 때 사람들이 많이 사용하는 의성어나 욕설까지 포함해서 이러한 키워드를 포함하는 단어나 문장이 나오기 전까지의 구동과정을 모두 재학습부(340)로 오류 리포트를 할 수 있다. 이때, 재학습부(340)에서는 오류 부분 및 오류 원인을 관리자 단말(미도시)로부터 입력받고, 해당 오류 부분 및 오류 원인의 패턴을 찾도록 학습한 후 이를 반복하지 않도록 적어도 하나의 키오스크(400)를 업데이트하는 과정을 진행할 수 있다.The relearning
이때, 키오스크(400)는 음성인식 기반으로 동작하도록 인공지능 챗봇을 포함할 수 있다. 챗봇은 채팅과 로봇의 합성어로 로봇의 인공지능을 대화형 인터페이스에 접목한 기술로 인공지능을 기반으로 사람과 상호작용하는 대화형 시스템을 지칭한다. 챗봇은 인공지능 기술의 발전으로 머신러닝 또는 딥러닝 기술이 챗봇에 적용되어 사용자의 질문을 이해하고 의도를 파악하여 적합한 답변을 제시할 수 있게 되면서 더 복잡한 일을 수행하는 것이 가능해졌다. 또한, 스마트폰의 보급과 모바일 메신저 사용자가 급증하여 스마트 폰 사용자는 대부분 메신저 앱을 사용하고 있어 메신저 앱을 사용하여 챗봇 서비스를 제공하는 경우 새로운 앱 설치 없이 누구나 익숙한 환경에서 챗봇 서비스를 사용자들에게 공급할 수 있게 되었다. 이에 따라 기존 메신저 업체들은 챗봇 시장을 선점하기 위해 각자의 메신저 플랫폼 API를 공개함은 물론 인공지능 기술이 적용된 메신저 플랫폼을 개발하고 있다.In this case, the
챗봇은 동작방식에 따라 규칙기반 챗봇과 기계학습기반 챗봇, 정보교환방식에 따라 일회성 질의응답 챗봇과 연속대화형 챗봇, 답변생성방식에 따라 검색모델 챗봇과 생성모델 챗봇으로 분류할 수 있다. 규칙기반 챗봇은 미리 정의된 규칙을 기반으로 챗봇이 동작하게 되어 있는데, 사용자의 입력을 해석하는 해석규칙, 사용자의 입력에 대해 반응하는 반응 규칙 또는 응답을 생성하는 규칙을 포함하고 있다. 규칙기반 챗봇의 개발에는 대량의 데이터가 필요하지 않으며 상대적으로 구현이 쉬운데, 규칙기반 챗봇의 경우 규칙이 잘 정의되면 높은 품질의 대화 서비스가 가능하지만 많은 규칙을 잘 정의하는 데에는 많은 시간과 인력이 요구된다.Chatbots can be classified into rule-based chatbots and machine learning-based chatbots according to their operation method, one-time Q&A chatbots and continuous conversational chatbots according to information exchange method, and search model chatbots and generation model chatbots according to the answer generation method. The rule-based chatbot operates based on a predefined rule, and includes an interpretation rule that interprets the user's input, a reaction rule that responds to the user's input, or a rule that generates a response. Rule-based chatbot development does not require a large amount of data and is relatively easy to implement.For rule-based chatbots, high-quality conversation services are possible if rules are well defined, but a lot of time and manpower are required to well define many rules. do.
기계학습기반 챗봇은 자연어를 이해하고 적절한 답변을 생성하거나 선택하기 위해 기계학습 알고리즘을 사용한다. NLP(Natural Language Process) 모듈은 사용자가 입력한 자연어를 다양한 언어학적 자원을 활용해 분해하는 역할을 수행하고, NLU(Natural Language Understanding) 모듈은 분해된 자연어의 의미를 파악하여 정제된 정보를 답변을 생성하기 위한 최종 분류 모델 또는 생성모델로 전달하게 된다. 나아가 NLU 모듈의 결과물을 사용하여 기계학습 알고리즘은 기존에 정의된 답변을 선택하거나 NLG(Natural Language Generation) 모듈이 새로운 답변을 생성하게 된다. 기계학습 기반 챗봇은 높은 수준의 대화가 가능하지만 그만큼 높은 수준 자연어 처리기술을 필요로 하며, NLP 모듈 및 NLU 모듈은 많은 언어학적 자원 및 데이터를 요구한다.(말뭉치 사전, 형태소사전, 의미역 사전)Machine learning-based chatbots use machine learning algorithms to understand natural language and generate or select appropriate answers. The NLP (Natural Language Process) module decomposes the natural language input by the user by using various linguistic resources, and the NLU (Natural Language Understanding) module understands the meaning of the decomposed natural language and answers refined information. It is passed to the final classification model or generation model for generation. Furthermore, by using the result of the NLU module, the machine learning algorithm selects a previously defined answer or the NLG (Natural Language Generation) module generates a new answer. Machine learning-based chatbots can communicate at a high level, but require a high level of natural language processing technology, and the NLP module and NLU module require many linguistic resources and data (corporate dictionary, morpheme dictionary, semantic translation dictionary).
또한, 특정 태스크 수행을 위해 만들어진 기계학습 모듈은 적용 분야에 따라 새롭게 개발해야 하는 경우가 많으며 대부분 재활용이 어렵다. 일회성 질의응답 챗봇은 대화관리 기능을 필요로 하지 않으며 질문과 관련성이 가장 높은 답변을 제시하는 검색엔진과 유사한 형태로 작동한다. 자주 묻는 질문에 대한 정해진 답변을 제시하는 FAQ 챗봇의 대부분이 1회성 질의응답 형태로 설계된다. 연속 대화형 챗봇은 대화의 시작과 종료가 있으며 사용자로부터 특정한 목적을 달성하기 위해 정보를 수집하고, 수집된 정보를 바탕으로 최종 응답을 하면 대화가 종료된다. 챗봇이 다양한 주제에 대해 모든 응답을 하는 것이 불가능하므로 대부분 특정 대화의 주제에 따라 구조화된 대화의 형식(시나리오)이 정해져 있다. 정해진 시나리오에 따라 동작하는 챗봇 시스템을 프레임 기반 담화 시스템(Frame-based system)이라고 한다. 프레임 기반 담화 시스템은 사용자의 질문에 응답하기 위한 정보의 세트인 슬롯을 구성하여 슬롯에 기반을 두어 질문을 생성하고, 요구되는 정보가 수집된 상태에 따라 담화가 전개된다.In addition, machine learning modules made to perform a specific task often need to be newly developed depending on the application field, and most are difficult to recycle. One-time Q&A chatbots do not require a conversation management function and operate in a similar form to a search engine that presents the most relevant answers to questions. Most of the FAQ chatbots that provide fixed answers to frequently asked questions are designed in a one-time Q&A format. Continuous conversational chatbots have a conversation start and end, collect information from users to achieve a specific purpose, and end the conversation when a final response is made based on the collected information. Since it is impossible for chatbots to respond to various topics, most of them have a structured conversation format (scenario) depending on the topic of a specific conversation. A chatbot system that operates according to a predetermined scenario is called a frame-based system. The frame-based discourse system constructs a slot, which is a set of information for answering a user's question, generates a question based on the slot, and develops the discourse according to the state in which the requested information is collected.
검색기반 챗봇은 사용자의 질문에 따라 기존 지식 베이스에 저장된 답변 중 가장 적절한 답변을 선택하여 제시하는 방식으로 작동한다. 생성기반 챗봇은 사용자의 질문에 따라 기존에 정의되어 있지 않은 새로운 답변을 생성하여 제공한다. 생성모델의 챗봇은 답변을 생성하는데 자유도가 크기 때문에 문법적인 오류를 범하거나 일반적이지 않은 답변을 생성하는 경향이 있으며, 생성모델의 챗봇을 만들기 위해서는 굉장히 방대한 학습데이터가 필요하다. 현재 상용화된 챗봇은 대부분 검색기반 챗봇이거나 검색모델과 생성모델을 결합한 하이브리드 방식이며, 최근 많은 연구자들이 딥러닝 알고리즘(Encoder-Decoder, Seq2Seq)을 적용하여 챗봇을 만들기 위한 연구를 진행하고 있다.Search-based chatbots work by selecting and presenting the most appropriate answer among answers stored in the existing knowledge base according to the user's question. Generation-based chatbots generate and provide new answers that are not previously defined according to user questions. The generative model chatbot tends to make a grammatical error or generate an unusual answer because it has a large degree of freedom to generate an answer, and a very large amount of learning data is required to create a generative model chatbot. Currently, most commercially available chatbots are search-based chatbots or hybrid methods that combine a search model and a generation model, and recently, many researchers are conducting research to create a chatbot by applying a deep learning algorithm (Encoder-Decoder, Seq2Seq).
상술한 인공지능 챗봇을 본 발명의 일 실시예에서는 음성기반으로 작동하도록 주문 프로세스를 구현하는 것이다. 주문 프로세스는 음료를 주문하는 가맹점이라면, 어떠한 종류의 음료를 주문할 것인지, 사이즈는 어느 크기로 할 것인지, 아이스인지 핫(Hot)인지, 토핑을 추가할 것인지 등과 같이 직원-고객 간에도 정형화된 대화가 정해져 있다. 이에, 각 단계별로 사용자가 선택하는 것만으로도 간단하게 구현을 할 수가 있고 실시간 처리가 가능하다. 또, 인공지능 챗봇이 음성으로 질의를 하고 사용자는 키워드만 말하는 방식으로 구현될 수 있으므로 노인이나 아동도 손 쉽게 이용할 수 있다. 그리고, 음성을 제대로 알아듣지 못하는 사용자들을 위하여 화면으로도 음성으로 나오는 멘트가 동시에 출력되므로 편의성도 높다. In one embodiment of the present invention, the above-described artificial intelligence chatbot implements an order process to operate based on voice. The ordering process is a formal conversation between employees and customers, such as what kind of beverage to order, what size to order, whether ice or hot, and whether to add toppings. have. Accordingly, it is possible to implement simply by selecting the user for each step, and real-time processing is possible. In addition, since the artificial intelligence chatbot can query by voice and the user speaks only keywords, the elderly and children can easily use it. In addition, for users who cannot understand the voice properly, the voice message is outputted on the screen at the same time, so the convenience is high.
예를 들어, 음성인식을 위하여 스피커에 마이크를 내장할 수 있고, 마이크로부터 수신한 사용자의 발화를 STT(Speech To Text)로 변환함으로써 텍스트로 변환한다. 그리고, 변환된 텍스트는 사용자의 의도에 맞는 기능을 수행하도록 전송된다. 즉, 마이크로부터 입력되는 서용자의 음성을 텍스트로 변환하기 위한 STT(Speech To Text) 모듈로 클라우드 기반 API를 사용할 수 있으나 이에 한정되지 않는다. 또, 처리된 텍스트를 음성으로 다시 합성하는 경우 TTS(Text To Speech)의 과정을 거치며 사용자에게 음성이 출력되는 것이다. For example, a microphone can be built into a speaker for speech recognition, and the user's speech received from the microphone is converted into text by converting it into STT (Speech To Text). Then, the converted text is transmitted to perform a function suitable for the user's intention. That is, a cloud-based API may be used as a speech to text (STT) module for converting a user's voice input from a microphone into text, but is not limited thereto. In addition, when the processed text is synthesized again into speech, the speech is output to the user through the process of TTS (Text To Speech).
덧붙여서, 키오스크(400)의 특성상 주문이 이미 수행된 경우 이후 변경이나 취소가 어렵기 때문에 만약 변경이나 취소를 하고자 하는 경우, 다시 매장 직원에게 달려가 취소를 요청하고 변경을 수행해야 하기 때문에 번거롭다. 이때, 본 발명의 일 실시예에서는, 블록체인의 Tendermint 알고리즘을 이용하여 키오스크(400)를 금융 정보 클라우드로 이용하고, 사용자가 자신의 지불 및 결제 내역을 쉽게 확인하고 바로 변경 및 취소가 가능한 유동적 결제 지불 플랫폼을 이용할 수도 있다. In addition, due to the nature of the
블록체인 Tendermint 알고리즘은, Cosmos에서 사용하는 합의 알고리즘으로, 공개 및 비공개 네트워크에 맞도록 DPoS(Delegated Proof-of-Stake)와 PBFT개념을 섞어 개량한 합의 알고리즘이다. 기존 합의 알고리즘은‘선(先) 블록 생성, 후(後)합의'의 방식으로 블록을 생성하기 때문에 부분 분기의 문제가 발생할 수 있다. 예를 들어, A와 B라는 블록이 동시에 생길 경우, 노드는 두개 중 하나를 선택하게 되는데 이 과정에서 이후 블록의 확정 여부에 따라 이전 블록의 확정이 결정된다. 이는 많은 시간을 요구하기 때문에 즉각적인 거래가 요구되는 서비스에는 적용에 어려움이 있다. 반면, Tendermint는 반대로 ‘선(先) 합의, 후(後) 블록 생성’하는 매커니즘을 가지고 있다. 따라서, 사용자들은 이전의 데이터를 전부 보유하지 않아도 최근의 기록 정보를 가져올 수 있으며, 이를 통해 블록체인 기반 서비스를 안전하게 이용할 수 있다.Blockchain Tendermint algorithm is a consensus algorithm used by Cosmos, which is a consensus algorithm improved by mixing Delegated Proof-of-Stake (DPoS) and PBFT concepts to suit public and private networks. Existing consensus algorithms generate blocks in a'pre-block generation, post-consensus' method, which can lead to a problem of partial branching. For example, when blocks A and B occur at the same time, the node selects one of the two. In this process, the determination of the previous block is determined according to whether the subsequent block is determined. Since this requires a lot of time, it is difficult to apply it to a service that requires an immediate transaction. On the other hand, Tendermint, on the contrary, has a mechanism of ‘preliminary consensus and post-block generation’. Therefore, users can retrieve the latest record information even if they do not have all the previous data, and through this, they can safely use blockchain-based services.
현 키오스크의 결제 시스템은 지불 정보가 점주에게 일방향적으로 전송 되는 구조이다. 이를 벗어나 사용자와 점주가 결제 정보를 직접 주고 받고 공유하는 시스템을 통해, 사용자가 자신의 금융 정보를 쉽게 관리할 수 있는 클라우드 서비스를 이용할 수 있다. 우선, 사용자가 키오스크(400)를 통해 결제를 하면, 결제 정보는 즉시 노드들의 네트워크에 블록으로 생성된다. 이러한 블록에 저장되는 정보의 내용에는 기본적으로 영수증에 명시된 결제 정보가 포함되어 있다. 결제 장소 정보부터 금액, 물품 그리고 카드 승인 번호에 대한 데이터가 블록으로 저장되어 있어 네트워크 내에서 노드들은 합의를 통해 자유롭게 데이터를 저장, 열람할 수 있다.The current kiosk's payment system has a structure in which payment information is transmitted to the store owner in one direction. Apart from this, a cloud service that allows users to easily manage their financial information can be used through a system in which the user and the store owner directly exchange and share payment information. First, when a user pays through the
위의 저장된 금융 정보는 1차적으로 키오스크(400) 내에 저장된 후, 개인 모바일, 즉 사용자 단말(100)에서 사용자가 접근할 수 있도록 한다. 사용자는 키오스크(400)에서 결제한 후, 자신의 결제, 지불 정보를 실시간으로 모바일에서 확인할 수 있으며, 취소 혹은 변경을 하고 싶은 경우 별도의 영수증 필요 없이 모바일의 데이터를 이용해 바로 환불과 재결제를 할 수 있다. 키오스크(400)와 사용자 단말(100) 간의 연동을 통한 사용자의 금융 정보 클라우드 서비스는 기존의 영수증을 기반으로 한 결제 시스템에서 벗어나, 지류 없이 데이터만으로 쉽게 지불하고 환불할 수 있도록 한다. 이는 결제 정보를 확인하기 위해 영수증을 일일이 확인해야 했던 기존의 비효율성을 개선해주며, 사용자가 보다 쉽게 자신의 결제 정보에 접근하게 해줌으로써 소비 활동의 편의성을 증가시킨다.After the above stored financial information is primarily stored in the
현 키오스크는 한 장치에 하나의 가맹점 결제 시스템만을 작동시킬 수 있다. 그러나 이는 필요한 상점마다 키오스크(400)를 설치해야하기 때문에 자원 낭비를 초래하고 경제적인 부담을 안겨 준다. 이를 해소하기 위해 공통된 플랫폼을 활용하여 적은 장치로 많은 가맹점의 결제 수단을 대체하는 방안이 필요하기 때문에, 블록체인의 Tendermint 알고리즘을 기반으로 키오스크(400)를 공유하는 플랫폼을 이용할 수도 있다. Current kiosks can only operate one merchant payment system per device. However, this causes waste of resources and an economic burden because the
예를 들어, 각 키오스크(400)와 사용자 단말(100) 그리고 가맹점주의 가맹점 단말(500)은, 고유의 코드를 가지고 있다. 결제 내역은 [가맹점 단말(500), 사용자 단말(10)), 키오스크(400)] 순서의 코드가 블록으로 저장되며, 이렇게 저장된 블록은 수많은 키오스크(400) 들의 네트워크 상에서 공유된다. 사용자는 자신이 결제한 키오스크(400(1))가 아닌 다른 키오스크(400(N))에서도 자신의 결제 정보가 담긴 블록을 볼 수 있다. 또는 다른 키오스크(400(N))에서 결제의 변경 및 취소를 요청하면 요청 내역이 블록으로 저장되어 노드들의 합의를 거쳐 동의할 경우, 결제 내역에 실제로 반영이 된다. 즉, 결제 정보는 블록으로 모두 공유 되기 때문에 반드시 한 상점에서 키오스크(400)를 고유하게 가질 필요가 없어진다. 여러 상점이 한 키오스크(400) 결제 플랫폼을 공유하여 사용자들은 같은 키오스크(400)에서 다양한 상점의 결제를 진행할 수 있는 것이다.For example, each
상술한 경우, 사용자 단말(100) 내에서 구동되는 프로세스는 다음과 같다. 우선 A 코드를 가진 사용자 단말(100)의 사용자가 B 코드를 가진 키오스크(400)에서 C 코드가 부여된 가맹점 단말(500)의 가맹점 결제를 했다고 가정하자. 이때, 결제한 정보는 [A,B,C]라는 내용의 블록으로 저장이 된다. A 사용자가 [A,B,C] 결제 정보를 열람하고 싶은 경우, 굳이 B 키오스크(400(B))를 찾지 않아도 다른 키오스크 B’(400(B'))에서도 바로 열람이 가능하다. 또한 결제에 오류가 있어서 수정이 필요한 경우 변경 요청을 하면 이러한 요청 정보가 가맹점 단말(400) C에게 바로 도착하게 된다. 사용자 단말(100) A는 C의 승인 결과를 실시간으로 연동된 모바일 클라우드에서 확인할 수 있다. 즉, 사용자는 자신의 결제 정보를 수정하기 위해 반드시 결제했던 키오스크(400(B))로 갈 필요 없이 자신의 결제 정보를 활용해 변경 요청을 직접적으로 보낼 수 있다. 또한 공통된 결제 플랫폼을 사용하기 때문에 B 키오스크(400(B))에서 C 상점 뿐만 아니라 다른 상점들의 결제까지 해결하여 사용자의 지불 절차를 간소화할 수 있다.In the above case, the process driven in the
상술한 공유형 키오스크(400)가 보급화되는 경우, 1차적으로 사용자의 결제 및 환불 절차에 대한 접근성이 높아지고, 2차적으로 영세상인이나 자영업자들이 한 대의 키오스크(400)를 공유할 수 있으므로 역설적으로 키오스크(400)의 판매율 또한 높아질 수 있다. 또한 하나의 결제 플랫폼으로 사용자-점주들이 공유한다면 금융 정보에 대한 투명성이 제고되며. 결제 데이터를 활용한 2차 서비스 창출의 기회도 높아질 수 있다.When the above-described shared
이하, 상술한 도 2의 주문 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 내지 도 5를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.Hereinafter, the operation process according to the configuration of the order service providing server of FIG. 2 will be described in detail with reference to FIGS. 3 to 5 as an example. However, it will be apparent that the embodiment is only any one of various embodiments of the present invention, and is not limited thereto.
도 3을 참조하면, (a) 주문 서비스 제공 서버(300)는 안면 인식 센서(410)를 가지고 홍보화면을 디폴트로 출력하다가 사람의 안면을 인식하면 바로 주문 모드로 전환되도록 구성된다. 그리고, 체온 측정 장치(440)를 통하여 매장에 들어올 수 있는 사람인지의 여부를 확인하고, 만약 고열이 있는 경우에는 알람을 울림과 동시에 음성멘트로 검사를 받아보라는 멘트를 출력할 수도 있다. 그리고, 카메라(430)를 통하여 사용자의 사진을 찍어줄 수 있으며, 원하는 배경을 삽입하여 사용자인 피사체와 합성한 후 프린터(420)를 통하여 사진을 인화 또는 인쇄해줄 수 있도록 구비될 수 있다. Referring to FIG. 3, (a) the order
한편, (a) 키오스크(400)에서 직접 사용자가 주문을 하는 경우에는 음성 기반으로 주문을 진행하게 되며, 카드를 삽입할 때에도 카드를 매개로 키오스크(400)가 직접적으로 닿지 않으므로 비접촉 상태를 유지할 수 있다. 그리고, (c) 사용자 단말(100)에서 O2O로 결제한 경우 QR 코드만 키오스크(400)에 스캔 또는 리딩하면 주문서가 POS인 가맹점 단말(500)로 전송되므로 역시 매장 직원은 물론 키오스크(400)와도 접촉할 필요가 없다. On the other hand, (a) when the user places an order directly at the
도 4a는 주문 모드로 전환된 홈 화면이다. 평소에는 홍보 영상이나 광고 영상을 출력하고 있다가, 키오스크(400)의 안면 인식 센서(410)를 통하여 사람이 앞에 있다는 것이 감지되는 경우 도 4a와 같이 주문 모드로 전환된다. 이때, 주문자인 사용자가 "아이스 아메리카노 1잔 주세요"라고 발화하는 경우, "아이스", "아메리카노", "1잔"이 각각 키워드로 들어가 이에 대응하는 가격을 사용자에게 제시하면서 컨펌을 요구한다. 컨펌이 되는 경우 테이크 아웃인지 아닌지를 확인하고 결제를 진행하게 된다. 이 과정은 도 5를 통하여 상세히 설명하기로 한다.4A is a home screen converted to an order mode. Usually, a promotional image or an advertisement image is output, and when a person is detected through the
도 4c는 키오스크(400)에서 체온 측정, 사진 인화, 배경 변화, 사진에 삽입하고자 하는 텍스트를 음성으로 인식하는 구성이 각각 도시된다. 열화상 카메라 또는 적외선 센서를 이용하여 체온을 측정하거나, 얼굴 인식으로 연령 및 성별을 파악한 후 이 그룹이 선호하는 배경을 자동으로 삽입하거나, 사용자의 지시(음성)에 의해 다른 배경화면으로 전환할 수 있거나, 사용자가 사진 내에 말풍선을 넣고 그 내에 텍스트를 넣고 싶은 경우 모두 음성 기반으로 가능한 것을 알 수 있다. 도 4d는 O2O 서비스를 도시하는데, QR 코드로 주문을 식별할 수 있도록 하고, QR 코드를 기반으로 주문을 하는 2 가지 방법을 도시한다. 하나는 상술한 바와 같고 다른 하나는 커피숍 내에 QR 코드를 부착해두고, 역시 O2O로 사용자 단말(100)을 통하여 주문을 하는 방법이다. 이 방법도 직원과의 접촉이 발생하지 않으므로 비대면 및 비접촉을 유지할 수 있다.FIG. 4C shows a configuration in which the
도 4e는 본 발명의 일 실시예에 따른 키오스크(400)와 타사의 키오스크를 비교한 표이다. 본 발명의 일 실시예에서는 비대면 주문 및 코로나 바이러스 확산을 방지하기 위하여 음성인식 AI를 적용하고, 열화상 카메라 및 안면 인식 카메라를 이용하지만 타사의 키오스크는 터치 주문으로 여러 사람의 손 때가 뒤엉켜 바이러스를 퍼지게 하는 방법만을 개시하고 있다. 그 주문 방식에 대응하는 UI/UX도 복잡하여 기계를 잘 다루지 못하는 사람이나 익숙치 않은 사람들은 다시 매장 직원에게 달려가게 되므로 비대면 및 비접촉은 요원한 일이 되고 만다.4E is a table comparing the
<실시예><Example>
도 5는 본 발명의 일 실시예에 따른 주문 서비스를 직접 시연한 동영상을 부분 캡쳐한 캡쳐본이다. 도 5a를 참조하면, "주문 말로 해요"라는 화면이 출력되고 있으나, 이는 주문 모드 화면이 아니다. 주문을 위해서는 주문 모드 화면으로 전환을 해야 하는데 터치를 하지 않고도 본 발명의 일 실시예에 따른 키오스크(400)는, 얼굴을 인식함으로써 주문하려는 사람이 있는지를 확인하고 그 다음 주문 모드로 전환된다. 이렇게 얼굴을 인식한 후에는 도 5b와 같이 주문 화면으로 전환된다. 이때, 동영상 캡쳐본이라 음성을 표현하지는 못했지만, 현재 도 5b의 화면에서 키오스크(400)는 "커피 메뉴입니다. 원하시는 메뉴를 말씀해주세요"라고 말하고 있으며 화면 내에도 이 멘트가 텍스트로 표시되고 있다. 그리고, 동영상 내 시연자는 "아메리카노 따뜻한 것 한 잔 주세요"라고 발화했으며, 도 5c에 보면 키오스크(400)는 "따뜻한 아메리카노를 선택하셨습니다"라고 말하며 주문한 메뉴를 사용자가 확인할 수 있도록 화면에도 음성멘트를 표시해준다. 물론, "따뜻한 아메리카노"의 메뉴는 하단에 선택된 메뉴로 표시도 되므로 직관적으로 확인할 수 있다. 이때 키오스크(400)는 "결제 또는 추가 음료를 말씀해주세요"라고 말하고, 동영상 내 시연자는 "차 음료"를 선택했다.5 is a partial capture of a video that directly demonstrates an order service according to an embodiment of the present invention. Referring to FIG. 5A, a screen saying "I will order words" is displayed, but this is not an order mode screen. In order to place an order, it is necessary to switch to the order mode screen, but the
시연자가 "차 음료"를 선택하자, 도 5d와 같이 키오스크(400)는, 차 음료 메뉴로 넘어왔으며, "원하시는 메뉴를 말씀해주세요"라고 음성멘트를 출력한다. 이때, 시연자는 "생강차 한 잔 주세요"라고 발화했으며, 도 5e와 같이 키오스크(400)는 "생강차 한 잔을 선택하셨습니다. 결제 또는 추가 음료를 말씀해주세요"라고 음성멘트를 출력하고 있으며, 음성멘트가 화면에 동시에 출력되고 있다. 이때, 시연자는 "결제"라고 음성발화했고, 도 5f와 같이 키오스크(400)는 "테이크아웃 하시겠습니까? 테이크아웃 또는 아니오로 말씀해주세요"라고 발화했으며, 이 음성멘트 또한 동시에 화면에 텍스트로 출력되고 있는 것을 확인할 수 있다. When the demonstrator selects "tea drink", the
이때, 시연자는 "테이크아웃"이라고 발화했으며, 도 5g와 같이 키오스크(400)는 "결제카드를 결제기계에 투입해주세요"라고 음성멘트를 출력하고 이 역시 동시에 화면에 텍스트로 출력되고 있는 것을 확인할 수 있다. 시연자는 결제카드를 카드삽입슬롯에 넣었고, 키오스크(400)는 바로 결제를 진행했다. 카드삽입슬롯에 넣고 나서 도 5h와 같이 키오스크(400)는 "결제가 완료되었습니다. 영수증과 대기번호를 받아주세요"라고 음성멘트를 출력했고 마찬가지로 화면에 동시에 출력되고 있다. 이렇게 주문은 완료되었으며 음료가 나오면 이제 주문자는 음료를 받아가기만 하면 된다.At this time, the demonstrator uttered "Takeout", and as shown in FIG. 5G, the
이와 같은 도 2 내지 도 5의 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.The matters not described for the method of providing a non-face-to-face and non-contact order service based on voice recognition of FIGS. 2 to 5 are the same as those described for the method of providing a non-face-to-face and non-contact order service based on voice recognition through FIG. Since it can be easily inferred from the description, the description will be omitted below.
도 6은 본 발명의 일 실시예에 따른 도 1의 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 6을 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 6에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.6 is a diagram illustrating a process of transmitting and receiving data between components included in the system for providing a non-face-to-face and contactless order service based on voice recognition of FIG. 1 according to an embodiment of the present invention. Hereinafter, an example of a process in which data is transmitted/received between each component will be described with reference to FIG. 6, but the present application is not limitedly interpreted as such an embodiment, and is illustrated in FIG. 6 according to various embodiments described above. It is apparent to those skilled in the art that the process of transmitting and receiving data may be changed.
도 6을 참조하면, 주문 서비스 제공 서버는, 키오스크 및 가맹점 단말을 매핑하여 등록한다(S6100).6, the order service providing server maps and registers a kiosk and an affiliated store terminal (S6100).
그리고, 주문 서비스 제공 서버는, 사용자 단말로부터 O2O(Online to Offline) 기반으로 주문 객체의 선택 및 결제가 이루어지는 경우, 주문 객체에 대응하는 주문식별코드를 부여한다(S6200).Then, the order service providing server, when the selection and payment of the order object is made based on O2O (Online to Offline) from the user terminal, gives an order identification code corresponding to the order object (S6200).
마지막으로, 주문 서비스 제공 서버는, 키오스크에서 주문식별코드가 스캔되는 경우 주문식별코드에 매핑되어 저장된 주문 객체 데이터를 가맹점 단말로 전송한다(S6300).Finally, when the order identification code is scanned at the kiosk, the order service providing server transmits the stored order object data mapped to the order identification code to the affiliated store terminal (S6300).
상술한 단계들(S6100~S6300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S6100~S6300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.The order between the above-described steps (S6100 to S6300) is only an example and is not limited thereto. That is, the order of the above-described steps (S6100 to S6300) may be mutually changed, and some of the steps may be executed or deleted at the same time.
이와 같은 도 6의 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 5를 통해 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.The matters not described for the method of providing the voice recognition-based non-face-to-face and contactless order service of FIG. 6 are the same as those described for the method of providing the voice recognition-based non-face-to-face and contactless order service through FIGS. Since it can be easily inferred from the description, the description will be omitted below.
도 6을 통해 설명된 일 실시예에 따른 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. The method for providing a non-face-to-face and non-contact order service based on voice recognition according to an embodiment described with reference to FIG. 6 is also in the form of a recording medium including instructions executable by a computer such as an application or program module executed by a computer. Can be implemented. Computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. Further, the computer-readable medium may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
전술한 본 발명의 일 실시예에 따른 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.The method for providing a non-face-to-face and non-contact order service based on voice recognition according to an embodiment of the present invention described above is an application basically installed in a terminal (this may include a program included in a platform or an operating system basically installed in the terminal) It may be executed by, and may be executed by an application (ie, a program) directly installed on the master terminal by a user through an application providing server such as an application store server, an application, or a web server related to the service. In this sense, the method for providing a non-face-to-face and contactless order service based on voice recognition according to an embodiment of the present invention described above is implemented as an application (i.e., a program) installed in the terminal or directly installed by the user. It can be recorded on a computer-readable recording medium.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
Claims (7)
상기 키오스크(400)에서 결제된 주문 객체가 포함된 주문서를 출력하고, 상기 주문 객체 및 결제 금액을 매출 데이터로 기록 및 저장하는 가맹점 단말(500); 및
상기 키오스크(400) 및 가맹점 단말(500)을 매핑하여 등록하는 등록부(310), 사용자 단말로부터 O2O(Online to Offline) 기반으로 주문 객체의 선택 및 결제가 이루어지는 경우, 상기 주문 객체에 대응하는 주문식별코드를 부여하는 부여부(320), 상기 키오스크(400)에서 상기 주문식별코드가 스캔되는 경우 상기 주문식별코드에 매핑되어 저장된 주문 객체 데이터를 상기 가맹점 단말(500)로 전송하는 전송부(330)를 포함하는 주문 서비스 제공 서버(300);를 포함하고,
상기 키오스크(400)는, 사람의 안면 내 눈 및 코가 인식되는 경우에만 홈 화면으로 전환되어 주문 프로세스를 진행하는 화면을 출력하도록 구비되는 안면 인식 센서(410);를 포함하며,
상기 키오스크(400)는, 사람의 체온을 측정하기 위한 체온 측정 장치(440); 를 포함하고, 기 설정된 기준체온 이상의 체온이 측정된 경우 알람을 출력하도록 설정되고,
상기 키오스크(400)는, 상기 주문식별코드를 스캔 또는 리딩하는 식별장치;를 포함하며,
상기 키오스크(400)는 적어도 하나의 장소에 위치하고, 각각의 고유부호가 부여된 적어도 하나의 키오스크(400)이고, 상기 주문 서비스 제공 서버(300)는, 상기 적어도 하나의 키오스크(400)를 고유부호를 기준으로 관리하고, 상기 적어도 하나의 키오스크(400)로부터 음성인식 오류 데이터가 보고되는 경우, 오류 부분 및 오류 원인을 음성인식 빅데이터에 업데이트한 후, 오류의 패턴을 파악하여 기 구축된 인공지능 음성인식 알고리즘을 재학습시키는 재학습부(340);를 더 포함하고,
상기 키오스크(400)는 음성인식 기반으로 동작하도록 인공지능 챗봇을 포함하며,
상기 키오스크(400)는, 결제 프로세스를 통해 결제진행된 내역의 사용자 취소 요청이 입력되면, 블록체인의 Tendermint 알고리즘을 기반으로, 결제 내역의 취소를 수행하는 것을 특징으로 하는 음성인식 기반 비대면 및 비접촉 주문 서비스 제공 시스템.
A kiosk 400 for recognizing a user's voice utterance, identifying an order object by natural language processing, outputting the order object as a voice, and performing a payment process after receiving a voice confirmation of the order object output as a voice from the user;
An affiliate store terminal 500 for outputting an order form including an order object paid by the kiosk 400, and recording and storing the order object and the payment amount as sales data; And
Registration unit 310 for mapping and registering the kiosk 400 and the affiliated store terminal 500, when selection and payment of an order object is made based on O2O (Online to Offline) from a user terminal, order identification corresponding to the order object A grant unit 320 for assigning a code, and a transmission unit 330 that transmits the stored order object data mapped to the order identification code to the affiliated store terminal 500 when the order identification code is scanned by the kiosk 400 Including an order service providing server 300; including,
The kiosk 400 includes; a facial recognition sensor 410 provided to output a screen for performing an order process by switching to a home screen only when eyes and noses in the face of a person are recognized,
The kiosk 400 includes a body temperature measuring device 440 for measuring a person's body temperature; Including, is set to output an alarm when a body temperature above a preset reference body temperature is measured,
The kiosk 400 includes an identification device for scanning or reading the order identification code,
The kiosk 400 is at least one kiosk 400 located in at least one place and assigned a unique code, and the order service providing server 300 includes the at least one kiosk 400 with a unique code. Based on management, and when voice recognition error data is reported from the at least one kiosk 400, the error part and the cause of the error are updated in the voice recognition big data, and then the pattern of the error is identified, and the previously built artificial intelligence Further comprising a; relearning unit 340 for re-learning the speech recognition algorithm,
The kiosk 400 includes an artificial intelligence chatbot to operate based on voice recognition,
The kiosk 400 is a voice recognition-based non-face-to-face and contactless order, characterized in that, based on the Tendermint algorithm of the blockchain, when a user cancellation request of payment details is inputted through a payment process. Service delivery system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200110134A KR102216783B1 (en) | 2020-08-31 | 2020-08-31 | System for providing order service for non-face-to-face and noncontact based on speech recognition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200110134A KR102216783B1 (en) | 2020-08-31 | 2020-08-31 | System for providing order service for non-face-to-face and noncontact based on speech recognition |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102216783B1 true KR102216783B1 (en) | 2021-02-17 |
Family
ID=74731406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200110134A KR102216783B1 (en) | 2020-08-31 | 2020-08-31 | System for providing order service for non-face-to-face and noncontact based on speech recognition |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102216783B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102317429B1 (en) * | 2021-04-16 | 2021-10-25 | 박건일 | Electronic access list creation and order payment system with temperature check |
KR102492574B1 (en) * | 2022-07-15 | 2023-01-27 | 오더퀸 주식회사 | SYSTEM FOR PROVIDING ORDERING SERVICE USING WEAK Supervised Learning BASED CHATBOT ON VOICE ACTIVATED OCONVERSATIONAL KIOSK |
KR20230148693A (en) * | 2022-04-18 | 2023-10-25 | (주)엔조이소프트 | Smart hospitality service system using artificial intelligence speaker |
KR20240087228A (en) | 2022-12-12 | 2024-06-19 | 동의대학교 산학협력단 | Metahuman's scenario based custom interactive AI kiosk system for museum guidance and Method for Controlling the same |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130087900A (en) * | 2012-01-30 | 2013-08-07 | 디아이피시스템 주식회사 | Apparatus and method for picture printing using kiosk |
KR20190141410A (en) * | 2018-06-14 | 2019-12-24 | (주)이지위드 | System and method for providing service using kiosk |
KR20200004655A (en) * | 2018-07-04 | 2020-01-14 | 오해석 | Smart ordering system and method using artificial intelligence |
KR102100703B1 (en) * | 2019-11-25 | 2020-04-14 | 정원석 | Voice recognition kiosk with multiple input means |
-
2020
- 2020-08-31 KR KR1020200110134A patent/KR102216783B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130087900A (en) * | 2012-01-30 | 2013-08-07 | 디아이피시스템 주식회사 | Apparatus and method for picture printing using kiosk |
KR20190141410A (en) * | 2018-06-14 | 2019-12-24 | (주)이지위드 | System and method for providing service using kiosk |
KR20200004655A (en) * | 2018-07-04 | 2020-01-14 | 오해석 | Smart ordering system and method using artificial intelligence |
KR102100703B1 (en) * | 2019-11-25 | 2020-04-14 | 정원석 | Voice recognition kiosk with multiple input means |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102317429B1 (en) * | 2021-04-16 | 2021-10-25 | 박건일 | Electronic access list creation and order payment system with temperature check |
KR20230148693A (en) * | 2022-04-18 | 2023-10-25 | (주)엔조이소프트 | Smart hospitality service system using artificial intelligence speaker |
WO2023204448A1 (en) * | 2022-04-18 | 2023-10-26 | (주)엔조이소프트 | Smart guest reception service system using artificial intelligence speaker |
KR102665068B1 (en) * | 2022-04-18 | 2024-05-14 | (주)엔조이소프트 | Smart hospitality service system using artificial intelligence speaker |
KR102492574B1 (en) * | 2022-07-15 | 2023-01-27 | 오더퀸 주식회사 | SYSTEM FOR PROVIDING ORDERING SERVICE USING WEAK Supervised Learning BASED CHATBOT ON VOICE ACTIVATED OCONVERSATIONAL KIOSK |
KR20240087228A (en) | 2022-12-12 | 2024-06-19 | 동의대학교 산학협력단 | Metahuman's scenario based custom interactive AI kiosk system for museum guidance and Method for Controlling the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102216783B1 (en) | System for providing order service for non-face-to-face and noncontact based on speech recognition | |
US12039583B2 (en) | System for virtual agents to help customers and businesses | |
CN110178132B (en) | Method and system for automatically suggesting content in a messaging application | |
CN109952572B (en) | Suggested response based on message decal | |
JP7111376B2 (en) | Program and information processing method | |
US20170286530A1 (en) | Explicit signals personalized search | |
US20130282360A1 (en) | Method and Apparatus for Translating and Locating Services in Multiple Languages | |
KR101133822B1 (en) | Method for developmental disorders therapy using radio comunication terminal and system implementing the method | |
US11632341B2 (en) | Enabling communication with uniquely identifiable objects | |
JP6920773B1 (en) | Information provision method, information provision system, information provision device and computer program | |
US20210056521A1 (en) | Systems and methods for interactive video presentation of transactional information | |
Glasser et al. | Understanding Deaf and Hard-of-Hearing users' interest in sign-language interaction with personal-assistant devices | |
US11954719B2 (en) | Personalized voice-based assistance | |
JP7041434B2 (en) | Artificial intelligence speaker system, application software | |
KR101849310B1 (en) | Method for real time hotel reservation service, and a server and a terminal for performing the method thereof | |
KR102596036B1 (en) | System for providing artificial intelligence based unmanned store management service | |
KR102459856B1 (en) | System for providing community residential service for non face-to-face real-time civil affairs adiministration | |
KR20200109156A (en) | Method for providing online to offline based onestop tour service connecting taxi, tourist, and attraction together using multi-language | |
KR20220052263A (en) | System for providing online to offline based ordering service using qr code for postpay type | |
KR102512470B1 (en) | System for providing payment on behalf of user shoppingmall platform service for senior | |
KR20200127289A (en) | The platform system for reservation of scrubbing service | |
KR102479745B1 (en) | In-stadium delivery service districution system and method | |
US20230419287A1 (en) | Systems and methods for augmented communications using machine-readable labels | |
TW495682B (en) | Network service system and method | |
JP2021190008A (en) | Moving body imaging video providing system and program thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AMND | Amendment | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |