KR102584816B1

KR102584816B1 - Unmanned Cafe System with Artificial Intelligence and Digital Humans, and Operating Method Thereby

Info

Publication number: KR102584816B1
Application number: KR1020230037896A
Authority: KR
Inventors: 김민우; 최예원
Original assignee: 뉴럴엔진 주식회사
Priority date: 2023-03-23
Filing date: 2023-03-23
Publication date: 2023-10-11

Abstract

본 발명은 인공지능과 디지털 휴먼을 적용한 무인 카페 시스템 및 그 시스템의 운영 방법에 관한 것으로서, 본 발명의 실시예에 따른 인공지능과 디지털 휴먼을 적용한 무인 카페 시스템은, 무인 카페의 매장마다 설치되어 사용자들의 주문 음료를 제조하여 제공하며, 주문 음료를 제조하는 디지털 휴먼의 모습을 화면상에 표시하는 무인 카페 자판기, 및 매장의 특성을 반영하는 디지털 휴먼을 생성하여 (기)생성한 디지털 휴먼이 무인 카페 자판기의 화면상에 구현되도록 제어하며, 무인 카페 자판기의 사용 데이터를 근거로 매장의 운영 상태를 모니터링하는 무인카페 서비스장치를 포함할 수 있다.The present invention relates to an unmanned cafe system applying artificial intelligence and digital humans and a method of operating the system. The unmanned cafe system applying artificial intelligence and digital humans according to an embodiment of the present invention is installed at each store of the unmanned cafe to provide users An unmanned cafe vending machine that manufactures and provides drinks upon request and displays on the screen the image of a digital human making the ordered drinks, and an unmanned cafe with (pre-)created digital humans that reflect the characteristics of the store. It is controlled to be implemented on the screen of the vending machine, and may include an unmanned cafe service device that monitors the operating status of the store based on usage data of the unmanned cafe vending machine.

Description

Unmanned Cafe System with Artificial Intelligence and Digital Humans, and Operating Method Thereby}

본 발명은 인공지능과 디지털 휴먼을 적용한 무인 카페 시스템 및 그 시스템의 운영 방법에 관한 것으로서, 더 상세하게는 가령 디지털 휴먼과 인공지능이 결합되어 디스플레이를 통해 실제로 카페에서 사람이 음료나 식품을 제조하는 것과 같은 경험을 주는, 인공지능과 디지털 휴먼을 적용한 무인 카페 시스템 및 그 시스템의 운영 방법에 관한 것이다.The present invention relates to an unmanned cafe system applying artificial intelligence and digital humans and a method of operating the system. More specifically, for example, digital humans and artificial intelligence are combined to enable people to actually prepare drinks or food in a cafe through a display. It is about an unmanned cafe system using artificial intelligence and digital humans that provides the same experience and how to operate the system.

일반적으로 자동판매기는 판매자 없이 상품을 판매하기 위한 무인 판매장치로서, 화폐투입/처리부를 통해 투입된 금액에 대응하여 구매자가 선택한 상품을 상품투출구로 투출함으로써, 상품을 판매하는 장치이다. 자동판매기는 판매하고자 하는 상품이나 목적에 따라 다양한 형태와 여러 종류로 분류되며, 그 중에서도 음료를 음용할 수 있도록 판매하는 자동판매기는 크게 원료와 첨가물을 물과 혼합하여 액상으로 판매하는 것과, 음용할 음료가 수용된 음료용기를 판매하는 것으로 구분된다. 액상의 음료를 판매하는 대표적인 자동판매기에는 커피 자동판매기와, 과즙 음료 자동판매기가 대표적인 것으로, 대부분이 커피 전용 또는 과즙 음료 전용으로 사용하는 형태로 제작되어 사용된다.In general, a vending machine is an unmanned sales device for selling products without a seller, and is a device that sells products by discharging the product selected by the buyer into the product outlet in response to the amount input through the money input/processing unit. Vending machines are classified into various types and types depending on the product or purpose for which they are intended to be sold. Among them, vending machines that sell beverages for drinking are largely divided into those that mix raw materials and additives with water and sell them in liquid form, and those that sell beverages in drinkable form. It is classified as selling beverage containers containing beverages. Representative vending machines that sell liquid beverages include coffee vending machines and juice beverage vending machines, and most of them are manufactured and used exclusively for coffee or juice beverages.

최근에는 무인 카페와 같은 곳에는 구매자들의 선택이나 기호에 따라 커피나 과즙 음료 등 여러 가지의 음료 자동판매기가 설치되어 다양한 음료가 판매되고 있고, 그에 따라 여러 종류의 자동판매기가 설치됨으로써 자동판매기 자체가 상대적으로 많은 공간을 차지하면서 자동판매기의 취급 및 관리가 매우 불편한 문제점이 있다.Recently, in places such as unmanned cafes, vending machines for various beverages, such as coffee and juice drinks, are being installed to sell a variety of beverages depending on the choice or preference of buyers. As a result, various types of vending machines are installed, making the vending machines themselves more attractive. There is a problem in that vending machines take up a relatively large amount of space and are very inconvenient to handle and manage.

그런데, 종래의 무인 카페의 경우에는 고객을 유인할 수 있는 유인 요인이 많지 않아 판매가 제한적이며, 효율적인 매장 관리도 어려운 문제가 있다.However, in the case of conventional unmanned cafes, sales are limited because there are not many incentives to attract customers, and efficient store management is also difficult.

한국공개특허공보 제10-2019-0073109호(2019.06.26)Korean Patent Publication No. 10-2019-0073109 (2019.06.26) 한국공개특허공보 제10-2019-0136315호(2019.12.10)Korea Patent Publication No. 10-2019-0136315 (2019.12.10) 한국공개특허공보 제10-2022-0094008호(2022.07.05)Korean Patent Publication No. 10-2022-0094008 (2022.07.05) 한국등록특허공보 제10-2283052호(2021.07.22)Korean Patent Publication No. 10-2283052 (2021.07.22) 한국등록특허공보 제10-2429305호(2022.08.01)Korean Patent Publication No. 10-2429305 (2022.08.01)

본 발명의 실시예는, 가령 디지털 휴먼과 인공지능이 결합되어 디스플레이를 통해 카페에서 실제로 사람이 음료나 식품을 제조하는 것과 같은 경험(혹은 느낌)을 주는, 인공지능과 디지털 휴먼을 적용한 무인 카페 시스템 및 그 시스템의 운영 방법을 제공함에 그 목적이 있다.An embodiment of the present invention is an unmanned cafe system applying artificial intelligence and digital humans that combines digital humans and artificial intelligence to provide the same experience (or feeling) as if a person actually produces drinks or food in a cafe through a display. The purpose is to provide a method of operating the system.

본 발명의 실시예에 따른 인공지능과 디지털 휴먼을 적용한 무인 카페 시스템은, 무인 카페(cafe)의 매장마다 설치되어 사용자들의 주문 음료를 제조하여 제공하며, 상기 주문 음료를 제조하는 디지털 휴먼(Digital Human)의 모습을 화면상에 표시(display)하는 무인 카페 자판기, 및 상기 매장의 특성을 반영하는 디지털 휴먼을 생성하여 상기 생성한 디지털 휴먼이 상기 무인 카페 자판기의 화면상에 구현되도록 제어하며, 상기 무인 카페 자판기의 사용 데이터를 근거로 상기 매장의 운영 상태를 모니터링하는 무인카페 서비스장치를 포함한다.The unmanned cafe system applying artificial intelligence and digital humans according to an embodiment of the present invention is installed at each unmanned cafe store to prepare and provide drinks ordered by users, and a digital human (Digital Human) who prepares the ordered drinks. ) on the screen, and generate a digital human that reflects the characteristics of the store and control the generated digital human to be implemented on the screen of the unmanned cafe vending machine, and It includes an unmanned cafe service device that monitors the operating status of the store based on usage data of the cafe vending machine.

상기 무인 카페 자판기는, 상기 매장의 특성으로서 매장의 브랜드(brand)가 반영되는 유니폼을 상기 디지털 휴먼이 착용하도록 제어할 수 있다.The unmanned cafe vending machine can be controlled so that the digital human wears a uniform that reflects the store's brand as a characteristic of the store.

상기 무인 카페 자판기는, 설치 장소의 국적을 반영하여 상기 디지털 휴먼의 인종을 선택할 수 있다.The unmanned cafe vending machine can select the race of the digital human by reflecting the nationality of the installation location.

상기 무인 카페 자판기는, 매장 밖의 환경 데이터를 근거로 상기 사용자들에게 음료를 추천하여 상기 추천에 따른 음료를 주문받을 수 있다.The unmanned cafe vending machine can recommend drinks to users based on environmental data outside the store and receive orders for drinks according to the recommendations.

상기 무인 카페 자판기는, 상기 매장에 위치하는 사용자와의 거리를 근거로 상기 디지털 휴먼의 크기를 조정할 수 있다.The unmanned cafe vending machine can adjust the size of the digital human based on the distance from the user located in the store.

또한 본 발명의 실시예에 따른 인공지능과 디지털 휴먼을 적용한 무인 카페 시스템의 운영 방법은 무인 카페 자판기가 무인 카페의 매장마다 설치되어 사용자들의 주문 음료를 제조하여 제공하며, 상기 주문 음료를 제조하는 디지털 휴먼의 모습을 화면상에 표시하는 단계, 및 무인카페 서비스장치가 상기 매장의 특성을 반영하는 디지털 휴먼을 생성하여 상기 생성한 디지털 휴먼이 상기 무인 카페 자판기의 화면상에 구현되도록 제어하며, 상기 무인 카페 자판기의 사용 데이터를 근거로 상기 매장의 운영 상태를 모니터링하는 단계를 포함한다.In addition, the method of operating an unmanned cafe system using artificial intelligence and digital humans according to an embodiment of the present invention is to install an unmanned cafe vending machine at each store of the unmanned cafe to manufacture and provide drinks ordered by users, and a digital machine that produces the ordered drinks. A step of displaying the appearance of a human on a screen, and controlling an unmanned cafe service device to generate a digital human reflecting the characteristics of the store and implementing the generated digital human on the screen of the unmanned cafe vending machine, wherein the unmanned cafe service device generates a digital human reflecting the characteristics of the store. It includes monitoring the operation status of the store based on usage data of the cafe vending machine.

상기 표시하는 단계는, 상기 매장의 특성으로서 매장의 브랜드가 반영되는 유니폼을 상기 디지털 휴먼이 착용하도록 제어하는 단계를 포함할 수 있다.The displaying step may include controlling the digital human to wear a uniform that reflects the store's brand as a characteristic of the store.

상기 표시하는 단계는, 상기 무인 카페 자판기가 설치되는 설치 장소의 국적을 반영하여 상기 디지털 휴먼의 인종을 선택하는 단계를 포함할 수 있다.The displaying step may include selecting the race of the digital human by reflecting the nationality of the installation location where the unmanned cafe vending machine is installed.

상기 표시하는 단계는, 상기 매장 밖의 환경 데이터를 근거로 상기 사용자들에게 음료를 추천하여 상기 추천에 따른 음료를 주문받는 단계를 포함할 수 있다.The displaying step may include recommending a beverage to the users based on environmental data outside the store and receiving an order for a beverage according to the recommendation.

상기 표시하는 단계는, 상기 매장에 위치하는 사용자와의 거리를 근거로 상기 디지털 휴먼의 크기를 조정하는 단계를 더 포함할 수 있다.The displaying step may further include adjusting the size of the digital human based on the distance from the user located in the store.

본 발명의 실시예에 따르면, 무인 카페의 경우 기존과 같이 단순히 자판기만을 설치하기보다는 인공지능 기반으로 동작하는 디지털 휴먼을 적용함으로써 무인 카페에 생동감을 불어넣어 매출을 증가시킬 수 있을 것이다.According to an embodiment of the present invention, in the case of unmanned cafes, it will be possible to increase sales by bringing life to unmanned cafes by applying digital humans that operate based on artificial intelligence rather than simply installing vending machines as before.

또한 본 발명의 실시예에 따르면 무인 카페 자판기를 통해 매장 내의 데이터를 수집 및 분석하여 매장별로 맞춤화된 음료 등을 배치함으로써 효율적인 매장 관리가 가능할 수 있을 것이다.In addition, according to an embodiment of the present invention, efficient store management may be possible by collecting and analyzing data within the store through an unmanned cafe vending machine and arranging customized drinks for each store.

도 1은 본 발명의 실시예에 따른 무인 카페 시스템을 나타내는 도면,
도 2는 도 1의 무인 카페 자판기를 나타내는 도면,
도 3은 도 1의 무인 카페 자판기의 세부구조를 나타내는 블록다이어그램, 그리고
도 4는 본 발명의 실시예에 따른 무인 카페 시스템의 운영 과정을 나타내는 흐름도이다.1 is a diagram showing an unmanned cafe system according to an embodiment of the present invention;
Figure 2 is a diagram showing the unmanned cafe vending machine of Figure 1;
Figure 3 is a block diagram showing the detailed structure of the unmanned cafe vending machine of Figure 1, and
Figure 4 is a flowchart showing the operation process of an unmanned cafe system according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 무인 카페 시스템을 나타내는 도면이며, 도 2는 도 1의 무인 카페 자판기를 나타내는 도면이다.Figure 1 is a diagram showing an unmanned cafe system according to an embodiment of the present invention, and Figure 2 is a diagram showing the unmanned cafe vending machine of Figure 1.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 인공지능과 디지털 휴먼을 적용한 무인 카페 시스템(90)은 무인 카페 자판기(100), 사용자 단말장치(105), 통신망(110), 무인카페 서비스장치(120) 및 서드파티장치(130)의 일부 또는 전부를 포함한다.As shown in Figures 1 and 2, the unmanned cafe system 90 applying artificial intelligence and digital humans according to an embodiment of the present invention includes an unmanned cafe vending machine 100, a user terminal device 105, and a communication network 110. , includes part or all of the unmanned cafe service device 120 and the third-party device 130.

여기서, "일부 또는 전부를 포함한다"는 것은 서드파티장치(130)와 같은 일부 구성요소가 생략되어 무인 카페 시스템(90)이 구성되거나, 무인카페 서비스장치(120)를 구성하는 구성요소의 일부 또는 전부가 통신망(110)을 구성하는 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.Here, “including part or all” means that the unmanned cafe system 90 is configured by omitting some components such as the third-party device 130, or some of the components constituting the unmanned cafe service device 120. Or, it means that the entirety can be integrated into a network device (e.g., wireless switching device, etc.) constituting the communication network 110, and is explained as being entirely included in order to facilitate a sufficient understanding of the invention.

무인 카페 자판기(100)는 기존의 무인 카페에 설치되는 무인 자판기들과 유사할 수 있다. 다만, 본 발명의 실시예에서는 기존의 무인 자판기들과 비교해 볼 때, 인공지능(AI)의 디지털 휴먼을 적용함으로써 무인 카페에서 마치 유인 카페와 같은 분위기를 느낄 수 있도록 하기 위하여 동작할 수 있다. 이를 위하여 무인 카페 자판기(100)는 도 2에서 볼 수 있는 바와 같이 본체부(200)에 일체화되는 디스플레이장치(210) 즉 영상표시장치를 구비할 수 있다. 물론 본 발명의 실시예에서는 디스플레이장치(210)를 일체화하는 것에 특별히 한정하지는 않을 것이다.The unmanned cafe vending machine 100 may be similar to unmanned vending machines installed in existing unmanned cafes. However, in the embodiment of the present invention, compared to existing unmanned vending machines, by applying digital humans of artificial intelligence (AI), the unmanned cafe can be operated to provide an atmosphere similar to a manned cafe. To this end, the unmanned cafe vending machine 100 may be equipped with a display device 210, that is, an image display device, integrated into the main body 200, as shown in FIG. 2. Of course, the embodiment of the present invention will not be particularly limited to integrating the display device 210.

좀더 구체적으로 무인 카페 자판기(100)는 기존의 무인 카페와 같이 복수의 자판기를 설치하지 않는 것이 바람직하다. 다시 말해, 기존의 유인 카페와 같이 가령 주방의 위치에 하나의 자판기를 설치할 수 있고, 또 설치되는 자판기의 크기는 디지털 휴먼의 크기가 실제 사람의 크기처럼 보일 수 있도록 대형화하는 것이 바람직하다. 따라서, 대형 매장의 경우에는 그에 비례해서 무인 카페 자판기(100)의 크기 특히 디스플레이장치(210)의 크기가 결정될 수 있고, 또 소형 매장의 경우에는 그에 비례해서 무인 카페 자판기(100)의 크기가 결정될 수 있다. 이와 같이 본 발명의 실시예에 따른 무인 카페 자판기(100) 또는 디스플레이장치(210)는 매장의 크기에 비례하여 그 크기가 결정될 수 있다. 더욱 정확하게는 디지털 휴먼의 크기가 실제 사람의 크기와 유사하게 화면상에 구현될 수 있도록 하는 것이 바람직하다. 물론 디스플레이장치(210)의 크기는 디지털 휴먼(211)의 위치와 매장의 제일 앞쪽에 위치하는 사용자와의 거리를 기반으로 하여 결정될 수 있다. 매장 내의 사용자와의 거리에 따른 원근감을 고려하여 매장의 제일 뒤쪽에 위치하는 사용자를 위해서는 디지털 휴먼(211)의 크기를 작게 화면상에 표시할 수 있기 때문이다.More specifically, it is preferable that the unmanned cafe vending machine 100 does not install a plurality of vending machines like existing unmanned cafes. In other words, like existing manned cafes, one vending machine can be installed in the kitchen, and it is desirable to enlarge the size of the installed vending machine so that the size of the digital human appears to be the size of an actual person. Therefore, in the case of a large store, the size of the unmanned cafe vending machine 100, especially the size of the display device 210, can be determined in proportion, and in the case of a small store, the size of the unmanned cafe vending machine 100 can be determined in proportion. You can. In this way, the size of the unmanned cafe vending machine 100 or the display device 210 according to an embodiment of the present invention may be determined in proportion to the size of the store. More precisely, it is desirable to make the size of the digital human on the screen similar to that of a real person. Of course, the size of the display device 210 can be determined based on the location of the digital human 211 and the distance from the user located at the front of the store. This is because the size of the digital human 211 can be displayed on the screen in a small size for users located at the back of the store, considering the perspective according to the distance from the user in the store.

무인 카페 자판기(100)의 일측 가령 도 2에서 볼 때 상측에는 디스플레이장치(210)가 구비되고, 그 하단에는 (복수의) 음료 토출구(220), 그리고 결제부(230)가 구비될 수 있다. 이외에도 카메라나 다양한 유형의 센서들을 더 포함할 수 있으며, 디스플레이장치(210), 음료 토출구(220), 결제부(230), 카메라, 센서들을 제어하는 CPU, MPU 등의 제어장치를 더 포함할 수 있다. 제어장치 등과 관련해서는 이후에 도 3을 통해 좀더 다루기로 한다.When looking at one side of the unmanned cafe vending machine 100, for example, in FIG. 2, a display device 210 may be provided on the upper side, and (a plurality of) beverage discharge ports 220 and a payment unit 230 may be provided on the lower side. In addition, it may further include cameras or various types of sensors, and may further include control devices such as CPU and MPU that control the display device 210, beverage outlet 220, payment unit 230, camera, and sensors. there is. Control devices, etc. will be discussed in more detail later with reference to FIG. 3.

사용자들이 무인 카페의 매장에 입장하는 경우 또는 입장 전이라도 디스플레이장치(210)의 화면상에는 디지털 휴먼(211)이 표시될 수 있다. 디지털 휴먼(211)은 가상의 인간이며, 기설정된 프로그램에 따라 동작할 수 있다. 다만, 디지털 휴먼(211)과 고객과의 자연스러운 대화나 행동이 이루어져야 하므로, 디지털 휴먼(211)은 인공지능 기반의 디지털 휴먼이 바람직할 수 있다. 다시 말해, 디지털 휴먼(211)은 사용자 즉 고객의 음성을 인식하여 그 인식 결과에 따라 대화하거나 행동하는 것이 바람직하다. 예를 들어, 고객이 "어떤 음료가 잘 나가나요?"라고 물었을 때 디지털 휴먼(211)은 디스플레이장치(210) 등에 구비되는 마이크로폰 등을 통해 해당 음성을 수신하여 인식한 후 인식 결과로서 베스트 추천 음료를 제안할 수 있는 것이다. 물론, 디지털 휴먼은 특정 음료를 추천하면서 특정 액션을 취하거나 입술을 움직일 수 있다. 이러한 디지털 휴먼(211)의 동작 처리는 이미 소프트웨어적으로 프로그램화되므로, 본 발명의 실시예에서는 더 이상의 설명은 생략하도록 한다. 또한 이러한 디지털 휴먼(211)을 생성하기 위한 툴(tool)이 시중에 많이 공급되고 있기 때문에 이를 이용하여 매장마다 적용할 수 있는 디지털 휴먼(211)을 생성할 수 있을 것이다. 또한, 이의 과정에서 매장의 관리자는 자신의 모습을 디지털 휴먼(211)으로 구현하는 것도 얼마든지 가능할 수 있으며, 이를 위하여 자신의 사진을 프로그램에 공급하고 이를 통해 자신의 모습을 담은 디지털 휴먼(211)을 공급하는 것도 얼마든지 가능하다. 물론, 의상의 경우에도 디지털 휴먼(211)의 생성시 특정 의상을 지정할 수 있으며, 특정 브랜드의 유니폼을 선택하여 적용하는 것도 얼마든지 가능할 수 있을 것이다. 이외에도 음성(또는 언어) 등을 지정하는 것도 얼마든지 가능할 수 있다. 실제로 디지털 휴먼(211)의 생성을 위한 툴은 화면상에서 사용자와의 인터페이스에 의해 사용자들이 원하는 디지털 휴먼(211)을 생성해 공급한다고 볼 수 있다.When users enter an unmanned cafe store or even before entering, a digital human 211 may be displayed on the screen of the display device 210. The digital human 211 is a virtual human and can operate according to a preset program. However, since natural conversations or actions must occur between the digital human 211 and the customer, it may be desirable for the digital human 211 to be an artificial intelligence-based digital human. In other words, it is desirable for the digital human 211 to recognize the voice of the user, that is, the customer, and converse or act according to the recognition result. For example, when a customer asks, “Which drink is popular?”, the digital human 211 receives and recognizes the voice through a microphone provided in the display device 210, etc., and then provides the best recommendation as a result of the recognition. You can offer drinks. Of course, a digital human can take certain actions or move its lips while recommending a certain drink. Since the operation processing of the digital human 211 is already programmed in software, further description will be omitted in the embodiment of the present invention. In addition, since many tools for creating such digital humans 211 are available on the market, it will be possible to use them to create digital humans 211 that can be applied to each store. In addition, in this process, the store manager may be able to embody his/her own image as a digital human (211). To this end, he/she supplies his/her own photo to the program and creates a digital human (211) containing his/her own image. It is also possible to supply . Of course, in the case of clothing, specific clothing can be specified when creating the digital human 211, and it may also be possible to select and apply a uniform of a specific brand. In addition, it may be possible to specify a voice (or language), etc. In fact, the tool for creating the digital human 211 can be viewed as creating and supplying the digital human 211 desired by users through an interface with the user on the screen.

인공지능 프로그램은 그 전제가 고객의 다양한 행동에 대하여 다양하게 반응할 수 있다는 것이다. 다시 말해, 기존의 룰(rule) 기반의 프로그램은 프로그래밍을 통해 기설정된 정책 즉 설정 데이터의 규칙에 없으면 고객에게 답변을 줄 수 없는 것이 문제이다. 그러나, 인공지능 프로그램의 경우에는 예측이 가능하기 때문에 기존의 고객들과의 경험 데이터 등을 근거로 현재 고객의 질의나 행동에 대한 답변을 주거나 반응할 수 있기 때문에 차이가 있다고 볼 수 있다. 이를 위하여 인공지능 프로그램은 데이터 학습을 위해 지도 학습이나, 준지도 학습, 비지도 학습 등 다양한 방식으로 데이터를 사전에 학습한 후 고객의 응대에 나설 수 있는 것이다. 물론 이러한 인공지능 프로그램과 관련한 내용은 이미 잘 알려져 있으므로 자세한 내용들은 공개된 내용들로 대신하고자 한다. 다만, 본 발명의 실시예에서는 그 인공지능 프로그램을 디지털 휴먼(211)에 적용하여 무인 카페에 활용한다는 것이다.The premise of artificial intelligence programs is that they can respond in various ways to various customer actions. In other words, the problem with existing rule-based programs is that they cannot provide answers to customers if they are not in the rules of the set data, that is, policies already established through programming. However, in the case of artificial intelligence programs, there is a difference because predictions are possible and can provide answers or reactions to current customers' inquiries or actions based on experience data with existing customers. To this end, artificial intelligence programs can learn data in advance using various methods such as supervised learning, semi-supervised learning, and unsupervised learning before responding to customers. Of course, since the details related to these artificial intelligence programs are already well known, we will replace the detailed information with publicly available information. However, in the embodiment of the present invention, the artificial intelligence program is applied to the digital human 211 and utilized in an unmanned cafe.

예를 들어, 디지털 휴먼(211)은 앞서와 같이 고객에게 음료를 추천하고 또 추천한 음료의 선택이 있는 경우 해당 음료를 제조하는 모습을 사용자에게 보여줄 수 있다. 물론 디지털 휴먼(211)의 이러한 과정은 이미 설정되어 이루어지는 것이므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 다만, 제조 중에 고객이 또 다른 질의를 하는 경우, 제조 과정에서 그에 대한 답변을 하거나 응대를 할 수 있을 것이다. 물론 이러한 동작의 경우에도 사전에 소프트웨어적으로 이미 설정되어 있는 것이므로, 그에 따라 동작한다고 볼 수 있다.For example, the digital human 211 may recommend a drink to the customer as before and, if a customer selects the recommended drink, show the user the process of manufacturing the drink. Of course, since this process of the digital human 211 is already set and performed, the embodiment of the present invention will not be particularly limited to any one form. However, if the customer asks another question during manufacturing, the inquiry will be answered or responded to during the manufacturing process. Of course, even in the case of this operation, since it has already been set in advance in software, it can be seen that it operates accordingly.

또한, 무인 카페 자판기(100)의 디스플레이장치(210)는 CPU 등의 제어장치의 제어하에 다양한 동작을 수행할 수 있으며, 대표적으로 화면상에 구현되는 디지털 휴먼(211)의 크기를 조절하는 것이다. 이는 무인 카페 자판기(100)나 매장 내에 설치되는 카메라를 통해 매장 내 사용자의 움직임을 추적하고 그에 따라 디지털 휴먼(211)의 크기를 조정하는 것이 가능하다. 예를 들어, 사용자들이 음료를 주문하기 위해 가장 가까이 있는 경우 제1 크기로 디지털 휴먼(211)을 화면상에 구현할 수 있다. 그리고, 사용자가 음료를 가지고 매장 내 테이블에 착석하는 경우 테이블에 착석한 사용자와의 거리를 계산해 이를 근거로 디지털 휴먼(211)을 제2 크기로 조정할 수 있다. 물론 거리는 카메라의 촬영영상을 분석해 촬영이미지의 화소에서 측정한 디지털 휴먼(211)과 사용자의 거리를 기반으로 할 수 있다. 예를 들어, 복수의 사용자들이 매장 내에 착석하는 경우에는 사용자들의 시선을 분석하여 디지털 휴먼(211)을 바라보는 특정 사용자의 거리를 기반으로 디지털 휴먼(211)의 크기를 조정하는 것도 얼마든지 가능하다. 여기서, 시선은 카메라로 촬영되는 촬영 이미지에서 사용자의 눈동자 방향을 분석하여 판단할 수 있지만, 얼굴을 어느 방향으로 돌리는지를 분석하여 판단할 수도 있을 것이다. 디지털 휴먼(211)의 크기를 조정하는 방식은 다양하게 이루어질 수 있고, 또 프로그램 설계자의 의도에 따라 다양하게 결정될 수 있는 것이므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.In addition, the display device 210 of the unmanned cafe vending machine 100 can perform various operations under the control of a control device such as a CPU, and a representative example is to adjust the size of the digital human 211 displayed on the screen. It is possible to track the user's movements within the store through an unmanned cafe vending machine 100 or a camera installed within the store and adjust the size of the digital human 211 accordingly. For example, when users are closest to ordering a drink, the digital human 211 can be implemented on the screen at the first size. Additionally, when a user sits at a table in a store with a drink, the distance from the user seated at the table is calculated and the digital human 211 can be adjusted to the second size based on this. Of course, the distance can be based on the distance between the digital human 211 and the user measured from the pixels of the captured image by analyzing the camera's captured image. For example, when multiple users are seated in a store, it is possible to analyze the users' gaze and adjust the size of the digital human 211 based on the distance of a specific user looking at the digital human 211. . Here, the gaze can be determined by analyzing the direction of the user's eyes in the captured image captured by the camera, but it can also be determined by analyzing the direction in which the user turns the face. Since the size of the digital human 211 can be adjusted in various ways and can be determined in various ways depending on the intention of the program designer, embodiments of the present invention will not be particularly limited to any one form.

이외에도 본 발명의 실시예에 따른 무인 카페 자판기(100)는 매장의 특성을 근거로 인공지능의 디지털 휴먼(211)을 설정하여 활용하는 것도 얼마든지 가능하다. 예를 들어, 특정 매장에 외국인의 출입이 많은 경우, 또는 무인 카페 자판기(100)가 특정 나라로 수출되어 설치되는 경우 등 다양한 상황을 고려하여 디지털 휴먼(211)의 생성 동작이 이루어질 수 있다. 대표적으로 디지털 휴먼(211)의 인종을 결정할 수 있다. 이를 위하여 특정 디지털 휴먼(211)의 외모를 결정 또는 선택하여 생성할 수 있지만, 피부색 등을 선택하거나 할 수 있다. 나아가 언어를 선택할 수도 있을 것이다. 이러한 무인 카페 자판기(100)가 설치되는 장소의 국적을 고려하기 위하여 무인 카페 자판기(100)는 해당 매장에 설치될 때 USB 등의 저장매체나 이이피롬(EEPROM) 등을 통해 기생성된 디지털 휴먼 관련 프로그램을 설치하는 것도 얼마든지 가능하지만, 도 1에서와 같이 무인카페 서비스장치(120)에서 원격으로 프로그램을 설치하는 것도 얼마든지 가능하므로, 본 발명의 실시예에서는 무인 카페의 운영을 위해 로컬(local) 방식으로 인공지능의 디지털 휴먼 프로그램을 설치하거나 글로벌(global) 방식으로 원격으로 인공지능의 디지털 휴먼 프로그램을 설치하느냐에 특별히 한정하지는 않을 것이다.In addition, the unmanned cafe vending machine 100 according to an embodiment of the present invention can be utilized by setting an artificial intelligence digital human 211 based on the characteristics of the store. For example, the creation operation of the digital human 211 may be performed in consideration of various situations, such as when there are many foreigners entering a specific store or when the unmanned cafe vending machine 100 is exported and installed in a specific country. Typically, the race of a digital human (211) can be determined. To this end, the appearance of a specific digital human 211 can be determined or selected and created, but skin color, etc. can also be selected. Furthermore, you may be able to select a language. In order to take into account the nationality of the place where the unmanned cafe vending machine 100 is installed, the unmanned cafe vending machine 100 is equipped with a digital human-related data parasitic generated through storage media such as USB or EEPROM when installed in the store. Although it is possible to install a program, it is also possible to install a program remotely from the unmanned cafe service device 120 as shown in FIG. 1, so in the embodiment of the present invention, local ) method or installing the artificial intelligence digital human program remotely in a global manner will not be specifically limited.

더 나아가 무인 카페 자판기(100)는 매장 밖의 온도나 습도 등의 환경(정보)을 근거로 매장을 방문한 고객들에게 음료를 추천하는 것도 얼마든지 가능하다. 물론, 이를 위하여 무인 카페 자판기(100)의 내부에는 계절별, 또는 온도나 습도별 추천 음료와 관련한 데이터를 기저장한 후 이를 근거로 디스플레이장치(210)를 제어하는 것도 얼마든지 가능할 수 있으며, 해당 추천과 관련한 정보는 도 1의 무인카페 서비스장치(120)에서 제공받는 것도 얼마든지 가능할 수 있다. 예를 들어, 인기 음료를 추천할 때, 무인카페 서비스장치(120)에서 제공하는 경우 무인카페 서비스장치(120)는 전국의 여러 매장에서 수집되는 빅데이터의 분석 결과를 근거로 추천하기 때문에 그 만큼 추천 음료의 객관성이 증가할 수 있다. 이러한 추천 방식은 글로벌 추천 방식이 될 수 있다. 반면, 특정 매장에 설치되는 무인 카페 자판기(100)의 경우 해당 매장에 국한하여 방문 고객의 데이터를 근거로 추천하므로 로컬 방식의 추천이 이루어지는 것이다.Furthermore, the unmanned cafe vending machine 100 is also capable of recommending drinks to customers who visit the store based on the environment (information) such as temperature or humidity outside the store. Of course, for this purpose, it may be possible to store data related to recommended drinks by season or by temperature or humidity inside the unmanned cafe vending machine 100 and then control the display device 210 based on this, and the corresponding recommendations may be possible. It may be possible to receive information related to this from the unmanned cafe service device 120 of FIG. 1. For example, when recommending a popular drink, if it is provided by the unmanned cafe service device 120, the unmanned cafe service device 120 recommends it based on the analysis results of big data collected from various stores across the country. The objectivity of recommended drinks may increase. This recommendation method can become a global recommendation method. On the other hand, in the case of the unmanned cafe vending machine 100 installed in a specific store, recommendations are made based on data from visiting customers limited to that store, so local recommendations are made.

예를 들어, 고객이 음료를 주문하고자 할 때, 인공지능 디지털 휴먼(211)은 고객을 응대하면서 특정 음료를 선택하도록 화면상에 메뉴를 표시해 줄 수 있다. 그리고, 사용자는 특정 음료를 음성으로 주문하거나 화면상에서 터치 동작을 통해 주문이 이루어질 수 있다. 그러면 디지털 휴먼(211)은 고객에게 금액을 안내하고, 물론 화면상으로 안내할 수도 있지만, 결제를 요청할 수 있다. 이에 따라 고객은 결제부(230)에 NFC(Near Field Communication)를 이용하거나 신용카드를 삽입하는 등 다양한 형태로 결제를 진행할 수 있다. 그리고, 물론 결제 완료의 멘트의 경우에도 디지털 휴먼(211)이 제공할 수 있다. 실제로 디지털 휴먼(211)의 행동이나 말은 기존의 유인 매장의 담당자와 동일하게 이루어진다고 볼 수 있다.For example, when a customer wants to order a drink, the artificial intelligence digital human 211 can display a menu on the screen to help the customer select a specific drink while responding to the customer. Additionally, the user can order a specific drink by voice or through a touch operation on the screen. Then, the digital human 211 can inform the customer of the amount and, of course, guide the customer on the screen, but can also request payment. Accordingly, customers can make payments in various forms, such as using NFC (Near Field Communication) in the payment unit 230 or inserting a credit card. And, of course, the digital human 211 can also provide a message indicating payment completion. In fact, the actions and words of the digital human (211) can be seen as being the same as those in charge of an existing manned store.

또한, 음료의 제조가 완료된 경우 디지털 휴먼(211)은 고객에게 음료 제조가 완료되었음을 알릴 수 있다. 무인 카페 자판기(100)의 스피커나 매장에 설치된 스피커를 통해 알림 음성이 송출될 수 있다. 물론 이의 과정에서 디지털 휴먼(211)은 고객이 있는 방향을 주시하면서 입술을 움직일 수 있다. 이를 위하여 무인 카페 자판기(100)는 카메라 촬영을 통해 고객이 위치하는 방향을 인식한 후 해당 방향으로 몸을 움직여 대화를 할 수 있을 것이다.Additionally, when the manufacturing of the beverage is completed, the digital human 211 may notify the customer that the manufacturing of the beverage has been completed. A notification sound may be transmitted through the speaker of the unmanned cafe vending machine 100 or a speaker installed in the store. Of course, during this process, the digital human 211 can move its lips while looking in the direction where the customer is. To this end, the unmanned cafe vending machine 100 will be able to recognize the direction in which the customer is located through camera photography and then move its body in that direction to engage in conversation.

사용자 단말장치(105)는 매장을 방문하는 사용자 즉 고객들이 소지하는 다양한 유형의 단말장치를 포함할 수 있다. 예를 들어, 사용자 단말장치(105)는 스마트폰이나 사용자들이 손목에 착용하는 웨어러블장치를 포함할 수 있다. 사용자들은 매장에 방문하여 음료를 주문할 때 해당 매장의 서비스를 이용할 수 있는 어플리케이션(이하, 앱)을 설치한 후 이를 통해 주문과 결제를 진행할 수 있으며, 또 매장의 무인 카페 자판기(100)를 통해 주문하는 경우에도 결제부(230)상에 결제를 위해 사용자 단말장치(105)를 이용해 NFC 결제를 진행하는 등 다양한 방식으로 사용자 단말장치(105)를 사용할 수 있다.The user terminal device 105 may include various types of terminal devices owned by users or customers visiting the store. For example, the user terminal device 105 may include a smartphone or a wearable device that users wear on their wrists. When users visit a store and order a drink, they can install an application (hereinafter referred to as an app) that allows them to use the store's services and then proceed with ordering and payment. They can also order through the store's unmanned cafe vending machine (100). Even in this case, the user terminal device 105 can be used in various ways, such as NFC payment using the user terminal device 105 for payment on the payment unit 230.

통신망(110)은 다양한 형태로 구성될 수 있다. 통신망(110)은 유무선 통신망을 모두 포함할 수 있다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동 통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transceiver Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.The communication network 110 may be configured in various forms. The communication network 110 may include both wired and wireless communication networks. For example, a wired or wireless Internet network may be used or linked as the communication network 110. Here, the wired network includes Internet networks such as cable networks and public switched telephone networks (PSTN), and the wireless communication network includes CDMA, WCDMA, GSM, EPC (Evolved Packet Core), LTE (Long Term Evolution), and Wibro networks. It means including. Of course, the communication network 110 according to an embodiment of the present invention is not limited to this, and can be used as an access network for a next-generation mobile communication system to be implemented in the future, for example, a cloud computing network in a cloud computing environment, a 5G network, etc. For example, if the communication network 110 is a wired communication network, the access point within the communication network can connect to the telephone company's exchange office, etc., but in the case of a wireless communication network, data is processed by connecting to the SGSN or GGSN (Gateway GPRS Support Node) operated by the communication company, or Data can be processed by connecting to various repeaters such as BTS (Base Transceiver Station), NodeB, and e-NodeB.

통신망(110)은 액세스포인트를 포함할 수도 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함할 수 있다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 무인 카페 자판기(100)나 사용자 단말장치(105) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분될 수 있다. 물론 무인 카페 자판기(100)나 사용자 단말장치(105) 등과 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 무인카페 서비스장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함될 수 있다.Communication network 110 may also include access points. Access points may include small base stations, such as femto or pico base stations, which are often installed in buildings. Here, femto or pico base stations can be classified according to the maximum number of unmanned cafe vending machines 100 or user terminal devices 105, etc., that can be connected to small base stations. Of course, the unmanned cafe vending machine 100 or the user terminal device 105 may include a short-distance communication module for performing short-distance communication such as ZigBee and Wi-Fi. Access points can use TCP/IP or RTSP (Real-Time Streaming Protocol) for wireless communication. Here, in addition to Wi-Fi, short-range communication can be performed using various standards such as Bluetooth, Zigbee, infrared (IrDA), RF (Radio Frequency) such as UHF (Ultra High Frequency) and VHF (Very High Frequency), and ultra-wideband communication (UWB). You can. Accordingly, the access point can extract the location of the data packet, designate the best communication path for the extracted location, and forward the data packet to the next device, for example, the unmanned cafe service device 120, along the designated communication path. Access points can share multiple lines in a typical network environment and may include, for example, routers, repeaters, and repeaters.

무인카페 서비스장치(120)는 각 매장마다 설치되는 무인 카페 자판기(100)를 모니터링하는 동작을 수행할 수 있다. 예를 들어, 특정 매장의 무인 카페 자판기(100)에서 음료의 주문 및 결제가 이루어지는 경우 해당 주문 데이터나 결제 데이터를 수집하여 매장의 판매 동향을 분석하는 것도 얼마든지 가능할 수 있다. 물론, 무인카페 서비스장치(120)는 결제를 위하여 결제 모듈을 실행한 후 결제 처리 동작을 수행할 수도 있을 것이다. 또한, 무인카페 서비스장치(120)는 무인 카페 자판기(100)를 통해 고객이 음료 추천을 요청할 때를 대비하여 음료 추천과 관련한 데이터를 제공할 수도 있을 것이다. 무인카페 서비스장치(120)는 무인 카페 자판기(100)의 인공지능 동작과 별도로 자신도 DB(120a)에 수집되는 빅데이터를 분석하기 위한 인공지능 프로그램을 활용할 수 있다. 이를 통해 데이터 분석의 정확도를 높이고, 가령 전국 매장에 설치되는 무인 카페 자판기(100)의 데이터를 근거로 고객의 특성, 즉 소비 성향을 분석하여 이를 통해 각 매장의 무인 카페 자판기(100)로 계절별 음료를 추천하는 등의 동작을 수행할 수 있을 것이다.The unmanned cafe service device 120 can perform an operation to monitor the unmanned cafe vending machine 100 installed in each store. For example, when ordering and paying for a drink is made at an unmanned cafe vending machine 100 in a specific store, it may be possible to analyze the store's sales trends by collecting the corresponding order data or payment data. Of course, the unmanned cafe service device 120 may perform payment processing operations after executing the payment module for payment. Additionally, the unmanned cafe service device 120 may provide data related to beverage recommendations in preparation for when a customer requests beverage recommendations through the unmanned cafe vending machine 100. The unmanned cafe service device 120 can utilize an artificial intelligence program to analyze big data collected in the DB 120a separately from the artificial intelligence operation of the unmanned cafe vending machine 100. Through this, the accuracy of data analysis is improved, and customer characteristics, that is, consumption tendencies, are analyzed based on data from unmanned cafe vending machines (100) installed in stores across the country, thereby providing seasonal beverages to unmanned cafe vending machines (100) in each store. You will be able to perform actions such as recommending .

또한 무인카페 서비스장치(120)는 도 1의 서드파티장치(130)와 연동하여 인공지능의 디지털 휴먼(211)을 생성하기 위한 동작을 수행하는 것도 얼마든지 가능할 수 있다. 예를 들어, 도 1의 서드파티장치(130)는 도 1의 무인 카페 자판기(100)를 운영하는 관리자의 컴퓨터 등이 될 수 있다. 따라서 무인카페 서비스장치(120)는 서드파티장치(130)에서 관리자의 요청시 인공지능의 디지털 휴먼(211)을 생성하기 위한 툴을 제공하는 등의 동작을 수행할 수 있다. 그리고, 서드파티장치(130)와의 인터페이스에 의해 디지털 휴먼(211)의 생성이 완료되는 경우, 해당 프로그램을 자신이 운영하는 매장의 무인 카페 자판기(100)에 설치하기 위한 동작을 수행할 수 있다. 예를 들어, 관리자가 무인카페 서비스장치(120)의 서비스에 회원가입후 자신이 매장에 설치하는 무인 카페 자판기(100)의 식별정보를 등록한 후 그 등록한 식별 정보를 근거로 프로그램 설치가 이루어질 수 있을 것이다.In addition, the unmanned cafe service device 120 may be able to perform operations to create an artificial intelligence digital human 211 in conjunction with the third-party device 130 of FIG. 1. For example, the third-party device 130 in FIG. 1 may be a computer of an administrator who operates the unmanned cafe vending machine 100 in FIG. 1 . Therefore, the unmanned cafe service device 120 can perform operations such as providing a tool for creating an artificial intelligence digital human 211 at the request of an administrator in the third-party device 130. And, when the creation of the digital human 211 is completed through the interface with the third-party device 130, an operation can be performed to install the corresponding program on the unmanned cafe vending machine 100 in the store operated by the user. For example, after the manager registers the identification information of the unmanned cafe vending machine 100 installed in the store after signing up for the service of the unmanned cafe service device 120, program installation can be performed based on the registered identification information. will be.

물론 서드파티장치(130)는 무인 카페 자판기(100)를 운영하는 관리자 이외에도 본 발명의 실시예에 따른 인공지능의 디지털 휴먼 프로그램을 제작하여 제공하는 프로그램 개발 회사나 결제를 처리하는 PG사 등의 서버를 더 포함하여 구성될 수 있다. 무인카페 서비스장치(120)는 무인 카페 자판기(100)에서 결제요청이 있는 경우 API(Application Programming Interface) 연동되어 있는 서드파티장치(130)의 PG사 서버로 접속하여 결제를 처리한 후 무인 카페 자판기(100)에 통지할 수 있다. 이의 과정에서 무인카페 서비스장치(120)는 음료 주문과 결제 내역을 도 1의 DB(120a)에 저장하여 관리할 수 있다.Of course, the third-party device 130 is a server, such as a program development company that produces and provides an artificial intelligence digital human program according to an embodiment of the present invention, or a PG company that processes payments, in addition to the manager who operates the unmanned cafe vending machine 100. It may be configured to further include. When a payment request is made from the unmanned cafe vending machine 100, the unmanned cafe service device 120 connects to the PG company server of the third-party device 130 linked to the API (Application Programming Interface), processes the payment, and then returns the unmanned cafe vending machine to the unmanned cafe vending machine. You can notify at (100). In this process, the unmanned cafe service device 120 can manage beverage order and payment details by storing them in the DB 120a of FIG. 1.

요약하면, 본 발명의 실시예는 인공지능(AI) 기반으로 생성된 디지털 휴먼(211)이 다양한 배경에서 대화면 디스플레이를 통해 각 브랜드의 유니폼을 착용하고 실제 사람과 같은 크기, 디자인으로 마치 디스플레이 너머 실제로 카페에서 사람이 음료를 제조해 주는 것과 같은 경험을 주는 무인 카페 시스템(90)을 제공할 수 있다. 기존의 무인 카페 머신에서 인공지능과 디지털 휴먼(211)이 결합되어 다양한 음료 제조공정을 기계학습하여 현재 계절에 따른 주변 온도, 습도 등을 센싱하고 그에 맞는 음료를 추천하고 또 제조할 수 있다. 또한, 디지털 휴먼(211)은 다양한 인종, 크기 등을 자유롭게 설정할 수 있으며 의복, 성격(예: 말투 등), 목소리 등도 인공지능을 통해 다양하게 생성될 수 있다. 또한 자연어 처리 모델 즉 프로그램을 탑재한 음성인식 챗봇과 결합하여 마치 사람에게 주문하듯 말로 주문할 수 있으며 다양한 언어를 지원할 수 있다. 자연어 처리는 자연어 즉 문장을 인식하는 프로그램에 관련되는 기술이다. 또한 장애를 고려하여 기존과 같이 화면에서 터치로 선택하여 주문할 수 있는 기능도 지원할 수 있을 것이다.In summary, an embodiment of the present invention allows a digital human 211 created based on artificial intelligence (AI) to wear the uniform of each brand through a large screen display in various backgrounds and to wear the uniform of each brand in the same size and design as a real person, as if it were a real person beyond the display. An unmanned cafe system 90 can be provided that provides the same experience as having a person preparing drinks in a cafe. In existing unmanned cafe machines, artificial intelligence and digital humans (211) are combined to machine learn various beverage manufacturing processes to sense the surrounding temperature and humidity according to the current season and recommend and manufacture appropriate beverages. In addition, the digital human 211 can be freely set to various races, sizes, etc., and clothing, personality (e.g., speaking style, etc.), voice, etc. can be created in various ways through artificial intelligence. In addition, by combining it with a voice recognition chatbot equipped with a natural language processing model, that is, a program, you can order verbally as if ordering from a person and support various languages. Natural language processing is a technology related to programs that recognize natural language, that is, sentences. In addition, considering disabilities, it will be possible to support the function of ordering by selecting by touch on the screen as before.

상기한 내용 이외에도 도 1의 무인 카페 자판기(100), 사용자 단말장치(105), 무인카페 서비스장치(120) 등은 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 이후에 더 설명될 수 있으므로 그 내용들로 대신하고자 한다.In addition to the above, the unmanned cafe vending machine 100, the user terminal device 105, and the unmanned cafe service device 120 of FIG. 1 can perform various operations, and other details may be explained later. I would like to replace it with contents.

도 3은 도 1의 무인 카페 자판기의 세부구조를 예시한 블록다이어그램이다.Figure 3 is a block diagram illustrating the detailed structure of the unmanned cafe vending machine of Figure 1.

설명의 편의상 도 3을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 무인 카페 자판기(100)는 통신 인터페이스부(300), 디스플레이부(310), 제어부(320), 무인카페 운영부(330) 및 저장부(340)의 일부 또는 전부를 포함하며, 카메라, 다양한 유형의 센서 등을 더 포함할 수 있다.Referring to FIG. 3 together with FIG. 1 for convenience of explanation, the unmanned cafe vending machine 100 according to an embodiment of the present invention includes a communication interface unit 300, a display unit 310, a control unit 320, and an unmanned cafe operation unit 330. ) and part or all of the storage unit 340, and may further include a camera, various types of sensors, etc.

여기서, "일부 또는 전부를 포함"한다는 것은 저장부(340)와 같은 일부 구성요소가 생략되어 무인 카페 자판기(100)가 구성되거나 무인카페 운영부(330)와 같은 일부 구성요소가 제어부(320)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.Here, “including part or all” means that the unmanned cafe vending machine 100 is configured by omitting some components, such as the storage unit 340, or that some components, such as the unmanned cafe operation unit 330, are included with the control unit 320. It means something that can be configured by being integrated with other components of the same type, and is explained as being all-inclusive to facilitate a sufficient understanding of the invention.

통신 인터페이스부(300)는 도 1의 통신망(110)을 경유하여 무인카페 서비스장치(120)와 통신하거나 주변의 사용자 단말장치(105)와 지그비나 블루투스, 비콘 등의 다이렉트 통신을 수행할 수 있다. 따라서 통신 인터페이스부(300)는 제1 통신부 및 제2 통신부를 포함할 수 있다. 물론, 통신 인터페이스부(300)는 제1 통신부를 통해 무인카페 서비스장치(120)와 통신할 수 있고, 제2 통신부를 통해 사용자 단말장치(105)와 통신할 수 있으며, 사용자 단말장치(105)는 주문 음료의 주문 결제를 위한 NFC 통신이 이루어질 수도 있다. 물론 여기서 NFC 통신은 도 2에 나타낸 결제부(230)의 일부가 될 수도 있을 것이다.The communication interface unit 300 can communicate with the unmanned cafe service device 120 via the communication network 110 of FIG. 1 or perform direct communication with a surrounding user terminal device 105 such as Zigbee, Bluetooth, or beacon. . Accordingly, the communication interface unit 300 may include a first communication unit and a second communication unit. Of course, the communication interface unit 300 can communicate with the unmanned cafe service device 120 through the first communication unit and with the user terminal device 105 through the second communication unit, and the user terminal device 105 NFC communication may be performed for order payment of ordered drinks. Of course, here, NFC communication may be part of the payment unit 230 shown in FIG. 2.

통신 인터페이스부(300)는 도 1의 무인카페 서비스장치(120)와의 통신에 의해 다양한 통신을 수행할 수 있다. 예를 들어 통신 인터페이스부(300)는 매장마다 설치되는 인공지능 디지털 휴먼의 구현을 위한 프로그램을 원격으로 설치할 수 있으며, 또 가령 음료 추천이 이루어지는 경우 글로벌 방식으로 음료 추천이 이루어질 수 있다. 다시 말해, 도 1의 무인카페 서비스장치(120)는 복수의 지역 또는 복수의 매장에 설치되는 무인 카페 자판기(100)에서 수집되는 (빅)데이터의 분석 결과를 근거로 특정 매장의 무인 카페 자판기(100)로 계절별로 음료를 고객들에게 추천할 수 있는 것이다. 물론, 디지털 휴먼은 해당 추천 정보를 근거로 음성을 통해 고객들에게 음료를 추천할 수도 있다. 통신 인터페이스부(300)는 이러한 음료 추천 동작에 관여할 수 있다.The communication interface unit 300 can perform various communications through communication with the unmanned cafe service device 120 of FIG. 1. For example, the communication interface unit 300 can remotely install a program for implementing an artificial intelligence digital human installed in each store, and, for example, when beverage recommendations are made, beverage recommendations can be made in a global manner. In other words, the unmanned cafe service device 120 of FIG. 1 is an unmanned cafe vending machine ( 100), it is possible to recommend seasonal drinks to customers. Of course, digital humans can also recommend drinks to customers through voice based on the recommendation information. The communication interface unit 300 may be involved in this beverage recommendation operation.

물론 통신 인터페이스부(300)는 인공지능 디지털 휴먼의 구현을 위한 프로그램을 저장매체나 EEPROM의 형태로 설치하는 경우에도 인터페이스 동작을 수행할 수 있다. 예를 들어, USB 등의 프로그램 메모리가 설치되는 통신포트(port)가 통신 인터페이스부(300)가 되거나, EEPROM에 프로그램을 설치하기 위하여 유선이나 무선 등의 통신을 통해 프로그램을 설치하는 관리자의 컴퓨터 등과 통신하는 커넥터도 얼마든지 가능할 수 있다. 컴퓨터는 태블릿PC나 랩탑컴퓨터 등이 사용될 수 있을 것이다.Of course, the communication interface unit 300 can perform an interface operation even when a program for implementing an artificial intelligence digital human is installed in the form of a storage medium or EEPROM. For example, a communication port where a program memory such as USB is installed becomes the communication interface unit 300, or the administrator's computer installs the program through wired or wireless communication to install the program in EEPROM. Any number of connectors for communication may be possible. The computer may be a tablet PC or laptop computer.

디스플레이부(310)는 (O)LED 등의 표시소자들을 포함하여 구성되며 본 발명의 실시예에 따른 디지털 휴먼을 화면상에 구현할 수 있다. 물론, 인공지능의 디지털 휴먼은 제어부(320)의 제어하에 디스플레이부(310)에 구현되며, 실질적으로 영상을 화면상에 구현하는 동작을 수행한다고 볼 수 있다. 이러한 점에서 디스플레이부(310)는 기존의 컴퓨터 모니터나 TV 모니터와 크게 다르지 않으므로, 그 내용들로 대신하고자 한다. 다만, 앞서 언급한 바와 같이 디스플레이부(310)의 화면 크기는 무인 카페 자판기(100)가 설치되는 매장의 규모에 따라 결정되며, 따라서 화면의 크기가 상이한 경우 제어부(320)는 해당 화면의 크기에 따른 해상도 변환 동작을 수행할 수도 있을 것이다. 이를 통해 화면의 크기에 맞는 최적의 화질을 구현할 수 있다.The display unit 310 is configured to include display elements such as (O)LED and can implement a digital human according to an embodiment of the present invention on the screen. Of course, the digital human of artificial intelligence is implemented on the display unit 310 under the control of the control unit 320, and can be seen to actually perform the operation of implementing an image on the screen. In this respect, the display unit 310 is not much different from existing computer monitors or TV monitors, so it will be replaced with their contents. However, as mentioned above, the screen size of the display unit 310 is determined depending on the size of the store where the unmanned cafe vending machine 100 is installed. Therefore, if the screen size is different, the control unit 320 adjusts the screen size to the size of the screen. A resolution conversion operation may be performed accordingly. Through this, optimal picture quality suitable for the screen size can be achieved.

제어부(320)는 도 3의 통신 인터페이스부(300), 디스플레이부(310), 무인카페 운영부(330) 및 저장부(340)의 전반적인 제어동작을 담당한다. 제어부(320)는 물론 이외에도 카메라나 다양한 유형의 센서를 제어할 수도 있다. 예를 들어, 카메라를 통해 촬영되는 영상을 통해 또는 매장을 방문하는 사용자를 인식하는 적외선 센서 등의 센싱신호를 통해 사용자가 매장을 방문하였음을 인식할 수 있을 것이다. 이의 경우 제어부(320)는 화면상에 표시되는 디지털 휴먼의 영상을 제어하여 방문 고객을 환영할 수 있다. 이의 과정에서 제어부(320)는 무인카페 운영부(330)를 제어하여 내부에 탑재된 인공지능의 디지털 휴먼을 구현하기 위한 프로그램을 실행시킬 수 있다. 그리고 해당 프로그램의 실행에 따른 데이터를 디스플레이부(310)에 구현할 수 있을 것이다.The control unit 320 is responsible for the overall control operation of the communication interface unit 300, display unit 310, unmanned cafe operation unit 330, and storage unit 340 of FIG. 3. In addition to the control unit 320, it can also control cameras or various types of sensors. For example, it may be possible to recognize that a user has visited a store through an image captured by a camera or through a sensing signal such as an infrared sensor that recognizes a user visiting the store. In this case, the control unit 320 can welcome visiting customers by controlling the image of the digital human displayed on the screen. In this process, the control unit 320 can control the unmanned cafe operation unit 330 to execute a program to implement an artificial intelligence digital human mounted therein. And data according to the execution of the program may be implemented on the display unit 310.

또한 제어부(320)는 통신 인터페이스부(300)를 통해 가령 계절별 음료 추천을 위한 데이터가 입력되는 경우 해당 데이터를 저장부(340)에 임시 저장한 후 무인카페 운영부(330)에 탑재되는 인공지능의 디지털 휴먼을 학습시키기 위해 사용할 수 있다. 물론 이러한 학습 과정은 초기에 이루어질 수 있지만, 추천 음료와 관련한 데이터는 지속적으로 변경되고 갱신이 이루어지므로 해당 변경되는 데이터를 학습하기 위하여 제어부(320)가 이의 관련 동작을 수행할 수 있을 것이다.In addition, when data for seasonal beverage recommendations is input through the communication interface unit 300, the control unit 320 temporarily stores the data in the storage unit 340 and then stores the data in the artificial intelligence unit 330 mounted on the unmanned cafe operation unit 330. It can be used to train digital humans. Of course, this learning process can be done at the beginning, but since the data related to the recommended drink is continuously changed and updated, the control unit 320 will be able to perform related operations in order to learn the changed data.

무인카페 운영부(330)는 본 발명의 실시예에 따른 인공지능의 디지털 휴먼을 구현하기 위한 프로그램을 포함할 수 있다. 예를 들어, 디지털 휴먼의 인공지능 프로그램은 자동화 동작이 가능하므로, 고객이 매장을 방문하는 경우 기설정된 방식에 따라 제스처 또는 행동을 화면상에 구현하고, 또 그에 상응하는 음성을 송출할 수 있다. 물론, 음성송출과 함께 얼굴 표정을 짓거나 입술을 움직일 수 있다. 이러한 동작은 사전에 기설정되는 것이므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 또한 무인카페 운영부(330)는 고객이 질의를 하는 경우, 마이크로폰 등의 음성수신기를 통해 음성신호를 수신하고, 해당 음성신호를 분석해 텍스트 기반으로 변환하여 음성 내용을 인식할 수 있고, 그리고 그 인식 결과를 근거로 답변을 제공할 수 있다. 예를 들어 질문 내용에 대한 답변은 이미 설정될 수 있고(예: 5 ~ 10개 정도의 후보군), 해당 답변을 선택할 때 인공지능의 디지털 휴먼은 다양한 상황을 고려하여 답변을 선택하여 제공할 수 있는 것이다. 예를 들어, 고객이 음료 추천을 희망하는 경우 무인카페 운영부(330)는 디지털 휴먼을 통해 음료 추천과 관련한 내용을 화면상에 표시하면서 음성을 송출할 수 있다. 실질적으로 인공지능의 디지털 휴먼은 실제 사람과 동일하게 행동하고 발언하는 것이며, 이러한 인공지능의 디지털 휴먼은 이미 잘 알려져 있으므로 더 이상의 설명은 생략하도록 한다.The unmanned cafe operation unit 330 may include a program for implementing an artificial intelligence digital human according to an embodiment of the present invention. For example, Digital Human's artificial intelligence program is capable of automated operation, so when a customer visits a store, it can implement gestures or actions on the screen according to a preset method and transmit a corresponding voice. Of course, you can make facial expressions or move your lips along with the voice transmission. Since this operation is preset in advance, the embodiment of the present invention will not be particularly limited to any one form. In addition, when a customer asks a question, the unmanned cafe operation unit 330 receives a voice signal through a voice receiver such as a microphone, analyzes the voice signal, converts it to text, and recognizes the voice content, and the recognition result. An answer can be provided based on . For example, the answer to the question can already be set (e.g., about 5 to 10 candidates), and when selecting the answer, the artificial intelligence digital human can select and provide an answer by considering various situations. will be. For example, when a customer wishes to recommend a drink, the unmanned cafe operation unit 330 can display content related to the drink recommendation on the screen and transmit a voice through a digital human. In reality, digital humans of artificial intelligence act and speak in the same way as real people, and since these digital humans of artificial intelligence are already well known, further explanation will be omitted.

무엇보다 본 발명의 실시예에 따른 무인카페 운영부(330)는 제어부(320)의 제어하에 인공지능의 디지털 휴먼을 디스플레이부(310)에 구현할 때 사용자와의 거리를 기반으로 디지털 휴먼의 크기를 조절하는 것도 얼마든지 가능할 수 있다. 즉 원근감을 부여하는 것이다. 예를 들어, 사용자와의 거리를 기반으로 근접 거리에 있을 때에는 제1 크기로 디지털 휴먼이 화면상에 구현될 수 있다. 반면, 매장 내에서 원거리에 있을 때에는 디지털 휴먼에 원근감을 부여하여 제2 크기로 조절할 수 있다. 가령, 제1 크기보다 작게 제2 크기를 구현할 수 있는 것이다.Above all, when implementing an artificial intelligence digital human on the display unit 310 under the control of the control unit 320, the unmanned cafe operation unit 330 according to an embodiment of the present invention adjusts the size of the digital human based on the distance from the user. It is possible to do anything. In other words, it gives perspective. For example, based on the distance to the user, a digital human may be displayed on the screen at a first size when the user is in close proximity. On the other hand, when the digital human is at a long distance within the store, it can be adjusted to a second size by giving perspective to the digital human. For example, the second size can be implemented to be smaller than the first size.

또한, 무인카페 운영부(330)는 무인 카페 자판기(100)가 설치되는 매장의 특성을 반영하여 디지털 휴먼의 의복, 성격, 목소리 등도 변경할 수 있다. 물론 이는 인공지능 디지털 휴먼의 생성시 결정되어 무인카페 운영부(330)에 프로그램을 설치하는 것도 얼마든지 가능하지만, 예를 들어 인공지능 디지털 휴먼은 매장의 특성을 반영하여 디지털 휴먼 모델을 변경하는 것도 얼마든지 가능할 수 있다. 예를 들어, 매장이 브랜드 매장인 경우에는 해당 브랜드에 상응하는 유니폼을 착용하는 것으로 화면상에 구현될 수 있다. 또한, 무인 카페 자판기(100)가 설치되는 매장의 국적을 반영하여 그에 상응하는 피부색과 머리색, 언어 등을 갖도록 변경될 수도 있다. 다시 말해, 다양한 인종을 반영하여 디지털 휴먼 모델이 변경될 수 있는 것이다. 예를 들어, 무인 카페 자판기(100)가 미국 매장에 설치될 때 미국인의 모습을 한 디지털 휴먼이 화면상에 구현되어 고객들을 응대할 수 있게 되는 것이다. 이를 위하여 무인카페 운영부(330)는 무인 카페 자판기(100)가 매장에 설치될 때 국적 등의 정보를 입력하도록 팝업창 등을 제공하는 등의 동작을 수행하거나, 특정 국적의 디지털 휴먼 모델이 선택되도록 동작을 수행할 수 있을 것이다.Additionally, the unmanned cafe operation unit 330 can change the clothing, personality, voice, etc. of the digital human to reflect the characteristics of the store where the unmanned cafe vending machine 100 is installed. Of course, this is determined when creating an artificial intelligence digital human and it is possible to install a program in the unmanned cafe operation department 330, but for example, the artificial intelligence digital human can change the digital human model to reflect the characteristics of the store. Anything is possible. For example, if the store is a brand store, it can be displayed on the screen by wearing a uniform corresponding to the brand. Additionally, the unmanned cafe vending machine 100 may be changed to reflect the nationality of the store where it is installed and have corresponding skin color, hair color, language, etc. In other words, the digital human model can be changed to reflect various races. For example, when an unmanned cafe vending machine 100 is installed in an American store, a digital human with an American appearance is implemented on the screen and can serve customers. To this end, the unmanned cafe operation unit 330 performs operations such as providing a pop-up window to input information such as nationality when the unmanned cafe vending machine 100 is installed in a store, or operates to select a digital human model of a specific nationality. You will be able to perform.

저장부(340)는 도 3의 제어부(320)의 제어하에 다양한 유형의 데이터를 임시 저장할 수 있다. 예를 들어, 저장부(340)는 매장을 방문한 고객이 발화 즉 음성명령어를 제공하는 경우, 또는 화면상의 디지털 휴먼의 질의에 대하여 답변하는 경우 해당 음성신호의 인식 데이터를 임시 저장한 후 무인카페 운영부(330)에 제공할 수 있다. 이에 따라 무인카페 운영부(330)는 해당 음식 인식 내용을 판단한 후 그에 따른 디지털 휴먼의 동작이 반영된 데이터를 출력하여 디스플레이부(310)의 화면에 표시되도록 할 수 있고, 또 별도로 설치되는 스피커를 통해 음성내용을 송출할 수 있다. The storage unit 340 can temporarily store various types of data under the control of the control unit 320 of FIG. 3. For example, when a customer visiting the store speaks, or provides a voice command, or when responding to an inquiry from a digital human on the screen, the storage unit 340 temporarily stores the recognition data of the voice signal and then stores it in the unmanned cafe operation unit. It can be provided at (330). Accordingly, the unmanned cafe operation unit 330 can determine the food recognition content and output data reflecting the corresponding digital human's movements to be displayed on the screen of the display unit 310, and also output data through a separately installed speaker. Content can be transmitted.

저장부(340)는 또한 고객이 가령 디스플레이부(310)를 통해 주문하는 음료나 또는 디지털 휴먼이 음성 인식을 통해 접수하는 음료와 관련한 데이터를 임시 저장할 수 있으며, 해당 데이터는 제어부(320)의 제어하에 통신 인터페이스부(300)를 통해 도 1의 무인카페 서비스장치(120)로 제공될 수 있다. 이를 통해 해당 데이터는 무인 카페 자판기(100)가 설치되는 매장의 관리를 위해 이용될 수 있을 것이다.The storage unit 340 may also temporarily store data related to a drink ordered by a customer through the display unit 310 or a drink received by a digital human through voice recognition, and the data is controlled by the control unit 320. It can be provided to the unmanned cafe service device 120 of FIG. 1 through the communication interface unit 300. Through this, the data can be used for management of stores where the unmanned cafe vending machine 100 is installed.

상기한 내용 이외에도 도 3의 통신 인터페이스부(300), 디스플레이부(310), 제어부(320), 무인카페 운영부(330) 및 저장부(340)는 다양한 동작을 수행할 수 있으며 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.In addition to the above, the communication interface unit 300, display unit 310, control unit 320, unmanned cafe operation unit 330, and storage unit 340 of FIG. 3 can perform various operations, and other details are described above. Since I have explained it sufficiently, I would like to replace it with the contents.

본 발명의 실시예에 따른 도 3의 통신 인터페이스부(300), 디스플레이부(310), 제어부(320), 무인카페 운영부(330) 및 저장부(340)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 상기의 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있을 것이다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부(340)는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 위의 내용에 특별히 한정하지는 않을 것이다.The communication interface unit 300, display unit 310, control unit 320, unmanned cafe operation unit 330, and storage unit 340 of FIG. 3 according to an embodiment of the present invention are composed of hardware modules that are physically separated from each other. However, each module will be able to store and execute software to perform the above operations internally. However, the software is a set of software modules, and each module can be formed of hardware, so there will be no particular limitation on the configuration of software or hardware. For example, the storage unit 340 may be hardware, such as storage or memory. However, since it is possible to store information through software (repository), the above content will not be specifically limited.

한편, 본 발명의 다른 실시예로서 제어부(320)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산 동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 무인 카페 자판기(100)의 동작 초기에 무인카페 운영부(330)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다. 딥러닝 모델 같은 경우 램(RAM)이 아닌 GPU 메모리에 올라가 GPU를 이용하여 수행 속도를 가속화하여 실행될 수도 있다.Meanwhile, as another embodiment of the present invention, the control unit 320 may include a CPU and memory, and may be formed as a single chip. The CPU includes a control circuit, an arithmetic unit (ALU), an instruction interpretation unit, and a registry, and the memory may include RAM. The control circuit performs control operations, the operation unit performs calculation operations of binary bit information, and the command interpretation unit includes an interpreter or compiler, which can convert high-level language into machine language and machine language into high-level language. , the registry may be involved in software data storage. According to the above configuration, for example, at the beginning of the operation of the unmanned cafe vending machine 100, the program stored in the unmanned cafe operation unit 330 is copied, loaded into memory, that is, RAM, and then executed, thereby speeding up the data operation processing speed. can be increased. In the case of deep learning models, they can be loaded into GPU memory rather than RAM and executed by accelerating the execution speed using GPU.

도 4는 본 발명의 실시예에 따른 무인 카페 시스템의 운영 과정을 나타내는 흐름도이다.Figure 4 is a flowchart showing the operation process of an unmanned cafe system according to an embodiment of the present invention.

설명의 편의상 도 4를 도 1과 함께 참조하면, 무인 카페 자판기(100)는 무인 카페의 매장마다 설치되어 사용자들의 주문 음료를 제조하여 제공하며, 주문 음료를 제조하는 디지털 휴먼의 모습을 화면상에 표시(혹은 구현)할 수 있다(S400). 화면상에 구현되는 디지털 휴먼은 인공지능을 기반으로 동작한다고 볼 수 있다. 이를 통해 실제로 사람이 고객을 응대하는 것과 같이 동작할 수 있다. 예를 들어 고객이 매장을 방문하면 고객을 환영하는 인사를 할 수 있다. 그리고 고객에게 음료를 주문하도록 요청하거나, 또 고객의 대화에 응대할 수 있다. 예를 들어, 고객이 음료 추천을 원할 때 그에 응대하여 음료를 추천하면서 화면상에 주문 메뉴를 보여주고, 대화에 응할 수 있는 것이다. 그리고, 메뉴를 선택하면 결제를 진행하도록 요청할 수도 있다. 이러한 디지털 휴먼의 동작은 기존의 사람의 동작과 크게 다르지 않으므로 본 발명의 실시예에서는 더 이상의 설명은 생략하도록 한다.For convenience of explanation, referring to FIG. 4 together with FIG. 1, an unmanned cafe vending machine 100 is installed at each store of an unmanned cafe to manufacture and provide drinks ordered by users, and an image of a digital human manufacturing the ordered drinks is displayed on the screen. It can be displayed (or implemented) (S400). The digital human implemented on the screen can be seen to operate based on artificial intelligence. Through this, it can operate as if a person actually interacts with customers. For example, when a customer visits your store, you can greet them to welcome them. You can then ask the customer to order a drink or respond to the customer's conversation. For example, when a customer wants a drink recommendation, the customer can recommend a drink, show the order menu on the screen, and engage in conversation. Also, if you select a menu, you may be asked to proceed with payment. Since the movements of these digital humans are not much different from the movements of existing people, further description will be omitted in the embodiments of the present invention.

다만, 무인 카페 자판기(100)는 고객들이 매장을 방문했을 때 실제 카페에서 사람이 음료를 제조하는 것과 같은 경험 즉 느낌을 주도록 동작한다. 이를 위하여 음료를 제조할 때 제조하는 모습을 화면상에 구현해 주며, 또 현재 고객과의 위치 즉 거리를 기반으로 디지털 휴먼의 크기를 조절하는 것도 얼마든지 가능할 수 있다. 물론 크기뿐 아니라 해상도나 선명도를 조절하는 것도 얼마든지 가능할 수 있다. 이와 관련해서는 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.However, the unmanned cafe vending machine 100 operates to give customers the same experience or feeling as if a person was preparing drinks in an actual cafe when they visit the store. To this end, the process of manufacturing a beverage is displayed on the screen, and it may also be possible to adjust the size of the digital human based on the current location, or distance, from the customer. Of course, it is possible to adjust not only the size but also the resolution and sharpness. Since this has been sufficiently explained previously, I would like to replace it with the contents.

또한 무인카페 서비스장치(120)는 매장의 특성을 반영하는 디지털 휴먼을 생성하여 생성한 디지털 휴먼이 무인 카페 자판기(100)의 화면상에 구현되도록 제어하며, 무인 카페 자판기(100)의 사용 데이터를 근거로 매장의 운영 상태를 모니터링할 수 있다(S410). 예를 들어 무인카페 서비스장치(120)는 무인 카페 자판기(100)를 운영하려는 관계자의 단말장치로 인공지능 디지털 휴먼을 생성하기 위한 툴을 제공할 수 있으며, 툴을 통해 생성되는 인공지능의 디지털 휴먼을 도 1의 무인 카페 자판기(100)에 원격으로 설치하는 것도 가능할 수 있다.In addition, the unmanned cafe service device 120 generates a digital human that reflects the characteristics of the store and controls the generated digital human to be implemented on the screen of the unmanned cafe vending machine 100, and collects the usage data of the unmanned cafe vending machine 100. Based on this, the operational status of the store can be monitored (S410). For example, the unmanned cafe service device 120 is a terminal device of a person who wants to operate the unmanned cafe vending machine 100 and can provide a tool for creating an artificial intelligence digital human, and the artificial intelligence digital human created through the tool It may also be possible to remotely install the unmanned cafe vending machine 100 of FIG. 1.

물론 본 발명의 실시예에서는 원격 통신에 의해 인공지능 디지털 휴먼 프로그램을 설치하는 것 이외에도 기생성된 인공지능 디지털 휴먼 프로그램을 저장매체를 삽입하거나 EEPROM에 써놓는 방식으로 설치하는 것도 얼마든지 가능하므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.Of course, in the embodiment of the present invention, in addition to installing the artificial intelligence digital human program through remote communication, it is also possible to install the parasitic artificial intelligence digital human program by inserting a storage medium or writing it to EEPROM. In the embodiments of the invention, there will be no particular limitation to any one form.

상기한 내용 이외에도 도 1의 무인카페 자판기(100), 사용자 단말장치(105), 무인카페 서비스장치(120) 및 서드파티장치(130)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.In addition to the above, the unmanned cafe vending machine 100, user terminal device 105, unmanned cafe service device 120, and third-party device 130 of FIG. 1 can perform various operations, and other details are sufficiently described above. Since it has been explained, I would like to replace it with the contents.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.Even though all the components constituting the embodiment of the present invention are described as being combined or operating in combination, the present invention is not necessarily limited to this embodiment. That is, as long as it is within the scope of the purpose of the present invention, all of the components may be operated by selectively combining one or more of them. In addition, although all of the components may be implemented as a single independent hardware, a program module in which some or all of the components are selectively combined to perform some or all of the combined functions in one or more pieces of hardware. It may also be implemented as a computer program having. The codes and code segments that make up the computer program can be easily deduced by a person skilled in the art of the present invention. Such computer programs can be stored in non-transitory computer readable media and read and executed by a computer, thereby implementing embodiments of the present invention.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.Here, a non-transitory readable recording medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as a register, cache, or memory. . Specifically, the above-described programs may be stored and provided on non-transitory readable recording media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, etc.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described above with reference to the attached drawings, those skilled in the art will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. You will be able to understand it. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive.

100, 100': 무인 카페 자판기 105: 사용자 단말장치
110: 통신망 120: 무인카페 서비스장치
130: 서드파티장치 200: 본체부
210: 디스플레이장치 211: 디지털 휴먼
220: 음료 토출구 230: 결제부
300: 통신 인터페이스부 310: 디스플레이부
320: 제어부 330: 무인카페 운영부
340: 저장부100, 100': unmanned cafe vending machine 105: user terminal device
110: Communication network 120: Unmanned cafe service device
130: Third party device 200: Main body
210: Display device 211: Digital human
220: beverage outlet 230: payment unit
300: communication interface unit 310: display unit
320: Control unit 330: Unmanned cafe operation unit
340: storage unit

Claims

An unmanned cafe vending machine that is installed in each unmanned cafe to manufacture and provide drinks ordered by users and displays on the screen the image of a digital human manufacturing the ordered drinks; and
A digital human that reflects the characteristics of the store is created, the digital human is controlled to be implemented on the screen of the unmanned cafe vending machine, and the unmanned cafe monitors the operating status of the store based on usage data of the unmanned cafe vending machine. Including a cafe service device;
The unmanned cafe vending machine selects skin color, hair color, and language to select the race of the digital human by reflecting the nationality of the installation location,
The unmanned cafe vending machine adjusts the size of the digital human based on the distance from the user located in the store, and implements the digital human on the screen at a first size when it is within a specified distance of the user, When the digital human is at a long distance beyond the designated distance, perspective is given to the digital human and adjusted to a second size smaller than the first size,
The unmanned cafe vending machine analyzes the user's gaze when a plurality of users are seated in the store and adjusts the size of the digital human based on the distance of the user looking at the digital human, and the gaze is captured by a camera. An unmanned cafe system using artificial intelligence and digital humans that makes judgments by analyzing the direction of the user's eyes in the image or by analyzing which direction the face is turned.

According to paragraph 1,
The unmanned cafe vending machine is an unmanned cafe system applying artificial intelligence and digital humans that controls the digital human to wear a uniform that reflects the store's brand as a characteristic of the store.

delete

According to paragraph 1,
The unmanned cafe vending machine is an unmanned cafe system using artificial intelligence and digital humans that recommends drinks to users based on environmental data outside the store and receives orders for drinks according to the recommendations.

delete

An unmanned cafe vending machine is installed at each unmanned cafe store to manufacture and provide drinks ordered by users, and displaying on a screen a digital human preparing the ordered drinks; and
The unmanned cafe service device generates a digital human that reflects the characteristics of the store, controls the generated digital human to be implemented on the screen of the unmanned cafe vending machine, and controls the store's location based on usage data of the unmanned cafe vending machine. Monitoring operational status, including:
The steps indicated above are:
selecting skin color, hair color, and language to select the race of the digital human by reflecting the nationality of the installation location where the unmanned cafe vending machine is installed; and
The size of the digital human is adjusted based on the distance to the user located in the store, but the digital human is implemented on the screen at a first size when the user is within a designated distance, and a digital human is implemented on the screen at a distance outside the designated distance. A step of providing perspective to the digital human and adjusting it to a second size smaller than the first size to implement the digital human,
When a plurality of users are seated in the store, the unmanned cafe vending machine analyzes the gaze of the users and adjusts the size of the digital human based on the distance of the user looking at the digital human, and the gaze is captured by a camera. A step of determining by analyzing the direction of the user's eyes in the image or determining by analyzing in which direction the user's face is turned;
Additionally, a method of operating an unmanned cafe system using artificial intelligence and digital humans.

According to clause 6,
The steps indicated above are:
A method of operating an unmanned cafe system applying artificial intelligence and digital humans, including the step of controlling the digital human to wear a uniform that reflects the store's brand as a characteristic of the store.

delete

According to clause 6,
The steps indicated above are:
A method of operating an unmanned cafe system using artificial intelligence and digital humans, comprising recommending drinks to the users based on environmental data outside the store and receiving orders for drinks according to the recommendations.

delete