WO2021054622A1 - 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법 - Google Patents

이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법 Download PDF

Info

Publication number
WO2021054622A1
WO2021054622A1 PCT/KR2020/011022 KR2020011022W WO2021054622A1 WO 2021054622 A1 WO2021054622 A1 WO 2021054622A1 KR 2020011022 W KR2020011022 W KR 2020011022W WO 2021054622 A1 WO2021054622 A1 WO 2021054622A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
customer
beverage
transfer robot
unit
Prior art date
Application number
PCT/KR2020/011022
Other languages
English (en)
French (fr)
Inventor
황성재
Original Assignee
주식회사 라운지랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 라운지랩 filed Critical 주식회사 라운지랩
Priority to CN202080007645.1A priority Critical patent/CN113287119B/zh
Publication of WO2021054622A1 publication Critical patent/WO2021054622A1/ko
Priority to US17/370,112 priority patent/US20210342573A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0045—Manipulators used in the food industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to a food and beverage transfer and collection system in a store using image recognition and a food and beverage transfer and collection method using the same, and more specifically, to recognize a customer using a plurality of cameras, and detect a table occupied by each customer.
  • the present invention relates to an in-store food and beverage transfer and collection system using image recognition for serving customers' orders and food and beverage at a corresponding table using a transfer robot, and a food and beverage transfer and collection method using the same.
  • a robot can deliver food ordered by a consumer through an electronic menu board installed on the table at various restaurants for selling food or alcohol to the table along the robot movement path.
  • a system for delivering food to a robot in a restaurant has been disclosed, and referring to Korean Patent Registration No. 10-1759091, a system in which a transfer robot transfers food and beverages arranged on a food display stand to a pickup display stand has been disclosed.
  • Korean Patent Registration No. 10-1204418 has a problem in that customer information is excluded in the process of receiving an order and transferring food, since the robot transfers food by identifying order information according to a table.
  • customer information is excluded in the process of receiving an order and transferring food
  • the robot transfers food by identifying order information according to a table.
  • a problem arises that the customer must log in from the electronic ordering board of the table or manually combine the information individually at the store side.
  • the collection of dishes according to the customer's completion of the meal is only done by humans, the service of unattended serving has not been fully implemented.
  • the present invention is to solve the above-described problem, and provides a store system capable of responding to customers by acquiring a foreground image in a store and automatically determining a situation in the store.
  • an object of the present invention is to provide a store system that eliminates the inconvenience of a customer placing an order at a store ordering table and picking up food and beverages in order to improve customer convenience.
  • an object of the present invention is to automatically recognize the end of meals and food and beverages by customers, and automatically provide free refills or additional orders for food and beverages without a customer request.
  • an in-store food and beverage transfer and collection system using image recognition comprising: an image acquisition unit including a plurality of cameras for acquiring an image of a predetermined area; A processing unit processing a control command for processing a customer's order by using the image obtained by the image acquisition unit; And it is possible to provide a food and beverage transfer and collection system in a store including a transfer robot that obtains the customer's order information according to a control command of the processing unit and transfers the ordered food and beverage.
  • the processing unit may include a customer recognition unit that analyzes the face image of the customer acquired by the image acquisition unit and identifies the customer; And an object tracking unit that tracks the customer identified by the customer recognition unit by using the image acquired by the image acquisition unit.
  • processing unit may further include an order information matching unit configured to match the customer's face image with the customer's order information.
  • processing unit may further include an object tracking unit for acquiring table information occupied by the customer by using the image acquired by the image acquisition unit.
  • the object tracking unit may determine that the customer occupies the table when the time the customer stays in the table is more than a predetermined criterion.
  • processing unit may further include a transfer robot control unit that generates a control command so that the transfer robot obtains order information of the customer from a table determined to be occupied by the customer.
  • processing unit may further include a transfer robot control unit that generates a control command to transfer the food and beverage ordered by the customer to the table determined to be occupied by the customer by the transfer robot.
  • the processing unit may include a food and beverage end determination unit configured to determine the end of the food and beverage of the customer based on the image of the food and beverage obtained by the image acquisition unit; And a transfer robot control unit that generates a control command so that the transfer robot collects dishes to a table determined by the food and drink end determination unit as food and drink end.
  • the food and drink end determination unit may determine the end of food and drink by the customer based on at least one of a meal time, an amount of remaining content, a frequency of eating behavior, a tableware arrangement, and a collection request from the customer.
  • the food and drink end determination unit determines whether or not the dishware is placed in a predetermined area of the table determined as the end of food and drink, and the transfer robot control unit issues a control command to allow the transfer robot to collect the dishware disposed in the predetermined area. Can be generated.
  • the transfer robot control unit may generate a control command to move the transfer robot to the table determined as the end of the food and drink so that the transfer robot receives an additional order.
  • the transfer robot terminates the food and drink. It may further include a transfer robot control unit for generating a control command to transfer the object.
  • the processing unit is configured to determine whether the target of food and beverage termination is a target requiring a paid order, and the food and beverage end determination unit, when the target of the end of food and beverage is a target requiring a paid order, the transfer robot receives an additional order. It may further include a transfer robot control unit for generating a control command to move to the table determined to be the end of the food and drink.
  • a method for transporting and collecting food and beverages in a store using image recognition comprising: an image acquisition step including a plurality of cameras for acquiring an image of a predetermined area by an image acquisition unit including a plurality of cameras; A processing step of processing, by a processing unit, a control command for processing an order of a customer by using the image acquired by the image acquisition unit; And it is possible to provide a food and beverage transfer and collection method in a store including a transfer step of a transfer robot acquiring the customer's order information according to a control command of the processing unit and transferring the ordered food and beverage.
  • the processing step includes a customer recognition step in which the customer recognition unit analyzes the face image of the customer acquired by the image acquisition unit and identifies the customer; And an object tracking step in which the object tracking unit tracks the customer identified by the customer recognition unit by using the image acquired by the image acquisition unit.
  • processing step may further include an order information matching step, configured to match the customer's face image with the customer's order information by the order information matching unit.
  • processing step may further include an object tracking step in which the object tracking unit acquires table information occupied by the customer by using the image acquired by the image acquisition unit.
  • the object tracking unit when the object tracking unit has a time that the customer stays in the table is greater than or equal to a predetermined reference, it may be determined that the customer occupies the table.
  • processing step may further include a transfer robot control step of generating a control command such that the processing unit obtains order information of the customer from a table determined by the transfer robot as occupied by the customer.
  • processing step may further include a transfer robot control step of generating a control command so that the processing unit transfers the food and beverage ordered by the customer to the table determined by the transfer robot to be occupied by the customer.
  • the processing step may include a food and beverage end determination step in which the food and beverage end determination unit determines the end of the food and beverage of the customer based on the image of the food and beverage obtained by the image acquisition unit; And a transfer robot control step in which the transfer robot control unit generates a control command so that the transfer robot collects dishes to a table determined to be food and drink end in the food and drink end determination step.
  • the food and beverage end determination unit may determine the end of the food and beverage of the customer based on at least one of a meal time, an amount of remaining contents, a frequency of eating behavior, a type of tableware placed, and a collection request from the customer. I can.
  • the food and beverage end determination unit determines whether or not the tableware is placed in a predetermined area of the table determined as the food and beverage end, and in the transfer robot control step, the transfer robot control unit determines whether the transfer robot is the pre-determined.
  • a control command may be generated to collect the dishware arranged in the area.
  • the transfer robot control unit may generate a control command to move the transfer robot to the table determined as the end of the food and drink so that the transfer robot receives an additional order.
  • the transfer robot control unit may further include a transfer robot control step of generating a control command so that the transfer robot transfers the food and drink ended object.
  • the food and beverage end determination step in which the food and beverage end determination unit determines whether the food and beverage end object is an object requiring a paid order, and in the food and beverage end determination step, the object of the food and beverage termination is a target that requires a paid order.
  • the transfer robot control step may further include a transfer robot control step of generating a control command for moving to the table determined to be the end of the food and drink so that the transfer robot can receive an additional order.
  • a foreground image in the store is acquired, and a situation in the store is automatically determined to respond to a customer.
  • FIG. 1 is a schematic block diagram of a food and beverage transfer and collection system in a store according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a schematic appearance of a transfer robot according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically showing a state in which a customer enters a store, orders and meals, and a transfer robot transfers and collects food and beverages according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a type of tableware placed, determined by a food and beverage end determination unit according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram showing a tableware collection area of a table according to an embodiment of the present invention.
  • FIG. 6 is a flowchart of a method for transporting and collecting food and beverages in a store according to an embodiment of the present invention.
  • FIG. 7 is a flowchart of a method of identifying and tracking a customer in a store using image analysis according to an embodiment of the present invention.
  • FIG. 8 is a flowchart of a method of serving food and beverages ordered to a table using a transfer robot according to an embodiment of the present invention.
  • each constituent unit shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and does not mean that each constituent unit is formed of separate hardware or a single software constituent unit. That is, each constituent unit is described as being listed as a respective constituent unit for convenience of description, and at least two constituent units of each constituent unit are combined to form a single constituent unit, or one constituent unit may be divided into a plurality of constituent units to perform a function. Integrated embodiments and separate embodiments of each of these components are also included in the scope of the present invention unless departing from the essence of the present invention.
  • FIG. 1 is a schematic block diagram of a food and beverage transfer and collection system in a store according to an embodiment of the present invention.
  • the in-store food and beverage transfer and collection system 10 using image recognition may include an image acquisition unit 100, a processing unit 200, and a transfer robot 300.
  • the image acquisition unit 100 may include a plurality of cameras including the first camera 110, the second camera 120, ..., and the n-th camera, and may acquire an image of a predetermined area.
  • the predetermined area may mean an in-store area, and if the area outside the store is an area that acquires an image through the image acquisition unit 100, it may be a predetermined area. That is, the predetermined area may be an area in which an image is acquired through the image acquisition unit 100.
  • the processing unit 200 may be configured to execute a control command for processing a customer's order by using the image acquired by the image acquisition unit 100.
  • the processing unit 200 is among the customer recognition unit 210, the object tracking unit 220, the order information matching unit 230, the transfer robot control unit 240, or the food and beverage end determination unit 250 At least one or more may be included.
  • the processing unit 200 may be implemented as a central processing unit (CPU), an application processor (AP), etc., and includes a memory capable of storing instructions or data related to at least one other component, or if necessary By communicating with external memory, you can access the necessary information to create, process, or execute control commands.
  • the customer recognition unit 210 may analyze the customer's face image acquired by the image acquisition unit 100 and identify the customer.
  • the customer recognition unit 210 analyzes the image acquired by the image acquisition unit 100 and, when the image of the customer is displayed, may track a face part of the customer's image and convert it into an object. After that, it is determined whether the objectified face is a previously registered and managed customer, and if it is a previously registered customer, it is recognized as the corresponding customer, and if it is not a previously registered customer, new customer information is created to identify one customer. Can be treated as. Since it is identified by the customer's face appearing on the image, there may be no need to manually search or manage customer accounts at the store side.
  • the customer recognition unit 210 may objectify the customer by using not only the customer's face image, but also the customer's characteristic points such as the customer's clothes shape, color, and the customer's hairstyle or skin color.
  • the object tracking unit 220 may track a customer identified by the customer recognition unit 210 by using an image acquired by the image acquisition unit 100.
  • the object tracking unit 220 may analyze the image acquired by the image acquisition unit 100 and track the customer's face as an object in the corresponding image.
  • the image may be all images acquired from the first camera 110, the second camera 120, ..., the n-th camera included in the image acquisition unit 100.
  • the image may include a still image or a continuous image, that is, an image.
  • the structure of the store is a three-dimensional space using RGB-D (RGB-Depth) camera-based SLAM (Simultaneous Localization And Mapping), 3D lidar based SLAM, radar based SLAM or inertial sensor/camera/lidar/radar integrated 3D SLAM.
  • Information can be constructed, and the object tracking unit 220 can grasp the location of the tracking customer in real time using 3D spatial information.
  • the 3D spatial information of the store may also include spatial information of the table in the store, and it is possible to determine the situation in which the customer moves to the table or leaves the table.
  • This determination may be performed by the object tracking unit 220 with real-time location information of the customer and spatial information of a table obtained by combining and analyzing 3D spatial information of the store and obtained from the image of the customer. By identifying the customer's face image and tracking the real-time location of the customer in the store, the movement of the customer can be identified.
  • the object tracking unit 220 may track the customer by using the customer's characteristic points, that is, the customer's clothing type, color, and the customer's hairstyle or skin color.
  • the object tracking unit 220 may determine whether the customer occupies the table. In a predetermined space around the table, for example, a space with a radius of about 1 m around the table and the table, if the real-time location of the customer is continuously observed for a predetermined period of time or longer, the table is considered to be occupied by the customer. I can. Since the table occupied by the customer can be automatically determined through the image, it is possible to remove the ordering device from the table that frequently appears in unmanned stores in the related art. In addition, from the customer's point of view, since the store side recognizes the occupied table by grasping the movement of the customer, there may be no need to let the store side recognize the table he is sitting on.
  • the object tracking unit 220 may also determine whether the customer leaves the table. For example, if the real-time location of the customer in the table centered on the table is continuously deviated for a predetermined period of time or more, the object tracking unit 220 determines that the customer has left the table, and the corresponding customer It can be judged that it is not occupied. In this case, even if a customer occupying a table empties the table for a while, if the customer returns to the table within a certain period of time, the customer's table occupancy status may not be released.
  • the reference time used when determining occupancy or not and the reference time used when determining whether to deviate may be set or set by a system administrator based on a customer's behavior pattern and statistical values.
  • the order information matching unit 230 may be configured to match the customer's face image with the customer's order information.
  • the customer recognition unit 210 can recognize the customer's face with the customer's image to create new customer information (if there is no existing customer information) or retrieve customer information (if existing customer information is registered), and the corresponding customer This ordered order information may be allocated and managed by the order information matching unit 230 to corresponding customer information.
  • the order information matching unit 230 may match the information of the table with the customer's order information. For example, by matching the table identification number and the location of the table in the store with order information, the transfer robot 300 may use the location of the table when transferring food and beverages of the order.
  • the transfer robot control unit 240 may generate a command signal for controlling the transfer robot 300 or transmit it to the transfer robot 300 so that the transfer robot 300 performs according to the command.
  • the transfer robot control unit 240 may generate a command for moving the transfer robot 300 to a table determined by the object tracking unit 220 as occupied by the customer and receiving an order from the customer located at the table.
  • the transfer robot control unit 240 may generate a command signal to transfer food and beverages ordered to the table. Since the transfer robot 300 receives and transfers the table information on which the customer sits from the processing unit 200, the customer does not need to come to pick up food and beverages at the store's pickup, thereby improving customer convenience.
  • the store side can also reduce the number of employees serving in the store, thereby saving store operation costs.
  • the food and drink end determination unit 250 may determine the end of food and drink of the customer based on the image acquired by the image acquisition unit 100.
  • the food and beverage end determination unit 250 is at least one of the duration of the customer's eating behavior, the amount of remaining contents of the food and beverage ordered by the customer, the frequency of the customer's eating behavior, and the form of tableware placed on the table where the eating behavior is performed. The above can be combined and judged.
  • the food and beverage end determination unit 250 may determine that the customer's food and beverage has ended when a customer's request for collection occurs.
  • the eating and drinking end determination unit 250 may determine whether or not the tableware is placed in a predetermined area of the customer's corresponding table, and determine the end of eating and drinking based on this.
  • the food and drink end determination unit 250 may determine whether food and drink is terminated by detecting whether a dishware is placed in a predetermined area through a sensor provided on the table, or analyze the image of the table acquired by the image acquisition unit 100. Through this, it is possible to determine whether to end food and drink by determining whether a tableware tool is placed in a corresponding area of the table.
  • the food and beverage end determination unit 250 may determine whether the target of the end of food and beverage of the table is a target that can be refilled free of charge or a target that requires a paid order.
  • the object of the end of food and drink may be an individual beverage, food, or water placed on the table and eaten or eaten by the customer. For example, if a food cooked by a customer at a corresponding table is being eaten but has finished drinking water, in this situation, the target of the end of food and drink may be cooked food or water. In this situation, since the cooked food is still being eaten, the food and drink end determination unit 250 does not determine that the food and drink is finished, and may determine that the food and drink is finished.
  • the food and beverage end determination unit 250 uses the image of the customer and its surroundings that are continuously acquired by the image acquisition unit 100, and converts the image of food and beverage into an object from the image, and is preset according to the object image of the food and beverage. It can be judged on the basis of free food and beverage standards.
  • the transfer robot control unit 240 may generate a further control command of the transfer robot 300 according to a determination result of the food and beverage end determination unit 250.
  • the food and drink end determination unit 250 may generate a control command to collect dishes to the table determined to be food and drink end, or to generate a control command for the transfer robot 300 to move to the table determined to be food and drink end to receive an additional order from the customer. May be.
  • the food and drink termination determination unit 250 determines that the food and beverage ends are food and beverages that can be refilled for free, it may generate a control command to perform a free refill on the food and drink termination, or the food and drink termination target is a paid order.
  • a control command for moving the transfer robot 300 to the corresponding table may be generated so that additional orders can be received from the customer. For example, in the case of water among the targets of food and beverage ending in the above-described situation, as soon as it is determined that the water has ended, since it is a free refillable target, the transfer robot control unit 240 moves the transfer robot 300 to the corresponding table to transfer water. You can create a control command.
  • the staff does not directly judge the situation of the table in the store and serve it, it may be difficult to respond to customer requirements in the process of eating or completing the table, but the situation is determined through image analysis. By doing so, since the transfer robot 300 can respond to this, inconvenience of the customer can be reduced, and additional orders of the customer can be naturally induced.
  • the transfer robot 300 may receive a control command from the transfer robot controller 240 of the processing unit 200 and execute the received control command.
  • FIG. 2 is a diagram showing a schematic appearance of a transfer robot according to an embodiment of the present invention.
  • the transfer robot 300 includes a transfer plate 310, a collection plate 320, a communication unit 330, a control unit 340, a sensor unit 350, and a display 360.
  • the transfer plate 310 may be placed on a food or beverage ordered by a customer. In one embodiment, it may be located at the top of the transfer robot 300 so that the customer can easily take the food and beverage ordered.
  • a collection plate 320 may be provided at the lower end of the transfer plate 310.
  • the collection plate 320 is a plate for other customers to collect meals or tableware after eating and drinking, and may cause inconvenience to other customers' meals or food, such as a cup, so it is covered by other parts of the transfer robot 300 and is not visible to the outside. It may be provided at the stop of the transfer robot 300 so as not to.
  • the transfer robot 300 may be provided with a blocking film (not shown) so that the collection plate 320 is not visible to the outside, and the blocking film may be manipulated to cover the collection plate 320.
  • the transfer robot 300 may receive a control command from the transfer robot control unit 240 through the communication unit 330.
  • the communication unit 330 is configured to receive necessary information or a control command signal from the server or device including the processing unit 200, or to transmit the obtained information to the server or device including the processing unit 200, where the network is wired. Alternatively, it may be a network connected wirelessly. In addition, the network may be a network in which the server or device including the processing unit 200 and the transfer robot 300 are directly connected, or may be a private network generated by a repeater.
  • the network may be a communication network, which is a high-speed backbone network of a large communication network capable of large-capacity, long-distance voice and data services, and may be a next-generation wired or wireless network for providing Internet or high-speed multimedia services.
  • cellular communication or short-range communication may be included.
  • cellular communication is LTE (Long-Term Evolution), LTE-A (LTE Advanced), 5G (5th Generation), CDMA (Code Division Multiple Access), WCDMA (Wideband CDMA), UMTS (Universal Mobile Telecommunications System), WiBro It may include at least one of (Wireless Broadband), or Global System for Mobile Communications (GSM).
  • short-range communication may include at least one such as Wireless Fidelity (Wi-Fi), Bluetooth, Zigbee, or Near Field Communication (NFC).
  • Wi-Fi Wireless Fidelity
  • NFC Near Field Communication
  • the communication method is not limited thereto, and a wireless communication technology to be developed later may be included.
  • the control unit 340 handles the movement and motion control of the transfer robot 300 to perform a control command of the transfer robot control unit 240 received by the communication unit 330, or when a situation occurs during movement for transfer and collection. It is configured to perform various processing related to the determination of the degree of risk according to the degree of risk, control of the movement of the transfer robot 300 based on the determination of the degree of risk, and image processing and recognition.
  • the control unit 340 may include a central processing unit (CPU), an application processor (AP), and the like, and include a memory capable of storing commands or data related to at least one other component internally or externally if necessary. By communicating with the memory, you can access the information you need.
  • the sensor unit 350 may be configured to collect surrounding information of the transfer robot 300 so that the transfer robot 300 can perform transfer and collection operations without a problem.
  • the sensor unit 350 may include at least one image sensor, a weight sensor, or a light sensor.
  • the image sensor may be, for example, an Electro Absorption Modulator (EAM) based Time Of Flight (TOF) 3D image sensor, but is not limited thereto.
  • EAM Electro Absorption Modulator
  • TOF Time Of Flight
  • the image sensor may detect a periphery of the transfer robot 300 so that an obstacle can be effectively avoided when the transfer robot 300 moves.
  • the weight sensor is provided on the transfer plate 310 or the collection plate 320 to detect whether each plate is empty or whether food or beverage or tableware is mounted.
  • the light detection sensor is also a sensor for obstacle avoidance, and may be LiDAR (Light Detection And Ranging) to which a MEMS scanner is applied. Since the general LiDAR technology scans using a DC drive with a large electric motor, the volume, weight, and power consumption are large and are not suitable for mounting the transfer robot 300. However, the MEMS scanner is a very compact scanner, which greatly reduces the volume, weight, and power consumption. It can be reduced, it can be suitable for the transfer robot (300).
  • the obstacle avoidance of the transfer robot 300 is because the avoidance algorithm is operated by fusion of the detection signal of the 3D image sensor and the LiDAR, so it may be appropriate for the in-store environment having various collision variables.
  • the display 360 may show a menu of a store to the customer so that the customer may place an order, or may receive an order through a customer's input.
  • the display 360 may be a display capable of receiving a touch input.
  • FIG. 3 is a diagram schematically showing a state in which a customer enters a store, orders and meals, and a transfer robot transfers and collects food and beverages according to an embodiment of the present invention.
  • a plurality of cameras such as an image acquisition unit 100, that is, a first camera 110, a second camera 120, and a third camera 130, may be installed in various places in a store.
  • the customer C may be identified by analyzing the customer C's face image from the image acquired by the customer recognition unit 210.
  • the object tracking unit 220 may continuously track the customer C.
  • the object tracking unit 220 may determine in real time the location of the customer C in the store to be tracked by using the three-dimensional spatial information of the store established in advance.
  • the plurality of tables T provided in the store may each have an independent recognition area Z.
  • the recognition area Z may be a reference area in which the object tracking unit 220 determines the occupancy of the customer's table. For example, the customer C accesses any one table T in the store, and the table T Can occupy.
  • the object tracking unit 220 may measure the time until the customer C enters the recognition area Z of any one table T and leaves the table T. When this time exceeds a predetermined reference time, the object tracking unit 220 may determine that the customer C occupies the table T.
  • the reference time may vary depending on the setting.
  • the transfer robot control unit 240 When the object tracking unit 220 determines that the customer C occupies the table T, the transfer robot control unit 240 generates and transmits a control command to the transfer robot 300, and the transfer robot 300 You can access the table (T) to take orders from the customer (C).
  • the customer (C) can order food and beverages through the display 360 of the approached transfer robot 300, and the order information received by the transfer robot 300 through the display 360 is the communication unit 330 of the transfer robot 300. It may be transmitted to the processing unit 200 through ).
  • the order information matching unit 230 of the processing unit 200 may match and manage the identified face image of the customer C and the transmitted order information.
  • the transfer robot control unit 240 when prepared or cooked food and beverages are placed on the transfer plate 310 of the transfer robot 300, the food and beverage ordered by the customer C to the table T occupied by the customer C.
  • a control command to be transferred may be generated and transmitted to the transfer robot 300. According to the transmitted control command, the transfer robot 300 can move to the table T, and the customer C can receive food and beverages on the transfer plate 310.
  • the image acquisition unit 100 may continuously acquire an image of the table T.
  • the camera of the image acquisition unit 100 is also installed on the ceiling of the table T, so that an image of the recognition area Z of the table T may be continuously acquired.
  • the food and beverage end determination unit 250 may determine the end of food and beverage of an object to be terminated based on the image of the meal or food and beverage of the table T on which the food and beverage is acquired by the image acquisition unit 100.
  • the image of the food and beverage may be one of the amount of remaining contents of the food and beverage, the frequency of the customer C's eating behavior, and the form in which dishes are placed on the table T.
  • the food and beverage end determination unit 250 may determine the end of food and beverage of the customer C by the meal time of the customer C or the collection request of the customer C.
  • the transfer robot control unit 240 When the food and drink end determination unit 250 determines that the food and drink of the customer C has ended, the transfer robot control unit 240 generates a control command so that the transfer robot 300 moves to the table T and collects the dishes. In addition, the transfer robot 300 may move to the corresponding table T to collect dishes according to the transmitted control command.
  • the image acquisition unit 100 by continuously analyzing the image of the table T acquired by the food and beverage end determination unit 250, the image acquisition unit 100, whether the food and beverage end target of the table T is a subject that can be refilled free of charge, and a paid order is required. Whether it is a target or not can be determined.
  • the object of food and beverage termination is each food and beverage transferred to the table T, and for example, beverage, cooked food, water, etc. may be the object.
  • the food and beverage termination determination unit 250 determines that the food and beverage termination target for which the customer is eating or drinking is terminated, the food and beverage termination determination unit 250 is the target of free refill or paid order for the food and beverage ended target.
  • the transfer robot controller 240 may generate a control command to control the transfer robot 300.
  • the transfer robot control unit 240 may generate a control command so that the transfer robot 300 transfers the food and drink ended object, and transmit it to the transfer robot 300, if the food and drink ended object is a free refillable object.
  • a control command may be generated so that the transfer robot 300 moves to the table T so as to receive an additional order.
  • FIG. 4 is a diagram illustrating a type of tableware placed, determined by a food and beverage end determination unit according to an exemplary embodiment of the present invention.
  • Figure 4(a) shows a state in which the fork 402 and the knife 403 are independently placed in parallel on both sides of the plate 401.
  • the eating and drinking end determination unit 250 may recognize the shape of such dishes and determine that the eating is started.
  • 4(b) shows a state in which a fork 402 and a knife 403 are placed on a plate 401 pointing in different directions.
  • the eating and drinking end determination unit 250 may determine the shape of the tableware as a situation in which the meal is in progress.
  • Figure 4(c) shows a state in which the fork 402 and the knife 403 are placed on the plate 401 in the same direction and are placed diagonally.
  • the eating and drinking end determination unit 250 may determine the shape of the tableware as a situation in which the meal is ended.
  • the transfer robot control unit 240 transfers the transfer robot 300 to the table T.
  • a control command may be generated to move, and the transfer robot 300 may move to collect free refills, additional orders, or tableware for the table T.
  • FIG. 5 is a diagram showing a tableware collection area of a table according to an embodiment of the present invention.
  • a table T may include a tableware collection area 501 in advance.
  • the tableware collection area 501 may be a virtual area recognized by the food and beverage end determination unit 250 on the image of the table T acquired by the image acquisition unit 100.
  • the dishes may be transferred to the tableware collection area 501.
  • the food and drink end determination unit 250 may analyze whether dishes are placed in the dishes collection area 501 on the image, and determine that the dishes are disposed in the dishes collection area 501, determine the table as the end of food and drink.
  • the eating and drinking end determination unit 250 may determine whether or not dishes are placed in the dish collection area 501 through a sensor (not shown) provided in the table T.
  • a detection sensor is installed in the tableware collection area 501 of the table T, and the food and drink end determination unit 250 determines whether the tableware collection area 501 is detected by the sensor.
  • the transfer robot control unit 240 controls the transfer robot 300 to move to the table T.
  • a command can be generated, and the transfer robot 300 can move to collect free refills, additional orders, or tableware for the table T.
  • In-store food and beverage transfer and collection methods may be performed by the above-described in-store food and beverage transfer and collection system.
  • the meaning of specific terms and words may be the same as the meaning of the food and beverage transfer and collection system in the store, and redundant descriptions will be omitted.
  • FIG. 6 is a flowchart of a method for transporting and collecting food and beverages in a store according to an embodiment of the present invention.
  • a method of transferring and collecting food and beverages in a store may include an image acquisition step (S100), a processing step (S200), a transfer step (S300), and a collection step (S400).
  • the image acquisition step S100 may be a step in which an image acquisition unit including a plurality of cameras acquires an image of a predetermined area.
  • the processing step S200 may be a step in which the processing unit processes a control command for processing a customer's order by using the image acquired by the image acquisition unit.
  • the transfer step S300 may be a step in which the transfer robot acquires order information of the customer according to a control command of the processing unit and transfers the ordered food and beverage.
  • the collection step S400 may be a step in which the transfer robot moves to a table where food and beverage has ended in order to collect dishes according to a control command.
  • FIG. 7 is a flowchart of a method of identifying and tracking a customer in a store using image analysis according to an embodiment of the present invention.
  • an image acquisition unit including a plurality of cameras may acquire an image of a foreground or a specific area in the store (S710).
  • the customer recognition unit analyzes the customer's face image to identify or recognize the customer.
  • the object tracking unit acquires the image acquisition unit. You can track the customers you identify in one image. By converting the customer's face into an object, the store image is analyzed to track the customer's real-time location, and in this process, three-dimensional spatial information of the store built in advance can be used.
  • the object tracking unit may determine whether the customer occupies the table. As described above, whether the customer occupies the table may be determined that the customer occupies the table when the time that the customer stays in the recognition area of the table is greater than or equal to a predetermined criterion. For example, assuming that the predetermined reference time is 1 minute, when the customer stays at the table for less than 1 minute and then leaves the recognition area of the table, the object tracking unit may determine that the customer has not yet occupied the table. If the customer stays in the recognition area of the table for more than 1 minute, the object tracking unit may determine that the customer has occupied the table.
  • the object tracking unit determines that the customer has occupied the table
  • the information of the table is processed. You can acquire additional.
  • the obtained table information may be the position of the table or an identification code of the table, and the transfer robot may move to a corresponding table based on the obtained table information to receive an order or transfer or collect the ordered food and beverage (S750).
  • FIG. 8 is a flowchart of a method of serving food and beverages ordered to a table using a transfer robot according to an embodiment of the present invention.
  • the in-store food and beverage transfer and collection system may receive food and beverage order information from a customer (S810).
  • the customer may place an order using an orderable device provided on a table.
  • the orderable device may be, for example, a tablet PC connected to a table with a food and beverage transfer and collection system in the store through a network.
  • a QR code to which an orderable internet site is connected to the table is provided on the table, so that the QR code can be recognized using a smartphone or tablet PC possessed by the customer, and food and beverages can be ordered from the corresponding orderable site.
  • the location information and identification information of the corresponding table are also automatically recognized, and when a customer orders food and beverage, it can be automatically transmitted to the food and beverage transfer and collection system.
  • the processing unit of the food and beverage transfer and collection system may directly determine the table occupied by the customer. In this case, the transfer robot may move to a table that is determined to be occupied by the customer to receive the customer's order.
  • the order information matching unit may match the customer's order information with the table information occupied by the customer or the customer's face image. (S820) The table information and the order information are matched, and the ordered food and beverage is matched.
  • the transfer robot control unit may generate a control command for transferring the food and beverage ordered by the customer to the table occupied by the customer (S830). The transfer robot transfers the food and beverage to the corresponding table according to the transmitted control command. Can be transported.
  • the food and drink end determination unit uses the image of the table acquired by the image acquisition unit, or terminates the food and drink for the target of the end of the food or drink according to whether or not the tableware is placed in a predetermined area of the table.
  • the method of determining the end of food and beverage by the food and beverage end determination unit is the same as the embodiment in which the food and beverage transfer in the store and the end of the food and beverage determination unit determine the end of the food and drink. .
  • the food and beverage end determination unit may determine whether the food and beverage end target is a free refill target or a paid order target.
  • the transfer robot control unit is configured to terminate the food and drink. If the target is a free refill target, a control command may be generated to immediately transfer the finished target, and the transfer robot may transfer the finished target to the corresponding table according to the transmitted control command (S860).
  • various embodiments described herein may be implemented by hardware, middleware, microcode, software, and/or a combination thereof.
  • various embodiments include one or more application specific semiconductors (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs). ), processors, controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or a combination thereof.
  • ASICs application specific semiconductors
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or a combination thereof.
  • various embodiments may be embodied or encoded on a computer-readable medium containing instructions. Instructions embodied or encoded on a computer-readable medium may cause a programmable processor or other processor to perform a method, eg, when the instructions are executed.
  • Computer-readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another.
  • the storage medium may be any available medium that can be accessed by a computer.
  • such computer-readable media may include RAM, ROM, EEPROM, CD-ROM or other optical disk storage medium, magnetic disk storage medium or other magnetic storage device, or instructions or data accessible by the computer to the desired program code. It may include any other medium that can be used to transport or store in the form of structures.
  • Such hardware, software, firmware, etc. may be implemented within the same device or within separate devices to support the various operations and functions described herein. Additionally, components, units, modules, components, and the like described as "units" in the present invention may be implemented together or separately as interoperable logic devices. The description of different features for modules, units, etc. is intended to highlight different functional embodiments, and does not necessarily imply that they must be realized by separate hardware or software components. Rather, functionality associated with one or more modules or units may be performed by separate hardware or software components or may be integrated within common or separate hardware or software components.

Abstract

이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법이 개시된다. 본 발명의 일 실시예에 따르면, 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템에 있어서, 미리 정해진 영역의 이미지를 획득하는 복수의 카메라를 포함하는 이미지 획득부, 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 처리부, 및 처리부의 제어 명령에 따라 상기 고객의 주문 정보를 획득하고, 주문된 식음료의 이송을 수행하는 이송 로봇을 포함한다.

Description

이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법
본 발명은 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법에 관한 것으로, 보다 구체적으로는, 복수의 카메라를 이용하여 고객을 인식하고, 각 고객이 점유하는 테이블을 탐지하여, 이송 로봇을 이용해 해당 테이블에서 고객의 주문과 식음료를 서빙하는 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법에 관한 것이다.
로봇 기술이 발전함에 따라 무인 로봇이 음료나 요리 등을 제조하고 이를 이송시키는 기술이 개발되고 있다. 예를 들어, 커피 제조의 경우 생두부터 로스팅, 블랜딩, 그라인딩, 에스프레소 추출까지 자동으로 진행되고, 제조된 커피를 컵에 담아 원하는 위치에 이동시킬 수 있는 로봇이 개발되고 있다. 이러한 로봇을 이용하여, 식당, 레스토랑, 카페와 같은 매장에서 로봇이 주문한 음식을 이송하고, 취식이 완료된 식기를 수거하는 무인 서빙 서비스 기술의 전망이 대두되고 있다.
종래에 공개된 한국등록특허 10-1204418호를 참조하면, 음식이나 술을 판매하기 위한 각종 음식점에서 소비자가 식탁 위에 설치된 전자메뉴판을 통해 주문한 음식을 로봇이 로봇이동통로를 따라 식탁까지 배달할 수 있는 음식점에서 음식을 로봇으로 배달하는 시스템이 개시된 바 있으며, 한국등록특허 10-1759091호를 참조하면, 음식물 진열대에 배치된 음식물과 음료를 이송 로봇이 픽업 진열대까지 이송하는 시스템이 개시된 바 있다.
그러나 한국등록특허 10-1204418호는 테이블에 따라 주문 정보를 식별하여 로봇이 음식을 이송하므로, 주문을 수신하고, 음식물을 이송하는 과정에서 고객 정보가 배제되는 문제점이 있다. 고객 정보와 주문 정보를 결합하기 위해서는, 고객이 테이블의 전자 주문판에서 로그인을 하거나, 매장측에서 메뉴얼하게 일일이 정보를 결합하는 작업을 해야하는 문제점이 발생한다. 또한, 고객의 식사 완료에 따른 식기 수거는 오로지 사람이 해야하므로, 무인 서빙의 서비스를 완전히 구현하지 못하고 있다.
한국등록특허 10-1759091호의 경우, 무인 매장의 바람직한 실시예를 구현하였지만, 고객이 직접 픽업 진열대까지 가서 음식물을 가져와야 되는 문제점이 있다. 이 역시, 고객 셀프 서빙 서비스이므로 무인 서빙 서비스를 완전히 구현하지 못하고 있다고 할 수 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 매장 내 전경 이미지를 획득하여, 매장 내의 상황에 대해 자동으로 판단하여 고객에 대응할 수 있는 매장 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 고객의 편의성 향상을 위해, 고객이 매장의 주문대에서 주문하고, 식음료를 픽업하는 불편함을 제거하는 매장 시스템을 제공하는 것이다.
또한, 본 발명의 목적은 고객의 식사 및 식음 종료를 자동으로 인식하여, 식음료에 대하여 무료 리필 또는 추가 주문을 고객 요청없이 자동으로 제공하는 것이다.
또한, 본 발명의 목적은, 고객의 식사가 종료되면, 고객의 식기를 자동으로 수거할 수 있도록 하는 것이다.
본 발명의 일 실시예에 따르면, 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템에 있어서, 미리 정해진 영역의 이미지를 획득하는 복수의 카메라를 포함하는 이미지 획득부; 상기 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 처리부; 및 상기 처리부의 제어 명령에 따라 상기 고객의 주문 정보를 획득하고, 상기 주문된 식음료의 이송을 수행하는 이송 로봇을 포함하는 매장 내 식음료 이송 및 수거 시스템을 제공할 수 있다.
여기서 상기 처리부는 상기 이미지 획득부가 획득한 고객의 얼굴 이미지를 분석하고 상기 고객을 식별하는 고객 인식부; 및 상기 고객 인식부가 식별한 고객을 상기 이미지 획득부가 획득한 이미지를 이용하여 추적하는 객체 추적부를 포함할 수 있다.
또한, 상기 처리부는 상기 고객의 얼굴 이미지와 상기 고객의 주문 정보를 매칭시키도록 구성된 주문 정보 매칭부를 더 포함할 수 있다.
또한, 상기 처리부는 상기 이미지 획득부가 획득한 이미지를 이용하여 상기 고객이 점유한 테이블 정보를 획득하기 위한 객체 추적부를 더 포함할 수 있다.
여기서, 상기 객체 추적부는 상기 고객이 테이블에 머무르는 시간이 미리 결정된 기준 이상인 경우에 상기 고객이 상기 테이블을 점유한 것으로 판단할 수 있다,
그리고 상기 처리부는 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객의 주문 정보를 획득하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함할 수 있다.
또한, 상기 처리부는 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객이 주문한 식음료를 이송하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함할 수 있다.
또한, 상기 처리부는 상기 이미지 획득부가 획득한 식음료의 이미지를 기초로 상기 고객의 식음 종료를 판단하도록 구성된 식음 종료 판단부; 및 상기 이송 로봇이 상기 식음 종료 판단부가 식음 종료로 판단한 테이블로 식기를 수거하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함할 수 있다.
여기서, 상기 식음 종료 판단부는 식사 시간, 남은 내용물의 양, 식 행위의 빈도, 식기가 놓인 형태, 상기 고객의 수거 요청 중 적어도 하나에 기초하여 상기 고객의 식음 종료를 판단할 수 있다.
또한, 상기 식음 종료 판단부는 식음 종료로 판단한 테이블의 미리 결정된 영역 내에 식기 도구의 배치 여부를 판단하고, 상기 이송 로봇 제어부는 상기 이송 로봇이 상기 미리 결정된 영역 내에 배치된 식기 도구를 수거하도록 제어 명령을 생성할 수 있다.
또한, 상기 이송 로봇 제어부는 상기 이송 로봇이 추가 주문을 받도록 상기 식음 종료로 판단한 테이블로 이동하도록 제어 명령을 생성할 수 있다.
그리고 상기 처리부는 식음 종료의 대상이 무료 리필이 가능한 대상인지 여부를 판단하도록 구성된 식음 종료 판단부 및 상기 식음 종료 판단부가 상기 식음 종료의 대상이 무료 리필이 가능한 것으로 판단한 경우, 상기 이송 로봇이 식음 종료된 대상을 이송하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함할 수 있다.
또한, 상기 처리부는 식음 종료의 대상이 유료 주문이 필요한 대상인지 여부를 판단하도록 구성된 식음 종료 판단부 및 상기 식음 종료 판단부가 상기 식음 종료의 대상이 유료 주문이 필요한 대상인 경우 이송 로봇이 추가 주문을 받을 수 있도록 상기 식음 종료로 판단한 테이블로 이동하는 제어 명령을 생성하는 이송 로봇 제어부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 방법에 있어서, 복수의 카메라를 포함하는 이미지 획득부가 미리 정해진 영역의 이미지를 획득하는 복수의 카메라를 포함하는 이미지 획득 단계; 처리부가 상기 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 처리 단계; 및 이송 로봇이 상기 처리부의 제어 명령에 따라 상기 고객의 주문 정보를 획득하고, 상기 주문된 식음료의 이송을 수행하는 이송 단계를 포함하는 매장 내 식음료 이송 및 수거 방법을 제공할 수 있다.
여기서, 상기 처리 단계는 고객 인식부가 상기 이미지 획득부가 획득한 고객의 얼굴 이미지를 분석하고 상기 고객을 식별하는 고객 인식 단계; 및 객체 추적부가 상기 고객 인식부에 의해 식별된 고객을 상기 이미지 획득부가 획득한 이미지를 이용하여 추적하는 객체 추적 단계를 포함할 수 있다.
또한, 상기 처리 단계는 주문 정보 매칭부가 상기 고객의 얼굴 이미지와 상기 고객의 주문 정보를 매칭시키도록 구성된 주문 정보 매칭 단계를 더 포함할 수 있다.
또한, 상기 처리 단계는 객체 추적부가 상기 이미지 획득부에 의해 획득된 이미지를 이용하여 상기 고객이 점유한 테이블 정보를 획득하는 객체 추적 단계를 더 포함할 수 있다.
여기서, 상기 객체 추적 단계는 상기 객체 추적부가 상기 고객이 테이블에 머무르는 시간이 미리 결정된 기준 이상인 경우에 상기 고객이 상기 테이블을 점유한 것으로 판단할 수 있다.
그리고 상기 처리 단계는 상기 처리부가 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객의 주문 정보를 획득하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함할 수 있다.
또한, 상기 처리 단계는 상기 처리부가 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객이 주문한 식음료를 이송하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함할 수 있다.
또한, 상기 처리 단계는 식음 종료 판단부가 상기 이미지 획득부에 의해 획득된 식음료의 이미지를 기초로 상기 고객의 식음 종료를 판단하는 식음 종료 판단 단계; 및 상기 이송 로봇 제어부가 상기 이송 로봇이 식음 종료 판단 단계에서 식음 종료로 판단된 테이블로 식기를 수거하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함할 수 있다.
여기서, 상기 식음 종료 판단 단계는 상기 식음 종료 판단부가 식사 시간, 남은 내용물의 양, 식 행위의 빈도, 식기가 놓인 형태, 상기 고객의 수거 요청 중 적어도 하나에 기초하여 상기 고객의 식음 종료를 판단할 수 있다.
또한, 상기 식음 종료 판단 단계는 상기 식음 종료 판단부가 식음 종료로 판단한 테이블의 미리 결정된 영역 내의 식기 도구의 배치 여부를 판단하고, 상기 이송 로봇 제어 단계는 상기 이송 로봇 제어부가 상기 이송 로봇이 상기 미리 결정된 영역 내에 배치된 식기 도구를 수거하도록 제어 명령을 생성할 수 있다.
여기서 상기 이송 로봇 제어 단계는 상기 이송 로봇 제어부가 상기 이송 로봇이 추가 주문을 받도록 상기 식음 종료로 판단한 테이블로 이동하도록 제어 명령을 생성할 수 있다.
또한, 상기 처리 단계는 식음 종료 판단부가 식음 종료의 대상이 무료 리필이 가능한 대상인지 여부를 판단하는 식음 종료 판단 단계 및 상기 식음 종료 판단 단계에서 상기 식음 종료의 대상이 무료 리필이 가능한 것으로 판단한 경우, 이송 로봇 제어부가 상기 이송 로봇이 식음 종료된 대상을 이송하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함할 수 있다.
또한, 상기 처리 단계는 식음 종료 판단부가 식음 종료의 대상이 유료 주문이 필요한 대상인지 여부를 판단하는 식음 종료 판단 단계 및 상기 식음 종료 판단 단계에서 상기 식음 종료의 대상이 유료 주문이 필요한 대상인 경우. 이송 로봇 제어부가 상기 이송 로봇이 추가 주문을 받을 수 있도록 상기 식음 종료로 판단한 테이블로 이동하는 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 시스템과 이송 및 수거 방법은, 매장 내 전경 이미지를 획득하여, 매장 내의 상황에 대해 자동으로 판단하여 고객에 대응할 수 있다.
또한, 고객이 직접 매장의 주문대로 이동하여 주문하고, 식음료를 픽업하는 불편함을 제거하여 고객의 편의성을 향상할 수 있다.
또한, 본 발명의 목적은 고객의 식사 및 식음 종료를 자동으로 인식하여, 식음료에 대하여 무료 리필 또는 추가 주문을 고객 요청없이 자동으로 제공할 수 있다.
또한, 본 발명의 목적은, 고객의 식사가 종료되면, 고객의 식기를 자동으로 수거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 시스템의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이송 로봇의 개략적인 외형을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 고객이 매장에 입장하고, 주문과 식사 그리고 이송 로봇이 식음료를 이송과 수거를 하는 모습을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 식음 종료 판단부가 판단하는 식기가 놓인 형태의 종류를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 테이블의 식기 수거 영역을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 분석을 이용하여 매장 내에서 고객을 식별 및 추적하는 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 이송 로봇을 이용하여 테이블에 주문한 식음료를 서빙하는 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예가 상세하게 설명된다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명의 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도로 사용된 것이 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 이하의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 보다 명확하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시예에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 시스템의 개략적인 블록도이다.
도 1을 참조하여 설명하면, 이미식 인식을 이용한 매장 내 식음료 이송 및 수거 시스템(10)은, 이미지 획득부(100), 처리부(200) 및 이송 로봇(300)을 포함할 수 있다. 이미지 획득부(100)은 제1 카메라(110), 제2 카메라(120), ..., 제n 카메라가 포함되는 복수의 카메라가 포함될 수 있으며, 미리 정해진 영역의 이미지를 획득할 수 있다. 여기서, 미리 정해진 영역은 매장내 영역을 의미할 수 있으며, 매장 외부의 영역도 이미지 획득부(100)을 통해 이미지를 획득하는 영역이라면, 미리 정해진 영역일 수 있다. 즉, 미리 정해진 영역은 이미지 획득부(100)을 통해 이미지를 획득되는 영역일 수 있다.
처리부(200)는 이미지 획득부(100)가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리를 실행하도록 구성될 수 있다. 본 발명의 일 실시예에서, 처리부(200)는 고객 인식부(210), 객체 추적부(220), 주문 정보 매칭부(230), 이송 로봇 제어부(240) 또는 식음 종료 판단부(250) 중 적어도 하나이상 포함될 수 있다. 또한, 처리부(200)는 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등으로 구현될 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나, 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스하여 제어 명령을 생성, 처리 또는 실행할 수 있다.
고객 인식부(210)는 이미지 획득부(100)가 획득한 고객의 얼굴 이미지를 분석하고 고객을 식별할 수 있다. 고객 인식부(210)는 이미지 획득부(100)에서 획득하는 이미지를 분석하여, 고객의 이미지가 나타나면 고객의 이미지 중 얼굴 부위를 추적하여 객체화할 수 있다. 그 후, 객체화된 얼굴이 이전에 등록되어 관리되던 고객인지 아닌지 판별하고, 이전에 등록된 고객이면 해당 고객으로 인식하고, 이전에 등록된 고객이 아니면 새로운 고객 정보를 생성하여 하나의 고객의 식별 정보로 취급하도록 할 수 있다. 이미지 상에 나타나는 고객의 얼굴로 식별하므로, 매장측에서 수동으로 고객 계정을 조회하거나 관리할 필요가 없어질 수 있다.
또한, 고객 인식부(210)는 고객의 얼굴 이미지뿐 아니라, 고객의 옷 형태, 색상, 고객의 헤어스타일 또는 피부색과 같은 고객의 특징점을 이용하여, 해당 고객을 객체화할 수 있다.
객체 추적부(220)는 고객 인식부(210)가 식별한 고객을 이미지 획득부(100)가 획득한 이미지를 이용하여 추적할 수 있다. 객체 추적부(220)는 이미지 획득부(100)에서 획득하는 영상을 분석하여, 객체화된 고객의 얼굴을 해당 이미지 속에서 추적할 수 있다. 여기서 이미지는 이미지 획득부(100)에 포함된 제1 카메라(110), 제2 카메라(120), ..., 제n 카메라에서 획득되는 모든 이미지일 수 있다. 또한, 이미지는 정지 이미지 또는 연속된 이미지, 즉, 영상도 포함할 수 있다. 매장의 구조는 RGB-D(RGB-Depth)카메라 기반 SLAM(Simultaneous Localization And Mapping), 3D 라이다 기반 SLAM, 레이다 기반 SLAM 또는 관성센서/카메라/라이다/레이다 통합 3D SLAM을 이용하여 3차원 공간정보가 구축될 수 있고, 객체 추적부(220)는 3차원 공간정보를 이용하여, 추적하는 고객의 위치를 실시간으로 파악할 수 있다. 예컨대, 매장의 3차원 공간정보는 매장 내 테이블의 공간정보도 포함할 수 있으며, 이를 이용해 고객이 테이블로 이동하거나 테이블을 떠나는 상황을 판단할 수 있다. 이러한 판단은 고객의 이미지에서 획득하고 매장의 3차원 공간정보를 결합하여 분석해 도출하는 고객의 실시간 위치 정보와 테이블의 공간 정보로 객체 추적부(220)가 수행하는 것일 수 있다. 고객의 얼굴 이미지를 식별하여 매장 내 고객의 실시간 위치를 추적하므로 해당 고객의 동선을 파악할 수 있다. 또한, 객체 추적부(220)는 전술한 것과 같이 고객의 특징점, 즉, 고객의 옷 형태, 색상, 고객의 헤어스타일 또는 피부색을 이용하여, 해당 고객을 추적할 수 있다.
또한, 객체 추적부(220)는 고객의 테이블 점유 여부를 판단할 수 있다. 테이블 주변 소정의 공간에, 예를 들어 테이블과 테이블을 중심으로 약 1m의 반경을 가진 공간, 고객의 실시간 위치가 미리 정해진 일정 시간 이상 지속적으로 관측되면 해당 테이블을 고객이 점유한 것으로 판단하거나 간주할 수 있다. 고객이 점유하는 테이블을 이미지를 통해 자동으로 판단할 수 있으므로, 종래에 무인 매장에서 자주 등장하는 테이블에서의 주문 장치를 제거할 수 있다. 또한 고객 입장에서도 매장 측에서 고객의 동선을 파악하여 점유한 테이블을 인식하므로 자신이 앉은 테이블을 매장 측에 인지시킬 필요가 없어질 수 있다.
이와 같은 방식으로 객체 추적부(220)는 고객의 테이블 이탈 여부도 판단할 수 있다. 예컨대, 테이블을 중심으로 한 테이블의 공간에서 고객의 실시간 위치가 미리 정해진 일정 시간 이상 지속적으로 벗어나 있으면, 객체 추적부(220)는 해당 고객이 해당 테이블을 이탈했다고 판단하고, 해당 고객이 해당 테이블을 비점유하고 있는 것으로 판단할 수 있다. 이 경우, 어느 테이블을 점유하고 있는 고객이 잠시 동안 해당 테이블을 비워도 일정 시간 이내에 다시 해당 테이블로 돌아오면, 고객의 테이블 점유 상태는 해제되지 않을 수 있다.
여기서 점유 여부 판단 시 이용되는 기준 시간과 이탈 여부 판단 시 이용되는 기준 시간은 고객의 행동 패턴과 통계값에 기초하여 시스템 관리자가 설정하거나, 설정될 수 있다.
주문 정보 매칭부(230)는 고객의 얼굴 이미지와 고객의 주문 정보를 매칭시키도록 구성될 수 있다. 고객 인식부(210)가 고객의 이미지로 고객의 얼굴을 인식하여 고객 정보를 새롭게 생성(기존 고객 정보가 없는 경우)하거나 고객 정보를 불러올(기존 고객 정보가 등록되어 있는 경우) 수 있으며, 해당 고객이 주문한 주문 정보는 주문 정보 매칭부(230)가 해당 고객 정보에 할당하여 관리할 수 있다. 또한, 주문 정보 매칭부(230)는 객체 추적부(220)가 고객이 점유한 테이블을 판단한 경우, 해당 테이블의 정보와 고객의 주문 정보를 매칭할 수 있다. 예컨대, 테이블 식별 번호, 테이블의 매장 내 위치를 주문 정보와 매칭하여, 이송 로봇(300)이 해당 주문의 식음료를 이송할 때, 테이블의 위치를 이용할 수 있다.
이송 로봇 제어부(240)는 이송 로봇(300)을 제어하는 명령 신호를 생성하거나 이송 로봇(300)가 그 명령에 따라 수행하도록 하도록 이송 로봇(300)에 전송할 수 있다. 이송 로봇 제어부(240)는 객체 추적부(220)가 고객이 점유한 것으로 판단한 테이블로 이송 로봇(300)가 이동하고, 테이블에 위치한 고객의 주문을 받도록 하는 명령을 생성할 수 있다. 또한, 이송 로봇 제어부(240)는 해당 테이블로 주문한 식음료를 이송하도록 명령 신호를 생성할 수 있다. 이송 로봇(300)이 고객이 앉은 테이블 정보를 처리부(200)로부터 수신하여 이송하므로, 고객이 매장의 픽업대로 음식 및 음료를 가지러 올 필요가 없으므로 고객의 편의성이 향상될 수 있다. 또한, 매장 측에서도 매장 내에서 서빙하는 직원을 줄일 수 있어 매장 운영 비용을 절약할 수 있다.
식음 종료 판단부(250)는 이미지 획득부(100)가 획득한 이미지를 기초로 고객의 식음 종료를 판단할 수 있다. 여기서, 식음 종료 판단부(250)은 고객의 식사 행위의 지속 시간, 고객이 주문한 식음료의 남은 내용물의 양, 고객의 식 행위를 수행하는 빈도, 식 행위가 이뤄지는 테이블에 놓인 식기의 형태 중 적어도 하나 이상을 종합하여 판단할 수 있다. 또는, 식음 종료 판단부(250)은 고객의 수거 요청이 발생하면 고객의 식음이 종료했다고 판단할 수 있다.
또한, 식음 종료 판단부(250)은 고객의 해당 테이블의 미리 지정된 일부 영역에 식기 도구의 배치 여부를 판단하고, 이를 기초로 식음 종료를 판단할 수 있다. 예컨대, 식음 종료 판단부(250)은 테이블에 마련된 센서를 통해 미리 지정된 영역내의 식기 도구의 배치 여부를 감지하여 식음 종료를 판단할 수 있거나, 이미지 획득부(100)이 획득한 테이블의 이미지 분석을 통해 테이블의 해당 영역에 식기 도구 배치 여부를 판단하여 식음 종료를 판단할 수 있다.
또한, 식음 종료 판단부(250)은 테이블의 식음 종료의 대상이 무료 리필이 가능한 대상인지, 유료 주문이 필요한 대상인지의 여부를 판단할 수 있다. 여기서, 식음 종료의 대상은 테이블에 위치하고 고객이 식음 또는 식사하는 개별의 음료 또는 조리물, 물일 수 있다. 예컨대, 해당 테이블에서 고객이 조리된 음식은 식사 중이지만 물을 다 마신 상황이라면, 이 상황에서 식음 종료의 대상은 조리된 음식, 물일 수 있다. 이 상황에서 식음 종료 판단부(250)은 조리된 음식은 아직 식사 중이므로, 식음 종료가 되었다고 판단하지 않으며, 물은 식음 종료가 되었다고 판단할 수 있다. 여기서, 식음 종료 판단부(250)은 이미지 획득부(100)에서 지속적으로 획득하는 고객과 그 주변의 이미지를 이용하여, 해당 이미지에서 식음료의 이미지를 객체화하여, 해당 식음료의 객체 이미지에 따라 미리 설정된 유무료 식음료 기준을 기초로 판단할 수 있다.
이송 로봇 제어부(240)는 식음 종료 판단부(250)의 판단 결과에 따라 이송 로봇(300)의 더 제어 명령을 생성할 수 있다. 식음 종료 판단부(250)이 식음 종료로 판단한 테이블로 식기를 수거하도록 제어 명령을 생성하거나, 고객의 추가 주문을 받기 위해 식음 종료로 판단한 테이블로 이송 로봇(300)가 이동하는 제어 명령을 생성할 수도 있다. 또한, 식음 종료 판단부(250)이 식음 종료의 대상이 무료 리필이 가능한 식음료로 판단한 경우, 해당 식음 종료된 대상을 무료 리필을 수행하도록 제어 명령을 생성할 수 있거나, 식음 종료의 대상이 유료 주문이 필요한 경우, 고객에게 추가 주문을 받을 수 있도록 이송 로봇(300)을 해당 테이블로 이동하는 제어 명령을 생성할 수도 있다. 예컨대, 전술한 상황에서 식음 종료의 대상 중 물인 경우, 무료 리필이 가능한 대상이므로 물이 식음 종료되었다고 판단하는 즉시, 이송 로봇 제어부(240)가 이송 로봇(300)을 물을 이송하도록 해당 테이블로 이동하는 제어 명령을 생성할 수 있다.
매장 내에서 직원이 직접 테이블의 상황을 판단하고 서빙하는 것이 아니므로, 테이블의 식사 과정 또는 완료 과정에서의 고객의 요구 사항에 대한 대응이 어려울 수 있으나, 해당 상황을 이미지 분석을 통한 상황 판단을 수행하게 하여 이송 로봇(300)이 이에 대응할 수 있어 고객의 불편함을 덜 수 있고 고객의 추가 주문을 자연스럽게 유도할 수 있다.
이송 로봇(300)는 처리부(200)의 이송 로봇 제어부(240)의 제어 명령을 수신하여, 수신한 제어 명령을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 이송 로봇의 개략적인 외형을 나타낸 도면이다.
도 1 및 도 2를 참조하여 설명하면, 이송 로봇(300)는 이송 플레이트(310), 수거 플레이트(320), 통신부(330), 제어부(340), 센서부(350) 및 디스플레이(360)를 포함할 수 있다.
이송 플레이트(310)는 고객이 주문한 식음료가 위치할 수 있다. 일 실시예에서는, 고객이 손쉽게 주문한 식음료를 가져갈 수 있도록 이송 로봇(300)의 최상단에 위치할 수 있다. 이송 플레이트(310)의 하단부에는 수거 플레이트(320)가 마련될 수 있다. 수거 플레이트(320)은 다른 고객이 식사 또는 식음 후의 식기를 수거하기 위한 플레이트로 잔반과 같이 타 고객의 식사 또는 식음에 불편을 야기할 수 있으므로, 이송 로봇(300)의 타 부위에 가려 외부에 보이지 않도록 이송 로봇(300)의 중단에 마련될 수 있다. 또한, 이송 로봇(300)는 수거 플레이트(320)이 외부에 보이지 않도록 차단막(미도시)이 마련될 수 있고, 차단막은 수거 플레이트(320)를 가리도록 조작될 수 있다.
이송 로봇(300)는 통신부(330)를 통해 이송 로봇 제어부(240)의 제어 명령을 수신할 수 있다. 통신부(330)는 처리부(200)가 포함된 서버 또는 장치로부터 필요한 정보 또는 제어 명령 신호를 수신하거나 획득한 정보를 처리부(200)가 포함된 서버 또는 장치로 송신하도록 구성되며, 여기서, 네트워크는 유선 또는 무선으로 연결되는 네트워크일 수 있다. 또한, 네트워크는 처리부(200)가 포함된 서버 또는 장치와 이송 로봇(300)이 직접 연결된 네트워크일 수 있으며, 중계기가 생성한 사설 네트워크일 수도 있다. 그리고 네트워크는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간망인 통신망일 수 있으며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선망일 수 있다. 네트워크가 무선 통신망일 경우, 셀룰러 통신 또는 근거리 통신을 포함할 수 있다. 예컨대, 셀룰러 통신은 LTE(Long-Term Evolution), LTE-A(LTE Advanced), 5G(5th Generation), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 포함할 수 있다. 또한, 근거리 통신은 Wi-Fi(Wireless Fidelity), 블루투스(Bluetooth), 지그비(Zigbee) 또는 NFC(Near Field Communication) 등 적어도 하나를 포함할 수 있다. 그러나, 통신 방법은 이에 한정되는 것은 아니며 차후 개발되는 무선 통신의 기술도 포함될 수 있다.
제어부(340)는 통신부(330)로 수신한 이송 로봇 제어부(240)의 제어 명령을 수행하도록 이송 로봇(300) 이동 및 동작 제어를 처리하거나 이송 및 수거를 위한 이동을 수행하는 도중 발생하는 상황에 따른 위험도 판단, 위험도 판단에 기초한 이송 로봇(300)의 움직임 제어, 영상 처리 및 인식 동작과 관련된 각종 처리를 실행하도록 구성된다. 예컨대, 제어부(340)는 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등을 포함할 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스할 수 있다.
센서부(350)는 이송 로봇(300)이 이송 및 수거 동작을 문제 없이 수행할 수 있도록 이송 로봇(300)의 주변 정보를 수집하도록 구성될 수 있다. 센서부(350)는 영상 센서, 무게 센서 또는 광감지 센서가 적어도 하나 이상 포함할 수 있다. 영상 센서는 예컨대, 투과형 광흡수변조기(EAM; Electro Absorption Modulator) 기반 TOF(Time Of Flight) 3차원 영상 센서일 수 있으나, 이에 제한되지 않는다. 영상 센서는 이송 로봇(300)의 주변부를 탐지하여, 이송 로봇(300)의 이동 시, 장애물을 효과적으로 회피할 수 있도록 할 수 있다. 무게 센서는 이송 플레이트(310) 또는 수거 플레이트(320)에 마련되어, 각 플레이트가 비어 있는지 식음료 또는 식기가 탑재되어 있는지 감지할 수 있다. 광감지 센서도 장애물 회피를 위한 센서로, MEMS 스캐너가 적용된 LiDAR(Light Detection And Ranging)일 수 있다. 일반적인 LiDAR 기술은 큰 전기모터로 직류 구동을 이용하여 스캐닝을 하므로 부피, 무게, 전력 소모량이 커서 이송 로봇(300)의 탑재에는 적합하지 않으나, MEMS 스캐너는 초소형 스캐너로 부피, 무게, 전력 소모를 크게 줄일 수 있어, 이송 로봇(300)에 적합할 수 있다. 이송 로봇(300)의 장애물 회피는 3차원 영상 센서와 LiDAR의 감지 신호를 융합하여 회피 알고리즘이 작동되므로, 다양한 충돌 변수를 갖고 있는 매장 내 환경에 적절할 수 있다.
디스플레이(360)는 고객이 주문을 할 수 있도록 매장의 메뉴를 고객에게 보여주거나, 고객의 입력을 통해 주문을 받도록 할 수 있다. 이를 위해, 디스플레이(360)는 터치 입력을 받을 수 있는 디스플레이일 수 있다.
도 3은 본 발명의 일 실시예에 따른 고객이 매장에 입장하고, 주문과 식사 그리고 이송 로봇이 식음료를 이송과 수거를 하는 모습을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 매장에는 이미지 획득부(100), 즉, 제1 카메라(110), 제2 카메라(120), 제3 카메라(130) 등 복수의 카메라가 곳곳에 설치될 수 있다. 고객(C)이 이미지 획득부(100)의 이미지 시야로 들어오면, 고객 인식부(210)가 획득한 이미지에서 고객(C)의 얼굴 이미지를 분석하여, 고객(C)을 식별할 수 있다. 고객(C)이 식별되면, 객체 추적부(220)가 지속적으로 고객(C)을 추적할 수 있다. 또한, 객체 추적부(220)는 미리 구축된 매장의 3차원 공간정보를 이용하여 추적하는 고객(C)의 매장 내 위치를 실시간으로 파악할 수 있다.
여기서, 매장 내에 마련된 복수의 테이블(T)은 각각 독립적인 인식 영역(Z)을 가질 수 있다. 인식 영역(Z)은 객체 추적부(220)가 고객의 테이블 점유를 판단하는 기준 영역일 수 있다.예컨대, 고객(C)이 매장 내 어느 하나의 테이블(T)에 접근하고, 테이블(T)을 점유할 수 있다. 이때, 객체 추적부(220)는 고객(C)이 어느 하나의 테이블(T)의 인식 영역(Z)에 진입하고, 퇴장하기까지의 시간을 측정할 수 있다. 이 시간이 미리 정해진 기준 시간을 초과하면, 객체 추적부(220)는 고객(C)이 테이블(T)을 점유한 것으로 판단할 수 있다. 기준 시간은 설정하기에 따라 달라질 수 있다. 객체 추적부(220)가 고객(C)이 테이블(T)을 점유한 것으로 판단하면, 이송 로봇 제어부(240)가 이송 로봇(300)에게 제어 명령을 생성하여 전송하고, 이송 로봇(300)이 테이블(T)로 고객(C)에게 주문을 받기 위해 접근할 수 있다. 고객(C)은 접근한 이송 로봇(300)의 디스플레이(360)를 통해 식음료를 주문할 수 있으며, 이송 로봇(300)이 디스플레이(360)를 통해 받은 주문 정보는 이송 로봇(300)의 통신부(330)를 통해 처리부(200)로 전송될 수 있다. 처리부(200)의 주문 정보 매칭부(230)는 고객(C)의 식별된 얼굴 이미지와 전송된 주문 정보를 매칭하여 관리할 수 있다.
이송 로봇 제어부(240)는 이송 로봇(300)의 이송 플레이트(310)에 제조 또는 조리가 완료된 식음료가 얹혀지면, 고객(C)이 점유하고 있는 테이블(T)로 고객(C)이 주문한 식음료를 이송하도록 제어 명령을 생성하여, 이송 로봇(300)에 전송할 수 있다. 전송된 제어 명령에 따라 이송 로봇(300)는 테이블(T)로 이동할 수 있고, 고객(C)은 이송 플레이트(310)에 있는 식음료를 수령할 수 있다.
고객(C)이 식사 또는 음료를 마시는 동안, 이미지 획득부(100)는 지속적으로 테이블(T)의 이미지를 획득할 수 있다. 이미지 획득부(100)의 카메라는 테이블(T)의 천장에도 설치되어, 테이블(T)의 인식 영역(Z)의 이미지를 지속적으로 획득할 수 있다. 식음 종료 판단부(250)는 이미지 획득부(100)가 획득한 식사 또는 식음이 진행되는 테이블(T)의 식음료의 이미지를 기초로 식음 종료의 대상의 식음 종료를 판단할 수 있다. 여기서, 식음료의 이미지는 식음료의 남은 내용물의 양, 고객(C)의 식행위 빈도, 테이블(T)상에 식기가 놓인 형태 중 하나일 수 있다. 식음 종료 판단부(250)은 이외에 고객(C)의 식사 시간 또는 고객(C)의 수거 요청에 의해서도 고객(C)의 식음 종료를 판단할 수 있다. 식음 종료 판단부(250)이 고객(C)의 식음이 종료되었다고 판단하면, 이송 로봇 제어부(240)는 이송 로봇(300)가 테이블(T)로 이동하여, 식기를 수거하도록 제어 명령을 생성할 수 있으며, 이송 로봇(300)는 전송된 제어 명령에 따라 식기를 수거하도록 해당 테이블(T)로 이동할 수 있다.
또한, 식음 종료 판단부(250) 이미지 획득부(100)가 획득하는 테이블(T)의 이미지를 지속적으로 분석하여, 테이블(T)의 식음 종료 대상이 무료 리필이 가능한 대상인지, 유료 주문이 필요한 대상인지의 여부를 판단할 수 있다. 전술했듯이, 여기서, 식음 종료의 대상은 테이블(T)에 이송된 식음료 각각이 그 대상이며, 예컨대, 음료, 조리된 음식, 물 등이 그 대상일 수 있다. 식음 종료 판단부(250)가 고객이 식음 또는 식사를 하는 식음 종료의 대상 중 어느 하나가 식음 종료된 것으로 판단하면, 식음 종료 판단부(250)은 식음 종료된 대상의 무료 리필 또는 유료 주문 대상인지 판단 후, 이송 로봇 제어부(240)가 이송 로봇(300)을 제어하도록 제어 명령을 생성할 수 있다.
이송 로봇 제어부(240)는 식음 종료된 대상이 무료 리필이 가능한 대상이면, 이송 로봇(300)이 식음 종료된 대상을 이송하도록 제어 명령을 생성하여, 이송 로봇(300)에 전송할 수 있고, 식음 종료된 대상이 유료 주문이 필요하면, 추가 주문을 받을 수 있도록 이송 로봇(300)이 테이블(T)로 이동하도록 제어 명령을 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 식음 종료 판단부가 판단하는 식기가 놓인 형태의 종류를 나타낸 도면이다. 일 실시예에 있어서, 도 4(a)는 접시(401) 양 옆으로 평행하게 포크(402)와 나이프(403)가 독립적으로 놓인 모습을 나타낸 것이다. 식음 종료 판단부(250)은 이와 같은 식기의 형태를 인식하여 식사가 시작되는 상황으로 판단할 수 있다. 도 4(b)는 접시(401) 위로 포크(402)와 나이프(403)가 서로 다른 방향을 가르키며 놓인 모습을 나타낸 것이다. 식음 종료 판단부(250)은 이와 같은 식기의 형태는 식사가 진행중인 상황으로 판단할 수 있다. 도 4(c)는 접시(401)위로 포크(402)와 나이프(403)가 같은 방향을 가리키며 사선으로 놓인 모습을 나타낸 것이다. 식음 종료 판단부(250)은 이와 같은 식기의 형태는 식사가 종료된 상황으로 판단할 수 있다. 식음 종료 판단부(250)이 도 4(c)의 식기 형태를 인식하여, 테이블(T)의 식사가 종료되었다고 판단하면, 이송 로봇 제어부(240)가 이송 로봇(300)이 테이블(T)로 이동하도록 제어 명령을 생성할 수 있고, 이송 로봇(300)는 테이블(T)에 대하여 무료 리필, 추가 주문 또는 식기를 수거할 수 있도록 이동할 수 있다.
도 5는 본 발명의 일 실시예에 따른 테이블의 식기 수거 영역을 나타낸 도면이다.
도 5를 참조하면, 일 실시예에서, 테이블(T)에는 미리 정해진 식기 수거 영역(501)이 있을 수 있다. 여기서, 식기 수거 영역(501)은 이미지 획득부(100)가 획득하는 테이블(T)의 이미지 상에서, 식음 종료 판단부(250)가 인식하는 가상의 영역일 수 있다. 고객(C)이 식사 또는 식음을 완료하면, 식기를 식기 수거 영역(501)으로 옮겨놓을 수 있다. 식음 종료 판단부(250)은 식기 수거 영역(501)에 식기들의 배치 여부를 이미지 상에서 분석하여, 식기 수거 영역(501)에 식기가 배치된 것으로 판단하면 해당 테이블을 식음 종료로 판단할 수 있다. 또한, 식음 종료 판단부(250)은 테이블(T)에 마련된 센서(미도시)를 통해 식기 수거 영역(501)에 대한 식기의 배치 여부를 판단할 수 있다. 예컨대, 테이블(T)의 식기 수거 영역(501)에 감지 센서가 설치되고, 식음 종료 판단부(250)은 센서의 식기 수거 영역(501)에서의 감지 여부를 기초로 식기 수거 영역(501)의 식기 배치 여부를 판단할 수 있다.식음 종료 판단부(250)이 테이블(T)의 식음이 종료되었다고 판단하면, 이송 로봇 제어부(240)가 이송 로봇(300)이 테이블(T)로 이동하도록 제어 명령을 생성할 수 있고, 이송 로봇(300)는 테이블(T)에 대하여 무료 리필, 추가 주문 또는 식기를 수거할 수 있도록 이동할 수 있다.
이하는 본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 방법을 설명한다. 매장 내 식음료 이송 및 수거 방법은 전술한 매장 내 식음료 이송 및 수거 시스템에 의해 수행될 수 있다. 구체적인 용어 및 단어의 의미는 매장 내 식음료 이송 및 수거 시스템의 의미와 동일할 수 있으며, 중복되는 설명은 생략한다.
도 6은 본 발명의 일 실시예에 따른 매장 내 식음료 이송 및 수거 방법의 흐름도이다.
도 6을 참조하면, 일 실시예에 있어서, 매장 내 식음료 이송 및 수거 방법은 이미지 획득 단계(S100), 처리 단계(S200), 이송 단계(S300) 및 수거 단계(S400)를 포함할 수 있다.
이미지 획득 단계(S100)는 복수의 카메라를 포함하는 이미지 획득부가 미리 정해진 영역의 이미지를 획득하는 단계일 수 있다. 처리 단계(S200)는 처리부가 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 단계일 수 있다. 이송 단계(S300)는 이송 로봇이 처리부의 제어 명령에 따라 고객의 주문 정보를 획득하고 주문된 식음료의 이송을 수행하는 단계일 수 있다. 수거 단계(S400)는 이송 로봇이 제어 명령에 따라 식기를 수거하기 위해 식음이 종료된 테이블로 이동하는 단계일 수 있다.
도 7은 본 발명의 일 실시예에 따른 이미지 분석을 이용하여 매장 내에서 고객을 식별 및 추적하는 방법의 흐름도이다.
도 7을 참조하면, 일 실시예에 있어서, 매장 내 식음료 이송 및 수거 방법은, 복수의 카메라를 포함하는 이미지 획득부가 매장 내 전경 또는 특정 영역의 이미지를 획득할 수 있다.(S710) 이미지 획득부에 의해 이미지가 획득되는 매장 내부로 고객이 입장하면, 고객 인식부가 고객의 얼굴 이미지를 분석하여 고객을 식별 또는 인식할 수 있다.(S720) 고객 인식부가 고객을 식별하면 객체 추적부가 이미지 획득부가 획득한 이미지에서 식별한 고객을 추적할 수 있다. 고객의 얼굴을 객체화시켜 매장의 이미지를 분석하여 고객의 실시간 위치를 추적하며, 이 과정에서 미리 구축된 매장의 3차원 공간 정보를 이용할 수 있다. 고객이 매장 내를 이동하다 테이블에 접근하면, 객체 추적부는 고객의 테이블 점유 여부를 판단할 수 있다. 고객의 테이블 점유 여부는 전술한 것과 같이 객체 추적부가 테이블의 인식 영역에서 고객이 머무르는 시간이 미리 결정된 기준 이상인 경우, 고객이 테이블을 점유한 것으로 판단할 수 있다. 예컨대, 미리 결정된 기준 시간이 1분이라고 가정하면, 고객이 테이블에서 1분 미만으로 머무르다가 테이블의 인식 영역에서 벗어나면 객체 추적부는 고객이 아직 테이블을 점유하지 않은 것으로 판단할 수 있다. 고객이 테이블의 인식 영역에서 1분 이상 머무르면, 객체 추적부는 고객이 해당 테이블을 점유한 것으로 판단할 수 있다.(S740) 객체 추적부가 고객이 테이블을 점유한 것으로 판단하면, 해당 테이블의 정보를 처리부가 획득할 수 있다. 획득된 테이블 정보는 테이블의 위치 또는 테이블의 식별 코드일 수 있으며, 이송 로봇은 획득된 테이블 정보에 기초하여 해당 테이블로 이동하여 주문을 수신하거나 주문된 식음료를 이송 또는 수거할 수 있다.(S750)
도 8은 본 발명의 일 실시예에 따른 이송 로봇을 이용하여 테이블에 주문한 식음료를 서빙하는 방법의 흐름도이다.
도 8을 참조하면, 매장 내 식음료 이송 및 수거 시스템은 고객으로부터 식음료의 주문 정보를 수신할 수 있다.(S810) 여기서, 고객은 테이블에 마련된 주문가능한 장치를 이용하여 주문할 수 있다. 여기서, 주문가능한 장치는 예컨대, 테이블에 매장 내 식음료 이송 및 수거 시스템과 네트워크로 연결된 태블릿PC일 수 있다. 또한, 테이블에 주문가능한 인터넷 사이트가 연결되는 QR코드가 테이블에 마련되어 있어, 고객이 소지하는 스마트 폰 또는 태블릿PC를 이용하여 QR코드를 인식하여, 해당 주문가능한 사이트에서 식음료를 주문할 수 있다. QR코드를 인식하면, 해당 테이블의 위치 정보 및 식별 정보도 자동으로 인식되어, 고객이 식음료를 주문하면 식음료 이송 및 수거 시스템에 자동으로 전송될 수 있다. 또한, 도 7에 도시된 실시예를 통해 매장 내에 마련된 이미지 획득부가 획득하는 이미지를 분석하여, 고객을 추적 후, 고객이 점유하는 테이블을 식음료 이송 및 수거 시스템의 처리부가 직접 판단할 수 있다. 이 경우, 고객이 점유한 것으로 판단한 테이블로 이송 로봇이 이동하여 고객의 주문을 수신할 수도 있다.
고객으로부터 주문 정보를 수신하면, 주문 정보 매칭부는 고객의 주문 정보를 고객이 점유한 테이블 정보 또는 고객의 얼굴 이미지를 매칭할 수 있다.(S820) 테이블정보와 주문 정보가 매칭되고, 주문된 식음료의 제조 및 조리가 완료되면, 이송 로봇 제어부가 고객이 점유한 테이블로 고객이 주문한 식음료를 이송하는 제어 명령을 생성할 수 있다.(S830) 이송 로봇은 전송된 제어 명령에 따라 식음로를 해당 테이블로 이송할 수 있다. 고객이 이송된 식음료를 식사 또는 식음을 하면, 식음 종료 판단부가 이미지 획득부가 획득한 해당 테이블의 이미지를 이용하거나, 테이블의 미리 정해진 영역의 식기 도구 배치 여부에 따라 식음 종료의 대상에 대한 식음 종료를 판단할 수 있다.(S840) 여기서, 식음 종료 판단부가 식음 종료의 대상에 대한 식음 종료를 판단하는 방법은 전술한 매장 내 식음료 이송 및 시스템의 식음 종료 판단부가 식음 종료를 판단하는 실시예와 동일하다.
식음 종료 판단부가 식음 종료의 대상 중 어느 하나에 대해 식음 종료라고 판단하면, 해당 식음 종료의 대상이 무료 리필 대상인지, 유료 주문 대상인지 판단할 수 있다.(S850) 이송 로봇 제어부는 해당 식음 종료의 대상이 무료 리필 대상이면, 식음 종료된 대상을 즉시 이송하도록 제어 명령을 생성할 수 있고, 이송 로봇은 전송된 제어 명령에 따라 식음 종료된 대상을 해당 테이블로 이송할 수 있다.(S860)
본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체 및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM　또는 기타 광학디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.
특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (26)

  1. 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템에 있어서,
    미리 정해진 영역의 이미지를 획득하는 복수의 카메라를 포함하는 이미지 획득부;
    상기 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 처리부; 및
    상기 처리부의 제어 명령에 따라 상기 고객의 주문 정보를 획득하고, 상기 주문된 식음료의 이송을 수행하는 이송 로봇
    을 포함하는 매장 내 식음료 이송 및 수거 시스템.
  2. 제1항에 있어서,
    상기 처리부는,
    상기 이미지 획득부가 획득한 고객의 얼굴 이미지를 분석하고 상기 고객을 식별하는 고객 인식부; 및
    상기 고객 인식부가 식별한 고객을 상기 이미지 획득부가 획득한 이미지를 이용하여 추적하는 객체 추적부를 포함하는 것인, 매장 내 식음료 이송 및 수거 시스템.
  3. 제2항에 있어서,
    상기 처리부는,
    상기 고객의 얼굴 이미지와 상기 고객의 주문 정보를 매칭시키도록 구성된 주문 정보 매칭부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  4. 제1항에 있어서,
    상기 처리부는,
    상기 이미지 획득부가 획득한 이미지를 이용하여 상기 고객이 점유한 테이블 정보를 획득하기 위한 객체 추적부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  5. 제4항에 있어서,
    상기 객체 추적부는,
    상기 고객이 테이블에 머무르는 시간이 미리 결정된 기준 이상인 경우에 상기 고객이 상기 테이블을 점유한 것으로 판단하는 것인, 매장 내 식음료 이송 및 수거 시스템.
  6. 제1항에 있어서,
    상기 처리부는,
    상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객의 주문 정보를 획득하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  7. 제1항에 있어서,
    상기 처리부는,
    상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객이 주문한 식음료를 이송하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  8. 제1항에 있어서,
    상기 처리부는,
    상기 이미지 획득부가 획득한 식음료의 이미지를 기초로 상기 고객의 식음 종료를 판단하도록 구성된 식음 종료 판단부; 및
    상기 이송 로봇이 상기 식음 종료 판단부가 식음 종료로 판단한 테이블로 식기를 수거하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  9. 제8항에 있어서,
    상기 식음 종료 판단부는,
    식사 시간, 남은 내용물의 양, 식 행위의 빈도, 식기가 놓인 형태, 상기 고객의 수거 요청 중 적어도 하나에 기초하여 상기 고객의 식음 종료를 판단하는 것인, 매장 내 식음료 이송 및 수거 시스템.
  10. 제8항에 있어서,
    상기 식음 종료 판단부는,
    식음 종료로 판단한 테이블의 미리 결정된 영역 내에 식기 도구의 배치 여부를 판단하고,
    상기 이송 로봇 제어부는,
    상기 이송 로봇이 상기 미리 결정된 영역 내에 배치된 식기 도구를 수거하도록 제어 명령을 생성하는 것인, 매장 내 식음료 이송 및 수거 시스템.
  11. 제8항에 있어서,
    상기 이송 로봇 제어부는,
    상기 이송 로봇이 추가 주문을 받도록 상기 식음 종료로 판단한 테이블로 이동하도록 제어 명령을 생성하는 것인, 매장 내 식음료 이송 및 수거 시스템.
  12. 제1항에 있어서,
    상기 처리부는,
    식음 종료의 대상이 무료 리필이 가능한 대상인지 여부를 판단하도록 구성된 식음 종료 판단부; 및
    상기 식음 종료 판단부가 상기 식음 종료의 대상이 무료 리필이 가능한 것으로 판단한 경우, 상기 이송 로봇이 식음 종료된 대상을 이송하도록 제어 명령을 생성하는 이송 로봇 제어부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  13. 제1항에 있어서,
    상기 처리부는,
    식음 종료의 대상이 유료 주문이 필요한 대상인지 여부를 판단하도록 구성된 식음 종료 판단부; 및
    상기 식음 종료 판단부가 상기 식음 종료의 대상이 유료 주문이 필요한 대상인 경우 이송 로봇이 추가 주문을 받을 수 있도록 상기 식음 종료로 판단한 테이블로 이동하는 제어 명령을 생성하는 이송 로봇 제어부를 더 포함하는 매장 내 식음료 이송 및 수거 시스템.
  14. 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 방법에 있어서,
    복수의 카메라를 포함하는 이미지 획득부가 미리 정해진 영역의 이미지를 획득하는 이미지 획득 단계;
    처리부가 상기 이미지 획득부가 획득한 이미지를 이용하여 고객의 주문 처리를 위한 제어 명령을 처리하는 처리 단계; 및
    이송 로봇이 상기 처리부의 제어 명령에 따라 상기 고객의 주문 정보를 획득하고, 상기 주문된 식음료의 이송을 수행하는 이송 단계
    를 포함하는 매장 내 식음료 이송 및 수거 방법.
  15. 제14항에 있어서,
    상기 처리 단계는,
    고객 인식부가 상기 이미지 획득부에 의해 획득한 고객의 얼굴 이미지를 분석하고 상기 고객을 식별하는 고객 인식 단계; 및
    객체 추적부가 상기 고객 인식부에 의해 식별된 고객을 상기 이미지 획득부가 획득한 이미지를 이용하여 추적하는 객체 추적 단계를 포함하는 것인, 매장 내 식음료 이송 및 수거 방법.
  16. 제15항에 있어서,
    상기 처리 단계는,
    주문 정보 매칭부가 상기 고객의 얼굴 이미지와 상기 고객의 주문 정보를 매칭시키도록 구성된 주문 정보 매칭 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  17. 제14항에 있어서,
    상기 처리 단계는,
    객체 추적부가 상기 이미지 획득부에 의해 획득된 이미지를 이용하여 상기 고객이 점유한 테이블 정보를 획득하는 객체 추적 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  18. 제17항에 있어서,
    상기 객체 추적 단계는,
    상기 객체 추적부가 상기 고객이 테이블에 머무르는 시간이 미리 결정된 기준 이상인 경우에 상기 고객이 상기 테이블을 점유한 것으로 판단하는 것인, 매장 내 식음료 이송 및 수거 방법.
  19. 제17항에 있어서,
    상기 처리 단계는,
    상기 처리부가 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객의 주문 정보를 획득하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  20. 제17항에 있어서,
    상기 처리 단계는,
    상기 처리부가 상기 이송 로봇이 상기 고객이 점유한 것으로 판단한 테이블로 상기 고객이 주문한 식음료를 이송하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  21. 제14항에 있어서,
    상기 처리 단계는,
    식음 종료 판단부가 상기 이미지 획득부에 의해 획득된 식음료의 이미지를 기초로 상기 고객의 식음 종료를 판단하는 식음 종료 판단 단계; 및
    이송 로봇 제어부가 상기 이송 로봇이 식음 종료 판단 단계에서 식음 종료로 판단된 테이블로 식기를 수거하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  22. 제21항에 있어서,
    상기 식음 종료 판단 단계는,
    상기 식음 종료 판단부가 식사 시간, 남은 내용물의 양, 식 행위의 빈도, 식기가 놓인 형태, 상기 고객의 수거 요청 중 적어도 하나에 기초하여 상기 고객의 식음 종료를 판단하는 것인, 매장 내 식음료 이송 및 수거 방법.
  23. 제21항에 있어서,
    상기 식음 종료 판단 단계는,
    상기 식음 종료 판단부가 식음 종료로 판단한 테이블의 미리 결정된 영역 내의 식기 도구의 배치 여부를 판단하고,
    상기 이송 로봇 제어 단계는,
    상기 이송 로봇 제어부가 상기 이송 로봇이 상기 미리 결정된 영역 내에 배치된 식기 도구를 수거하도록 제어 명령을 생성하는 것인, 매장 내 식음료 이송 및 수거 방법.
  24. 제21항에 있어서,
    상기 이송 로봇 제어 단계는,
    상기 이송 로봇 제어부가 상기 이송 로봇이 추가 주문을 받도록 상기 식음 종료로 판단한 테이블로 이동하도록 제어 명령을 생성하는 것인, 매장 내 식음료 이송 및 수거 방법.
  25. 제14항에 있어서,
    상기 처리 단계는,
    식음 종료 판단부가 식음 종료의 대상이 무료 리필이 가능한 대상인지 여부를 판단하는 식음 종료 판단 단계; 및
    상기 식음 종료 판단 단계에서 상기 식음 종료의 대상이 무료 리필이 가능한 것으로 판단한 경우, 이송 로봇 제어부가 상기 이송 로봇이 식음 종료된 대상을 이송하도록 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
  26. 제14항에 있어서,
    상기 처리 단계는,
    식음 종료 판단부가 식음 종료의 대상이 유료 주문이 필요한 대상인지 여부를 판단하는 식음 종료 판단 단계; 및
    상기 식음 종료 판단 단계에서 상기 식음 종료의 대상이 유료 주문이 필요한 대상인 경우. 이송 로봇 제어부가 상기 이송 로봇이 추가 주문을 받을 수 있도록 상기 식음 종료로 판단한 테이블로 이동하는 제어 명령을 생성하는 이송 로봇 제어 단계를 더 포함하는 매장 내 식음료 이송 및 수거 방법.
PCT/KR2020/011022 2019-09-18 2020-08-19 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법 WO2021054622A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080007645.1A CN113287119B (zh) 2019-09-18 2020-08-19 利用图像识别的卖场内餐饮移送及回收系统和利用其的餐饮移送及回收方法
US17/370,112 US20210342573A1 (en) 2019-09-18 2021-07-08 In-store food and beverage transfer and collection system using image recognition and method of transferring and collecting food and beverage in store using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0114672 2019-09-18
KR1020190114672A KR102315615B1 (ko) 2019-09-18 2019-09-18 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/370,112 Continuation US20210342573A1 (en) 2019-09-18 2021-07-08 In-store food and beverage transfer and collection system using image recognition and method of transferring and collecting food and beverage in store using the same

Publications (1)

Publication Number Publication Date
WO2021054622A1 true WO2021054622A1 (ko) 2021-03-25

Family

ID=74883227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/011022 WO2021054622A1 (ko) 2019-09-18 2020-08-19 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법

Country Status (4)

Country Link
US (1) US20210342573A1 (ko)
KR (1) KR102315615B1 (ko)
CN (1) CN113287119B (ko)
WO (1) WO2021054622A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11919146B2 (en) * 2021-04-28 2024-03-05 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
US11911906B2 (en) * 2021-05-21 2024-02-27 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a patrolling robot
US20230016435A1 (en) * 2021-07-19 2023-01-19 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
US20230030633A1 (en) * 2021-07-28 2023-02-02 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
KR102331177B1 (ko) * 2021-08-05 2021-12-01 티오더 주식회사 매장에 구비된 태블릿을 통하여 주문 및 서빙하는 방법 및 그 시스템
KR20230043623A (ko) * 2021-09-24 2023-03-31 주식회사 엑스와이지 이동형 로봇을 이용한 무인 결제 방법 및 이를 이용한 무인 결제 시스템
KR20230061901A (ko) 2021-10-29 2023-05-09 주식회사 사운드그래프 사물인식 인공지능을 활용한 픽업 안내 방법 및 시스템
CN114241667B (zh) * 2021-11-09 2023-07-14 上海景吾智能科技有限公司 调度机器人自主完成接货的服务方法及系统
CN114326716A (zh) * 2021-12-10 2022-04-12 深圳优地科技有限公司 清洁机器人的控制方法、清洁机器人及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133904A (ja) * 2002-08-13 2004-04-30 Masanobu Kujirada 飲食店用マーケティングデータ収集システム
KR101062554B1 (ko) * 2009-07-28 2011-09-06 송세경 식당 홀의 모니터링 카메라를 이용한 영상처리 시스템 및 식당 통합 관리 시스템 그리고 그 영상처리 방법 및 그 식당 통합 관리 방법
KR101083700B1 (ko) * 2009-04-02 2011-11-16 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
KR101628115B1 (ko) * 2015-12-09 2016-06-08 곽재용 주문 결제 시스템
KR20190092337A (ko) * 2019-06-07 2019-08-07 엘지전자 주식회사 서빙 로봇 및 그를 이용한 고객 접대 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3396204B2 (ja) * 2000-05-31 2003-04-14 株式会社くらコーポレーション 飲食店の飲食物供給システム
KR101204418B1 (ko) 2009-04-13 2012-11-26 (주)아이엠테크놀로지 음식점에서 음식을 로봇으로 배달하는 시스템
GB201005873D0 (en) * 2010-04-08 2010-05-26 Compurants Ltd Big book A
JP2015138452A (ja) * 2014-01-23 2015-07-30 東芝テック株式会社 料理残量検出装置及びプログラム
US20160055598A1 (en) * 2014-08-25 2016-02-25 Purna Chander Ramini Restaurant Guest Service System And Method
WO2017006291A1 (en) * 2015-07-08 2017-01-12 Data Pranjal System for robot assisted restaurant service and a waiter robot
KR101759091B1 (ko) 2016-12-06 2017-07-18 김선홍 무인 음식점 시스템
JP2019003360A (ja) * 2017-06-14 2019-01-10 大日本印刷株式会社 案内ロボット、席管理装置及びプログラム
CN109963114A (zh) * 2017-12-14 2019-07-02 湖南餐启科技有限公司 一种就餐检测装置、方法、服务器及系统
JP2019153070A (ja) * 2018-03-02 2019-09-12 東芝テック株式会社 情報処理装置、及び情報処理プログラム
CN109409765A (zh) * 2018-11-09 2019-03-01 江苏木盟智能科技有限公司 一种基于机器人的餐饮配送方法和系统
US11279042B2 (en) * 2019-03-12 2022-03-22 Bear Robotics, Inc. Robots for serving food and/or drinks
CN109993157A (zh) * 2019-05-06 2019-07-09 深圳前海微众银行股份有限公司 基于机器人的配送方法、装置、设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133904A (ja) * 2002-08-13 2004-04-30 Masanobu Kujirada 飲食店用マーケティングデータ収集システム
KR101083700B1 (ko) * 2009-04-02 2011-11-16 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
KR101062554B1 (ko) * 2009-07-28 2011-09-06 송세경 식당 홀의 모니터링 카메라를 이용한 영상처리 시스템 및 식당 통합 관리 시스템 그리고 그 영상처리 방법 및 그 식당 통합 관리 방법
KR101628115B1 (ko) * 2015-12-09 2016-06-08 곽재용 주문 결제 시스템
KR20190092337A (ko) * 2019-06-07 2019-08-07 엘지전자 주식회사 서빙 로봇 및 그를 이용한 고객 접대 방법

Also Published As

Publication number Publication date
US20210342573A1 (en) 2021-11-04
KR102315615B1 (ko) 2021-10-21
CN113287119B (zh) 2022-06-03
CN113287119A (zh) 2021-08-20
KR20210033214A (ko) 2021-03-26

Similar Documents

Publication Publication Date Title
WO2021054622A1 (ko) 이미지 인식을 이용한 매장 내 식음료 이송 및 수거 시스템과 이를 이용한 식음료 이송 및 수거 방법
JP6980738B2 (ja) 食べ物および／または飲み物のサービングのためのロボット
JP6997159B2 (ja) 食べ物および／または飲み物のサービングのためのロボット
US9757002B2 (en) Shopping facility assistance systems, devices and methods that employ voice input
CN104155940B (zh) 机器人服务餐厅系统及其控制方法
CN110235156A (zh) 一种送餐数据处理方法和送餐设备
US10924603B1 (en) Phone map used to find and operate multiuser devices
JP2016135625A (ja) 浮揚移動台
WO2019179416A1 (zh) 智能抓取装置及其控制方法、终端
CN110060381A (zh) 酒店入住鉴权方法、装置及系统
CN108038800A (zh) 一种智能提供餐饮系统和方法
CN111590565A (zh) 一种基于大数据平台的智能服务机器人及其控制方法
CN111540129A (zh) 一种景区mr眼镜的租借设备及其借还操作方法
GB2531802A (en) System and method for supporting operations in a retail store
CN104901993B (zh) 一种信息传输方法及其系统、应用服务器
WO2019104951A1 (zh) 一种应用于智慧商圈的人工智能购物设备及其系统
CN114581006A (zh) 一种智能点餐方法、装置、系统及存储介质
CN109008634A (zh) 一种基于咖啡机的咖啡制作方法及咖啡机
CN113034814A (zh) 一种物品存取装置
KR102617207B1 (ko) 서빙 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN110782372A (zh) 一种全自动无人服务机器人智能中餐厅
KR20210005420A (ko) 자율주행기반의 이동식 스토어 제공 시스템, 그리고 이를 위한 이동식 스토어 제공 서버
CN212966334U (zh) 一种共享智能售卖机及售卖系统
CN109831403A (zh) 一种个人现场行为收集系统及方法
US20230289706A1 (en) Automated local delivery center

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20864477

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27.06.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20864477

Country of ref document: EP

Kind code of ref document: A1