WO2020141747A1 - 이동 로봇 및 그의 동작 방법 - Google Patents

이동 로봇 및 그의 동작 방법 Download PDF

Info

Publication number
WO2020141747A1
WO2020141747A1 PCT/KR2019/017347 KR2019017347W WO2020141747A1 WO 2020141747 A1 WO2020141747 A1 WO 2020141747A1 KR 2019017347 W KR2019017347 W KR 2019017347W WO 2020141747 A1 WO2020141747 A1 WO 2020141747A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile robot
customer
destination
received
order information
Prior art date
Application number
PCT/KR2019/017347
Other languages
English (en)
French (fr)
Inventor
박준아
이현중
주재용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2020141747A1 publication Critical patent/WO2020141747A1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator

Definitions

  • the present disclosure relates to a mobile robot capable of driving itself in a work space and a method of operating the same. Specifically, the present disclosure relates to a mobile robot for carrying an object and a method of operating the same.
  • Self-driving mobile robots are called autonomous mobile robots (AMRs) and are widely used in industrial and distribution fields.
  • AMRs autonomous mobile robots
  • a robot used in a factory can improve product productivity by performing a preset repetitive task or carrying a heavy object
  • a robot used in a distribution warehouse addresses product packages consisting of multiple items. You can organize it yourself.
  • the autonomous mobile robot may recognize a work space for movement using a plurality of sensors, determine a travel path by itself within the recognized work space, and move itself according to the determined travel path. Accordingly, technology development has been actively conducted to prevent a mobile robot from colliding with an obstacle while driving or colliding with another robot while driving.
  • a mobile robot for carrying an object may be provided.
  • a mobile robot capable of driving itself may be provided as a destination determined according to order information.
  • an operation of determining whether a first object is received in a storage unit included in the mobile robot Determining whether the received first object matches a second object included in the previously received order information; When the received first object matches the second object included in the received order information, moving to a destination determined according to the order information; And providing the first object to a customer at a destination determined according to the order information.
  • a method of moving an object by a mobile robot including a may be provided.
  • the operation of determining whether the first object has been received may include detecting whether a tray on which the first object is mounted is attached to the storage unit; Sensing the weight of the tray when the tray is attached; And checking whether the tray is attached to the storage unit and whether the first object is received using the weight of the tray. It may include.
  • the operation of determining whether the received first object matches the second object included in the order information may include at least one of a user input unit of the mobile robot and a communication unit of the mobile robot.
  • the operation of moving to the determined destination includes an operation of detecting a predetermined audio signal from the outside of the mobile robot; When the audio signal is detected, determining a driving path of the mobile robot based on the detected audio signal; And moving to the determined destination based on the determined driving route. It may include.
  • the operation of moving to the determined destination may include determining an operation path based on a characteristic of a function being performed by the mobile robot when the predetermined audio signal is not detected; It may further include.
  • the operation of determining the driving route may include determining an audio characteristic including at least one of pitch, harmony, volume, tempo, rhythm, and melody from the sensed predetermined audio signal; Determining a motion pattern matching the determined audio characteristic from a pre-stored motion table; And determining the driving route using the determined motion pattern. It may include.
  • the operation of moving to the destination includes an operation of identifying a state of a bottom surface on which the mobile robot moves; Modifying the determined driving route according to the identified floor surface state; And moving to the destination based on the modified driving route. It may include.
  • the operation of moving to the destination may include generating a map of the work space of the mobile robot; Detecting at least one obstacle in the work space; Estimating a movable space of the mobile robot using the detected location of the at least one obstacle in the generated map; Modifying the travel path based on the estimated movable space, the size of the mobile robot, and the rotation angle of the mobile robot; And moving to the destination based on the modified driving route. It may include.
  • the operation of providing the first object to the customer may include determining whether the destination has been reached; When the mobile robot reaches the destination, outputting information about the received first object; And outputting information about the received first object, and then providing the first object to the customer. It may include.
  • the operation of providing the first object to the customer may include rotating the direction of the mobile robot so that the storage unit faces the customer; And providing the object to the customer while the direction of the mobile robot is rotated. It may include.
  • the determining of whether the destination has been reached may include: identifying the customer by comparing at least one of the customer's table number and the customer's facial recognition result with the order information; Determining whether the identified customer is within a predetermined range; And when the identified customer is within a predetermined range, determining that the destination has been reached. It may include.
  • the method may include, when the first object is provided to the customer, receiving an additional order related to the first object provided; And providing a payment service for the received additional order; It may further include.
  • the mobile robot includes a light emitting unit that emits light according to a preset light emission pattern and a light emission color, and the light emission pattern and the light emission color are used to move the destination and the first object.
  • a light emitting unit that emits light according to a preset light emission pattern and a light emission color, and the light emission pattern and the light emission color are used to move the destination and the first object.
  • Each operation provided to the customer may be different.
  • the mobile robot for carrying the object is a communication interface; A storage unit for storing the object; A driving unit that controls movement of the mobile robot; A memory that stores one or more instructions; And a processor that controls the mobile robot by executing the one or more instructions. Including, the processor, checks whether the first object is stored in the storage unit, determines whether the received first object matches the second object included in the previously received order information, and When the received first object matches the second object included in the received order information, the driving unit is controlled to move to a destination determined according to the order information, and the first object at a destination determined according to the order information
  • a mobile robot for transporting an object, which controls the storage unit so as to provide the customer with the customer may be provided.
  • the processor detects whether the tray on which the first object is mounted is attached to the storage unit, and when the tray is attached, detects the weight of the tray and detects the It is possible to check whether the tray is attached to the storage unit and whether the first object is stored using the weight of the tray.
  • the processor receives the order information using at least one of a user input unit of the mobile robot and a communication unit of the mobile robot, and the first identification of the tray on which the first object is mounted
  • the received first object is identified by using at least one of a code and a second identification code included in the first object, and the identified first object matches the second object included in the received order information. You can decide whether or not.
  • the processor detects a predetermined audio signal from the outside of the mobile robot, and when the audio signal is detected, determines the driving route of the mobile robot based on the detected audio signal , May move to the determined destination based on the determined driving route.
  • the processor may determine the driving route based on a characteristic of a function being performed by the mobile robot.
  • the processor determines an audio characteristic including at least one of pitch, harmony, volume, tempo, rhythm, and melody from the sensed predetermined audio signal, and matches the determined audio characteristic
  • a motion pattern may be determined from a pre-stored motion table, and the driving route may be determined using the determined motion pattern.
  • a function required for a customer may be provided for each store.
  • a response reflecting a user's emotion may be provided.
  • FIG. 1 is a diagram for schematically explaining a method in which a mobile robot transports an object in a store according to an embodiment.
  • FIG. 2 is a flowchart illustrating a method for a mobile robot to transport an object according to an embodiment.
  • 3 is a view for explaining in detail how the mobile robot according to an embodiment checks whether the first object is stored.
  • FIG. 4 is a view for explaining the structure of a mobile robot according to an embodiment.
  • FIG. 5 is a diagram for explaining in detail how a mobile robot moves to a destination according to an embodiment.
  • FIG. 6 is a diagram for explaining in detail how a mobile robot determines a driving route according to an audio signal according to an embodiment.
  • FIG. 7 is a view for explaining in detail how the mobile robot according to an embodiment modifies the driving route based on the state of the bottom surface.
  • FIG. 8 is a view for explaining in detail a method of modifying a determined travel path based on information on a work space generated by a mobile robot according to an embodiment.
  • FIG. 9 is a view for explaining a method for a mobile robot to transport an object according to another embodiment.
  • FIG. 10 is a diagram illustrating an embodiment of functions that a mobile robot according to an embodiment can provide according to a detected audio signal.
  • 11 is a diagram for explaining in detail how a mobile robot provides a first object to a customer at a destination according to an embodiment.
  • FIG. 12 is a diagram for explaining in detail a method for determining whether a mobile robot has reached a destination according to an embodiment.
  • FIG. 13 is a view for explaining a method for a mobile robot to transport a first object according to another embodiment.
  • FIG. 14 is a diagram for describing a method in which a mobile robot transports a first object according to an embodiment.
  • 15 is a view for explaining in time series the operation of the mobile robot according to an embodiment carrying the first object.
  • 16 is a diagram illustrating a method for a mobile robot to guide a destination or recommend a product according to another embodiment.
  • 17 is a diagram for explaining in detail a method for recommending a product by a mobile robot according to an embodiment.
  • 18 is a view for explaining the function of the light emitting unit in the mobile robot associated with the operation of the mobile robot according to an embodiment.
  • 19 is a view for explaining in detail a communication method of a mobile robot according to an embodiment.
  • 20 is a block diagram of a mobile robot according to an embodiment.
  • 21 is a view for explaining a method for a mobile robot to transport a first object using a server according to an embodiment.
  • 22 is a block diagram of a server according to an embodiment.
  • an operation of determining whether a first object is received in a storage unit included in the mobile robot Determining whether the received first object matches a second object included in the previously received order information; When the received first object matches the second object included in the received order information, moving to a destination determined according to the order information; And providing the first object to a customer at a destination determined according to the order information.
  • a method in which a mobile robot carries an object may be provided.
  • a mobile robot for carrying an object the communication interface; A storage unit for storing the object; A driving unit that controls movement of the mobile robot; A memory that stores one or more instructions; And a processor that controls the mobile robot by executing the one or more instructions. Including, the processor, checks whether the first object is stored in the storage unit, determines whether the received first object matches the second object included in the previously received order information, and When the received first object matches the second object included in the received order information, the driving unit is controlled to move to a destination determined according to the order information, and the first object at a destination determined according to the order information
  • a mobile robot for transporting an object, which controls the storage unit so as to provide the customer with the customer may be provided.
  • FIG. 1 is a diagram for schematically explaining a method in which a mobile robot 1000 carries an object in a store, according to an embodiment.
  • the mobile robot 1000 includes a storage unit for accommodating at least one object, and can move an object to a destination by using the storage unit in the mobile robot.
  • the mobile robot 1000 may receive the first object in the storage unit included in the mobile robot, and move to the destination in the state in which the first object is stored.
  • the mobile robot 1000 stores food provided from the restaurant staff to the storage unit, and when the food is stored, moves to the destination where the customer who ordered the food is located, thereby providing the food stored at the destination to the customer.
  • the mobile robot 1000 may receive food to be transported directly from the restaurant staff, but may also be provided with food through automated device facilities in the restaurant.
  • the mobile robot 1000 may recognize a voice such as "Serve" of the store employee through a voice recognition algorithm included in the mobile robot, and transport food according to the recognized voice of the store employee. Can start.
  • the mobile robot 1000 may include a speaker for outputting at least one audio signal, and the mobile robot 1000 prior to providing food to a customer at a destination determined according to order information. , You can provide the customer with a voice such as "You have ordered food.”
  • FIG. 2 is a flowchart illustrating a method for a mobile robot to transport an object according to an embodiment.
  • the mobile robot 1000 may check whether the first object is stored in the storage unit included in the mobile robot.
  • the mobile robot 1000 may include at least one image sensor, a weight sensor, a temperature sensor, a contact sensor, and the like in a storage unit for transporting an object, and an image sensor, a weight sensor, and the like included in the storage unit. It is possible to check whether the first object is stored in the storage unit using at least one of the temperature sensor and the contact sensor.
  • the mobile robot 1000 may identify the object using at least one of a first identification code included in the tray on which the object is mounted and a second identification code attached to the object mounted on the tray. .
  • the mobile robot 1000 may photograph an object mounted on a tray using a camera included in the storage unit, and identify the photographed object by using an object recognition learning model.
  • the object recognition learning model described herein is a neural network based learning model that is trained based on a deep learning algorithm having a deep neural network structure having multiple layers, and is a convolutional neural network (DNN).
  • DNN convolutional neural network
  • Network RNN (Recurrent Neural Network)
  • BRDNN Bidirectional Recurrent Deep Neural Network
  • the mobile robot 1000 may determine whether the received first object matches the second object included in the received order information. For example, the mobile robot 1000 may receive order information including information about an object ordered by a customer from a system or server that manages customer orders in the store, and the object included in the received order information and the received You can decide whether the objects match.
  • the mobile robot 1000 receives the order information using at least one of a user input unit and a communication unit of the mobile robot, and the first identification code and the first object of the tray on which the first object is mounted.
  • the received first object may be identified using at least one of the 2 identification codes, and it may be determined whether the identified first object matches the second object included in the received order information.
  • the mobile robot 1000 may move to the destination determined according to the order information.
  • the order information received by the mobile robot 1000 from a system or server that manages customer orders in a store includes not only information related to the object ordered by the customer, but also information about a destination where the object ordered by the customer is to be transported. can do.
  • the mobile robot 1000 may determine the destination of the received first object by using the information on the destination included in the received order information, and may move to the determined destination while the first object is received.
  • the information on the destination included in the order information may include information related to the location of the table where the customer is located.
  • the order information received by the mobile robot 1000 may include customer identification information for identifying the customer who ordered the first object, and the mobile robot 1000 may display the order information of the customer who ordered the first object.
  • the destination can be determined using the customer identification information and moved to the determined destination.
  • the customer identification information may include information about the customer's face and voice.
  • the mobile robot 1000 may provide the first object to the customer at the destination. For example, the mobile robot 1000 determines whether it has reached the destination determined according to the order information, and if it is determined that the destination has been reached, identifies the customer who ordered the first object, and assigns the first object to the identified customer. Can provide. According to an embodiment of the present invention, the mobile robot 1000 may automatically take out the tray on which the first object is mounted from the mounting groove of the receiving unit in order to provide the identified first object to the identified customer.
  • 3 is a view for explaining in detail how the mobile robot according to an embodiment checks whether the first object is stored.
  • the mobile robot 1000 may detect whether the tray on which the first object is mounted is attached to the storage unit.
  • the mobile robot 1000 may include at least one image sensor, a temperature sensor, a contact sensor, and the like in a storage unit for transporting objects, and an image sensor, a weight sensor, a temperature sensor, and the like included in the storage unit. It is possible to detect whether a tray on which the first object is mounted is attached to the storage unit using at least one of the contact sensors.
  • the mobile robot 1000 may detect the weight of the tray when the tray is attached to the storage unit.
  • the mobile robot 1000 may detect the weight of the tray on which the object is mounted using at least one weight sensor included in the storage unit.
  • the mobile robot 1000 may include a mounting groove and a mounting rail in which a tray is fixed in the storage unit, and may include at least one weight sensor in the mounting groove and the mounting rail.
  • the mobile robot 1000 may check whether the tray is attached to the storage unit and whether the first object is received using the weight of the detected tray. For example, the mobile robot 1000 is in a state in which the tray is attached to the storage unit, and the weight of the tray detected when the tray is attached to the storage unit exceeds the weight of the tray in which the object is not mounted, above a predetermined threshold. In this case, it may be determined that the first object is stored. That is, the mobile robot 1000 may previously store information on the weight of the tray on which the object is not mounted, and may compare the weight of the currently detected tray with the weight of the tray on which the previously stored object is not mounted.
  • the mobile robot 1000 may check whether the first object is received using at least one of a first identification code of a tray on which the first object is mounted and a second identification code of the first object.
  • the mobile robot 1000 may include a short-range sensor for recognizing the identification code, and may recognize the identification code of the tray or the first object through short-range communication with the identification code.
  • the second identification code of the first object may be printed or attached to the wrapping paper of the first object, and the first identification code of the tray may be included in the tray, or printed or attached to at least a portion of the outer surface of the tray Can be.
  • FIG 4 is a view for explaining the structure of the mobile robot 1000 according to an embodiment.
  • the mobile robot 1000 may be divided into an upper portion 420, a body 440, and a lower portion 460.
  • the mobile robot 1000 according to the present disclosure may include a first display 422, a second display (not shown), a third display 424, a storage unit 442, and a driving unit 462. have.
  • the first display 422 is located at the upper end of the mobile robot 1000 and may display an image related to the eye of the mobile robot.
  • the mobile robot may detect a predetermined audio signal and display an image related to the eyes having different facial expressions according to the detected audio signal.
  • the second display is located on the body 440 of the mobile robot 1000 and may display information related to the first object ordered by the customer and information for payment of the first object ordered.
  • the third display 424 may include at least one LED emitting light according to a preset light emission pattern and light emission color, and the light emission pattern and light emission color may be changed according to the operating characteristics of the mobile robot 1000.
  • the storage unit 442 may include a mounting groove 446 and a mounting rail for fixing at least one tray 444 on which an object is mounted, and a tray fixed to the mounting groove or mounting rail Objects can be stored using.
  • the mounting groove or mounting rail to which the tray is fixed may include a weight sensor for sensing the weight of the tray, a contact sensor for sensing the contact of the tray, and the mobile robot 1000 includes a weight sensor and The attachment state of the tray may be detected using at least one of the contact sensors.
  • the storage unit 442 may further include a storage cover 448 for separating the first object from the external space of the mobile robot.
  • the mobile robot 1000 may maintain the temperature of the object while transporting the object using the storage cover, or prevent foreign substances from entering the stored object.
  • the mobile robot 1000 may use a storage cover to prevent someone other than the person who ordered the first object from taking the first object.
  • the driving unit 462 may include components used for movement (operation) of the mobile robot 1000.
  • the driving unit 462 may include a motor for rotationally driving the four wheels 464 fixed to the lower portion 460, a belt for transmitting power generated by the motor to the wheels, etc., but is not limited thereto. It does not work.
  • FIG. 5 is a diagram for explaining in detail how a mobile robot moves to a destination according to an embodiment.
  • the mobile robot 1000 may detect a predetermined audio signal from the outside of the mobile robot using at least one microphone.
  • the mobile robot 1000 may receive a music signal played in a store or a music signal provided from a customer.
  • the audio signals described herein may include not only music signals but also voice signals from customers.
  • the mobile robot 1000 may extract a predetermined predetermined audio signal from the received audio signal.
  • the mobile robot 1000 may determine the driving route based on the detected predetermined audio signal.
  • the mobile robot 1000 may include a motion table in which information on a predetermined motion pattern matching a predetermined audio signal is stored, and determine a motion pattern matching the detected audio signal from the motion table,
  • the driving path may be determined using the determined motion pattern. That is, the mobile robot 1000 according to the present disclosure may determine different driving paths according to the detected audio signal.
  • the mobile robot 1000 may have a driving path including a more gentle driving curve when the audio signal associated with music having a slow rhythm and tempo is detected than when the audio signal associated with music having a fast rhythm and tempo is detected. Can decide.
  • the mobile robot 1000 may move to the destination based on the determined driving route. For example, the mobile robot 1000 may generate a map for the work space, detect at least one obstacle in the work space, and move the mobile robot using the position of the at least one obstacle detected in the generated map
  • the space may be estimated, and the driving route may be determined using the estimated movable space.
  • the mobile robot 1000 may determine the driving route based on the characteristics of the function being performed by the mobile robot. For example, when the mobile robot 1000 performs a function of guiding a customer to an empty table in a store while a predetermined audio signal is not detected, the mobile robot 1000 is to be the shortest distance to a destination (for example, where the empty table is located). The driving route can be determined. However, the mobile robot 1000 may set a path in which as few obstacles as possible are detected as a driving path for convenience of the customer when performing a function of carrying the first object in a state in which a predetermined audio signal is not detected. have. That is, the characteristics of the function of the mobile robot in the present specification may include information for classifying an operation performed by the mobile robot.
  • FIG. 6 is a diagram for explaining in detail how a mobile robot 1000 determines a driving route according to an audio signal according to an embodiment.
  • the mobile robot 1000 may determine audio characteristics from the detected audio signal. For example, the mobile robot 1000 may determine an audio characteristic including at least one of pitch, harmony, volume, tempo, rhythm, and melody from the sensed predetermined audio signal. That is, the mobile robot 1000 may determine different audio characteristics according to at least one of pitch, harmony, volume, tempo, rhythm, and melody of the detected predetermined audio signal.
  • the mobile robot 1000 may determine a motion pattern matching the determined audio characteristic from a pre-stored motion table.
  • the mobile robot 1000 may store a motion table in which motion patterns matching audio characteristics are stored in a memory.
  • the motion table disclosed in this specification may store a plurality of motion patterns matching audio characteristics, and the stored motion patterns may be classified based on a unique motion ID assigned to each motion pattern.
  • a motion pattern having a large change in the movement direction, rotation angle, and movement speed of the mobile robot 1000 eg, a zigzag path
  • the audio signal for example, ballad
  • a motion pattern for example, a gentle curve
  • the mobile robot 1000 may determine the driving route according to the determined motion pattern. For example, the mobile robot 1000 may determine the current mobile robot's location as a starting point, detect a section with a destination as an end point, and determine whether driving is possible according to the determined motion pattern in the detected section. When the mobile robot is not capable of driving according to the motion pattern determined in the detected section, the mobile robot may detect another section capable of driving the mobile robot according to the determined motion pattern.
  • the mobile robot 1000 when the traveling is not possible according to the motion pattern determined in the detected section, divides the detected section into a plurality of small sections and applies a motion pattern in the divided small section. Unable to detect sections. The mobile robot 1000 corrects the traveling path of the mobile robot in a section in which the detected motion pattern is not applicable, and the travel path of the small section in which the motion pattern is not applicable and the small section in which the motion pattern is applicable is modified. By connecting my driving route, it is possible to determine the entire driving route in the section starting from the destination and the destination. That is, the mobile robot 1000 may determine the driving path so that the driving path of the mobile robot 1000 becomes similar to the motion pattern by reflecting the path according to the motion pattern as much as possible in the movable driving path.
  • FIG. 7 is a view for explaining in detail how the mobile robot according to an embodiment modifies the driving route based on the state of the bottom surface.
  • the mobile robot 1000 may identify the state of the bottom surface on which the mobile robot moves. For example, in order to sense the state of the bottom surface of the mobile robot, the mobile robot 1000 determines at least one image sensor capable of photographing the state of the bottom surface, and the distance between the bottom surface and the lower end of the mobile robot 1000. A short-range sensor and a touch sensor that can be measured may be included, and the state of the bottom surface may be identified using at least one of the included at least one image sensor, short-range sensor, and touch sensor.
  • the mobile robot 1000 uses sensors such as photoconductive cells, photodiodes, phototransistors, charge-coupled devices (CCDs), and complementary metal-oxide semiconductors (CMOS).
  • sensors such as photoconductive cells, photodiodes, phototransistors, charge-coupled devices (CCDs), and complementary metal-oxide semiconductors (CMOS).
  • CCDs charge-coupled devices
  • CMOS complementary metal-oxide semiconductors
  • the state of the bottom surface can be identified by emitting light toward the bottom surface and receiving the reflected light received by the emitted light reflected from the bottom surface.
  • the state of the floor surface described herein may include the material of the floor surface and the presence or absence of a recessed area on the floor surface.
  • the material of the bottom surface may include roughness of the surface and hardness of the bottom surface.
  • the mobile robot can calculate the ratio between the electrical signals output from the plurality of sensors, and identify the material of the floor surface based on the calculated ratio.
  • the mobile robot 1000 may compare each of the electrical signals output from the plurality of sensors with a predetermined reference value to determine whether there is a recessed area on the bottom surface.
  • the mobile robot 1000 may correct the driving path according to the identified state of the floor surface. For example, the mobile robot 1000 may determine another driving path that can avoid the recessed bottom surface when an area in which the bottom surface is heavily recessed exists on the determined travel route. In S730, the mobile robot 1000 may move to the destination based on the modified driving path.
  • FIG. 8 is a view for explaining in detail a method of modifying a determined travel path based on information on a work space generated by a mobile robot according to an embodiment.
  • the mobile robot 1000 may generate a map of the work space of the mobile robot using at least one image sensor (CMOS or CCD) and a distance sensor (infrared sensor or laser sensor).
  • CMOS complementary metal-oxide-semiconductor
  • the mobile robot 1000 may generate a feature point map including a feature point extracted from an image obtained from an image sensor and a feature point descriptor identifying each feature point.
  • the feature point may mean a point capable of specifying a shape such as an edge or corner of an object.
  • the mobile robot 1000 may generate a map of the work space using the generated feature point map.
  • the mobile robot 1000 may detect at least one obstacle in the work space.
  • the mobile robot 1000 may detect at least one obstacle in the work space using a feature point descriptor identifying the feature points and feature points in the map for the generated work space.
  • the mobile robot 1000 may detect obstacles around the mobile robot 1000 in real time using at least one image sensor and a distance sensor, apart from the generated map.
  • the obstacles described herein may include moving obstacles whose position is variable in real time and fixed obstacles whose position is not variable in real time.
  • the mobile robot 1000 may estimate the movable space of the mobile robot using the detected location of at least one obstacle on the generated map. For example, the mobile robot 1000 detects the position of the obstacle on the generated map, determines an area corresponding to a preset radius from the detected position of the obstacle as the obstacle area, and removes the determined obstacle area from the generated map By doing so, it is possible to estimate the movable space.
  • the mobile robot 1000 may correct the driving path based on the estimated movable space, the size of the mobile robot, and the rotation angle of the mobile robot. For example, the mobile robot 1000 may determine an audio characteristic from the sensed audio signal, and determine a motion pattern corresponding to the determined audio characteristic. In addition, the mobile robot 1000 may determine the driving path using the determined motion pattern, and the determined driving path is the estimated movable space, the size of the mobile robot, the rotation angle of the mobile robot, the rotation radius of the mobile robot, and the mobile robot It can be modified based on the volume of.
  • the mobile robot may modify the driving path, while maintaining the motion pattern determined according to the audio characteristics, while correcting the movement direction, movement speed, rotation angle, and rotation radius of the mobile robot.
  • the travel path of the mobile robot may be determined as a plurality of motion profiles, and the motion profile may include a plurality of motion parameters for determining the driving characteristics of the mobile robot.
  • the motion parameters may include parameters for determining a moving speed, a moving direction, a rotating angle and a turning radius of the mobile robot.
  • the mobile robot 1000 may move to the destination based on the modified driving route.
  • FIG. 9 is a view for explaining a method for a mobile robot to transport an object according to another embodiment.
  • the mobile robot 1000 may detect an audio signal.
  • the mobile robot 1000 may include at least one microphone, and detect an audio signal from the outside of the mobile robot 1000 using the microphone.
  • the mobile robot 1000 may extract a predetermined predetermined audio signal from among the detected audio signals.
  • the mobile robot 1000 may determine whether or not a predetermined function is being performed when a predetermined audio signal is not detected. For example, the mobile robot 1000 may determine the function of the mobile robot currently being performed by using the currently determined driving path or instructions related to the operation finally performed by the processor. In S916, the mobile robot 1000 detects a person around the mobile robot 1000 and tracks the detected person when the audio signal is not detected and the function of the predetermined mobile robot 1000 is not being performed. Tracking).
  • the mobile robot 1000 may determine audio characteristics from the detected audio signal. Since the audio characteristic determined by the mobile robot 1000 in S918 may correspond to S610 in FIG. 6, a detailed description will be omitted.
  • the mobile robot 1000 may determine a functional characteristic of the function currently being performed.
  • the functional characteristics disclosed in this specification may include information on characteristics of operations performed by the mobile robot. For example, the mobile robot 1000 determines whether the current mobile robot is in the state of carrying the first object and whether it is in the state of providing the first object to the customer, and the motion pattern of the state of carrying the first object The motion pattern in a state in which the second object is provided to the customer may be differently determined.
  • the mobile robot 1000 may detect a person around the mobile robot 1000 and track the detected person when the audio signal is not detected and the preset function is not being performed.
  • the mobile robot 1000 determines a motion pattern using audio characteristics determined from the detected audio signal.
  • the mobile robot 1000 may determine a motion pattern based on the functional characteristics of the mobile robot.
  • the mobile robot 1000 may store a motion table in which motion patterns matching audio characteristics are stored in a memory.
  • the motion table disclosed herein may store a plurality of motion patterns matching audio characteristics using a unique motion ID assigned to each motion pattern.
  • the motion ID may be information for identifying motion patterns stored in a motion table.
  • the mobile robot 1000 may generate a map of the mobile robot's work space and detect obstacles from the generated map.
  • the process in which the mobile robot 1000 generates a map for the work space in S926 may correspond to S810 in FIG. 8, so a detailed description thereof will be omitted.
  • the mobile robot 1000 may detect obstacles in real time from the work space around the currently recognized mobile robot, but may also detect obstacles using feature points and feature descriptors of the generated map.
  • the mobile robot 1000 may estimate the movable space of the mobile robot using the location of at least one obstacle detected from the generated map.
  • S928 may correspond to S830 of FIG. 6, so a detailed description thereof will be omitted.
  • the mobile robot 1000 may determine motion parameters using a map generated for the work space, at least one obstacle detected in the work space, and the estimated movable space.
  • the motion parameters determined by the mobile robot 1000 are parameters for coordinates of a space in which the mobile robot can move in the section connecting the starting point and the destination of the mobile robot, the speed of the mobile robot in the movable travel path, and the mobile robot It may include parameters for the direction, the rotation angle of the mobile robot and the radius of rotation of the mobile robot.
  • the mobile robot 1000 may determine the driving route using the determined motion parameter.
  • the travel path of the mobile robot may be determined as a plurality of motion profiles, and the motion profile may include a plurality of motion parameters for determining the driving characteristics of the mobile robot.
  • the mobile robot 1000 may determine a driving route using a motion pattern determined from the motion pattern database 960 in which motion patterns are previously stored.
  • the mobile robot 1000 may determine the state of the bottom surface on which the mobile robot moves.
  • the configuration in which the mobile robot 1000 determines the state of the bottom surface in S934 may correspond to S710 in FIG. 7, so a detailed description thereof will be omitted.
  • the mobile robot 1000 may correct the driving route based on the determined state of the floor surface.
  • the mobile robot 1000 may modify the driving path by adjusting motion parameters in the motion profile.
  • the mobile robot 1000 may move to the destination based on the modified driving route.
  • FIG. 10 is a diagram illustrating an embodiment of functions that a mobile robot according to an embodiment can provide according to a detected audio signal.
  • the mobile robot 1000 determines a pre-stored motion pattern matching an audio characteristic determined from the detected audio signal when the received first object is moved to a destination, and when an audio signal related to music is detected, the determined motion
  • the driving route is determined by using the pattern, and it can be moved to the destination according to the determined driving route.
  • the mobile robot 1000 may provide a stretching guide 974 service to a customer who has ordered an object.
  • the mobile robot 1000 receives a signal for executing the stretching guide service from a customer, another mobile robot connected to the mobile robot 1000 and a mobile robot control system connected to the mobile robot 1000, Depending on the received signal, it may operate according to a preset motion pattern for stretching guides.
  • the mobile robot 1000 may repeatedly perform an operation inclining left or right or back and forth.
  • the mobile robot 1000 may provide a music therapy 976 service when a predetermined audio signal is detected. For example, the mobile robot 1000 may determine an audio characteristic from the detected audio signal, determine a motion pattern matching the determined audio characteristic, and move the user based on the determined motion pattern to make the customer feel mentally stable. .
  • the mobile robot 1000 may determine whether the destination has been reached, and provide the stored object to the identified customer when the destination has been reached.
  • the mobile robot 1000 according to the present disclosure may provide an object transport motion 978 service together with providing a stored object to a customer. For example, when providing the stored object to the customer at the determined destination, the mobile robot 1000 may rotate so that the storage portion of the mobile robot faces the customer so that the customer can easily obtain the stored object.
  • 11 is a diagram for explaining in detail how a mobile robot provides a first object to a customer at a destination according to an embodiment.
  • the mobile robot 1000 may determine whether the destination has been reached. For example, the mobile robot 1000 may determine whether the mobile robot 1000 has reached the destination based on the coordinates of the destination determined according to the order information, whether the customer is identified according to the customer identification information in the order information, or the like. have.
  • the mobile robot 1000 may output information about the received first object when the destination is reached. For example, the mobile robot 1000 outputs information related to the received first object before providing the received first object to the customer identified at the destination, so that the object ordered by the customer is confirmed to be correct. can do.
  • the information about the first object output by the mobile robot 1000 may include an image for the first object, a price for the first object, an image for another object ordered with the first object, and the like. Can.
  • the mobile robot 1000 may output information about the first object that is stored, and then rotate the direction of the mobile robot so that the storage unit faces the customer. For example, the mobile robot 1000 identifies the customer at the destination, determines the identified customer's location, determines the direction the current mobile robot is facing, and is based on the determined mobile robot's direction and the identified customer's location. The mobile robot can be rotated.
  • the mobile robot 1000 may provide the customer with the first object accommodated while the direction of the mobile robot is rotated.
  • the mobile robot 1000 is stored in the customer by rotating the mobile robot, when the storage unit faces the customer, the storage cover of the storage unit is opened, or the tray on which the object is mounted is taken out while the storage cover is opened. It is possible to provide the first object.
  • FIG. 12 is a diagram for explaining in detail a method for determining whether a mobile robot has reached a destination according to an embodiment.
  • the mobile robot 1000 may identify the customer by comparing at least one of the customer's table number and the customer's facial recognition result with the order information.
  • the order information received by the mobile robot 1000 may include customer identification information for identifying the customer and information on the table number of the customer who ordered the object, and the customer identification information includes the customer's facial image and the customer. It may include information about the voice.
  • the mobile robot 1000 may acquire a table number of the customer or a facial image of the customer around the mobile robot by photographing or sensing the surrounding of the mobile robot.
  • the mobile robot 1000 may identify the customer by comparing at least one of the obtained customer's table number and the customer's facial recognition result with the table number included in the previously received order information and information about the customer's facial image.
  • the mobile robot 1000 may determine whether the identified customer is located within a predetermined range. For example, the mobile robot 1000 may identify the customer who ordered the first object at a distance that the customer cannot reach or cannot provide the customer with the received first object. Therefore, the mobile robot 1000 does not perform the operation of providing the first object to the customer at a distance that the customer cannot reach, the mobile robot 1000 moves the identified customer even if the customer has already been identified. It may be determined whether or not the robot 1000 is located within a predetermined range. According to an embodiment, the mobile robot 1000 may determine a distance between the customer and the mobile robot using at least one image sensor, an ultrasonic sensor, and a distance sensor, and the determined distance between the customer and the mobile robot is preset You can decide whether you are mine.
  • the mobile robot 1000 may determine that the destination has been reached when the identified customer is within a predetermined range. That is, the mobile robot 1000 identifies the customer in the vicinity of the destination determined according to the order information, and finally determines that the destination has been reached when the identified customer is within a predetermined range from the mobile robot, and stores The first object can be provided to the customer.
  • FIG. 13 is a view for explaining a method for a mobile robot to transport a first object according to another embodiment.
  • the mobile robot 1000 may check whether the first object is received. S1310 may correspond to S210 of FIG. 2, so a detailed description thereof will be omitted. In S1320, the mobile robot 1000 may determine whether the received first object matches the second object included in the received order information. Since S1320 may correspond to S220 of FIG. 2, detailed description will be omitted.
  • the mobile robot 1000 may move to the destination determined according to the order information. Since S1330 may correspond to S230 of FIG. 2, detailed description will be omitted.
  • the mobile robot 1000 may provide the first object stored in the destination to the customer. Since S1340 may correspond to S240 of FIG. 2, detailed description will be omitted.
  • the mobile robot 1000 may provide the received first object to the customer, and then receive an additional order related to the provided first object. For example, since a customer using a store often wants to order an additional object related to the first object ordered, the mobile robot 1000 may execute an operation for accepting an additional order related to the received first object. .
  • the mobile robot 1000 may provide a payment service for the received additional order. For example, if a customer in a store is assigned a table and is already sitting, and if it is necessary to move to a counter in the store to make a new payment, the mobile robot 1000 may be added in the place where the customer is located. Payment services for orders can be provided.
  • FIG. 14 is a diagram for describing a method in which a mobile robot transports a first object according to an embodiment.
  • the mobile robot 1000 may store the object to be transported from the store employee or the object management system in the store.
  • the mobile robot 1000 may transport the object to a destination determined according to the order information received in advance, while the object is stored.
  • the mobile robot 1000 may output an effect sound through a speaker when moving, or provide a preset motion graphic through the display of the mobile robot 1000 to move the object.
  • the mobile robot 1000 may output information about the stored object when the destination determined according to the order information is reached. Since S1430 may correspond to S1120 of FIG. 11, detailed description will be omitted.
  • the mobile robot 1000 may rotate the direction of the mobile robot so that the storage unit faces the customer, before providing the stored object to the customer. S1440 may correspond to S1140 in FIG. 11, so a detailed description thereof will be omitted.
  • the mobile robot 1000 may output information about the stored object before providing the stored object to the customer. Since S1450 may correspond to S1120 of FIG. 11, detailed description will be omitted.
  • the operation in which the mobile robot 1000 according to the present disclosure outputs information about the first object accommodated and the operation of rotating the direction of the mobile robot such that the storage unit faces the customer may be performed by changing the operation sequence, if necessary. have.
  • the mobile robot 1000 may provide the received first object to the customer, and then receive an additional order related to the first object.
  • S1460 may correspond to S1350 of FIG. 13, so a detailed description thereof will be omitted.
  • the mobile robot 1000 may provide a payment service for additional orders received.
  • the mobile robot 1000 may display a location for tagging the mobile pay on the display screen when the payment service for the additional order received is processed by the mobile pay, and the user input to tag on the display screen Payment service can be completed by receiving.
  • the mobile robot 1000 may output a payment completion notification when the payment service for the received additional order is completed. For example, when the payment for the additional order received is completed, the mobile robot 1000 may output a voice such as "Payed" through the speaker.
  • 15 is a view for explaining in time series the operation of the mobile robot according to an embodiment carrying the first object.
  • the voice interaction and display screen contents output through the speaker or display of the mobile robot 1000 are as follows.
  • the mobile robot 1000 may receive a signal for turning on the power (ON), and receive power from a power supply unit in the mobile robot using the received signal.
  • a blank screen 1561 may be displayed on the display of the mobile robot while the mobile robot 1000 is receiving power or the power is turned off.
  • the mobile robot 1000 may wait to receive order information.
  • the mobile robot 1000 may display a standby motion indicating the standby state on the display screen.
  • the mobile robot 1000 may receive order information, receive the object, and move to a destination determined according to the order information. While moving to the determined destination, the mobile robot 1000 may display a moving motion indicating a table order number and a moving state according to order information on a display screen.
  • the mobile robot 1000 may provide the stored object to the identified customer.
  • the mobile robot 1000 may provide the customer with information about the stored object. For example, the mobile robot 1000 may output a voice of "MR,XXX, sandwich and coffee ordered" through the speaker.
  • the temperature of the object included in the storage unit is measured using at least one temperature sensor included in the storage unit, If the measured temperature is higher than the preset temperature, a voice such as "Coffee temperature is a little high, be careful because it is hot" can be output through the speaker.
  • the mobile robot 1000 may display an image related to the stored object on the display screen in providing the stored object. For example, if it is determined that the destination has been reached, the mobile robot 1000 may display the Americano and Onion bagel images together with text information such as Americano 1 and Onion Bagel 1 on the display screen.
  • the mobile robot 1000 may provide the stored object to the customer, and then receive an additional order from the customer.
  • the mobile robot 1000 may receive an additional order related to the stored object, but may also receive an additional order not related to the stored object.
  • the mobile robot 1000 provides an object to the customer, then outputs a voice such as "Do you want a dessert menu?" through a speaker, or displays a text image such as "Do you want a dessert menu?" on the display screen. Can be output to
  • the mobile robot 1000 may display information on the recommended menu on the display screen together with providing an additional order acceptance service.
  • the mobile robot 1000 may provide a recommendation menu for an additional order, and receive a user input for selecting at least one of the provided recommendation menus. For example, the mobile robot 1000 may receive a user voice input such as “I'll order one cheesecake??” from among the recommended menus provided. The mobile robot 1000 may display an image related to the cheesecake on the screen when a user voice input for selecting the cheesecake is received.
  • a user voice input such as “I'll order one cheesecake??” from among the recommended menus provided.
  • the mobile robot 1000 may display an image related to the cheesecake on the screen when a user voice input for selecting the cheesecake is received.
  • the mobile robot 1000 may provide a payment service for the selected menu when a user input for selecting at least one of the recommended menus is received.
  • a payment service using mobile payment when the mobile robot 1000 performs a payment service using mobile payment, it outputs a voice such as "Please pay by tagging the phone” through the speaker or "Please pay by tagging the phone” and The same text image can be output through the display screen.
  • the mobile robot 1000 outputs a voice such as "Thank you.” through the speaker or text image such as "Thank you.” It can be output through the display screen.
  • the mobile robot 1000 may provide various user interfaces in performing a method of transporting an object, and features of the provided user interface are as follows. For example, in S1561 and S1562, the mobile robot 1000 may provide motion graphics 1591 and 1592 as a user interface through a display screen, and in S1563 and S1564, the mobile robot 1000 may provide guidance phrase motion graphics. (1593) can be provided on the display screen.
  • the mobile robot 1000 may provide a motion graphic 1595 for receiving an additional order on the display screen, and in S1566, the mobile robot 1000 is a user who selects at least one of the recommended menus. When input is received, a motion graphic 1596 for displaying the selected menu may be displayed on the display screen. In S1567, the mobile robot 100 may provide the payment tag motion 1597 as a user interface on the display screen to provide a payment service for the additional order received.
  • 16 is a diagram illustrating a method for a mobile robot to guide a destination or recommend a product according to another embodiment.
  • the mobile robot 1000 may perform a method of transporting an object, but may also perform a function of destination guidance 1660 and product recommendation 1670.
  • the mobile robot 1000 receives a voice input from a customer, such as "Where is the Samsung Mobile Store?", inquiring about a specific store location, such as "Samsung Mobile Store", and reaches the "Samsung Mobile Store”
  • the guide route is decided and the customer can be guided to the Samsung mobile store according to the determined guide route.
  • the mobile robot 1000 arrives at the Samsung mobile store, it can output a voice such as "I have arrived at the Samsung mobile store" through the speaker.
  • the mobile robot 1000 may perform a product recommendation method.
  • the mobile robot 1000 may identify a product worn by the customer by photographing a product worn by the customer using a camera, and provide recommended accessories related to the identified product.
  • the mobile robot 1000 identifies the product code of the customer's electronic watch by photographing the electronic watch worn by the customer located at a predetermined distance from the camera of the mobile robot, and uses the identified product code to electronically After searching the recommended straps that can be assembled on the watch by color, you can output a voice such as "Your Galaxy Watch has various strap colors" through the speaker.
  • the mobile robot 1000 may receive a response from the customer responding to the voice output through the speaker, and provide related information based on the received response on the display screen. For example, when the mobile robot 1000 receives a voice input such as "Show me once" from the customer, based on the identified product code, the mobile robot 1000 may provide information regarding the strap compatible with the electronic watch worn by the customer. It can be provided on a display screen.
  • 17 is a diagram for explaining in detail a method for recommending a product by a mobile robot according to an embodiment.
  • the mobile robot according to the present disclosure may perform a method of transporting an object, but may also perform a function of destination guidance 1660 and product recommendation 1670.
  • the image displayed on the display screen of the mobile robot is as follows. For example, when the mobile robot 1000 performs the destination guide 1660 function, when the “Samsung Mobile Store” is a destination, the mobile robot 1000 is a basic guide screen 1760, associated with the Samsung mobile store. The image can be displayed on the display.
  • the mobile robot 1000 identifies the product code of the customer's electronic watch by photographing the electronic watch worn by the customer located at a predetermined distance from the camera of the mobile robot, and the customer recognized by using the identified product code An image 1770 related to the worn product of the product may be displayed on a screen on the display.
  • the mobile robot 1000 searches for recommended straps that can be assembled on an electronic watch by color, and displays the recognized customer's worn products on the screen on the display. You can output the voice like "through the speaker.
  • the mobile robot 1000 when receiving a voice input such as "Show me once" from the customer, displays information on the strap compatible with the electronic watch worn by the customer based on the identified product code. Can be displayed (1780). According to an embodiment of the present disclosure, the mobile robot 1000 provides information on a strap compatible with an electronic watch worn by a customer on a display screen, and voices such as "silver, blue, and gray colors are cool in addition to black" Can be output through the speaker.
  • the mobile robot 1000 in addition to a method of transporting an object, when performing a destination guide 1660 and a product recommendation 1670 function, change the domain of the display screen or change the layout in the display screen
  • 18 is a view for explaining the function of the light emitting unit in the mobile robot associated with the operation of the mobile robot according to an embodiment.
  • the mobile robot 1000 may include a light emitting unit that emits light according to a preset light emission pattern and light emission color, and the light emission pattern and light emission color indicate the movement of the mobile robot 1000 to the destination and the first object.
  • Each operation provided to the customer may be different.
  • the emission color according to the present disclosure may include an RGB color 1864, and the emission pattern may include information on a period and a maintenance time for a light source included in the light emitting unit to blink.
  • the light emitting unit according to the present disclosure may include at least one LED as at least a light source, and the LEDs in the light emitting unit may be located in the light emitting unit in at least two or more rows.
  • the light emitting unit of the mobile robot 1000 may be located in the third display 424 described above in FIG. 4 or may be located in the storage unit 442.
  • the operation of the mobile robot 1000 according to the present disclosure may be largely classified into a driving-related (1860) operation and a storage-related (1880) operation.
  • the light emitting part of the mobile robot may be blinked smoothly at intervals of 2 seconds in (250, 168, 0) RGB color, but is not limited thereto. It is not.
  • the time for the light emitting unit to reach the maximum output in the OFF state may be set to about 1 second, but is not limited thereto.
  • the light emitting unit may emit light in RGB colors (249, 46, 54).
  • the mobile robot 1000 in the stop mode, the entire LED in the light emitting portion is gradually brightened for 1 second, and then maintained at 1 second at the maximum output, may enter the OFF state, but is not limited thereto.
  • the light emitting unit when the mobile robot 1000 rotates in the right direction, the light emitting unit emits light in RGB colors (255, 218, 98), and a plurality of LED lines in the light emitting unit turn from right to left. Can light up continuously.
  • the light emitting unit when the mobile robot 1000 rotates in the left direction, the light emitting unit emits light in RGB colors (255, 218, 98), and a plurality of LED lines in the light emitting unit turn from left to right. Can light up continuously.
  • the light emitting part of the mobile robot 1000 is located in the storage part of the mobile robot, so that while receiving food, the light emitting color is (0, 0, 0) from RGB color to (255, 246, 212) RGB color. In addition to converting to, it may be bright for 0.5 seconds from the OFF state to the maximum output, but is not limited thereto.
  • the light emitting part of the mobile robot 1000 is located in the storage part of the mobile robot, so that while providing food, the color of the light emitted from (255, 246, 212) RGB color to (0, 0, 0) RGB In addition to the color conversion, it may be darkened for 0.5 second in the OFF state at the maximum output, but is not limited thereto.
  • 19 is a view for explaining in detail a communication method of a mobile robot according to an embodiment.
  • the mobile robot 1000 may include a first display in which an image related to the eye of the mobile robot is displayed, and a second display in which an image related to the function of the mobile robot or an image related to the received first object is displayed. have.
  • the mobile robot 1000 according to the present disclosure may display an expression of the mobile robot using an image related to the eye displayed on the first display at the upper end.
  • the first display of the upper part of the mobile robot 1000 and the second display of the body portion of the mobile robot may be operated by different applications.
  • the first display of the upper portion of the mobile robot may be operated by the Android application 1960
  • the second display of the mobile robot body portion may be operated by the window application 1970.
  • the upper portion including the first display of the mobile robot 1000 and the body portion including the second display may transmit and receive bidirectional information asynchronously.
  • the upper portion of the mobile robot 1000 includes a UDP client (UDP Client, 1962) and a UDP server (UDP Server, 1960)
  • the body portion of the mobile robot 1000 is a UDP client (UDP Client, 1972) and a UDP server (UDP). Server, 1972).
  • the body unit may include a separate short-range communication unit 1976 for short-range communication.
  • the mobile robot 1000 may transmit information related to content to be displayed on the second display through Socket UDP 1 (1950) connecting the UDP Client (1962) at the upper end and the UDP Server (1972) at the body. That is, the mobile robot 1000 may change the content on the second display of the body unit when the mobile robot moves, the facial expression of the mobile robot changes, and a preset event occurs according to the functional characteristics of the mobile robot. 2 Information for changing content on the display may be transmitted unidirectionally through Socket UDP 1 (1950) connecting the UDP Client (1962) at the top and the UDP Server (1972) at the body.
  • the mobile robot 1000 occurs when NFC tagging on the second display (for example, when a payment service is performed for an ordered object) occurs, when a touch input of a user touching a part of the second display is received
  • NFC tagging on the second display for example, when a payment service is performed for an ordered object
  • a touch input of a user touching a part of the second display is received
  • the content on the first display of the upper part can be changed, and information for changing the content on the first display is the UDP Client (1974) of the body part and the UDP of the upper part. It can be transmitted in one direction through Socket UDP 2 (1950) connecting the server (1960).
  • the mobile robot 1000 may include a processor for controlling the first display of the upper portion and the second display of the body portion, respectively, in the upper portion and the body portion. That is, the mobile robot according to the present disclosure includes a UDP client (UDP Client, 1962) and a UDP server (UDP Server, 1960) at the upper end, and a UDP client (UDP Client, 1972) and a UDP server ( UDP Server, 1972), it is possible to stably perform the function of a mobile robot by transmitting information generating events in both directions asynchronously. Further, according to an embodiment, information transmitted and received between the upper and lower parts of the mobile robot may be configured with a 1Byte (Char) command, but is not limited thereto.
  • Char 1Byte
  • 20 is a block diagram of a mobile robot according to an embodiment.
  • the mobile robot 1000 includes an input unit 1100, an output unit 1200, a processor 1300, a memory 1400, a sensing unit 1500, a camera 1600, a communication interface 1700, A driving unit 1800 and a storage unit 1900 may be included.
  • the mobile robot 1000 may be implemented by more components than the illustrated components, and the mobile robot 1000 may also be implemented by fewer components.
  • a power supply (not shown) may be further included in addition to the configuration shown in FIG. 20. Let's look at each configuration in turn.
  • the input unit 1100 means a means for a user to input data for controlling the mobile robot 1000.
  • a key pad, a dome switch, and a touch pad are included in the input unit 1100.
  • Measurement method, piezo effect method, etc.) a jog wheel, a jog switch, and a microphone, but are not limited thereto.
  • the input unit 1100 receives a user voice input for selecting at least one of the additional order menus provided by the mobile robot 1000 to the customer through the speaker, and receives the received user voice input from the processor 13000 ).
  • the input unit 1100 receives a user touch input for selecting one of the additional order menus provided to the customer through the display screen by the mobile robot 1000 and processes the received user touch input. (1300).
  • the microphone of the mobile robot receives an external sound signal and processes it as electrical voice data.
  • the microphone may receive an audio signal external to the mobile robot and a user's voice input.
  • the microphone can use various noise reduction algorithms to remove noise generated in the process of receiving an external audio signal.
  • the output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit, an audio output unit, and a vibration motor.
  • the display unit includes a screen for displaying and outputting information processed by the mobile robot 1000.
  • the display unit may include a first display, a second display, and a third display.
  • the first display 422 is located at the upper end of the mobile robot 1000 and may display an image related to the eye of the mobile robot.
  • the second display is located on the body 440 of the mobile robot 1000 and may display information related to the first object ordered by the customer and information for payment of the first object ordered.
  • the third display 424 may include at least one LED emitting light according to a preset light emission pattern and light emission color, and the light emission pattern and light emission color may be changed according to the operating characteristics of the mobile robot 1000.
  • the sound output unit may include at least one speaker.
  • the audio output unit outputs audio data received from the communication interface 1700 or stored in the memory 1400.
  • the sound output unit outputs sound signals related to functions (for example, call signal reception sound, message reception sound, and notification sound) performed by the mobile robot 1000.
  • the memory 1400 may store a program for processing and control of the processor 1300, and may store data input to or output from the mobile robot 1000.
  • the memory 1400 uses the motion ID assigned to each of the motion patterns and information on the driving route determined by the mobile robot 1000 to learn motion patterns matching the audio characteristics, the motion pattern database, and the floor surface. You can store more databases.
  • the memory 1400 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.).
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory It may include at least one type of storage medium among magnetic disks and optical disks.
  • Programs stored in the memory 1400 may be classified into a plurality of modules according to their functions, for example, a UI module, a touch screen module, a notification module, a driving module, and an object storage module.
  • the UI module may provide specialized UIs, GUIs, etc. that are linked to the mobile robot 1000 for each application.
  • the touch screen module may detect a touch gesture on the user's touch screen and transmit information regarding the touch gesture to the processor 1300.
  • the touch screen module according to some embodiments may recognize and analyze a touch code.
  • the touch screen module may be configured with separate hardware including a controller.
  • the notification module may generate a signal for notifying the occurrence of an event of the mobile robot 1000. Examples of events generated by the mobile robot 1000 include call signal reception, message reception, key signal input, schedule notification, payment completion notification, and object transport completion notification.
  • the notification module may output a notification signal in the form of a video signal through the display unit, may output a notification signal in the form of an audio signal through the sound output unit, or may output a notification signal in the form of a vibration signal through a vibration motor.
  • the sensing unit 1500 may detect a state of the mobile robot 1000 or a state around the mobile robot 1000 and transmit the sensed information to the processor 1300.
  • the sensing unit 1500 generates some of specification information of the mobile robot 1000, status information of the mobile robot 1000, surrounding environment information of the mobile robot 1000, user status information, and user device usage history information. Can be used.
  • the sensing unit 1500 includes a magnetic sensor, an acceleration sensor, a temperature/humidity sensor, an infrared sensor, a gyroscope sensor, a position sensor (eg, GPS), an air pressure sensor, a proximity sensor, a weight sensor, and RGB sensor (illuminance sensor), may include at least one of a short-range sensor, a touch sensor, but is not limited thereto.
  • a magnetic sensor an acceleration sensor, a temperature/humidity sensor, an infrared sensor, a gyroscope sensor, a position sensor (eg, GPS), an air pressure sensor, a proximity sensor, a weight sensor, and RGB sensor (illuminance sensor)
  • the camera 1600 may photograph the surroundings of the mobile robot 1000.
  • the camera 1600 may photograph the surroundings or the bottom of the mobile robot 1000 in real time while the mobile robot 1000 is cleaning.
  • the communication interface 1700 may include one or more communication modules for communication with the server 2000 and external devices.
  • the communication interface 1700 may include a short-range communication unit and a mobile communication unit.
  • Short-range wireless communication unit short-range wireless communication unit
  • Bluetooth communication unit BLE (Bluetooth Low Energy) communication unit
  • short-range wireless communication unit Near Field Communication unit
  • WLAN Wi-Fi
  • Zigbee Zigbee
  • infrared IrDA, infrared) Data Association
  • WTF WFD (Wi-Fi Direct) communication unit
  • UWB ultra wideband communication unit
  • Ant+ communication unit and the like, but are not limited thereto.
  • the mobile communication unit transmits and receives a radio signal to and from at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call signal, or a text/multimedia message.
  • the driving unit 1800 may include at least one driving wheel for moving the mobile robot 1000.
  • the driving unit 1800 may include a driving motor connected to the driving wheel to rotate the driving wheel.
  • the driving wheel may include left and right wheels respectively provided on the left and right sides of the main body of the robot cleaning device.
  • the left wheel and the right wheel may be driven by a single driving motor, but a left wheel driving motor for driving the left wheel and a right wheel driving motor for driving the right wheel may be provided, if necessary.
  • the driving direction of the mobile robot 1000 may be switched to the left or right side by making a difference in the rotational speeds of the left and right wheels.
  • the storage unit 1900 may store an object to be transported.
  • the storage unit 1900 according to the present disclosure may be linked to the sensing unit 1500.
  • a weight sensor, a temperature sensor, a contact sensor, and a short-range sensor included in the sensing unit 1500 are located in the storage unit 1900 and used to detect the attachment state of the tray on which the object is mounted, Can be used to identify objects. Since the storage unit 1900 may correspond to the storage unit 442 of FIG. 4, detailed description will be omitted.
  • 21 is a view for explaining a method for a mobile robot to transport a first object using a server according to an embodiment.
  • the mobile robot 1000 may perform a method of transporting an object by using the server 2000.
  • the mobile robot 1000 may check whether the first object is received from a system for managing an employee or an object in the store. Since S2110 may correspond to S210 of FIG. 2, detailed description will be omitted.
  • the server 2000 may receive order information from a system that manages objects in the store.
  • the mobile robot 1000 may transmit information confirming that the first object has been received to the server 2000.
  • the server 2000 may receive the storage confirmation information from the mobile robot 1000, and when the storage confirmation is completed, order information may be transmitted to the mobile robot 1000.
  • the order information may be transmitted from the server 2000 to the mobile robot 1000 through a preset communication channel.
  • the mobile robot 1000 may compare the second object included in the order information received from the server 2000 and the identified first object. In S2117, the mobile robot 1000 may determine whether it is matched by comparing the second object included in the order information received from the server 2000 and the first object stored in the storage unit.
  • the mobile robot 1000 may transmit information on the determined matching result to the server 2000 based on the result of comparing the first object stored in the storage unit with the second object included in the order information.
  • the mobile robot 1000 may move to the destination determined according to the order information when the received first object matches the second object included in the received order information.
  • the mobile robot 1000 may determine whether the destination determined according to the order information is reached, and when the destination is reached, the destination arrival completion notification may be transmitted to the server 2000.
  • the mobile robot 1000 may identify the customer at the destination and provide the identified first object to the customer. In S2121, the mobile robot 1000 may transmit the received first object to the server 2000 after providing the received first object to the customer.
  • the server 2000 may transmit payment-related information to the mobile robot 1000.
  • payment related information may be transmitted from the server 2000 to the mobile robot 1000 through a preset communication channel.
  • the mobile robot 1000 may provide a payment service to the customer by using payment related information received from the server 2000.
  • the mobile robot 1000 may transmit a payment completion notification to the server 2000.
  • a process of comparing whether an object stored in the mobile robot 1000 and an object included in the order information are matched may be performed on the server 2000.
  • 22 is a block diagram of a server 2000 according to an embodiment.
  • the server 2000 may include a communication unit 2100, a database (Data Base, 2200 ), and a processor 2300.
  • the communication unit 2100 may include one or more components that enable communication with the mobile robot 1000.
  • the communication unit 2100 receives information regarding object storage confirmation information, whether objects stored in the storage unit and objects included in the order information match, object provision completion notification, and payment completion notification from the mobile robot 1000. can do.
  • the communication unit 21000 may transmit order information and payment related information to the mobile robot 1000.
  • the DB 2200 may store order information received from a system for managing an in-store employee or an in-store object, payment related information for the ordered object, and customer identification information of the customer who ordered the object. Also, the database 2200 may further store images related to the ordered object and information on other objects related to the ordered object.
  • the processor 2300 typically controls the overall operation of the server 2000.
  • the processor 2300 may overall control the DB 2200 and the communication unit 2100 by executing programs stored in the DB 2200 of the server 2000.
  • the processor 2300 may perform some of the operations of the mobile robot 1000 in FIGS. 1 to 21 by executing programs stored in the DB 2200.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • the “part” may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 개시는 객체를 운반하는 이동 로봇 및 이동 로봇이 객체를 운반하는 방법에 관한 것이다. 구체적으로, 이동 로봇이 객체를 운반하는 방법에 있어서, 상기 이동 로봇에 포함된 수납부에 제1 객체가 수납되었는지 여부를 확인하는 동작; 상기 수납된 제1 객체가 미리 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정하는 동작; 상기 수납된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는 경우, 상기 주문 정보에 따라 결정된 목적지로 이동하는 동작; 및 상기 주문 정보에 따라 결정된 목적지에서 상기 제1 객체를 고객에게 제공하는 동작; 을 포함하는 방법이 개시된다.

Description

이동 로봇 및 그의 동작 방법
본 개시는 작업 공간 내에서 스스로 주행 가능한 이동 로봇 및 그의 동작 방법에 관련된 것이다. 구체적으로, 본 개시는 객체를 운반하는 이동 로봇 및 그의 동작 방법에 관한 것이다.
스스로 주행 가능한 이동 로봇은 자율 이동 로봇(AMR:Autonomous Mobile Robot)이라는 이름으로, 산업 분야 및 유통 분야에서 많이 사용되고 있다. 예를 들어, 공장 내에서 사용되는 로봇은 미리 설정된 반복 작업을 수행하거나, 무거운 물체를 운반함으로써 제품 생산성을 향상 시킬 수 있으며, 물류 창고 내에서 사용되는 로봇은 복수의 아이템으로 이루어진 상품 패키지들을 주소 정보에 따라 스스로 정리할 수 있다.
자율 이동 로봇은 복수의 센서들을 이용하여 이동을 위한 작업 공간을 인식할 수 있고, 인식된 작업 공간 내에서 스스로 주행 경로를 결정하며, 결정된 주행 경로에 따라 스스로 이동할 수 있다. 따라서, 이동 로봇이 주행 중 장애물에 부딪히거나, 주행 중인 다른 로봇과의 충돌을 방지하기 위한 기술개발이 활발히 이루어지고 있다.
최근, 자율 이동 로봇의 자율 주행 기능에 더하여, 고객을 원하는 목적지로 안내하는 기능, 대상 물건을 운반하는 기능을 추가함으로써 자율 이동 로봇을 백화점이나 소매점에서 사용하기 위한 시도가 이루어지고 있고, 자율 이동 로봇의 활용 가능성을 고려할 때 그 전망은 밝은 편이다.
하지만, 현재 소매점 등에서 구현된 자율 이동 로봇은 고객의 문의에 대한 답변을 제공하는 등과 같이 한정적인 기능만을 제공할 뿐이며, 각 매장 별로 고객에게 필요한 기능을 충분히 제공하지 못하는 문제점이 있다. 또한, 현재의 자율 이동 로봇은 기능적인 부분에 집중 할 뿐, 사용자와의 인터랙션에 있어서 사용자의 감정 또는 감성을 충분히 반영하지 못하는 문제점이 있다.
일 실시 예에 따르면, 객체를 운반하는 이동 로봇이 제공될 수 있다.
또한, 일 실시 예에 의하면, 주문 정보에 따라 결정되는 목적지로, 스스로 주행 가능한 이동 로봇이 제공될 수 있다.
일 실시 예에 의하면, 이동 로봇에 포함된 수납부에 제1 객체가 수납되었는지 여부를 확인하는 동작; 상기 수납된 제1 객체가 미리 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정하는 동작; 상기 수납된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는 경우, 상기 주문 정보에 따라 결정된 목적지로 이동하는 동작; 및 상기 주문 정보에 따라 결정된 목적지에서 상기 제1 객체를 고객에게 제공하는 동작; 을 포함하는 이동 로봇이 객체를 운반하는 방법이 제공될 수 있다.
일 실시 예에 의하면, 상기 제1 객체가 수납되었는지 여부를 확인하는 동작은 상기 제1 객체가 거치되는 트레이가 상기 수납부에 부착되었는지 여부를 감지하는 동작; 상기 트레이가 부착된 경우, 상기 트레이의 무게를 감지하는 동작; 및 상기 트레이가 상기 수납부에 부착되었는지 여부 및 상기 트레이의 무게를 이용하여 상기 제1 객체가 수납되었는지 여부를 확인하는 동작; 을 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 수납된 제1 객체가 상기 주문 정보에 포함된 상기 제2 객체와 매칭되는지 여부를 결정하는 동작은 상기 이동 로봇의 사용자 입력부 및 상기 이동 로봇의 통신부 중 적어도 하나를 이용하여 상기 주문 정보를 수신하는 동작; 상기 제1 객체가 거치되는 상기 트레이의 제1 식별 코드 및 상기 제1 객체에 포함된 제2 식별 코드 중 적어도 하나를 이용하여 상기 수납된 제1 객체를 식별하는 동작; 및 상기 식별된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정하는 동작; 을 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 결정된 목적지로 이동하는 동작은 상기 이동 로봇의 외부로부터 소정의 오디오 신호를 감지하는 동작; 상기 오디오 신호가 감지되면, 상기 감지된 오디오 신호에 기초하여 상기 이동 로봇의 주행 경로를 결정하는 동작; 및 상기 결정된 주행 경로에 기초하여 상기 결정된 목적지로 이동하는 동작; 을 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 결정된 목적지로 이동하는 동작은 상기 소정의 오디오 신호가 감지되지 않는 경우, 상기 이동 로봇이 수행 중인 기능의 특성에 기초하여, 상기 주행 경로를 결정하는 동작; 을 더 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 주행 경로를 결정하는 동작은 상기 감지된 소정의 오디오 신호로부터 피치, 하모니, 음량, 템포, 리듬 및 멜로디 중 적어도 하나를 포함하는 오디오 특성을 결정하는 동작; 상기 결정된 오디오 특성과 매칭되는 모션 패턴을 기 저장된 모션 테이블로부터 결정하는 동작; 및 상기 결정된 모션 패턴을 이용하여 상기 주행경로를 결정하는 동작; 을 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 목적지로 이동하는 동작은 상기 이동 로봇이 이동하는 바닥면의 상태를 식별하는 동작; 상기 식별된 바닥면 상태에 따라 상기 결정된 주행 경로를 수정하는 동작; 및 상기 수정된 주행 경로에 기초하여 상기 목적지로 이동하는 동작; 을 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 목적지로 이동하는 동작은 상기 이동 로봇의 작업 공간에 대한 지도를 생성하는 동작; 상기 작업 공간 내 적어도 하나의 장애물을 검출하는 동작; 상기 생성된 지도에서, 상기 검출된 적어도 하나의 장애물의 위치를 이용하여 상기 이동 로봇의 이동 가능 공간을 추정하는 동작; 상기 추정된 이동 가능 공간, 상기 이동 로봇의 크기 및 상기 이동 로봇의 회전 각도에 기초하여 상기 주행 경로를 수정하는 동작; 및 상기 수정된 주행 경로에 기초하여 상기 목적지로 이동하는 동작; 을 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 제1 객체를 상기 고객에게 제공하는 동작은 상기 목적지에 도달하였는지 여부를 결정하는 동작; 상기 이동 로봇이 상기 목적지에 도달하면, 상기 수납된 제1 객체에 관한 정보를 출력하는 동작; 및 상기 수납된 제1 객체에 관한 정보를 출력 후, 상기 제1 객체를 상기 고객에게 제공하는 동작; 을 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 제1 객체를 고객에게 제공하는 동작은 상기 수납부가 상기 고객을 향하도록 상기 이동 로봇의 방향을 회전하는 동작; 및 상기 이동 로봇의 방향이 회전된 상태에서 상기 객체를 상기 고객에게 제공하는 동작; 을 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 목적지에 도달하였는지 여부를 결정하는 동작은 상기 고객의 테이블 번호 및 상기 고객의 안면 인식 결과 중 적어도 하나를 상기 주문 정보와 비교함으로써 상기 고객을 식별하는 동작; 상기 식별된 고객이 기 설정된 범위 내에 위치하는지 여부를 결정하는 동작; 및 상기 식별된 고객이 기 설정된 범위 내에 위치하는 경우, 상기 목적지에 도달한 것으로 결정하는 동작; 을 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 방법은 상기 제1 객체가 상기 고객에게 제공되면, 상기 제공된 제1 객체와 관련되는 추가 주문을 접수하는 동작; 및 상기 접수된 추가 주문에 대한 결제 서비스를 제공하는 동작; 을 더 포함할 수 있다.
또한, 일 실시 예에 의하면, 상기 이동 로봇은 기 설정된 발광 패턴 및 발광 색상에 따라 발광하는 발광부를 포함하고, 상기 발광 패턴 및 상기 발광 색상은, 상기 목적지로 이동하는 동작 및 상기 제1 객체를 상기 고객에게 제공하는 동작 마다 서로 달라질 수 있다.
또한, 상기 기술적 과제를 해결하기 위한 본 개시의 또 다른 실시 예에 의하면, 객체를 운반하는 이동 로봇은 통신 인터페이스; 상기 객체를 수납하기 위한 수납부; 상기 이동 로봇의 이동을 제어하는 구동부; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행함으로써 상기 이동 로봇을 제어하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 수납부에 제1 객체가 수납되었는지 여부를 확인하고, 상기 수납된 제1 객체가 미리 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정하고, 상기 수납된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는 경우, 상기 주문 정보에 따라 결정된 목적지로 이동하도록 상기 구동부를 제어하고, 상기 주문 정보에 따라 결정된 목적지에서 상기 제1 객체를 고객에게 제공하도록 상기 수납부를 제어하는, 객체를 운반하는 이동 로봇이 제공될 수 있다.
또한, 일 실시 예에 의하면, 상기 프로세서는, 상기 제1 객체가 거치되는 트레이가 상기 수납부에 부착되었는지 여부를 감지하고, 상기 트레이가 부착된 경우, 상기 트레이의 무게를 감지하고, 상기 감지된 트레이가 상기 수납부에 부착되었는지 여부 및 상기 트레이의 무게를 이용하여 상기 제1 객체가 수납되었는지 여부를 확인할 수 있다.
또한, 일 실시 예에 의하면, 상기 프로세서는, 상기 이동 로봇의 사용자 입력부 및 상기 이동 로봇의 통신부 중 적어도 하나를 이용하여 상기 주문 정보를 수신하고, 상기 제1 객체가 거치되는 상기 트레이의 제1 식별 코드 및 상기 제1 객체에 포함된 제2 식별 코드 중 적어도 하나를 이용하여 상기 수납된 제1 객체를 식별하고, 상기 식별된 제1 객체가 상기 수신된 주문 정보에 포함된 상기 제2 객체와 매칭되는지 여부를 결정할 수 있다.
또한, 일 실시 예에 의하면, 상기 프로세서는, 상기 이동 로봇의 외부로부터 소정의 오디오 신호를 감지하고, 상기 오디오 신호가 감지되면, 상기 감지된 오디오 신호에 기초하여 상기 이동 로봇의 주행 경로를 결정하고, 상기 결정된 주행 경로에 기초하여 상기 결정된 목적지로 이동할 수 있다.
또한, 일 실시 예에 의하면, 상기 프로세서는, 상기 소정의 오디오 신호가 감지되지 않는 경우, 상기 이동 로봇이 수행 중인 기능의 특성에 기초하여 상기 주행 경로를 결정할 수 있다.
또한, 일 실시 예에 의하면, 상기 프로세서는, 상기 감지된 소정의 오디오 신호로부터 피치, 하모니, 음량, 템포, 리듬 및 멜로디 중 적어도 하나를 포함하는 오디오 특성을 결정하고, 상기 결정된 오디오 특성과 매칭되는 모션 패턴을 기 저장된 모션 테이블로부터 결정하고, 상기 결정된 모션 패턴을 이용하여 상기 주행 경로를 결정할 수 있다.
또한, 상기 기술적 과제를 해결하기 위한 본 개시의 또 다른 실시 예에 따라, 이동 로봇에 포함된 수납부에 제1 객체가 수납되었는지 여부를 확인하는 동작; 상기 수납된 제1 객체가 미리 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정하는 동작; 상기 수납된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는 경우, 상기 주문 정보에 따라 결정된 목적지로 이동하는 동작; 및 상기 주문 정보에 따라 결정된 목적지에서 상기 제1 객체를 고객에게 제공하는 동작을 수행하도록 하는 명령어들을 포함하는, 컴퓨터 프로그램이 제공될 수 있다.
본 개시에 따른 이동 로봇 및 그의 동작 방법에 따르면, 매장 별로 고객에게 필요한 기능이 제공될 수 있다. 또한, 본 개시에 따른 이동 로봇 및 그의 동작 방법에 따르면 사용자의 감정이 반영된 응답이 제공될 수 있다.
도 1은 일 실시 예에 따른, 이동 로봇이 매장 내에서 객체를 운반하는 방법을 개략적으로 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 이동 로봇이 객체를 운반하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시 예에 따른 이동 로봇이 제1 객체가 수납되었는지 여부를 확인하는 방법을 세부적으로 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 이동 로봇의 구조를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 이동 로봇이 목적지로 이동하는 방법을 세부적으로 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 이동 로봇이 오디오 신호에 따라 주행 경로를 결정하는 방법을 세부적으로 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 이동 로봇이 바닥면의 상태에 기초하여 주행 경로를 수정하는 방법을 세부적으로 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 이동 로봇이 생성한 작업 공간에 대한 정보에 기초하여 결정된 주행 경로를 수정하는 방법을 세부적으로 설명하기 위한 도면이다.
도 9는 또 다른 실시 예에 따른 이동 로봇이 객체를 운반하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 이동 로봇이 감지된 오디오 신호에 따라 제공할 수 있는 기능들의 실시 예를 나타내는 도면이다.
도 11은 일 실시 예에 따른 이동 로봇이 목적지에서 제1 객체를 고객에게 제공하는 방법을 세부적으로 설명하기 위한 도면이다.
도 12는 일 실시 예에 따른 이동 로봇이 목적지에 도달하였는지 여부를 결정하는 방법을 세부적으로 설명하기 위한 도면이다.
도 13은 또 다른 실시 예에 따른 이동 로봇이 제1 객체를 운반하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시 예에 따른 이동 로봇이 제1 객체를 운반하는 방법을 설명하기 위한 도면이다.
도 15는 일 실시 예에 따른 이동 로봇이 제1 객체를 운반하는 동작을 시계열적으로 설명하기 위한 도면이다.
도 16은 또 다른 실시 예에 따른 이동 로봇이 목적지를 안내하거나 제품을 추천하기 위한 방법을 설명하기 위한 도면이다.
도 17은 일 실시 예에 따른 이동 로봇이 제품을 추천하기 위한 방법을 세부적으로 설명하기 위한 도면이다.
도 18은 일 실시 예에 따른 이동 로봇의 동작과 연계되는 이동 로봇 내 발광부의 기능을 설명하기 위한 도면이다.
도 19는 일 실시 예에 따른 이동 로봇의 통신 방법을 세부적으로 설명하기 위한 도면이다.
도 20은 일 실시 예에 따른 이동 로봇의 블록도를 나타내는 도면이다.
도 21은 일 실시 예에 따른 이동 로봇이 서버를 이용하여 제1 객체를 운반하는 방법을 설명하기 위한 도면이다.
도 22는 일 실시 예에 따른 서버의 블록도를 나타내는 도면이다.
일 실시 예에 의하면, 이동 로봇에 포함된 수납부에 제1 객체가 수납되었는지 여부를 확인하는 동작; 상기 수납된 제1 객체가 미리 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정하는 동작; 상기 수납된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는 경우, 상기 주문 정보에 따라 결정된 목적지로 이동하는 동작; 및 상기 주문 정보에 따라 결정된 목적지에서 상기 제1 객체를 고객에게 제공하는 동작; 을 포함하는, 이동 로봇이 객체를 운반하는 방법이 제공될 수 있다.
또한, 일 실시 예에 의하면, 객체를 운반하는 이동 로봇에 있어서, 통신 인터페이스; 상기 객체를 수납하기 위한 수납부; 상기 이동 로봇의 이동을 제어하는 구동부; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행함으로써 상기 이동 로봇을 제어하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 수납부에 제1 객체가 수납되었는지 여부를 확인하고, 상기 수납된 제1 객체가 미리 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정하고, 상기 수납된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는 경우, 상기 주문 정보에 따라 결정된 목적지로 이동하도록 상기 구동부를 제어하고, 상기 주문 정보에 따라 결정된 목적지에서 상기 제1 객체를 고객에게 제공하도록 상기 수납부를 제어하는, 객체를 운반하는 이동 로봇이 제공될 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시 예에 따른, 이동 로봇(1000)이 매장 내에서 객체를 운반하는 방법을 개략적으로 설명하기 위한 도면이다.
본 개시에 따른 이동 로봇(1000)은 적어도 하나의 객체를 수납하기 위한 수납부를 포함하고, 이동 로봇 내 수납부를 이용하여 객체를 목적지까지 이동할 수 있다. 예를 들어, 이동 로봇(1000)은 이동 로봇에 포함된 수납부에 제1 객체를 수납하고, 제1 객체를 수납한 상태에서 목적지까지 이동할 수 있다.
도 1을 참조하여, 이동 로봇(1000)이 음식점에서 객체를 운반하는 경우를 실시 예로 설명하기로 한다. 이동 로봇(1000)은 음식점 직원으로부터 제공되는 음식을 수납부에 수납하고, 음식이 수납된 상태에서, 수납된 음식을 주문한 고객이 위치하는 목적지로 이동함으로써, 목적지에서 수납된 음식을 고객에게 제공할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 운반 대상이 되는 음식을 음식점 직원으로부터 직접 제공받을 수도 있지만, 음식점 내 자동화된 기기 설비를 통하여 음식을 제공 받을 수도 있다.
일 실시 예에 의하면, 이동 로봇(1000)은 이동 로봇 내에 포함된 음성 인식 알고리즘을 통하여, 매장 직원의 "서빙해줘"와 같은 음성을 인식할 수 있고, 인식된 매장 직원의 음성에 따라 음식의 운반을 시작할 수 있다. 또 다른 실시 예에 의하면, 이동 로봇(1000)은 적어도 하나의 오디오 신호를 출력하기 위한 스피커를 포함할 수 있고, 이동 로봇(1000)은 주문 정보에 따라 결정된 목적지에서 고객에게 음식을 제공하기에 앞서, "주문 하신 음식 나왔습니다"와 같은 음성을 고객에게 제공할 수 있다.
도 2는 일 실시 예에 따른 이동 로봇이 객체를 운반하는 방법을 설명하기 위한 흐름도이다.
S210에서, 이동 로봇(1000)은 이동 로봇에 포함된 수납부에 제1 객체가 수납되었는지 여부를 확인할 수 있다. 예를 들어, 이동 로봇(1000)은 객체를 운반하기 위한 수납부 내에 적어도 하나의 이미지 센서, 무게 센서, 온도 센서 및 접촉 센서 등을 포함할 수 있고, 수납부 내에 포함된 이미지 센서, 무게 센서, 온도 센서 및 접촉 센서 중 적어도 하나를 이용하여 제1 객체가 수납부에 수납되었는지 여부를 확인할 수 있다.
일 실시 예에 의하면, 이동 로봇(1000)은 객체가 거치되는 트레이에 포함된 제1 식별 코드 및 트레이 상에 거치되는 객체에 부착된 제2 식별 코드 중 적어도 하나를 이용하여 객체를 식별할 수도 있다. 또 다른 실시 예에 의하면, 이동 로봇(1000)은 수납부 내에 포함된 카메라를 이용하여 트레이 상 거치되는 객체를 촬영하고, 객체 인식 학습 모델을 이용함으로써 촬영된 객체를 식별할 수도 있다. 본 명세서에서 기술되는 객체 인식 학습 모델은 여러 계층을 가진 깊은 신경망(Neural Network) 구조를 가지는 딥러닝 알고리즘에 기초하여 학습되는 신경망 기반 학습 모델로써, 합성곱 신경망(Convolutional Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)을 포함할 수 있으나, 이에 한정되지 않는다.
S220에서, 이동 로봇(1000)은 수납된 제1 객체가 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정할 수 있다. 예를 들어, 이동 로봇(1000)은 매장 내 고객 주문을 관리하는 시스템 또는 서버로부터 고객이 주문한 객체에 대한 정보를 포함하는 주문 정보를 수신할 수 있고, 수신된 주문 정보에 포함된 객체와 수납된 객체가 매칭되는지 여부를 결정할 수 있다.
또 다른 실시 예에 의하면, 이동 로봇(1000)은 사용자 입력부 및 이동 로봇의 통신부 중 적어도 하나를 이용하여 주문 정보를 수신하고, 제1 객체가 거치되는 트레이의 제1 식별 코드 및 제1 객체의 제2 식별 코드 중 적어도 하나를 이용하여 수납된 제1 객체를 식별하며, 식별된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정할 수 있다.
S230에서, 이동 로봇(1000)은 주문 정보에 따라 결정된 목적지로 이동할 수 있다. 예를 들어, 이동 로봇(1000)이 매장 내 고객 주문을 관리하는 시스템 또는 서버로부터 수신하는 주문 정보는 고객이 주문한 객체와 관련된 정보뿐만이 아니라, 고객이 주문한 객체가 운반될 목적지에 대한 정보를 더 포함할 수 있다. 이동 로봇(1000)은 수신된 주문 정보에 포함된 목적지에 대한 정보를 이용하여 수납된 제1 객체의 목적지를 결정하고, 제1 객체가 수납된 상태에서, 결정된 목적지로 이동할 수 있다.
일 실시 예에 의하면, 주문 정보에 포함된 목적지에 대한 정보는 고객이 위치하는 테이블의 위치와 관련된 정보를 포함할 수 있다. 또 다른 실시 예에 의하면, 이동 로봇(1000)이 수신하는 주문 정보는 제1 객체를 주문한 고객을 식별하기 위한 고객 식별 정보를 포함할 수 있고, 이동 로봇(1000)은 제1 객체를 주문한 고객의 고객 식별 정보를 이용하여 목적지를 결정하고, 결정된 목적지로 이동할 수 있다. 고객 식별 정보는 고객의 안면 및 음성에 대한 정보를 포함할 수 있다.
S240에서, 이동 로봇(1000)은 목적지에서 제1 객체를 고객에게 제공할 수 있다. 예를 들어, 이동 로봇(1000)은 주문 정보에 따라 결정된 목적지로 도달하였는지 여부를 결정하고, 목적지에 도달하였다고 결정되는 경우, 제1 객체를 주문한 고객을 식별하고, 식별된 고객에게 제1 객체를 제공할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 수납된 제1 객체를 식별된 고객에게 제공하기 위하여, 제1 객체가 거치된 트레이를 수납부의 거치 홈으로부터 자동으로 반출되게 할 수 있다.
도 3은 일 실시 예에 따른 이동 로봇이 제1 객체가 수납되었는지 여부를 확인하는 방법을 세부적으로 설명하기 위한 도면이다.
S310에서, 이동 로봇(1000)은 제1 객체가 거치되는 트레이가 수납부에 부착되었는지 여부를 감지할 수 있다. 예를 들어, 이동 로봇(1000)은 객체를 운반하기 위한 수납부 내에 적어도 하나의 이미지 센서, 온도 센서 및 접촉 센서 등을 포함할 수 있고, 수납부 내에 포함된 이미지 센서, 무게 센서, 온도 센서 및 접촉 센서 중 적어도 하나를 이용하여 제1 객체가 거치되는 트레이가 수납부에 부착되었는지 여부를 감지할 수 있다.
S320에서, 이동 로봇(1000)은 트레이가 수납부에 부착된 경우, 트레이의 무게를 감지할 수 있다. 예를 들어, 이동 로봇(1000)은 수납부 내에 포함된 적어도 하나의 무게 센서를 이용하여 객체가 거치된 트레이의 무게를 감지할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 수납부 내에 트레이가 고정되는 거치 홈 및 거치 레일을 포함할 수 있고, 거치 홈 및 거치 레일에 적어도 하나의 무게 센서를 포함할 수도 있다.
S330에서, 이동 로봇(1000)은 트레이가 수납부에 부착되었는지 여부 및 감지된 트레이의 무게를 이용하여 제1 객체가 수납되었는지 여부를 확인할 수 있다. 예를 들어, 이동 로봇(1000)은 트레이가 수납부에 부착된 상태이고, 트레이가 수납부에 부착된 상태에서 감지되는 트레이의 무게가 객체가 거치되지 않은 트레이의 무게를 기 설정된 임계치 이상 초과하는 경우, 제1 객체가 수납된 것으로 결정할 수 있다. 즉, 이동 로봇(1000)은 객체가 거치되지 않은 트레이의 무게에 대한 정보를 미리 저장할 수 있고, 현재 감지되는 트레이의 무게와 미리 저장된 객체가 거치되지 않은 트레이의 무게를 비교할 수 있다.
또 다른 실시 예에 의하면, 이동 로봇(1000)은 제1 객체가 거치되는 트레이의 제1 식별 코드 및 제1 객체의 제2 식별 코드 중 적어도 하나를 이용하여 제1 객체가 수납되었는지 여부를 확인할 수도 있다. 예를 들어, 이동 로봇(1000)은 식별 코드를 인식하기 위한 근거리 센서등을 포함할 수 있고, 식별 코드와의 근거리 통신을 통하여 트레이 또는 제1 객체의 식별 코드를 인식할 수 있다. 일 실시 예에 의하면, 제1 객체의 제2 식별 코드는 제1 객체의 포장지에 인쇄 또는 부착될 수 있으며, 트레이의 제1 식별 코드는 트레이 내에 포함되거나, 트레이의 겉면의 적어도 일부에 인쇄 또는 부착될 수 있다.
도 4는 일 실시 예에 따른 이동 로봇(1000)의 구조를 설명하기 위한 도면이다.
일 실시 예에 의하면, 이동 로봇(1000)은 상단부(420), 바디(440) 및 하단부(460)로 구분될 수 있다. 예를 들어, 본 개시에 따른 이동 로봇(1000)은 제1 디스플레이(422), 제2 디스플레이(미도시), 제3 디스플레이(424), 수납부(442) 및 구동부(462)를 포함할 수 있다.
예를 들어, 제1 디스플레이(422)는 이동 로봇(1000)의 상단부에 위치하고, 이동 로봇의 눈과 관련된 이미지를 표시할 수 있다. 일 실시 예에 의하면, 이동 로봇은 소정의 오디오 신호를 감지하고, 감지된 오디오 신호에 따라 서로 다른 표정을 나타내는 눈과 관련된 이미지를 표시할 수 있다. 제2 디스플레이는 이동 로봇(1000)의 바디(440)부분에 위치하고, 고객이 주문한 제1 객체와 관련된 정보 및 주문한 제1 객체의 결제를 위한 정보 등을 표시할 수 있다. 제3 디스플레이(424)는 기 설정된 발광 패턴 및 발광 색상에 따라 발광하는 적어도 하나의 LED를 포함할 수 있고, 발광 패턴 및 발광 색상은 이동 로봇(1000)의 동작 특성에 따라 달라질 수 있다.
일 실시 예에 의하면, 수납부(442)는 객체가 거치되는 적어도 하나의 트레이(444)를 고정하기 위한 거치 홈(446) 및 거치 레일을 포함할 수 있고, 거치 홈 또는 거치 레일에 고정된 트레이를 이용하여 객체를 수납할 수 있다. 일 실시 예에 의하면, 트레이가 고정되는 거치 홈 내지 거치 레일 은 트레이의 무게를 감지하기 위한 무게 센서, 트레이의 접촉을 감지하기 위한 접촉 센서를 포함할 수 있고, 이동 로봇(1000)은 무게 센서 및 접촉 센서 중 적어도 하나를 이용하여 트레이의 부착 상태를 감지할 수 있다.
일 실시 예에 의하면, 수납부(442)는 제1 객체를 이동 로봇의 외부 공간과 분리하기 위한 수납 커버(448)를 더 포함할 수 있다. 이동 로봇(1000)은 수납 커버를 이용하여 객체를 운반하는 동안 객체의 온도를 유지하거나, 수납된 객체에 이물질들이 유입되는 것을 방지할 수 있다. 또한, 이동 로봇(1000)은 수납 커버를 이용하여 제1 객체를 주문한 사람이 아닌 다른 사람이 제1 객체를 가져가는 것을 방지할 수 있다.
구동부(462)는 이동 로봇(1000)의 이동(운행)에 이용되는 구성들을 포함할 수 있다. 예를 들어, 구동부(462)는 하단부(460)에 고정되는 4개의 바퀴(464)를 각각 회전 구동 시키는 모터, 모터에서 발생되는 동력을 바퀴로 전달하기 위한 벨트등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 5는 일 실시 예에 따른 이동 로봇이 목적지로 이동하는 방법을 세부적으로 설명하기 위한 도면이다.
S510에서, 이동 로봇(1000)은 적어도 하나의 마이크로폰을 이용하여, 이동 로봇의 외부로부터 소정의 오디오 신호를 감지할 수 있다. 예를 들어, 이동 로봇(1000)은 매장 내에서 재생되는 음악 신호 또는 고객으로부터 제공되는 음악 신호를 수신할 수 있다. 본 명세서에서 기술되는 오디오 신호는 음악 신호뿐만 아니라 고객의 음성 신호를 포함할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 수신된 오디오 신호로부터, 기 설정된 소정의 오디오 신호를 추출할 수도 있다.
S520에서, 이동 로봇(1000)은 감지된 소정의 오디오 신호에 기초하여 주행 경로를 결정할 수 있다. 예를 들어, 이동 로봇(1000)은 소정의 오디오 신호와 매칭되는 소정의 모션 패턴에 대한 정보가 저장된 모션 테이블을 포함할 수 있고, 감지된 오디오 신호와 매칭되는 모션 패턴을 모션 테이블로부터 결정하고, 결정된 모션 패턴을 이용하여 주행 경로를 결정할 수 있다. 즉, 본 개시에 따른 이동 로봇(1000)은 감지되는 오디오 신호에 따라 서로 다른 주행 경로를 결정할 수 있다. 구체적으로, 이동 로봇(1000)은 리듬 및 템포가 빠른 음악과 관련된 오디오 신호가 감지되는 경우보다 리듬 및 템포가 느린 음악과 관련된 오디오 신호가 감지되는 경우, 더 완만한 주행 곡선을 포함하는 주행 경로를 결정할 수 있다.
S530에서, 이동 로봇(1000)은 결정된 주행 경로에 기초하여 목적지로 이동할 수 있다. 예를 들어, 이동 로봇(1000)은 작업 공간에 대한 지도를 생성하고, 작업 공간 내 적어도 하나의 장애물을 검출하며, 생성된 지도에서 검출된 적어도 하나의 장애물의 위치를 이용하여 이동 로봇의 이동 가능 공간을 추정하고, 추정된 이동 가능 공간을 이용하여 주행 경로를 결정할 수 있다.
또 다른 실시 예에 의하면, 이동 로봇(1000)은 소정의 오디오 신호가 감지되지 않는 경우, 이동 로봇이 수행중인 기능의 특성에 기초하여 주행 경로를 결정할 수 있다. 예를 들어, 이동 로봇(1000)은 소정의 오디오 신호가 감지되지 않는 상태에서, 매장 내 빈 테이블로 고객을 안내하는 기능을 수행하는 경우, 목적지까지(예컨대 빈 테이블이 있는 위치) 최단 거리가 되도록 주행 경로를 결정할 수 있다. 하지만, 이동 로봇(1000)은 소정의 오디오 신호가 감지되지 않는 상태에서, 제1 객체를 운반하는 기능을 수행하는 경우, 고객의 편의를 위해, 장애물이 최대한 적게 검출되는 경로를 주행 경로로 설정할 수 있다. 즉 본 명세서에서 이동 로봇의 기능의 특성은 이동 로봇이 수행하는 동작을 분류하기 위한 정보를 포함할 수 있다.
도 6은 일 실시 예에 따른 이동 로봇(1000)이 오디오 신호에 따라 주행 경로를 결정하는 방법을 세부적으로 설명하기 위한 도면이다.
S610에서, 이동 로봇(1000)은 감지된 오디오 신호로부터 오디오 특성을 결정할 수 있다. 예를 들어, 이동 로봇(1000)은 감지된 소정의 오디오 신호로부터 피치, 하모니, 음량, 템포, 리듬 및 멜로디 중 적어도 하나를 포함하는 오디오 특성을 결정할 수 있다. 즉, 이동 로봇(1000)은 감지된 소정의 오디오 신호의 피치, 하모니, 음량, 템포, 리듬 및 멜로디 중 적어도 하나에 따라 서로 다른 오디오 특성을 결정할 수 있다.
S620에서, 이동 로봇(1000)은 결정된 오디오 특성과 매칭되는 모션 패턴을 기 저장된 모션 테이블로부터 결정할 수 있다. 예를 들어, 이동 로봇(1000)은 오디오 특성과 매칭되는 모션 패턴들이 저장된 모션 테이블을 메모리에 저장할 수 있다. 본 명세서에서 개시되는 모션 테이블은 오디오 특성에 매칭되는 복수의 모션 패턴들을 저장할 수 있고, 저장된 모션 패턴들은 각각의 모션 패턴들에 할당된 고유의 모션 ID에 기초하여 구분될 수 있다.
일 실시 예에 의하면, 이동 로봇(1000)은 경쾌한 음악과 관련된 오디오 신호가 감지되는 경우, 이동 로봇(1000)의 이동 방향, 회전 각도 및 이동 속도의 변화가 큰 모션 패턴(예컨대, 지그 재그 경로)을 결정할 수 있지만, 리듬 및 템포가 느린 음악과 관련된 오디오 신호(예컨대 발라드)가 감지되는 경우, 이동 로봇(1000)의 이동 방향, 회전 각도 및 이동 속도의 변화가 작은 모션 패턴(예컨대 완만한 곡선)을 결정할 수 있다.
S630에서, 이동 로봇(1000)은 결정된 모션 패턴에 따라 주행 경로를 결정할 수 있다. 예를 들어, 이동 로봇(1000)은 현재 이동 로봇의 위치를 출발 지점으로 하고, 목적지를 종점으로 하는 구간을 검출하고, 검출된 구간에서 결정된 모션 패턴에 따라 주행이 가능한지 여부를 결정할 수 있다. 이동 로봇은 검출된 구간에서 결정된 모션 패턴에 따라 주행이 가능하지 않은 경우, 결정된 모션 패턴에 따라 이동 로봇의 주행이 가능한, 다른 구간을 검출할 수 있다.
또 다른 실시 예에 의하면, 이동 로봇(1000)은 검출된 구간에서 결정된 모션 패턴에 따라 주행이 가능하지 않은 경우, 검출된 구간을 복수의 소 구간으로 분할하고, 분할된 소 구간에서 모션 패턴이 적용될 수 없는 구간을 검출할 수 있다. 이동 로봇(1000)은 검출된 모션 패턴이 적용될 수 없는 구간 내 이동 로봇의 주행 경로를 수정하고, 주행 경로가 수정된, 모션 패턴이 적용될 수 없는 소 구간의 주행 경로와 모션 패턴이 적용 가능한 소 구간 내 주행 경로를 연결함으로써, 출발 지점과 목적지를 종점으로 하는 구간 내 전체 주행 경로를 결정할 수 있다. 즉, 이동 로봇(1000)은 이동 가능한 주행 경로 내, 최대한 모션 패턴에 따른 경로를 반영함으로써, 이동 로봇(1000)의 주행 경로가 모션 패턴과 유사해지도록 주행 경로를 결정할 수 있다.
도 7은 일 실시 예에 따른 이동 로봇이 바닥면의 상태에 기초하여 주행 경로를 수정하는 방법을 세부적으로 설명하기 위한 도면이다.
S710에서, 이동 로봇(1000)은 이동 로봇이 이동하는 바닥면의 상태를 식별할 수 있다. 예를 들어, 이동 로봇(1000)은 이동 로봇의 바닥면의 상태를 센싱하기 위해, 바닥면의 상태를 촬영할 수 있는 적어도 하나의 이미지 센서, 바닥면과 이동 로봇(1000)의 하단부와의 거리를 측정할 수 있는 근거리 센서 및 접촉 센서 등을 포함할 수 있고, 포함된 적어도 하나의 이미지 센서, 근거리 센서 및 접촉 센서 중 적어도 하나를 이용하여 바닥면의 상태를 식별할 수 있다.
또 다른 실시 예에 의하면 이동 로봇(1000)은 광도전 셀, 포토 다이오드, 포토 트랜지스터, 전하 결합 소자(CCD, Charge-Coupled Device) 및 씨모스(CMOS, complementary metal-oxide semiconductor)와 같은 센서를 이용하여 바닥면을 향하여 광을 방출하고, 방출된 광이 바닥면으로부터 반사되어 수신되는 반사 광을 수신함으로써 바닥면의 상태를 식별할 수 있다. 본 명세서에서 기술되는 바닥면의 상태는 바닥면의 재질 및 바닥면 상의 함몰 구역의 존재 여부를 포함할 수 있다.
예를 들어, 바닥면의 재질은 표면의 거칠기 및 바닥면의 경도등을 포함할 수 있다. 또한, 이동 로봇은 복수의 센서로부터 출력되는 전기적 신호 사이의 비율을 연산하고, 연산된 비율을 기초로 바닥면의 재질을 식별할 수 있다. 또한, 이동 로봇(1000)은 복수의 센서에서 출력된 전기적 신호 각각을 소정의 기준 값과 비교하여 바닥면에 함몰된 구역이 존재하는지 여부를 결정할 수 있다.
S720에서, 이동 로봇(1000)은 식별된 바닥면의 상태에 따라 주행 경로를 수정할 수 있다. 예를 들어, 이동 로봇(1000)은 결정된 주행 경로 상 바닥면이 심하게 함몰된 구역이 존재하는 경우, 함몰된 바닥면을 피할 수 있는, 다른 주행 경로를 결정할 수 있다. S730에서, 이동 로봇(1000)은 수정된 주행 경로에 기초하여 목적지로 이동할 수 있다.
도 8은 일 실시 예에 따른 이동 로봇이 생성한 작업 공간에 대한 정보에 기초하여 결정된 주행 경로를 수정하는 방법을 세부적으로 설명하기 위한 도면이다.
S810에서, 이동 로봇(1000)은 적어도 하나의 영상 센서(CMOS 또는 CCD) 및 거리 센서(적외선 센서 또는 레이저 센서)를 이용하여 이동로봇의 작업 공간에 대한 지도를 생성할 수 있다. 예를 들어, 이동 로봇(1000)은 영상 센서로부터 획득되는 영상으로부터 추출된 특징점 및 각 특징점을 식별하는 특징점 기술자를 포함하는 특징점 지도를 생성할 수 있다. 여기서 특징점은 사물의 모서리 또는 코너와 같이 형상을 특정할 수 있는 점을 의미할 수 있다. 이동 로봇(1000)은 생성된 특징점 지도를 이용하여 작업 공간에 대한 지도를 생성할 수 있다.
S820에서, 이동 로봇(1000)은 작업 공간 내 적어도 하나의 장애물을 검출할 수 있다. 예를 들어, 이동 로봇(1000)은 생성된 작업 공간에 대한 지도 내의 특징점 및 특징점을 식별하는 특징점 기술자를 이용하여 작업 공간 내 적어도 하나의 장애물을 검출할 수 있다. 또 다른 실시 예에 의하면, 이동 로봇(1000)은 생성된 지도와는 별도로, 적어도 하나의 영상 센서 및 거리 센서를 이용하여 실시 간으로 이동 로봇(1000) 주변의 장애물을 검출할 수 있다. 본 명세서에서 기술되는 장애물은 실시간으로 위치가 가변 되는 이동 장애물 및 실시간으로 위치가 가변 되지 않는 고정 장애물을 포함할 수 있다.
S830에서, 이동 로봇(1000)은 생성된 지도에서, 검출된 적어도 하나의 장애물의 위치를 이용하여 이동 로봇의 이동 가능 공간을 추정할 수 있다. 예를 들어, 이동 로봇(1000)은 생성된 지도에서 장애물의 위치를 검출하고, 검출된 장애물의 위치로부터 기 설정된 반경에 해당하는 영역을 장애물 영역으로 결정하며, 결정된 장애물 영역을 생성된 지도 에서 제거함으로써 이동 가능 공간을 추정할 수 있다.
S840에서, 이동 로봇(1000)은 추정된 이동 가능 공간, 이동 로봇의 크기 및 이동 로봇의 회전 각도에 기초하여 주행 경로를 수정할 수 있다. 예를 들어, 이동 로봇(1000)은 감지된 오디오 신호로부터 오디오 특성을 결정하고, 결정된 오디오 특성에 대응되는 모션 패턴을 결정할 수 있다. 또한, 이동 로봇(1000)은 결정된 모션 패턴을 이용하여 주행 경로를 결정할 수 있는데, 결정된 주행 경로는 추정된 이동 가능 공간, 이동 로봇의 크기, 이동 로봇의 회전 각도, 이동 로봇의 회전 반경 및 이동 로봇의 부피에 기초하여 수정될 수 있다.
본 명세서에서 이동 로봇이 주행 경로를 수정하는 것은, 오디오 특성에 따라 결정된 모션 패턴은 그대로 유지하면서, 이동 로봇의 이동 방향, 이동 속도, 회전 각도, 회전 반경 등을 수정하는 것일 수 있다. 또 다른 실시 예에 따르면, 이동 로봇의 주행 경로는 복수의 모션 프로파일로써 결정될 수 있고, 모션 프로파일은 이동 로봇의 주행 특성을 결정하기 위한 복수의 모션 파라미터를 포함할 수 있다. 일 실시 예에 의하면, 모션 파라미터들은 이동 로봇의 이동 속도, 이동 방향, 회전 각도 및 회전 반경을 결정하기 위한 파라미터들을 포함할 수 있다. S850에서, 이동 로봇(1000)은 수정된 주행 경로에 기초하여 목적지로 이동할 수 있다.
도 9는 또 다른 실시 예에 따른 이동 로봇이 객체를 운반하는 방법을 설명하기 위한 도면이다.
S912에서, 이동 로봇(1000)은 오디오 신호를 감지할 수 있다. 예를 들어, 이동 로봇(1000)은 적어도 하나의 마이크로 폰을 포함하고, 마이크로 폰을 이용하여 이동 로봇(1000)의 외부로부터 오디오 신호를 감지할 수 있다. 또한, 이동 로봇(1000)은 감지된 오디오 신호 중, 미리 설정된 소정의 오디오 신호를 추출할 수 있다.
S914에서, 이동 로봇(1000)은 소정의 오디오 신호가 감지되지 않는 경우, 미리 설정된 기능을 수행하고 있는 상태인지 여부를 결정할 수 있다. 예를 들어, 이동 로봇(1000)은 현재 결정된 주행 경로 또는 프로세서에 의해 최종적으로 수행된 동작과 관련된 인스트럭션들을 이용하여 현재 수행중인 이동 로봇의 기능을 결정할 수 있다. S916에서, 이동 로봇(1000)은 오디오 신호가 감지되지 않고, 소정의 이동 로봇(1000)의 기능을 수행 중이지 않은 경우, 이동 로봇(1000) 주변의 사람을 검출하고, 검출된 사람을 추적(Tracking)할 수 있다.
S918에서, 이동 로봇(1000)은 감지된 오디오 신호로부터 오디오 특성을 결정할 수 있다. S918에서 이동 로봇(1000)이 결정하는 오디오 특성은 도 6의 S610에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
S920에서, 이동 로봇(1000)은 이동 로봇이 현재 기능을 수행하고 있는 상태로 결정되는 경우, 현재 수행중인 기능의 기능 특성을 결정할 수 있다. 본 명세서에서 개시되는 기능 특성은 이동 로봇이 수행하는 동작들의 특성에 대한 정보를 포함할 수 있다. 예를 들어, 이동 로봇(1000)은 현재 이동 로봇이 제1 객체를 운반하는 상태인지 여부 및 제1 객체를 고객에게 제공하는 상태인지 여부를 결정하고, 제1 객체를 운반하는 상태의 모션 패턴과 제2 객체를 고객에게 제공하는 상태의 모션 패턴을 다르게 결정할 수 있다.
S922에서, 이동 로봇(1000)은 오디오 신호가 감지되지 않고, 기 설정된 기능을 수행하고 있지 않은 상태인 경우, 이동 로봇(1000)의 주변의 사람을 검출하고, 검출된 사람을 추적할 수 있다.
S924에서, 이동 로봇(1000)은 감지된 오디오 신호로부터 결정된 오디오 특성을 이용하여 모션 패턴을 결정한다. 일 실시 예에 의하면, 이동 로봇(1000)은 오디오 신호가 감지되지 않는 경우, 이동 로봇의 기능 특성에 기초하여 모션 패턴을 결정할 수 있다. 이동 로봇(1000)은 오디오 특성과 매칭되는 모션 패턴들이 저장된 모션 테이블을 메모리에 저장할 수 있다. 본 명세서에서 개시되는 모션 테이블은 오디오 특성에 매칭되는 복수의 모션 패턴들을 각각의 모션 패턴들에 할당된 고유의 모션 ID를 이용하여 저장할 수 있다. 본 명세서에서 모션 ID는 모션 테이블에 저장된 모션 패턴들을 식별하기 위한 정보일 수 있다.
S926에서, 이동 로봇(1000)은 이동 로봇의 작업 공간에 대한 지도를 생성하고, 생성된 지도로부터 장애물을 검출할 수 있다. S926에서 이동 로봇(1000)이 작업 공간에 대한 지도를 생성하는 과정은 도 8의 S810에 대응될 수 있으므로, 구체적인 설명은 생략하기로 한다. 이동 로봇(1000)은 현재 인식되는 이동 로봇 주변의 작업 공간으로부터 실시간으로 장애물을 검출할 수도 있지만, 생성된 지도의 특징점 및 특징점 기술자를 이용하여 장애물을 검출할 수도 있다.
S928에서, 이동 로봇(1000)은 생성된 지도에서 검출된 적어도 하나의 장애물의 위치를 이용하여 이동 로봇의 이동 가능 공간을 추정할 수 있다. S928은 도 6의 S830에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
S930에서, 이동 로봇(1000)은 작업 공간에 대해 생성된 지도, 작업 공간 내에서 검출된 적어도 하나의 장애물 및 추정된 이동 가능 공간을 이용하여 모션 파라미터를 결정할 수 있다. 본 명세서에서 이동 로봇(1000)이 결정하는 모션 파라미터는 이동 로봇의 출발지점과 목적지를 연결하는 구간에서 이동 로봇이 이동 가능한 공간의 좌표에 대한 파라미터, 이동 가능한 주행 경로에서 이동 로봇의 속도, 이동 로봇의 방향, 이동 로봇의 회전 각도 및 이동 로봇의 회전 반경에 대한 파라미터를 포함할 수 있다.
S932에서, 이동 로봇(1000)은 결정된 모션 파라미터를 이용하여 주행 경로를 결정할 수 있다. 본 명세서, 이동 로봇의 주행 경로는 복수의 모션 프로파일로써 결정될 수 있고, 모션 프로파일은 이동 로봇의 주행 특성을 결정하기 위한 복수의 모션 파라미터를 포함할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 모션 패턴들이 미리 저장되는 모션 패턴 데이터베이스(960)로부터 결정된 모션 패턴을 이용하여 주행 경로를 결정할 수 있다.
S934에서, 이동 로봇(1000)은 이동 로봇이 이동하는 바닥면의 상태를 결정할 수 있다. S934에서 이동 로봇(1000)이 바닥면의 상태를 결정하는 구성은 도 7의 S710에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
S936에서, 이동 로봇(1000)은 결정된 바닥면의 상태에 기초하여 주행 경로를 수정할 수 있다. 본 명세서에서 이동 로봇(1000)은 모션 프로파일 내 모션 파라미터를 조정함으로써 주행 경로를 수정할 수 있다. S938에서, 이동 로봇(1000)은 수정된 주행 경로에 기초하여, 목적지로 이동할 수 있다.
도 10은 일 실시 예에 따른 이동 로봇이 감지된 오디오 신호에 따라 제공할 수 있는 기능들의 실시 예를 나타내는 도면이다.
이동 로봇(1000)은 수납된 제1 객체를 목적지로 이동함에 있어서, 음악과 관련된 오디오 신호가 감지되는 경우, 감지된 오디오 신호로부터 결정되는 오디오 특성과 매칭되는 기 저장된 모션 패턴을 결정하고, 결정된 모션 패턴을 이용하여 주행 경로를 결정하며 결정된 주행 경로에 따라 목적지로 이동할 수 있다.
또 다른 실시 예에 따른, 이동 로봇(1000)은 객체를 주문한 고객에게 스트레칭 가이드(974)서비스를 제공할 수도 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 스트레칭 가이드 서비스 실행을 위한 신호를 고객, 이동 로봇(1000)과 연결되는 다른 이동 로봇 및 이동 로봇(1000)과 연결되는 이동 로봇 제어 시스템으로부터 수신하고, 수신된 신호에 따라 스트레칭 가이드를 위한 기 설정된 모션 패턴에 따라 동작할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 고객으로부터 "스트레칭 가이드 해줘"라는 사용자 음성 신호가 감지되는 경우, 좌우 또는 앞뒤로 기울어지는 동작을 반복하여 수행할 수 있다.
또 다른 실시 예에 따르면, 이동 로봇(1000)은 소정의 오디오 신호가 감지되는 경우, 뮤직 테라피(976) 서비스를 제공할 수 있다. 예를 들어, 이동 로봇(1000)은 감지된 오디오 신호로부터 오디오 특성을 결정하고, 결정된 오디오 특성과 매칭되는 모션 패턴을 결정하고, 결정된 모션 패턴에 기초하여 이동함으로써 고객이 심적 안정감을 느끼게 할 수 있다.
또 다른 실시 예에 의하면, 이동 로봇(1000)은 목적지에 도달하였는지 여부를 결정하고, 목적지에 도달한 경우 식별된 고객에게 수납된 객체를 제공할 수 있다. 본 개시에 따른 이동 로봇(1000)은 수납된 객체를 고객에게 제공 시, 객체 운반 모션(978) 서비스를 함께 제공할 수 있다. 예를 들어, 이동 로봇(1000)은 결정된 목적지에서 고객에게 수납된 객체를 제공 시, 고객이 쉽게 수납된 객체를 획득하게 하기 위하여, 이동 로봇의 수납부가 고객을 향하도록 회전할 수 있다.
도 11은 일 실시 예에 따른 이동 로봇이 목적지에서 제1 객체를 고객에게 제공하는 방법을 세부적으로 설명하기 위한 도면이다.
S1110에서, 이동 로봇(1000)은 목적지에 도달하였는지 여부를 결정할 수 있다. 예를 들어, 이동 로봇(1000)은 주문 정보에 따라 결정된 목적지의 좌표, 주문 정보 내 고객 식별 정보에 따른 고객이 식별되는 지 여부 등에 기초하여 이동 로봇(1000)이 목적지에 도달하였는지 여부를 결정할 수 있다.
S1120에서, 이동 로봇(1000)은 목적지에 도달한 경우, 수납된 제1 객체에 관한 정보를 출력할 수 있다. 예를 들어, 이동 로봇(1000)은 목적지에서 식별된 고객에게 수납된 제1 객체를 제공하기에 앞서, 수납된 제1 객체와 관련된 정보를 먼저 출력함으로써, 고객이 주문한 객체가 맞는지 여부를 확인하도록 할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)이 출력하는 제1 객체에 관한 정보는 제1 객체에 대한 이미지, 제1 객체에 대한 가격, 제1 객체와 함께 주문한 다른 객체에 대한 이미지등을 포함할 수 있다.
S1130에서, 이동 로봇(1000)은 수납된 제1 객체에 관한 정보를 출력 후, 수납부가 고객을 향하도록 이동 로봇의 방향을 회전할 수 있다. 예를 들어, 이동 로봇(1000)은 목적지에서 고객을 식별하고, 식별된 고객의 위치를 결정하며, 현재 이동 로봇이 향하는 방향을 결정하고, 결정된 이동 로봇의 방향 및 식별된 고객의 위치에 기초하여 이동 로봇을 회전시킬 수 있다.
S1140에서, 이동 로봇(1000)은 이동 로봇의 방향이 회전된 상태에서 수납된 제1 객체를 고객에게 제공할 수 있다. 예를 들어, 이동 로봇(1000)은 이동 로봇을 회전시킴으로써 수납부가 고객을 향하는 경우, 수납부의 수납 커버를 오픈하거나, 수납 커버를 오픈한 상태에서, 객체가 거치된 트레이를 반출시킴으로써 고객에게 수납된 제1 객체를 제공할 수 있다.
도 12는 일 실시 예에 따른 이동 로봇이 목적지에 도달하였는지 여부를 결정하는 방법을 세부적으로 설명하기 위한 도면이다.
S1210에서, 이동 로봇(1000)은 고객의 테이블 번호 및 고객의 안면 인식 결과 중 적어도 하나를 주문 정보와 비교함으로써 고객을 식별할 수 있다. 예를 들어, 이동 로봇(1000)이 수신하는 주문 정보는 고객을 식별하기 위한 고객 식별 정보 및 객체를 주문한 고객의 테이블 번호에 대한 정보를 포함할 수 있고, 고객 식별 정보는 고객의 안면 이미지 및 고객의 음성에 대한 정보를 포함할 수 있다. 이동 로봇(1000)은 주문 정보에 따라 결정된 목적지에 근접하면, 이동 로봇 주변을 촬영하거나 센싱함으로써 고객의 테이블 번호 또는 이동 로봇 주변의 고객의 안면 이미지를 획득할 수 있다. 이동 로봇(1000)은 획득된 고객의 테이블 번호 및 고객의 안면 인식 결과 중 적어도 하나를 미리 수신된 주문 정보에 포함된 테이블 번호 및 고객의 안면 이미지에 대한 정보와 비교함으로써 고객을 식별할 수 있다.
S1220에서, 이동 로봇(1000)은 식별된 고객이 기 설정된 범위 내에 위치하는지 여부를 결정할 수 있다. 예를 들어, 이동 로봇(1000)은 고객의 손이 닿을 수 없거나, 수납된 제1 객체를 고객에게 제공할 수 없는 거리에서, 제1 객체를 주문한 고객을 식별할 수 있다. 따라서, 이동 로봇(1000)이 고객이 손이 닿을 수 없는 거리에서 고객에게 제1 객체를 제공하는 동작을 수행하지 않도록, 이동 로봇(1000)은 고객이 이미 식별된 경우라도, 식별된 고객이 이동 로봇(1000)으로부터 기 설정된 범위 내에 위치하는지 여부를 결정할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 적어도 하나의 이미지 센서, 초음파 센서 및 거리 센서를 이용하여 고객과 이동 로봇 사이의 거리를 결정할 수 있고, 결정된 고객과 이동 로봇 사이의 거리가 기 설정된 범위 내인지 여부를 결정할 수 있다.
S1230에서, 이동 로봇(1000)은 식별된 고객이 기 설정된 범위 내에 위치하는 경우, 목적지에 도달한 것으로 결정할 수 있다. 즉, 이동 로봇(1000)은 주문 정보에 따라 결정된 목적지 부근에서, 고객을 식별하고, 식별된 고객이 이동 로봇으로부터 기 설정된 범위 내에 위치하는 경우에 최종적으로, 목적지에 도달한 것으로 결정하고, 수납된 제1 객체를 고객에게 제공할 수 있다.
도 13은 또 다른 실시 예에 따른 이동 로봇이 제1 객체를 운반하는 방법을 설명하기 위한 도면이다.
S1310에서, 이동 로봇(1000)은 제1 객체가 수납되었는지 여부를 확인할 수 있다. S1310은 도 2의 S210에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다. S1320에서, 이동 로봇(1000)은 수납된 제1 객체가 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정할 수 있다. S1320은 도 2의 S220에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
S1330에서, 이동 로봇(1000)은 주문 정보에 따라 결정된 목적지로 이동할 수 있다. S1330은 도 2의 S230에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다. S1340에서, 이동 로봇(1000)은 목적지에서 수납된 제1 객체를 고객에게 제공할 수 있다. S1340은 도 2의 S240에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
S1350에서, 이동 로봇(1000)은 수납된 제1 객체를 고객에게 제공한 후, 제공된 제1 객체와 관련된 추가 주문을 접수할 수 있다. 예를 들어, 매장을 이용하는 고객은 주문한 제1 객체와 관련된 추가 객체를 주문을 원하는 경우가 많기 때문에, 이동 로봇(1000)은 수납된 제1 객체와 관련된 추가 주문을 접수하기 위한 동작을 실행할 수 있다.
S1360에서, 이동 로봇(1000)은 고객으로부터 제1 객체와 관련된 추가 주문이 접수되는 경우, 접수된 추가 주문에 대한 결제 서비스를 제공할 수 있다. 예를 들어, 매장 내 고객이 테이블을 배정 받고 이미 앉아있는 상태에서, 새로 결제를 하기 위하여 매장 내 카운터로 이동해야 한다면, 불편을 초래할 수 있으므로, 이동 로봇(1000)은 고객이 위치하는 장소에서 추가 주문을 위한 결제 서비스를 제공할 수 있다.
도 14는 일 실시 예에 따른 이동 로봇이 제1 객체를 운반하는 방법을 설명하기 위한 도면이다.
S1410에서, 이동 로봇(1000)은 매장 직원 또는 매장 내 객체 관리 시스템으로부터 운반 대상 객체를 수납할 수 있다. S1420에서, 이동 로봇(1000)은 객체를 수납한 상태에서, 미리 수신된 주문 정보에 따라 결정되는 목적지로 객체를 운반할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 객체를 운반하기 위하여, 이동 시, 스피커를 통하여 효과음을 출력하거나, 이동 로봇(1000)의 디스플레이를 통하여 기 설정된 모션 그래픽을 제공할 수 있다.
S1430에서, 이동 로봇(1000)은 주문 정보에 따라 결정된 목적지에 도달한 경우, 수납된 객체에 관한 정보를 출력할 수 있다. S1430은 도 11의 S1120에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다. S1440에서, 이동 로봇(1000)은 수납된 객체를 고객에게 제공하기에 앞서, 수납부가 고객을 향하도록, 이동 로봇의 방향을 회전시킬 수 있다. S1440은 도 11의 S1140에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
S1450에서, 이동 로봇(1000)은 수납된 객체를 고객에게 제공하기에 앞서, 수납된 객체에 관한 정보를 출력할 수 있다. S1450은 도 11의 S1120에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다. 본 개시에 따른 이동 로봇(1000)이 수납된 제1 객체에 관한 정보를 출력하는 동작과 수납부가 고객을 향하도록 이동 로봇의 방향을 회전시키는 동작은 필요에 따라, 동작 순서가 변경되어 수행될 수도 있다.
S1460에서, 이동 로봇(1000)은 수납된 제1 객체를 고객에게 제공한 후, 제1 객체와 관련된 추가 주문을 접수할 수 있다. S1460은 도 13의 S1350에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
S1480에서, 이동 로봇(1000)은 접수된 추가 주문에 대한 결제 서비스를 제공할 수 있다. 예를 들어, 이동 로봇(1000)은 접수된 추가 주문에 대한 결제 서비스를 모바일 페이로 진행하는 경우, 모바일 페이를 태그하기 위한 위치를 디스플레이 화면 상에 표시할 수 있고, 디스플레이 화면 상 태깅하는 사용자 입력을 수신함으로써 결제 서비스를 완료할 수 있다.
S1490에서, 이동 로봇(1000)은 접수된 추가 주문에 대한 결제 서비스가 완료되는 경우, 결제 완료 알림을 출력할 수 있다. 예를 들어, 이동 로봇(1000)은 접수된 추가 주문에 대한 결제가 완료되는 경우, "결제 되었습니다"와 같은 음성을 스피커를 통하여 출력할 수 있다.
도 15는 일 실시 예에 따른 이동 로봇이 제1 객체를 운반하는 동작을 시계열적으로 설명하기 위한 도면이다.
본 개시에 따른 이동 로봇(1000)이 객체를 운반하는 방법의 각 단계를 수행함에 있어, 이동 로봇(1000)의 스피커 또는 디스플레이를 통하여 출력되는 보이스 인터랙션 및 디스플레이 화면 내용은 다음과 같다.
S1561에서, 이동 로봇(1000)은 전원을 켜기(ON) 위한 신호를 수신하고, 수신된 신호를 이용하여 이동 로봇 내의 전원부로부터 전원을 공급 받을 수 있다. 예를 들어, 이동 로봇(1000)이 전원을 공급 받는 중 또는 전원이 OFF 된 상태에서 이동 로봇의 디스플레이에는 빈 화면(1581)이 표시될 수 있다.
S1562에서, 이동 로봇(1000)은 주문 정보를 수신하기 위해 대기 할 수 있다. 주문 정보를 수신하기 위한 대기 상태에서, 이동 로봇(1000)은 디스플레이 화면에 대기 상태를 나타내는 대기 모션을 디스플레이 할 수 있다.
S1563에서, 이동 로봇(1000)은 주문 정보를 수신하고, 객체를 수납한 후, 주문 정보에 따라 결정된 목적지로 이동할 수 있다. 이동 로봇(1000)은 결정된 목적지로 이동하는 동안, 디스플레이 화면 상, 주문 정보에 따른 테이블 주문 번호 및 이동 상태를 나타내는 이동 모션을 디스플레이 할 수 있다.
S1564에서, 이동 로봇(1000)은 주문 정보에 따라 결정된 목적지에 도달한 것으로 결정하면, 수납된 객체를 식별된 고객에게 제공할 수 있다. 이동 로봇(1000)은 목적지에 도달한 것으로 결정하면, 수납된 객체에 관한 정보를 고객에게 제공할 수 있다. 예를 들어, 이동 로봇(1000)은 "MR,XXX, 주문하신 샌드위치와 커피가 나왔습니다"라는 음성을 스피커를 통하여 출력할 수 있다. 또 다른 실시 예에 의하면, 이동 로봇(1000)은 주문 정보에 따른 목적지에 도달한 것으로 결정하면, 수납부에 포함된 적어도 하나의 온도 센서를 이용하여 수납부에 포함된 객체의 온도를 측정하고, 측정된 온도가 기 설정된 온도 이상인 경우, "커피 온도가 조금 높네요, 뜨거우니 조심하세요"와 같은 음성을 스피커를 통하여 출력할 수 있다.
또한, 이동 로봇(1000)은 목적지에 도달한 것으로 결정한 후, 수납된 객체를 제공함에 있어, 디스플레이 화면 상에 수납된 객체와 관련된 이미지를 표시할 수 있다. 예를 들어, 이동 로봇(1000)은 목적지에 도달한 것으로 결정되면, 아메리카노 1 및 어니언베이글 1과 같은 텍스트 정보와 함께 아메리카노 및 어니언 베이글 이미지를 함께 디스플레이 화면상에 표시할 수 있다.
S1565에서, 이동 로봇(1000)은 수납된 객체를 고객에게 제공한 후, 고객으로부터 추가 주문을 접수할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 수납된 객체와 관련된 추가 주문을 접수할 수도 있지만, 수납된 객체와 관련되지 않은 추가 주문을 접수할 수도 있다. 예를 들어, 이동 로봇(1000)은 객체를 고객에게 제공한 후, "디저트 메뉴 드시겠어요?"와 같은 음성을 스피커를 통하여 출력하거나, "디저트 메뉴 드시겠어요?"와 같은 텍스트 이미지를 디스플레이 화면상에 출력할 수 있다. 또한, 이동 로봇(1000)은 추가 주문 접수 서비스를 제공하면서 함께, 디스플레이 화면상에 추천 메뉴에 대한 정보를 디스플레이 할 수 있다.
S1566에서, 이동 로봇(1000)은 추가 주문을 위한 추천 메뉴를 제공하고, 제공된 추천 메뉴 중 적어도 하나의 메뉴를 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 이동 로봇(1000)은 제공된 추천 메뉴들 중, 치즈 케??을 선택하는 "치즈 케?? 하나 주문 할게"와 같은 사용자 음성 입력을 수신할 수 있다. 이동 로봇(1000)은 치즈 케??을 선택하는 사용자 음성 입력이 수신되면 치즈 케??와 관련된 이미지를 디스플레이 상 화면에 표시할 수 있다.
S1567에서, 이동 로봇(1000)은 추천된 메뉴들 중 적어도 하나의 메뉴를 선택하는 사용자 입력이 수신되면, 선택된 메뉴에 대한 결제 서비스를 제공할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 모바일 결제를 이용하여 결제 서비스를 진행하는 경우, "폰을 태깅해서 결제해주세요"와 같은 음성을 스피커를 통하여 출력하거나 "폰을 태깅해서 결제해주세요"와 같은 텍스트 이미지를 디스플레이 화면을 통하여 출력할 수 있다. S1567에서, 이동 로봇(1000)은 접수된 추가 주문에 대한 고객의 결제가 완료되는 경우 "결제되었습니다. 감사합니다"와 같은 음성을 스피커를 통하여 출력하거나 "결제되었습니다. 감사합니다"와 같은 텍스트 이미지를 디스플레이 화면을 통하여 출력할 수 있다.
또한, 일 실시 예에 의하면, 이동 로봇(1000)은 객체를 운반하는 방법을 수행함에 있어서, 다양한 사용자 인터페이스를 제공할 수 있고, 제공되는 사용자 인터페이스의 특징은 다음과 같다. 예를 들어, S1561 및 S1562에서, 이동 로봇(1000)은 디스플레이 화면을 통하여 모션 그래픽(1591, 1592)를 사용자 인터페이스로써 제공할 수 있고, S1563 및 S1564에서, 이동 로봇(1000)은 안내 문구 모션 그래픽(1593)을 디스플레이 화면상에 제공할 수 있다.
S1565에서, 이동 로봇(1000)은 추가 주문을 접수를 위한 모션 그래픽(1595)을 디스플레이 화면에 제공할 수 있고, S1566에서, 이동 로봇(1000)은 추천 메뉴들 중 적어도 하나의 메뉴를 선택하는 사용자 입력이 수신되는 경우, 선택된 메뉴를 표시하기 위한 모션 그래픽(1596)을 디스플레이 화면에표시할 수 있다. S1567에서, 이동 로봇(100)은 접수된 추가 주문에 대한 결제 서비스를 제공하기 위해, 결제 태그 모션(1597)을 사용자 인터페이스로써, 디스플레이 화면상에 제공할 수 있다.
도 16은 또 다른 실시 예에 따른 이동 로봇이 목적지를 안내하거나 제품을 추천하기 위한 방법을 설명하기 위한 도면이다.
또 다른 실시 예에 따른 이동 로봇(1000)은 객체를 운반하는 방법을 수행할 수도 있지만, 목적지 안내(1660) 및 제품 추천(1670) 기능을 수행할 수도 있다. 예를 들어, 이동 로봇(1000)은 "삼성 모바일 스토어"와 같은 특정 매장 위치를 문의하는 "삼성 모바일 스토어가 어디니?"와 같은 음성 입력을 고객으로부터 수신하고, "삼성 모바일 스토어"에 도달하기 위한 안내 경로를 결정하며, 결정된 안내 경로에 따라 고객을 삼성 모바일 스토어로 안내할 수 있다. 이동 로봇(1000)은 삼성 모바일 스토어에 도착한 경우, "삼성 모바일 스토어에 도착 하였습니다"와 같은 음성을 스피커를 통하여 출력할 수 있다.
또 다른 실시 예에 따른 이동 로봇(1000)은 제품 추천 방법을 수행할 수도 있다. 예를 들어, 이동 로봇(1000)은 카메라를 이용하여 고객이 착용한 제품을 촬영함으로써 고객이 착용한 제품을 식별하고, 식별된 제품과 관련된 추천 부속품들을 제공할 수 있다. 예를 들어, 이동 로봇(1000)은 이동 로봇의 카메라로부터 기 설정된 거리에 위치하는 고객이 착용한 전자 시계를 촬영함으로써, 고객의 전자 시계의 제품 코드를 식별하고, 식별된 제품 코드를 이용하여 전자 시계에 조립 가능한 추천 스트랩들을 색상 별로 검색한 후, "착용하고 계신 갤럭시 워치는 다양한 스트랩 컬러가 있어요"와 같은 음성을 스피커를 통하여 출력할 수 있다.
또한, 이동 로봇(1000)은 스피커를 통하여 출력한 음성에 응답하는 고객의 응답을 수신하고, 수신된 응답에 기초한 관련 정보를 디스플레이 화면상에 제공할 수 있다. 예를 들어, 이동 로봇(1000)은 고객으로부터 "한번 보여줘봐"와 같은 음성 입력을 수신하는 경우, 식별된 제품 코드에 기초하여, 고객이 착용한 전자 시계와 호환될 수 있는 스트랩에 관한 정보를 디스플레이 화면에 제공할 수 있다.
도 17은 일 실시 예에 따른 이동 로봇이 제품을 추천하기 위한 방법을 세부적으로 설명하기 위한 도면이다.
도 16에서 설명한 바와 같이, 본 개시에 따른 이동 로봇은 객체를 운반하는 방법을 수행할 수도 있지만, 목적지 안내(1660) 및 제품 추천(1670) 기능을 수행할 수도 있다. 도 16에서, 본 개시에 따른 이동 로봇(1000)이 목적지 안내(1660) 및 제품 추천(1670) 기능을 수행 시, 이동 로봇의 디스플레이 화면상 표시되는 이미지는 다음과 같다. 예를 들어, 이동 로봇(1000)이 목적지 안내(1660) 기능을 수행함에 있어, "삼성 모바일 스토어"가 목적지인 경우, 이동 로봇(1000)은 기본 안내 화면(1760)으로써, 삼성 모바일 스토어와 관련된 이미지를 디스플레이 상에 표시할 수 있다.
또한, 이동 로봇(1000)은 이동 로봇의 카메라로부터 기 설정된 거리에 위치하는 고객이 착용한 전자 시계를 촬영함으로써, 고객의 전자 시계의 제품 코드를 식별하고, 식별된 제품 코드를 이용하여 인식한 고객의 착용 제품과 관련된 이미지(1770)를 디스플레이 상 화면에 표시할 수 있다. 또한, 이동 로봇(1000)은 전자 시계에 조립 가능한 추천 스트랩들을 색상 별로 검색한 후, 인식한 고객의 착용 제품을 디스플레이 상 화면에 표시함과 함께, "착용하고 계신 갤럭시 워치는 다양한 스트랩 컬러가 있어요"와 같은 음성을 스피커를 통하여 출력할 수 있다.
또한, 이동 로봇(1000)은 고객으로부터 "한번 보여줘봐"와 같은 음성 입력을 수신하는 경우, 식별된 제품 코드에 기초하여, 고객이 착용한 전자 시계와 호환될 수 있는 스트랩에 관한 정보를 디스플레이 화면에 표시(1780)할 수 있다. 일 실시 예에 의하면, 이동 로봇(1000)은 고객이 착용한 전자 시계와 호환될 수 있는 스트랩에 관한 정보를 디스플레이 화면에 제공함과 함께 "블랙 외에 실버와 블루, 그레이 칼라도 멋지답니다"와 같은 음성을 스피커를 통하여 출력할 수 있다. 일 실시 예에 따른 이동 로봇(1000)은 객체를 운반하는 방법 외에, 목적지 안내(1660) 및 제품 추천(1670) 기능을 수행하는 경우, 디스플레이 화면의 도메인을 변경하거나, 디스플레이 화면 내 레이아웃을
도 18은 일 실시 예에 따른 이동 로봇의 동작과 연계되는 이동 로봇 내 발광부의 기능을 설명하기 위한 도면이다.
본 개시에 따른 이동 로봇(1000)은 기 설정된 발광 패턴 및 발광 색상에 따라 발광하는 발광부를 포함할 수 있고, 발광 패턴 및 발광 색상은 이동 로봇(1000)이 목적지로 이동하는 동작 및 제1 객체를 고객에게 제공하는 동작 마다 서로 달라질 수 있다. 본 개시에 따른 발광 색상은 RGB 컬러(1864)를 포함할 수 있고, 발광 패턴은 발광부에 포함된 광원이 깜빡이는 주기 및 유지 시간에 대한 정보를 포함할 수 있다.
일 실시 예에 의하면 본 개시에 따른 발광부는 적어도 광원으로써, 적어도 하나의 LED를 포함할 수 있고, 발광부 내 LED들은 적어도 2개 이상의 열로 발광부내 위치할 수 있다. 또 다른 실시 예에 의하면, 이동 로봇(1000)의 발광부는 도 4에서 전술한 제3 디스플레이(424)내에 위치하거나, 수납부(442)내에 위치할 수 있다.
예를 들어, 본 개시에 따른 이동 로봇(1000)의 동작은 크게 구동 관련(1860) 동작 및 수납 관련(1880) 동작으로 분류될 수 있다. 예를 들어, 이동 로봇(1000)의 동작 모드(1862)가 이동에 해당하는 경우, 이동 로봇의 발광부는 (250, 168, 0) RGB 컬러로, 2초 간격으로 부드럽게 깜빡일 수 있으나 이에 한정되는 것은 아니다. 또한, 이동 로봇이 이동하는 동안, 발광부는 OFF 상태에서 최대 출력까지 도달하는 시간은 약 1초로 마련될 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 의하면, 이동 로봇(1000)이 정지 모드인 경우, 발광부는 (249, 46, 54) RGB 컬러로 발광할 수 있다. 구체적으로, 이동 로봇(1000)은 정지 모드에서, 발광부 내 LED 전체가 1초 동안 점차 밝아졌다가, 최대 출력으로 1초 유지 후 OFF 상태로 진입할 수 있으나, 이에 한정되는 것은 아니다.
또 다른 실시 예에 의하면, 이동 로봇(1000)이 오른쪽 방향으로 제자리 회전하는 경우, 발광부는 (255, 218, 98) RGB 컬러로 발광함과 함께, 발광부 내 복수의 LED 라인들이 오른쪽에서 왼쪽 방향으로 연속적으로 밝아질 수 있다. 또 다른 실시 예에 의하면, 이동 로봇(1000)이 왼쪽 방향으로 제자리 회전하는 경우, 발광부는 (255, 218, 98) RGB 컬러로 발광함과 함께, 발광부 내 복수의 LED 라인들이 왼쪽에서 오른쪽 방향으로 연속적으로 밝아질 수 있다.
일 실시 예에 의하면, 이동 로봇(1000)의 발광부는 이동 로봇의 수납부내 위치함으로써, 음식을 수납하는 동안, 발광 색상을 (0, 0, 0) RGB 컬러에서 (255, 246, 212) RGB 컬러로 변환함과 함께, OFF 상태에서 최대 출력까지 0.5초동안 밝아 질 수 있으나, 이에 한정되는 것은 아니다. 또 다른 실시 예에 의하면, 이동 로봇(1000)의 발광부는 이동 로봇의 수납부내 위치함으로써, 음식을 제공하는 동안, 발광 색상을 (255, 246, 212) RGB 컬러에서 (0, 0, 0) RGB 컬러로 변환함과 함께, 최대 출력에서 OFF 상태에서 0.5초 시간 동안 어두워 질 수 있으나, 이에 한정되는 것은 아니다.
도 19는 일 실시 예에 따른 이동 로봇의 통신 방법을 세부적으로 설명하기 위한 도면이다.
본 개시에 따른 이동 로봇(1000)은 이동 로봇의 눈과 관련된 이미지가 표시되는 제1 디스플레이 및 이동 로봇의 기능과 관련된 이미지 또는 수납된 제1 객체와 관련된 이미지가 디스플레이 되는 제2 디스플레이를 포함할 수 있다. 본 개시에 따른 이동 로봇(1000)은 상단부의 제1 디스플레이에 표시되는 눈과 관련된 이미지를 이용하여 이동 로봇의 표정을 표시할 수 있다.
일 실시 예에 의하면, 이동 로봇(1000)의 상단부의 제1 디스플레이와 이동 로봇의 바디 부분의의 제2 디스플레이는 서로 다른 애플리케이션에 의해 동작할 수 있다. 예를 들어, 이동 로봇 상단부의 제1 디스플레이는 안드로이드 애플리케이션(1960)에 의해 동작하고, 이동 로봇 바디부의 제2 디스플레이는 윈도우 애플리케이션(1970)에 의해 동작할 수 있다.
일 실시 예에 의하면, 이동 로봇(1000)의 제1 디스플레이를 포함하는 상단부 및 제2 디스플레이를 포함하는 바디부는 비동기식으로 양방향 정보를 송수신할 수 있다. 이를 위하여, 이동 로봇(1000)의 상단부는 UDP 클라이언트(UDP Client, 1962) 및 UDP 서버(UDP Server, 1960)을 포함하고, 이동 로봇의 바디부는 UDP 클라이언트(UDP Client, 1972) 및 UDP 서버(UDP Server, 1972)를 포함할 수 있다. 또한, 바디부는 근거리 통신을 위한 별도의 근거리 통신부(1976)를 포함할 수 있다.
구체적으로, 이동 로봇(1000)의 움직임 또는 이동 로봇의 상단부에 포함된 제1 디스플레이 상의 이동 로봇 표정 변화에 따라, 바디부의 제2 디스플레이에 표시될 컨텐츠를 변경할 필요가 있는 경우, 이동 로봇(1000)은 상단부의 UDP Client(1962) 및 바디부의 UDP Server(1972)를 연결하는 Socket UDP 1(1950)을 통하여 제2 디스플레이에 디스플레이 될 컨텐츠와 관련된 정보를 전송할 수 있다. 즉, 이동 로봇(1000)은 이동 로봇의 이동, 이동 로봇의 표정이 변화하는 경우 및 이동 로봇의 기능 특성에 따라 미리 설정된 이벤트가 발생하는 경우, 바디부의 제2 디스플레이상의 컨텐츠를 변경할 수 있고, 제2 디스플레이 상의 컨텐츠 변경을 위한 정보는 상단부의 UDP Client(1962) 및 바디부의 UDP Server(1972)를 연결하는 Socket UDP 1(1950)을 통하여 단방향으로 전송될 수 있다.
또한, 이동 로봇(1000)의 근거리 통신(Near Field Communication) 또는 바디부의 제2 디스플레이상을 터치하는 사용자 입력에 따라, 상단부의 제1 디스플레이상 디스플레이되는 컨텐츠를 변경할 필요가 있는 경우, 이동 로봇(1000)은 바디부의 UDP Client(1974) 및 상단부의 UDP Server(1960)를 연결하는 Socket UDP 2(1960)을 통하여 제1 디스플레이에 디스플레이 될 컨텐츠와 관련된 정보를 전송할 수 있다. 즉, 이동 로봇(1000)은 제2 디스플레이상의 NFC 태깅(예컨대, 주문된 객체에 대해 결제 서비스를 진행하는 경우)이 발생하는 경우, 제2 디스플레이상 일부를 터치하는 사용자의 터치 입력이 수신되는 경우, 상단부의 제1 디스플레이를 통하여 효과음을 출력할 필요가 있는 경우, 상단부의 제1 디스플레이 상의 컨텐츠를 변경할 수 있고, 제1 디스플레이 상의 컨텐츠 변경을 위한 정보는 바디부의 UDP Client(1974) 및 상단부의 UDP Server(1960)를 연결하는 Socket UDP 2(1950)을 통하여 단방향으로 전송될 수 있다.
일 실시 예에 의하면, 이동 로봇(1000)은 상단부의 제1 디스플레이 및 바디부의 제2 디스플레이를 제어 하기 위한 프로세서를 상단부 및 바디부 각각에 포함할 수 도 있다. 즉, 본 개시에 따른 이동 로봇은 상단부에 UDP 클라이언트(UDP Client, 1962) 및 UDP 서버(UDP Server, 1960)을 포함하고, 이동 로봇의 바디부에 UDP 클라이언트(UDP Client, 1972) 및 UDP 서버(UDP Server, 1972)를 포함함으로써 비동기식 양방향으로 이벤트를 발생시키는 정보를 전송함으로써 안정적으로 이동 로봇의 기능을 수행할 수 있다. 또한, 일 실시 예에 의하면, 이동 로봇의 상단부 및 하단부 사이에서 송수신되는 정보는 1Byte(Char) 명령어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
도 20은 일 실시 예에 따른 이동 로봇의 블록도를 나타내는 도면이다.
일 실시 예에 의하면, 이동 로봇(1000)은 입력부(1100), 출력부(1200), 프로세서(1300), 메모리(1400), 센싱부(1500), 카메라(1600), 통신 인터페이스(1700), 구동부(1800) 및 수납부(1900)를 포함할 수 있다. 그러나 도시된 구성 요소가 모두 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 이동 로봇(1000)이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 이동 로봇(1000)은 구현될 수 있다. 예를 들어, 도 20에 도시된 구성에 더하여 전원 공급부(미도시)를 더 포함할 수도 있다. 각 구성에 대해 차례로 살펴보기로 한다.
입력부(1100)는 사용자가 이동 로봇(1000)을 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 및 마이크로폰 등이 있을 수 있으나 이에 한정되는 것은 아니다.
예를 들어, 입력부(1100)는 이동 로봇(1000)이 스피커를 통하여 고객에게 제공한 추가 주문 메뉴들 중 적어도 하나의 메뉴를 선택하는 사용자 음성 입력을 수신하고, 수신된 사용자 음성 입력을 프로세서(13000)로 전송할 수 있다. 또 다른 실시 예에 의하면, 입력부(1100)는 이동 로봇(1000)이 디스플레이 화면을 통하여, 고객에게 제공한 추가 주문 메뉴들 중 하나를 선택하는 사용자 터치 입력을 수신하고, 수신된 사용자 터치 입력을 프로세서(1300)로 전송할 수 있다.
또한 일 실시 예에 의하면, 이동 로봇의 마이크로폰은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰은 이동 로봇의 외부의 오디오 신호 및 사용자의 음성 입력을 수신할 수 있다. 마이크로폰은 외부의 오디오 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
출력부(1200)는 출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부, 음향 출력부 및 진동 모터를 포함할 수 있다.
디스플레이부는 이동 로봇(1000)에서 처리되는 정보를 표시 출력하기 위한 화면을 포함한다. 일 실시 예에 의하면 디스플레이부는 제1 디스플레이, 제2 디스플레이 및 제3 디스플레이를 포함할 수 있다. 예를 들어, 제1 디스플레이(422)는 이동 로봇(1000)의 상단부에 위치하고, 이동 로봇의 눈과 관련된 이미지를 표시할 수 있다. 제2 디스플레이는 이동 로봇(1000)의 바디(440)부분에 위치하고, 고객이 주문한 제1 객체와 관련된 정보 및 주문한 제1 객체의 결제를 위한 정보 등을 표시할 수 있다. 제3 디스플레이(424)는 기 설정된 발광 패턴 및 발광 색상에 따라 발광하는 적어도 하나의 LED를 포함할 수 있고, 발광 패턴 및 발광 색상은 이동 로봇(1000)의 동작 특성에 따라 달라질 수 있다.
음향 출력부는 적어도 하나의 스피커를 포함할 수 있다. 예를 들어, 음향 출력부는 통신 인터페이스(1700)로부터 수신되거나 메모리(1400)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부는 이동 로봇(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.
메모리(1400)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 이동 로봇(1000)으로 입력되거나 이동 로봇(1000)으로부터 출력되는 데이터를 저장할 수도 있다. 또한, 메모리(1400)는 이동 로봇(1000)이 결정한 주행 경로에 대한 정보, 모션 패턴들 각각에 할당되는 모션 ID를 이용하여, 오디오 특성과 매칭되는 모션 패턴들, 모션 패턴 데이터 베이스 및 바닥면 학습 데이터 베이스들을 더 저장할 수 있다.
또한, 메모리(1400)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1400)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈, 터치 스크린 모듈, 알림 모듈, 주행 모듈, 객체 수납 모듈 등으로 분류될 수 있다. UI 모듈은, 애플리케이션 별로 이동 로봇 (1000)과 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈은 이동 로봇(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 이동 로봇(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림, 결제 완료 알림, 객체 운반 완료 알림 등이 있다. 알림 모듈은 디스플레이부를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
센싱부(1500)는 이동 로봇(1000)의 상태 또는 이동 로봇(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다. 센싱부(1500)는 이동 로봇(1000)의 사양 정보, 이동 로봇(1000)의 상태 정보, 이동 로봇(1000)의 주변 환경 정보, 사용자의 상태 정보 및 사용자의 디바이스 사용 이력 정보 중 일부를 생성하는데 이용될 수 있다.
센싱부(1500)는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서, 무게 센서 및 RGB 센서(illuminance sensor), 근거리 센서, 접촉 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
카메라(1600)는 이동 로봇(1000)의 주변을 촬영할 수 있다. 카메라(1600)는 이동 로봇(1000)이 청소를 하는 도중에, 이동 로봇(1000)의 주변 또는 바닥을 실시간으로 촬영할 수 있다.
통신 인터페이스(1700)는 서버(2000) 및 외부 기기와의 통신을 위한 하나 이상의 통신 모듈을 포함할 수 있다. 예를 들어, 통신 인터페이스 (1700)는, 근거리 통신부, 이동 통신부를 포함할 수 있다. 근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
구동부(1800)는 이동 로봇(1000)을 이동시키기 위한 적어도 하나의 구동 바퀴를 포함할 수 있다. 구동부(1800)는 구동 바퀴에 연결되어 구동 바퀴를 회전시키는 구동 모터를 포함할 수 있다. 구동 바퀴는 로봇 청소 장치의 본체의 좌, 우 측에 각각 구비된 좌륜 및 우륜을 포함할 수 있다. 좌륜과 우륜은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜을 구동시키는 좌륜 구동 모터와 우륜을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 이 경우, 좌륜과 우륜의 회전 속도에 차이를 두어 이동 로봇(1000)의 주행 방향을 좌측 또는 우측으로 전환할 수 있다.
수납부(1900)는 운반 대상 객체를 수납할 수 있다. 본 개시에 따른 수납부(1900)는 센싱부(1500)와 연동될 수 있다. 또 다른 실시 예에 의하면, 센싱부(1500)에 포함된 무게 센서, 온도 센서, 접촉 센서 및 근거리 센서 등은 수납부(1900)내에 위치하여 객체가 거치되는 트레이의 부착 상태를 감지하는데 사용되거나, 객체를 식별하는데 사용될 수 있다. 수납부(1900)는 도 4의 수납부(442)에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
도 21은 일 실시 예에 따른 이동 로봇이 서버를 이용하여 제1 객체를 운반하는 방법을 설명하기 위한 도면이다.
일 실시 예에 의하면, 이동 로봇(1000)은 서버(2000)를 이용함으로써 객체를 운반하는 방법을 수행할 수 있다.
S2110에서, 이동 로봇(1000)은 매장 내 직원 또는 객체를 관리하는 시스템으로부터 제1 객체가 수납되었는지 여부를 확인할 수 있다. S2110은 도 2의 S210에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다.
S2112에서, 서버(2000)는 매장 내 객체를 관리하는 시스템으로부터 주문 정보를 수신할 수 있다. S2113에서, 이동 로봇(1000)은 제1 객체가 수납되었음을 확인하는 정보를 서버(2000)로 전송할 수 있다.
S2114에서, 서버(2000)는 수납확인 정보를 이동 로봇(1000)으로부터 수신하고, 수납 확인이 완료되면, 주문 정보를 이동 로봇(1000)으로 전송할 수 있다. S2115에서, 주문 정보는 기 설정된 통신 채널을 통하여, 서버(2000)에서 이동 로봇(1000)으로 전송될 수 있다.
S2116에서, 이동 로봇(1000)은 서버(2000)로부터 수신된 주문 정보에 포함된 제2 객체와 식별된 제1 객체를 비교할 수 있다. S2117에서, 이동 로봇(1000)은 서버(2000)로부터 수신된 주문 정보에 포함된 제2 객체와 수납부에 수납된 제1 객체를 비교함으로써 매칭되는지 여부를 결정할 수 있다.
S2117에서, 이동 로봇(1000)은 수납부에 수납된 제1 객체와 주문 정보에 포함된 제2 객체를 비교한 결과에 기초하여, 결정된 매칭 결과에 대한 정보를 서버(2000)로 전송할 수 있다.
S2118에서, 이동 로봇(1000)은, 수납된 제1 객체가 수신된 주문 정보에 포함된 제2 객체와 매칭되는 경우, 주문 정보에 따라 결정된 목적지로 이동할 수 있다. S2119에서, 이동 로봇(1000)은 주문 정보에 따라 결정된 목적지에 도달하였는지 여부를 결정하고, 목적지에 도달한 경우, 목적지 도달 완료 알림을 서버(2000)로 전송할 수 있다.
S2120에서, 이동 로봇(1000)은 목적지에서 고객을 식별하고, 식별된 고객에게 수납된 제1 객체를 제공할 수 있다. S2121에서, 이동 로봇(1000)은 수납된 제1 객체를 고객에게 제공한 후, 제1 객체 제공 완료 알림을 서버(2000)로 전송할 수 있다.
S2122에서, 서버(2000)는 제1 객체 제공 완료 알림을 수신 한 후, 결제 관련 정보를 이동 로봇(1000)으로 전송할 수 있다. S2123에서, 결제 관련 정보는 기 설정된 통신 채널을 통하여, 서버(2000)에서 이동 로봇(1000)으로 전송될 수 있다.
S2124에서, 이동 로봇(1000)은 서버(2000)로부터 수신한 결제 관련 정보를 이용하여 고객에게 결제 서비스를 제공할 수 있다. S2125에서, 이동 로봇(1000)은 고객의 결제가 완료되는 경우, 결제 완료 알림을 서버(2000)로 전송할 수 있다.
또 다른 실시 예에 의하면, 이동 로봇(1000)에 수납된 객체와 주문 정보에 포함된 객체가 매칭되는지 여부를 비교하는 과정은 서버(2000)상에서 수행될 수도 있다.
도 22는 일 실시 예에 따른 서버(2000)의 블록도를 나타내는 도면이다.
본 개시에 따른 서버(2000)는 통신부(2100), 데이터베이스(Data Base, 2200) 및 프로세서(2300)를 포함할 수 있다.
통신부(2100)는 이동 로봇(1000)과 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 통신부(2100)는 이동 로봇(1000)으로부터 객체 수납 확인 정보, 수납부에 수납된 객체와 주문 정보에 포함된 객체가 일치하는지 여부에 관한 정보, 객체 제공 완료 알림, 결제 완료 알림과 관련된 정보를 수신할 수 있다. 또한, 통신부(21000)는 주문 정보 및 결제 관련 정보를 이동 로봇(1000)으로 전송할 수 있다.
DB(2200)는 매장 내 직원 또는 매장 내 객체를 관리하는 시스템으로부터 수신된 주문 정보, 주문된 객체에 대한 결제 관련 정보, 객체를 주문한 고객의 고객 식별 정보 등을 저장할 수 있다. 또한, 데이터 베이스(2200)는 주문된 객체와 관련된 이미지, 주문된 객체와 관련된 다른 객체에 대한 정보들을 더 저장할 수 있다.
프로세서(2300)는 통상적으로 서버(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2300)는, 서버(2000)의 DB(2200)에 저장된 프로그램들을 실행함으로써, DB(2200) 및 통신부(2100) 등을 전반적으로 제어할 수 있다. 프로세서(2300)는 DB(2200)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도21에서의 이동 로봇(1000)의 동작의 일부를 수행할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 이동 로봇이 객체를 운반하는 방법에 있어서,
    상기 이동 로봇에 포함된 수납부에 제1 객체가 수납되었는지 여부를 확인하는 동작;
    상기 수납된 제1 객체가 미리 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정하는 동작;
    상기 수납된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는 경우, 상기 주문 정보에 따라 결정된 목적지로 이동하는 동작; 및
    상기 주문 정보에 따라 결정된 목적지에서 상기 제1 객체를 고객에게 제공하는 동작; 을 포함하는 방법.
  2. 제1항에 있어서, 상기 제1 객체가 수납되었는지 여부를 확인하는 동작은
    상기 제1 객체가 거치되는 트레이가 상기 수납부에 부착되었는지 여부를 감지하는 동작;
    상기 트레이가 부착된 경우, 상기 트레이의 무게를 감지하는 동작; 및
    상기 트레이가 상기 수납부에 부착되었는지 여부 및 상기 트레이의 무게를 이용하여 상기 제1 객체가 수납되었는지 여부를 확인하는 동작; 을 포함하는 것인, 방법.
  3. 제1항에 있어서, 상기 수납된 제1 객체가 상기 주문 정보에 포함된 상기 제2 객체와 매칭되는지 여부를 결정하는 동작은
    상기 이동 로봇의 사용자 입력부 및 상기 이동 로봇의 통신부 중 적어도 하나를 이용하여 상기 주문 정보를 수신하는 동작;
    상기 제1 객체가 거치되는, 상기 수납부 내의 트레이의 제1 식별 코드 및 상기 제1 객체에 포함된 제2 식별 코드 중 적어도 하나를 이용하여 상기 수납된 제1 객체를 식별하는 동작; 및
    상기 식별된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정하는 동작; 을 포함하는 것인, 방법.
  4. 제1항에 있어서, 상기 결정된 목적지로 이동하는 동작은
    상기 이동 로봇의 외부로부터 소정의 오디오 신호를 감지하는 동작;
    상기 오디오 신호가 감지되면, 상기 감지된 오디오 신호에 기초하여 상기 이동 로봇의 주행 경로를 결정하는 동작; 및
    상기 결정된 주행 경로에 기초하여 상기 결정된 목적지로 이동하는 동작; 을 포함하는 것인 방법.
  5. 제4항에 있어서, 상기 결정된 목적지로 이동하는 동작은
    상기 소정의 오디오 신호가 감지되지 않는 경우, 상기 이동 로봇이 수행 중인 기능의 특성에 기초하여, 상기 주행 경로를 결정하는 동작; 을 더 포함하는 것인, 방법.
  6. 제4항에 있어서, 상기 주행 경로를 결정하는 동작은
    상기 감지된 소정의 오디오 신호로부터 피치, 하모니, 음량, 템포, 리듬 및 멜로디 중 적어도 하나를 포함하는 오디오 특성을 결정하는 동작;
    상기 결정된 오디오 특성과 매칭되는 모션 패턴을 기 저장된 모션 테이블로부터 결정하는 동작; 및
    상기 결정된 모션 패턴을 이용하여 상기 주행 경로를 결정하는 동작; 을 포함하는 것인, 방법.
  7. 제4항에 있어서, 상기 목적지로 이동하는 동작은
    상기 이동 로봇이 이동하는 바닥면의 상태를 식별하는 동작;
    상기 식별된 바닥면 상태에 따라 상기 결정된 주행 경로를 수정하는 동작; 및
    상기 수정된 주행 경로에 기초하여 상기 목적지로 이동하는 동작; 을 포함하는 것인, 방법.
  8. 제4항에 있어서, 상기 목적지로 이동하는 동작은
    상기 이동 로봇의 작업 공간에 대한 지도를 생성하는 동작;
    상기 작업 공간 내 적어도 하나의 장애물을 검출하는 동작;
    상기 생성된 지도에서, 상기 검출된 적어도 하나의 장애물의 위치를 이용하여 상기 이동 로봇의 이동 가능 공간을 추정하는 동작;
    상기 추정된 이동 가능 공간, 상기 이동 로봇의 크기 및 상기 이동 로봇의 회전 각도에 기초하여 상기 주행 경로를 수정하는 동작; 및
    상기 수정된 주행 경로에 기초하여 상기 목적지로 이동하는 동작; 을 포함하는 것인, 방법.
  9. 제1항에 있어서, 상기 제1 객체를 상기 고객에게 제공하는 동작은
    상기 목적지에 도달하였는지 여부를 결정하는 동작;
    상기 이동 로봇이 상기 목적지에 도달하면, 상기 수납된 제1 객체에 관한 정보를 출력하는 동작; 및
    상기 수납된 제1 객체에 관한 정보를 출력 후, 상기 제1 객체를 상기 고객에게 제공하는 동작; 을 포함하는 것인, 방법.
  10. 제9항에 있어서, 상기 제1 객체를 고객에게 제공하는 동작은
    상기 수납부가 상기 고객을 향하도록 상기 이동 로봇의 방향을 회전하는 동작; 및
    상기 이동 로봇의 방향이 회전된 상태에서 상기 객체를 상기 고객에게 제공하는 동작; 을 포함하는 것인, 방법.
  11. 제9항에 있어서, 상기 목적지에 도달하였는지 여부를 결정하는 동작은
    상기 고객의 테이블 번호 및 상기 고객의 안면 인식 결과 중 적어도 하나를 상기 주문 정보와 비교함으로써 상기 고객을 식별하는 동작;
    상기 식별된 고객이 기 설정된 범위 내에 위치하는지 여부를 결정하는 동작; 및
    상기 식별된 고객이 기 설정된 범위 내에 위치하는 경우, 상기 목적지에 도달한 것으로 결정하는 동작; 을 포함하는 것인, 방법.
  12. 제1항에 있어서, 상기 방법은
    상기 제1 객체가 상기 고객에게 제공되면, 상기 제공된 제1 객체와 관련되는 추가 주문을 접수하는 동작; 및
    상기 접수된 추가 주문에 대한 결제 서비스를 제공하는 동작; 을 더 포함하는 것인, 방법.
  13. 제1항에 있어서,
    상기 이동 로봇은 기 설정된 발광 패턴 및 발광 색상에 따라 발광하는 발광부를 포함하고,
    상기 발광 패턴 및 상기 발광 색상은, 상기 목적지로 이동하는 동작 및 상기 제1 객체를 상기 고객에게 제공하는 동작 마다 서로 달라지는 것인, 방법.
  14. 객체를 운반하는 이동 로봇에 있어서,
    통신 인터페이스;
    상기 객체를 수납하기 위한 수납부;
    상기 이동 로봇의 이동을 제어하는 구동부;
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 하나 이상의 인스트럭션을 실행함으로써 상기 이동 로봇을 제어하는 프로세서; 를 포함하고,
    상기 프로세서는, 상기 수납부에 제1 객체가 수납되었는지 여부를 확인하고,
    상기 수납된 제1 객체가 미리 수신된 주문 정보에 포함된 제2 객체와 매칭되는지 여부를 결정하고,
    상기 수납된 제1 객체가 상기 수신된 주문 정보에 포함된 제2 객체와 매칭되는 경우, 상기 주문 정보에 따라 결정된 목적지로 이동하도록 상기 구동부를 제어하고,
    상기 주문 정보에 따라 결정된 목적지에서 상기 제1 객체를 고객에게 제공하도록 상기 수납부를 제어하는 것인, 이동 로봇.
  15. 제1항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2019/017347 2019-01-03 2019-12-10 이동 로봇 및 그의 동작 방법 WO2020141747A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0000668 2019-01-03
KR1020190000668A KR102315925B1 (ko) 2019-01-03 2019-01-03 이동 로봇 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2020141747A1 true WO2020141747A1 (ko) 2020-07-09

Family

ID=71407049

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/017347 WO2020141747A1 (ko) 2019-01-03 2019-12-10 이동 로봇 및 그의 동작 방법

Country Status (2)

Country Link
KR (1) KR102315925B1 (ko)
WO (1) WO2020141747A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11919146B2 (en) * 2021-04-28 2024-03-05 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
US11911890B2 (en) * 2021-04-28 2024-02-27 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for providing a service using a robot
US20220357721A1 (en) * 2021-05-10 2022-11-10 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a robot
KR102472443B1 (ko) * 2021-05-26 2022-12-01 주식회사 뉴로메카 조리 공정용 협동로봇의 이동식 베이스
KR102376301B1 (ko) * 2021-08-06 2022-03-18 티오더 주식회사 빅데이터 기반의 음식 추천 및 마케팅 서비스를 제공하는 플랫폼을 위한 시스템
KR102363394B1 (ko) * 2021-08-06 2022-02-15 티오더 주식회사 주문 서비스를 제공하고 광고 메시지를 생성하기 위한 방법 및 장치
CN117425546A (zh) 2021-08-20 2024-01-19 三星电子株式会社 机器人及其控制方法
KR20230028006A (ko) * 2021-08-20 2023-02-28 삼성전자주식회사 로봇 및 그 제어 방법
KR20230043623A (ko) * 2021-09-24 2023-03-31 주식회사 엑스와이지 이동형 로봇을 이용한 무인 결제 방법 및 이를 이용한 무인 결제 시스템
WO2023080404A1 (ko) * 2021-11-02 2023-05-11 삼성전자주식회사 아이템의 배달을 위한 목적지를 제시하는 장치 및 방법
WO2023080406A1 (ko) * 2021-11-02 2023-05-11 삼성전자주식회사 서빙 순서에 따른 아이템 보호 장치 및 방법
KR20230084970A (ko) * 2021-12-06 2023-06-13 네이버랩스 주식회사 서빙 로봇을 제어하는 방법 및 시스템
KR102660845B1 (ko) * 2023-03-06 2024-04-30 디카모 주식회사 음식 이동 컨테이너를 이용하는 주문 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001300876A (ja) * 2000-04-20 2001-10-30 Yamatake Corp サービスロボット及びこれを使用する給仕システム
JP2006297531A (ja) * 2005-04-20 2006-11-02 Fujitsu Ltd サービスロボット
KR20100110143A (ko) * 2009-04-02 2010-10-12 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
KR20160068266A (ko) * 2014-12-05 2016-06-15 (주)아티스 전자테이블을 이용한 음식 주문 관리 시스템 및 그 방법, 서빙용 이송 장치
KR20170112487A (ko) * 2016-03-31 2017-10-12 경남대학교 산학협력단 레스토랑의 지능형 서비스 로봇시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775131B1 (ko) * 2006-04-18 2007-11-08 이노메탈이지로봇(주) 오디오 신호에 따른 로봇 제어 방법 및 장치
JP5187563B2 (ja) 2007-01-22 2013-04-24 株式会社ゼットエムピー 音響再生ロボット

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001300876A (ja) * 2000-04-20 2001-10-30 Yamatake Corp サービスロボット及びこれを使用する給仕システム
JP2006297531A (ja) * 2005-04-20 2006-11-02 Fujitsu Ltd サービスロボット
KR20100110143A (ko) * 2009-04-02 2010-10-12 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
KR20160068266A (ko) * 2014-12-05 2016-06-15 (주)아티스 전자테이블을 이용한 음식 주문 관리 시스템 및 그 방법, 서빙용 이송 장치
KR20170112487A (ko) * 2016-03-31 2017-10-12 경남대학교 산학협력단 레스토랑의 지능형 서비스 로봇시스템

Also Published As

Publication number Publication date
KR20200087362A (ko) 2020-07-21
KR102315925B1 (ko) 2021-10-21

Similar Documents

Publication Publication Date Title
WO2020141747A1 (ko) 이동 로봇 및 그의 동작 방법
WO2020080773A1 (en) System and method for providing content based on knowledge graph
WO2020246643A1 (ko) 서빙 로봇 및 그를 이용한 고객 접대 방법
WO2021015308A1 (ko) 로봇 및 그의 기동어 인식 방법
WO2021010502A1 (ko) 로봇 및 그를 이용한 물품 관리 방법
WO2019216578A1 (en) Method and apparatus for executing cleaning operation
WO2020256163A1 (ko) 인공지능 이동 로봇과 그의 제어 방법
WO2019124963A1 (ko) 음성 인식 장치 및 방법
WO2019031825A1 (ko) 전자 장치 및 그 동작 방법
WO2018101671A1 (en) Apparatus and method for providing sentence based on user input
WO2020141952A1 (en) Conversational control system and method for registering external device
WO2020230928A1 (ko) 로봇 및 그의 제어 방법
EP3773111A1 (en) Method and apparatus for executing cleaning operation
WO2019245331A1 (ko) 텍스트 입력 디바이스 및 그 방법
WO2020036467A1 (ko) 사용자의 음성 입력에 기초하여 응답 메시지를 제공하는 서버 및 그 동작 방법
WO2020251074A1 (ko) 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법
WO2016032039A1 (ko) 영상 투사 장치 및 그의 동작 방법
WO2016093633A1 (ko) 컨텐트를 표시하는 방법 및 디바이스
WO2021040105A1 (ko) 개체명 테이블을 생성하는 인공 지능 장치 및 그 방법
WO2020256169A1 (ko) 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법
WO2021230503A1 (en) Electronic apparatus and controlling method thereof
WO2021101276A1 (en) Electronic device for providing intelligent assistance service and operating method thereof
WO2021006363A1 (ko) 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법
WO2019240434A1 (en) Electronic device and method of controlling thereof
WO2022139420A1 (ko) 전자 장치 및 그의 연속성을 가지는 사용자 입력에 대한 실행 정보를 공유하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19907176

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19907176

Country of ref document: EP

Kind code of ref document: A1