WO2020256159A1 - 이동 로봇과 그의 제어 방법 - Google Patents

이동 로봇과 그의 제어 방법 Download PDF

Info

Publication number
WO2020256159A1
WO2020256159A1 PCT/KR2019/007257 KR2019007257W WO2020256159A1 WO 2020256159 A1 WO2020256159 A1 WO 2020256159A1 KR 2019007257 W KR2019007257 W KR 2019007257W WO 2020256159 A1 WO2020256159 A1 WO 2020256159A1
Authority
WO
WIPO (PCT)
Prior art keywords
serving
user
served
mobile robot
image
Prior art date
Application number
PCT/KR2019/007257
Other languages
English (en)
French (fr)
Inventor
이원희
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/007257 priority Critical patent/WO2020256159A1/ko
Priority to US16/490,469 priority patent/US11370123B2/en
Priority to KR1020190106850A priority patent/KR20190106910A/ko
Publication of WO2020256159A1 publication Critical patent/WO2020256159A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/12—Programme-controlled manipulators characterised by positioning means for manipulator elements electric
    • B25J9/126—Rotary actuators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162—Mobile manipulator, movable base with manipulator arm mounted on it
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45084—Service robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present invention relates to a mobile robot and a control method of a mobile robot for moving an object vertically and horizontally according to the height of the destination to the final destination in the driving of an artificial intelligent mobile robot for serving an object.
  • Robots have been developed for industrial use and have been responsible for part of factory automation. In recent years, the field of application of robots has been further expanded, medical robots, aerospace robots, and the like have been developed, and home robots that can be used in general homes are also being made. Among these robots, those capable of driving by their own force are called mobile robots.
  • a serving robot is disclosed in a prior document (US Patent No. US9535421, publication date January 3, 2017).
  • a touch-based display that provides an interface to a user's request and a container that can hold a serving item are disposed inside the serving robot.
  • the content detection sensor detects it, seals the container, and then starts delivery.
  • the serving robot only moves the serving item in the inner container to the corresponding position, and does not deliver it to the exact required position, and in particular, does not take out the serving item and deliver it directly to the user.
  • a first object of the present invention is to provide a serving robot in which, in a serving robot, the user does not withdraw the serving article, but directly withdraws the serving article to a location desired by the user and provides it to the user.
  • a second object of the present invention is to provide a serving robot capable of placing the serving article at an accurate position by determining a user at a serving position and determining a table on which the serving article is to be placed by reading a user's gesture from an image.
  • a third object of the present invention is to provide a serving robot that determines the position and height of a table using object recognition and vertically moves a support surface by the height of the table to provide the serving item to a user on the table.
  • a fourth object of the present invention is to provide a serving robot capable of moving a serving article on a support surface onto a table having a desired height through vertical and horizontal movement of the support surface on which the serving article is located in the serving robot.
  • the present invention comprises the steps of: receiving, by a mobile robot, a user input including a predetermined service request; Receiving, by the mobile robot, an article to be served; Extracting a serving position by the mobile robot searching for a user and analyzing a user gesture; Analyzing the image of the serving location and extracting a distance and height of the serving location; Moving to the serving position and raising the article to be served to a height of the serving position; And horizontally moving the article to be served to the serving position and lowering the article to be served on the serving position.
  • the mobile robot may include at least one support surface on which the article to be served is accommodated, and may raise the article to be served up to the height of the serving position by moving the at least one support surface up and down.
  • the support surface includes a plurality of rollers for horizontally moving the article to be served, and the article to be served may be placed in the serving position by rotating the roller.
  • the image received from the image acquisition unit of the mobile robot may be converted into a 3D image, and the user's exoskeleton and the user's gesture may be identified from the 3D image to extract the serving location.
  • an image of the serving location may be obtained from the image acquisition unit, and object learning may be performed to extract the distance and height of the serving location.
  • the receiving of the user order may include receiving order information on the item to be served and information on a target location to be served from the user terminal.
  • the receiving of the user order may include receiving order information on the item to be served and information on a target location to be served from a server.
  • the mobile robot may further include the step of searching for the user at a short distance from the target location and acquiring an image of the user by following the searched user.
  • the mobile robot may acquire an image in which the article to be served is placed at the serving position, transmit the serving completion information to the server, and proceed to return to the starting point.
  • an embodiment of the present invention is a body forming the appearance; A driving unit that moves the body; An image acquisition unit for generating image information by photographing an image of the driving area; At least one support surface for supporting the article to be served; Movement including a control unit that receives order information on the item to be served, searches a user, analyzes user gestures, extracts a serving location, and controls a support surface to lower the received item to the serving location Provide a robot.
  • the controller may extract the distance and height of the serving location by analyzing the image of the serving location.
  • the control unit may drive the support surface to horizontally move the item to be served to the serving position to place the item to be served on the serving position.
  • the mobile robot may include a vertical motion motor that moves the support surface in the vertical direction.
  • a plurality of rollers may be disposed on the support surface to move in a horizontal direction to push the article to be served to the serving position.
  • It may further include a horizontal movement motor for rotating the plurality of rollers of the support surface.
  • the control unit may convert the image received from the image acquisition unit into a 3D image, and extract the serving location by grasping the user's exoskeleton and the user's gesture from the 3D image.
  • the control unit may obtain an image of a serving location from the image acquisition unit and perform object learning to extract a distance and a height of the serving location.
  • the mobile robot may be installed such that a plurality of support surfaces are arranged in parallel in a vertical direction so as to be movable in a vertical direction, respectively.
  • the mobile robot may further include a communication unit for receiving order information for the item to be served and information on a target location to be served from a user terminal or a server.
  • the mobile robot may acquire an image in which the article to be served is placed at the serving position, transmit the serving completion information to the server, and proceed to return to the starting point.
  • the present invention can provide the user by directly withdrawing the serving item accommodated by the serving robot at a location desired by the user, without the user withdrawing the serving item.
  • the serving robot may determine the user at the delivery position and read the user's gesture from the image to determine the table on which the serving article is to be placed, thereby placing the serving article at the correct position.
  • a serving item may be provided on the table desired by the user.
  • FIG. 1 is a block diagram of a mobile robot system according to an embodiment of the present invention.
  • FIG. 2 is a side elevation view of the mobile robot of FIG. 1;
  • FIG. 3 is an elevation view of the support surface of the mobile robot of FIG. 1 as viewed from the top.
  • FIG. 4 is an enlarged side view of the support surface of FIG. 3.
  • FIG. 5 is an elevation view of the support surface of FIG. 3 as viewed from the bottom.
  • FIG. 6 is a block diagram showing a control relationship of the mobile robot of FIG. 1.
  • FIG. 7 is a flowchart illustrating a delivery method of the mobile robot of FIG. 1.
  • 8A to 8E are state diagrams according to the flow chart of FIG. 7.
  • FIG. 9 is a flowchart illustrating another method of the method of determining the support surface of FIG. 7.
  • each component is exaggerated, omitted, or schematically illustrated for convenience and clarity of description. Also, the size and area of each component do not fully reflect the actual size or area.
  • FIGS. 1 to 5 a serving robot among mobile robots will be described with reference to FIGS. 1 to 5, but it is not necessarily limited thereto.
  • FIG. 1 is a configuration diagram of a mobile robot system according to an embodiment of the present invention
  • FIG. 2 is an elevation view as viewed from the side of the mobile robot of FIG. 1
  • FIG. 3 is an elevation view as viewed from the top of the support surface of the mobile robot of FIG.
  • FIG. 4 is an enlarged side view of the support surface of FIG. 3
  • FIG. 5 is an elevation view of the support surface of FIG. 3 as viewed from a lower surface.
  • the robot system includes one or more robots 1 to provide services in various places such as restaurants, houses, hotels, marts, clothing stores, logistics, and hospitals.
  • the robot system may include a serving robot 1 that interacts with a user at home or the like, and can transport a predetermined item to a location desired by the user based on the user's input.
  • the robot system may include a server 2 capable of managing and controlling a plurality of serving robots 1 and a plurality of serving robots 1.
  • the server 2 can remotely monitor and control the state of the plurality of robots 1, and the robot system can provide more effective services by using the plurality of robots 1.
  • the plurality of robots 1 and the server 2 are provided with a communication means (not shown) supporting one or more communication standards, and can communicate with each other.
  • the plurality of robots 1 and 2 can communicate with a PC, a mobile terminal, and other external servers.
  • a plurality of robots (1) and servers (2) will be implemented to wirelessly communicate with wireless communication technologies such as IEEE 802.11 WLAN, IEEE 802.15 WPAN, UWB, Wi-Fi, Zigbee, Z-wave, Blue-Tooth, etc. I can.
  • the robot 1 may vary depending on what other devices to communicate with or the communication method of the server 2.
  • the plurality of robots 1 may implement wireless communication with other robots 1 and/or server 2 through a 5G network.
  • the robot 1 wirelessly communicates through a 5G network, real-time response and real-time control are possible.
  • the plurality of robots 1 and 2 may communicate using MQTT (Message Queueing Telemetry Transport) method and HTTP (HyperText Transfer Protocol) method.
  • MQTT Message Queueing Telemetry Transport
  • HTTP HyperText Transfer Protocol
  • the plurality of robots 1 and 2 can communicate with a PC, a mobile terminal, and other external servers in an HTTP or MQTT method.
  • the plurality of robots 1 and 2 may support two or more communication standards, and use an optimal communication standard according to the type of communication data and the type of devices participating in the communication.
  • the user can check or control information on the robots 1 in the robot system through the PC 3a, the mobile terminal 3b, or the like.
  • a'user' is a person who uses a service through at least one robot, and an individual customer who purchases or rents a robot and uses it at home, and managers and employees of a company that provides services to employees or customers using the robot And customers who use the services provided by these companies. Accordingly, the'user' may include individual customers (Business to Consumer: B2C) and corporate customers (Business to Business: B2B).
  • the server 2 is implemented as a cloud server, and the user can communicate with various devices such as PC 3a and mobile terminal 3b, and the data stored in the server 2 and the functions and services provided by the server 2 You can use
  • the cloud server 2 is linked to the robot 1 to monitor and control the robot 1 and provide various solutions and contents remotely.
  • the server 2 may store and manage information received from the robots 1 and other devices.
  • the server 2 may be a server provided by a manufacturer of the robots 1 or a company entrusted with a service by the manufacturer.
  • the server 2 may be a control server that manages and controls the robots 1.
  • the server 2 may control the robots 1 in a batch and the same manner, or may control each robot. In addition, the server 2 may set at least some of the robots 1 as a group and then control each group.
  • the server 2 may be configured by distributing information and functions to a plurality of servers, or may be configured as a single integrated server.
  • the robot 1 and the server 2 are provided with communication means (not shown) that support one or more communication standards, and can communicate with each other.
  • the robot 1 may transmit space, object, and usage-related data to the server 2 to the server 2.
  • the data is space
  • the object-related data is the space and object-recognition-related data recognized by the robot 1, or the space and the object obtained by the image acquisition unit ( Object) may be image data.
  • the robot 1 and the server 2 are artificial neural networks (ANNs) in the form of software or hardware that are learned to recognize at least one of attributes of objects such as users, voices, space attributes, and obstacles. It may include.
  • ANNs artificial neural networks
  • the robot 1 and the server 2 are deep learning such as CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), DBN (Deep Belief Network), etc. It may include a deep neural network (DNN).
  • DNN deep neural network structure
  • CNN convolutional neural network
  • CNN convolutional neural network
  • the server 2 learns a deep neural network (DNN) based on data received from the robot 1 and data input by the user, and then transmits the updated deep neural network (DNN) structure data to the robot 1 I can. Accordingly, the structure of a deep neural network (DNN) of artificial intelligence included in the robot 1 can be updated.
  • DNN deep neural network
  • usage-related data is data that is acquired according to the use of a predetermined product, for example, the robot 1, and includes usage history data, detection signals acquired from the sensor unit 110, etc. I can.
  • the learned deep neural network structure may receive input data for recognition, recognize attributes of people, objects, and spaces included in the input data, and output the result.
  • the learned deep neural network structure receives input data for recognition, analyzes and learns usage-related data (Data) of the robot 1 to recognize usage patterns, usage environments, etc. .
  • data related to space, object, and usage may be transmitted to the server 2 through the communication unit 190.
  • the server 2 may learn a deep neural network (DNN) based on the received data, and then transmit the updated deep neural network (DNN) structure data to the mobile robot 1 to update it.
  • DNN deep neural network
  • the robot 1 becomes more and more smart, and it is possible to provide a user experience (UX) that evolves as it is used.
  • the robot 1 and the server 2 may also use external information.
  • the server 2 may provide an excellent user experience by comprehensively using external information acquired from another linked service server (not shown).
  • the robot 1 can provide more diverse and active control functions to the user by actively first providing information or outputting a voice recommending a function or service.
  • FIG. 2 to 5 illustrate a serving robot 1 capable of transporting a predetermined article.
  • the serving robot 1 may move by autonomous driving or following driving, and may further include a serving tray capable of accommodating an article to be served.
  • serving items in a hotel may include towels, toothbrushes, toothpaste, bathroom products, bedding, beverages, food, room service, and other small household appliances.
  • the serving item in the restaurant may be an ordered beverage or food.
  • the serving robot 1 may deliver an article to be served to a target position designated by a user while autonomously driving in a predetermined place, and serve the article at the target position.
  • a modular design may be applied to the serving robot 1 in order to provide an optimized service according to a use environment and purpose.
  • the basic platform includes a driving module 20 in charge of driving with wheels, motors, etc., a UI module 180 in charge of interaction with a user by including a display, a microphone, and a speaker, and items to be served. It may include a service module 10 that provides services such as storage.
  • the driving module 20 may include one or more cutouts 20a.
  • This cut-out portion 20a is a portion cut in the driving module 20 so that an inner front rider (not shown) can be operated, and may be formed from the front side of the outer circumferential surface of the driving module 20 to the side.
  • the front rider may be disposed to face the cutout 20a inside the driving module 20. Accordingly, the front rider may emit a laser through the cutout 20a.
  • Another cutout (not shown), which is a part cut in the driving module 20 so that the inner rear rider (not shown) can be operated, may be formed over the side from the rear of the outer peripheral surface of the driving module 20 , It is formed so that the inner rear rider is operable.
  • the rear rider may be disposed inside the driving module 20 to face the other cutout. Accordingly, the rear rider may emit a laser through the other incision.
  • it may include another cut-out portion cut in the driving module 20 so that an internal sensor such as a cliff detection sensor that detects the presence or absence of a cliff on the floor in the driving area can be operated.
  • an internal sensor such as a cliff detection sensor that detects the presence or absence of a cliff on the floor in the driving area can be operated.
  • a sensor may be disposed on the outer surface of the driving module 20.
  • An obstacle detection sensor such as an ultrasonic sensor for detecting an obstacle may be disposed on the outer surface of the driving module 20.
  • the ultrasonic sensor may be a sensor for measuring a distance between an obstacle and the serving robots 1 using an ultrasonic signal.
  • the ultrasonic sensor may perform a function of detecting an obstacle adjacent to the serving robot 1.
  • the UI module 180 may be implemented to be rotatable.
  • the UI module 180 may include a head portion 180a that can rotate in the left-right direction and a body portion 180b that supports the head portion 180a.
  • the head unit 180a may rotate based on an operation mode and a current state of the serving robot 1.
  • the UI module 180 may further include a camera of the image acquisition unit 120.
  • the camera may be disposed on the head portion 180a to obtain image data of a predetermined range in a direction toward the head portion 180a.
  • the head unit 180a may rotate so that the camera faces the identified user.
  • the UI module 180 may include two displays 182a and 182b, and at least one of the two displays 182a and 182b may be configured as a touch screen to be used as an input means.
  • the service module 10 of the serving robot 1 includes at least one serving support surface 400a and 400b.
  • the service module 10 is disposed on the driving module 20 in the vertical direction (z-axis direction), and may have at least one serving support surface 400a, 400b, and in particular, two or more serving support surfaces 400a, 400b) may be formed in parallel.
  • Each serving support surface (400a, 400b) is provided with a space for receiving / supporting the serving article can stably transport the serving article.
  • a plurality of serving support surfaces 400a and 400b (tray) as shown in FIG. 2 may be provided on one serving robot 1.
  • Serving support surfaces (400a, 400b) are plate-shaped trays having a predetermined area in a horizontal direction (xy plane) on the bottom surface, and an article to be served is placed on the support surfaces (400a, 400b), and when the arrangement is completed, serving You can move to the location and start serving.
  • the serving support surfaces 400a and 400b include a rotating roller unit 401 that can push the placed article in a horizontal direction and place it on a serving position such as a table desired by the user.
  • the rotating roller unit 401 may be formed of a plurality of rollers arranged side by side across the front of the serving support surfaces 400a and 400b as shown in FIGS. 2 and 3, and each roller is formed by a horizontal moving motor 174. It is driven at the same time to horizontally move the article disposed on the support surfaces 400a and 400b forward or backward on a plane.
  • the serving robot 1 connects the plurality of serving support surfaces 400a and 400b to the body portion 180b to vertically move the plurality of serving support surfaces 400a and 400b. Include more.
  • the coupling portions 170a and 170b may be formed with respect to each of the serving support surfaces 400a and 400b, and the rack gear 171 and the rack gear 171 formed in the length direction on the body portion 180b )
  • the vertical movement motor 172 may be attached to the lower surfaces of each of the support surfaces 400a and 400b as shown in FIGS. 4 and 5, and may be disposed adjacent to the horizontal movement motor 174.
  • the serving robot 1 drives the horizontal movement motor 174 and the vertical movement motor 172 for each of the support surfaces 400a and 400b according to the control signal of the control unit 140, respectively, to a predetermined height.
  • the serving support surfaces 400a and 400b may be moved, and a serving article disposed on each serving support surface 400a and 400b may be pushed in a horizontal direction to be directly delivered to a target serving position.
  • FIG. 6 is a block diagram showing a control relationship of the mobile robot of FIG. 1.
  • the serving robot 1 includes a control unit 140 that controls the overall operation of the serving robot 1, a storage unit 130 that stores various data, and a server ( 2) It may include a communication unit 190 for transmitting and receiving data with other devices.
  • the controller 140 controls the storage unit 130, the communication unit 190, the driving unit 160, the sensor unit 110, the output unit 180, etc. of the serving robot 1 You can control the overall operation.
  • the storage unit 130 records various types of information required for control of the serving robot 1 and may include a volatile or nonvolatile recording medium.
  • a recording medium stores data that can be read by a micro processor, and is a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, CD-ROM, magnetic It may include a tape, a floppy disk, an optical data storage device, and the like.
  • the communication unit 190 includes at least one communication module to allow the serving robot 1 to be connected to the Internet or a predetermined network, and to communicate with other devices.
  • the communication unit 190 may process data transmission/reception between the serving robot 1 and the server 2 by connecting with a communication module provided in the server 2.
  • the serving robot 1 may further include a voice input unit 125 for receiving a user's voice input through a microphone.
  • the voice input unit 125 may include or be connected to a processor for converting analog sound into digital data, and may convert a user input voice signal into data so that the controller 140 or the server 2 can recognize it.
  • data for voice recognition may be stored in the storage unit 130, and the control unit 140 may process a user's voice input signal received through the voice input unit 125 and perform a voice recognition process. .
  • the controller 140 may control the robot 1 to perform a predetermined operation based on the result of speech recognition.
  • the serving robot 1 may include the output unit 180 to display predetermined information as an image or output as sound.
  • the output unit 180 may include displays 182a and 182b that display information corresponding to a user's command input, a processing result corresponding to the user's command input, an operation mode, an operation state, an error state, etc. .
  • the serving robot 1 may include a plurality of displays 182a and 182b.
  • the displays 182a and 182b may form a layer structure with a touch pad to form a touch screen.
  • the display 182a configured as a touch screen may be used as an input device capable of inputting information by a user's touch in addition to an output device.
  • the output unit 180 may further include an audio output unit 181 that outputs an audio signal.
  • the sound output unit 181 displays a warning sound, an operation mode, a notification message such as an operation state, an error state, etc., information corresponding to a user's command input, a processing result corresponding to the user's command input, etc. It can be output as sound.
  • the sound output unit 181 may convert an electrical signal from the control unit 140 into an audio signal and output it. To this end, a speaker or the like may be provided.
  • the serving robot 1 may further include an image acquisition unit 120 capable of capturing a predetermined range.
  • the image acquisition unit 120 photographs the surrounding, external environment of the serving robot 1 and may include a camera module. Several such cameras may be installed for each part for shooting efficiency.
  • the image acquisition unit 120 may capture an image for user recognition.
  • the controller 140 may determine an external situation or recognize a user (a guide target) based on an image captured by the image acquisition unit 120 and acquired.
  • control unit 140 may control the robot 1 to travel based on an image captured and acquired by the image acquisition unit 120.
  • the image acquired by photographing the image acquisition unit 120 may be stored in the storage unit 130.
  • the serving robot 1 may further include a driving unit 160 for movement, and the driving unit 160 may move the main body under the control of the controller 140.
  • the driving unit 160 may include at least one driving wheel (not shown) for moving the robot 1.
  • the driving unit 160 may include a driving motor (not shown) connected to the driving wheel to rotate the driving wheel.
  • the driving wheels may be provided on the left and right sides of the main body, respectively, hereinafter referred to as left and right wheels, respectively.
  • the left and right wheels may be driven by one drive motor, but a left wheel drive motor for driving the left wheel and a right wheel drive motor for driving the right wheel may be provided, respectively, if necessary. It is possible to change the driving direction of the main body to the left or to the right by making a difference in the rotation speed of the left and right wheels.
  • the serving robot 1 may include a sensor unit 110 including sensors for sensing various data related to the operation and state of the serving robot 1.
  • the sensor unit 110 may further include a motion detection sensor that senses the motion of the robot 1 and outputs motion information.
  • a motion detection sensor that senses the motion of the robot 1 and outputs motion information.
  • a gyro sensor a wheel sensor, an acceleration sensor, or the like may be used.
  • the sensor unit 110 may include an obstacle detection sensor that detects an obstacle, and the obstacle detection sensor includes an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, a PSD (Position Sensitive Device) sensor, and a floor in a driving area. It may include a cliff detection sensor, light detection and ranging (Lidar), etc. that detects the presence or absence of a cliff.
  • the obstacle detection sensor includes an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, a PSD (Position Sensitive Device) sensor, and a floor in a driving area. It may include a cliff detection sensor, light detection and ranging (Lidar), etc. that detects the presence or absence of a cliff.
  • the obstacle detection sensor detects an object, particularly an obstacle, which exists in the traveling (movement) direction of the mobile robot and transmits the obstacle information to the controller 140.
  • the controller 140 may control the movement of the serving robot 1 according to the detected position of the obstacle.
  • the controller 140 may control to transmit the operation state of the serving robot 1 or a user input, etc. to the server 2 through the communication unit 190.
  • the controller 140 When the controller 140 approaches a target location provided by the user, it obtains a surrounding image from the image acquisition unit 120 at the corresponding location, and reads the presence or absence of the user according to the image data.
  • the user's gesture is read, and an exact serving position to place the item to be served is determined according to the user's gesture.
  • control unit 140 determines the target position to serve, it moves through the driving unit 160 by calculating the height and distance of the target position through object recognition, and drives the vertical movement motor 172 and the horizontal movement motor 174 Then, the serving item is accurately placed at the target location.
  • the control unit 140 may apply a camera pose extraction algorithm to determine a user's gesture and target position from the image data, and the serving position, for example, a serving position on a specific table through an object recognition algorithm. Can judge.
  • FIG. 7 is a flowchart illustrating a delivery method of the serving robot 1 of FIG. 1, and FIGS. 8A to 8E are state diagrams according to the flowchart of FIG. 7.
  • the serving robot system receives an order from a user (S10).
  • An order from the user may be received from the user terminal 3b, or the user may access the server 2 to place an order.
  • the user may directly touch the display 182a of the serving robot 1 to input order information.
  • the order information may be information on a target location to be served and an item to be served, for example, food or drink selected from a menu in the case of a restaurant.
  • the server 2 transmits the order information through the communication unit 190 of the serving robot 1.
  • the serving robot 1 receives the serving item (S11).
  • the serving robot 1 checks order information and receives a corresponding serving item at a desk or a starting point. Receiving such a serving item is recognized as being placed on the serving support surfaces 400a and 400b.
  • product containers 200a, 200b on which food is placed may be placed on the support surfaces 400a, 400b as shown in FIG. 3, and the serving robot 1 is the product container 200a, 200b.
  • the serving robot 1 is the product container 200a, 200b.
  • the serving robot 1 receives map information for the corresponding region from the server, displays the corresponding target position on the map for the corresponding region, and moves to the target position.
  • the controller 140 of the serving robot 1 proceeds to search for a user (S13).
  • This user search may be performed by performing object recognition while continuously photographing a nearby environment through the image acquisition unit 120.
  • the learning engine may recognize at least one object or living body included in the input image. More specifically, the controller 140 may recognize a shape of a user, that is, a person among living things by analyzing a feature point among those recognized as an object.
  • the controller 140 When it is recognized that there is a person near the target location, the controller 140 performs matching while following the head unit 180a toward the person. The controller 140 assumes that the person is a user, and acquires the movement of the user through the image acquisition unit 120 and the sensor unit 110 (S14).
  • control unit 140 continuously receives a 2D image from the image acquisition unit 120 and extracts the user's exoskeleton as a 3D image through modeling (Global Geometry Network) to determine the user's gesture. Do (S15).
  • the user's gesture determination may be extracted by applying a cooperative holistic 3D indoor scene understanding technique. That is, object bounding box, room layout, and camera pose are all jointly restored and parameterized in 3D.
  • the user's gesture and the user's outline may be estimated by the 3D camera pose transformation.
  • the serving position at which the serving item is put down at the target position is accurately identified by the gesture of the user estimated in this way (S16).
  • a location indicated by the corresponding gesture may be identified as a serving location.
  • the gesture to be identified can be variously changed according to the setting, and can be set by pointing with a finger or tapping on a specific target position.
  • information on the identified serving location may be recorded in the server 2 and the storage unit 130.
  • the controller 140 of the serving robot 1 determines whether or not the identified serving position is appropriate (S17).
  • the serving position is a height that the support surfaces 400a and 400b of the serving robot 1 can reach, whether it includes a horizontal surface, and whether the serving position is close to the target position. .
  • the controller 140 obtains image information on the serving location from the image acquisition unit 120 and extracts a 3D shape of the serving location through object learning (S18).
  • the controller 140 controls the driving unit 160 by setting a direction so that the support surfaces 400a and 400b face the position of the table. It moves (S20).
  • the controller 140 drives the vertical motion motor 172 as shown in FIG. 400b) is moved in the vertical direction (S21).
  • it may be moved higher by a predetermined size than the height of the table in consideration of the thickness of the support surfaces 400a and 400b.
  • the horizontal movement motor 174 is driven to rotate the rollers of the support surfaces 400a and 400b to push the serving article onto the table.
  • control unit 140 drives the horizontal movement motor 174 as shown in FIG. 8E, and the roller unit 401 of the support surfaces 400a and 400b rotates forward by rotation of the motor, thereby placing it on the roller unit 401.
  • the existing article containers 200a and 200b move in the horizontal direction.
  • the control unit 140 analyzes the image acquired through the image acquisition unit 120 (S23), and analyzes the detection signal from the sensor unit 110 It is determined whether the member of the article containers 200a and 200b disposed on the support surfaces 400a and 400b and the corresponding article containers 200a and 200b are correctly placed on the table (S24).
  • the controller 140 reads the map information to return the serving robot 1 to the driving unit of the serving robot 1 ( 160) is driven (S25).
  • the location of the serving item is determined according to the user's gesture, and the height of the serving location is analyzed to accurately place the serving item at the corresponding location.
  • the serving robot 1 can put the item down at the user's desired location without the user separately obtaining the item from the item container 200a, 200b of the serving robot 1, thereby providing convenience to the user. .
  • the serving robot 1 when the serving robot 1 according to the embodiment of the present invention is equipped with a plurality of support surfaces 400a and 400b, it determines which support surfaces 400a and 400b as shown in FIG. Serving can proceed.
  • the controller 140 checks whether the article containers 200a and 200b are disposed on each of the support surfaces 400a and 400b as shown in FIG. 9. The search proceeds (S211).
  • the control unit 140 receives a detection signal whether the containers 200a and 200b for transporting goods are placed on each of the support surfaces 400a and 400b through the sensor unit 110, and based on which support surfaces 400a and 400b It can be determined whether the item is placed in ).
  • the controller 140 determines whether the first article container 200a exists on the first support surface 400a (S212). At this time, if the first article container 200a exists, the first support surface 400a is moved up and down to the estimated height of the table as shown in FIG. 8D (S213), and then the horizontal movement motor 174 is driven to The article container 200a on the first support surface 400a is horizontally moved and placed on the table (S214).
  • the control unit 140 drives the vertical movement motor 172 on the first and second support surfaces 400a and 400b to vertically move the second support surfaces 400a and 400b to the height of the table (S217).
  • the horizontal movement motor 174 is driven to drive the roller 401 on the second support surface 400b to move the article container 200b in the horizontal direction. Push it out (S218). Accordingly, the article container 200b on the second support surface 400b may move on the table.
  • the serving robot 1 determines the support surfaces 400a and 400b on which the article containers 200a and 200b are present among the plurality of support surfaces 400a and 400b, The operation can be performed.
  • the serving position of the article placed on the first support surfaces 400a and 400b is set as the first serving position
  • the serving position of the article placed on the second support surface 400a and 400b is set as the second serving position. I can.
  • the serving robot (1) starting from the starting point serves multiple times according to the number of support surfaces (400a, 400b). Efficiency can be improved by returning after proceeding.
  • the server 2 from which the serving robot 1 returns and receives the return information may update data and manage the data based on the return information.
  • the robot (1) system according to the present invention is not limited to the configuration and method of the embodiments described as described above, but the embodiments are all or part of each of the embodiments so that various modifications can be made. It may be configured in combination.
  • control method of the robot 1 system can be implemented as a code that can be read by a processor on a recording medium that can be read by a processor.
  • the processor-readable recording medium includes all types of recording devices that store data that can be read by the processor. Examples of recording media that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and also include those implemented in the form of carrier waves such as transmission through the Internet. . Further, the processor-readable recording medium is distributed over a computer system connected through a network, so that the processor-readable code can be stored and executed in a distributed manner.
  • driving unit 140 control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 이동 로봇이 소정 서비스 요청을 포함하는 사용자 입력을 수신하는 단계; 상기 이동 로봇이 서빙될 물품을 수령하는 단계; 상기 이동 로봇이 사용자를 탐색하고 사용자 제스처를 분석하여 서빙 위치를 추출하는 단계; 상기 서빙 위치의 영상을 분석하여 상기 서빙 위치의 거리 및 높이를 추출하는 단계; 상기 서빙 위치로 이동하고, 상기 서빙될 물품을 상기 서빙 위치의 높이까지 올리는 단계; 및 상기 서빙 위치까지 상기 서빙될 물품을 수평 이동하여 상기 서빙 위치 위에 상기 서빙될 물품을 내려놓는 단계를 포함하는 이동 로봇의 제어 방법을 제공한다. 따라서, 사용자가 서빙 물품을 인출하지 않고, 사용자가 원하는 위치에서 서빙 로봇이 수용하고 있는 서빙 물품을 직접 인출하여 사용자에게 제공할 수 있다. 또한, 서빙 로봇은 배송 위치에서 사용자를 판단하고, 영상으로부터 사용자의 제스처를 판독하여 상기 서빙 물품이 놓일 테이블을 판단함으로써 정확한 위치에 상기 서빙 물품을 놓을 수 있다.

Description

이동 로봇과 그의 제어 방법
본 발명은 물건을 서빙하기 위한 인공지능 이동 로봇의 주행에 있어서, 물건이 최종 목적지까지 목적지의 높이에 맞추어 물건을 수직 및 수평으로 이동하는 이동 로봇 및 이동 로봇의 제어 방법에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다.
로봇 이용의 증가에 따라, 단순 기능의 반복 수행을 넘어서 다양한 정보, 재미, 서비스를 제공할 수 있는 로봇에 대한 요구가 많아지고 있다.
이에 따라, 가정, 식당, 매장, 공공 장소 등에 배치되어 사람에게 편의를 제공하는 다양한 로봇이 개발되고 있다.
또한, 자력으로 주행이 가능한 이동 로봇을 이용한 서비스들에 제안되고 있다. 예를 들어, 선행 문헌(한국 공개특허공보 10-2008-0090150호, 공개일자 2008년 10월 08일)은 서비스 지역을 이동하면서 현재위치에 따른 서비스를 제공할 수 있는 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및 서비스 로봇을 이용하는 서비스 시스템의 제어방법을 제안하고 있다.
또한, 선행 문헌(미국 등록 특허 US9535421호, 공개일자 2017년 1월 3일)에는 서빙 로봇이 개시되어 있다. 미국 등록 특허 US9535421호에 개시되어 있는 서빙 로봇은 사용자의 요청에 대한 인터페이스를 제공 하는 터치 기반 디스플레이와 서빙 물품을 담을 수 있는 컨테이너가 서빙 로봇의 내부에 배치된다. 사용자는 서빙 물품을 서빙 로봇의 컨테이너에 담고 서빙 물품에 관련된 이송 위치를 디스플레이로 입력받으면 내용물 감지 센서로 감지후 컨테이너를 밀폐한 후 배송을 시작한다.
이와 같은 서빙 로봇은 이송 위치에 도착하면 사용자가 해당 컨테이너로부터 상기 서빙 물품을 직접 인출하는 동작을 수행하여야 한다.
따라서, 서빙 로봇은 내부의 컨테이너 내의 서빙 물품을 해당 위치까지만 이동시킬뿐 정확하게 필요한 위치까지 배달하지 않고, 특히 서빙 물품을 인출하여 사용자에게 직접 전달하지 않는다.
[선행기술문헌]
[특허문헌]
한국 공개특허공보 10-2008-0090150호 (공개일자 2008년 10월 08일)
미국 등록 특허 US9535421호 (공개일자 2017년 1월 3일)
본 발명의 제1 과제는 서빙 로봇에 있어서, 사용자가 서빙 물품을 인출하지 않고, 사용자가 원하는 위치로 상기 서빙 물품을 직접 인출하여 사용자에게 제공하는 서빙 로봇을 제공하는데 있다.
본 발명의 제2 과제는 서빙 위치에서 사용자를 판단하고, 영상으로부터 사용자의 제스처를 판독하여 상기 서빙 물품이 놓일 테이블을 판단함으로써 정확한 위치에 상기 서빙 물품을 놓을 수 있는 서빙 로봇을 제공하는데 있다.
본 발명의 제3 과제는 사물 인식을 이용한 테이블의 위치 및 높이를 판단하고 테이블 높이만큼 지지면을 수직 이동하여 사용자에게 상기 서빙 물품을 테이블 위에 제공하는 서빙 로봇을 제공하는데 있다.
본 발명의 제4 과제는 서빙 로봇에서 서빙 물품이 위치하는 지지면의 수직 및 수평 이동을 통해 지지면 위의 서빙 물품을 원하는 높이의 테이블 위로 이동가능한 서빙 로봇을 제공하는데 있다.
본 발명은 이동 로봇이 소정 서비스 요청을 포함하는 사용자 입력을 수신하는 단계; 상기 이동 로봇이 서빙될 물품을 수령하는 단계; 상기 이동 로봇이 사용자를 탐색하고 사용자 제스처를 분석하여 서빙 위치를 추출하는 단계; 상기 서빙 위치의 영상을 분석하여 상기 서빙 위치의 거리 및 높이를 추출하는 단계; 상기 서빙 위치로 이동하고, 상기 서빙될 물품을 상기 서빙 위치의 높이까지 올리는 단계; 및 상기 서빙 위치까지 상기 서빙될 물품을 수평 이동하여 상기 서빙 위치 위에 상기 서빙될 물품을 내려놓는 단계를 포함하는 이동 로봇의 제어 방법을 제공한다.
상기 이동 로봇은, 상기 서빙될 물품이 수용되는 적어도 하나의 지지면을 포함하고, 상기 적어도 하나의 지지면을 상하이동함으로써 상기 서빙 위치의 높이까지 상기 서빙될 물품을 올릴 수 있다.
상기 지지면은 상기 서빙될 물품을 수평이동하는 복수의 롤러를 포함하며, 상기 롤러를 회전하여 상기 서빙될 물품이 상기 서빙 위치로 놓여질 수 있다.
상기 이동 로봇의 영상획득부로부터 수신된 영상을 3차원 영상으로 변환하고, 상기 3차원 영상으로부터 상기 사용자의 외골격 및 상기 사용자의 제스처를 파악하여 상기 서빙 위치를 추출할 수 있다.
상기 서빙 위치의 거리 및 높이를 추출하는 단계는, 상기 영상획득부로부터 서빙 위치의 영상을 획득하고, 사물 학습을 수행하여 상기 서빙 위치의 거리 및 높이를 추출할 수 있다.
상기 사용자 주문을 수신하는 단계는, 사용자 단말기로부터 상기 서빙될 물품에 대한 주문 정보 및 서빙할 목표 위치에 대한 정보를 수신하는 단계를 포함할 수 있다.
상기 사용자 주문을 수신하는 단계는, 서버로부터 상기 서빙될 물품에 대한 주문 정보 및 서빙할 목표 위치에 대한 정보를 수신하는 단계를 포함할 수 있다.
상기 이동 로봇은 상기 목표 위치로부터 근거리에서 상기 사용자를 탐색하고, 탐색된 사용자를 추종하여 상기 사용자의 영상을 획득하는 단계를 더 포함할 수 있다.
상기 이동 로봇은 상기 서빙될 물품이 상기 서빙 위치에 놓여진 영상을 획득하여 서빙 완료 정보를 상기 서버로 전송하고, 시작점으로 복귀를 진행할 수 있다.
한편, 본 발명의 실시예는 외관을 형성하는 바디; 상기 바디를 이동시키는 구동부; 주행 영역의 영상을 촬영하여 영상 정보를 생성하는 영상획득부; 서빙될 물품을 지지하는 적어도 하나의 지지면; 상기 서빙될 물품에 대한 주문 정보를 수신하고, 사용자를 탐색하고 사용자 제스처를 분석하여 서빙 위치를 추출하여 수령된 상기 서빙될 물품을 상기 서빙 위치에 내려놓도록 지지면을 제어하는 제어부를 포함하는 이동 로봇을 제공한다.
상기 제어부는, 상기 서빙 위치의 영상을 분석하여 상기 서빙 위치의 거리 및 높이를 추출할 수 있다.
상기 제어부는 상기 서빙 위치까지 상기 서빙될 물품을 수평 이동하여 상기 서빙 위치 위에 상기 서빙될 물품을 내려놓도록 상기 지지면을 구동할 수 있다.
상기 이동 로봇은 상기 지지면을 상하 방향으로 이동하는 상하이동 모터를 포함할 수 있다.
상기 지지면은 상기 서빙될 물품을 상기 서빙 위치로 밀어내도록 수평 방향으로 이동시키는 복수의 롤러가 배치될 수 있다.
상기 지지면의 복수의 롤러를 회전시키는 수평이동 모터를 더 포함할 수 있다.
상기 제어부는 상기 영상획득부로부터 수신된 영상을 3차원 영상으로 변환하고, 상기 3차원 영상으로부터 상기 사용자의 외골격 및 상기 사용자의 제스처를 파악하여 상기 서빙 위치를 추출할 수 있다.
상기 제어부는 상기 영상 획득부로부터 서빙 위치의 영상을 획득하고, 사물 학습을 수행하여 상기 서빙 위치의 거리 및 높이를 추출할 수 있다.
상기 이동 로봇은 복수의 지지면이 수직 방향으로 평행하게 배치되어 각각 상하 방향으로 이동 가능하게 설치될 수 있다.
상기 이동 로봇은 사용자 단말기 또는 서버로부터 상기 서빙될 물품에 대한 주문 정보 및 서빙할 목표 위치에 대한 정보를 수신하는 통신부를 더 포함할 수 있다.
상기 이동 로봇은 상기 서빙될 물품이 상기 서빙 위치에 놓여진 영상을 획득하여 서빙 완료 정보를 상기 서버로 전송하고, 시작점으로 복귀를 진행할 수 있다.
상기 해결 수단을 통해, 본 발명은 사용자가 서빙 물품을 인출하지 않고, 사용자가 원하는 위치에서 서빙 로봇이 수용하고 있는 서빙 물품을 직접 인출하여 사용자에게 제공할 수 있다.
또한, 서빙 로봇은 배송 위치에서 사용자를 판단하고, 영상으로부터 사용자의 제스처를 판독하여 상기 서빙 물품이 놓일 테이블을 판단함으로써 정확한 위치에 상기 서빙 물품을 놓을 수 있다.
그리고 사물 인식을 이용한 테이블의 위치 및 높이를 판단하고 테이블 높이만큼 지지면을 수직 이동하여 사용자가 원하는 테이블 위에 서빙 물품을 제공할 수 있다.
서빙 물품이 위치하는 지지면의 수직 및 수평 이동을 통해 지지면 위의 서빙 물품을 원하는 높이의 테이블 위로 정확하게 이송가능한 서빙 로봇을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇 시스템의 구성도이다.
도 2는 도 1의 이동 로봇의 측면을 바라본 입면도이다.
도 3은 도 1의 이동 로봇의 지지면을 상면에서 바라본 입면도이다.
도 4는 도 3의 지지면의 측면 확대도이다.
도 5는 도 3의 지지면을 하면에서 바라본 입면도이다.
도 6은 도 1의 이동 로봇의 제어 관계를 나타낸 블록도이다.
도 7은 도 1의 이동 로봇의 배송 방법을 도시한 순서도이다.
도 8a 내지 도 8e는 도 7의 순서도에 따른 상태도이다.
도 9는 도 7의 지지면 판단 방법의 다른 방법을 도시한 순서도이다.
이하에서 언급되는 “전(F)/후(R)/좌(Le)/우(Ri)/상(U)/하(D)” 등의 방향을 지칭하는 표현은 도면에 표시된 바에 따라 정의하나, 이는 어디까지나 본 발명이 명확하게 이해될 수 있도록 설명하기 위한 것이며, 기준을 어디에 두느냐에 따라 각 방향들을 다르게 정의할 수도 있음은 물론이다.
이하에서 언급되는 구성요소 앞에 ‘제1, 제2’ 등의 표현이 붙는 용어 사용은, 지칭하는 구성요소의 혼동을 피하기 위한 것일 뿐, 구성요소 들 사이의 순서, 중요도 또는 주종관계 등과는 무관하다. 예를 들면, 제1 구성요소 없이 제2 구성요소 만을 포함하는 발명도 구현 가능하다.
도면에서 각 구성의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장되거나 생략되거나 또는 개략적으로 도시되었다. 또한 각 구성요소의 크기와 면적은 실제크기나 면적을 전적으로 반영하는 것은 아니다.
또한, 본 발명의 구조를 설명하는 과정에서 언급하는 각도와 방향은 도면에 기재된 것을 기준으로 한다. 명세서에서 구조에 대한 설명에서, 각도에 대한 기준점과 위치관계를 명확히 언급하지 않은 경우, 관련 도면을 참조하도록 한다.
이하 도 1 내지 도 5를 참조하여, 이동 로봇 중 서빙 로봇을 예로 들어 설명하나, 반드시 이에 한정될 필요는 없다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇 시스템의 구성도이고, 도 2는 도 1의 이동 로봇의 측면을 바라본 입면도이고, 도 3은 도 1의 이동 로봇의 지지면을 상면에서 바라본 입면도이고, 도 4는 도 3의 지지면의 측면 확대도이며, 도 5는 도 3의 지지면을 하면에서 바라본 입면도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 로봇 시스템은, 하나 이상의 로봇(1)을 구비하여 식당, 집, 호텔, 마트, 의류매장, 물류, 병원 등 다양한 장소에서 서비스를 제공할 수 있다. 예를 들어, 로봇 시스템은 가정 등에서 사용자와 인터랙션(interaction)하며, 사용자의 입력에 기초하여 사용자가 원하는 위치에 소정 물품을 운반할 수 있는 서빙 로봇(1)을 포함할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 로봇 시스템은, 복수의 서빙 로봇(1) 및 복수의 서빙 로봇(1)을 관리하고 제어할 수 있는 서버(2)를 포함할 수 있다.
서버(2)는 원격에서 복수의 로봇(1)의 상태를 모니터링하고, 제어할 수 있고, 로봇 시스템은 복수의 로봇(1)을 이용하여 더 효과적인 서비스 제공이 가능하다.
복수의 로봇(1) 및 서버(2)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다. 또한, 복수의 로봇(1) 및 서버(2)는 PC, 이동 단말기, 외부의 다른 서버와 통신할 수 있다.
예를 들어, 복수의 로봇(1) 및 서버(2)는 IEEE 802.11 WLAN, IEEE 802.15 WPAN, UWB, Wi-Fi, Zigbee, Z-wave, Blue-Tooth 등과 같은 무선 통신 기술로 무선 통신하게 구현될 수 있다. 로봇(1)은 통신하고자 하는 다른 장치 또는 서버(2)의 통신 방식이 무엇인지에 따라 달라질 수 있다.
특히, 복수의 로봇(1)은 5G 네트워크를 통해 다른 로봇(1) 및/또는 서버(2)와 무선통신을 구현할 수 있다. 로봇(1)이 5G 네트워크를 통해 무선 통신하는 경우, 실시간 응답 및 실시간 제어가 가능하다.
또한, 복수의 로봇(1) 및 서버(2)는 MQTT(Message Queueing Telemetry Transport) 방식으로 통신할 수 있고, HTTP(HyperText Transfer Protocol) 방식으로 통신할 수 있다.
또한, 복수의 로봇(1) 및 서버(2)는 HTTP 또는 MQTT 방식으로 PC, 이동 단말기, 외부의 다른 서버와 통신할 수 있다.
경우에 따라서, 복수의 로봇(1) 및 서버(2)는 2이상의 통신 규격을 지원하고, 통신 데이터의 종류, 통신에 참여하는 기기의 종류에 따라 최적의 통신 규격을 사용할 수 있다.
사용자는 PC(3a), 이동 단말기(3b) 등을 통하여 로봇 시스템 내의 로봇들(1)에 관한 정보를 확인하거나 제어할 수 있다.
본 명세서에서 '사용자'는 적어도 하나의 로봇을 통한 서비스를 이용하는 사람으로, 로봇을 구매 또는 대여하여 가정 등에서 사용하는 개인 고객 및 로봇을 이용하여 직원 또는 고객에게 서비스를 제공하는 기업의 관리자, 직원들과 이러한 기업이 제공하는 서비스를 이용하는 고객들을 포함할 수 있다. 따라서, '사용자'는 개인 고객(Business to Consumer : B2C)과 기업 고객(Business to Business : B2B)을 포함할 수 있다.
서버(2)는 클라우드(cloud) 서버로 구현되어, 사용자는 PC(3a), 이동 단말기(3b) 등 다양한 기기로 통신 연결된 서버(2)에 저장된 데이터와 서버(2)가 제공하는 기능, 서비스를 이용할 수 있다. 로봇(1)에 클라우드 서버(2)가 연동되어 로봇(1)을 모니터링, 제어하고 다양한 솔루션과 콘텐츠를 원격으로 제공할 수 있다.
서버(2)는, 로봇들(1), 기타 기기로부터 수신되는 정보를 저장 및 관리할 수 있다. 상기 서버(2)는 로봇들(1)의 제조사 또는 제조사가 서비스를 위탁한 회사가 제공하는 서버일 수 있다. 상기 서버(2)는 로봇들(1)을 관리하고 제어하는 관제 서버일 수 있다.
상기 서버(2)는 로봇들(1)을 일괄적으로 동일하게 제어하거나, 개별 로봇 별로 제어할 수 있다. 또한, 서버(2)는 로봇들(1) 중 적어도 일부 로봇에 대해서 그룹으로 설정한 후에 그룹별로 제어할 수 있다.
한편, 상기 서버(2)는, 복수의 서버로 정보, 기능이 분산되어 구성될 수도 있고, 하나의 통합 서버로 구성될 수도 있을 것이다.
로봇(1) 및 서버(2)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다.
로봇(1)은 서버(2)로 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)를 서버(2)로 전송할 수 있다.
여기서, 데이터는 공간(space), 사물(Object) 관련 데이터는 로봇(1)이 인식한 공간(space)과 사물(Object)의 인식 관련 데이터이거나, 영상획득부가 획득한 공간(space)과 사물(Object)에 대한 이미지 데이터일 수 있다.
실시예에 따라서, 로봇(1) 및 서버(2)는 사용자, 음성, 공간의 속성, 장애물 등 사물의 속성 중 적어도 하나를 인식하도록 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(Artificial Neural Networks: ANN)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 로봇(1) 및 서버(2)는 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다. 예를 들어, 로봇(1)의 제어부(140)에는 CNN(Convolutional Neural Network) 등 심층신경망 구조(DNN)가 탑재될 수 있다.
서버(2)는 로봇(1)으로부터 수신한 데이터, 사용자에 의해 입력되는 데이터 등에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 로봇(1)으로 전송할 수 있다. 이에 따라, 로봇(1)이 구비하는 인공지능(artificial intelligence)의 심층신경망(DNN) 구조를 업데이트할 수 있다.
또한, 사용(Usage) 관련 데이터(Data)는 소정 제품, 예를 들어, 로봇(1)의 사용에 따라 획득되는 데이터로, 사용 이력 데이터, 센서부(110)에서 획득된 감지 신호 등이 해당될 수 있다.
학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 입력 데이터에 포함된 사람, 사물, 공간의 속성을 인식하여, 그 결과를 출력할 수 있다.
또한, 상기 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 로봇(1)의 사용(Usage) 관련 데이터(Data)를 분석하고 학습하여 사용 패턴, 사용 환경 등을 인식할 수 있다.
한편, 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)는 통신부(190)를 통하여 서버(2)로 전송될 수 있다.
서버(2)는 수신한 데이터에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 이동 로봇(1)으로 전송하여 업데이트하게 할 수 있다.
이에 따라, 로봇(1)이 점점 스마트하게 되며, 사용할수록 진화되는 사용자 경험(UX)을 제공할 수 있다.
로봇(1) 및 서버(2)는 외부 정보(external information)도 이용할 수 있다. 예를 들어, 서버(2)가 다른 연계 서비스 서버(도시하지 않음)로부터 획득한 외부 정보를 종합적으로 사용하여 우수한 사용자 경험을 제공할 수 있다.
또한, 본 발명에 따르면, 로봇(1)이 능동적으로 먼저 정보를 제공하거나 기능, 서비스를 추천하는 음성을 출력함으로써 사용자에게 더욱 다양하고 적극적인 제어 기능을 제공할 수 있다.
도 2 내지 도 5는 소정 물품을 운반할 수 있는 서빙 로봇(1)을 예시한다.
도면들을 참조하면, 서빙 로봇(1)은 자율 주행, 추종 주행으로 이동할 수 있고, 서빙할 물품을 수용할 수 있는 서빙 지지면(tray)을 더 포함할 수 있다. 예를 들어, 호텔에서의 서빙 물품은 수건, 칫솔, 치약, 욕실 용품, 침구류, 음료, 음식, 룸 서비스, 기타 소물 가전 등이 해당될 수 있다. 또한, 식당에서의 서빙 물품은 주문한 음료 또는 음식일 수 있다.
한편, 서빙 로봇(1)은 소정 장소에서 자율 주행하면서 사용자가 지정한 목표위치까지 서빙할 물품을 배송하고, 목표 위치에서 해당 물품을 서빙할 수 있다.
서빙 로봇(1)에는 사용 환경 및 용도에 따라 최적화된 서비스를 제공하기 위해 모듈러 디자인이 적용될 수 있다.
예를 들어, 기본 플랫폼은 바퀴, 모터 등을 구비하여 주행을 담당하는 주행 모듈(20), 디스플레이, 마이크, 스피커 등을 구비하여 사용자와의 인터랙션을 담당하는 UI 모듈(180) 및 서빙할 물품을 보관하는 등의 서비스를 제공하는 서비스 모듈(10)을 포함할 수 있다.
도면들을 참조하면, 주행 모듈(20)은 하나 이상의 절개부(20a)를 포함할 수 있다.
이러한 절개부(20a)는 내부의 전방 라이더(미도시)가 동작 가능하도록 상기 주행 모듈(20)에서 절개되는 부분으로, 상기 주행 모듈(20)의 외주면의 전방에서 측방에 걸쳐 형성될 수 있다.
상기 전방 라이더는 상기 주행 모듈(20)의 내부에서 상기 절개부(20a)와 마주보도록 배치될 수 있다. 이에 따라, 상기 전방 라이더는 상기 절개부(20a)를 통하여 레이저를 방출할 수 있다.
내부의 후방 라이더(미도시)가 동작 가능하도록 상기 주행 모듈(20)에서 절개되는 부분인 다른 절개부(도시하지 않음)가 상기 주행 모듈(20)의 외주면의 후방에서 측방에 걸쳐 형성될 수 있으며, 이는 내부의 후방 라이더가 동작 가능하도록 형성된다.
상기 후방 라이더는 상기 주행 모듈(20)의 내부에서 상기 다른 절개부와 마주보도록 배치될 수 있다. 이에 따라, 상기 후방 라이더는 상기 다른 절개부를 통하여 레이저를 방출할 수 있다.
또한, 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 절벽 감지 센서 등 내부의 센서가 동작 가능하도록 상기 주행 모듈(20)에서 절개되는 또 다른 절개부를 포함할 수 있다.
한편, 상기 주행 모듈(20)의 외면에도 센서가 배치될 수 있다. 상기 주행 모듈(20)의 외면에는 장애물을 감지하기 위한 초음파 센서 등 장애물 감지 센서가 배치될 수 있다.
예를 들어, 초음파 센서는 초음파 신호를 이용하여 장애물과 서빙 로봇들(1) 사이의 거리를 측정하기 위한 센서일 수 있다. 상기 초음파 센서는 상기 서빙 로봇(1)과 근접한 장애물을 감지하기 위한 기능을 수행할 수 있다.
실시예에 따라서, UI 모듈(180)의 적어도 일부는 회전 가능하게 구현될 수 있다. 예를 들어, UI 모듈(180)은 좌우 방향으로 회전할 수 있는 헤드부(180a)와 상기 헤드부(180a)를 지지하는 바디부(180b)를 포함할 수 있다.
상기 헤드부(180a)는 서빙 로봇(1)의 동작 모드, 현재 상태 등에 기초하여 회전할 수 있다.
UI 모듈(180)은 영상획득부(120)의 카메라를 더 포함할 수 있다. 카메라는 상기 헤드부(180a)에 배치되어 상기 헤드부(180a)가 향하는 방향의 소정 범위의 영상 데이터를 획득할 수 있다.
예를 들어, 서빙 로봇(1)이 사용자를 탐색할 때, 상기 헤드부(180a)는 상기 카메라가 식별되는 사용자를 향하도록 회전할 수 있다.
실시예에 따라서, UI 모듈(180)은 2개의 디스플레이(182a, 182b)를 포함할 수 있고, 2개의 디스플레이(182a, 182b) 중 적어도 하나는 터치스크린으로 구성되어 입력 수단으로도 사용될 수 있다
서빙 로봇(1)의 서비스 모듈(10)은 적어도 하나의 서빙 지지면(400a, 400b)을 포함한다.
서비스 모듈(10)은 상하 방향(z축 방향)으로 주행 모듈(20) 위에 배치되며, 적어도 하나의 서빙 지지면(400a, 400b)을 가질 수 있고, 특히, 2개 이상의 서빙 지지면(400a, 400b)이 평행하게 형성될 수 있다.
각각의 서빙 지지면(400a, 400b)은 서빙 물품을 수용/지지할 수 있는 공간을 구비하여 서빙 물품을 안정적으로 운반할 수 있다. 이러한 서빙 지지면(400a, 400b)(tray)은 하나의 서빙 로봇(1)에 도 2와 같이 복수개가 구비될 수 있다.
서빙 지지면(400a, 400b)은 바닥면에 수평한 방향(xy 평면)으로 소정의 면적을 가지는 판상형의 트레이로서, 서빙할 물품을 지지면(400a, 400b) 위에 배치하고, 배치가 완료되면 서빙 위치까지 이동하여 서빙을 진행할 수 있다.
이때, 서빙 지지면(400a, 400b)은 올려진 물품을 수평한 방향으로 밀어내어 사용자가 원하는 테이블 등의 서빙 위치 위에 올려놓을 수 있는 회전롤러부(401)를 포함한다.
회전 롤러부(401)는 도 2 및 도 3과 같이 서빙 지지면(400a, 400b) 전면에 걸쳐 나란하게 배치되는 복수의 롤러로 형성될 수 있으며, 각각의 롤러는 수평 이동 모터(174)에 의해 동시에 구동되어 평면 상에서 전방 또는 후방으로 지지면(400a, 400b) 위에 배치되는 물품을 수평 이동한다.
서빙 로봇(1)은 이러한 복수의 서빙 지지면(400a, 400b)과 바디부(180b)를 연결하여 상기 복수의 서빙 지지면(400a, 400b)을 수직하게 이동하는 결합부(170a, 170b)를 더 포함한다.
구체적으로, 결합부(170a, 170b)는 각각의 서빙 지지면(400a, 400b)에 대하여 형성될 수 있으며, 바디부(180b)에 길이 방향으로 형성되는 렉기어(171), 상기 렉기어(171)와 연동하여 상기 지지면(400a, 400b)을 수직하게 상하로 이동하는 피니어(173), 그리고 상기 피니어(173)를 회전시켜 상기 지지면(400a, 400b)을 수직하게 이동시키는 상하이동 모터(172)를 포함한다.
상하이동 모터(172)는 도 4 및 도 5와 같이 각 지지면(400a, 400b)의 하면에 부착되어 있을 수 있으며, 수평이동 모터(174)와 이웃하여 배치될 수 있다.
이와 같이, 서빙 로봇(1)은 제어부(140)의 제어 신호에 따라 각 지지면(400a, 400b)에 대한 수평이동 모터(174) 및 상하이동 모터(172)를 각각 구동하여, 소정 높이까지 각 서빙 지지면(400a, 400b)을 이동시키고, 각 서빙 지지면(400a, 400b) 위에 배치되는 서빙 물품을 수평 방향으로 밀어내어 목표되는 서빙 위치에 직접 전달할 수 있다.
이하에서는 서빙 로봇(1)의 제어를 위한 내부 블록도를 설명한다.
도 6은 도 1의 이동 로봇의 제어 관계를 나타낸 블록도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 서빙 로봇(1)은, 서빙 로봇(1)의 전반적인 동작을 제어하는 제어부(140), 각종 데이터를 저장하는 저장부(130), 서버(2) 등 다른 기기와 데이터를 송수신하는 통신부(190)를 포함할 수 있다.
제어부(140)는, 서빙 로봇(1) 내 저장부(130), 통신부(190), 구동부(160), 센서부(110), 출력부(180) 등을 제어하여, 서빙 로봇(1)의 동작 전반을 제어할 수 있다.
저장부(130)는 서빙 로봇(1)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
통신부(190)는 적어도 하나의 통신모듈을 포함하여 서빙 로봇(1)이 인터넷, 또는 소정의 네트워크에 연결되도록 할 수 있고 다른 기기와 통신하게 할 수 있다.
또한, 통신부(190)는 서버(2)에 구비되는 통신 모듈과 연결하여 서빙 로봇(1)과 서버(2) 간의 데이터 송수신을 처리할 수 있다.
본 발명의 일 실시예에 따른 서빙 로봇(1)은 마이크를 통하여 사용자의 음성 입력을 수신하는 음성 입력부(125)를 더 포함할 수 있다.
음성 입력부(125)는, 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어, 사용자 입력 음성 신호를 제어부(140) 또는 서버(2)에서 인식할 수 있도록 데이터화할 수 있다.
한편, 저장부(130)에는 음성 인식을 위한 데이터가 저장될 수 있고, 상기 제어부(140)는 음성 입력부(125)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다.
한편, 제어부(140)는 음성 인식 결과에 기초하여 로봇(1)이 소정 동작을 수행하도록 제어할 수 있다.
한편, 서빙 로봇(1)은 출력부(180)를 포함하여, 소정 정보를 영상으로 표시하거나 음향으로 출력할 수 있다.
출력부(180)는 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시하는 디스플레이(182a, 182b)를 포함할 수 있다. 실시예에 따라서, 서빙 로봇(1)은 복수개의 디스플레이(182a, 182b)를 포함할 수 있다.
실시예에 따라서는, 상기 디스플레이(182a, 182b) 중 적어도 일부는 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 터치스크린으로 구성되는 디스플레이(182a)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
또한, 출력부(180)는 오디오 신호를 출력하는 음향 출력부(181)를 더 포함할 수 있다. 음향 출력부(181)는 제어부(140)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 음향으로 출력할 수 있다. 음향 출력부(181)는, 제어부(140)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
실시예에 따라서, 서빙 로봇(1)은 소정 범위를 촬영할 수 있는 영상획득부(120)를 더 포함할 수 있다.
영상획득부(120)는 서빙 로봇(1) 주변, 외부 환경 등을 촬영하는 것으로, 카메라 모듈을 포함할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다.
영상획득부(120)는, 사용자 인식용 영상을 촬영할 수 있다. 제어부(140)는 상기 영상획득부(120)가 촬영하여 획득된 영상에 기초하여 외부 상황을 판단하거나, 사용자(안내 대상)를 인식할 수 있다.
또한, 로봇(1)이 서빙 로봇인 경우에, 상기 제어부(140)는, 상기 영상획득부(120)가 촬영하여 획득하는 영상에 기초하여 로봇(1)이 주행하도록 제어할 수 있다.
한편, 상기 영상획득부(120)가 촬영하여 획득된 영상은 저장부(130)에 저장될 수 있다.
서빙 로봇(1)은 이동을 위한 구동부(160)를 더 포함할 수 있고, 상기 구동부(160)는 제어부(140)의 제어에 따라, 본체를 이동시킬 수 있다.
구동부(160)는 로봇(1)은 본체를 이동시키는 적어도 하나의 구동 바퀴(미도시)를 포함할 수 있다. 구동부(160)는 구동 바퀴에 연결되어 구동 바퀴를 회전시키는 구동 모터(미도시)를 포함할 수 있다. 구동 바퀴는 본체의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜과 우륜이라고 한다.
좌륜과 우륜은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜을 구동시키는 좌륜 구동 모터와 우륜을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜과 우륜의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체의 주행방향을 전환할 수 있다.
한편, 서빙 로봇(1)은 서빙 로봇(1)의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들을 포함하는 센서부(110)를 포함할 수 있다.
상기 센서부(110)는 로봇(1)의 동작을 감지하고 동작 정보를 출력하는 동작 감지 센서를 더 포함할 수 있다. 예를 들어, 동작 감지 센서로는, 자이로 센서(Gyro Sensor), 휠 센서(Wheel Sensor), 가속도 센서(Acceleration Sensor) 등을 사용할 수 있다.
상기 센서부(110)는 장애물을 감지하는 장애물 감지 센서를 포함할 수 있고, 상기 장애물 감지 센서는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서, 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 절벽 감지 센서, 라이다(light detection and ranging: Lidar) 등 포함할 수 있다.
한편, 상기 장애물 감지 센서는 이동 로봇의 주행(이동) 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어부(140)에 전달한다. 이때, 제어부(140)는, 감지된 장애물의 위치에 따라 서빙 로봇(1)의 움직임을 제어할 수 있다.
한편, 제어부(140)는 통신부(190)를 통해 서빙 로봇(1)의 동작상태 또는 사용자 입력 등을 서버(2) 등으로 전송하도록 제어할 수 있다.
이러한 제어부(140)는 사용자로부터 제공된 목표 위치에 근접할 때, 해당 위치에서 영상획득부(120)로부터 주변 영상을 수득하고, 상기 영상 데이터에 따라 사용자의 유무를 판독한다.
이때, 사용자가 존재하는 경우, 사용자의 제스처를 읽어들여, 사용자의 제스처에 따라 서빙할 물품을 놓을 정확한 서빙 위치를 판단한다.
제어부(140)가 서빙할 목표 위치를 결정하면 사물 인식을 통해 목표 위치의 높이 및 거리 등을 계산하여 구동부(160)를 통해 이동하고, 수직이동 모터(172) 및 수평이동 모터(174)를 구동하여 해당 목표 위치에 서빙 물품을 정확하게 내려놓는다.
제어부(140)는 이와 같은 영상 데이터로부터의 사용자의 제스처 판단 및 목표 위치 판단을 위하여 카메라 포즈 추출 알고리즘을 적용할 수 있으며, 사물 인식 알고리즘을 통해 해당 서빙 위치, 예를 들어 특정 테이블 위 등의 서빙 위치를 판단할 수 있다.
이하에서는 도 7 및 도 8을 참고하여, 서빙 로봇(1)의 서빙 제어 방법에 대하여 상세히 설명한다.
도 7은 도 1의 서빙 로봇(1)의 배송 방법을 도시한 순서도이고, 도 8a 내지 도 8e는 도 7의 순서도에 따른 상태도이다.
먼저, 서빙 로봇 시스템은 사용자로부터 주문을 수신한다(S10).
사용자로부터의 주문은 사용자 단말기(3b)로부터 수신할 수도 있고, 사용자가 서버(2)에 접속하여 주문을 할 수도 있다. 또는 사용자가 직접 서빙 로봇(1)의 디스플레이(182a)를 터치하여 주문 정보를 입력할 수 있다.
주문 정보로는 서빙할 목표 위치 및 서빙할 물품, 일 예로 식당의 경우, 메뉴 중 선택되는 음식 또는 음료에 대한 정보일 수 있다.
이와 같이 주문 정보가 서버(2)를 통해 입력되면 서버(2)는 상기 서빙 로봇(1)의 통신부(190)를 통해 상기 주문 정보를 전송한다.
이와 같이 주문 정보가 디스플레이(182a) 또는 통신부(190)를 통해 서빙 로봇(1)에 수신되면, 서빙 로봇(1)은 서빙 물품을 수령한다(S11).
즉, 서빙 로봇(1)은 주문 정보를 확인하고, 데스크 또는 시작점에서 해당하는 서빙 물품을 수령한다. 이러한 서빙 물품의 수령은 서빙 지지면(400a, 400b)에 서빙 물품이 올려지는 것으로 인식한다.
이때, 식당의 경우, 음식물을 올려놓는 물품 컨테이너(200a, 200b)가 도 3과 같이 지지면(400a, 400b) 위에 놓여질 수 있고, 서빙 로봇(1)은 물품 컨테이너(200a, 200b)가 지지면(400a, 400b) 위에 안착되는 것을 인지하면, 배송할 목표 위치로 이동을 시작한다(S12).
이때, 서빙 로봇(1)은 해당 영역에 대한 맵 정보를 서버로부터 수신하여 해당 목표 위치를 해당 영역에 대한 맵 상에 표시하고, 목표 위치로 이동한다.
목표 위치의 근거리에서, 서빙 로봇(1)의 제어부(140)는 사용자 탐색을 진행한다(S13).
이러한 사용자 탐색은 영상획득부(120)를 통해 근거리의 환경을 연속적으로 촬영하면서 사물 인식을 수행함으로써 진행될 수 있다.
즉, 도 8a와 같이 제어부(140)는 획득된 영상 중 일부를 학습 엔진에 입력하면, 학습 엔진은 입력된 영상에 포함된 적어도 하나의 사물 또는 생명체를 인식할 수 있다. 더욱 구체적으로, 제어부(140)는 사물로 인식된 것 중에 특징점을 분석하여 사용자 즉, 생명체 중 사람의 형상을 인식할 수 있다.
제어부(140)는 목표 위치의 근거리에서 사람이 있는 것으로 인식되면, 해당 사람을 향해 헤드부(180a)를 추종하면서 매칭을 진행한다. 제어부(140)는 해당 사람을 사용자라고 가정하고, 사용자의 움직임을 영상획득부(120) 및 센서부(110)를 통해 취득한다(S14).
즉, 제어부(140)는 영상획득부(120)로부터의 2차원 영상을 연속적으로 수신하고, 해당 영상을 모델링(Global Geometry Network)을 통해 사용자의 외골격을 3차원 이미지로 추출하여 사용자의 제스처를 판단한다(S15).
이때, 사용자의 제스처 판단은 Cooperative Holistic 3D indoor scene understanding 기법을 적용하여 추출할 수 있다. 즉, 객체 경계 상자, 룸 레이아웃 및 카메라 포즈를 모두 3차원으로 공동으로 복구하여 파라미터화한다. 이와 같은 3차원 카메라 포즈 변환에 의해 사용자의 제스처 및 사용자의 외곽선을 추정할 수 있다.
이와 같이 추정된 사용자의 제스처에 의해 목표 위치에서 서빙 물품을 내려 놓는 서빙 위치를 정확히 파악한다(S16).
즉, 도 8a와 같이 사용자의 제스처에 따라 사용자의 손가락이 가리키는 제스처가 파악되면 해당 제스처에 따라 가리키는 장소를 서빙 위치로 파악할 수 있다.
이때, 파악되는 제스처는 설정에 따라 다양하게 변경 가능하며, 손가락으로 가리키기, 특정한 목표 위치를 두드리기 등으로 설정할 수 있다.
이때, 파악된 서빙 위치에 대한 정보는 서버(2) 및 저장부(130)에 기록될 수 있다.
다음으로, 서빙 로봇(1)의 제어부(140)는 파악된 서빙 위치가 적절한지 적절성을 판단한다(S17).
즉, 서빙 위치가 서빙 로봇(1)의 지지면(400a, 400b)이 도달할 수 있는 높이인지, 수평한 면을 포함하고 있는지, 그리고 해당 서빙 위치가 목표 위치와 근접한지 여부를 판단할 수 있다.
서빙 위치가 적절하다고 판단되면, 제어부(140)는 영상획득부(120)로부터 해당 서빙 위치에 대한 영상 정보를 수득하여 사물 학습을 통해 서빙 위치의 3차원 형상을 추출한다(S18).
즉, 도 8b와 같이, 서빙 위치가 테이블 위인 경우, 테이블에 대한 영상을 획득하여 사물 학습을 통해 3차원으로 영상을 추출하고 이로부터 정확한 테이블의 위치 및 테이블의 높이를 측정한다(S19).
사물 학습을 통해 서빙 위치에 있는 테이블의 위치 및 높이 정보가 수득되면, 제어부(140)는 해당 테이블의 위치로 상기 지지면(400a, 400b)이 향하도록 방향을 설정하여 구동부(160)를 제어하여 이동한다(S20).
도 8c와 같이, 서빙 로봇(1)이 테이블과 근접할 때까지 이동을 완료하면, 제어부(140)는 도 8d와 같이 상하이동 모터(172)를 구동하여 추출된 테이블 높이만큼 지지면(400a, 400b)을 상하방향으로 이동시킨다(S21).
이때, 지지면(400a, 400b)의 두께를 고려하여 테이블 높이보다 소정 크기만큼 높게 이동시킬 수 있다.
다음으로, 서빙 물품을 테이블로 밀어내도록 지지면(400a, 400b)의 롤러를 회전시키기 위해 수평이동 모터(174)를 구동시킨다.
즉, 제어부(140)는 도 8e와 같이 수평이동 모터(174)를 구동하여 모터의 회전에 의해 지지면(400a, 400b)의 롤러부(401)가 전방으로 회전함으로써 롤러부(401) 위에 배치되어 있던 물품 컨테이너(200a, 200b)가 수평 방향으로 이동한다.
따라서, 물품 컨테이너(200a, 200b)가 테이블 위에 놓여지면, 제어부(140)는 영상획득부(120)를 통해 획득한 영상을 분석하고(S23), 센서부(110)로부터의 감지 신호를 분석하여 지지면(400a, 400b)에 배치되어 있던 물품 컨테이너(200a, 200b)의 부재 및 테이블에 해당 물품 컨테이너(200a, 200b)가 정확히 올려져 있는지를 판단한다(S24).
서빙 위치의 테이블 위에 해당 물품 컨테이너(200a, 200b)가 정확히 올려져 있다고 판단되면, 제어부(140)는 서빙 로봇(1)의 복귀를 위해 맵 정보를 읽어들여 시작점으로 서빙 로봇(1)의 구동부(160)를 구동한다(S25).
이와 같이, 사용자의 영상을 분석하여 사용자의 제스처에 따라 서빙 물품의 위치를 파악하고, 서빙 위치의 높이 등을 분석하여 서빙 물품을 해당 위치에 정확히 내려놓을 수 있다.
따라서, 사용자가 별도로 서빙 로봇(1)의 물품 컨테이너(200a, 200b)에서 물품을 수득하는 동작 없이 서빙 로봇(1)이 사용자가 원하는 위치에 물품을 내려놓을 수 있어 사용자에게 편의를 제공할 수 있다.
한편, 본 발명의 실시예에 따른 서빙 로봇(1)은 지지면(400a, 400b)이 복수개로 장착되어 있는 경우, 도 9와 같은 어느 지지면(400a, 400b)에 물품이 배치되어 있는지 판단하여 서빙을 진행할 수 있다.
즉, 도 7에서 서빙 위치의 테이블의 위치까지 서빙 로봇(1)이 이동하면, 제어부(140)는 도 9와 같이 각 지지면(400a, 400b)에 물품 컨테이너(200a, 200b)가 배치되어 있는지 탐색을 진행한다(S211).
제어부(140)는 센서부(110)를 통해 각 지지면(400a, 400b)에 물품을 운반하는 컨테이너(200a, 200b)가 올려져 있는지 감지 신호를 수신하고 이를 근거로 어느 지지면(400a, 400b)에 물품이 배치되었는지 판단할 수 있다.
일 예로, 지지면(400a, 400b)가 2개 배치되어 있는 경우, 제어부(140)는 제1 지지면(400a) 위에 제1 물품 컨테이너(200a)가 존재하는지 판단한다(S212). 이때, 제1 물품 컨테이너(200a)가 존재하는 경우, 도 8d와 같이 제1 지지면(400a)를 추정된 테이블의 높이까지 상하 이동시킨 후(S213) 수평이동 모터(174)를 구동하여 해당 테이블에 제1 지지면(400a) 위의 물품 컨테이너(200a)를 수평 이동하여 테이블 위에 내려놓는다(S214).
다음으로, 제1 지지면(400a) 위의 센서부(110)의 감지 신호를 통해 제1 지지면(400a)이 비워져 있는지 판단하고, 영상획득부(120)로부터의 영상을 판독하여 테이블 위에 해당 물품 컨테이너(200a)가 정확히 놓여져 있는지 확인 후 서빙 동작을 종료하고 시작점으로 복귀한다(S215).
한편, 제1 지지면(400a)에 물품 컨테이너가 배치되어 있지 않고, 제1 지지면(400a) 하부의 제2 지지면(400b)에 물품 컨테이너(200b)가 배치되어 있는 경우(S216), 제어부(140)는 제1 및 제2 지지면(400a, 400b)를 수직이동 모터(172)를 구동하여 제2 지지면(400a, 400b)이 상기 테이블의 높이까지 올라가도록 수직이동시킨다(S217).
다음으로, 제2 지지면(400b)이 테이블 높이까지 상승하면 수평이동 모터(174)를 구동하여 제2 지지면(400b) 위의 롤러(401)를 구동하여 물품 컨테이너(200b)를 수평 방향으로 밀어낸다(S218). 따라서 제2 지지면(400b) 위의 물품 컨테이너(200b)가 테이블 위로 이동할 수 있다.
이와 같이 제2 지지면(400b) 위의 센서부(110)의 감지 신호를 통해 제2 지지면(400b)이 비워져 있는지 판단하고, 영상획득부(120)로부터의 영상을 판독하여 테이블 위에 해당 물품 컨테이너(200b)가 정확히 놓여져 있는지 확인 후 서빙 동작을 종료하고 시작점으로 복귀한다(S219).
따라서, 서빙 위치의 테이블에 도달하여 서빙 로봇(1)이 복수의 지지면(400a, 400b) 중 물품 컨테이너(200a, 200b)가 존재하는 지지면(400a, 400b)을 판단하여 그에 맞추어 수직 및 수평 동작을 수행할 수 있다.
또한, 서빙 로봇(1)의 복수의 지지면(400a, 400b)에 대하여 서로 다른 물품 컨테이너(200a, 200b)를 각각 수용하고 있는 경우, 각 지지면(400a, 400b)에 따라 서빙 위치가 각각 매핑되어 순차적으로 서빙을 진행할 수 있다.
즉, 제1 지지면(400a, 400b)에 놓인 물품의 서빙 위치를 제1 서빙 위치로, 제2 지지면(400a, 400b)에 놓인 물품의 서빙 위치를 제2 서빙 위치로 설정하여 서빙을 진행할 수 있다.
이와 같이, 한번에 복수개의 물품을 서로 다른 지지면(400a, 400b)에 배치하여 서빙하는 경우, 시작점을 출발한 서빙 로봇(1)이 지지면(400a, 400b)의 수효에 맞추어 복수회에 걸쳐 서빙을 진행한 뒤 복귀함으로써 효율이 향상될 수 있다.
서빙 로봇(1)이 복귀하여 복귀 정보를 수신한 서버(2)는, 복귀 정보에 기초하여 데이터를 업데이트하고, 데이터를 관리할 수 있다.
본 발명에 따른 로봇(1) 시스템은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 실시예에 따른 로봇(1) 시스템의 제어 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
[부호의 설명]
1: 이동 로봇 2: 서버
110: 센서부 120: 영상획득부
160: 구동부 140: 제어부
190: 통신부

Claims (20)

  1. 이동 로봇이 소정 서비스 요청을 포함하는 사용자 입력을 수신하는 단계;
    상기 이동 로봇이 서빙될 물품을 수령하는 단계;
    상기 이동 로봇이 사용자를 탐색하고 사용자 제스처를 분석하여 서빙 위치를 추출하는 단계;
    상기 서빙 위치의 영상을 분석하여 상기 서빙 위치의 거리 및 높이를 추출하는 단계;
    상기 서빙 위치로 이동하고, 상기 서빙될 물품을 상기 서빙 위치의 높이까지 올리는 단계; 및
    상기 서빙 위치까지 상기 서빙될 물품을 수평 이동하여 상기 서빙 위치 위에 상기 서빙될 물품을 내려놓는 단계
    를 포함하는 이동 로봇의 제어 방법.
  2. 제1항에 있어서,
    상기 이동 로봇은,
    상기 서빙될 물품이 수용되는 적어도 하나의 지지면을 포함하고, 상기 적어도 하나의 지지면을 상하이동함으로써 상기 서빙 위치의 높이까지 상기 서빙될 물품을 올리는
    것을 특징으로 하는 이동 로봇의 제어 방법.
  3. 제2항에 있어서,
    상기 지지면은 상기 서빙될 물품을 수평이동하는 복수의 롤러를 포함하며, 상기 롤러를 회전하여 상기 서빙될 물품이 상기 서빙 위치로 놓여지는 것을 특징으로 하는 이동 로봇의 제어 방법.
  4. 제3항에 있어서,
    상기 이동 로봇의 영상 획득부로부터 수신된 영상을 3차원 영상으로 변환하고, 상기 3차원 영상으로부터 상기 사용자의 외골격 및 상기 사용자의 제스처를 파악하여 상기 서빙 위치를 추출하는 것을 특징으로 하는 이동 로봇의 제어 방법.
  5. 제4항에 있어서,
    상기 서빙 위치의 거리 및 높이를 추출하는 단계는,
    상기 영상 획득부로부터 서빙 위치의 영상을 획득하고, 사물 학습을 수행하여 상기 서빙 위치의 거리 및 높이를 추출하는 것을 특징으로 하는 이동 로봇의 제어 방법.
  6. 제5항에 있어서,
    상기 사용자 주문을 수신하는 단계는,
    사용자 단말기로부터 상기 서빙될 물품에 대한 주문 정보 및 서빙할 목표 위치에 대한 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 이동 로봇의 제어 방법.
  7. 제6항에 있어서,
    상기 사용자 주문을 수신하는 단계는,
    서버로부터 상기 서빙될 물품에 대한 주문 정보 및 서빙할 목표 위치에 대한 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 이동 로봇의 제어 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 이동 로봇은 상기 목표 위치로부터 근거리에서 상기 사용자를 탐색하고, 탐색된 사용자를 추종하여 상기 사용자의 영상을 획득하는 단계
    를 더 포함하는 것을 특징으로 하는 이동 로봇의 제어 방법.
  9. 제8항에 있어서,
    상기 이동 로봇은 상기 서빙될 물품이 상기 서빙 위치에 놓여진 영상을 획득하여 서빙 완료 정보를 상기 서버로 전송하고, 시작점으로 복귀를 진행하는 것을 특징으로 하는 이동 로봇의 제어 방법.
  10. 외관을 형성하는 바디;
    상기 바디를 이동시키는 구동부;
    주행 영역의 영상을 촬영하여 영상 정보를 생성하는 영상 획득부;
    서빙될 물품을 지지하는 적어도 하나의 지지면;
    상기 서빙될 물품에 대한 주문 정보를 수신하고, 사용자를 탐색하고 사용자 제스처를 분석하여 서빙 위치를 추출하여 수령된 상기 서빙될 물품을 상기 서빙 위치에 내려놓도록 지지면을 제어하는 제어부
    를 포함하는 이동 로봇.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 서빙 위치의 영상을 분석하여 상기 서빙 위치의 거리 및 높이를 추출하는 것을 특징으로 하는 이동 로봇.
  12. 제11항에 있어서,
    상기 제어부는 상기 서빙 위치까지 상기 서빙될 물품을 수평 이동하여 상기 서빙 위치 위에 상기 서빙될 물품을 내려놓도록 상기 지지면을 구동하는 것을 특징으로 하는 이동 로봇.
  13. 제12항에 있어서,
    상기 이동 로봇은 상기 지지면을 상하 방향으로 이동하는 상하이동 모터를 포함하는 것을 특징으로 하는 이동 로봇.
  14. 제13항에 있어서,
    상기 지지면은 상기 서빙될 물품을 상기 서빙 위치로 밀어내도록 수평 방향으로 이동시키는 복수의 롤러가 배치되어 있는 것을 특징으로 하는 이동 로봇.
  15. 제14항에 있어서,
    상기 지지면의 복수의 롤러를 회전시키는 수평이동 모터를 더 포함하는 것을 특징으로 하는 이동 로봇.
  16. 제15항에 있어서,
    상기 제어부는 상기 영상 획득부로부터 수신된 영상을 3차원 영상으로 변환하고, 상기 3차원 영상으로부터 상기 사용자의 외골격 및 상기 사용자의 제스처를 파악하여 상기 서빙 위치를 추출하는 것을 특징으로 하는 이동 로봇.
  17. 제16항에 있어서,
    상기 제어부는 상기 영상획득부로부터 서빙 위치의 영상을 획득하고, 사물 학습을 수행하여 상기 서빙 위치의 거리 및 높이를 추출하는 것을 특징으로 하는 이동 로봇.
  18. 제17항에 있어서,
    상기 이동 로봇은 복수의 지지면이 수직 방향으로 평행하게 배치되어 각각 상하 방향으로 이동 가능하게 설치되어 있는 것을 특징으로 하는 이동 로봇.
  19. 제18항에 있어서,
    상기 이동 로봇은 사용자 단말기 또는 서버로부터 상기 서빙될 물품에 대한 주문 정보 및 서빙할 목표 위치에 대한 정보를 수신하는 통신부를 더 포함하는 것을 특징으로 하는 이동 로봇.
  20. 제19항에 있어서,
    상기 이동 로봇은 상기 서빙될 물품이 상기 서빙 위치에 놓여진 영상을 획득하여 서빙 완료 정보를 상기 서버로 전송하고, 시작점으로 복귀를 진행하는 것을 특징으로 하는 이동 로봇.
PCT/KR2019/007257 2019-06-17 2019-06-17 이동 로봇과 그의 제어 방법 WO2020256159A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2019/007257 WO2020256159A1 (ko) 2019-06-17 2019-06-17 이동 로봇과 그의 제어 방법
US16/490,469 US11370123B2 (en) 2019-06-17 2019-06-17 Mobile robot and method of controlling the same
KR1020190106850A KR20190106910A (ko) 2019-06-17 2019-08-29 이동 로봇과 그의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/007257 WO2020256159A1 (ko) 2019-06-17 2019-06-17 이동 로봇과 그의 제어 방법

Publications (1)

Publication Number Publication Date
WO2020256159A1 true WO2020256159A1 (ko) 2020-12-24

Family

ID=68070928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007257 WO2020256159A1 (ko) 2019-06-17 2019-06-17 이동 로봇과 그의 제어 방법

Country Status (3)

Country Link
US (1) US11370123B2 (ko)
KR (1) KR20190106910A (ko)
WO (1) WO2020256159A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112692846A (zh) * 2020-12-28 2021-04-23 大连理工江苏研究院有限公司 一种智能送餐机器人及其路径规划方法
CN114012756A (zh) * 2021-11-25 2022-02-08 江苏集萃智能制造技术研究所有限公司 一种智能送餐机器人

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10265859B2 (en) 2016-02-09 2019-04-23 Cobalt Robotics Inc. Mobile robot with removable fabric panels
JP6336235B1 (ja) * 2017-09-11 2018-06-06 三菱電機株式会社 物品搬送ロボット
US11460849B2 (en) 2018-08-09 2022-10-04 Cobalt Robotics Inc. Automated route selection by a mobile robot
US11082667B2 (en) 2018-08-09 2021-08-03 Cobalt Robotics Inc. Contextual automated surveillance by a mobile robot
CN114450132A (zh) * 2019-10-03 2022-05-06 索尼集团公司 数据处理装置、数据处理方法和机器人
US11472459B2 (en) * 2019-11-12 2022-10-18 Bear Robotics, Inc. Serving apparatus
CN211466399U (zh) * 2019-11-27 2020-09-11 深圳市普渡科技有限公司 具有感应启动组件的机器人
KR102416323B1 (ko) * 2019-12-19 2022-07-06 주식회사 우아한형제들 액체류 넘침방지 시스템 및 이를 적용한 음식물 운송기구
CN115335197A (zh) * 2020-03-25 2022-11-11 优雅兄弟有限公司 多服务机器人操作方法及系统
KR102428447B1 (ko) * 2020-03-25 2022-08-02 주식회사 우아한형제들 멀티 서빙로봇 운용방법 및 시스템
CN115380305A (zh) * 2020-03-25 2022-11-22 优雅兄弟有限公司 订购系统与移动机器人的联动方法及其系统
KR102385323B1 (ko) * 2020-07-22 2022-04-12 주식회사 알지티 식당 서비스용 로봇
KR102306564B1 (ko) 2020-08-31 2021-09-30 주식회사 알지티 다기능 자율주행 서빙 로봇
KR102445066B1 (ko) * 2021-09-07 2022-09-21 웍스탭글로비스주식회사 자율 주행 이송 장치
KR102583945B1 (ko) 2021-09-17 2023-10-05 주식회사 알지티 투명 물체 인식 자율 주행 서비스 로봇 수단
CN114211508B (zh) * 2021-12-21 2024-05-07 重庆特斯联智慧科技股份有限公司 便民化服务多功能机器人及其站点
KR102446843B1 (ko) * 2022-02-10 2022-09-23 주식회사 로보테크 서빙로봇 및 이를 이용한 서빙 방법
KR102465049B1 (ko) * 2022-02-23 2022-11-09 임종엽 음식 서빙 및 퇴식을 위한 서빙 로봇
CN114559431A (zh) * 2022-03-02 2022-05-31 上海擎朗智能科技有限公司 一种物品配送方法、装置、机器人及存储介质
KR102490527B1 (ko) * 2022-04-26 2023-01-19 비전세미콘(주) 무인매장서빙시스템 및 방법
KR20240009768A (ko) * 2022-07-14 2024-01-23 삼성전자주식회사 물품을 목표 테이블까지 전달하기 위한 로봇 장치 및 로봇 장치의 동작 방법
WO2024025012A1 (ko) * 2022-07-29 2024-02-01 엘지전자 주식회사 서빙 로봇
KR102662714B1 (ko) * 2022-08-18 2024-05-02 장관익 환자 치료도구 운반용 로봇
KR102662716B1 (ko) * 2022-08-18 2024-05-02 장관익 사용 후 치료도구 소독실 운반용 로봇장치
KR20240030606A (ko) 2022-08-31 2024-03-07 주식회사 알지티 자동문 인식 자율 주행 서비스 로봇 수단

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040190776A1 (en) * 2003-03-31 2004-09-30 Honda Motor Co., Ltd. Gesture recognition apparatus, gesture recognition method, and gesture recognition program
KR20080008528A (ko) * 2006-07-20 2008-01-24 주식회사 유진로봇 고객 접대 기능을 가지는 서빙 로봇
KR20100110143A (ko) * 2009-04-02 2010-10-12 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
KR20120100505A (ko) * 2011-03-04 2012-09-12 (주)아이엠테크놀로지 무인 서빙 시스템 및 이의 제어방법
US9535421B1 (en) * 2014-02-28 2017-01-03 Savioke, Inc. Mobile delivery robot with interior cargo space

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090150A (ko) 2007-04-04 2008-10-08 삼성전자주식회사 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및서비스 로봇을 이용하는 서비스 시스템의 제어방법
US10913160B2 (en) * 2017-02-06 2021-02-09 Cobalt Robotics Inc. Mobile robot with arm for door interactions
US10906185B2 (en) * 2017-02-06 2021-02-02 Cobalt Robotics Inc. Mobile robot with arm for access point security checks
US11148882B2 (en) * 2018-07-13 2021-10-19 Target Brands, Inc. Robotic order picking
US11082667B2 (en) * 2018-08-09 2021-08-03 Cobalt Robotics Inc. Contextual automated surveillance by a mobile robot
WO2020256163A1 (ko) * 2019-06-17 2020-12-24 엘지전자 주식회사 인공지능 이동 로봇과 그의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040190776A1 (en) * 2003-03-31 2004-09-30 Honda Motor Co., Ltd. Gesture recognition apparatus, gesture recognition method, and gesture recognition program
KR20080008528A (ko) * 2006-07-20 2008-01-24 주식회사 유진로봇 고객 접대 기능을 가지는 서빙 로봇
KR20100110143A (ko) * 2009-04-02 2010-10-12 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
KR20120100505A (ko) * 2011-03-04 2012-09-12 (주)아이엠테크놀로지 무인 서빙 시스템 및 이의 제어방법
US9535421B1 (en) * 2014-02-28 2017-01-03 Savioke, Inc. Mobile delivery robot with interior cargo space

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112692846A (zh) * 2020-12-28 2021-04-23 大连理工江苏研究院有限公司 一种智能送餐机器人及其路径规划方法
CN114012756A (zh) * 2021-11-25 2022-02-08 江苏集萃智能制造技术研究所有限公司 一种智能送餐机器人

Also Published As

Publication number Publication date
US11370123B2 (en) 2022-06-28
KR20190106910A (ko) 2019-09-18
US20210402610A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
WO2020256159A1 (ko) 이동 로봇과 그의 제어 방법
WO2020256163A1 (ko) 인공지능 이동 로봇과 그의 제어 방법
WO2020184942A1 (ko) 음식 및/또는 음료의 서빙을 위한 로봇
WO2020184940A1 (ko) 음식 및/또는 음료의 서빙을 위한 로봇
WO2020141924A1 (en) Apparatus and method of generating map data of cleaning space
WO2020246643A1 (ko) 서빙 로봇 및 그를 이용한 고객 접대 방법
WO2020139064A1 (en) Cleaning robot and method of performing task thereof
WO2021010502A1 (ko) 로봇 및 그를 이용한 물품 관리 방법
WO2018124682A2 (ko) 이동 로봇 및 그 제어방법
WO2017091008A1 (ko) 이동 로봇 및 그 제어 방법
WO2020241950A1 (ko) 이동 로봇 및 그 제어방법
WO2020141747A1 (ko) 이동 로봇 및 그의 동작 방법
WO2018066816A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2021002499A1 (ko) 군집 로봇을 이용하여 사용자의 위치를 추적하는 방법, 태그장치 및 이를 구현하는 로봇
WO2020197128A1 (en) Method and apparatus for estimating tool trajectories
WO2021141396A1 (en) Robot cleaner using artificial intelligence and control method thereof
WO2021040104A1 (ko) 로봇
WO2019059714A1 (ko) 이동 로봇 및 이동 로봇의 제어방법
WO2021040214A1 (ko) 이동 로봇 및 그 제어 방법
WO2020230931A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
WO2020242065A1 (ko) 위험도 판단에 기초한 로봇 움직임 제어 방법 및 이를 이용한 이동 로봇 장치
WO2020251100A1 (ko) 퓨전 슬램에서 맵을 업데이트하는 방법 및 이를 구현하는 로봇
WO2020197244A1 (en) Mobile robot and method of controlling the same
WO2024019234A1 (ko) 장애물 인식 방법 및 주행로봇
WO2024025010A1 (ko) 서빙 로봇

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933528

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19933528

Country of ref document: EP

Kind code of ref document: A1