WO2020141638A1 - 서버 및 이를 포함하는 로봇 시스템 - Google Patents

서버 및 이를 포함하는 로봇 시스템 Download PDF

Info

Publication number
WO2020141638A1
WO2020141638A1 PCT/KR2019/000084 KR2019000084W WO2020141638A1 WO 2020141638 A1 WO2020141638 A1 WO 2020141638A1 KR 2019000084 W KR2019000084 W KR 2019000084W WO 2020141638 A1 WO2020141638 A1 WO 2020141638A1
Authority
WO
WIPO (PCT)
Prior art keywords
robots
server
robot
data
service
Prior art date
Application number
PCT/KR2019/000084
Other languages
English (en)
French (fr)
Inventor
제영우
권택민
김형민
문필주
손병국
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/000084 priority Critical patent/WO2020141638A1/ko
Priority to KR1020197030605A priority patent/KR20210099218A/ko
Priority to US16/628,447 priority patent/US11285608B2/en
Publication of WO2020141638A1 publication Critical patent/WO2020141638A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to a server and a robot system including the same, and more particularly, to a server capable of controlling a plurality of robots and providing various services, and a robot system including the same.
  • Robots have been developed for industrial use and have been responsible for part of factory automation. In recent years, the field of application of robots has been further expanded, medical robots, aerospace robots, etc. have been developed, and home robots that can be used in general homes are also being made. Among these robots, a mobile robot capable of driving by itself is called a mobile robot.
  • An object of the present invention is to provide a server capable of effectively managing and controlling a plurality of robots and providing various services and a robot system including the same.
  • An object of the present invention is to provide a low-cost, high-efficiency server with minimal administrator intervention and a robot system including the same.
  • An object of the present invention is to provide a server capable of efficiently providing an optimal service to other types of robots and a robot system including the same.
  • An object of the present invention is to provide a server capable of providing services with a minimum number of robots by selecting a combination suitable for a service providing place and type, and a robot system including the same.
  • An object of the present invention is to provide a server capable of effectively utilizing data acquired through a plurality of robots and a robot system including the same.
  • An object of the present invention is to provide a server capable of providing various services in connection with an external server and a robot system including the same.
  • a server according to an aspect of the present invention and a robot system including the same can provide various services by effectively managing and controlling a plurality of robots.
  • a robot system including the same can provide an optimal service that meets customer needs.
  • the robot system includes a plurality of robots, and a server that communicates with the plurality of robots and monitors and controls the states of the plurality of robots.
  • the plurality of robots include different types of robots, and the server may provide an integrated user interface including information about the different types of robots to a client.
  • the server includes a control server that communicates with a plurality of robots and monitors and controls the states of the plurality of robots, and the plurality of robots are different types of robots. It includes, it can provide an integrated user interface to the client (client) including information about the different types of robots.
  • a server according to an aspect of the present invention and a robot system including the same can easily update data related to a plurality of robots.
  • the server may collectively update data of robots associated with the received data among the plurality of robots.
  • the server may automatically receive data from the linked external server every predetermined period, and collectively update data of robots associated with the received data.
  • the server may apply data uploaded to the common portion to all of the plurality of robots, and data uploaded to the dedicated portion may be applied to the robot corresponding to the dedicated portion to which the data is uploaded.
  • a plurality of dedicated parts may be provided corresponding to the types of robots.
  • control server may provide a control service capable of monitoring the states and locations of the plurality of robots and managing content and work schedules.
  • the control server monitors the status and location of the plurality of robots, and a control service server providing a control service capable of managing content and work schedules, and an administrator application capable of managing applications related to the plurality of robots It may include a server.
  • the server may further include a device management server that relays and manages data related to the plurality of robots and a map server that provides map data.
  • the integrated user interface may include overall robot status information and status information for each robot type classified according to the robot type.
  • the state information for each robot type includes robot type name items, current state name items, and robot number information corresponding to the current state name items, and the current state name item and the robot number information are different for each state. It can be displayed in color.
  • the integrated user interface may further include location status information indicating the current positions of robots on a map and status information of individual robots.
  • the server may provide overall statistical data based on data collected from all robots, statistical data for each type based on data collected from robots of the same type, and individual statistical data based on data received from individual robots.
  • the server may provide statistical data for each function or service based on data collected from robots capable of performing a predetermined function or service.
  • a robot system capable of providing various services in connection with an external server may be implemented.
  • FIG. 1 is a block diagram of a robot system according to an embodiment of the present invention.
  • FIGS. 2A to 2D are views referred to for a description of a robot service delivery platform included in a robot system according to an embodiment of the present invention.
  • FIG. 3 is a diagram referred to for a description of learning using data acquired from a robot according to an embodiment of the present invention.
  • FIG. 7 is an example of a simplified internal block diagram of a robot according to an embodiment of the present invention.
  • FIG. 8 is a view referred to for a description of a robot system including a server according to an embodiment of the present invention.
  • 9 to 15 are views for reference to a description of a user interface screen of a robot system according to an embodiment of the present invention.
  • module and “part” for the components used in the following description are given simply by considering the ease of writing the present specification, and do not impart a particularly important meaning or role in itself. Therefore, the “module” and the “unit” may be used interchangeably.
  • first and second may be used to describe various elements, but these elements are not limited by these terms. These terms are only used to distinguish one element from another.
  • FIG. 1 is a block diagram of a robot system according to an embodiment of the present invention.
  • the robot system 1 is equipped with one or more robots (100a, 100b, 100c1, 100c2, 100c3) airport, hotel, mart, clothing store, logistics, hospital It can provide services in various places such as.
  • the robot system 1 interacts with a user at a guide robot 100a capable of guiding a predetermined place, item, or service, at a home, and other robots and electronic devices based on the user's input. It may include at least one of a home robot (100b) to communicate, delivery robots (100c1, 100c2, 100c3) capable of carrying a predetermined article, and a cleaning robot (100d) capable of autonomously driving and performing a cleaning operation.
  • the robot system 1 may include a server 10 that can manage and control.
  • the server 10 can remotely monitor and control the states of the plurality of robots 100a, 100b, 100c1, 100c2, 100c3, and 100d, and the robot system 1 includes a plurality of robots 100a, 100b, 100c1, 100c2, 100c3, 100d) can be used to provide more effective services.
  • the robot system 1 may include various types of robots 100a, 100b, 100c1, 100c2, 100c3, and 100d. Accordingly, not only can various services be provided by each robot, but also various and convenient services can be provided through the collaboration of robots.
  • a plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 is provided with a communication means (not shown) supporting one or more communication standards, it is possible to communicate with each other.
  • the plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 may communicate with a PC, a mobile terminal, and other external servers.
  • a plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 may communicate by using MQTT (Message Queueing Telemetry Transport) method.
  • MQTT Message Queueing Telemetry Transport
  • the plurality of robots 100a, 100b, 100c1, 100c2, 100c3, and 100d and the server 10 may communicate by using HyperText Transfer Protocol (HTTP).
  • HTTP HyperText Transfer Protocol
  • the plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 may communicate with a PC, a mobile terminal, or another server outside the HTTP or MQTT method.
  • the plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 support two or more communication standards, and are optimal depending on the type of communication data and the type of devices participating in communication. Communication standards can be used.
  • the server 10 is implemented as a cloud server, and a user can use data stored in the server 10 connected to various devices such as a PC and a mobile terminal, and functions and services provided by the server 10.
  • Cloud (10) is linked to robots (100a, 100b, 100c1, 100c2, 100c3, 100d) to monitor and control robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and provide various solutions and contents remotely Can.
  • the user can check or control information about the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d in the robot system through a PC or a mobile terminal.
  • 'user' is a person who uses a service through at least one robot, an individual customer who purchases or rents a robot and uses it at home, and a manager of a company that provides services to employees or customers using the robot. This may include employees and customers using these services. Accordingly, the'user' may include an individual customer (Business to Consumer: B2C) and an enterprise customer (Business to Business: B2B).
  • B2C Business to Consumer
  • B2B enterprise customer
  • the user can monitor the status and location of the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d in the robot system through a PC, a mobile terminal, and the like, and manage content and a work schedule.
  • the server 10 may store and manage information received from the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d.
  • the server 10 may be a server provided by a manufacturer of robots 100a, 100b, 100c1, 100c2, 100c3, and 100d or a company commissioned by a manufacturer.
  • system according to the present invention may operate in conjunction with two or more servers.
  • the server 10 may communicate with an external cloud server 20 such as E1, E2, content such as T1, T2, T3, a third party 30 providing a service, and the like. Accordingly, the server 10 may provide various services in conjunction with the external cloud server 20 and the third party 30.
  • an external cloud server 20 such as E1, E2, content such as T1, T2, T3, a third party 30 providing a service, and the like.
  • the server 10 may provide various services in conjunction with the external cloud server 20 and the third party 30.
  • the server 10 may be a control server that manages and controls the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d.
  • the server 10 may control the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d in the same way, or may be controlled for each individual robot. In addition, the server 10 may control each group after setting at least some of the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d as a group.
  • the server 10 may be configured by distributing information and functions to a plurality of servers, or may be configured as one integrated server.
  • the server 10 is configured by distributing information and functions to a plurality of servers or a single integrated server, so that the entire service using a robot can be managed. Therefore, the server 10 is a robot service delivery platform (RSDP). Can be named.
  • RSDP robot service delivery platform
  • FIGS. 2A to 2D are views referred to for a description of a robot service delivery platform included in a robot system according to an embodiment of the present invention.
  • FIG. 2A illustrates a communication architecture of a robot service delivery platform according to an embodiment of the present invention.
  • the robot service delivery platform 10 may manage and control the robot 100 such as the guide robot 100a and the cleaning robot 100d, including one or more servers 11 and 12.
  • the robot service delivery platform 10 communicates with the client 40 side through a web browser 41, an application 42 such as a mobile terminal, and the control server 11 and the robot that manages and controls the robot 100 It may include a device management server 12 for relaying and managing data related to (100).
  • the control server 11 monitors the status and location of the robot 100 based on user input received from the client 40 and provides a control/service server that provides a control service capable of managing content and work schedules ( 11a) and an administrator application (admin app) server 11b, which the control administrator can access through a web browser 41 or the like.
  • the control/service server 11a includes a database DB, and can respond to service requests such as robot management, control, wireless firmware upgrade (Firmware Over The Air: FOTA), and location inquiry of the client 40.
  • service requests such as robot management, control, wireless firmware upgrade (Firmware Over The Air: FOTA), and location inquiry of the client 40.
  • FOTA Wireless firmware upgrade
  • the administrator application server 11b is accessible to the administrator with administrator authority and can manage functions, applications, and contents related to the robot.
  • the device management server 12 may function as a proxy server, store meta data related to the original data, and perform a data backup function using a snapshot representing a state of the storage device.
  • the device management server 12 may include a common server that communicates with a storage in which various data is stored and a control/service server 11a.
  • the common server can store various data in storage or retrieve data from storage, and can respond to service requests such as robot management, control, wireless firmware upgrade, and location inquiry of the control/service server 11a.
  • the robot 100 may download map data and firmware data stored in the storage.
  • control server 11 and the device management server 12 By configuring the control server 11 and the device management server 12 separately, there is no need to store and store the data in storage, which is advantageous in terms of processing speed and time, and is easy to manage effectively in terms of security. There is this.
  • the robot service delivery platform 10 is a set of servers that provide robot-related services, and may refer to all but the client 40 and the robot 100 in FIG. 2A.
  • the robot service delivery platform 10 may further include a user management server 13 for managing user accounts.
  • the user management server 13 may manage user authentication, registration, and withdrawal.
  • the robot service delivery platform 10 may further include a map server 14 providing map data and data based on geographic information.
  • map data and the like received from the map server 14 may be stored in the control server 10 and/or the device management server 12, and the map data of the map server 14 may be downloaded to the robot 100. Can. Alternatively, at the request of the control server 11 and/or the device management server 12, map data may be transmitted from the map server 14 to the robot 100.
  • the robot 100 and the servers 11 and 12 may be provided with communication means (not shown) supporting one or more communication standards, and may communicate with each other.
  • the robot 100 and the server (11, 12) can communicate with the MQTT method.
  • the MQTT method is a method in which a message is transmitted/received through a broker, which is advantageous in terms of low power and speed.
  • an intermediary may be built in the device management server 12 or the like.
  • the robot 100 and the servers 11 and 12 support two or more communication standards, and can use optimal communication standards according to the type of communication data and the type of devices participating in the communication.
  • FIG. 2A a communication path using the MQTT method and a communication path using the HTML method are illustrated.
  • the communication method between the servers 11 and 12 and the robot 100 may use the MQTT method regardless of the robot type.
  • the robot 100 may transmit the current state to the servers 11 and 12 through an MQTT session, and receive a remote control command from the servers 11 and 12.
  • a digital certificate such as a private key (issued to generate a CSR), an X.509 certificate received during robot registration, and a device management server certificate may be required, and other authentication methods may be used.
  • each server 11, 12, 13, and 14 is classified based on a function performed, the present invention is not limited thereto, and two or more functions may be performed through one server, or one function It can also be performed through two or more servers.
  • FIG. 2B illustrates a block diagram of a robot service delivery platform according to an embodiment of the present invention, and illustrates applications of a higher layer of a robot control platform related to robot control.
  • the robot control platform 2 may include a user interface 2 and functions/services 4 provided by the control/service server 11.
  • the robot control platform 2 may provide a website-based control manager user interface 3a and an application-based user interface 3b.
  • the client 40 may use the user interface 3b provided by the robot control platform 2 through a device used by the client 40.
  • 2C and 2D illustrate a user interface provided by the robot service delivery platform 1 according to an embodiment of the present invention.
  • FIG. 2C shows a monitoring screen 210 associated with a plurality of guide robots 100a.
  • the user interface screen 210 provided by the robot service delivery platform 1 may include status information 211 of robots and location information 212a, 212b, 212c of robots.
  • the status information 211 may indicate the current status of the robots, such as being guided, waiting, and charging.
  • the location information 212a, 212b, and 212c may indicate the current location of the robot on the map screen.
  • the location information 212a, 212b, 212c may intuitively provide more information by displaying shapes, colors, and the like differently according to the state of the corresponding robot.
  • the user can monitor the robot's operating mode and current position in real time through the user interface screen 210.
  • 2D shows monitoring screens associated with the individual guide robot 100a.
  • a user interface screen 220 including history information 221 for a predetermined predetermined period may be provided.
  • the user interface screen 220 may include current location information of the selected individual guide robot 100a.
  • the user interface screen 220 may further include notification information 222 for the individual guide robot 100a, such as the remaining battery level and movement.
  • control / service server 11 is a common part (4a, 4b) including functions and services commonly applied to a plurality of robots, and at least a part of the plurality of robots specialization It may include a dedicated portion (4c) containing a function.
  • the common parts 4a and 4b may be divided into a basic service 4a and a common function 4b.
  • Common parts (4a, 4b) is a status monitoring service that can check the status of the robots, a diagnostic service that can diagnose the status of the robots, a remote control service that can remotely control the robots, which can track the position of the robots It may include a robot location tracking service, a schedule management service for allocating, checking, and modifying tasks of robots, and a statistical/report service for checking various statistical data and analysis reports.
  • the common part (4a, 4b) is a user authentication (Role) management function to manage the user's authority, the operation history management function, the robot management function, the firmware management function, the push function related to the notification push, It may include a robot group management function for setting and managing a group of robots, a map management function for checking and managing map data, version information, and the like, and a notification management function.
  • Role user authentication
  • the dedicated portion 4c may be configured with specialized functions in consideration of places where robots are operated, types of services, and customer requirements.
  • the dedicated portion 4c may mainly include specialized functions for B2B customers.
  • the dedicated unit 4c may include a cleaning area setting, site status monitoring, cleaning reservation setting, and cleaning history inquiry function.
  • the specialized functions provided by the dedicated unit 4c may be based on commonly applied functions and services.
  • the specialized function may also be configured by modifying the basic service 4a or adding a predetermined service to the basic service 4a.
  • the specialized function may be configured by partially modifying the common function 4b.
  • the basic service corresponding to the specialized function provided by the dedicated unit 4c and the common function may be removed or deactivated.
  • FIG. 3 is a diagram referred to for a description of learning using data acquired from a robot according to an embodiment of the present invention.
  • product data obtained by an operation of a predetermined device such as the robot 100 may be transmitted to the server 10.
  • the robot 100 may transmit data related to space, objects, and usage to the server 10 to the server 10.
  • the space and object-related data are data related to the recognition of the space and the object recognized by the robot 100, or the space acquired by the image acquisition unit (see 120 of FIG. 7 ). It may be image data for (space) and objects.
  • the robot 100 and the server 10 are artificial neural networks (ANN) in the form of software or hardware learned to recognize at least one of attributes of an object such as a user, a voice, an attribute of space, and an obstacle. It may include.
  • ANN artificial neural networks
  • the robot 100 and the server 10 are in-depth such as Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Deep Belief Network (DBN), which are learned by Deep Learning. It may include a deep neural network (DNN).
  • DNN deep neural network
  • a deep neural network structure such as a convolutional neural network (CNN) may be mounted on the control unit (see 140 of FIG. 7) of the robot 100.
  • the server 10 learns a deep neural network (DNN) based on data received from the robot 100, data input by a user, and the like, and then transmits the updated deep neural network (DNN) structure data to the robot 100 Can. Accordingly, the deep neural network (DNN) structure of artificial intelligence provided in the robot 100 may be updated.
  • DNN deep neural network
  • the usage-related data is data obtained according to the use of a predetermined product, for example, the robot 100, usage history data, and sensing data obtained from the sensor unit (refer to 170 of FIG. 7 ). And so on.
  • the learned deep neural network structure may receive input data for recognition, recognize attributes of people, objects, and spaces included in the input data, and output the result.
  • the learned deep neural network structure may receive input data for recognition, analyze and learn usage-related data (Data) of the robot 100 to recognize usage patterns, usage environments, and the like. .
  • data related to space, objects, and usage may be transmitted to the server 10 through a communication unit (see 190 of FIG. 7 ).
  • the server 10 may train the deep neural network (DNN) and then transmit the updated deep neural network (DNN) structure data to the mobile robot 100 to update it.
  • DNN deep neural network
  • the robot 100 may become smarter and provide a user experience (UX) that evolves as it is used.
  • UX user experience
  • the robot 100 and the server 10 may also use external information.
  • the server 10 may comprehensively use external information obtained from other linked service servers 20 and 30 to provide an excellent user experience.
  • the server 70 may perform voice recognition by receiving a voice input signal spoken by a user.
  • the server 70 may include a speech recognition module, and the speech recognition module may include an artificial neural network trained to perform speech recognition on input data and output a speech recognition result.
  • the server 10 may include a speech recognition server for speech recognition.
  • the voice recognition server may include a plurality of servers that share and perform a predetermined process during the voice recognition process.
  • the voice recognition server receives voice data and converts the received voice data into text data, an Automatic Speech Recognition (ASR) server, and the text from the automatic voice recognition server And a natural language processing (NLP) server that receives data and analyzes the received text data to determine a voice command.
  • the speech recognition server may further include a text to speech (TTS) server that converts the text speech recognition result output from the natural language processing server into speech data and transmits the result to the other server or device.
  • TTS text to speech
  • a user voice can be used as an input for controlling the robot 100.
  • the robot 100 can provide a more diverse and active control function to the user by actively providing information or outputting a voice recommending a function or service.
  • a server and a robot system including the same can effectively manage and control a plurality of robots to provide various services.
  • a server and a robot system including the same can effectively manage and control a plurality of robots to provide various services.
  • the robot 100 may be assigned to a specific space or perform a given task while driving.
  • the mobile robot means a robot capable of moving itself using wheels or the like. Therefore, the mobile robot may be a guide robot, a cleaning robot, an entertainment robot, a home helper robot, a security robot, and the like, which can move by itself, and the present invention is not limited to the type of the mobile robot.
  • the guide robot 100a is provided with a display 110a to display a predetermined image such as a user interface screen.
  • the guide robot 100a may display a user interface (UI) screen including events, advertisements, guide information, and the like on the display 110a.
  • UI user interface
  • the display 110a is configured with a touch screen and can also be used as an input means.
  • the guidance robot 100a may receive user input through a touch, voice input, or the like, and display information on an object and a place corresponding to the user input on the display 110a screen.
  • the guide robot 100a may include a scanner capable of identifying a ticket, a ticket, a barcode, a QR code, and the like for guidance.
  • the guide robot 100a may provide an escort service that directly guides the user while moving to a specific destination upon request of the user.
  • the cleaning robot 100d may be provided with a cleaning mechanism 135d such as a brush to clean a specific space while moving on its own.
  • a cleaning mechanism 135d such as a brush to clean a specific space while moving on its own.
  • the mobile robots 100a and 100d may perform a given task while driving in a specific space.
  • the mobile robots 100a and 100d may generate a path to a predetermined destination on their own, and perform autonomous driving that moves and follows or moves following a person or other robot.
  • the mobile robots 100a and 100d detect and avoid obstacles while moving based on image data acquired through the image acquisition unit 120 and sensing data obtained from the sensor unit 170. You can drive.
  • FIG. 5 is a front view showing the appearance of a home robot according to an embodiment of the present invention.
  • the home robot 100b includes main bodies 111b and 112b that form an exterior and house various parts therein.
  • the main body 111b, 112b is a body (111b) forming a space in which various components constituting the home robot 100b are accommodated, and a support part disposed under the body 111b to support the body 111b. It may include (112b).
  • the home robot 100b may include heads 110b disposed above the main bodies 111b and 112b.
  • a display 182b capable of displaying an image may be disposed on the front surface of the head 110b.
  • the front direction may mean the +y axis direction
  • the up and down direction may mean the z axis direction
  • the left and right directions may mean the x axis direction.
  • the head 110b may rotate within a predetermined angular range about the x-axis.
  • the head 110b when viewed from the front, is capable of a nodding operation moving in the vertical direction as if a person nodding the head in the vertical direction.
  • the head 110b may perform the return to home position one or more times after rotating within a predetermined range, such as a person nodding his head in the vertical direction.
  • At least a part of the front surface on which the display 182b corresponding to the human face of the head 100b is disposed may be implemented.
  • the body 111b may be configured to be rotatable in left and right directions. That is, the body 111b may be configured to be rotatable 360 degrees around the z-axis.
  • the body 111b is also configured to be rotatable within a predetermined angular range about the x-axis, so that it can move as a nod in the vertical direction.
  • the head 110b may also rotate about an axis in which the body 111b rotates.
  • the operation of the head 110b notifying in the vertical direction is the case where the head 110b itself rotates in the vertical direction when viewed from the front with respect to a predetermined axis and the body 111b is in the vertical direction. As it is noded, it may include all cases where the head 110b connected to the body 111b is nodeed by rotating together.
  • the home robot 100b may include an image acquisition unit 120b capable of photographing a predetermined range around the main bodies 111b and 112b and at least around the front surfaces of the main bodies 111b and 112b.
  • the image acquisition unit 120b photographs surroundings of the main bodies 111b and 112b, an external environment, and the like, and may include a camera module. For this type of camera, multiple cameras may be installed for each part.
  • the image acquisition unit 120b may include a front camera provided on the front surface of the head 110b to acquire images on the front surfaces of the main bodies 111b and 112b.
  • the home robot 100b may include a voice input unit 125b that receives a user's voice input.
  • the voice input unit 125b may include a processing unit that converts analog sound into digital data, or may be connected to the processing unit to dataize the user input voice signal to be recognized by the server 10 or the control unit 140.
  • the voice input unit 125b may include a plurality of microphones to increase the accuracy of user voice input reception and to determine the user's location.
  • the voice input unit 125b may include at least two or more microphones.
  • the plurality of microphones MIC may be arranged spaced apart from each other, and may acquire external audio signals including voice signals and process them as electrical signals.
  • the input device microphone requires at least two for sound source generating sound and user's direction estimation, and the farther the distance between microphones is, the higher the resolution (angle) of direction detection.
  • two microphones may be disposed on the head 110b.
  • the sound output unit 181b is disposed on the left and right sides of the head 110b to output predetermined information as sound.
  • the appearance and structure of the robot illustrated in FIG. 5 are exemplary and the present invention is not limited thereto.
  • the entire robot 100 may be tilted or shaken in a specific direction.
  • 6A to 6D illustrate delivery robots 100c, 100c1, 100c2, and 100c3 capable of carrying a given item.
  • the delivery robots (100c, 100c1, 100c2, 100c3) can be moved to autonomous driving, following driving, and can be moved to a predetermined place with the luggage, goods, carriers (C), etc. to be accommodated. Therefore, an escort service that guides the user to a specific place can also be provided.
  • the delivery robots 100c, 100c1, 100c2, and 100c3 may guide people to a specific location while carrying autonomous driving in a predetermined place, or carry luggage such as luggage.
  • the delivery robots 100c, 100c1, 100c2, and 100c3 may perform a following driving while maintaining a predetermined distance from the user.
  • the delivery robots 100c, 100c1, 100c2, and 100c3 may include a weight sensor that senses the weight of the load to be transported, and guide the user to the weight of the load detected by the weight sensor.
  • a modular design may be applied to the delivery robots 100c, 100c1, 100c2, and 100c3 to provide an optimized service according to the use environment and use.
  • the basic platform 100c includes a driving module 160c for driving with wheels, motors, etc., and a UI module 180c with display, microphone, speakers, etc., for interaction with users. can do.
  • the driving module 160c may include one or more incisions OP1, OP2, and OP3.
  • the first incision OP1 is a portion that is cut in the driving module 160c so that an internal front rider (not shown) is operable, and may be formed over the side from the front of the outer circumferential surface of the driving module 160c. have.
  • the front rider may be disposed to face the first incision OP1 inside the driving module 160c. Accordingly, the front rider may emit a laser through the first incision OP1.
  • the second incision OP2 is a portion that is cut in the driving module 160c so that an internal rear rider (not shown) is operable, and may be formed over the side from the rear of the outer peripheral surface of the driving module 160c. have.
  • the rear rider may be disposed to face the second incision OP2 inside the driving module 160c. Accordingly, the rear rider may emit a laser through the second incision OP2.
  • the third incision unit OP3 is a portion that is cut in the driving module 160c such that an internal sensor such as a cliff detection sensor that detects the presence of a cliff on the floor in the driving area is operable.
  • a sensor may be disposed on the outer surface of the driving module 160c.
  • An obstacle detection sensor such as an ultrasonic sensor 171c for detecting an obstacle may be disposed on the outer surface of the driving module 160c.
  • the ultrasonic sensor 171c may be a sensor for measuring a distance between obstacles and delivery robots 100c, 100c1, 100c2, and 100c3 using an ultrasonic signal.
  • the ultrasonic sensor 333 may perform a function for detecting an obstacle close to the delivery robots 100c, 100c1, 100c2, and 100c3.
  • the ultrasonic sensor 171c may be configured in plural to detect obstacles in all directions proximate to the delivery robots 100c, 100c1, 100c2, and 100c3.
  • the plurality of ultrasonic sensors 171c may be spaced apart from each other along the circumference of the driving module 160c.
  • the UI module 180c may include two displays 182a and 182b, and at least one of the two displays 182a and 182b may be configured as a touch screen and used as an input means
  • the UI module 180c may further include a camera of the image acquisition unit 120.
  • the camera is disposed on the front surface of the UI module 180c to acquire image data in a predetermined range on the front surface of the UI module 180c.
  • the UI module 180c may be rotatably implemented.
  • the UI module 180c may include a head portion 180a rotatable in the left-right direction and a body portion 180cb supporting the head portion 180ca.
  • the head unit 180ca may rotate based on an operation mode and a current state of the delivery robots 100c, 100c1, 100c2, and 100c3.
  • the camera is disposed on the head portion 180ca to obtain image data in a predetermined range in a direction that the head portion 180a faces.
  • the head unit 180ca may rotate to face forward.
  • the head unit 180ca may be rotated to face rearward.
  • the head portion 180ca may be rotated so that the camera faces the identified user.
  • the porter robot 100c1 may further include a transport service module 160c1 capable of accommodating luggage on the basic platform 100c.
  • the porter robot 100c1 may include a scanner capable of identifying tickets, tickets, barcodes, QR codes, and the like for guidance.
  • the serving robot 100c2 may further include a serving service module 160c2 capable of accommodating serving items on the base platform 100c.
  • serving items in a hotel may include towels, toothbrushes, toothpaste, bathroom supplies, bedding, drinks, food, room service, and other small household appliances.
  • the serving service module 160c2 is provided with a space for accommodating the serving goods, and the serving goods can be transported stably.
  • the serving service module 160c2 may include a door capable of opening and closing a space for accommodating the serving article, and the door may be opened and closed manually and/or automatically.
  • the cart robot 100c3 may further include a shopping cart service module 160c3 capable of accommodating the customer's shopping items on the basic platform 100c.
  • the shopping cart service module 160c3 may include a scanner capable of recognizing barcodes, QR codes, and the like of shopping items.
  • the service modules 160c1, 160c2, and 160c3 may be mechanically combined with the driving module 160c and/or the UI module 180c. Also, the service modules 160c1, 160c2, and 160c3 may be electrically connected to the driving module 160c and/or the UI module 180c to transmit and receive signals. Accordingly, it can operate organically.
  • the delivery robots (100c, 100c1, 100c2, 100c3), the driving module (160c) and / or UI module (180c) and the service module (160c1, 160c2, 160c3) for coupling the coupling portion (400c) It can contain.
  • FIG. 7 is an example of a simplified internal block diagram of a robot according to an embodiment of the present invention.
  • the control unit 140 for controlling the overall operation of the robot 100, a storage unit 130 for storing various data, the server 10 It may include a communication unit 190 for transmitting and receiving data with other devices.
  • the control unit 140 controls the storage unit 130, the communication unit 190, the driving unit 160, the sensor unit 170, the output unit 180, etc. in the robot 100, and the overall operation of the robot 100 Can be controlled.
  • the storage unit 130 records various information necessary for the control of the robot 100, and may include a volatile or nonvolatile recording medium.
  • the recording medium stores data that can be read by a microprocessor, and includes a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, CD-ROM, magnetic Tapes, floppy disks, optical data storage devices, and the like.
  • control unit 140 may control the operation state of the robot 100 or a user input to be transmitted to the server 10 through the communication unit 190.
  • the communication unit 190 may include at least one communication module so that the robot 100 can be connected to the Internet or a predetermined network and to communicate with other devices.
  • the communication unit 190 may connect to a communication module provided in the server 10 to process data transmission and reception between the robot 100 and the server 10.
  • the robot 100 may further include a voice input unit 125 that receives a user's voice input through a microphone.
  • the voice input unit 125 may include a processing unit that converts analog sound into digital data or is connected to the processing unit, so that the user input voice signal can be dataized to be recognized by the control unit 140 or the server 10.
  • data for speech recognition may be stored in the storage unit 130, and the controller 140 may process a voice input signal of a user received through the speech input unit 125 and perform a speech recognition process. .
  • the voice recognition process may not be performed by the robot 100 itself, but may be performed by the server 10.
  • the control unit 140 may control the communication unit 190 such that a user input voice signal is transmitted to the server 10.
  • the simple speech recognition may be performed by the robot 100, and high-dimensional speech recognition such as natural language processing may be performed by the server 10.
  • the robot 100 may perform an operation on the keyword, and other voice input may be performed through the server 10.
  • the robot 100 may perform only the recognition of the caller that activates the voice recognition mode, and the voice recognition for the subsequent user voice input may be performed through the server 10.
  • control unit 140 may control the robot 100 to perform a predetermined operation based on a result of voice recognition.
  • the robot 100 may include an output unit 180 and display predetermined information as an image or output as sound.
  • the output unit 180 may include a display 182 that displays information corresponding to a user's command input, a processing result corresponding to a user's command input, an operation mode, an operation state, and an error state.
  • the robot 100 may include a plurality of displays 182.
  • the displays 182 may be configured as a touch screen by forming a mutual layer structure with a touch pad.
  • the display 182 composed of the touch screen may be used as an input device capable of inputting information by a user's touch in addition to the output device.
  • the output unit 180 may further include an audio output unit 181 that outputs an audio signal.
  • the sound output unit 181 displays warning messages such as a warning sound, an operation mode, an operation state, and an error state under control of the control unit 140, information corresponding to a user's command input, and processing result corresponding to a user's command input. It can be output as sound.
  • the audio output unit 181 may convert and output an electrical signal from the control unit 140 to an audio signal. To this end, a speaker or the like can be provided.
  • the robot 100 may further include an image acquisition unit 120 capable of photographing a predetermined range.
  • the image acquisition unit 120 photographs surroundings of the robot 100, an external environment, and the like, and may include a camera module. For this type of camera, multiple cameras may be installed for each part.
  • the image acquisition unit 120 may photograph an image for user recognition.
  • the controller 140 may determine an external situation or recognize a user (guide target) based on the image acquired by the image acquisition unit 120.
  • the control unit 140 includes the image acquisition unit 120
  • the robot 100 may be controlled to travel based on an image obtained by shooting.
  • the image acquired by the image acquisition unit 120 may be stored in the storage unit 130.
  • the robot 100 may further include a driving unit 160 for movement.
  • the driving unit 160 may move the main body under the control of the control unit 140.
  • the driving unit 160 may include at least one driving wheel (not shown) in which the robot 100 moves the main body.
  • the driving unit 160 may include a driving motor (not shown) connected to the driving wheel to rotate the driving wheel.
  • the driving wheels may be provided on the left and right sides of the main body, respectively, hereinafter referred to as the left and right wheels, respectively.
  • the left wheel and the right wheel may be driven by a single driving motor, but a left wheel driving motor for driving the left wheel and a right wheel driving motor for driving the right wheel may be provided, if necessary.
  • the driving direction of the main body can be switched to the left or right side by making a difference in the rotational speeds of the left and right wheels.
  • the robot 100 that does not move may also include a driving unit 160 for performing a predetermined action as described with reference to FIG. 5.
  • the driving unit 160 may include a plurality of driving motors (not shown) that rotate and/or move the body 111b and the head 110b.
  • the robot 100 may include a sensor unit 170 including sensors that sense various data related to the operation and state of the robot 100.
  • the sensor unit 170 may further include a motion detection sensor that senses the motion of the robot 100 and outputs motion information.
  • a motion detection sensor e.g., a Bosch Sensortec BMA150 accelerometer, a Bosch Sensortec BMA150 accelerometer, or the like can be used as a motion detection sensor.
  • a gyro sensor e.g., a Bosch Sensortec BMA150 accelerometer
  • a wheel sensor e.gyro sensor
  • an acceleration sensor e.gyro sensor
  • the sensor unit 170 may include an obstacle detection sensor that detects an obstacle, and the obstacle detection sensor includes an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, a PSD (Position Sensitive Device) sensor, and a floor in the driving area. It may include a cliff detection sensor for detecting the presence of a cliff, light detection and ranging (Lidar).
  • the obstacle detection sensor includes an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, a PSD (Position Sensitive Device) sensor, and a floor in the driving area. It may include a cliff detection sensor for detecting the presence of a cliff, light detection and ranging (Lidar).
  • the obstacle detection sensor detects an object, particularly an obstacle, present in the driving (movement) direction of the mobile robot and transmits the obstacle information to the controller 140.
  • the control unit 140 may control the movement of the robot 100 according to the detected position of the obstacle.
  • FIG. 8 is a view referred to for a description of a robot system including a server according to an embodiment of the present invention.
  • FIGS. 1 to 7 illustrates an example of data transmitted and received by the server 10, the robot 100, the client 40, and the interlocking server 15 in a robot system including a server according to an embodiment of the present invention.
  • the characteristics of the robot system described with reference to FIGS. 1 to 7 may be identically included.
  • a robot system monitors a plurality of robots 100 and states of the plurality of robots 100 while communicating with the plurality of robots 100.
  • the control server 10 The control server 10.
  • the robot system 1 includes a guide robot 100a, a home robot 100b, delivery robots 100c, and a cleaning robot ( 100d).
  • the plurality of robots 100 may include different types of robots. That is, the robot system according to an embodiment of the present invention may include two or more types of robots.
  • the robot system 1 according to an embodiment of the present invention, guide robot 100a, home robot 100b, porter robot 100c1, serving robot 100c2, cart robot 100c3, cleaning Two or more types of robots may be included in the robot 100d.
  • the plurality of robots 100 may transmit status information, operation information, and data acquired during operation to the server 10.
  • the plurality of robots 100 communicate with the server 10, and can transmit and receive various information.
  • the server 10 may notify the state change.
  • the plurality of robots 100 may periodically inform the server 10 of the current state.
  • the plurality of robots 100 may transmit information on tasks performed by the server 10.
  • the plurality of robots 100 may collect data, such as image data acquired through the image acquisition unit 120 during operation, sensing data acquired through the sensor unit 170, map information generated during driving, and the like. 10).
  • the plurality of robots 100 may receive a user input requesting a predetermined service, and transmit data related to the user input to the server 10.
  • the server 10 may control the plurality of robots 100, and may monitor the status of the plurality of robots 100 and the task performance status of each of the tasks.
  • the server 10 may provide various data related to task performance to the plurality of robots 100 and update data and setting information stored in the plurality of robots 100.
  • the server 10 communicates with the plurality of robots 100 and monitors and controls the states of the plurality of robots 100. It may include a control server (11). In this case, the plurality of robots 100 communicate with the control server 11 and can transmit and receive various information.
  • the server 10 is a server of a service provider that provides services using products and robots, such as airports, hotels, and marts, and information of the server 15, such as a server of a content provider such as weather, map data, music, and movies, and the like It can transmit and receive.
  • a service provider that provides services using products and robots, such as airports, hotels, and marts
  • information of the server 15, such as a server of a content provider such as weather, map data, music, and movies, and the like It can transmit and receive.
  • the server 10 may receive environment information of a service providing place such as an airport, a hotel, a mart, etc. from the interlocking server 15, and may transmit information necessary for performing a task to the robot 100.
  • a service providing place such as an airport, a hotel, a mart, etc.
  • the server 10 may receive content data such as weather, map data, music, movies, etc. from the interlocking server 15, and transmit and update the received content data to a predetermined robot 100.
  • content data such as weather, map data, music, movies, etc.
  • map data may be received from a server of a service provider or from a server of a map specialist company.
  • the server 10 may receive map data (eg, SLAM map data) generated by the plurality of robots 100 while traveling, separately from the map data received from the companion server 15 from the robot 100. .
  • the server 10 may update the map data of each of the plurality of robots 100 after collecting the map data transmitted by the plurality of robots 100 to generate more accurate map data.
  • the server 10 may provide a robot-related user interface to a client (client) 40, and may control the robot 100 according to a user input through the client 40.
  • the server 10 may include a control server 11 that communicates with the client 40 side through a web browser 41, an application 42 such as a mobile terminal, and manages and controls the robot 100. have.
  • the server 10 may further include a device management server 12 for relaying and managing data related to the plurality of robots 100.
  • control server 11 based on user input received from the client 40, monitors the status and location of the robot 100, provides a control service that provides a control service that can manage the content and work schedule It may include a server 11a and an administrator app server 11b, which the control administrator can access through a web browser 41 or the like.
  • the control/service server 11a includes a database DB, and can respond to service requests such as robot management, control, wireless firmware upgrade (Firmware Over The Air: FOTA), and location inquiry of the client 40.
  • service requests such as robot management, control, wireless firmware upgrade (Firmware Over The Air: FOTA), and location inquiry of the client 40.
  • FOTA Wireless firmware upgrade
  • the administrator application server 11b is accessible to the administrator with administrator authority and can manage functions, applications, and contents related to the robot.
  • the server 10 may provide robot control, content management, schedule management, and data collection/analysis functions to the client 40.
  • the server 10 may provide an interface for using the function to the client 40.
  • the robot control function includes robot device management functions such as robot device profile management and firmware management, and monitoring of the entire robot status such as operation mode and errors, and robot monitoring functions such as checking the current position and status of each robot. It may include robot control functions such as robot power off, reboot, and position movement.
  • the content management function may support a function for appropriately reflecting images, text, and map-related information suitable for the situation of a B2B customer, etc., and applying the robot device application according to the system environment.
  • Required resources text, images, videos, etc.
  • the schedule management function can set and manage the tasks of the robots, and support task management for each robot and time zone.
  • the data collection/analysis function can collect and statisticalize robot (device) data.
  • service data such as error, operating mode, operating time, mileage, etc.
  • service number such as number of times provided for each service, and time provided may be collected and statisticalized.
  • the server 10 may share the collected information, analyzed information, and statistical information with the companion server 15.
  • the server 10 may provide an integrated user interface to the client 40 that includes information about the other types of robots.
  • the integrated user interface may include overall robot status information and status information for each robot type classified according to the robot type.
  • the state information for each robot type includes robot type name items, current state name items, and robot number information corresponding to the current state name items, and the current state name item and the robot number information are different for each state. It can be displayed in color.
  • the integrated user interface may further include location status information indicating the current positions of robots on a map and status information of individual robots.
  • the server 10 may provide overall statistical data based on data collected from all robots, statistical data for each type based on data collected from robots of the same type, and individual statistical data based on data received from individual robots. have.
  • the server 10 may provide statistical data for each function or service based on data collected from robots capable of performing a predetermined function or service.
  • the server 10 provides an integrated user interface including information on the different types of robots to the client 40, thereby managing two or more types of robots as one control system and a user interface. Can be controlled.
  • a low-cost, high-efficiency robot-to-robot collaboration system with minimal administrator intervention can be implemented, and a combination of service locations and types can be selected to provide services with minimal robots.
  • storage media such as a USB memory was connected to individual robots, and data was input or updated. As a result, it was inefficient because it required manual loading of contents required for robots, such as new customers, language, log, map, and picture frame when information is generated.
  • the server 10 and the robot system 1 including the same can easily update data related to a plurality of robots.
  • the server 10 may collectively update data of robots associated with the received data among the plurality of robots.
  • map data of the guide robot 100a, the delivery robot 100c, and the cleaning robot 100d which are mobile robots. Etc. can be updated.
  • the server 10 may further include a map server 14 that provides map data and data based on geographic information.
  • the server 10 may automatically receive data from the interlocked external server 15 every predetermined period, and collectively update data of robots associated with the received data.
  • the server 10 communicates with the external server 15 that is automatically linked every set period, such as daily, weekly, monthly, to determine whether there is data to be updated, If there is data to be updated, the robot 100 may be updated after receiving the data to be updated.
  • the server 10 includes common parts 4a and 4b including functions and services commonly applied to a plurality of robots 100, and the plurality of robots It may be modularized by including a dedicated portion (4c) including a specialized function associated with at least a portion of the (100).
  • a common function of the platform common parts 4a and 4b can be utilized to shorten the development period, and it is possible to respond in a timely manner by managing content and schedule through the server 10. .
  • the server 10 applies data uploaded to the common portions 4a and 4b to all of the plurality of robots 100, and data uploaded to the dedicated portion 4c is dedicated to uploading data. It can be applied to a robot corresponding to the part 4c.
  • a plurality of dedicated parts 4c may be provided corresponding to the types of robots.
  • 9 to 15 are views for reference to a description of a user interface screen of a robot system according to an embodiment of the present invention. It shows user interface screens displayed on the client side display means provided by the server to the client side.
  • the user interface screen 800 may include a menu area 801 in which upper menu items 810 to 890 are disposed and an information area 805 in which a screen corresponding to the selected upper item is displayed. have.
  • the user interface screen 800 may be provided on the web.
  • the menu area 801 may be arranged on the upper side, and the information area 805 may be arranged on the lower side.
  • the server 10 and the robot system 1 including the same according to the present invention, as well as the robot 100, can provide a complete solution that provides a Web (Web) front from the API (Application Programming Interface). .
  • Web Web
  • API Application Programming Interface
  • the web front screen used by the user may also be referred to as'ROBOT ADMIN'.
  • the main characteristics of the robot administrator are remote robot control, resource management, robot task schedule management, and robot data management, and upper menu items 810 to 890 for this may be arranged in the menu area 801.
  • the authority information item 810 of the user accessing the robot admin web user interface screen 800, a dashboard item 820 for checking the status information of the robots, a robot device profile, and the like are managed.
  • the robot device management item 830, the resource (text, image, video, etc.) required for the robot device application management item 840, the schedule item 850 for setting and checking the work schedule of the robots, the task performance data of the robots, the robot It may include a data management item 860 that can manage various types of data acquired by them, a notification item 870 that can check various notification information, and a setting item 880 that can input and check various settings.
  • FIG 9 illustrates a case in which a dashboard screen 900 is displayed in the information area 805 by selecting a dashboard item 820.
  • the dashboard screen 900 is a kind of home screen and may be a default screen displayed when a user accesses the screen.
  • a predetermined screen such as a welcome screen and a screen for notifying notifications, may be displayed.
  • the dashboard screen 900 may provide various basic information required for the user by arranging various information about the robots on one screen. Accordingly, user manipulation, such as an administrator for monitoring information about robots, can be minimized.
  • the dashboard screen 900 may be an integrated user interface that includes information about different types of robots.
  • the dashboard screen 900 may include information about two or more types of robots.
  • the dashboard screen 900 may include overall robot status information 910 and status information 930 and 940 for each robot type classified according to the robot type.
  • the total robot status information 910 may include total robot number information 911 and robot number information for each type 921 and 922.
  • the robot system includes two types of robots, the guiding robot 100a and the cleaning robot 100d, and the robot number information 921 and 922 for each type is the guiding robot number information 921 and the cleaning robot.
  • Algebra information 922 may be included.
  • the status information 930 and 940 for each robot type includes robot type name items 931 and 941, current state name items 932a, 932b, 932c, 942a, and 942b, and robot number information corresponding to the current state name item ( 933a, 933b, 933c, 943a, 943b).
  • the guidance robot status information 930 For example, looking at the guidance robot status information 930, under the guidance robot name item 931, the driving disabled state 932a (1) 933a, the photographing business state (932b) 1 (933b), guidance It is possible to check the status information of the guide robot 100a included in the robot system 1, such as two work states 932c and 933c.
  • the robot system (such as one of 994a) and one of the cleaning tasks state 942b (943a), 994b It is possible to check the status information of the cleaning robot 100d included in 1).
  • the current state name items 932a, 932b, 932c, 942a, and 942b and the robot number information 933a, 933b, 933c, 943a, and 943b may be displayed in different colors for each state.
  • the name item and the number information corresponding to the at least one state may be displayed in different colors from the other name items and the number information.
  • non-driving state name items 932a and 942a and log information 933a and 943a may be displayed in red.
  • the user can intuitively grasp the state of the robots.
  • dashboard screen 900 may further include location status information 950 in which the current positions of the robots are displayed on a map, and status information 960 of individual robots.
  • the individual robot status information 960 may include robot-specific items 961, 962, 963, and 964 including text and/or graphic objects representing identification information and status information of each robot.
  • the status information 960 of the individual robot may be disposed at the bottom of the dashboard screen 900. Depending on the number of robots operated by the robot system 1, the state information 960 of the individual robots may not be entirely included on one screen. In this case, the user can scroll down the dashboard screen 900 to check at least some of the status information 960 of the individual robots.
  • FIG. 10 illustrates a case in which the content management screen 1000 is displayed in the information area 805 by selecting the resource management item 830.
  • the resource management item 830 is a common function of robots, a common part item 841 that manages content data related to services, a function app item 842 that manages each function application of robots, and resource changes.
  • a change history item 843 that can confirm the history may be included.
  • the user can add, delete, or change elements that are commonly reflected in the robots.
  • map 1 items 1020, and map 2 items 1030 used by robots included in the common part item 841 may be collectively updated.
  • the map 1 item 1020 and the map 2 item 1030 may correspond to map data in which at least some information is different.
  • some of the information included in the map may be different between the map 1 item 1020 and the map 2 item 1030, and the generation subject of the map may be different.
  • the map 2 item 1030 may include map data and geographic information received from the companion server 15.
  • the interworking server 15 may be a server of a 3rd party specializing in maps/main features (POIs).
  • the server 10 may periodically load a map file through interworking between an API-based cloud and a company specialized in a map measurement solution.
  • the map and POI information uploaded to the robot control server 11 can be collectively reflected on the robot.
  • the server to server interworking between the server 10 and the server 15 of a map measurement solution specialist can provide scalability using external services.
  • one embodiment of the present invention is flexible according to the customer's request by linking the map / POI information using a specialized solution so that the administrator does not need to edit the map or POI directly. It can be designed to be able to respond.
  • the server 10 may provide a customized service in a manner desired by a customer through interworking with a 3rd party solution providing other content services in addition to the map.
  • the user may check the language-related change 1040.
  • the sub-menu 1050 it is possible to perform updates to collectively add, delete, and change language-related data of all robots.
  • FIG 11 shows an example of changing the guide screen of the guide robot 100a when the language used is changed from Korean to English.
  • the guide robot 100a displaying the guide screen 1110 using Korean language may display the guide screen 1120 using English according to a change in language use of the entire robot. Thereafter, all robots, such as the guide robot 100a, will continue to display a guide screen using English until the language is changed.
  • FIG. 12 illustrates a case where the application management screen 1200 is displayed in the information area 805 when the function app item 842 is selected.
  • an application management screen 1200 including a category tab menu 1210 corresponding to each function application of robots may be displayed.
  • the category tab menu 1210 may include items corresponding to each functional application, such as location guidance/escort, signage, robot photographer, taking pictures together, and events.
  • the signage item is a menu item that can manage resource management of the signage application driven by the robot by uploading or deleting files.
  • the signage application is that the guide robot 100a, etc., displays an image, a video, etc. on a large display, and the user can check the signage application-related changes 1220 after selecting a signage item.
  • images and video data of a signage application can be collectively added, deleted, and updated.
  • Content such as image and video data updated in the signage application may be applied to the robot 100, such as the guide robot 100a, to be played at all times or under specific conditions.
  • the signage application may provide an advanced advertisement service including additional services such as advertisement content creation and advertisement effect measurement in conjunction with an advertisement solution company.
  • menu items included in the integrated user interface screen and detailed screens corresponding to each menu item may be variously changed.
  • the resource management item 830 illustrated in FIG. 10 includes a common part item 841, a function app item 842, and a change history item 843
  • the resource management item 830 illustrated in FIG. 12 May include a common part item 841, a function app item 842, a change history item 843, and a map management item 844 capable of managing map data.
  • FIG. 13 illustrates a case where the schedule management screen 1300 is displayed in the information area 805 when the schedule item 850 is selected, and FIG. 14 illustrates the schedule management screen being edited.
  • the schedule management screen 1300 includes details of a schedule selected from among a plurality of schedules and a schedule status item 1310 in which a registered schedule for each robot is displayed on a calendar and/or a time line. It may include the details item 1320 displayed.
  • the time assigned to the mission among the time lines assigned to each robot may be graphically represented, and in the schedule status item 1310, different colors for each task type assigned to each robot It can be displayed as. Accordingly, the administrator can intuitively check the schedule of the robot.
  • the administrator can manage tasks for each robot and time zone by using the schedule management screen 1300.
  • the administrator can select a period of 14-15 o'clock on a timeline of a specific robot among schedule status items 1410. Then, the detailed setting screen 1420 may be displayed on at least a portion of the display screen of the client 40, and input a work mode, repetition setting, and the like in the corresponding time zone.
  • the server 10 is based on data collected from all robots, statistical data by type based on data collected from robots of the same type, and individual based on data received from individual robots. Statistical data can be provided.
  • the server 10 may provide statistical data for each function or service based on data collected from robots capable of performing a predetermined function or service.
  • FIG. 15 illustrates a data management screen 1500 in which the data management item 860 is selected and displayed.
  • the user can check various data by selecting the tab menus 1510 and 1515 of the data management screen 1500.
  • the user can check the average log value and statistical data of the entire robot by year, month, week, day, and time zone by selecting the entire tab menu item 1510.
  • the user can select the tab menu item 1510 for each robot, and check the average log value of a specific type of robot, log values of individual robots, and statistical data.
  • Execution time information 1560 for each service may be displayed on a user interface screen.
  • the data management screen 1500 may further include a query period selection item 1520 and manipulate the query period selection item 1520 to set a period range for receiving statistical data.
  • the server 10 may provide a user interface with high readability for the general public to understand. For example, as shown in FIG. 15, execution time information 1550 for each mode, execution time information 1560 for each service, and the like may be provided as a highly readable graph.
  • the server 10 may compare a specific mode / service execution time for each robot or individual robots to grasp the difference between before and after.
  • the server 10 inquires the execution time for each mode (operation, charging, standby) or service (location guidance, photo shooting, etc.), total mileage and number of errors, etc., and provides a report for comparison by all/individual robots Can.
  • the server 10 is profile analysis through facial recognition of customers who have approached the robot, and may derive implications such as preference through customer's initial access and departure point analysis.
  • the server, the robot system including the same, and the control method thereof according to the present invention are not limited to the configuration and method of the above-described embodiments, and the above embodiments can be applied to various embodiments so that various modifications can be made. All or some of them may be configured by selectively combining.
  • a server and a control method of a robot system including the same, can be implemented as a code that can be read by a processor in a recording medium that can be read by the processor.
  • the processor-readable recording medium includes all types of recording devices in which data that can be read by the processor are stored. Examples of the recording medium readable by the processor include a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and also implemented in the form of a carrier wave such as transmission through the Internet. .
  • the processor-readable recording medium may be distributed over a networked computer system so that the processor-readable code is stored and executed in a distributed manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

본 발명의 일 측면에 따른 로봇 시스템은, 복수의 로봇, 및, 상기 복수의 로봇과 통신하며 상기 복수의 로봇의 상태를 모니터링(monitoring)하고 제어하는 서버를 포함하고, 상기 복수의 로봇은 다른 종류의 로봇을 포함하며, 상기 서버는 상기 다른 종류의 로봇에 대한 정보를 포함하는 통합 유저 인터페이스를 클라이언트(client)에 제공할 수 있다.

Description

서버 및 이를 포함하는 로봇 시스템
본 발명은 서버 및 이를 포함하는 로봇 시스템에 관한 것으로서, 더욱 상세하게는 복수의 로봇을 제어하고 다양한 서비스를 제공할 수 있는 서버 및 이를 포함하는 로봇 시스템에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다.
로봇 이용의 증가에 따라, 단순 기능의 반복 수행을 넘어서 다양한 정보, 재미, 서비스를 제공할 수 있는 로봇에 대한 요구가 많아지고 있다.
이에 따라, 가정, 매장, 공공 장소 등에 배치되어 사람과 상호 소통이 가능한 커뮤니케이션 로봇이 개발되고 있다.
또한, 자력으로 주행이 가능한 이동 로봇을 이용한 서비스들에 제안되고 있다. 예를 들어, 선행 문헌(한국 공개특허공보 10-2008-0090150호, 공개일자 2008년 10월 08일)은 서비스 지역을 이동하면서 현재위치에 따른 서비스를 제공할 수 있는 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및 서비스 로봇을 이용하는 서비스 시스템의 제어방법을 제안하고 있다.
다수의 로봇을 이용할수록 로봇들의 상태를 모니터링하고 효율적으로 제어할 수 있는 방안이 요구된다.
본 발명의 목적은, 복수의 로봇을 효과적으로 관리하고 제어하여 다양한 서비스를 제공할 수 있는 서버 및 이를 포함하는 로봇 시스템을 제공함에 있다.
본 발명의 목적은, 관리자의 개입을 최소화한 저비용, 고효율의 서버 및 이를 포함하는 로봇 시스템을 제공함에 있다.
본 발명의 목적은, 다른 종류의 로봇들로 최적의 서비스를 효율적으로 제공할 수 있는 서버 및 이를 포함하는 로봇 시스템을 제공함에 있다.
본 발명의 목적은, 서비스 제공 장소와 종류에 적합한 조합을 선택하여 최소한의 로봇들로 서비스를 제공할 수 있는 서버 및 이를 포함하는 로봇 시스템을 제공함에 있다.
본 발명의 목적은, 복수의 로봇을 통하여 획득되는 데이터를 효과적으로 활용할 수 있는 서버 및 이를 포함하는 로봇 시스템을 제공함에 있다.
본 발명의 목적은, 외부 서버와 연계하여 다양한 서비스를 제공할 수 있는 서버 및 이를 포함하는 로봇 시스템을 제공함에 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 서버 및 이를 포함하는 로봇 시스템은, 복수의 로봇을 효과적으로 관리하고 제어하여 다양한 서비스를 제공할 수 있다. 특히, 다른 종류의 로봇들도 효과적으로 관리하고 제어함으로써, 고객의 요구에 부합하는 최적의 서비스를 제공할 수 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 로봇 시스템은, 복수의 로봇, 및, 상기 복수의 로봇과 통신하며 상기 복수의 로봇의 상태를 모니터링(monitoring)하고 제어하는 서버를 포함하고, 상기 복수의 로봇은 다른 종류의 로봇을 포함하며, 상기 서버는 상기 다른 종류의 로봇에 대한 정보를 포함하는 통합 유저 인터페이스를 클라이언트(client)에 제공할 수 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 서버는, 복수의 로봇과 통신하며 상기 복수의 로봇의 상태를 모니터링하고 제어하는 관제 서버를 포함하고, 상기 복수의 로봇은 다른 종류의 로봇을 포함하며, 상기 다른 종류의 로봇에 대한 정보를 포함하는 통합 유저 인터페이스를 클라이언트(client)에 제공할 수 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 서버 및 이를 포함하는 로봇 시스템은 다수의 로봇과 관련된 데이터를 간편하게 업데이트할 수 있다.
서버는 연동된 외부 서버로부터 데이터가 수신되면, 상기 복수의 로봇 중 상기 수신된 데이터와 연관된 로봇들의 데이터를 일괄 업데이트할 수 있다.
또한, 상기 서버는, 기설정된 주기마다 자동으로 상기 연동된 외부 서버로부터 데이터를 수신하고, 상기 수신된 데이터와 연관된 로봇들의 데이터를 일괄 업데이트할 수 있다.
또한, 상기 서버는, 공통부에 업로드된 데이터는 상기 복수의 로봇 전부에 적용하고, 전용부에 업로드된 데이터는 데이터가 업로드된 전용부에 대응하는 로봇에 적용할 수 있다. 이 경우에, 상기 전용부는 로봇들의 종류에 대응하여 복수개 구비될 수 있다.
한편, 상기 관제 서버는, 상기 복수의 로봇의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있는 관제 서비스를 제공할 수 있다. 상기 관제 서버는, 상기 복수의 로봇의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있는 관제 서비스를 제공하는 관제 서비스 서버 및, 상기 복수의 로봇과 관련된 애플리케이션을 관리할 수 있는 관리자 애플리케이션 서버를 포함할 수 있다.
또한, 상기 서버는, 상기 복수의 로봇과 관련된 데이터를 중계하고 관리하는 기기 관리 서버, 맵(map) 데이터를 제공하는 맵 서버를 더 포함할 수 있다.
한편, 상기 통합 유저 인터페이스는, 전체 로봇 현황 정보, 로봇의 종류에 따라 분류된 로봇 종류별 상태 정보를 포함할 수 있다. 이 경우에, 상기 로봇 종류별 상태 정보는, 로봇 종류 명칭 항목, 현재 상태 명칭 항목, 상기 현재 상태 명칭 항목에 대응하는 로봇 대수 정보를 포함하고, 상기 현재 상태 명칭 항목과 상기 로봇 대수 정보는 상태별로 다른 색상으로 표시될 수 있다.
또한, 상기 통합 유저 인터페이스는, 맵(map) 상에 로봇들의 현재 위치가 표시되는 위치 현황 정보 및, 개별 로봇의 상태 정보를 더 포함할 수 있다.
한편, 상기 서버는, 전체 로봇에서 취합된 데이터에 기초한 전체 통계 데이터, 동일한 종류의 로봇에서 취합된 데이터에 기초한 종류별 통계 데이터, 개별 로봇에서 수신된 데이터에 기초한 개별 통계 데이터를 제공할 수 있다.
또한, 상기 서버는, 소정 기능 또는 서비스를 수행할 수 있는 로봇들로부터 취합된 데이터에 기초한 기능 또는 서비스별 통계 데이터를 제공할 수 있다.
본 발명의 실시예들 중 적어도 하나에 의하면, 복수의 로봇을 이용하여 다양한 서비스를 제공하여 사용 편의성을 향상할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 관리자의 개입을 최소화한 저비용, 고효율의 로봇간 협업 시스템을 구현할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 다른 종류의 로봇들로 최적의 서비스를 효율적으로 제공할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 서비스 제공 장소와 종류에 적합한 조합을 선택하여 최소한의 로봇들로 서비스를 제공할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 복수의 로봇을 효과적으로 관리할 수 있고, 복수의 로봇을 통하여 획득되는 데이터를 활용할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 외부 서버와 연계하여 다양한 서비스를 제공할 수 있는 로봇 시스템을 구현할 수 있다.
한편, 그 외의 다양한 효과는 후술될 본 발명의 실시예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 것이다.
도 1은 본 발명의 일 실시예에 따른 로봇 시스템 구성도이다.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따른 로봇 시스템에 포함되는 로봇 서비스 딜리버리 플랫폼(Robot Service Delivery Platform)에 관한 설명에 참조되는 도면이다.
도 3은 본 발명의 일 실시예에 따라 로봇에서 획득된 데이터(data)를 이용한 학습(Learning)에 대한 설명에 참조되는 도면이다.
도 4, 도 5, 및, 도 6a 내지 도 6d는 본 발명의 실시예에 따른 로봇들을 예시한 도이다.
도 7은 본 발명의 일 실시예에 따른 로봇의 간략한 내부 블록도의 일예이다.
도 8은 본 발명의 일 실시예에 따른 서버를 포함하는 로봇 시스템에 관한 설명에 참조되는 도면이다.
도 9 내지 도 15는 본 발명의 실시예에 따른 로봇 시스템의 유저 인터페이스 화면에 관한 설명에 참조되는 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다.
한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.
도 1은 본 발명의 일 실시예에 따른 로봇 시스템 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 로봇 시스템(1)은, 하나 이상의 로봇(100a, 100b, 100c1, 100c2, 100c3)을 구비하여 공항, 호텔, 마트, 의류매장, 물류, 병원 등 다양한 장소에서 서비스를 제공할 수 있다. 예를 들어, 로봇 시스템(1)은 소정 장소, 물품, 서비스에 대해서 안내할 수 있는 안내로봇(100a), 가정 등에서 사용자와 인터랙션(interaction)하며, 사용자의 입력에 기초하여 다른 로봇, 전자 기기와 통신하는 홈 로봇(100b), 소정 물품을 운반할 수 있는 배송 로봇들(100c1, 100c2, 100c3), 자율 주행하며 청소 작업을 수행할 수 있는 청소 로봇(100d) 중 적어도 하나를 포함할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 로봇 시스템(1)은, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d), 및, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3)을 관리하고 제어할 수 있는 서버(10)를 포함할 수 있다.
서버(10)는 원격에서 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d)의 상태를 모니터링하고, 제어할 수 있고, 로봇 시스템(1)은 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d)을 이용하여 더 효과적인 서비스 제공이 가능하다.
더욱 바람직하게 로봇 시스템(1)은 다양한 종류의 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)을 포함할 수 있다. 이에 따라, 각 로봇이 제공하는 서비스들을 다양하게 제공할 수 있을 뿐만 아니라, 로봇들의 협업으로 더욱 다양하고 편리한 서비스를 제공할 수 있다.
복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다. 또한, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 PC, 이동 단말기, 외부의 다른 서버와 통신할 수 있다.
예를 들어, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 MQTT(Message Queueing Telemetry Transport) 방식으로 통신할 수 있다.
또는, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 HTTP(HyperText Transfer Protocol) 방식으로 통신할 수 있다.
또한, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 HTTP 또는 MQTT 방식으로 PC, 이동 단말기, 외부의 다른 서버와 통신할 수 있다.
경우에 따라서, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 2이상의 통신 규격을 지원하고, 통신 데이터의 종류, 통신에 참여하는 기기의 종류에 따라 최적의 통신 규격을 사용할 수 있다.
서버(10)는 클라우드(cloud) 서버로 구현되어, 사용자는 PC, 이동 단말기 등 다양한 기기로 통신 연결된 서버(10)에 저장된 데이터와 서버(10)가 제공하는 기능, 서비스를 이용할 수 있다. 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d)에 클라우드(10)가 연동되어 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d)을 모니터링, 제어하고 다양한 솔루션과 콘텐츠를 원격으로 제공할 수 있다.
사용자는 PC, 이동 단말기 등을 통하여 로봇 시스템 내의 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)에 관한 정보를 확인하거나 제어할 수 있다.
본 명세서에서 '사용자'는 적어도 하나의 로봇을 통한 서비스를 이용하는 사람으로, 로봇을 구매 또는 대여하여 가정 등에서 사용하는 개인 고객, 및, 로봇을 이용하여 직원 또는 고객에게 서비스를 제공하는 기업의 관리자, 직원들과 이러한 기업이 제공하는 서비스를 이용하는 고객들을 포함할 수 있다. 따라서, '사용자'는 개인 고객(Business to Consumer : B2C)과 기업 고객(Business to Business : B2B)을 포함할 수 있다.
사용자는 PC, 이동 단말기 등을 통하여 로봇 시스템 내의 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있다.
한편, 서버(10)는, 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d), 기타 기기로부터 수신되는 정보를 저장 및 관리할 수 있다.
상기 서버(10)는 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)의 제조사 또는 제조사가 서비스를 위탁한 회사가 제공하는 서버일 수 있다.
한편, 본 발명에 따른 시스템은 2개 이상의 서버와 연동하여 동작할 수 있다.
예를 들어, 상기 서버(10)는 E1, E2 등 외부의 클라우드 서버(20), T1, T2, T3 등 콘텐트(content), 서비스를 제공하는 서드 파티(30) 등과 통신할 수 있다. 이에 따라, 상기 서버(10)는 외부의 클라우드 서버(20), 서드 파티(30)와 연동하여 다양한 서비스를 제공할 수 있다.
상기 서버(10)는 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)을 관리하고 제어하는 관제 서버일 수 있다.
상기 서버(10)는 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)을 일괄적으로 동일하게 제어하거나, 개별 로봇 별로 제어할 수 있다. 또한, 서버(10)는 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d) 중 적어도 일부 로봇에 대해서 그룹으로 설정한 후에 그룹별로 제어할 수 있다.
한편, 상기 서버(10)는, 복수의 서버로 정보, 기능이 분산되어 구성될 수도 있고, 하나의 통합 서버로 구성될 수도 있을 것이다.
상기 서버(10)는, 복수의 서버로 정보, 기능이 분산되어 구성되거나 하나의 통합 서버로 구성되어, 로봇을 이용한 서비스 전반을 관리할 수 있으므로 로봇 서비스 딜리버리 플랫폼(Robot Service Delivery Platform: RSDP)으로 명명될 수 있다.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따른 로봇 시스템에 포함되는 로봇 서비스 딜리버리 플랫폼(Robot Service Delivery Platform)에 관한 설명에 참조되는 도면이다.
도 2a는 본 발명의 일 실시예에 따른 로봇 서비스 딜리버리 플랫폼의 통신 아키텍쳐(architecture)를 예시한다.
도 2a를 참조하면, 로봇 서비스 딜리버리 플랫폼(10)은, 하나 이상의 서버(11, 12)를 포함하여 안내 로봇(100a), 청소 로봇(100d) 등 로봇(100)을 관리하고 제어할 수 있다.
로봇 서비스 딜리버리 플랫폼(10)은, 클라이언트(40) 측과 웹 브라우저(41), 이동 단말기 등의 애플리케이션(42) 등을 통하여 통신하며 로봇(100)을 관리하고 제어하는 관제 서버(11)와 로봇(100)과 관련된 데이터를 중계하고 관리하는 기기 관리 서버(12)를 포함할 수 있다.
관제 서버(11)는 클라이언트(40)로부터 수신되는 사용자 입력에 기초하여, 로봇(100)의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있는 관제 서비스를 제공하는 관제/서비스 서버(11a) 및, 관제 관리자가 웹 브라우저(41) 등을 통해서 접근할 수 있는, 관리자 애플리케이션(admin app) 서버(11b)를 포함할 수 있다.
관제/서비스 서버(11a)는 데이터베이스(DB)를 구비하고, 클라이언트(40)의 로봇 관리, 제어, 무선 펌웨어 업그레이드(Firmware Over The Air : FOTA), 위치 조회 등의 서비스 요청에 응답할 수 있다.
관리자 애플리케이션 서버(11b)는 관제 관리자가 관리자 권한으로 접근 가능하며 로봇과 관련된 기능, 애플리케이션, 콘텐츠를 관리할 수 있다.
기기 관리 서버(12)는 프록시(proxy) 서버로서의 기능, 원 데이터와 관련된 메타 데이터를 저장하고, 저장 장치의 상태를 나타내는 스냅샷(Snapshot) 등을 활용한 데이터 백업 기능을 수행할 수 있다.
기기 관리 서버(12)는 각종 데이터가 저장되는 스토리지(storage)와 관제/서비스 서버(11a) 등과 통신하는 커먼 서버(common server)를 포함할 수 있다. 커먼 서버는 각종 데이터를 스토리지(storage)에 저장하거나 스토리지로부터 데이터를 불러올 수 있고, 관제/서비스 서버(11a)의 로봇 관리, 제어, 무선 펌웨어 업그레이드, 위치 조회 등의 서비스 요청에 응답할 수 있다.
또한, 로봇(100)은 스토리지에 저장된 맵 데이터, 펌웨어 데이터를 다운로드할 수 있다.
관제 서버(11)와 기기 관리 서버(12)가 분리되어 구성함으로써, 데이터를 스토리지에 저장하고, 다시 전송할 필요가 없어, 처리 속도와 시간 측면에서 장점이 있고, 보안 측면에서도 효과적인 관리가 용이한 장점이 있다.
한편, 로봇 서비스 딜리버리 플랫폼(10)은 로봇 관련 서비스를 제공하는 서버의 집합으로, 도 2a에서 클라이언트(40)와 로봇(100)들을 제외한 전부를 의미할 수 있다.
예를 들어, 로봇 서비스 딜리버리 플랫폼(10)은 사용자 계정을 관리하는 사용자 관리 서버(13)를 더 포함할 수 있다. 사용자 관리 서버(13)는 사용자 인증, 등록, 탈퇴를 관리할 수 있다.
실시예에 따라서, 로봇 서비스 딜리버리 플랫폼(10)은 맵(map) 데이터, 지리적 정보에 기반한 데이터를 제공하는 맵 서버(14)를 더 포함할 수 있다.
상기 맵 서버(14)에서 수신되는 맵 데이터 등은 관제 서버(10) 및/또는 기기 관리 서버(12)에 저장될 수 있고, 로봇(100)에 상기 맵 서버(14)의 맵 데이터가 다운로드될 수 있다. 또는, 관제 서버(11) 및/또는 기기 관리 서버(12)의 요청에 따라, 상기 맵 서버(14)에서 상기 로봇(100)으로 맵 데이터가 송신될 수 있다.
로봇(100) 및 서버(11, 12)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다.
도 2a를 참조하면, 로봇(100) 및 서버(11, 12)는 MQTT 방식으로 통신할 수 있다. MQTT 방식은 매개자(broker)를 통해 메시지가 송수신되는 방식으로 저전력, 속도 측면에서 장점이 있다. 한편, 로봇 서비스 딜리버리 플랫폼(10)이 MQTT 방식을 이용할 때 매개자는 기기 관리 서버(12) 등에 구축될 수 있다.
또한, 로봇(100) 및 서버(11, 12)는 2이상의 통신 규격을 지원하고, 통신 데이터의 종류, 통신에 참여하는 기기의 종류에 따라 최적의 통신 규격을 사용할 수 있다. 도 2a에서는 MQTT 방식을 이용한 통신 패스와 HTML 방식을 이용한 통신 패스가 예시된다.
한편, 서버(11, 12)와 로봇(100) 사이의 통신 방법은 로봇 종류와 관계없이 MQTT 방식을 사용할 수 있다.
로봇(100)은 MQTT 세션을 통해 현재 상태를 서버(11, 12)로 전송하고, 서버(11, 12)로부터 원격 제어 명령을 수신할 수 있다. MQTT 연결을 위해서는 (CSR 생성을 위해 발급받은) 개인 키, 로봇 등록 시 받은 X.509 인증서, 기기 관리 서버 인증서 등 디지털 인증서가 필요할 수 있고 다른 인증 방식을 사용할 수도 있다.
도 2a에서는 각 서버들(11, 12, 13, 14)이 수행하는 기능을 기준으로 구분된 것이므로, 본 발명은 이에 한정되지 아니하고 둘 이상의 기능이 하나의 서버를 통해 수행될 수도 있고, 하나의 기능이 둘 이상의 서버를 통해 수행될 수도 있다.
도 2b는 본 발명의 일 실시예에 따른 로봇 서비스 딜리버리 플랫폼의 블록도를 예시한 것으로, 로봇 관제와 관련된 로봇 관제 플랫폼의 상위 계층의 애플리케이션들을 예시한 것이다.
도 2b를 참조하면, 로봇 관제 플랫폼(2)은 유저 인터페이스(2)와 관제/서비스 서버(11)가 제공하는 기능/서비스들(4)을 포함할 수 있다.
로봇 관제 플랫폼(2)은 웹 사이트 기반의 관제 관리자 유저 인터페이스(3a)와 애플리케이션 기반의 유저 인터페이스(3b)를 제공할 수 있다.
클라이언트(40)는 자신이 사용하는 기기를 통하여, 로봇 관제 플랫폼(2)이 제공하는 유저 인터페이스(3b)를 이용할 수 있다.
도 2c와 도 2d는 본 발명의 일 실시예에 따른 로봇 서비스 딜리버리 플랫폼(1)이 제공하는 유저 인터페이스(user interface)를 예시한 것이다.
도 2c는 복수의 안내 로봇(100a)과 관련된 모니터링 화면(210)을 도시한다.
도 2c를 참조하면, 로봇 서비스 딜리버리 플랫폼(1)이 제공하는 유저 인터페이스 화면(210)은 로봇들의 상태 정보(211)와 로봇들의 위치 정보(212a, 212b, 212c)를 포함할 수 있다.
상태 정보(211)는 안내중, 대기중, 충전중 등 로봇들의 현재 상태를 나타낼 수 있다.
위치 정보(212a, 212b, 212c)는 지도 화면 상에 현재 로봇의 위치를 나타낼 수 있다. 실시예에 따라서, 위치 정보(212a, 212b, 212c)는 해당 로봇의 상태에 따라서, 모양, 색상 등을 다르게 표시함으로써, 직관적으로 더 많은 정보를 제공할 수 있다.
사용자는 유저 인터페이스 화면(210)을 통하여, 로봇의 운영 모드와 현재 위치를 실시간으로 모니터링할 수 있다.
도 2d는 개별 안내 로봇(100a)과 관련된 모니터링 화면들을 도시한다.
도 2d를 참조하면, 개별 안내 로봇(100a)이 선택되면, 기설정된 소정 기간 동안의 이력(history) 정보(221)를 포함하는 유저 인터페이스 화면(220)이 제공될 수 있다.
상기 유저 인터페이스 화면(220)은 선택된 개별 안내 로봇(100a)의 현재 위치 정보를 포함할 수 있다.
또한, 유저 인터페이스 화면(220)은 배터리 잔량 상태, 이동 등 개별 안내 로봇(100a)에 대한 알림 정보(222)를 더 포함할 수 있다.
한편, 도 2b를 참조하면, 관제/서비스 서버(11)는 복수의 로봇에 공통으로 적용되는 기능 및 서비스를 포함하는 공통부(4a, 4b), 및, 상기 복수의 로봇 중 적어도 일부와 관련된 특화 기능을 포함하는 전용부(4c)를 포함할 수 있다.
실시예에 따라서, 공통부(4a, 4b)는 기본 서비스(4a)와 공통 기능(4b)으로 나누어질 수도 있다.
공통부(4a, 4b)는 로봇들의 상태를 확인할 수 있는 상태 모니터링 서비스, 로봇들의 상태를 진단할 수 있는 진단 서비스, 로봇들을 원격으로 제어할 수 있는 원격 제어 서비스, 로봇들의 위치를 추적할 수 있는 로봇 위치 추적 서비스, 로봇들의 업무를 할당, 확인, 수정할 수 있는 스케줄 관리 서비스, 각종 통계 데이터와 분석 리포트를 확인할 수 있는 통계/리포트 서비스 등을 포함할 수 있다.
또한, 공통부(4a, 4b)는 로봇 인증 기능 사용자의 권한을 관리하는 사용자 롤(Role) 관리 기능, 운영 이력 관리 기능, 로봇 관리 기능, 펌웨어 관리 기능, 알림 푸시(push)와 관련된 푸시 기능, 로봇들의 그룹을 설정하고 관리할 수 있는 로봇 그룹 관리 기능, 맵 데이터, 버전 정보 등을 확인하고 관리할 수 있는 맵 관리 기능, 공지사항 관리 기능 등을 포함할 수 있다.
전용부(4c)는 로봇들이 운용되는 장소, 서비스의 종류, 고객의 요구 사항 등을 고려한 특화 기능으로 구성될 수 있다. 전용부(4c)는 주로 B2B 고객을 위한 특화 기능을 포함할 수 있다. 예를 들어, 청소 로봇(100d)의 경우에, 전용부(4c)는 청소 영역 설정, 사이트(site)별 상태 모니터링, 청소 예약 설정, 청소 이력 조회 기능을 포함할 수 있다.
한편, 전용부(4c)가 제공하는 특화 기능은 공통으로 적용되는 기능 및 서비스에 기초할 수 있다. 예를 들어, 특화 기능도 기본 서비스(4a)를 수정하거나 기본 서비스(4a)에 소정 서비스를 추가하여 구성될 수 있다. 또는 특화 기능은 공통 기능(4b)을 일부 수정하여 구성하는 것도 가능하다.
이 경우에, 전용부(4c)가 제공하는 특화 기능에 대응하는 기본 서비스, 공통 기능은 제거되거나, 비활성화될 수도 있다.
도 3은 본 발명의 일 실시예에 따라 로봇에서 획득된 데이터(data)를 이용한 학습(Learning)에 대한 설명에 참조되는 도면이다.
도 3을 참조하면, 로봇(100) 등 소정 기기의 동작으로 획득되는 제품 데이터(product data)가 서버(10)로 전송될 수 있다.
예를 들어, 로봇(100)은, 서버(10)로 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)를 서버(10)로 전송할 수 있다.
여기서, 공간(space), 사물(Object) 관련 데이터는 로봇(100)이 인식한 공간(space)과 사물(Object)의 인식 관련 데이터이거나, 영상획득부(도 7의 120 참조)가 획득한 공간(space)과 사물(Object)에 대한 이미지 데이터일 수 있다.
실시예에 따라서, 로봇(100) 및 서버(10)는 사용자, 음성, 공간의 속성, 장애물 등 사물의 속성 중 적어도 하나를 인식하도록 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(Artificial Neural Networks: ANN)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 로봇(100) 및 서버(10)는 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다. 예를 들어, 로봇(100)의 제어부(도 7의 140 참조)에는 CNN(Convolutional Neural Network) 등 심층신경망 구조(DNN)가 탑재될 수 있다.
서버(10)는 로봇(100)으로부터 수신한 데이터, 사용자에 의해 입력되는 데이터 등에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 로봇(100)으로 전송할 수 있다. 이에 따라, 로봇(100)이 구비하는 인공지능(artificial intelligence)의 심층신경망(DNN) 구조를 업데이트할 수 있다.
또한, 사용(Usage) 관련 데이터(Data)는 소정 제품, 예를 들어, 로봇(100)의 사용에 따라 획득되는 데이터로, 사용 이력 데이터, 센서부(도 7의 170 참조)에서 획득된 센싱 데이터 등이 해당될 수 있다.
학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 입력 데이터에 포함된 사람, 사물, 공간의 속성을 인식하여, 그 결과를 출력할 수 있다.
또한, 상기 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 로봇(100)의 사용(Usage) 관련 데이터(Data)를 분석하고 학습하여 사용 패턴, 사용 환경 등을 인식할 수 있다.
한편, 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)는 통신부(도 7의 190 참조)를 통하여 서버(10)로 전송될 수 있다.
서버(10)는 수신한 데이터에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 이동 로봇(100)으로 전송하여 업데이트하게 할 수 있다.
이에 따라, 로봇(100)이 점점 더 똑똑해지고, 사용할수록 진화되는 사용자 경험(UX)을 제공할 수 있다.
로봇(100) 및 서버(10)는 외부 정보(external information)도 이용할 수 있다. 예를 들어, 서버(10)가 다른 연계 서비스 서버(20, 30)로부터 획득한 외부 정보를 종합적으로 사용하여 우수한 사용자 경험을 제공할 수 있다.
상기 서버(70)는 사용자가 발화한 음성 입력 신호를 수신하여 음성 인식을 수행할 수 있다. 이를 위해, 상기 서버(70)는 음성 인식 모듈을 포함할 수 있고, 음성 인식 모듈은 입력 데이터에 대하여 음성 인식을 수행하여 음성 인식 결과를 출력하도록 학습된 인공신경망을 포함할 수 있다.
실시예에 따라서, 상기 서버(10)는 음성 인식을 위한 음성 인식 서버를 포함할 수 있다. 또한, 음성 인식 서버도 음성 인식 과정 중 소정 과정을 분담하여 수행하는 복수의 서버를 포함할 수 있다. 예를 들어, 음성 인식 서버는, 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식(Automatic Speech Recognition: ASR) 서버, 및, 상기 자동 음성 인식 서버로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하는 자연어 처리(Natural Language Processing: NLP) 서버를 포함할 수 있다. 경우에 따라서, 음성 인식 서버는, 자연어 처리 서버가 출력한 텍스트 음성 인식 결과를 음성 데이터로 변환하여 다른 서버 또는 기기로 송신하는 텍스트 음성 변환(Text to Speech: TTS) 서버를 더 포함할 수 있다.
본 발명에 따르면, 로봇(100) 및/또는 서버(10)가 음성 인식을 수행할 수 있어, 로봇(100)의 제어를 위한 입력을 사용자 음성을 사용할 수 있다.
또한, 본 발명에 따르면, 로봇(100)이 능동적으로 먼저 정보를 제공하거나 기능, 서비스를 추천하는 음성을 출력함으로써 사용자에게 더욱 다양하고 적극적인 제어 기능을 제공할 수 있다.
도 1 내지 도 3을 참조하여 설명한 것과 같이, 본 발명의 일 실시예에 따른 서버 및 이를 포함하는 로봇 시스템은, 복수의 로봇을 효과적으로 관리하고 제어하여 다양한 서비스를 제공할 수 있다. 특히, 다른 종류의 로봇들도 효과적으로 관리하고 제어함으로써, 고객의 요구에 부합하는 최적의 서비스를 제공할 수 있다.
이하에서는 도 4 내지 도 7을 참조하여, 본 발명의 실시예에 따른 로봇들을 설명하고, 도 8 내지 도 15를 참조하여 본 발명의 실시예에 따른 서버 및 이를 포함하는 로봇 시스템의 일부 구성과 동작을 다시 설명할 것이다.
도 4, 도 5, 및, 도 6a 내지 도 6d는 본 발명의 실시예에 따른 로봇들을 예시한 도이다. 로봇(100)은 특정 공간에 배치되거나 주행하면서 부여된 임무를 수행할 수 있다.
도 4는 주로 공공장소에서 사용되는 이동 로봇들을 예시한다. 이동 로봇은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미한다. 따라서, 이동 로봇은 스스로 이동 가능한 안내 로봇, 청소 로봇, 엔터테인먼트(Entertainment) 로봇, 가정 도우미 로봇, 경비 로봇 등일 수 있고, 본 발명은 이동 로봇의 종류에 한정되지 않는다.
도 4는 안내 로봇(100a)과 청소 로봇(100d)을 예시한다.
안내 로봇(100a)은 디스플레이(110a)를 구비하여 유저 인터페이스 화면 등 소정 영상을 표시할 수 있다.
또한, 안내 로봇(100a)은 이벤트, 광고, 안내 정보 등을 포함하는 유저 인터페이스(UI) 화면을 디스플레이(110a)에 표시할 수 있다. 디스플레이(110a)는 터치스크린으로 구성되어 입력 수단으로도 사용될 수 있다.
또한, 안내 로봇(100a)은, 터치, 음성 입력 등으로 사용자 입력을 수신하여, 사용자 입력에 대응하는 물체, 장소에 대한 정보를 디스플레이(110a) 화면에 표시할 수 있다.
실시예에 따라서, 안내 로봇(100a)은, 안내를 위하여, 티켓, 항공권, 바코드, QR 코드 등을 식별할 수 있는 스캐너를 구비할 수 있다.
또한, 안내 로봇(100a)은, 사용자 요청 시, 특정 목적지까지 이동하면서 사용자를 직접 안내하는 에스코트 서비스(escort service)를 제공할 수 있다.
청소 로봇(100d)은 브러시 등 청소 기구(135d)를 구비하여 스스로 이동하면서 특정 공간을 청소할 수 있다.
이러한 이동 로봇(100a, 100d)은 특정 공간을 주행하면서 부여된 임무를 수행할 수 있다. 이동 로봇(100a, 100d)은 스스로 소정 목적지까지의 경로를 생성하여 이동하는 자율 주행, 사람 또는 다른 로봇을 따라가며 이동하는 추종 주행을 수행할 수 있다. 안전사고 발생을 방지하기 위해서, 이동 로봇(100a, 100d)은 영상획득부(120)를 통하여 획득되는 영상 데이터, 센서부(170)에서 획득되는 센싱 데이터 등에 기초하여 이동 중 장애물을 감지하여 회피하면서 주행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 홈 로봇의 외관을 도시하는 정면도이다.
도 5를 참조하면, 홈 로봇(100b)은, 외관을 형성하고 그 내부에 각종 부품을 수납하는 본체(111b, 112b)를 포함한다.
본체(111b, 112b)는 홈 로봇(100b)을 구성하는 각종 부품들이 수용되는 공간을 형성하는 바디(body, 111b)와 상기 바디(111b)의 하측에 배치되어 상기 바디(111b)를 지지하는 지지부(112b)를 포함할 수 있다.
또한, 홈 로봇(100b)은 본체(111b, 112b)의 상측에 배치되는 헤드(head, 110b)를 포함할 수 있다. 헤드(110b)의 전면에는 영상을 표시할 수 있는 디스플레이(182b)가 배치될 수 있다.
본 명세서에서 전면 방향은 +y 축 방향을 의미하고, 상하 방향은 z축 방향, 좌우 방향은 x축 방향을 의미할 수 있다.
상기 헤드(110b)는 x축을 중심으로 소정 각도 범위 내에서 회전할 수 있다.
이에 따라, 전면에서 봤을 때, 상기 헤드(110b)는 사람이 고개를 상하 방향으로 끄덕거리는 것처럼 상하 방향으로 움직이는 노딩(Nodding) 동작이 가능하다. 예를 들어, 상기 헤드(110b)는 사람이 머리를 상하 방향으로 끄덕거리는 것처럼 소정 범위 내에서 회전 후 원위치 복귀 동작을 1회 이상 수행할 수 있다.
한편, 실시예에 따라서는, 헤드(100b) 중 사람의 안면에 대응할 수 있는 디스플레이(182b)가 배치되는 전면 중 적어도 일부가 노딩되도록 구현될 수 있다.
따라서, 본 명세서에서는, 상기 헤드(110b) 전체가 상하 방향으로 움직이는 실시예를 중심으로 기술하지만, 특별히 설명하지 않는 한, 헤드(110b)가 상하 방향으로 노딩(Nodding)하는 동작은, 디스플레이(182)가 배치되는 전면 중 적어도 일부가 상하 방향으로 노딩하는 동작으로 대체 가능할 것이다.
상기 바디(111b)는 좌우 방향으로 회전 가능하도록 구성될 수 있다. 즉, 상기 바디(111b)는 z축을 중심으로 360도 회전 가능하도록 구성될 수 있다.
또한, 실시예에 따라서는, 상기 바디(111b)도 x축을 중심으로 소정 각도 범위 내에서 회전가능하게 구성됨으로써, 상하 방향으로도 끄덕거리는 것처럼 움직일 수 있다. 이 경우에, 상기 바디(111b)가 상하 방향으로 회전함에 따라, 상기 바디(111b)가 회전하는 축을 중심으로 상기 헤드(110b)도 함께 회전할 수 있다.
따라서, 본 명세서에서 헤드(110b)가 상하 방향으로 노딩(Nodding)하는 동작은, 헤드(110b) 자체가 소정 축을 중심으로 전면에서 봤을 때 상하 방향으로 회전하는 경우와 상기 바디(111b)가 상하 방향으로 노딩함에 따라, 상기 바디(111b)에 연결된 상기 헤드(110b)가 함께 회전함으로써 노딩되는 경우를 모두 포함할 수 있다.
한편, 홈 로봇(100b)은 본체(111b, 112b) 주변, 적어도 본체(111b, 112b) 전면을 중심으로 소정 범위를 촬영할 수 있는 영상획득부(120b)를 포함할 수 있다.
영상획득부(120b)는 본체(111b, 112b) 주변, 외부 환경 등을 촬영하는 것으로, 카메라 모듈을 포함할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. 바람직하게, 영상획득부(120b)는, 본체(111b, 112b) 전면의 영상을 획득하도록 헤드(110b)의 전면에 구비되는 전면 카메라를 포함할 수 있다.
또한, 홈 로봇(100b)은 사용자의 음성 입력을 수신하는 음성 입력부(125b)를 포함할 수 있다.
음성 입력부(125b)는 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어 사용자 입력 음성 신호를 서버(10) 또는 제어부(140)에서 인식할 수 있도록 데이터화할 수 있다.
음성 입력부(125b)는 사용자 음성 입력 수신의 정확도를 높이고, 사용자의 위치를 판별하기 위해, 복수의 마이크를 포함할 수 있다.
예를 들어, 음성 입력부(125b)는 적어도 2이상의 마이크를 포함할 수 있다.
복수의 마이크(MIC)는, 서로 다른 위치에 이격되어 배치될 수 있고, 음성 신호를 포함한 외부의 오디오 신호를 획득하여 전기적인 신호로 처리할 수 있다.
한편, 입력 장치인 마이크는 음향을 발생시킨 음원, 사용자의 방향 추정을 위하여 최소 2개가 필요하며, 마이크 사이의 간격은 물리적으로 멀리 떨어져 있을수록 방향 검출의 해상도(각도)가 높다. 실시예에 따라서는 2개의 마이크가 상기 헤드(110b)에 배치될 수 있다. 또한, 상기 헤드(110b)의 후면에 2개의 마이크를 더 포함함으로써, 사용자의 3차원 공간상의 위치를 판별할 수 있다.
또한, 음향 출력부(181b)가 헤드(110b)의 좌우측면에 배치되어, 소정 정보를 음향으로 출력할 수 있다.
한편, 도 5에 예시된 로봇의 외관 및 구조는 예시적인 것으로 본 발명은 이에 한정되지 않는다. 예를 들어, 도 5에서 예시된 로봇(100)의 회전 방향과 달리 로봇(100) 전체가 특정 방향으로 기울어지거나 흔들리는 동작도 가능하다.
도 6a 내지 도 6d는 소정 물품을 운반할 수 있는 배송 로봇들(100c, 100c1, 100c2, 100c3)을 예시한다.
도면들을 참조하면, 배송 로봇들(100c, 100c1, 100c2, 100c3)은 자율 주행, 추종 주행으로 이동할 수 있고, 수용되는 짐, 물품, 캐리어(C) 등을 싣고 소정 장소로 이동할 수 있으며, 경우에 따라서 사용자를 특정 장소까지 안내하는 에스코트 서비스도 제공할 수 있다.
한편, 배송 로봇들(100c, 100c1, 100c2, 100c3)은 소정 장소에서 자율 주행하면서 사람들에게 특정 위치를 안내하거나, 수하물 등 짐을 운반할 수 있다.
또한, 배송 로봇들(100c, 100c1, 100c2, 100c3)은 사용자와 소정 거리를 유지하면서 따라가는 추종 주행을 수행할 수 있다.
실시예에 따라서, 배송 로봇들(100c, 100c1, 100c2, 100c3)은 운반하는 짐의 무게를 센싱하는 무게 센서를 포함할 수 있고, 무게 센서에서 감지된 짐의 무게를 사용자에게 안내할 수 있다.
배송 로봇들(100c, 100c1, 100c2, 100c3)에는 사용 환경 및 용도에 따라 최적화된 서비스를 제공하기 위해 모듈러 디자인이 적용될 수 있다.
예를 들어, 기본 플랫폼(100c)은 바퀴, 모터 등을 구비하여 주행을 담당하는 주행 모듈(160c), 디스플레이, 마이크, 스피커 등을 구비하여 사용자와의 인터랙션을 담당하는 UI 모듈(180c)을 포함할 수 있다.
도면들을 참조하면, 주행 모듈(160c)은 하나 이상의 절개부(OP1, OP2, OP3)를 포함할 수 있다.
제1 절개부(OP1)는, 내부의 전방 라이더(미도시)가 동작 가능하도록 상기 주행 모듈(160c)에서 절개되는 부분으로, 상기 주행 모듈(160c)의 외주면의 전방에서 측방에 걸쳐 형성될 수 있다.
상기 전방 라이더는 상기 주행 모듈(160c)의 내부에서 상기 제1 절개부(OP1)와 마주보도록 배치될 수 있다. 이에 따라, 상기 전방 라이더는 상기 제1 절개부(OP1)를 통하여 레이저를 방출할 수 있다.
제2 절개부(OP2)는, 내부의 후방 라이더(미도시)가 동작 가능하도록 상기 주행 모듈(160c)에서 절개되는 부분으로, 상기 주행 모듈(160c)의 외주면의 후방에서 측방에 걸쳐 형성될 수 있다.
상기 후방 라이더는 상기 주행 모듈(160c)의 내부에서 상기 제2 절개부(OP2)와 마주보도록 배치될 수 있다. 이에 따라, 상기 후방 라이더는 상기 제2 절개부(OP2)를 통하여 레이저를 방출할 수 있다.
제3 절개부(OP3)는, 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 절벽 감지 센서 등 내부의 센서가 동작 가능하도록 상기 주행 모듈(160c)에서 절개되는 부분이다.
한편, 상기 주행 모듈(160c)의 외면에도 센서가 배치될 수 있다. 상기 주행 모듈(160c)의 외면에는 장애물을 감지하기 위한 초음파 센서(171c) 등 장애물 감지 센서가 배치될 수 있다.
예를 들어, 초음파 센서(171c)는 초음파 신호를 이용하여 장애물과 배송 로봇들(100c, 100c1, 100c2, 100c3) 사이의 거리를 측정하기 위한 센서일 수 있다. 상기 초음파 센서(333)는 상기 배송 로봇들(100c, 100c1, 100c2, 100c3)과 근접한 장애물을 감지하기 위한 기능을 수행할 수 있다.
일례로, 상기 초음파 센서(171c)는 상기 배송 로봇들(100c, 100c1, 100c2, 100c3)에 근접한 모든 방향의 장애물을 감지하기 위하여 다수 개로 구성될 수 있다. 그리고 상기 다수 개의 초음파 센서(171c)는 상기 주행 모듈(160c)의 둘레를 따라 서로 이격되게 위치될 수 있다.
실시예에 따라서, UI 모듈(180c)은 2개의 디스플레이(182a, 182b)를 포함할 수 있고, 2개의 디스플레이(182a, 182b) 중 적어도 하나는 터치스크린으로 구성되어 입력 수단으로도 사용될 수 있다
또한, UI 모듈(180c)은 영상획득부(120)의 카메라를 더 포함할 수 있다. 카메라는 UI 모듈(180c)의 전면에 배치되어 UI 모듈(180c)의 전면 소정 범위의 영상 데이터를 획득할 수 있다.
실시예에 따라서, UI 모듈(180c)의 적어도 일부는 회전 가능하게 구현될 수 있다. 예를 들어, UI 모듈(180c)은 좌우 방향으로 회전할 수 있는 헤드부(180a)와 상기 헤드부(180ca)를 지지하는 바디부(180cb)를 포함할 수 있다.
상기 헤드부(180ca)는 배송 로봇들(100c, 100c1, 100c2, 100c3)의 동작 모드, 현재 상태 등에 기초하여 회전할 수 있다.
또한, 상기 헤드부(180ca)에는 상기 카메라가 배치되어 상기 헤드부(180a)가 향하는 방향의 소정 범위의 영상 데이터를 획득할 수 있다.
예를 들어, 배송 로봇들(100c, 100c1, 100c2, 100c3)이 사용자를 따라다니는 추종 주행 모드에서 상기 헤드부(180ca)는 전방을 향하도록 회전할 수 있다. 또한, 배송 로봇들(100c, 100c1, 100c2, 100c3)이 소정 목적지까지 사용자보다 앞서서 이동하며 안내하는 에스코트 서비스를 제공하는 안내 모드에서 상기 헤드부(180ca)는 후방을 향하도록 회전할 수 있다.
또한, 상기 헤드부(180ca)는 상기 카메라가 식별되는 사용자를 향하도록 회전할 수 있다.
포터 로봇(100c1)은 기본 플랫폼(100c)에 짐을 수용할 수 있는 운반 서비스 모듈(160c1)을 더 포함할 수 있다. 실시예에 따라서, 포터 로봇(100c1)은, 안내를 위하여, 티켓, 항공권, 바코드, QR 코드 등을 식별할 수 있는 스캐너를 구비할 수 있다.
서빙 로봇(100c2)은 기본 플랫폼(100c)에 서빙 물품을 수용할 수 있는 서빙 서비스 모듈(160c2)을 더 포함할 수 있다. 예를 들어, 호텔에서의 서빙 물품은 수건, 칫솔, 치약, 욕실 용품, 침구류, 음료, 음식, 룸 서비스, 기타 소물 가전 등이 해당될 수 있다. 서빙 서비스 모듈(160c2)은 서빙 물품을 수용할 수 있는 공간을 구비하여, 서빙 물품을 안정적으로 운반할 수 있다. 또한, 서빙 서비스 모듈(160c2)은 상기 서빙 물품을 수용할 수 있는 공간을 개폐할 수 있는 도어(door)를 구비할 수 있고, 상기 도어는 수동 및/또는 자동으로 열리고 닫힐 수 있다.
카트 로봇(100c3)은 기본 플랫폼(100c)에 고객의 쇼핑 물품을 수용할 수 있는 쇼핑 카트 서비스 모듈(160c3)을 더 포함할 수 있다. 쇼핑 카트 서비스 모듈(160c3)는 쇼핑 물품의 바코드, QR 코드 등을 인식할 수 있는 스캐너를 구비할 수 있다.
서비스 모듈(160c1, 160c2, 160c3)은 주행 모듈(160c) 및/또는 UI 모듈(180c)과 기구적으로 결합될 수 있다. 또한, 서비스 모듈(160c1, 160c2, 160c3)은 주행 모듈(160c) 및/또는 UI 모듈(180c)과 전기적으로 연결되어 신호를 송수신할 수 있다. 이에 따라, 유기적으로 동작할 수 있다.
이를 위해, 배송 로봇들(100c, 100c1, 100c2, 100c3)은, 주행 모듈(160c) 및/또는 UI 모듈(180c)과 서비스 모듈(160c1, 160c2, 160c3)을 결합하기 위한 결합부(400c)를 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 로봇의 간략한 내부 블록도의 일예이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 로봇(100)은, 로봇(100)의 전반적인 동작을 제어하는 제어부(140), 각종 데이터를 저장하는 저장부(130), 서버(10) 등 다른 기기와 데이터를 송수신하는 통신부(190)를 포함할 수 있다.
제어부(140)는, 로봇(100) 내 저장부(130), 통신부(190), 구동부(160), 센서부(170), 출력부(180) 등을 제어하여, 로봇(100)의 동작 전반을 제어할 수 있다.
저장부(130)는 로봇(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
한편, 제어부(140)는 통신부(190)를 통해 로봇(100)의 동작상태 또는 사용자 입력 등을 서버(10) 등으로 전송하도록 제어할 수 있다.
통신부(190)는 적어도 하나의 통신모듈을 포함하여 로봇(100)이 인터넷, 또는 소정의 네트워크에 연결되도록 할 수 있고 다른 기기와 통신하게 할 수 있다.
또한, 통신부(190)는 서버(10)에 구비되는 통신 모듈과 연결하여 로봇(100)과 서버(10) 간의 데이터 송수신을 처리할 수 있다.
본 발명의 일 실시예에 따른 로봇(100)은 마이크를 통하여 사용자의 음성 입력을 수신하는 음성 입력부(125)를 더 포함할 수 있다.
음성 입력부(125)는, 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어, 사용자 입력 음성 신호를 제어부(140) 또는 서버(10)에서 인식할 수 있도록 데이터화할 수 있다.
한편, 저장부(130)에는 음성 인식을 위한 데이터가 저장될 수 있고, 상기 제어부(140)는 음성 입력부(125)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다.
한편, 음성 인식 과정은 로봇(100) 자체에서 실시되지 않고 서버(10)에서 수행될 수 있다. 이 경우에, 제어부(140)는 사용자 입력 음성 신호가 상기 서버(10)로 송신되도록 통신부(190)를 제어할 수 있다.
또는, 간단한 음성 인식은 로봇(100)이 수행하고, 자연어 처리 등 고차원의 음성 인식은 서버(10)에서 수행될 수 있다.
예를 들어, 기설정된 키워드를 포함하는 음성 입력이 수신되는 경우에, 로봇(100)은 키워드에 대한 동작을 수행하고, 다른 음성 입력은 서버(10)를 통하여 수행할 수 있다. 또는, 로봇(100)은 음성 인식 모드를 활성화하는 호출어 인식까지만 수행하고, 이후의 사용자 음성 입력에 대한 음성 인식은 서버(10)를 통하여 수행할 수 있다.
한편, 제어부(140)는 음성 인식 결과에 기초하여 로봇(100)이 소정 동작을 수행하도록 제어할 수 있다.
한편, 로봇(100)은 출력부(180)를 포함하여, 소정 정보를 영상으로 표시하거나 음향으로 출력할 수 있다.
출력부(180)는 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시하는 디스플레이(182)를 포함할 수 있다. 실시예에 따라서, 로봇(100)은 복수개의 디스플레이(182)를 포함할 수 있다.
실시예에 따라서는, 상기 디스플레이(182) 중 적어도 일부는 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 터치스크린으로 구성되는 디스플레이(182)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
또한, 출력부(180)는 오디오 신호를 출력하는 음향 출력부(181)를 더 포함할 수 있다. 음향 출력부(181)는 제어부(140)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 음향으로 출력할 수 있다. 음향 출력부(181)는, 제어부(140)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
실시예에 따라서, 로봇(100)은 소정 범위를 촬영할 수 있는 영상획득부(120)를 더 포함할 수 있다.
영상획득부(120)는 로봇(100) 주변, 외부 환경 등을 촬영하는 것으로, 카메라 모듈을 포함할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다.
영상획득부(120)는, 사용자 인식용 영상을 촬영할 수 있다. 제어부(140)는 상기 영상획득부(120)가 촬영하여 획득된 영상에 기초하여 외부 상황을 판단하거나, 사용자(안내 대상)를 인식할 수 있다.
또한, 로봇(100)이 안내 로봇(100a), 배송 로봇(100c1, 100c2, 100c3), 청소 로봇(100d) 등 이동 로봇인 경우에, 상기 제어부(140)는, 상기 영상획득부(120)가 촬영하여 획득하는 영상에 기초하여 로봇(100)이 주행하도록 제어할 수 있다.
한편, 상기 영상획득부(120)가 촬영하여 획득된 영상은 저장부(130)에 저장될 수 있다.
로봇(100)이 안내 로봇(100a), 배송 로봇(100c1, 100c2, 100c3), 청소 로봇(100d) 등 이동 로봇인 경우에, 로봇(100)은 이동을 위한 구동부(160)를 더 포함할 수 있고, 상기 구동부(160)는 제어부(140)의 제어에 따라, 본체를 이동시킬 수 있다.
구동부(160)는 로봇(100)은 본체를 이동시키는 적어도 하나의 구동 바퀴(미도시)를 포함할 수 있다. 구동부(160)는 구동 바퀴에 연결되어 구동 바퀴를 회전시키는 구동 모터(미도시)를 포함할 수 있다. 구동 바퀴는 본체의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜과 우륜이라고 한다.
좌륜과 우륜은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜을 구동시키는 좌륜 구동 모터와 우륜을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜과 우륜의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체의 주행방향을 전환할 수 있다.
홈 로봇(100b)과 같이 이동하지 않는 로봇(100)도 도 5를 참조하여 설명한 것과 같이 소정 액션(action)을 수행하기 위한 구동부(160)를 포함할 수 있다.
이 경우에, 구동부(160)는 바디(111b) 및 헤드(110b)를 회전 및/또는 이동시키는 복수의 구동 모터(미도시)를 포함할 수 있다.
한편, 로봇(100)은 로봇(100)의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들을 포함하는 센서부(170)를 포함할 수 있다.
상기 센서부(170)는 로봇(100)의 동작을 감지하고 동작 정보를 출력하는 동작 감지 센서를 더 포함할 수 있다. 예를 들어, 동작 감지 센서로는, 자이로 센서(Gyro Sensor), 휠 센서(Wheel Sensor), 가속도 센서(Acceleration Sensor) 등을 사용할 수 있다.
상기 센서부(170)는 장애물을 감지하는 장애물 감지 센서를 포함할 수 있고, 상기 장애물 감지 센서는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서, 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 절벽 감지 센서, 라이다(light detection and ranging: Lidar) 등 포함할 수 있다.
한편, 상기 장애물 감지 센서는 이동 로봇의 주행(이동) 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어부(140)에 전달한다. 이때, 제어부(140)는, 감지된 장애물의 위치에 따라 로봇(100)의 움직임을 제어할 수 있다.
도 8은 본 발명의 일 실시예에 따른 서버를 포함하는 로봇 시스템에 관한 설명에 참조되는 도면이다.
도 8은 본 발명의 일 실시예에 따른 서버를 포함하는 로봇 시스템에서 서버(10), 로봇(100), 클라이언트(40), 및, 연동 서버(15)가 상호간에 송수신하는 데이터의 일예를 도시한 것으로, 별도로 설명하지 않더라도 도 1 내지 도 7을 참조하여 설명한 로봇 시스템의 특징을 동일하게 포함할 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 로봇 시스템은, 복수의 로봇(100), 및, 상기 복수의 로봇(100)과 통신하며 상기 복수의 로봇(100)의 상태를 모니터링(monitoring)하고 제어하는 서버(10)를 포함할 수 있다.
도 1 내지 도 7을 참조하여 상술한 것과 같이, 본 발명의 일 실시예에 따른 로봇 시스템(1)은, 안내로봇(100a), 홈 로봇(100b), 배송 로봇들(100c), 청소 로봇(100d) 중 적어도 하나를 포함할 수 있다.
더욱 바람직하게는, 상기 복수의 로봇(100)은 다른 종류의 로봇을 포함할 수 있다. 즉, 본 발명의 일 실시예에 따른 로봇 시스템은 2종류 이상의 로봇을 포함할 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 로봇 시스템(1)은, 안내로봇(100a), 홈 로봇(100b), 포터 로봇(100c1), 서빙 로봇(100c2), 카트 로봇(100c3), 청소 로봇(100d) 중 2종류 이상의 로봇을 포함할 수 있다.
한편, 상기 복수의 로봇(100)은 서버(10)로 상태 정보, 동작 정보, 동작 중 획득한 데이터 등을 송신할 수 있다. 예를 들어, 상기 복수의 로봇(100)은 상기 서버(10)와 통신하며, 각종 정보를 송수신할 수 있다.
예를 들어, 상기 복수의 로봇(100)은 상태 변경 시, 서버(10)로 상태 변경을 알릴 수 있다. 또한, 상기 복수의 로봇(100)은 주기적으로 서버(10)로 현재 상태를 알릴 수 있다.
또한, 상기 복수의 로봇(100)은 서버(10)로 수행한 업무에 대한 정보를 송신할 수 있다.
또한, 상기 복수의 로봇(100)은 동작 중 영상획득부(120)를 통하여 획득되는 영상 데이터, 센서부(170)를 통하여 획득되는 센싱 데이터, 주행 중 생성한 맵 정보 등 수집 데이터를 상기 서버(10)로 송신할 수 있다.
또한, 상기 복수의 로봇(100)은, 소정 서비스를 요청하는 사용자 입력을 수신할 수 있고, 상기 사용자 입력에 관련된 데이터를 상기 서버(10)로 송신할 수 있다.
한편, 상기 서버(10)는, 상기 복수의 로봇(100)을 제어할 수 있고, 상기 복수의 로봇(100)의 상태, 각자가 맡은 업무인 임무 수행 현황 등을 모니터링할 수 있다.
또한, 상기 서버(10)는, 업무 수행과 관련된 각종 데이터를 상기 복수의 로봇(100)에 제공할 수 있고, 상기 복수의 로봇(100)에 저장된 데이터 및 설정 정보 등을 업데이트할 수 있다.
한편, 도 2a와 도 2b를 참조하여 설명한 것과 같이, 본 발명의 일 실시예에 따른 서버(10)는 상기 복수의 로봇(100)과 통신하며 상기 복수의 로봇(100)의 상태를 모니터링하고 제어하는 관제 서버(11)를 포함할 수 있다. 이 경우에, 상기 복수의 로봇(100)은 관제 서버(11)와 통신하며, 각종 정보를 송수신할 수 있다.
한편, 서버(10)는 공항, 호텔, 마트 등 상품, 로봇을 이용하여 서비스를 제공하는 서비스 제공자의 서버, 날씨, 맵 데이터, 음악, 영화 등 콘텐츠 제공자의 서버 등 연동 서버(15)와 정보를 송수신할 수 있다.
이 경우에, 서버(10)는 연동 서버(15)로부터 공항, 호텔, 마트 등 서비스 제공 장소의 환경 정보를 수신할 수 있고, 업무 수행에 필요한 정보를 상기 로봇(100)에 전달할 수 있다.
또한, 서버(10)는 연동 서버(15)로부터 날씨, 맵 데이터, 음악, 영화 등 콘텐츠 데이터를 수신할 수 있고, 수신된 콘텐츠 데이터를 소정 로봇(100)에 송신하고 업데이트할 수 있다.
경우에 따라서, 맵 데이터는 서비스 제공자의 서버로부터 수신되거나 맵 전문 회사의 서버로부터 수신될 수 있다. 또한, 서버(10)는 연동 서버(15)로부터 수신되는 맵 데이터와는 별도로 복수의 로봇(100)이 주행하면서 생성한 맵 데이터(예, SLAM 맵 데이터)를 로봇(100)으로부터 수신할 수 있다. 이 경우에, 서버(10)는 복수의 로봇(100)이 송신한 맵 데이터를 취합하여 더욱 정확한 맵 데이터를 생성한 후에 복수의 로봇(100) 각각의 맵 데이터를 업데이트할 수도 있다.
한편, 상기 서버(10)는 로봇 관련 유저 인터페이스를 클라이언트(client, 40)에 제공할 수 있고, 클라이언트(40)를 통한 사용자 입력에 따라 로봇(100)을 제어할 수 있다.
상기 서버(10)는, 웹 브라우저(41), 이동 단말기 등의 애플리케이션(42) 등을 통하여 클라이언트(40) 측과 통신하며 로봇(100)을 관리하고 제어하는 관제 서버(11)를 포함할 수 있다.
실시예에 따라서, 상기 서버(10)는, 상기 복수의 로봇(100)과 관련된 데이터를 중계하고 관리하는 기기 관리 서버(12)를 더 포함할 수 있다.
한편, 관제 서버(11)는 클라이언트(40)로부터 수신되는 사용자 입력에 기초하여, 로봇(100)의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있는 관제 서비스를 제공하는 관제/서비스 서버(11a) 및, 관제 관리자가 웹 브라우저(41) 등을 통해서 접근할 수 있는, 관리자 애플리케이션(admin app) 서버(11b)를 포함할 수 있다.
관제/서비스 서버(11a)는 데이터베이스(DB)를 구비하고, 클라이언트(40)의 로봇 관리, 제어, 무선 펌웨어 업그레이드(Firmware Over The Air : FOTA), 위치 조회 등의 서비스 요청에 응답할 수 있다.
관리자 애플리케이션 서버(11b)는 관제 관리자가 관리자 권한으로 접근 가능하며 로봇과 관련된 기능, 애플리케이션, 콘텐츠를 관리할 수 있다.
상기 서버(10)는, 로봇 관제, 콘텐츠 관리, 스케줄 관리, 데이터 수집/분석 기능을 클라이언트(40)에 제공할 수 있다. 또한, 상기 서버(10)는 이러한 기능을 사용할 수 있는 인터페이스를 클라이언트(40)에 제공할 수 있다.
예를 들어, 로봇 관제 기능은, 로봇 기기 프로필(Profile) 관리, 펌웨어(Firmware) 관리 등 로봇 기기 관리 기능, 운영 모드, 에러 등 전체 로봇 상태 확인, 로봇별 현 위치와 상태 확인 등 로봇 모니터링 기능, 로봇 전원 오프, 재부팅, 위치 이동 등 로봇 제어 기능을 포함할 수 있다.
예를 들어, 콘텐츠 관리 기능은, B2B 고객 등의 상황에 맞는 이미지, 텍스트(Text), 맵(Map) 관련 정보들을 로봇에 적기 반영을 위한 기능을 지원할 수 있고, 시스템 환경에 맞춰 로봇 기기 애플리케이션에 필요한 리소스(텍스트, 이미지, 동영상 등)를 파일 형태로 업로드하고 적용할 수 있다.
예를 들어, 스케줄 관리 기능은, 로봇들의 업무를 설정하고 관리할 수 있으며, 로봇별, 시간대별 업무 관리를 지원할 수 있다.
데이터 수집/분석 기능은, 로봇(기기) 데이터(Data)를 수집하고 통계화할 수 있다. 예를 들어, 에러, 운영 모드, 운영 시간, 주행 거리 등의 상태 데이터, 서비스별 제공 횟수, 제공 시간 등 서비스 데이터를 수집하고 통계화할 수 있다.
경우에 따라서, 상기 서버(10)는 수집된 정보, 분석된 정보, 통계화된 정보를 연동 서버(15)와 공유할 수 있다.
한편, 상기 서버(10)는, 상기 다른 종류의 로봇에 대한 정보를 포함하는 통합 유저 인터페이스를 클라이언트(40)에 제공할 수 있다.
여기서, 상기 통합 유저 인터페이스는, 전체 로봇 현황 정보, 로봇의 종류에 따라 분류된 로봇 종류별 상태 정보를 포함할 수 있다. 이 경우에, 상기 로봇 종류별 상태 정보는, 로봇 종류 명칭 항목, 현재 상태 명칭 항목, 상기 현재 상태 명칭 항목에 대응하는 로봇 대수 정보를 포함하고, 상기 현재 상태 명칭 항목과 상기 로봇 대수 정보는 상태별로 다른 색상으로 표시될 수 있다.
이에 따라 로봇들의 상태를 직관적으로 파악할 수 있다.
또한, 상기 통합 유저 인터페이스는, 맵(map) 상에 로봇들의 현재 위치가 표시되는 위치 현황 정보 및, 개별 로봇의 상태 정보를 더 포함할 수 있다.
한편, 상기 서버(10)는, 전체 로봇에서 취합된 데이터에 기초한 전체 통계 데이터, 동일한 종류의 로봇에서 취합된 데이터에 기초한 종류별 통계 데이터, 개별 로봇에서 수신된 데이터에 기초한 개별 통계 데이터를 제공할 수 있다.
또한, 상기 서버(10)는, 소정 기능 또는 서비스를 수행할 수 있는 로봇들로부터 취합된 데이터에 기초한 기능 또는 서비스별 통계 데이터를 제공할 수 있다.
기존에는 개별 로봇을 별도로 제어하였다. 또한, 복수의 로봇을 위한 로봇 관제 시스템을 구축하는 경우에도 특정 종류의 로봇별로 전용의 관제 시스템을 구축하였다.
따라서, 다른 종류의 로봇을 이용하는 경우에는 복수의 로봇 관제 시스템을 이용하고, 서로 다른 특성, 기능, 성능을 가지는 다른 종류의 로봇을 효율적으로 관리하지 못했다. 따라서, 서로 다른 종류의 로봇을 조합하여 최적의 서비스를 제공할 수도 없었다.
하지만, 본 발명에 따른 서버(10)는, 상기 다른 종류의 로봇에 대한 정보를 포함하는 통합 유저 인터페이스를 클라이언트(40)에 제공함으로써, 2종류 이상의 로봇들을 하나의 관제 시스템, 유저 인터페이스로 관리하고 제어할 수 있다.
이에 따라, 복수의 로봇을 이용하여 다양한 서비스를 제공하여 사용 편의성을 향상할 수 있고, 다른 종류의 로봇들로 최적의 서비스를 효율적으로 제공할 수 있다.
또한, 관리자의 개입을 최소화한 저비용, 고효율의 로봇 간 협업 시스템을 구현할 수 있고, 서비스 제공 장소와 종류에 적합한 조합을 선택하여 최소한의 로봇들로 서비스를 제공할 수 있다.
이전에는 개별 로봇들에 USB 메모리 등의 저장 매체를 각각의 로봇에 연결하여 데이터를 입력하거나 업데이트하였다. 이에 따라, 신규 고객, 정보 발생시 언어, 로그(log), 맵(Map), 사진 프레임 등 로봇에 필요한 콘텐츠를 수동으로 탑재 하고 있어 비효율적이었다.
하지만, 본 발명의 일 실시예에 따른 서버(10) 및 이를 포함하는 로봇 시스템(1)은 다수의 로봇과 관련된 데이터를 간편하게 업데이트할 수 있다.
서버(10)는 연동된 외부 서버(15)로부터 데이터가 수신되면, 상기 복수의 로봇 중 상기 수신된 데이터와 연관된 로봇들의 데이터를 일괄 업데이트할 수 있다.
예를 들어, 서버(10)가 외부 서버(15)로부터 맵 데이터, 지리적 정보에 기초한 데이터가 수신되면, 이동 로봇인 안내 로봇(100a), 배송 로봇(100c), 청소 로봇(100d)의 맵 데이터 등을 업데이트할 수 있다.
실시예에 따라서, 상기 서버(10)는 맵(map) 데이터, 지리적 정보에 기반한 데이터를 제공하는 맵 서버(14)를 더 포함할 수 있다.
또한, 상기 서버(10)는, 기설정된 주기마다 자동으로 상기 연동된 외부 서버(15)로부터 데이터를 수신하고, 상기 수신된 데이터와 연관된 로봇들의 데이터를 일괄 업데이트할 수 있다.
예를 들어, 사용자가 별도의 업데이트 입력을 하지 않더라도 상기 서버(10)는, 매일, 매주, 매달 등 설정된 주기마다 자동으로 연동된 외부 서버(15)와 통신하여 업데이트 대상 데이터 존재 여부를 판별하고, 업데이트 대상 데이터가 있으면 업데이트 대상 데이터를 수신한 후에 로봇(100) 데이터를 업데이트할 수 있다.
도 2b를 참조하여 설명한 것과 같이, 본 발명에 따른 서버(10)는, 복수의 로봇(100)에 공통으로 적용되는 기능 및 서비스를 포함하는 공통부(4a, 4b), 및, 상기 복수의 로봇(100) 중 적어도 일부와 관련된 특화 기능을 포함하는 전용부(4c)를 포함하여 모듈화할 수 있다.
본 발명에 따르면, 다양한 도메인의 신규 사업 발생시 플랫폼 공통부(4a, 4b)의 공통 기능을 활용할 수 있어 개발 기간 단축이 가능하고, 서버(10)를 통한 콘텐츠, 스케줄 관리로 사업 적기 대응이 가능하다.
이 경우에, 상기 서버(10)는, 공통부(4a, 4b)에 업로드된 데이터는 상기 복수의 로봇(100) 전부에 적용하고, 전용부(4c)에 업로드된 데이터는 데이터가 업로드된 전용부(4c)에 대응하는 로봇에 적용할 수 있다. 이 경우에, 상기 전용부(4c)는 로봇들의 종류에 대응하여 복수개 구비될 수 있다.
도 9 내지 도 15는 본 발명의 실시예에 따른 로봇 시스템의 유저 인터페이스 화면에 관한 설명에 참조되는 도면으로. 서버가 클라이언트 측으로 제공하여 클라이언트 측 디스플레이 수단에 표시되는 유저 인터페이스 화면들을 도시한 것이다.
도 9를 참조하면, 유저 인터페이스 화면(800)은 상위 메뉴 항목들(810 내지 890)이 배치되는 메뉴 영역(801)과 선택된 상위 항목에 대응하는 화면이 표시되는 정보 영역(805)을 포함할 수 있다. 이러한 유저 인터페이스 화면(800)은 웹(web)으로 제공될 수도 있다.
도 9에서는 메뉴 영역(801)의 우측에 정보 영역(805)이 배치되는 경우를 예시하나, 본 발명은 이에 한정되지 않는다. 예를 들어, 메뉴 영역(801)이 상측에 배치되고, 정보 영역(805)이 하측에 배치되는 것도 가능하다.
한편, 본 발명에 따른 서버(10) 및 이를 포함하는 로봇 시스템(1)은, 로봇(100)뿐만 아니라, API(Application Programming Interface)부터 웹(Web) 프론트를 제공하는 완성형 솔루션을 제공할 수 있다.
사용자가 이용하는 웹(Web) 프론트 화면은‘로봇 어드민(ROBOT ADMIN)‘ 으로도 명명될 수 있다. 로봇 어드민의 주요 특징은 원격 로봇 관제, 리소스 관리, 로봇 업무 스케줄 관리, 로봇 데이터 관리로, 이를 위한 상위 메뉴 항목들(810 내지 890)이 메뉴 영역(801)에 배치될 수 있다.
예를 들어, 로봇 어드민 웹 유저 인터페이스 화면(800)에 접속한 사용자의 권한 정보 항목(810), 로봇들의 상태 정보를 확인할 수 있는 대시보드(dashboard) 항목(820), 로봇 기기 프로필 등을 관리하는 로봇 기기 관리 항목(830), 로봇 기기 애플리케이션에 필요한 리소스(텍스트, 이미지, 동영상 등) 관리 항목(840), 로봇들의 업무 스케줄을 설정하고 확인하는 스케줄 항목(850), 로봇들의 업무 수행 데이터, 로봇들이 획득한 각종 데이터 등을 관리할 수 있는 데이터 관리 항목(860), 각종 알림 정보를 확인할 수 있는 알림 항목(870), 각종 설정 입력, 확인이 가능한 설정 항목(880)을 포함할 수 있다.
도 9는 대시보드(dashboard) 항목(820)이 선택되어 정보 영역(805)에 대시보드 화면(900)이 표시된 경우를 예시한 것이다.
대시보드 화면(900)은 일종의 홈 화면으로 사용자 접속시 표시되는 디폴트(default) 화면일 수 있다. 실시예에 따라서는 상위 메뉴 항목들(810 내지 890)을 포함하는 메인(main) 화면의 제공에 앞서, 웰컴 화면, 공지 사항을 알리는 화면 등 소정 화면이 표시될 수 있다.
대시보드 화면(900)은 로봇들에 대한 다양한 정보를 한 화면에 배치하여 사용자에게 필요한 기본 정보를 제공할 수 있다. 이에 따라, 로봇들에 대한 정보를 모니터링하기 위한 관리자 등 사용자의 조작을 최소화할 수 있다.
더욱 바람직하게는, 대시보드 화면(900)은 다른 종류의 로봇에 대한 정보를 포함하는 통합 유저 인터페이스일 수 있다. 예를 들어, 대시보드 화면(900)은 2종류 이상의 로봇들에 대한 정보를 포함할 수 있다.
도 9를 참조하면, 대시보드 화면(900)은, 전체 로봇 현황 정보(910), 로봇의 종류에 따라 분류된 로봇 종류별 상태 정보(930, 940)를 포함할 수 있다.
전체 로봇 현황 정보(910)는 전체 로봇 대수 정보(911), 종류별 로봇 대수 정보(921, 922)를 포함할 수 있다. 도 9에서는 로봇 시스템이 안내 로봇(100a)과 청소 로봇(100d)의 2종 로봇을 포함하는 경우를 예시한 것으로, 종류별 로봇 대수 정보(921, 922)는 안내 로봇 대수 정보(921)과 청소 로봇 대수 정보(922)를 포함할 수 있다.
한편, 로봇 종류별 상태 정보(930, 940)는 로봇 종류 명칭 항목(931, 941), 현재 상태 명칭 항목(932a, 932b, 932c, 942a, 942b), 상기 현재 상태 명칭 항목에 대응하는 로봇 대수 정보(933a, 933b, 933c, 943a, 943b)를 포함할 수 있다.
예를 들어, 안내 로봇 상태 정보(930)를 보면, 안내 로봇 명칭 항목(931) 아래에, 주행불가 상태(932a) 1대(933a), 사진촬영 업무 상태(932b) 1대(933b), 안내 업무 상태(932c) 2대(933c)와 같이 로봇 시스템(1)에 포함되는 안내 로봇(100a)의 상태 정보를 확인할 수 있다.
또한, 청소 로봇 상태 정보(940)를 보면, 청소 로봇 명칭 항목(932) 아래에, 주행불가 상태(942a) 1대(943a), 청소 업무 상태(942b) 3대(943b)와 같이 로봇 시스템(1)에 포함되는 청소 로봇(100d)의 상태 정보를 확인할 수 있다.
한편, 상기 현재 상태 명칭 항목(932a, 932b, 932c, 942a, 942b)과 상기 로봇 대수 정보(933a, 933b, 933c, 943a, 943b)는 상태별로 다른 색상으로 표시될 수 있다.
또는, 적어도 하나의 상태에 대응하는 명칭 항목과 대수 정보는 다른 명칭 항목과 대수 정보와 다른 색상으로 표시될 수 있다.
예를 들어, 주행불가 상태 명칭 항목(932a, 942a)과 대수 정보(933a, 943a)는 적색으로 표시될 수 있다.
이에 따라 사용자는, 로봇들의 상태를 직관적으로 파악할 수 있다.
또한, 상기 대시보드 화면(900)은, 맵(map) 상에 로봇들의 현재 위치가 표시되는 위치 현황 정보(950), 및, 개별 로봇의 상태 정보(960)를 더 포함할 수 있다.
개별 로봇의 상태 정보(960)는 각 로봇의 식별 정보 및 상태 정보를 나타내는 텍스트 및/또는 그래픽 오브젝트를 포함하는 로봇별 항목들(961, 962, 963, 964)을 포함할 수 있다.
개별 로봇의 상태 정보(960)는 대시보드 화면(900)의 최하단에 배치될 수 있다. 로봇 시스템(1)이 운용하는 로봇 대수에 따라 개별 로봇의 상태 정보(960)는 전체가 한 화면에 포함되지 못할 수 있다. 이 경우에, 사용자는 대시보드 화면(900)을 아래로 스크롤하여 개별 로봇의 상태 정보(960) 중 적어도 일부를 확인할 수 있다.
도 10은 리소스 관리 항목(830)이 선택되어 정보 영역(805)에 콘텐츠 관리 화면(1000)이 표시된 경우를 예시한 것이다.
도 10을 참조하면, 리소스 관리 항목(830)은 로봇들의 공통 기능, 서비스와 관련된 콘텐츠 데이터를 관리하는 공통부 항목(841), 로봇들의 각 기능 애플리케이션을 관리하는 기능앱 항목(842), 리소스 변경 이력을 확인할 수 있는 변경 이력 항목(843)을 포함할 수 있다.
사용자는 공통부 항목(841)은 선택한 후에 로봇들에 공통으로 반영되는 요소들을 추가하거나 삭제, 변경할 수 있다.
예를 들어, 공통부 항목(841)에 포함되는 로봇들이 사용하는 언어 항목(1010), 맵1 항목(1020), 맵2 항목(1030)으로 대응하는 공통 요소들을 일괄 업데이트할 수 있다. 맵1 항목(1020)과 맵2 항목(1030)은 적어도 일부 정보가 다른 맵 데이터에 대응할 수 있다.
예를 들어, 맵1 항목(1020)과 맵2 항목(1030)은 맵에 포함되는 정보 중 일부가 다를 수 있고, 맵의 생성 주체가 다를 수 있다.
경우에 따라서, 맵2 항목(1030)은 연동 서버(15)로부터 수신되는 맵 데이터, 지리적 정보를 포함할 수 있다.
여기서, 연동 서버(15)는 맵 / 주요 지형물(POI) 전문 서드 파티(3rd party)의 서버일 수 있다. 본 발명의 일 실시예에 따른 서버(10)는, 맵 실측 솔루션 전문 업체와 API 기반의 클라우드 간 연동을 통해 주기적으로 맵 파일 불러올 수 있다. 특히, 로봇 관제 서버(11)에 업로드한 맵 및 POI 정보를 로봇에 일괄 반영할 수 있다.
이에 따라, 관리자가 개별적으로 맵 및 POI 편집이 불필요한 장점이 있다.
본 발명의 일 실시예에 따르면, 맵 실측 솔루션, 위치 기반 광고 등 타 솔루션 과의 클라우드 간 연동을 통한 확장성을 제공할 수 있다. 예를 들어, 서버(10)와 맵 실측 솔루션 전문 업체의 서버(15) 간 서버 to 서버 연동으로 외부 서비스를 이용한 확장성을 제공할 수 있다.
기존에는 맵/POI 변경 시, 관리자가 일일히 편집하였으나, 본 발명의 일 실시예는 관리자가 직접 맵이나 POI 편집할 필요 없도록 전문 솔루션을 활용한 맵 / POI 정보를 연동하여 고객사의 요청에 따라 유연하게 대응 가능하도록 설계될 수 있다.
또한, 본 발명의 일 실시예에 따른 서버(10)는 맵 이외에도 다른 콘텐cm 서비스를 제공하는 3rd party 솔루션과의 연동을 통해 고객사가 원하는 방식으로 맞춤형 서비스를 제공할 수 있다.
도 10을 참조하면, 사용자는 언어 항목(1010)을 선택한 후에, 언어 관련 변경 사항(1040)을 확인할 수 있다. 또한, 하위 메뉴(1050)를 선택하여 전체 로봇들의 언어 관련 데이터를 일괄적으로 추가, 삭제, 변경하는 업데이트를 수행할 수 있다.
도 11은 한국어에서 영어로 사용 언어가 변경되는 경우에, 안내 로봇(100a)의 가이드 화면 변경 예를 도시한 것이다.
도 11을 참조하면, 한국어를 사용하여 가이드 화면(1110)을 표시하던 안내 로봇(100a)은 전체 로봇의 언어 사용 변경에 따라 영어를 사용하여 가이드 화면(1120)을 표시할 수 있다. 이후에는 안내 로봇(100a) 등 전체 로봇들은 사용 언어 변경 전까지 계속해서 영어를 사용한 가이드 화면을 표시할 것이다.
도 12는 기능앱 항목(842)이 선택되어 정보 영역(805)에 애플리케이션 관리 화면(1200)이 표시된 경우를 예시한 것이다.
기능앱 항목(842)이 선택되면, 로봇들의 각 기능 애플리케이션에 대응하는 카테고리(category) 탭(tab) 메뉴(1210)를 포함하는 애플리케이션 관리 화면(1200)이 표시될 수 있다.
상기 카테고리 탭 메뉴(1210)는 위치안내/에스코트, 사이니지(Signage), 로봇 사진사, 사진 함께 찍기, 이벤트 등 각 기능 애플리케이션에 대응하는 항목들을 포함할 수 있다.
도 12에서는 사이니지 항목이 선택된 경우를 예시한다. 사이니지 항목은 로봇에 구동되는 사이니지 애플리케이션의 리소스 관리를 파일을 업로드하거나 삭제하는 방식으로 관리할 수 있는 메뉴 항목이다.
한편, 사이니지 애플리케이션은 안내 로봇(100a) 등이 이미지, 동영상 등을 대형 디스플레이에 표시하는 것으로, 사용자는 사이니지 항목을 선택한 후에, 사이니지 애플리케이션 관련 변경 사항(1220)을 확인할 수 있다. 또한, 하위 메뉴(1230)를 선택하여 사이니지 애플리케이션의 이미지, 동영상 데이터를 일괄적으로 추가, 삭제, 변경하는 업데이트를 수행할 수 있다.
사이니지 애플리케이션에 업데이트된 이미지, 동영상 데이터 등 콘텐츠는 안내 로봇(100a) 등 로봇(100)에 적용되어 상시 또는 특정 조건에서 재생될 수 있다.
또한, 사이니지 애플리케이션은 광고 솔루션 업체와 연동되어 광고 콘텐츠 생성, 광고 효과 측정 등의 부가 서비스를 포함하는 고도화된 광고 서비스를 제공할 수 있다.
한편, 통합 유저 인터페이스 화면에 포함되는 메뉴 항목, 및 각 메뉴 항목에 대응하는 상세 화면들은 다양하게 변경될 수 있다.
예를 들어, 도 10에서 예시된 리소스 관리 항목(830)은 공통부 항목(841), 기능앱 항목(842), 변경 이력 항목(843)을 포함하고, 도 12에서 예시된 리소스 관리 항목(830)은 공통부 항목(841), 기능앱 항목(842), 변경 이력 항목(843), 및, 맵 데이터를 관리할 수 있는 맵 관리 항목(844)을 포함할 수 있다.
도 13은 스케줄 항목(850)이 선택되어 정보 영역(805)에 스케줄 관리 화면(1300)이 표시된 경우를 예시하고, 도 14는 편집 중인 스케줄 관리 화면을 예시한다.
도 13을 참조하면, 스케줄 관리 화면(1300)은 로봇별 등록된 스케줄이 캘린더 및/또는 타임 라인(Time line)에 표시되는 스케줄 현황 항목(1310)과 복수의 스케줄 중 선택된 스케줄에 대한 상세 내용이 표시되는 상세 내용 항목(1320)을 포함할 수 있다.
스케줄 현황 항목(1310)에는 각 로봇에 할당된 타임 라인(Time line) 중 임무가 할당된 시간이 그래픽으로 표현될 수 있고, 스케줄 현황 항목(1310)에는 각 로봇에 할당된 임무의 종류별로 다른 색상으로 표시될 수 있다. 이에 따라, 관리자는 직관적으로 로봇의 스케줄을 확인할 수 있다.
또한, 관리자는 스케줄 관리 화면(1300)을 이용하여 로봇별, 시간대별 업무 관리가 가능하다.
도 14를 참조하면, 관리자는 스케줄 현황 항목(1410) 중에서, 특정 로봇의 타임 라인 상에 14-15시 구간을 선택할 수 있다. 그러면, 상세 설정 화면(1420)이 클라이언트(40)의 디스플레이 화면 적어도 일부 영역에 표시될 수 있고, 해당 시간대의 작업 모드, 반복 설정 등을 입력할 수 있다.
본 발명의 일 실시예에 따르면, 서버(10)는, 전체 로봇에서 취합된 데이터에 기초한 전체 통계 데이터, 동일한 종류의 로봇에서 취합된 데이터에 기초한 종류별 통계 데이터, 개별 로봇에서 수신된 데이터에 기초한 개별 통계 데이터를 제공할 수 있다.
또한, 상기 서버(10)는, 소정 기능 또는 서비스를 수행할 수 있는 로봇들로부터 취합된 데이터에 기초한 기능 또는 서비스별 통계 데이터를 제공할 수 있다.
도 15는 데이터 관리 항목(860)이 선택되어 표시되는 데이터 관리 화면(1500)을 예시한다.
사용자는 데이터 관리 화면(1500)의 탭 메뉴(1510, 1515)를 선택하여, 각종 데이터를 확인할 수 있다.
예를 들어, 사용자는 전체 탭 메뉴 항목(1510)을 선택하여, 년, 월, 주, 일, 시간대 별로 전체 로봇의 평균 로그값, 통계 데이터를 확인할 수 있다.
또한, 사용자는 로봇별 탭 메뉴 항목(1510)을 선택하여, 특정 종류의 로봇의 평균 로그값 또는 개별 로봇의 로그값, 통계 데이터를 확인할 수 있다.
도 15를 참조하면, 전체 탭 메뉴 항목(1510)이 선택된 경우에, 전체 로봇을 기준으로 통계화된 서비스 시작일 정보(1530), 로봇 등록 삭제 개요 정보(1540), 모드별 실행 시간 정보(1550), 서비스별 실행 시간 정보(1560)가 유저 인터페이스 화면에 표시될 수 있다.
실시예에 따라서, 데이터 관리 화면(1500)은 조회 기간 선택 항목(1520)을 더 포함하고, 조회 기간 선택 항목(1520)을 조작하여 통계 데이터를 제공받을 기간 범위를 설정할 수 있다.
서버(10)는 일반인이 이해하기 쉽도록 가독성 높은 유저 인터페이스를 제공할 수 있다. 예를 들어, 도 15와 같이, 모드별 실행 시간 정보(1550), 서비스별 실행 시간 정보(1560) 등은 가독성 높은 그래프로 제공될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 단순 로그 수준의 통계 기능 제공을 넘어, 고객 프로필(profile), 점유 및 이탈 지점, 고객 밀집 지역 등 로봇에서 수집 가능한 데이터 분석을 통해 부가 가치를 창출할 수 있는 데이터 분석 리포트를 제공할 수 있다.
예를 들어, 서버(10)는, 전체 로봇이나 개별 로봇 별로 특정 모드 / 서비스 실행 시간을 비교하여 전/후 차이를 파악할 수 있다.
서버(10)는 모드(운영,충전,대기)나 서비스(위치안내, 사진 촬영 등) 별 실행 시간, 총 주행 거리와 에러 발생 횟수 등을 조회, 전체 / 개별 로봇 별로 비교할 수 있도록 리포트를 제공할 수 있다.
또한, 로봇을 사용한 고객의 프로필 정보나 점유 및 이탈 지점 데이터 분석하여 프리미엄 리포트를 제공할 수 있다. 예를 들어, 서버(10)는, 로봇에 접근한 고객들의 안면 인식을 통한 프로필 분석으로, 고객들의 최초 접근, 이탈 시점 분석을 통한 선호도 등 시사점을 도출할 수 있다.
또한, 특정 존(zone)에 밀집한 혼잡도를 분석할 수 있고, 특정 지점의 혼잡도 분석을 통한 상품 광고, 접객 효과 등의 측정이 가능하며, 로봇을 이용하는 고객 프로필 분석을 통한 주요 고객층 분석, 최초 접근 시점, 이탈 시점, 이탈까지 소요된 시간 등의 분석을 통한 광고 효과 측정(타 솔루션과 연동 가능)이 가능하다.
본 발명에 따른 서버, 이를 포함하는 로봇 시스템 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 실시예에 따른 서버, 및, 이를 포함하는 로봇 시스템의 제어 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (20)

  1. 복수의 로봇; 및,
    상기 복수의 로봇과 통신하며 상기 복수의 로봇의 상태를 모니터링(monitoring)하고 제어하는 서버;를 포함하고,
    상기 복수의 로봇은 다른 종류의 로봇을 포함하며,
    상기 서버는 상기 다른 종류의 로봇에 대한 정보를 포함하는 통합 유저 인터페이스를 클라이언트(client)에 제공하는 것을 특징으로 하는 로봇 시스템.
  2. 제1항에 있어서,
    상기 서버는 연동된 외부 서버로부터 데이터가 수신되면, 상기 복수의 로봇 중 상기 수신된 데이터와 연관된 로봇들의 데이터를 일괄 업데이트하는 것을 특징으로 하는 로봇 시스템.
  3. 제1항에 있어서,
    상기 서버는, 기설정된 주기마다 자동으로 상기 연동된 외부 서버로부터 데이터를 수신하고, 상기 수신된 데이터와 연관된 로봇들의 데이터를 일괄 업데이트하는 것을 특징으로 하는 로봇 시스템.
  4. 제1항에 있어서,
    상기 서버는, 공통부에 업로드된 데이터는 상기 복수의 로봇 전부에 적용하고, 전용부에 업로드된 데이터는 데이터가 업로드된 전용부에 대응하는 로봇에 적용하는 것을 특징으로 하는 로봇 시스템.
  5. 제4항에 있어서,
    상기 전용부는 로봇들의 종류에 대응하여 복수개 구비되는 것을 특징으로 하는 로봇 시스템.
  6. 제1항에 있어서,
    상기 서버는,
    상기 복수의 로봇의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있는 관제 서비스를 제공하는 관제 서버를 포함하는 것을 특징으로 하는 로봇 시스템.
  7. 제6항에 있어서,
    상기 서버는,
    상기 복수의 로봇과 관련된 데이터를 중계하고 관리하는 기기 관리 서버,
    맵(map) 데이터를 제공하는 맵 서버를 더 포함하는 것을 특징으로 하는 로봇 시스템.
  8. 제6항에 있어서,
    상기 관제 서버는,
    상기 복수의 로봇의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있는 관제 서비스를 제공하는 관제 서비스 서버 및, 상기 복수의 로봇과 관련된 애플리케이션을 관리할 수 있는 관리자 애플리케이션 서버를 포함하는 것을 특징으로 하는 로봇 시스템.
  9. 제1항에 있어서,
    상기 통합 유저 인터페이스는, 전체 로봇 현황 정보, 로봇의 종류에 따라 분류된 로봇 종류별 상태 정보를 포함하는 것을 특징으로 하는 로봇 시스템.
  10. 제9항에 있어서,
    상기 로봇 종류별 상태 정보는, 로봇 종류 명칭 항목, 현재 상태 명칭 항목, 상기 현재 상태 명칭 항목에 대응하는 로봇 대수 정보를 포함하고,
    상기 현재 상태 명칭 항목과 상기 로봇 대수 정보는 상태별로 다른 색상으로 표시되는 것을 특징으로 하는 로봇 시스템.
  11. 제9항에 있어서,
    상기 통합 유저 인터페이스는,
    맵(map) 상에 로봇들의 현재 위치가 표시되는 위치 현황 정보 및, 개별 로봇의 상태 정보를 더 포함하는 것을 특징으로 하는 로봇 시스템.
  12. 제1항에 있어서,
    상기 서버는, 전체 로봇에서 취합된 데이터에 기초한 전체 통계 데이터, 동일한 종류의 로봇에서 취합된 데이터에 기초한 종류별 통계 데이터, 개별 로봇에서 수신된 데이터에 기초한 개별 통계 데이터를 제공하는 것을 특징으로 하는 로봇 시스템.
  13. 제1항에 있어서,
    상기 서버는, 소정 기능 또는 서비스를 수행할 수 있는 로봇들로부터 취합된 데이터에 기초한 기능 또는 서비스별 통계 데이터를 제공하는 것을 특징으로 하는 로봇 시스템.
  14. 복수의 로봇과 통신하며 상기 복수의 로봇의 상태를 모니터링(monitoring)하고 제어하는 관제 서버;를 포함하고,
    상기 복수의 로봇은 다른 종류의 로봇을 포함하며,
    상기 다른 종류의 로봇에 대한 정보를 포함하는 통합 유저 인터페이스를 클라이언트(client)에 제공하는 것을 특징으로 하는 서버.
  15. 제14항에 있어서,
    연동된 외부 서버로부터 데이터가 수신되면, 상기 복수의 로봇 중 상기 수신된 데이터와 연관된 로봇들의 데이터를 일괄 업데이트하는 것을 특징으로 하는 서버.
  16. 제14항에 있어서,
    공통부에 업로드된 데이터는 상기 복수의 로봇 전부에 적용하고, 전용부에 업로드된 데이터는 데이터가 업로드된 전용부에 대응하는 로봇에 적용하는 것을 특징으로 하는 서버.
  17. 제16항에 있어서,
    상기 전용부는 로봇들의 종류에 대응하여 복수개 구비되는 것을 특징으로 하는 서버.
  18. 제14항에 있어서,
    상기 복수의 로봇과 관련된 데이터를 중계하고 관리하는 기기 관리 서버;
    맵(map) 데이터를 제공하는 맵 서버;를 더 포함하는 것을 특징으로 하는 서버.
  19. 제14항에 있어서,
    상기 관제 서버는,
    상기 복수의 로봇의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있는 관제 서비스를 제공하는 관제 서비스 서버, 및, 상기 복수의 로봇과 관련된 애플리케이션을 관리할 수 있는 관리자 애플리케이션 서버를 포함하는 것을 특징으로 하는 서버.
  20. 제14항에 있어서,
    상기 통합 유저 인터페이스는, 전체 로봇 현황 정보, 로봇의 종류에 따라 분류된 로봇 종류별 상태 정보를 포함하는 것을 특징으로 하는 서버.
PCT/KR2019/000084 2019-01-03 2019-01-03 서버 및 이를 포함하는 로봇 시스템 WO2020141638A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2019/000084 WO2020141638A1 (ko) 2019-01-03 2019-01-03 서버 및 이를 포함하는 로봇 시스템
KR1020197030605A KR20210099218A (ko) 2019-01-03 2019-01-03 서버 및 이를 포함하는 로봇 시스템
US16/628,447 US11285608B2 (en) 2019-01-03 2019-01-03 Server and robot system including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/000084 WO2020141638A1 (ko) 2019-01-03 2019-01-03 서버 및 이를 포함하는 로봇 시스템

Publications (1)

Publication Number Publication Date
WO2020141638A1 true WO2020141638A1 (ko) 2020-07-09

Family

ID=71407178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000084 WO2020141638A1 (ko) 2019-01-03 2019-01-03 서버 및 이를 포함하는 로봇 시스템

Country Status (3)

Country Link
US (1) US11285608B2 (ko)
KR (1) KR20210099218A (ko)
WO (1) WO2020141638A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112677151A (zh) * 2020-12-16 2021-04-20 用友网络科技股份有限公司 机器人运行控制方法、系统和可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102442064B1 (ko) * 2020-11-30 2022-09-08 네이버랩스 주식회사 서비스 어플리케이션과 연계하여 서비스를 제공하는 로봇을 제어하는 방법 및 클라우드 서버
US11911906B2 (en) * 2021-05-21 2024-02-27 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a patrolling robot
US11507059B1 (en) 2021-10-11 2022-11-22 UiPath, Inc. System and computer-implemented method for seamless consumption of automations
KR20230076507A (ko) * 2021-11-24 2023-05-31 삼성전자주식회사 로봇 및 그 제어 방법
KR102569181B1 (ko) * 2022-11-21 2023-08-22 이재형 로봇 운용 체제(ros) 기반 로봇 통합 관리 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005319526A (ja) * 2004-05-07 2005-11-17 Fujitsu Ltd ネットワークロボットの機能提供システム
EP2466404A1 (en) * 2010-12-14 2012-06-20 Abb As Method for controlling industrial robots in a work area
KR101408075B1 (ko) * 2013-07-09 2014-06-18 국방과학연구소 다중 로봇 시스템 및 다중 로봇 시스템 제어 방법
EP2851760A1 (en) * 2013-09-19 2015-03-25 Rigas Tehniska universitate Multi-robot system
US20150185729A1 (en) * 2012-02-07 2015-07-02 Google Inc. Systems and Methods for Allocating Tasks to a Plurality of Robotic Devices

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090150A (ko) 2007-04-04 2008-10-08 삼성전자주식회사 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및서비스 로봇을 이용하는 서비스 시스템의 제어방법
US10482550B1 (en) * 2013-03-27 2019-11-19 Vecna Robotics, Inc. Mobile robot for performing hospitality service(s) for guest(s) of a hospitatlity business
US10430744B2 (en) * 2015-08-21 2019-10-01 Autodesk, Inc. Robot service platform
US9981385B2 (en) * 2015-10-12 2018-05-29 The Boeing Company Dynamic automation work zone safety system
CN110945448A (zh) * 2017-07-28 2020-03-31 纽诺有限公司 自主和半自主载具上的灵活隔间设计
JP6814118B2 (ja) * 2017-09-15 2021-01-13 株式会社日立製作所 ロボット制御装置、システム、及び方法
US11279042B2 (en) * 2019-03-12 2022-03-22 Bear Robotics, Inc. Robots for serving food and/or drinks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005319526A (ja) * 2004-05-07 2005-11-17 Fujitsu Ltd ネットワークロボットの機能提供システム
EP2466404A1 (en) * 2010-12-14 2012-06-20 Abb As Method for controlling industrial robots in a work area
US20150185729A1 (en) * 2012-02-07 2015-07-02 Google Inc. Systems and Methods for Allocating Tasks to a Plurality of Robotic Devices
KR101408075B1 (ko) * 2013-07-09 2014-06-18 국방과학연구소 다중 로봇 시스템 및 다중 로봇 시스템 제어 방법
EP2851760A1 (en) * 2013-09-19 2015-03-25 Rigas Tehniska universitate Multi-robot system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112677151A (zh) * 2020-12-16 2021-04-20 用友网络科技股份有限公司 机器人运行控制方法、系统和可读存储介质

Also Published As

Publication number Publication date
US11285608B2 (en) 2022-03-29
US20210146547A1 (en) 2021-05-20
KR20210099218A (ko) 2021-08-12

Similar Documents

Publication Publication Date Title
WO2020141638A1 (ko) 서버 및 이를 포함하는 로봇 시스템
WO2020141637A1 (ko) 로봇 시스템의 제어 방법
WO2020141639A1 (ko) 로봇의 제어 방법
WO2020141636A1 (ko) 로봇 시스템의 제어 방법
WO2020222340A1 (ko) 인공지능 로봇과 그의 제어 방법
WO2020130219A1 (ko) 로봇의 제어 방법
WO2016108660A1 (en) Method and device for controlling home device
WO2016024741A1 (en) Cloud system and method of displaying, by cloud system, content
WO2016024740A1 (en) Cloud system and method of displaying, by cloud system, content
WO2014119884A1 (en) Method and system for displaying object, and method and system for providing the object
WO2019004744A1 (ko) 이동 로봇
WO2018117685A1 (en) System and method of providing to-do list of user
WO2013154316A1 (en) User terminal apparatus, display apparatus, server and control method thereof
WO2014030962A1 (en) Method of recommending friends, and server and terminal therefor
WO2017007045A1 (ko) 무인 항공기, 이동 단말기 및 그것들의 제어방법
WO2014088231A1 (en) Information providing method and mobile terminal therefor
WO2016085170A1 (en) System and method of providing to-do list of user
WO2016018086A1 (en) System and method of managing metadata
WO2016018098A1 (en) Mobile device and method of executing application based on particular zone
WO2016208845A1 (ko) 이동 단말기 및 그 제어방법
EP3552163A1 (en) System and method of providing to-do list of user
WO2014171620A1 (en) Method and system for controlling external device
WO2014061872A1 (ko) 메신저 제어 방법을 위한 기록 매체, 이를 위한 장치 및 시스템
WO2017018622A1 (en) Mobile terminal and method for controlling the same
WO2019004746A1 (ko) 이동 로봇의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19907161

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19907161

Country of ref document: EP

Kind code of ref document: A1