WO2020130219A1 - 로봇의 제어 방법 - Google Patents

로봇의 제어 방법 Download PDF

Info

Publication number
WO2020130219A1
WO2020130219A1 PCT/KR2019/000222 KR2019000222W WO2020130219A1 WO 2020130219 A1 WO2020130219 A1 WO 2020130219A1 KR 2019000222 W KR2019000222 W KR 2019000222W WO 2020130219 A1 WO2020130219 A1 WO 2020130219A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
robot
mobile robot
information
server
Prior art date
Application number
PCT/KR2019/000222
Other languages
English (en)
French (fr)
Inventor
안영남
이가은
정지윤
조택일
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP19901092.7A priority Critical patent/EP3900885A4/en
Priority to CN201980092275.3A priority patent/CN113423541B/zh
Priority to KR1020190119013A priority patent/KR102314536B1/ko
Priority to US16/723,561 priority patent/US11341355B2/en
Publication of WO2020130219A1 publication Critical patent/WO2020130219A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40411—Robot assists human in non-industrial environment like home or office
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40414—Man robot interface, exchange of information between operator and robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present invention relates to a robot and its control method, and more particularly, to a robot and its control method capable of providing a virtual fitting service.
  • Robots have been developed for industrial use and have been responsible for part of factory automation. In recent years, the field of application of robots has been further expanded, medical robots, aerospace robots, etc. have been developed, and home robots that can be used in general homes are also being made. Among these robots, a mobile robot capable of driving by itself is called a mobile robot.
  • An object of the present invention is to provide a robot capable of providing a virtual fitting service and a control method thereof.
  • An object of the present invention is to provide a robot capable of accurately determining a user's body information and generating an avatar while minimizing the user's movement and a control method thereof.
  • An object of the present invention is to provide a robot system and a control method for providing a virtual fitting service including various information using an avatar reflecting the user's body information.
  • the robot and its control method according to an aspect of the present invention can conveniently provide a virtual fitting service while the robot moves.
  • a method of controlling a robot includes receiving a user input including a fitting service request, and a body specific part set in the fitting service at the current location Determining whether or not to acquire the image data to be obtained, if the image data can not be obtained, moving to a location where the image data can be obtained, if the image data can be obtained, the user through the image acquisition unit Scanning the body of the body, and displaying a user interface screen including a composite image obtained by synthesizing the image of the user's avatar character and the user's selected clothes based on the scan result. can do.
  • the scanning step includes a step of photographing the user, a step of rotating and moving around the user, a step of photographing the user after the movement, and determining the body information of the user based on the user images obtained by the photographing can do.
  • the robot according to an aspect of the present invention, a driving unit for moving the body, an image acquisition unit having one or more cameras, a voice input unit for receiving a user's voice input, a display unit for receiving a user's touch input, and a voice input unit
  • a driving unit for moving the body an image acquisition unit having one or more cameras
  • a voice input unit for receiving a user's voice input
  • a display unit for receiving a user's touch input
  • a voice input unit Alternatively, when a user input including a fitting service request is received through the display unit, it is determined whether or not image data including a specific body part set in the fitting service at the current location is obtainable, and image data cannot be obtained.
  • the driving unit is controlled to move to a position where image data can be acquired, and when the image data can be acquired, the image acquisition unit is controlled to scan a user's body, and based on the scan result It may include a control unit for controlling to display a user interface screen including a composite image of the generated avatar image of the user and the image of the clothes selected by the user to be displayed on the display unit.
  • a virtual fitting service including various information may be provided using an avatar reflecting the user's body information.
  • FIG. 1 is a block diagram of a robot system according to an embodiment of the present invention.
  • FIGS. 2A and 2B are views referred to for a description of a robot service delivery platform included in a robot system according to an embodiment of the present invention.
  • FIG. 3 is a diagram referred to for a description of learning using data acquired from a robot according to an embodiment of the present invention.
  • FIG. 4 is a perspective view of a mobile robot according to an embodiment of the present invention.
  • FIG. 5 is a bottom perspective view of a mobile robot according to an embodiment of the present invention as viewed from the bottom.
  • FIG. 6 is a side view of a mobile robot according to an embodiment of the present invention.
  • FIG. 7 is a view of the display of the mobile robot aligned according to an embodiment of the present invention.
  • FIG. 8 is a block diagram showing a control relationship between main components of a mobile robot according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method for controlling a robot according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a method for controlling a robot according to an embodiment of the present invention.
  • 11A to 20 are diagrams for reference to a description of a virtual fitting service provided by a robot according to an embodiment of the present invention.
  • module and “part” for the components used in the following description are given merely considering the ease of writing the present specification, and do not impart a particularly important meaning or role in itself. Therefore, the “module” and the “unit” may be used interchangeably.
  • first and second may be used to describe various elements, but these elements are not limited by these terms. These terms are only used to distinguish one element from another.
  • FIG. 1 is a block diagram of a robot system according to an embodiment of the present invention.
  • the robot system 1 is provided with one or more robots (100a, 100b, 100c1, 100c2, 100c3) airport, hotel, mart, clothing store, logistics, hospital It can provide services in various places such as.
  • the robot system 1 interacts with a user at a guide robot 100a capable of guiding a predetermined place, item, or service, at a home, and other robots and electronic devices based on a user's input. It may include at least one of a home robot (100b) to communicate, delivery robots (100c1, 100c2, 100c3) capable of carrying a predetermined article, and a cleaning robot (100d) capable of autonomous driving and performing a cleaning operation.
  • the robot system 1 may include a server 10 that can manage and control.
  • the server 10 can remotely monitor and control the states of a plurality of robots 100a, 100b, 100c1, 100c2, 100c3, 100d, and the robot system 1 includes a plurality of robots 100a, 100b, 100c1, 100c2, 100c3, 100d) can be used to provide more effective services.
  • the robot system 1 may include various types of robots 100a, 100b, 100c1, 100c2, 100c3, and 100d. Accordingly, not only can various services be provided by each robot, but also various and convenient services can be provided through the collaboration of robots.
  • a plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 are provided with a communication means (not shown) supporting one or more communication standards, it is possible to communicate with each other.
  • the plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 may communicate with a PC, a mobile terminal, and other external servers.
  • a plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 may communicate by using MQTT (Message Queueing Telemetry Transport) method.
  • MQTT Message Queueing Telemetry Transport
  • a plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 may communicate using the HTTP (HyperText Transfer Protocol) method.
  • HTTP HyperText Transfer Protocol
  • the plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 may communicate with a PC, a mobile terminal, or another server outside the HTTP or MQTT method.
  • the plurality of robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and the server 10 support two or more communication standards, and are optimal depending on the type of communication data and the type of devices participating in the communication. Communication standards can be used.
  • the server 10 is implemented as a cloud server, and a user can use data stored in the server 10 and communication functions and services provided by the server 10 through various devices such as a PC and a mobile terminal.
  • Cloud (10) is linked to robots (100a, 100b, 100c1, 100c2, 100c3, 100d) to monitor and control robots (100a, 100b, 100c1, 100c2, 100c3, 100d) and provide various solutions and contents remotely Can.
  • the user can check or control information about the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d in the robot system through a PC, a mobile terminal, and the like.
  • the'user' is a person who uses a service through at least one robot, an individual customer who purchases or rents a robot and uses it at home, and a manager of a company that provides services to employees or customers using the robot, This may include employees and customers using these services. Accordingly, the'user' may include an individual customer (Business to Consumer: B2C) and an enterprise customer (Business to Business: B2B).
  • B2C Business to Consumer
  • B2B Business to Business
  • the user can monitor the status and location of the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d in the robot system through a PC, a mobile terminal, and the like, and manage content and a work schedule.
  • the server 10 may store and manage information received from the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d.
  • the server 10 may be a server provided by a manufacturer of robots 100a, 100b, 100c1, 100c2, 100c3, and 100d or a company commissioned by a manufacturer.
  • system according to the present invention can operate in conjunction with two or more servers.
  • the server 10 may communicate with an external cloud server 20 such as E1, E2, content such as T1, T2, T3, a third party 30 providing a service, and the like. Accordingly, the server 10 may provide various services in conjunction with the external cloud server 20 and the third party 30.
  • an external cloud server 20 such as E1, E2, content such as T1, T2, T3, a third party 30 providing a service, and the like.
  • the server 10 may provide various services in conjunction with the external cloud server 20 and the third party 30.
  • the server 10 may be a control server that manages and controls the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d.
  • the server 10 may control the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d in the same way, or may be controlled for each individual robot. Also, the server 10 may control at least some of the robots 100a, 100b, 100c1, 100c2, 100c3, and 100d as a group and then control by group.
  • the server 10 may be configured with information and functions distributed to a plurality of servers, or may be configured as one integrated server.
  • the server 10 is configured by distributing information and functions to a plurality of servers or consisting of a single integrated server, and thus can manage the entire service using a robot, so as a robot service delivery platform (RSDP). Can be named.
  • RSDP robot service delivery platform
  • FIGS. 2A and 2B are views referred to for a description of a robot service delivery platform included in a robot system according to an embodiment of the present invention.
  • FIG. 2A illustrates a communication architecture of a robot service delivery platform according to an embodiment of the present invention.
  • the robot service delivery platform 10 may manage and control the robot 100 such as the guide robot 100a and the cleaning robot 100d, including one or more servers 11 and 12.
  • the robot service delivery platform 10 communicates with the client 40 side through a web browser 41, an application 42 such as a mobile terminal, and the control server 11 and the robot that manages and controls the robot 100 It may include a device management server 12 for relaying and managing data related to (100).
  • the control server 11 monitors the status and location of the robot 100 based on the user input received from the client 40, and provides a control/service server that provides a control service capable of managing content and work schedules ( 11a) and an administrator application (admin app) server 11b, which the control administrator can access through a web browser 41 or the like.
  • the control/service server 11a has a database DB and can respond to service requests such as robot management, control, wireless firmware upgrade (Firmware Over The Air: FOTA), and location inquiry of the client 40.
  • service requests such as robot management, control, wireless firmware upgrade (Firmware Over The Air: FOTA), and location inquiry of the client 40.
  • FOTA Wireless firmware upgrade
  • the administrator application server 11b is accessible to the administrator with administrator authority and can manage functions, applications, and contents related to the robot.
  • the device management server 12 may function as a proxy server, store meta data related to raw data, and perform a data backup function using a snapshot representing a state of the storage device.
  • the device management server 12 may include a common server that stores various data and communicates with the control/service server 11a.
  • the common server can store various data in storage or retrieve data from storage, and can respond to service requests such as robot management, control, wireless firmware upgrade, and location inquiry of the control/service server 11a.
  • the robot 100 may download map data and firmware data stored in the storage.
  • control server 11 and the device management server 12 are configured separately, there is no need to store data in storage and transmit it again, which is advantageous in terms of processing speed and time, and is easy to manage effectively in terms of security. There is this.
  • the robot service delivery platform 10 is a set of servers that provide robot-related services, and may mean all except the client 40 and the robot 100 in FIG. 2A.
  • the robot service delivery platform 10 may further include a user management server 13 for managing user accounts.
  • the user management server 13 may manage user authentication, registration, and withdrawal.
  • the robot service delivery platform 10 may further include a map server 14 that provides map data and data based on geographic information.
  • map data and the like received from the map server 14 may be stored in the control server 10 and/or the device management server 12, and the map data of the map server 14 may be downloaded to the robot 100. Can. Alternatively, at the request of the control server 11 and/or the device management server 12, map data may be transmitted from the map server 14 to the robot 100.
  • the robot 100 and the servers 11 and 12 may be provided with communication means (not shown) supporting one or more communication standards to communicate with each other.
  • the robot 100 and the server (11, 12) can communicate with the MQTT method.
  • the MQTT method is a method in which a message is transmitted/received through a broker, which has advantages in terms of low power and speed. Meanwhile, when the robot service delivery platform 10 uses the MQTT method, an intermediary may be built in the device management server 12 or the like.
  • the robot 100 and the servers 11 and 12 support two or more communication standards, and can use optimal communication standards according to the type of communication data and the type of devices participating in the communication.
  • FIG. 2A a communication path using the MQTT method and a communication path using the HTML method are illustrated.
  • the communication method between the servers 11 and 12 and the robot 100 may use the MQTT method regardless of the robot type.
  • the robot 100 may transmit the current state to the servers 11 and 12 through the MQTT session, and receive a remote control command from the servers 11 and 12.
  • a digital certificate such as a private key (issued to generate a CSR), an X.509 certificate received during robot registration, and a device management server certificate may be required, and other authentication methods may be used.
  • each server 11, 12, 13, and 14 is classified based on a function performed, the present invention is not limited thereto, and two or more functions may be performed through one server, or one function It can also be performed through two or more servers.
  • FIG. 2B illustrates a block diagram of a robot service delivery platform according to an embodiment of the present invention, and illustrates applications of a higher layer of a robot control platform related to robot control.
  • the robot control platform 2 may include a user interface 2 and functions/services 4 provided by the control/service server 11.
  • the robot control platform 2 may provide a website-based control manager user interface 3a and an application-based user interface 3b.
  • the client 40 may use the user interface 3b provided by the robot control platform 2 through a device used by the client 40.
  • control / service server 11 is a common part (4a, 4b) including functions and services commonly applied to a plurality of robots, and at least some of the plurality of robots It may include a dedicated portion (4c) containing a function.
  • the common parts 4a and 4b may be divided into a basic service 4a and a common function 4b.
  • Common parts (4a, 4b) is a status monitoring service that can check the status of the robots, a diagnostic service that can diagnose the status of the robots, a remote control service that can remotely control the robots, which can track the position of the robots It may include a robot location tracking service, a schedule management service for allocating, checking, and modifying tasks of robots, and a statistics/report service for checking various statistical data and analysis reports.
  • the common part (4a, 4b) is a user role (Role) management function to manage the user's authority to manage the robot authentication function, operation history management function, robot management function, firmware management function, push function related to push notification, It may include a robot group management function for setting and managing a group of robots, a map management function for checking and managing map data, version information, and the like, and a notification management function.
  • Role user role
  • the dedicated portion 4c may be configured with specialized functions in consideration of places where robots are operated, types of services, and customer requirements.
  • the dedicated portion 4c may mainly include specialized functions for B2B customers.
  • the dedicated unit 4c may include a cleaning area setting, site status monitoring, cleaning reservation setting, and cleaning history inquiry function.
  • the specialized functions provided by the dedicated unit 4c may be based on commonly applied functions and services.
  • the specialized function may also be configured by modifying the basic service 4a or adding a predetermined service to the basic service 4a.
  • the specialized function may be configured by partially modifying the common function 4b.
  • the basic service corresponding to the specialized function provided by the dedicated unit 4c and the common function may be removed or deactivated.
  • FIG. 3 is a diagram referred to for a description of learning using data acquired from a robot according to an embodiment of the present invention.
  • product data obtained by an operation of a predetermined device such as the robot 100 may be transmitted to the server 10.
  • the robot 100 may transmit space, objects, and usage related data to the server 10 to the server 10.
  • the space and object-related data are data related to the recognition of the space and objects recognized by the robot 100, or a space obtained by the image acquisition unit (see 820 of FIG. 8 ). It may be image data for (space) and objects.
  • the robot 100 and the server 10 are artificial neural networks in the form of software or hardware learned to recognize at least one of attributes of an object such as a user, a voice, an attribute of space, and an obstacle (Artificial Neural Networks: ANN) It may include.
  • ANN Artificial Neural Networks
  • the robot 100 and the server 10 are in-depth such as Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Deep Belief Network (DBN), which are learned by Deep Learning. It may include a deep neural network (DNN).
  • DNN deep neural network
  • a deep neural network structure such as a convolutional neural network (CNN) may be mounted on the control unit (see 840 of FIG. 8) of the robot 100.
  • the server 10 learns a deep neural network (DNN) based on data received from the robot 100, data input by a user, and the like, and then transmits the updated deep neural network (DNN) structure data to the robot 100 Can. Accordingly, the deep neural network (DNN) structure of artificial intelligence provided in the robot 100 may be updated.
  • DNN deep neural network
  • usage-related data is data obtained according to the use of a predetermined product, for example, the robot 100, usage history data, and sensing data obtained from the sensor unit (refer to 170 of FIG. 7 ). And so on.
  • the learned deep neural network structure may receive input data for recognition, recognize attributes of people, objects, and spaces included in the input data, and output the result.
  • the learned deep neural network structure may receive input data for recognition, analyze and learn usage-related data (Data) of the robot 100 to recognize usage patterns, usage environments, and the like. .
  • data related to space, objects, and usage may be transmitted to the server 10 through a communication unit (see 890 of FIG. 8 ).
  • the server 10 may train the deep neural network (DNN) and transmit the updated deep neural network (DNN) structure data to the robot 100 to update it.
  • DNN deep neural network
  • the robot 100 may become smarter and provide a user experience (UX) that evolves as it is used.
  • UX user experience
  • the robot 100 and the server 10 may also use external information.
  • the server 10 may comprehensively use external information obtained from other linked service servers 20 and 30 to provide an excellent user experience.
  • the server 10 may perform voice recognition by receiving a voice input signal uttered by a user.
  • the server 10 may include a speech recognition module, and the speech recognition module may include an artificial neural network trained to perform speech recognition on input data and output a speech recognition result.
  • the server 10 may include a voice recognition server for voice recognition.
  • the voice recognition server may include a plurality of servers that share and perform a predetermined process during the voice recognition process.
  • the speech recognition server receives speech data and converts the received speech data into text data, an automatic speech recognition (ASR) server, and the text from the automatic speech recognition server And a natural language processing (NLP) server that receives data and analyzes the received text data to determine a voice command.
  • the speech recognition server may further include a text to speech (TTS) server that converts the text speech recognition result output from the natural language processing server into speech data and transmits the result to the other server or device.
  • TTS text to speech
  • a user voice can be used as an input for controlling the robot 100.
  • the robot 100 can provide a more diverse and active control function to the user by actively providing information or outputting a voice recommending a function or service.
  • the robot 100 may provide a virtual fitting service. More preferably, the mobile robot capable of moving by itself provides a virtual fitting service, thereby more accurately discriminating the user's body information and providing a simple virtual fitting service.
  • the mobile robot according to an embodiment of the present invention may be a guide robot 100a capable of guiding a specific place, item, or service and providing various services.
  • the guide robot 100a provides a virtual fitting service.
  • FIG. 4 is a perspective view of a mobile robot according to an embodiment of the present invention
  • FIG. 5 is a bottom perspective view of the mobile robot according to an embodiment of the present invention as viewed from the bottom
  • FIG. 6 is a mobile robot according to an embodiment of the present invention It is a side view of the robot.
  • the mobile robot 100a may include a body 10a that forms an exterior and accommodates various parts therein.
  • the main body 10a is formed to have a long length in the vertical direction, and as a whole, it may have a shape that becomes slim as it goes up from the bottom to the top.
  • the main body 10a may include a case 30a forming an external appearance of the mobile robot 100a.
  • the case 30a includes a top cover 31a disposed on the upper side, a first middle cover 32a disposed on the lower side of the top cover 31a, and a second disposed on the lower side of the first middle cover 32a.
  • a middle cover 33a and a bottom cover 34a disposed under the second middle cover 33a may be included.
  • the first middle cover 32a and the second middle cover 33a may be formed of one middle cover.
  • the top cover 31a is located at the top of the mobile robot 100a, and may have a hemisphere or dome shape.
  • the top cover 31a may be positioned at a height lower than that of an adult in order to easily receive a command from a user.
  • the top cover 31a may be configured to be rotated at a predetermined angle.
  • the top cover (31a) is disposed on the top of the mobile robot (100a), and receives various parts therein, has a shape and function similar to the head of a person (head) interaction with the user (interaction) Can be in charge. Accordingly, the top cover 31a and parts disposed therein may be referred to as a head. In addition, the configuration of the parts accommodated in the top cover 31a or disposed outside may be referred to as a head portion. On the other hand, the rest of the portion disposed under the head may be referred to as a body.
  • the top cover 31a may include an operation unit 311 on one side of the front side.
  • the manipulation unit 311 may perform a function of receiving a command from a user.
  • the manipulation unit 311 may include a display 312 for receiving a touch input from a user.
  • the display 312 disposed on the manipulation unit 311 is referred to as a first display or head display 312, and a display included in the display unit 20a disposed on the body is referred to as a second display or body display 21a. I can name it.
  • the head display 312 may be configured as a touch screen by forming a mutual layer structure with a touch pad.
  • the head display 312 may be used as an input device capable of inputting information by a user's touch in addition to the output device.
  • the manipulation unit 311 may be directed upward at a certain angle so that the user can easily operate the head display 312 while looking down.
  • the operation unit 311 may be disposed on a surface on which a portion of the top cover 31a is cut. Therefore, the head display 312 may be arranged to be inclined.
  • manipulation unit 311 may have an overall circular or elliptical outer shape.
  • the manipulation unit 311 may be embodied similarly to the shape of a person's face.
  • the manipulation unit 311 has a circular shape, and one or more structures for expressing a person's eyes, nose, mouth, and eyebrows may be positioned on the manipulation unit 311.
  • a specific structure may be disposed on the manipulation unit 311 to express a person's eyes, nose, mouth, and eyebrows, or a specific paint may be painted. Therefore, the manipulation unit 311 may provide an emotional feeling to a user by having a human face shape. Moreover, when a robot having a face shape of a person is driving, it can give a feeling as if a person is moving, thereby eliminating the rejection of the robot.
  • one or more images for expressing a human eye, nose, mouth, and eyebrows may be displayed on the head display 312.
  • the head display 312 information related to a guide service and a virtual fitting service, as well as various images for expressing the shape of a person's face may be displayed. Also, an image for expressing a facial expression defined at a specific time interval or a specific time may be displayed on the head display 312.
  • manipulation unit 311 may be provided with a head camera unit 313 for recognizing people and objects.
  • the head camera unit 313 may be disposed above the head display 312.
  • the head camera unit 313 may include a 2D camera 313a and RGBD sensors 313b and 313c.
  • the 2D camera 313a may be a sensor for recognizing a person or object based on a 2D image.
  • the RGBD sensors (Red, Green, Blue, Distance) 313b and 313c may be sensors for acquiring a person's location or face image or body image.
  • the RGBD sensors 313b and 313c may be sensors for detecting people or objects using captured images having depth data obtained from a camera having RGBD sensors or other similar 3D imaging devices.
  • the RGBD sensors 313b and 313c may scan a user's body by photographing a user located within a predetermined distance.
  • the RGBD sensors 313b and 313c may be formed in plural.
  • the RGBD sensors 313b and 313c are composed of two, and may be disposed on the left and right sides of the 2D camera 313a, respectively.
  • the head camera unit 313 may be composed of a 3D vision sensor, such as an RGBD camera sensor, whether a person is present within a predetermined distance, whether a guide object is present in a guide mode, the distance between the person and the mobile robot 100a, A person's moving speed and user's body information can be sensed.
  • a 3D vision sensor such as an RGBD camera sensor
  • the manipulation unit 311 may further include a physical button for directly receiving a command from a user.
  • top cover 31a may further include a microphone 314.
  • the microphone 314 may perform a function for receiving a command of an audio signal from a user.
  • the microphone 314 may be formed at four points at an upper end of the top cover 31a. Therefore, even when the mobile robot 100a is running or the top cover 31a is rotating, it is possible to accurately receive a voice service request from a user.
  • the top cover 31a may be rotated so that the operation unit 311 faces the traveling direction while the mobile robot 100a is traveling.
  • the mobile robot 100a receives a command (for example, a voice command) from the user while the mobile robot 100a is driving, the top cover 31a may be rotated to face the direction in which the user is located.
  • the top cover 31a may be rotated in a direction opposite to the driving direction of the mobile robot 100a. That is, the top cover 31a may be rotated in a direction facing the body display unit 20a. Accordingly, the user can effectively operate the manipulation unit 311 while viewing road guidance service information displayed on the body display unit 20a.
  • FIG 7 is a view arranged by the displays 312 and 20a of the mobile robot 100a according to an embodiment of the present invention.
  • the displays 312 and 20a are aligned in one direction so that the user or the users of the public place have two displays. It is possible to make it easier to see the information displayed on (312, 20a).
  • the interaction state may correspond to a case in which the mobile robot 100a provides a voice guidance, a menu screen, or the like to a predetermined user, receives a touch, a voice input from the user, or provides a service.
  • directions viewed by the manipulation unit 311 and the body display unit 20a may be opposite to each other.
  • the manipulation unit 311 faces toward one direction
  • the display unit 20a can face toward the other direction opposite to one direction
  • the manipulation unit 311 or the body display unit There is an advantage that the information displayed in (20a) can be viewed in both directions.
  • a direction viewed by the manipulation unit 311 and the body display unit 20a may be changed.
  • directions viewed by the manipulation unit 311 and the body display unit 20a may be opposite to each other.
  • the top cover 31a may further include an emergency operation button 315.
  • the emergency operation button 315 may perform a function of immediately stopping the operation of the mobile robot 100a while the mobile robot 100a is stopped or running.
  • the emergency operation button 315 may be located at the rear of the mobile robot 100a so that the emergency operation button 315 can be easily operated even when the mobile robot 100a travels forward. have.
  • the first middle cover 32a may be disposed under the top cover 31a.
  • Various electronic components including a substrate may be located inside the first middle cover 33.
  • the first middle cover 32a may have a cylindrical shape that increases in diameter as it descends from the top to the bottom.
  • the first middle cover 32a may include an RGBD sensor 321.
  • the RGBD sensor 321 may perform a function of detecting a collision between the mobile robot 100a and an obstacle while the mobile robot 100a is driving. To this end, the RGBD sensor 321 may be located in a direction in which the mobile robot 100a travels, that is, in front of the first middle cover 32a. For example, the RGBD sensor 321 may be located at an upper end of the first middle cover 32a in consideration of an obstacle or a key of a person existing in front of the mobile robot 100a. However, the present invention is not limited thereto, and the RGBD sensor 321 may be disposed at various positions in front of the first middle cover 32a.
  • the RGBD sensor 321 may be configured as a 3D vision sensor, whether a person is present within a predetermined distance, whether a guide object is present in a guide mode, a distance between a person and the mobile robot 100a, a person It can sense the moving speed of the.
  • the RGBD sensor 321 may scan a user's body by photographing a user located within a predetermined distance.
  • the RGBD sensor 321 is not disposed on the first middle cover 32a, and the function of the RGBD sensor 321 can also be performed by the head camera unit 313.
  • first middle cover 32a may further include a hole 322 for the speaker.
  • the speaker hole 322 may be a hole for transmitting sound generated from the speaker to the outside.
  • the speaker hole 322 may be formed on the outer circumferential surface of the first middle cover 32a, and may be formed in a single number. However, unlike this, the speaker holes 322 may be formed in plural to be spaced apart from each other on the outer circumferential surface of the first middle cover 32a.
  • first middle cover 32a may further include a hole 323 for a stereo camera.
  • the stereo camera hole 323 may be a hole for operation of a stereo camera (not shown) installed inside the main body 10a.
  • the stereo camera hole 323 may be formed at the front bottom of the first middle cover 32a. Accordingly, the stereo camera may photograph the front region of the mobile robot 100a through the stereo camera hole 323.
  • the second middle cover 33a may be disposed under the first middle cover 32a.
  • a battery, a rider for autonomous driving, and the like may be located inside the second middle cover 33a.
  • the second middle cover 33a may have a cylindrical shape that increases in diameter from the top to the bottom.
  • the outer side of the second middle cover 33a may be connected to the outer side of the first middle cover 32a without a step. That is, the outer side of the second middle cover 33a and the outer side of the first middle cover 32a may be smoothly connected, so that the appearance may look beautiful.
  • first middle cover 32a and the second middle cover 33a have a cylindrical shape that increases in diameter as it goes down from the top to the bottom, the overall shape may be raised. Therefore, it is possible to alleviate the impact generated when the main body 10a collides with a person or an obstacle.
  • the second middle cover 33a may include a first cutout 331.
  • the first incision 331 may be formed over the side from the front of the outer circumferential surface of the second middle cover 33a.
  • the first incision 331 is a portion that is cut in the second middle cover 33a so that the front rider 136, which will be described later, is operable.
  • the first cut-out portion 331 may be cut in a predetermined length in the radial direction from the front outer circumferential surface of the second middle cover 33a.
  • the front rider 136 is located inside the second middle cover 33a.
  • the first incision 331 may be formed by cutting along the circumference of the second middle cover 33a on the outer peripheral surface of the second middle cover 33a corresponding to the position of the front rider 136. . That is, the first incision 331 and the front rider 136 may face each other. Therefore, the front rider 136 may be exposed to the outside by the first incision 331.
  • the first incision 331 may be incised by 270 degrees along the circumference in front of the second middle cover 33a.
  • the reason that the first incision 331 is to be formed in the second middle cover 33a is to prevent the laser emitted from the front rider 136 from being directly irradiated to the adult's eye or the child's eye. to be.
  • the second middle cover 33a may further include a second incision 332.
  • the second incision 332 may be formed over the side from the rear of the outer circumferential surface of the second middle cover 33a.
  • the second incision 332 is a portion that is cut in the second middle cover 33a so that the rear rider 118, which will be described later, is operable.
  • the second cut-out portion 332 may be cut in a predetermined length in the radial direction from the rear outer circumferential surface of the second middle cover 33a.
  • the rear rider 118 is located inside the second middle cover 33a.
  • the second incision 332 may be formed by cutting along the circumference of the second middle cover 33a at a point corresponding to the position of the rear rider 118. Therefore, the rear rider 118 may be exposed to the outside by the second incision 332.
  • the second incision 332 may be cut by 130 degrees along the circumference from the rear of the second middle cover 33a.
  • the first incision 331 may be spaced apart in the vertical direction so as not to be connected to the second incision 332. In addition, the first incision 331 may be positioned above the second incision 332.
  • the laser emitted from the rider of one mobile robot may be irradiated to the rider of another mobile robot. Then, lasers emitted from the riders of the respective mobile robots interfere with each other, so that accurate distance detection may be difficult. In this case, since the distance between the mobile robot and the obstacle becomes impossible, normal driving is difficult and a problem may arise in which the mobile robot collides with the obstacle.
  • an ultrasonic sensor 333 may be further disposed on the second middle cover 33a.
  • the ultrasonic sensor 333 may be a sensor for measuring a distance between an obstacle and the mobile robot 100a using an ultrasonic signal.
  • the ultrasonic sensor 333 may perform a function for detecting an obstacle close to the mobile robot 100a.
  • the ultrasonic sensor 333 may be configured in a plurality to detect obstacles in all directions proximate to the mobile robot 100a.
  • the plurality of ultrasonic sensors 333 may be positioned to be spaced apart from each other along the lower circumference of the second middle cover 33a.
  • the bottom cover 34a may be disposed under the second middle cover 33a.
  • a wheel 112 and a caster 112a may be located inside the bottom cover 34a.
  • the bottom cover 34a may have a cylindrical shape that decreases in diameter as it descends from the top to the bottom. That is, the main body (10a) has an overall shape of the crust to reduce the amount of impact applied when the robot collides, and the lower end of the main body (10a) has a structure that goes inward to prevent human feet from getting caught in the wheel of the robot. Can.
  • the base 111 may be located inside the bottom cover 34a.
  • the base 111 may form a bottom surface of the mobile robot 100a.
  • a wheel 112 for driving the mobile robot 100a may be provided on the base 111.
  • One of the wheels 112 may be located on the left and right sides of the base 111.
  • the base 111 may be provided with a caster 112a for assisting the traveling of the mobile robot 100a.
  • the caster 112a may be configured in plural for manual movement of the mobile robot 100a.
  • two casters 112a may be positioned at the front and rear of the base 111, respectively.
  • the mobile robot 100a when the power of the mobile robot 100a is turned off or the mobile robot 100a needs to be manually moved, the mobile robot 100a can be pushed and moved without exerting great force. There are advantages.
  • light-emitting modules 40a each including one or more light-emitting diodes (LEDs) may be disposed, and at least one of the light-emitting modules 40a may be turned on or off depending on the operation state of the mobile robot. Can be turned off.
  • at least one of the light emitting modules 40a may output light of a predetermined color or blink at a predetermined cycle according to the operation state of the mobile robot.
  • two or more light emitting modules of the light emitting modules 40a may output light in a predetermined pattern according to the operation state of the mobile robot.
  • Each of the light emitting modules 40a may include one or more light emitting diodes as a light source.
  • the plurality of light sources may be arranged with a constant pitch for uniform light supply.
  • the number and pitch of light sources may be set in consideration of the light intensity.
  • the plurality of light sources may be all white in color, or the colors of adjacent light sources may be mixed to emit white light.
  • the light source may include a case where the light-emitting diodes are not only one single body, but also a plurality of light-emitting diodes disposed in close proximity. Also, for example, a case in which red, blue, and green light-emitting diodes, which are three primary colors of light, are disposed in close proximity may be included.
  • the light emitting modules 40a may be disposed along the circumference of the bottom cover 34a.
  • the light emitting modules 40a may be disposed on an arbitrary circle surrounding the circumference of the bottom cover 34a in a horizontal direction.
  • the light emitting modules 40a are disposed on the bottom cover 34a, which is a lower end of the mobile robot 100a, it can be disposed at a position significantly lower than a person's eye level. Accordingly, when the light emitting modules 40a continuously output or flash specific light, people may feel less glare.
  • the light emitting modules 40a are arranged to surround the circumference of the bottom cover 34a in the horizontal direction, people can see the light output from the light emitting modules 40a in any direction of 360 degrees.
  • the light emitting modules 40a are disposed on the bottom cover 34a to be spaced apart from the body display 21a of a large screen displaying a predetermined image. Accordingly, it is possible to prevent the output light of the light emitting modules 40a and the output image of the body display 21a from deteriorating visibility of each other.
  • the light emitting modules 40a may have a plurality of rows and may be arranged in multiple stages. Accordingly, visibility of light output from the light emitting modules 40a may be further improved.
  • the light emitting modules 40a may be arranged in three rows 41a, 42a, and 43a having different lengths.
  • the length of the row 41 located at the bottom of the three rows 41a, 42a, and 43a may be the shortest.
  • the light emitting modules 40a may be arranged to have a plurality of rows and columns.
  • the light emitting modules 40a are arranged in three rows 41a, 42a, and 43a, and each row 41a, 42a, 43a may include a plurality of light emitting modules that can be independently controlled.
  • the light emitting modules 40a may have a plurality of rows and columns, and when the entire light emitting modules 40a are unfolded, they are arranged in a matrix of M*N. Can be.
  • the body display unit 20a may be formed to be elongated in the vertical direction from one side of the mobile robot 100a.
  • the body display unit 20a may include a body display 21a and a support unit 22a.
  • the body display 21a may be located behind the first middle cover 32a.
  • the body display 21a may perform a function of outputting visual information (eg, airport gate query information, road guidance service information, etc.) related to a service currently being provided.
  • visual information eg, airport gate query information, road guidance service information, etc.
  • the body display 21a may be configured as a curved display having a predetermined curvature curved shape outward. That is, the body display 21a may have a concave shape as a whole. In addition, the body display 21a may have a shape inclined toward the rear as it descends from the top to the bottom. In other words, the body display 21a may be formed to gradually move away from the case 30a as it descends from the top to the bottom.
  • the display unit not only the information displayed on the body display 21a is visible even at a position remote from the mobile robot 100a, but information displayed on the body display 21a is distorted even at various angles. There is an advantage.
  • the mobile robot 100a may first move along a set path to guide the user to the road. And the user can see the body display unit 20a installed at the rear of the mobile robot 100a while moving along the mobile robot 100a. That is, even if the mobile robot 100a travels for guidance, the user can easily view the information displayed on the body display unit 20a while following the mobile robot 100a.
  • the top of the body display 21a may extend to the top of the first middle cover 32a, and the bottom of the body display 21a may extend to the second incision 332.
  • the lower end of the body display 21a should be formed so as not to exceed the second incision 332. If the body display 21a is formed to cover the second incision 332, the laser emitted from the rear rider 118 hits the lower end of the body display 21a. Accordingly, the mobile robot 100a may have a problem that it is impossible to detect a distance from an obstacle located at the rear.
  • the support 22a may function to maintain the body display 21a so as to be positioned behind the first middle cover 32a.
  • the support part 22a may be formed to extend from the rear surface of the body display part 21.
  • the support portion 22a may be formed to be elongated in the vertical direction from the rear surface of the body display 21a, and may protrude further as it descends from the top to the bottom.
  • the support 22a may penetrate the rear of the first middle cover 32a and be inserted into the first middle cover 32a.
  • a through hole (not shown) through which the support portion 22a may pass may be formed at a rear side of the first middle cover 32a.
  • the through-hole may be formed by cutting a portion of the rear of the outer circumferential surface of the first middle cover 32a.
  • the body display unit 20a may be fixed inside the body 10a by a separate fixing member 138.
  • a fixing member 138 for fixing the body display unit 20a to the body 10a may be provided inside the body 10a.
  • One side of the fixing member 138 may be fixed to the main body 10a, and the other side may be fixed to the body display unit 20a.
  • the other side of the fixing member 138 may penetrate the through hole and protrude to the outside of the case 30a. That is, the support 22a and the fixing member 138 may be located in the through hole.
  • the body display unit 20a may be fastened to the fixing member 138 by fastening means.
  • the support portion 22a of the body display portion 20a may be placed on the upper side of the fixing member 138.
  • the support portion 22a is raised above the fixing member 138, and a part of the fixing member 138 may be fixed with a part of the body display unit 20a. Due to the fixing structure of the display unit, the body display unit 20a may be stably positioned behind the first middle cover 32a.
  • the body display unit 20a may further include a ticket input port 50a.
  • a ticket input port 50a In this embodiment, an example in which the ticket inlet 50a is disposed on the body display unit 20a is shown, but the present invention is not limited to this, and the ticket inlet 50a is located in another part of the mobile robot 100a. It may be deployed.
  • the mobile robot 100a may include a scanner (not shown) that scans a ticket input through the ticket input port 50a, and the scanner may be activated under control of the control unit 840.
  • the scanner provided inside the mobile robot 100a, when a ticket such as a gift certificate, a ticket, or a baggage ticket is input through the ticket input port 50a, a barcode, a QR code, etc. You can scan.
  • the mobile robot 100a may display the scan result on the body display 21a and provide information according to the scan result to the user.
  • the body display unit 20a may further include a body camera unit 25a for identification and tracking of a service object.
  • the body camera unit 25a may be composed of a 3D vision sensor such as an RGBD camera sensor, whether a person is present within a predetermined distance, whether a guide object is present in a guide mode, the distance between the person and the mobile robot 100a, It can sense the movement speed of a person.
  • a 3D vision sensor such as an RGBD camera sensor
  • the mobile robot 100a may not include the body camera unit 25a, and may further include a sensor for identifying and tracking a guide object disposed in another part.
  • FIG. 8 is a block diagram showing a control relationship between main components of a mobile robot according to an embodiment of the present invention.
  • the mobile robot 100a includes a voice input unit 825 that receives a user's voice input through a microphone 314 and a storage unit 830 that stores various data. , Communication unit 890 that transmits and receives data to and from other electronic devices, such as the server 10, a light emitting unit 850 including one or more light emitting modules that output light to the outside, and a control unit controlling the overall operation of the mobile robot 100a 840.
  • the voice input unit 825 may include a processing unit that converts analog sound into digital data or is connected to the processing unit, so that the user input voice signal can be dataized to be recognized by the control unit 840 or the server 10.
  • the control unit 840 controls the voice input unit 825, the storage unit 830, the light emitting unit 850, and the communication unit 890 constituting the mobile robot 100a, so that the overall operation of the mobile robot 100a is controlled. Can be controlled.
  • the storage unit 830 records various information necessary for the control of the mobile robot 100a, and may include a volatile or nonvolatile recording medium.
  • the recording medium stores data that can be read by a microprocessor, and a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, CD-ROM, magnetic Tapes, floppy disks, optical data storage devices, and the like.
  • the storage unit 830 may store various data necessary for the mobile robot 100a to provide a guide service, a fitting service, and the like.
  • control unit 840 may transmit an operation state or a user input of the mobile robot 100a to a server through the communication unit 890.
  • the communication unit 890 includes at least one communication module so that the mobile robot 100a is connected to the Internet or a predetermined network.
  • data for speech recognition may be stored in the storage unit 830, and the controller 840 may process a voice input signal of a user received through the speech input unit 825 and perform a speech recognition process. .
  • controller 840 may control the mobile robot 100a to perform a predetermined operation based on the voice recognition result.
  • control unit 840 may control to display the predetermined information on the display unit 810.
  • the controller 840 may control the user to escort the user to the selected destination.
  • the controller 840 may control to scan the user's body to provide a virtual fitting service.
  • the voice recognition process may not be performed by the mobile robot 100a itself, but may be performed by the server 10.
  • control unit 840 may control the communication unit 890 so that the user input voice signal is transmitted to the server, and through the communication unit 890, the server may receive a result of the recognition of the voice signal. have.
  • the mobile robot 100a performs simple speech recognition such as caller recognition, and high-dimensional speech recognition such as natural language processing can be performed by the server.
  • the mobile robot 100a may include a display unit 810 displaying predetermined information as an image and an audio output unit 880 outputting predetermined information as sound.
  • the display unit 810 may display information corresponding to the user's request input, processing results corresponding to the user's request input, an operation mode, an operation state, an error state, and the like.
  • the display unit 810 may include a head display 312 and a body display 21a. Since the body display 21a is relatively implemented on a larger screen than the head display 312, it may be more preferable to display information on the body display 21a on a large screen.
  • the sound output unit 880 under the control of the control unit 840, a warning message such as a warning sound, an operation mode, an operation state, an error state, information corresponding to a user's request input, and processing result corresponding to a user's request input
  • a warning message such as a warning sound, an operation mode, an operation state, an error state, information corresponding to a user's request input, and processing result corresponding to a user's request input
  • the sound can be output as sound.
  • the audio output unit 880 may convert an electrical signal from the control unit 840 into an audio signal and output it. To this end, a speaker or the like can be provided.
  • the mobile robot 100a may include an image acquisition unit 820 capable of photographing a predetermined range.
  • the image acquisition unit 820 photographs surroundings of the mobile robot 100a, an external environment, and the like, and may include a camera module. For this type of camera, multiple cameras may be installed for each part.
  • the image acquisition unit 820 includes a head camera unit 313 for human and object recognition and a body camera unit for identification and tracking of guide objects (25a).
  • the number, arrangement, type, and shooting range of the cameras included in the image acquisition unit 820 are not necessarily limited thereto.
  • the image acquisition unit 820 may capture an image for user recognition and an image for virtual fitting service.
  • the control unit 840 may determine an external situation based on the image acquired by the image acquisition unit 820, or may recognize the user and determine the user's body information.
  • control unit 840 may control the mobile robot 100a to travel based on the image acquired by the image acquisition unit 820 photographed and acquired.
  • the image acquired by the image acquisition unit 820 may be stored in the storage unit 830.
  • the mobile robot 100a may include a driving unit 860 for movement, and the driving unit 860 may move the main body 10a under the control of the control unit 840.
  • the driving unit 860 includes at least one driving wheel 112 in which the moving robot 100a moves the main body 10a.
  • the driving unit 860 may include a driving motor (not shown) connected to the driving wheel 112 to rotate the driving wheel.
  • the driving wheel 112 may be provided on the left and right sides of the main body 10a, respectively, hereinafter referred to as a left wheel and a right wheel, respectively.
  • the left wheel and the right wheel may be driven by a single driving motor, but if necessary, a left wheel driving motor driving the left wheel and a right wheel driving motor driving the right wheel may be provided, respectively.
  • the driving direction of the main body 10a can be switched to the left or right side by making a difference in the rotational speeds of the left and right wheels.
  • the mobile robot 100a may include a sensor unit 870 including sensors that sense various data related to the operation and state of the mobile robot 100a.
  • the sensor unit 870 may include an obstacle detection sensor that detects an obstacle, and the obstacle detection sensor may include an infrared sensor, an ultrasonic sensor, an RF sensor, a geomagnetic sensor, a PSD (Position Sensitive Device) sensor, and the like. have.
  • the obstacle detection sensor may correspond to the ultrasonic sensor 333 and the RGBD sensor 321 described above with reference to FIGS. 4 to 7.
  • the sensor unit 870 may further include a cliff detection sensor 113 that detects the presence of a cliff on the floor in the driving area.
  • the sensor unit 870 may further include a sensor that detects the volume of the sound obtained through the microphone 314, and accordingly, the volume of the voice spoken by the user and the volume of ambient noise Can sense.
  • the voice input unit 825 may further determine a user's voice and the amount of ambient noise in a process of processing a signal acquired through the microphone 314 without further including a separate sensor.
  • the sensor unit 870 may include a light detection and ranging (Lidar, 136, 118).
  • the riders 136 and 118 detect an object, such as an obstacle, based on a laser light, based on a time of flight (TOF) of a transmission signal and a reception signal, or a phase difference between a transmission signal and a reception signal. can do.
  • TOF time of flight
  • the riders 132a and 132b may detect a distance from the object, a relative speed with the object, and a position of the object.
  • the riders 132a and 132b may be provided as part of the configuration of the obstacle detection sensor. Also, the riders 132a and 132b may be provided as sensors for map creation.
  • the obstacle detection sensor detects an object, particularly an obstacle, present in the driving (movement) direction of the mobile robot and transmits obstacle information to the controller 840.
  • the control unit 840 may control the movement of the mobile robot 100a according to the detected position of the obstacle.
  • the sensor unit 870 may further include a motion detection sensor that detects an operation of the mobile robot 100a according to driving of the main body 101 and outputs operation information.
  • a motion detection sensor e.g., a Bosch Sensortec BMA150 accelerometer, a Bosch Sensortec BMA150 accelerometer, or the like can be used as a motion detection sensor.
  • a gyro sensor e.g., a Bosch Sensortec BMA150 accelerometer
  • a wheel sensor e.gyro sensor
  • an acceleration sensor e.gyro sensor
  • the gyro sensor detects a rotation direction and detects a rotation angle when the mobile robot 100a moves according to the driving mode.
  • the gyro sensor detects the angular velocity of the mobile robot 100a and outputs a voltage value proportional to the angular velocity.
  • the control unit 840 calculates the rotation direction and the rotation angle using the voltage value output from the gyro sensor.
  • the wheel sensor is connected to the left and right wheels to detect the number of revolutions of the wheel.
  • the wheel sensor may be a rotary encoder.
  • the rotary encoder detects and outputs the number of revolutions of the left and right wheels.
  • the control unit 840 may calculate the rotational speed of the left and right wheels using the number of revolutions. In addition, the control unit 840 may calculate the rotation angle using the difference in the number of revolutions of the left and right wheels.
  • the acceleration sensor detects a change in the mobile robot 100a according to a change in speed of the mobile robot 100a, for example, start, stop, direction change, or collision with an object.
  • the acceleration sensor is attached to the adjacent position of the main wheel or auxiliary wheel to detect slippage or idling of the wheel.
  • the acceleration sensor is built in the control unit 840 to detect the change in speed of the mobile robot (100a). That is, the acceleration sensor detects the impact amount according to the speed change and outputs a voltage value corresponding thereto.
  • the acceleration sensor can function as an electronic bumper.
  • the controller 840 may calculate a position change of the mobile robot 100a based on the motion information output from the motion detection sensor. Such a position becomes a relative position in correspondence to an absolute position using image information.
  • the mobile robot can improve the performance of position recognition using image information and obstacle information through such relative position recognition.
  • the light emitting unit 850 may include a plurality of light emitting modules.
  • the light emitting unit 850 may include light emitting modules 40a each including one or more light emitting diodes (LEDs).
  • LEDs light emitting diodes
  • the light emitting modules 40a may be disposed on the bottom cover 34a, and the light emitting modules 40a may operate under the control of the controller 840.
  • control unit 840 may control at least one of the light emitting modules 40a to output light of a predetermined color or blink at a predetermined cycle according to the operation state of the mobile robot.
  • control unit 840 may control such that two or more of the light emitting modules of the light emitting modules 40a output light in a predetermined pattern according to the operation state of the mobile robot.
  • the light emitting modules 40a of the light emitting unit 850 may each include one or more light sources.
  • the light emitting modules 40a may each include one or more light emitting diodes (LEDs).
  • LED light-emitting diode
  • the light emitting diode may be a single color light emitting diode (LED) such as red, blue, green, and white.
  • the light emitting diode (LED) may be a multicolor light emitting diode (LED) capable of reproducing a plurality of colors.
  • the light-emitting modules 40a may include a plurality of light-emitting diodes (LEDs), and the plurality of light-emitting diodes (LEDs) may emit white light to provide white illumination, and red (Red), The blue and green light emitting diodes (LEDs) may be combined to provide lighting of a specific color or white lighting.
  • LEDs light-emitting diodes
  • Red red
  • Green green light emitting diodes
  • the light emitting modules 40a include a first color (White) indicating a normal operation state, a second color (Yellow) indicating a pause state, and a third color (Red) indicating a stop or error state. It can output light.
  • the light emitting modules 40a may serve as a kind of traffic light that displays the current operating state through the color and pattern of the output light, and notifies people of the driving state and operating state of the mobile robot 100a.
  • control unit 840 may control the light emitting unit 850.
  • control unit 840 may control at least one of the light emitting modules 40a to output light of a predetermined color according to the current state of the mobile robot 100a.
  • control unit 840 may be controlled to flash at a predetermined period for at least one predetermined time among the light emitting modules 40a.
  • the mobile robot 100a when operating in a public place, outputs light indicating the current operating state of the mobile robot 100a through the pre-light emitting unit 850, so that people present in the public place It is possible to provide signal information that makes it easy to know the current state of the mobile robot 100a. Accordingly, the possibility of an accident between the person and the mobile robot 100a in a public place can be reduced.
  • the light emitting modules 40a are disposed on the bottom cover 34a, which is a lower end of the mobile robot 100a, to be disposed apart from the second display 21a, so that the human eye level and the second display 21 are relatively It can be placed in a lower position. Accordingly, when the light emitting modules 40a continuously output or flash specific light, people may feel less glare, and the output light of the light emitting modules 40a and the output image of the body display 21a It is possible to prevent the visibility of each other from deteriorating.
  • the light emitting modules 40a may be disposed along the circumference of the bottom cover 34a. Since the light emitting modules 40a are arranged to surround the circumference of the bottom cover 34a in the horizontal direction, people can see the light output from the light emitting modules 40a in any direction of 360 degrees.
  • the light emitting modules 40a may have a plurality of rows and be arranged in multiple stages. Accordingly, visibility of light output from the light emitting modules 40a may be further improved.
  • FIG. 9 is a flowchart illustrating a method for controlling a robot according to an embodiment of the present invention.
  • the robot 100 may receive a user input including a fitting service request (S910). More preferably, the mobile robot 100a according to an embodiment of the present invention may receive a user input including a fitting service request (S910).
  • the fitting service provided by the mobile robot 100a may be a virtual fitting service in which an avatar of a user is generated, and the generated avatar of the user wears clothes virtually.
  • the mobile robot 100a may receive a user input including the fitting service request by touch or voice.
  • the user may deviate from the view angle of the camera provided by the image acquisition unit 820 of the mobile robot 100a.
  • the user may request the fitting service by voice while returning to the side and rear of the mobile robot 100a.
  • the user is too close to the camera provided by the image acquisition unit 820 of the mobile robot 100a to the extent that the user is sufficient for a body scan. It can be difficult to shoot.
  • the control unit 840 of the image data including a specific body part set in the fitting service at the current location It may be determined whether or not acquisition is possible (S913).
  • the specific body part set in the fitting service may be the entire body.
  • a specific body part set in the fitting service may be from a specific joint to a head.
  • it may be from knee to head and ankle to head.
  • a specific body part set in the fitting service may be from the top to the head of a specific joint.
  • it may be from the knee to the head and from the ankle to the head.
  • the control unit 840 the mobile robot 100a receives the image data including the body specific part set in the fitting service.
  • the driving unit 860 may be controlled to move to an acquireable position (S915).
  • the user does not need to move for a body scan, so the usability can be improved.
  • the mobile robot 100a After the movement (S915), if it is possible to acquire image data including a specific part of the body according to a predetermined criterion (S913), the mobile robot 100a scans the user's body through the image acquisition unit 820. It can be (scan) (S920).
  • the mobile robot 100a may be scanned through the image acquisition unit 820 (S920).
  • the controller 840 may control the image acquisition unit 820 to scan the user's body. .
  • the mobile robot 100a After or without movement, if it is possible to acquire image data including a specific part of the body according to a predetermined criterion (S913), the mobile robot 100a scans the user's body through the image acquisition unit 820. It can be (scan) (S920).
  • the mobile robot 100a may photograph a user using one or more 3D vision sensors provided in the image acquisition unit 820 and scan the user's body.
  • the user's body information is determined based on the acquired image data by acquiring the image data by photographing the user.
  • the mobile robot 100a uses the RGBD sensors 313b and 313c included in the head camera unit 313 or the RGBD sensor 321 included in the body camera unit 25a.
  • the user's body may be scanned.
  • the mobile robot 100a uses the RGBD sensors 313b and 313c included in the head camera unit 313 and the RGBD sensor 321 included in the body camera unit 25a. It can be used to scan the user's body.
  • the control unit 840 may generate the 3D avatar character by determining the user's body information based on the user images acquired through the image acquisition unit 820 and modeling the user's body information. Yes (S930).
  • the control unit 840 may extract information of each part of the user's body from the user image.
  • the controller 840 may derive vertices for each body part by using a skeleton technique, and may estimate user's body information by estimating body dimensions based on the derived vertices.
  • the mobile robot 100a may capture a user and acquire a user image using one or more 3D vision sensors provided in the image acquisition unit 820.
  • the user image may include depth data.
  • the controller 840 may determine the user's body information, such as the user's height, arm length, leg length, and joint position, from a user image including depth data.
  • the mobile robot 100a may communicate with the server 10.
  • the mobile robot 100a determines whether the user is located in front of the mobile robot 100a, how far the user is from the front of the mobile robot 100a, the user's posture, the user's body dimensions To determine at least one, it can communicate with the server 10.
  • data stored in the server 10 may be used to generate an avatar character.
  • the mobile robot 100a may transmit data acquired by the image acquisition unit 820 and/or the sensor unit 870 to the server 10, and the server 10 may compare the previously stored reference data with the user Can determine the posture, body dimensions, etc. The server 10 may respond to the determined information with the mobile robot 100a.
  • the server 10 may include artificial intelligence learned to determine a user's posture, body size, and the like based on an image.
  • the AI learned from the server 10 may be downloaded to the mobile robot 100a, or the AI data of the mobile robot 100a may be updated based on the AI data learned from the server 10.
  • the mobile robot 100a may generate an avatar character of the user by recognizing a user image photographing the user with artificial intelligence learned based on an image.
  • control unit 840 may determine the user's body contour information from the user image.
  • the mobile robot 100a may output a message to the display unit 810 to guide the user's actions for scanning and the like.
  • control unit 840 may control the user to open the arm with the guide message displayed on the display unit 810.
  • FIG. 10 is a flowchart illustrating a method of controlling a robot according to an embodiment of the present invention, and is a flowchart illustrating an embodiment including a rotation operation of the mobile robot 100 in the scan step S920 of FIG. 9.
  • the mobile robot 100a may photograph the user through the image acquisition unit 820 (S1020).
  • the mobile robot 100a may rotate and move around the user (S1030).
  • the mobile robot 100a may capture the user after the movement S1030 (S1040), thereby securing user images of different angles without requiring specific actions inconvenient to the user.
  • control unit 840 may determine the user's body information based on the user images obtained by the photographing (S1020, S1040) (S1050). Accordingly, a more accurate body scan is possible with images of various angles.
  • control unit 840 may control to acquire images continuously or periodically during the rotational movement (S1030).
  • the mobile robot 100a may move in a 360-degree circle around the user, and may continuously or continuously photograph users during the movement.
  • the controller 840 may determine the user's body information and generate the user's avatar character based on the determined body information.
  • the mobile robot 100a may output a message guiding the user's operation for scanning to the display unit 810 (S1010).
  • control unit 840 may control the user to open the arm with the guide message displayed on the display unit 810.
  • the mobile robot 100a may output a message guiding a notice to the display unit 810.
  • control unit 840 may control the display unit 810 to display a guide message that guides precautions, such as that the body scan result may differ from the real one, when wearing thick clothes. .
  • control unit 840 may control the display unit 810 to display text and graphic images indicating the progress of the scan during the scan S920. Accordingly, the user can intuitively know the degree of scanning.
  • the controller 840 may control the user interface screen including the virtual fitting image to be displayed on the display unit 810 (S940 ).
  • the controller 840 displays on the display unit 810 a user interface screen including a composite image obtained by synthesizing the avatar image of the user and the image of the clothes selected by the user based on the scan result. It can be controlled as possible (S940).
  • the user may first select clothes before the fitting service request (S910), select clothes first, and then request the fitting service according to the recommendation of the guidance robot 100a (S910).
  • the user may select clothes after the fitting service request (S910).
  • the guide robot 100a displays items corresponding to clothes that can use the fitting service on the display unit 810, and receives a user's clothes selection input can do.
  • the guide robot 100a may display items corresponding to clothes that can use the fitting service on the display unit 810 and receive a user's clothes selection input.
  • the controller 840 may generate the avatar character of the user generated based on the scan result (S930), and display the clothing by overlaying the generated avatar character.
  • control unit 840 may synthesize a 3D model of clothes on the generated avatar character.
  • the mobile robot 100a may receive 3D modeling data of clothes from the server 10.
  • the server 10 may store 3D modeling data generated based on photographing data and/or photographing data of clothes to provide fitting services.
  • the mobile robot 100a may download data necessary for a fitting service, such as three-dimensional modeling data of clothes to provide a fitting service from the server 10.
  • the user can easily wear various clothes such as clothes recommended for the avatar character and purchase favorite clothes.
  • a camera view screen of the image acquisition unit 120 may be displayed on the display unit 810.
  • body contour information based on at least one user image may be displayed on the camera view screen. That is, the control unit 840 displays the user's body contour information determined on the basis of the user image obtained by the first shooting (S1020) on the camera view screen, so that the user checks his or her body contour and scan is performed. It can help you intuitively understand that you are in the middle.
  • the controller 840 may be controlled to change and display the body contour information according to the rotational movement (S1030).
  • the camera of the image acquisition unit 120 looks at the user from different directions and captures images of different angles. Accordingly, by displaying body contour information that changes according to the rotation on the camera view screen, it can help the user to check the rotation movement (S1030) of the mobile robot 100a and the screen to be photographed.
  • the controller 840 may control the body contour information to be changed and displayed according to a user's movement. Accordingly, the user can intuitively know how the body scan is affected or performed according to his movement.
  • control unit 840 may control the body contour information and the text and graphic image indicating the scan progression to be displayed on the display unit 810 during the scan S920. Accordingly, the user can intuitively know the degree of scanning.
  • text and graphic images indicating the progress of the scan are
  • control unit 840 may control the display unit 810 to display a message informing the completion of the scan and recommended size information based on the user's body information.
  • recommendation size information according to the scan result may be provided to the user.
  • the reference distance between the mobile robot 100a and the user may be set during the body scan S920.
  • the mobile robot 100a photographs the user at a position away from the user by the reference distance of 1m, and the reference body dimension values set in the reference distance 1m and body dimension values in the image
  • the user's body size can be determined by applying a proportional equation.
  • the mobile robot 100a may guide the reference distance to the user and guide the user to be separated from the mobile robot 100a by the reference distance.
  • the user using the fitting service can accurately scan his body by moving to a position that is a reference distance from the mobile robot 100a according to the guidance of the mobile robot 100a.
  • control unit 840 may control the mobile robot 100a to move forward or backward so that the distance between the mobile robot 100a and the user becomes a preset reference distance.
  • the mobile robot 100a automatically sets the distance from the user as a reference distance without requiring the user to move.
  • a process of receiving and confirming the body information determined according to the body scan may be performed.
  • a menu may be provided in which the user can manually modify at least some of the body information.
  • the mobile robot 100a may receive at least one of new product information, popular product information, and event information from the server 10 through the communication unit 890, and the received information Based on this, a predetermined product can be recommended to the user.
  • the user can check the recommended product displayed on the display unit 810 and request a fitting service for the recommended product.
  • the mobile robot 100a may identify a user.
  • the mobile robot 100a may include a scanner capable of identifying a barcode, etc., and recognizes barcodes, QR codes, etc. included in the screen of the card or electronic device presented by the user, and writes the recognized information. Users can be identified by comparing them to a stored customer database.
  • the mobile robot 100a may recognize a user by acquiring a face image of a user in front through the image acquisition unit 820 and comparing the obtained user face image data with a pre-stored customer database.
  • the mobile robot 100a may request information of the user identified as the server 10 through the communication unit 890.
  • the mobile robot 100a When the mobile robot 100a does not have a customer database due to security policy, data amount, and system resource problems, the mobile robot 100a recognizes barcodes, QR codes, and the like, and thus identification information or acquired user face images. Data can be transmitted to the server 10, and user information confirmed from the server 10 can be received.
  • the server 10 may also transmit the identified user's previous purchase history, preferred product information, and fitting history information to the mobile robot 100a.
  • the mobile robot 100a may receive the user's previous purchase history or fitting history information from the server 10 through the communication unit 890, and based on the received previous purchase history or fitting history of the user You can recommend products.
  • the server 10 may determine the recommended product based on the user's previous purchase history or fitting history information, and transmit information on the determined recommended product to the mobile robot 100a.
  • a description and attention message related to the virtual fitting service, a full message of personal information collection/use consent, etc. may be displayed on the display unit 810 and the service may be started after user consent.
  • user and fitting information can be used after user consent.
  • the mobile robot 100a may transmit the determined body information to the server 10. Accordingly, the server 10 may store and manage the user's fitting details.
  • the mobile robot 100a photographs the user and transmits the photographed image data to the server 10, determines the user's body information based on the image data received from the server 10, and determines the avatar character. Can be created.
  • the mobile robot 100a may identify a user, request information of the user identified to the server 10, and receive the user's body information from the server 10.
  • the mobile robot 100a may generate an avatar character by comprehensively utilizing body information based on image data obtained by shooting and body information received from the server 10.
  • the virtual fitting user interface screen provided by the mobile robot 100a may further include a product option item capable of changing options of the selected clothes.
  • a product option item capable of changing options of the selected clothes.
  • the user can change the color, size, etc. of clothes by selecting a product option item.
  • the user interface screen may further display information on the recommended size when a size corresponding to the recommended size based on the user's body information is selected from the product option items. Accordingly, the user can know the size that fits his body.
  • the user interface screen may be changed while changing a style menu item corresponding to a user interface screen capable of changing the size and color of the selected clothes synthesized in the avatar character and the size of the selected clothes synthesized in the avatar character.
  • the selected clothes may further include a fit menu item corresponding to a user interface screen that indicates the degree of tightness of the avatar character in color.
  • 11A to 20 are diagrams for reference to a description of a virtual fitting service provided by a robot according to an embodiment of the present invention.
  • the mobile robot 100a may be disposed in a clothing store to guide clothing products and events.
  • the mobile robot 100a may display product information, event information, or other standby screens on the display unit 810 while waiting, or output product information, event information, and the like through voice through the sound output unit 880.
  • the mobile robot 100a may provide various services such as a fitting service, a customer, product guidance, purchase induction, and coordination proposal, and may induce service use while waiting or autonomous driving in a specific place in the store.
  • the mobile robot 100a recognizes a customer entering the clothing store through the image acquisition unit 820 and the sensor unit 870 or a customer approaching the mobile robot 100a, and experiences a virtual fitting service with a welcome greeting to the customer Through this, you can actively induce store visits, service use, and purchases.
  • the mobile robot 100a may utter a voice guidance message 1110 recommending a fitting service experience through the sound output unit 880.
  • the voice guidance message 1110 which recommends the fitting service experience, uses the fitting service, such as "I will automatically measure the body to inform you of the fit of the clothes. It is located at the distal bottom of the front and slowly rotates clockwise.” It may include content that guides the customer's actions for.
  • the mobile robot 100a since the user may feel a feeling of refusal and discomfort in a 360-degree rotation in a clothing store with other people, the mobile robot 100a moves and does not require the user to rotate. You can shoot. In this case, the content of the voice guidance message also changes.
  • the mobile robot 100a transmits a voice guidance message 1120 such as "I will automatically measure the body and inform you of the fit of clothes. Open your arms a little" through the sound output unit 880. Can ignite.
  • a voice guidance message 1120 such as "I will automatically measure the body and inform you of the fit of clothes. Open your arms a little" through the sound output unit 880. Can ignite.
  • the body information of the customer is determined through the process described with reference to FIGS. 9 and 10, an avatar character is generated, and the virtual fitting user interface screen can be displayed on the display unit 810. .
  • the mobile robot 100a under the control of the control unit 840, the image data including a specific body part set in the fitting service, that is, the image data required for the body scan
  • the body scan After moving the image acquisition unit 820 to a first position P1 that can be acquired, the body scan may be started.
  • the mobile robot 100a when the mobile robot 100a is in the zero position P0 that is too close to the customer 1210 at the predetermined position H, the angle of view, performance of the camera, the distance and angle between the camera and the customer 1210 Depending on the situation, it may not be possible to sufficiently capture the user's body.
  • control unit 840 may control the driving unit 860 so that the mobile robot 100a moves the image data necessary for the body scan to a first position P1 that the image acquisition unit 820 can acquire. have.
  • control unit 840 may control the image acquisition unit 820 to scan the user's body by photographing the user.
  • an optimal distance for obtaining image data necessary for a body scan may be set as a reference distance (d). For example, when the reference distance is set to 1m, the mobile robot 100a may move to the 0th position P0 if it was at the 0th position P0 closer than the reference distance 1m.
  • control unit 840 the distance between the mobile robot 100a and the user becomes a preset reference distance d, and the mobile robot 100a is positioned at an angle of view of the camera equipped with the image acquisition unit 820.
  • the driving unit 860 may be controlled to move the mobile robot 100a to be included.
  • the controller 840 moves the mobile robot 100a so that the distance between the mobile robot 100a and the user becomes a preset reference distance d, and the user is in front of the mobile robot 100a. Let this TEk.
  • the mobile robot 100a automatically sets the distance from the user as a reference distance and moves the user to be positioned within the camera's field of view.
  • the mobile robot 100a may photograph the customer 1210 at a predetermined position H through the image acquisition unit 820 at the first position P1.
  • the mobile robot 100a may photograph the customer 1210 through the image acquisition unit 820 at the second position P2 after rotating the predetermined angle rd around the customer 1210.
  • the mobile robot 100a may acquire the body image of the customer at various angles by photographing the customer 1210 even during rotational movement.
  • the controller 840 may extract a user's height, arm length, leg length, joint position, and information on each part of the user's body from a plurality of customer body images.
  • a reference distance d between the mobile robot 100a and the customer 1210 may be set.
  • the mobile robot 100a may photograph the user at a position away from the user by the reference distance of 1m.
  • the user's body dimension may be determined by applying a proportional expression to the reference body dimension value set at the reference distance 1 m and the body dimension values in the image.
  • control unit 840 may control the mobile robot 100a to move forward or backward so that the distance between the mobile robot 100a and the user is a preset reference distance d.
  • the mobile robot 100a may move forward to the first position P1.
  • the mobile robot 100a automatically sets the distance from the user as a reference distance without requiring the user to move.
  • FIG. 13 illustrates an example of a user interface screen displayed during a body scan.
  • the display unit 810 may display a guide phrase 1310 of a body scan, a text 1320 indicating a scan progress, and a graphic image 1330. Accordingly, the user can intuitively know the degree of scanning.
  • the mobile robot 100a may guide the completion of the scan and avatar creation.
  • the mobile robot 100a says, "Avatar creation is complete. Choose clothes using the Style menu and check the fit and fit of the clothes using the Fit menu.” By outputting a guide phrase such as video and/or audio, it is possible to guide the creation of an avatar and subsequent operations.
  • the display unit 810 includes a style menu item 1410 that can change clothes or check a virtual fitting screen in which the avatar wears the selected clothes and a tight-loose of the selected clothes. It may include a fit menu item 1420 that can confirm the fit, such as degree.
  • the customer selects clothes in the main area 1430 and selects a style menu item 1410 or a pit menu item 1420 to check a virtual fitting user interface screen corresponding to the selected item.
  • the controller 840 may control the virtual fitting user interface screen including the virtual fitting image to be displayed on the display unit 810.
  • the virtual fitting user interface screen may provide a virtual fitting including a composite image wearing clothes selected by an avatar so that when the customer wears the selected clothes, the fit, fluttering, and the like can be viewed.
  • FIG. 15 illustrates a virtual fitting user interface screen displayed according to selection of a style menu item 1410.
  • the virtual fitting user interface screen includes a style menu item 1410, a pit menu item 1420, and a composite image 1510 wearing clothes selected by the avatar, which can switch the user interface screen. It can contain.
  • the virtual fitting user interface screen may further include product option items 1520 and 1530 that can change options of the selected clothes.
  • the product option items 1520 and 1530 may include at least one of a size option item 1520 that can change the size of clothes and a color option item 1530 that can change the color of clothes.
  • the virtual fitting user interface screen may further include another menu item 1540.
  • the menu item 1540 included in the virtual fitting user interface screen may include others menu item 1541 that can change clothes for virtual fitting, a purchase menu item 1542 that can purchase the currently selected clothes, and the like. Can.
  • FIGS. 11A to 15 the use of the virtual fitting service is first selected, and the embodiment is selected based on the clothes, but it is also possible to select clothes first and use the virtual fitting service.
  • the display unit 810 of the mobile robot 100a may display a predetermined product or a product list on the standby screen.
  • control unit 840 may control the display unit 810 to display a message guiding the virtual fitting service and a menu item that can be started.
  • control unit 840 may provide a virtual fitting service guide image through the display unit 810.
  • the mobile robot 100a scans the customer's body and creates an avatar to provide a virtual fitting image.
  • 16 illustrates an example of a user interface screen displayed during a body scan.
  • the display unit 810 may display a guide phrase 1610 for body scan, scan progress information 1620 and a scanning image 1630. Accordingly, the user can intuitively know the degree of scanning.
  • the guide phrase 1610 may guide a customer's motion required during a scan, such as “Please stand straight and spread your arms.”.
  • the scan progress information 1620 may provide a degree of progress during a scan with a value of 1 to 100%.
  • the screen may be switched to a virtual fitting user interface screen including a virtual fitting image.
  • the screen may be switched to a virtual fitting user interface screen corresponding to the style menu item 1410.
  • the scanning image 1630 is a scanning guide image and may express a customer's motion required during scanning as a graphic image.
  • the scanning image 1630 may intuitively indicate the progress degree by gradually changing the color of the regions according to the progress of the scan.
  • the scanning image 1630 may be generated based on the body contour information of the customer.
  • the user interface screen includes: a style menu item 1741 corresponding to a user interface screen capable of changing the size and color of the selected clothes synthesized in the avatar character, and the avatar synthesized in the avatar character The size of the selected clothes may be changed, and a fit menu item 1742 corresponding to a user interface screen indicating the degree of tightness of the selected clothes to the avatar character in color may be further included.
  • FIG. 17 illustrates a virtual fitting user interface screen displayed according to selection of a style menu item 1741
  • FIG. 18 illustrates a virtual fitting user interface screen displayed according to a fitting menu item 1742.
  • the virtual fitting user interface screen includes a style menu item 1741 and a pit menu item 1742, and the screen can be switched according to the selected menu item. Also, an item currently selected from the style menu item 1741 and the pit menu item 1742 may be highlighted.
  • the user interface screen corresponding to the style menu item 1741 is set as a default screen and displayed first.
  • the pit menu item 1742 is selected, as shown in FIG. 18, the pit menu item ( 1742).
  • the user interface screen corresponding to the style menu item 1741 may include an avatar composite image wearing clothes selected by the avatar 1710 reflecting the user's body shape.
  • clothes worn by the avatar 1710 may reflect colors and sizes selected by the user.
  • the user interface screen corresponding to the style menu item 1741 may further include merchandise option items 1720 and 1730 for changing options of the selected clothes.
  • the product option items 1720 and 1730 may include a size option item 1720 that can change the size of clothes, and a color option item 1730 that can change the color of clothes.
  • the user can easily check the virtual fitting image while changing the color and size of the clothes.
  • the user interface screen corresponding to the style menu item 1741 may further include the others menu item 1734 that can change clothes for virtual fitting.
  • the others menu item 1743 When the others menu item 1743 is selected, it may be switched to a screen where clothes can be selected.
  • the virtual fitting user interface screen corresponding to the pit menu item 1742 may include an avatar composite image wearing clothes selected by the avatar 1810 reflecting the user's body shape.
  • the clothes worn by the avatar 1810 may reflect the size selected by the user.
  • the virtual fitting user interface screen corresponding to the pit menu item 1742 may further include a size option item 1720 that can change the size of the selected clothes.
  • the avatar 1810 is displayed in color, such as a tight-loose degree of selected clothes.
  • the user interface screen corresponding to the pit menu item 1742 may further include information 1830 about colors indicating a tight-loose degree.
  • the user can intuitively know the degree of tight-loose, and the degree of tight-loose can be easily determined for each body part.
  • the virtual fitting user interface screen includes a text area 1750 and various guide phrases may be provided in the text area 1750.
  • information on the recommended size may be displayed in the text area 1750. have. Accordingly, the user can know the size that fits his body.
  • the virtual fitting user interface screen may further include 360-degree rotating objects 1770 and 1870 displayed for a predetermined time when entering the screen.
  • the user may rotate the avatars 1710 and 1810 by manipulating the 360-degree rotating objects 1770 and 1870.
  • the virtual fitting user interface screen may include a back button to return to a previous screen and a home button to move to a preset home screen.
  • a purchase button 1760 that may move to a purchase screen may be included.
  • FIG 19 shows an example of a purchase screen displayed when the purchase button 1760 is selected and payment is completed.
  • the purchase screen includes a purchase history area 1910 displaying purchase history, brand information, payment information, and the like, a text area 1930 displaying text information such as payment completion, and a home button to move to a home screen (1920).
  • the purchase history area 1910 information on a purchased product and payment information may be provided.
  • Information may be provided in the order of brand information and payment information in the purchase history area 1910.
  • brand information such as brand logo, brand name, order number, product name, product information (size/color), discount amount, final payment amount, and other payment information may be displayed.
  • the counter may be moved to the counter to receive clothes after payment.
  • the administrator may provide data (2000) related to functions that the mobile robot 100a can provide in the clothing store, department store, etc. to the server 10 ) Can be saved and managed.
  • the administrator may store and manage customer fitting history 2010, coordination analysis and suggested content 2020, customer purchase history 2030, and the like.
  • the server 10 can learn and analyze the stored data.
  • the server 10 may count the number of times the fitting service is used, and provide the manager with a report analyzing the interaction data with the customer.
  • the store manager can check the products that the customer tried on and purchased products, and refer to the promotion event of the next season.
  • the mobile robot 100a may download the customer fitting history 2010, coordination analysis and suggested content 2020, customer purchase history 2030, and the like from the server 10.
  • the mobile robot 100a may download a list of new and popular products, product detail information, events, and promotion information.
  • the mobile robot 100a may utilize the downloaded information for a guide service and a fitting service.
  • the robot according to the present invention, and the robot system including the same, and a control method thereof, are not limited to the configuration and method of the embodiments described as described above, and the embodiments are implemented so that various modifications can be made. All or some of the examples may be configured by selectively combining.
  • the robot according to an embodiment of the present invention and a control method of a robot system including the same, can be implemented as a code that can be read by the processor on a recording medium that can be read by the processor.
  • the processor-readable recording medium includes all types of recording devices in which data that can be read by the processor are stored. Examples of the recording medium readable by the processor include a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and also implemented in the form of a carrier wave such as transmission through the Internet. .
  • the processor-readable recording medium may be distributed over a networked computer system so that the processor-readable code is stored and executed in a distributed manner.

Abstract

본 발명의 일 측면에 따른 로봇의 제어 방법은, 피팅(fitting) 서비스 요청을 포함하는 사용자 입력을 수신하는 단계, 현재 위치에서의 피팅 서비스에 설정된 신체 특정 부위를 포함하는 영상 데이터의 획득 가능 여부를 판별하는 단계, 영상 데이터를 획득할 수 없는 경우에, 영상 데이터를 획득할 수 있는 위치로 이동하는 단계, 영상 데이터를 획득할 수 있는 경우에, 영상 획득부를 통하여 사용자의 신체를 스캔(scan)하는 단계, 및, 스캔 결과에 기초하여 생성된 사용자의 아바타 캐릭터와 사용자가 선택한 옷의 이미지를 합성한 합성 영상을 포함하는 유저 인터페이스 화면을 디스플레이부에 표시하는 단계를 포함할 수 있다.

Description

로봇의 제어 방법
본 발명은 로봇 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 가상 피팅 서비스를 제공할 수 있는 로봇 및 그 제어 방법에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다.
로봇 이용의 증가에 따라, 단순 기능의 반복 수행을 넘어서 다양한 정보, 재미, 서비스를 제공할 수 있는 로봇에 대한 요구가 많아지고 있다.
이에 따라, 가정, 매장, 공공 장소 등에 배치되어 사람과 상호 소통이 가능한 커뮤니케이션 로봇이 개발되고 있다.
또한, 자력으로 주행이 가능한 이동 로봇을 이용한 서비스들에 제안되고 있다. 예를 들어, 선행 문헌(한국 공개특허공보 10-2008-0090150호, 공개일자 2008년 10월 08일)은 서비스 지역을 이동하면서 현재위치에 따른 서비스를 제공할 수 있는 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및 서비스 로봇을 이용하는 서비스 시스템의 제어방법을 제안하고 있다.
하지만, 이동 가능한 로봇을 이용하여 제공하는 서비스의 종류는 한정되어 있는 실정이다. 따라서, 로봇이 구비하는 하드웨어, 소프트웨어, 및, 이동성을 이용한 다양한 서비스 개발이 요구된다.
본 발명의 목적은, 가상 피팅 서비스를 제공할 수 있는 로봇 및 그 제어 방법을 제공함에 있다.
본 발명의 목적은, 사용자의 움직임을 최소화하면서도 정확하게 사용자의 신체 정보를 판별하고 아바타를 생성할 수 있는 로봇 및 그 제어 방법을 제공함에 있다.
본 발명의 목적은, 사용자의 신체 정보를 반영한 아바타를 이용하여 다양한 정보를 포함하는 가상 피팅 서비스를 제공할 수 있는 로봇 시스템 및 그 제어 방법을 제공함에 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 로봇 및 그 제어 방법은, 로봇이 이동하면서 편리하게 가상 피팅 서비스를 제공할 수 있다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 로봇의 제어 방법은, 피팅(fitting) 서비스 요청을 포함하는 사용자 입력을 수신하는 단계, 현재 위치에서의 피팅 서비스에 설정된 신체 특정 부위를 포함하는 영상 데이터의 획득 가능 여부를 판별하는 단계, 영상 데이터를 획득할 수 없는 경우에, 영상 데이터를 획득할 수 있는 위치로 이동하는 단계, 영상 데이터를 획득할 수 있는 경우에, 영상 획득부를 통하여 사용자의 신체를 스캔(scan)하는 단계, 및, 스캔 결과에 기초하여 생성된 사용자의 아바타 캐릭터와 사용자가 선택한 옷의 이미지를 합성한 합성 영상을 포함하는 유저 인터페이스 화면을 디스플레이부에 표시하는 단계를 포함할 수 있다.
또한, 스캔 단계는, 사용자를 촬영하는 단계, 사용자를 중심으로 회전 이동하는 단계, 이동 후에 사용자를 촬영하는 단계, 촬영들로 획득된 사용자 이미지들에 기초하여 사용자의 신체 정보를 판별하는 단계를 포함할 수 있다.
본 발명의 일 측면에 따른 로봇은, 본체를 이동시키는 구동부, 하나 이상의 카메라를 구비하는 영상 획득부, 사용자의 음성 입력을 수신하는 음성 입력부, 사용자의 터치 입력을 수신하는 디스플레이부, 및, 음성 입력부 또는 디스플레이부를 통하여 피팅(fitting) 서비스 요청을 포함하는 사용자 입력이 수신되면, 현재 위치에서의 피팅 서비스에 설정된 신체 특정 부위를 포함하는 영상 데이터의 획득 가능 여부를 판별하고, 영상 데이터를 획득할 수 없는 경우에, 영상 데이터를 획득할 수 있는 위치로 이동하도록 상기 구동부를 제어하고, 영상 데이터를 획득할 수 있는 경우에, 사용자의 신체를 스캔(scan)하도록 영상 획득부를 제어하며, 스캔 결과에 기초하여 생성된 사용자의 아바타 캐릭터와 사용자가 선택한 옷의 이미지를 합성한 합성 영상을 포함하는 유저 인터페이스 화면을 디스플레이부에 표시하도록 제어하는 제어부를 포함할 수 있다.
본 발명의 실시예들 중 적어도 하나에 의하면, 가상 피팅 서비스를 제공할 수 있어, 사용 편의성을 향상할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 사용자의 움직임을 최소화하면서도 정확하게 사용자의 신체 정보를 판별하고 아바타를 생성할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 사용자의 신체 정보를 반영한 아바타를 이용하여 다양한 정보를 포함하는 가상 피팅 서비스를 제공할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 사용자의 피팅 이력, 구매 이력에 기초한 추천 서비스를 제공할 수 있다.
한편, 그 외의 다양한 효과는 후술될 본 발명의 실시예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 것이다.
도 1은 본 발명의 일 실시예에 따른 로봇 시스템 구성도이다.
도 2a와 도 2b는 본 발명의 일 실시예에 따른 로봇 시스템에 포함되는 로봇 서비스 딜리버리 플랫폼(Robot Service Delivery Platform)에 관한 설명에 참조되는 도면이다.
도 3은 본 발명의 일 실시예에 따라 로봇에서 획득된 데이터(data)를 이용한 학습(Learning)에 대한 설명에 참조되는 도면이다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 사시도이다.
도 5는 본 발명의 일 실시예에 따른 이동 로봇을 저면에서 바라본 저면 사시도이다.
도 6은 본 발명의 일 실시예에 따른 이동 로봇의 측면도이다.
도 7은 본 발명의 일 실시예에 따라 이동 로봇의 디스플레이들이 정렬한 도면이다.
도 8은 본 발명의 일 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 로봇의 제어 방법을 도시한 순서도이다.
도 10은 본 발명의 일 실시예에 따른 로봇의 제어 방법을 도시한 순서도이다.
도 11a 내지 도 20은 본 발명의 실시예에 따라 로봇이 제공하는 가상 피팅 서비스에 관한 설명에 참조되는 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다.
한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.
도 1은 본 발명의 일 실시예에 따른 로봇 시스템 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 로봇 시스템(1)은, 하나 이상의 로봇(100a, 100b, 100c1, 100c2, 100c3)을 구비하여 공항, 호텔, 마트, 의류매장, 물류, 병원 등 다양한 장소에서 서비스를 제공할 수 있다. 예를 들어, 로봇 시스템(1)은 소정 장소, 물품, 서비스에 대해서 안내할 수 있는 안내로봇(100a), 가정 등에서 사용자와 인터랙션(interaction)하며, 사용자의 입력에 기초하여 다른 로봇, 전자 기기와 통신하는 홈 로봇(100b), 소정 물품을 운반할 수 있는 배송 로봇들(100c1, 100c2, 100c3), 자율 주행하며 청소 작업을 수행할 수 있는 청소 로봇(100d) 중 적어도 하나를 포함할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 로봇 시스템(1)은, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d), 및, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3)을 관리하고 제어할 수 있는 서버(10)를 포함할 수 있다.
서버(10)는 원격에서 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d)의 상태를 모니터링하고, 제어할 수 있고, 로봇 시스템(1)은 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d)을 이용하여 더 효과적인 서비스 제공이 가능하다.
더욱 바람직하게 로봇 시스템(1)은 다양한 종류의 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)을 포함할 수 있다. 이에 따라, 각 로봇이 제공하는 서비스들을 다양하게 제공할 수 있을 뿐만 아니라, 로봇들의 협업으로 더욱 다양하고 편리한 서비스를 제공할 수 있다.
복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다. 또한, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 PC, 이동 단말기, 외부의 다른 서버와 통신할 수 있다.
예를 들어, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 MQTT(Message Queueing Telemetry Transport) 방식으로 통신할 수 있다.
또는, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 HTTP(HyperText Transfer Protocol) 방식으로 통신할 수 있다.
또한, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 HTTP 또는 MQTT 방식으로 PC, 이동 단말기, 외부의 다른 서버와 통신할 수 있다.
경우에 따라서, 복수의 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d) 및 서버(10)는 2이상의 통신 규격을 지원하고, 통신 데이터의 종류, 통신에 참여하는 기기의 종류에 따라 최적의 통신 규격을 사용할 수 있다.
서버(10)는 클라우드(cloud) 서버로 구현되어, 사용자는 PC, 이동 단말기 등 다양한 기기로 통신 연결된 서버(10)에 저장된 데이터와 서버(10)가 제공하는 기능, 서비스를 이용할 수 있다. 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d)에 클라우드(10)가 연동되어 로봇(100a, 100b, 100c1, 100c2, 100c3, 100d)을 모니터링, 제어하고 다양한 솔루션과 콘텐츠를 원격으로 제공할 수 있다.
사용자는 PC, 이동 단말기 등을 통하여 로봇 시스템 내의 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)에 관한 정보를 확인하거나 제어할 수 있다.
본 명세서에서 '사용자'는 적어도 하나의 로봇을 통한 서비스를 이용하는 사람으로, 로봇을 구매 또는 대여하여 가정 등에서 사용하는 개인 고객, 및, 로봇을 이용하여 직원 또는 고객에게 서비스를 제공하는 기업의 관리자, 직원들과 이러한 기업이 제공하는 서비스를 이용하는 고객들을 포함할 수 있다. 따라서, '사용자'는 개인 고객(Business to Consumer : B2C)과 기업 고객(Business to Business : B2B)을 포함할 수 있다.
사용자는 PC, 이동 단말기 등을 통하여 로봇 시스템 내의 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있다.
한편, 서버(10)는, 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d), 기타 기기로부터 수신되는 정보를 저장 및 관리할 수 있다.
상기 서버(10)는 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)의 제조사 또는 제조사가 서비스를 위탁한 회사가 제공하는 서버일 수 있다.
한편, 본 발명에 따른 시스템은 2개 이상의 서버와 연동하여 동작할 수 있다.
예를 들어, 상기 서버(10)는 E1, E2 등 외부의 클라우드 서버(20), T1, T2, T3 등 콘텐트(content), 서비스를 제공하는 서드 파티(30) 등과 통신할 수 있다. 이에 따라, 상기 서버(10)는 외부의 클라우드 서버(20), 서드 파티(30)와 연동하여 다양한 서비스를 제공할 수 있다.
상기 서버(10)는 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)을 관리하고 제어하는 관제 서버일 수 있다.
상기 서버(10)는 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d)을 일괄적으로 동일하게 제어하거나, 개별 로봇 별로 제어할 수 있다. 또한, 서버(10)는 로봇들(100a, 100b, 100c1, 100c2, 100c3, 100d) 중 적어도 일부 로봇에 대해서 그룹으로 설정한 후에 그룹별로 제어할 수 있다.
한편, 상기 서버(10)는, 복수의 서버로 정보, 기능이 분산되어 구성될 수도 있고, 하나의 통합 서버로 구성될 수도 있을 것이다.
상기 서버(10)는, 복수의 서버로 정보, 기능이 분산되어 구성되거나 하나의 통합 서버로 구성되어, 로봇을 이용한 서비스 전반을 관리할 수 있으므로 로봇 서비스 딜리버리 플랫폼(Robot Service Delivery Platform: RSDP)으로 명명될 수 있다.
도 2a와 도 2b는 본 발명의 일 실시예에 따른 로봇 시스템에 포함되는 로봇 서비스 딜리버리 플랫폼(Robot Service Delivery Platform)에 관한 설명에 참조되는 도면이다.
도 2a는 본 발명의 일 실시예에 따른 로봇 서비스 딜리버리 플랫폼의 통신 아키텍쳐(architecture)를 예시한다.
도 2a를 참조하면, 로봇 서비스 딜리버리 플랫폼(10)은, 하나 이상의 서버(11, 12)를 포함하여 안내 로봇(100a), 청소 로봇(100d) 등 로봇(100)을 관리하고 제어할 수 있다.
로봇 서비스 딜리버리 플랫폼(10)은, 클라이언트(40) 측과 웹 브라우저(41), 이동 단말기 등의 애플리케이션(42) 등을 통하여 통신하며 로봇(100)을 관리하고 제어하는 관제 서버(11)와 로봇(100)과 관련된 데이터를 중계하고 관리하는 기기 관리 서버(12)를 포함할 수 있다.
관제 서버(11)는 클라이언트(40)로부터 수신되는 사용자 입력에 기초하여, 로봇(100)의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있는 관제 서비스를 제공하는 관제/서비스 서버(11a) 및, 관제 관리자가 웹 브라우저(41) 등을 통해서 접근할 수 있는, 관리자 애플리케이션(admin app) 서버(11b)를 포함할 수 있다.
관제/서비스 서버(11a)는 데이터베이스(DB)를 구비하고, 클라이언트(40)의 로봇 관리, 제어, 무선 펌웨어 업그레이드(Firmware Over The Air : FOTA), 위치 조회 등의 서비스 요청에 응답할 수 있다.
관리자 애플리케이션 서버(11b)는 관제 관리자가 관리자 권한으로 접근 가능하며 로봇과 관련된 기능, 애플리케이션, 콘텐츠를 관리할 수 있다.
기기 관리 서버(12)는 프록시(proxy) 서버로서의 기능, 원 데이터와 관련된 메타 데이터를 저장하고, 저장 장치의 상태를 나타내는 스냅샷(Snapshot) 등을 활용한 데이터 백업 기능을 수행할 수 있다.
기기 관리 서버(12)는 각종 데이터가 저장되는 스토리지(storage)와 관제/서비스 서버(11a) 등과 통신하는 커먼 서버(common server)를 포함할 수 있다. 커먼 서버는 각종 데이터를 스토리지(storage)에 저장하거나 스토리지로부터 데이터를 불러올 수 있고, 관제/서비스 서버(11a)의 로봇 관리, 제어, 무선 펌웨어 업그레이드, 위치 조회 등의 서비스 요청에 응답할 수 있다.
또한, 로봇(100)은 스토리지에 저장된 맵 데이터, 펌웨어 데이터를 다운로드할 수 있다.
관제 서버(11)와 기기 관리 서버(12)가 분리되어 구성함으로써, 데이터를 스토리지에 저장하고, 다시 전송할 필요가 없어, 처리 속도와 시간 측면에서 장점이 있고, 보안 측면에서도 효과적인 관리가 용이한 장점이 있다.
한편, 로봇 서비스 딜리버리 플랫폼(10)은 로봇 관련 서비스를 제공하는 서버의 집합으로, 도 2a에서 클라이언트(40)와 로봇(100)들을 제외한 전부를 의미할 수 있다.
예를 들어, 로봇 서비스 딜리버리 플랫폼(10)은 사용자 계정을 관리하는 사용자 관리 서버(13)를 더 포함할 수 있다. 사용자 관리 서버(13)는 사용자 인증, 등록, 탈퇴를 관리할 수 있다.
실시예에 따라서, 로봇 서비스 딜리버리 플랫폼(10)은 맵(map) 데이터, 지리적 정보에 기반한 데이터를 제공하는 맵 서버(14)를 더 포함할 수 있다.
상기 맵 서버(14)에서 수신되는 맵 데이터 등은 관제 서버(10) 및/또는 기기 관리 서버(12)에 저장될 수 있고, 로봇(100)에 상기 맵 서버(14)의 맵 데이터가 다운로드될 수 있다. 또는, 관제 서버(11) 및/또는 기기 관리 서버(12)의 요청에 따라, 상기 맵 서버(14)에서 상기 로봇(100)으로 맵 데이터가 송신될 수 있다.
로봇(100) 및 서버(11, 12)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다.
도 2a를 참조하면, 로봇(100) 및 서버(11, 12)는 MQTT 방식으로 통신할 수 있다. MQTT 방식은 매개자(broker)를 통해 메시지가 송수신되는 방식으로 저전력, 속도 측면에서 장점이 있다. 한편, 로봇 서비스 딜리버리 플랫폼(10)이 MQTT 방식을 이용할 때 매개자는 기기 관리 서버(12) 등에 구축될 수 있다.
또한, 로봇(100) 및 서버(11, 12)는 2이상의 통신 규격을 지원하고, 통신 데이터의 종류, 통신에 참여하는 기기의 종류에 따라 최적의 통신 규격을 사용할 수 있다. 도 2a에서는 MQTT 방식을 이용한 통신 패스와 HTML 방식을 이용한 통신 패스가 예시된다.
한편, 서버(11, 12)와 로봇(100) 사이의 통신 방법은 로봇 종류와 관계없이 MQTT 방식을 사용할 수 있다.
로봇(100)은 MQTT 세션을 통해 현재 상태를 서버(11, 12)로 전송하고, 서버(11, 12)로부터 원격 제어 명령을 수신할 수 있다. MQTT 연결을 위해서는 (CSR 생성을 위해 발급받은) 개인 키, 로봇 등록 시 받은 X.509 인증서, 기기 관리 서버 인증서 등 디지털 인증서가 필요할 수 있고 다른 인증 방식을 사용할 수도 있다.
도 2a에서는 각 서버들(11, 12, 13, 14)이 수행하는 기능을 기준으로 구분된 것이므로, 본 발명은 이에 한정되지 아니하고 둘 이상의 기능이 하나의 서버를 통해 수행될 수도 있고, 하나의 기능이 둘 이상의 서버를 통해 수행될 수도 있다.
도 2b는 본 발명의 일 실시예에 따른 로봇 서비스 딜리버리 플랫폼의 블록도를 예시한 것으로, 로봇 관제와 관련된 로봇 관제 플랫폼의 상위 계층의 애플리케이션들을 예시한 것이다.
도 2b를 참조하면, 로봇 관제 플랫폼(2)은 유저 인터페이스(2)와 관제/서비스 서버(11)가 제공하는 기능/서비스들(4)을 포함할 수 있다.
로봇 관제 플랫폼(2)은 웹 사이트 기반의 관제 관리자 유저 인터페이스(3a)와 애플리케이션 기반의 유저 인터페이스(3b)를 제공할 수 있다.
클라이언트(40)는 자신이 사용하는 기기를 통하여, 로봇 관제 플랫폼(2)이 제공하는 유저 인터페이스(3b)를 이용할 수 있다.
한편, 도 2b를 참조하면, 관제/서비스 서버(11)는 복수의 로봇에 공통으로 적용되는 기능 및 서비스를 포함하는 공통부(4a, 4b), 및, 상기 복수의 로봇 중 적어도 일부와 관련된 특화 기능을 포함하는 전용부(4c)를 포함할 수 있다.
실시예에 따라서, 공통부(4a, 4b)는 기본 서비스(4a)와 공통 기능(4b)으로 나누어질 수도 있다.
공통부(4a, 4b)는 로봇들의 상태를 확인할 수 있는 상태 모니터링 서비스, 로봇들의 상태를 진단할 수 있는 진단 서비스, 로봇들을 원격으로 제어할 수 있는 원격 제어 서비스, 로봇들의 위치를 추적할 수 있는 로봇 위치 추적 서비스, 로봇들의 업무를 할당, 확인, 수정할 수 있는 스케줄 관리 서비스, 각종 통계 데이터와 분석 리포트를 확인할 수 있는 통계/리포트 서비스 등을 포함할 수 있다.
또한, 공통부(4a, 4b)는 로봇 인증 기능 사용자의 권한을 관리하는 사용자 롤(Role) 관리 기능, 운영 이력 관리 기능, 로봇 관리 기능, 펌웨어 관리 기능, 알림 푸시(push)와 관련된 푸시 기능, 로봇들의 그룹을 설정하고 관리할 수 있는 로봇 그룹 관리 기능, 맵 데이터, 버전 정보 등을 확인하고 관리할 수 있는 맵 관리 기능, 공지사항 관리 기능 등을 포함할 수 있다.
전용부(4c)는 로봇들이 운용되는 장소, 서비스의 종류, 고객의 요구 사항 등을 고려한 특화 기능으로 구성될 수 있다. 전용부(4c)는 주로 B2B 고객을 위한 특화 기능을 포함할 수 있다. 예를 들어, 청소 로봇(100d)의 경우에, 전용부(4c)는 청소 영역 설정, 사이트(site)별 상태 모니터링, 청소 예약 설정, 청소 이력 조회 기능을 포함할 수 있다.
한편, 전용부(4c)가 제공하는 특화 기능은 공통으로 적용되는 기능 및 서비스에 기초할 수 있다. 예를 들어, 특화 기능도 기본 서비스(4a)를 수정하거나 기본 서비스(4a)에 소정 서비스를 추가하여 구성될 수 있다. 또는 특화 기능은 공통 기능(4b)을 일부 수정하여 구성하는 것도 가능하다.
이 경우에, 전용부(4c)가 제공하는 특화 기능에 대응하는 기본 서비스, 공통 기능은 제거되거나, 비활성화될 수도 있다.
도 3은 본 발명의 일 실시예에 따라 로봇에서 획득된 데이터(data)를 이용한 학습(Learning)에 대한 설명에 참조되는 도면이다.
도 3을 참조하면, 로봇(100) 등 소정 기기의 동작으로 획득되는 제품 데이터(product data)가 서버(10)로 전송될 수 있다.
예를 들어, 로봇(100)은, 서버(10)로 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)를 서버(10)로 전송할 수 있다.
여기서, 공간(space), 사물(Object) 관련 데이터는 로봇(100)이 인식한 공간(space)과 사물(Object)의 인식 관련 데이터이거나, 영상 획득부(도 8의 820 참조)가 획득한 공간(space)과 사물(Object)에 대한 이미지 데이터일 수 있다.
실시예에 따라서, 로봇(100) 및 서버(10)는 사용자, 음성, 공간의 속성, 장애물 등 사물의 속성 중 적어도 하나를 인식하도록 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(Artificial Neural Networks: ANN)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 로봇(100) 및 서버(10)는 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다. 예를 들어, 로봇(100)의 제어부(도 8의 840 참조)에는 CNN(Convolutional Neural Network) 등 심층신경망 구조(DNN)가 탑재될 수 있다.
서버(10)는 로봇(100)으로부터 수신한 데이터, 사용자에 의해 입력되는 데이터 등에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 로봇(100)으로 전송할 수 있다. 이에 따라, 로봇(100)이 구비하는 인공지능(artificial intelligence)의 심층신경망(DNN) 구조를 업데이트할 수 있다.
또한, 사용(Usage) 관련 데이터(Data)는 소정 제품, 예를 들어, 로봇(100)의 사용에 따라 획득되는 데이터로, 사용 이력 데이터, 센서부(도 7의 170 참조)에서 획득된 센싱 데이터 등이 해당될 수 있다.
학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 입력 데이터에 포함된 사람, 사물, 공간의 속성을 인식하여, 그 결과를 출력할 수 있다.
또한, 상기 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 로봇(100)의 사용(Usage) 관련 데이터(Data)를 분석하고 학습하여 사용 패턴, 사용 환경 등을 인식할 수 있다.
한편, 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)는 통신부(도 8의 890 참조)를 통하여 서버(10)로 전송될 수 있다.
서버(10)는 수신한 데이터에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 로봇(100)으로 전송하여 업데이트하게 할 수 있다.
이에 따라, 로봇(100)이 점점 더 똑똑해지고, 사용할수록 진화되는 사용자 경험(UX)을 제공할 수 있다.
로봇(100) 및 서버(10)는 외부 정보(external information)도 이용할 수 있다. 예를 들어, 서버(10)가 다른 연계 서비스 서버(20, 30)로부터 획득한 외부 정보를 종합적으로 사용하여 우수한 사용자 경험을 제공할 수 있다.
상기 서버(10)는 사용자가 발화한 음성 입력 신호를 수신하여 음성 인식을 수행할 수 있다. 이를 위해, 상기 서버(10)는 음성 인식 모듈을 포함할 수 있고, 음성 인식 모듈은 입력 데이터에 대하여 음성 인식을 수행하여 음성 인식 결과를 출력하도록 학습된 인공신경망을 포함할 수 있다.
실시예에 따라서, 상기 서버(10)는 음성 인식을 위한 음성 인식 서버를 포함할 수 있다. 또한, 음성 인식 서버도 음성 인식 과정 중 소정 과정을 분담하여 수행하는 복수의 서버를 포함할 수 있다. 예를 들어, 음성 인식 서버는, 음성 데이터를 수신하고, 수신한 음성 데이터를 텍스트(text) 데이터로 변환하는 자동 음성 인식(Automatic Speech Recognition: ASR) 서버, 및, 상기 자동 음성 인식 서버로부터 상기 텍스트 데이터를 수신하고, 수신한 텍스트 데이터를 분석하여 음성 명령을 판별하는 자연어 처리(Natural Language Processing: NLP) 서버를 포함할 수 있다. 경우에 따라서, 음성 인식 서버는, 자연어 처리 서버가 출력한 텍스트 음성 인식 결과를 음성 데이터로 변환하여 다른 서버 또는 기기로 송신하는 텍스트 음성 변환(Text to Speech: TTS) 서버를 더 포함할 수 있다.
본 발명에 따르면, 로봇(100) 및/또는 서버(10)가 음성 인식을 수행할 수 있어, 로봇(100)의 제어를 위한 입력을 사용자 음성을 사용할 수 있다.
또한, 본 발명에 따르면, 로봇(100)이 능동적으로 먼저 정보를 제공하거나 기능, 서비스를 추천하는 음성을 출력함으로써 사용자에게 더욱 다양하고 적극적인 제어 기능을 제공할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 로봇(100)이 가상 피팅 서비스를 제공할 수 있다. 더욱 바람직하게는 자력으로 이동 가능한 이동 로봇이 가상 피팅 서비스를 제공함으로써, 더욱 정확하게 사용자의 신체 정보를 판별하고, 간편한 가상 피팅 서비스 제공이 가능하다. 예를 들어, 본 발명의 일 실시예에 따른 이동 로봇은, 특정 장소, 물품, 서비스에 대해서 안내하고 다양한 서비스를 제공할 수 있는 안내로봇(100a)일 수 있다. 이하에서는, 안내로봇(100a)이 가상 피팅 서비스를 제공하는 실시예를 중심으로 설명한다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 사시도이고, 도 5는 본 발명의 일 실시예에 따른 이동 로봇을 저면에서 바라본 저면 사시도이며, 도 6은 본 발명의 일 실시예에 따른 이동 로봇의 측면도이다.
도 4 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100a)은 외관을 형성하고 그 내부에 각종 부품을 수납하는 본체(10a)를 포함할 수 있다.
상기 본체(10a)는 상하 방향으로 길이가 길게 형성되며, 전체적으로 하부에서 상부 방향으로 올라갈수록 슬림해지는 오뚝이 형상을 가질 수 있다.
상기 본체(10a)는 상기 이동 로봇(100a)의 외관을 형성하는 케이스(30a)를 포함할 수 있다. 상기 케이스(30a)는 상측에 배치되는 탑 커버(31a), 상기 탑 커버(31a)의 하측에 배치되는 제1 미들 커버(32a), 상기 제1 미들 커버(32a)의 하측에 배치되는 제2 미들 커버(33a) 및 상기 제2 미들 커버(33a)의 하측에 배치되는 바텀 커버(34a)를 포함할 수 있다. 여기서 상기 제1 미들 커버(32a)와 상기 제2 미들 커버(33a)는 하나의 미들 커버로 이루어질 수 있다.
상기 탑 커버(31a)는 상기 이동 로봇(100a)의 최상단에 위치되며, 반구 또는 돔 형상을 가질 수 있다. 상기 탑 커버(31a)는 사용자로부터 명령을 용이하게 입력 받기 위하여 성인의 키보다 낮은 높이에 위치될 수 있다. 그리고 상기 탑 커버(31a)는 소정각도 회전 가능하도록 구성될 수 있다.
한편, 상기 탑 커버(31a)는, 이동 로봇(100a)의 최상단에 배치되고, 그 내부에 각종 부품을 수납하여, 사람의 헤드(head)와 유사한 형상과 기능을 가지고 사용자와의 인터랙션(interaction)을 담당할 수 있다. 따라서, 상기 탑 커버(31a)와 그 내부에 배치되는 부품들은 헤드(head)로 명명될 수 있다. 또한, 상기 탑 커버(31a)의 내부에 수납되거나 외부에 배치되는 부품들의 구성을 헤드부로 명명할 수 있다. 한편, 상기 헤드의 하측에 배치되는 나머지 부분은 바디(body)로 명명될 수 있다.
상기 탑 커버(31a)는 전면 일측에 조작부(311)를 포함할 수 있다. 상기 조작부(311)는 사용자로부터 명령을 입력받는 기능을 수행할 수 있다. 이를 위하여, 상기 조작부(311)는 사용자로부터 터치 입력을 받기 위한 디스플레이(312)를 포함할 수 있다.
상기 조작부(311)에 배치되는 디스플레이(312)는 제1 디스플레이 또는 헤드 디스플레이(312)로 명명하고, 바디에 배치되는 디스플레이부(20a)에 포함되는 디스플레이는 제2 디스플레이 또는 바디 디스플레이(21a)로 명명할 수 있다.
상기 헤드 디스플레이(312)는 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 상기 헤드 디스플레이(312)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
또한, 상기 조작부(311)는 사용자가 상기 헤드 디스플레이(312)를 아래로 내려다보면서 쉽게 조작할 수 있도록 일정각도 상측을 향할 수 있다. 예를 들어, 상기 조작부(311)는 상기 탑 커버(31a)의 일부가 절단되어 형성되는 면에 배치될 수 있다. 따라서, 상기 헤드 디스플레이(312)는 경사지도록 배치될 수 있다.
또한, 상기 조작부(311)는 전체적으로 원형 또는 타원형의 외형을 가질 수 있다. 이러한 상기 조작부(311)는 사람의 얼굴 형상과 유사하게 구현될 수 있다.
일례로, 상기 조작부(311)는 원형 형상을 가지며, 상기 조작부(311) 상에는 사람의 눈, 코, 입, 눈썹 등을 표현하기 위한 구조물이 하나 이상 위치될 수 있다.
즉, 상기 조작부(311) 상에는 사람의 눈, 코, 입, 눈썹 등을 표현하기 위하여 특정 구조물이 배치될 수 있고 또는 특정 페인트가 도색될 수 있다. 따라서, 상기 조작부(311)는 사람의 얼굴 형상을 가짐으로써, 사용자에게 감성적인 느낌을 제공할 수 있다. 더욱이, 사람의 얼굴 형상을 가지는 로봇이 주행하는 경우, 마치 사람이 움직이는 것과 같은 느낌을 줄 수 있어 로봇에 대한 거부감을 해소할 수 있다.
다른 예로, 상기 헤드 디스플레이(312) 상에는 사람의 눈, 코, 입, 눈썹 등을 표현하기 위한 이미지가 하나 이상 표시될 수 있다.
즉, 상기 헤드 디스플레이(312) 상에는 안내 서비스, 가상 피팅 서비스에 관련된 정보뿐만 아니라, 사람의 얼굴 형상을 표현하기 위한 다양한 이미지가 표시될 수 있다. 그리고 상기 헤드 디스플레이(312) 상에는 일정 시간 간격 또는 특정 시각에 정해진 얼굴 표정을 표현하기 위한 이미지가 표시될 수도 있다.
한편, 도 4를 기준으로 상기 바디 디스플레이(21a)가 향하는 방향을 "후방"이라고 정의한다. 그리고 "후방"의 반대 방향을 "전방"이라고 정의한다.
또한, 상기 조작부(311)는 사람과 사물 인식을 위한 헤드 카메라부(313)가 배치될 수 있다.
상기 헤드 카메라부(313)는 상기 헤드 디스플레이(312)의 상측에 배치될 수 있다. 상기 헤드 카메라부(313)는 2D 카메라(313a) 및 RGBD 센서(313b, 313c)를 포함할 수 있다.
상기 2D 카메라(313a)는 2차원 영상을 기반으로 사람 또는 사물을 인식하기 위한 센서일 수 있다.
또한, 상기 RGBD 센서(Red, Green, Blue, Distance)(313b, 313c)는 사람의 위치 또는 얼굴 이미지 또는 신체 이미지를 획득하기 위한 센서일 수 있다. 상기 RGBD 센서(313b, 313c)는 RGBD 센서들을 갖는 카메라 또는 다른 유사한 3D 이미징 장치로부터 획득되는 깊이(Depth) 데이터를 갖는 캡쳐된 이미지들을 이용하여 사람 또는 사물을 검출하기 위한 센서일 수 있다. 또한, 상기 RGBD 센서(313b, 313c)는 소정 거리 이내에 위치하는 사용자를 촬영하여 사용자의 신체를 스캔할 수 있다.
사람의 위치 또는 얼굴 이미지 또는 신체 이미지를 정확히 검출하기 위하여, 상기 RGBD 센서(313b, 313c)는 복수 개로 이루어질 수 있다. 일례로, 상기 RGBD 센서(313b, 313c)는 2개로 구성되어, 상기 2D 카메라(313a)의 좌측 및 우측에 각각 배치될 수 있다.
상기 헤드 카메라부(313)는, RGBD 카메라 센서 등 3D 비전 센서로 구성될 수 있고, 소정 거리 이내에 사람의 존재 여부, 안내 모드에서 안내 대상의 존재 여부, 사람과 이동 로봇(100a)과의 거리, 사람의 이동 속도, 사용자의 신체 정보 등을 센싱할 수 있다.
한편, 도시되진 않았으나, 상기 조작부(311)는 사용자로부터 명령을 직접 입력 받기 위한 물리적 버튼을 더 포함할 수 있다.
또한, 상기 탑 커버(31a)는 마이크(314)를 더 포함할 수 있다.
상기 마이크(314)는 사용자로부터 오디오 신호의 명령을 입력 받기위한 기능을 수행할 수 있다. 일례로, 상기 마이크(314)는 사용자로부터 음성 명령을 정확히 수신하기 위하여, 상기 탑 커버(31a)의 상단부 어느 지점에 4개소가 형성될 수 있다. 따라서, 상기 이동 로봇(100a)이 주행 중이거나 또는 상기 탑 커버(31a)가 회전 중에도, 사용자로부터 음성의 서비스 요청을 정확히 수신할 수 있다.
본 발명의 일 실시예에서 상기 탑 커버(31a)는, 상기 이동 로봇(100a)이 주행 중에는 상기 조작부(311)가 주행 방향을 향하도록 회전될 수 있다. 그리고 상기 탑 커버(31a)는 상기 이동 로봇(100a)이 주행 중에 사용자로부터 명령(예: 음성 명령 등)을 수신하면, 상기 조작부(311)가 사용자가 위치한 방향을 향하도록 회전될 수 있다.
이와는 다르게, 상기 탑 커버(31a)는 상기 이동 로봇(100a)이 주행 중에 사용자로부터 명령을 수신하면, 상기 이동 로봇(100a)의 주행 방향의 반대되는 방향으로 회전될 수 있다. 즉, 상기 탑 커버(31a)는 상기 바디 디스플레이부(20a)가 향하는 방향으로 회전될 수 있다. 따라서, 사용자는 상기 바디 디스플레이부(20a)에 표시되는 길 안내 서비스 정보 등을 보면서 상기 조작부(311)를 효과적으로 조작할 수 있다.
도 7은 본 발명의 일 실시예에 따라 이동 로봇(100a)의 디스플레이들(312, 20a)이 정렬한 도면이다.
도 7을 참조하면, 이동 로봇(100a)은 인터랙션(interaction) 상태에서 사용자로부터 명령을 수신하거나 대기 중일 때, 디스플레이들(312, 20a)이 일방향으로 정렬하여 사용자 또는 공공장소의 이용자들이 두 디스플레이들(312, 20a)에 표시되는 정보를 더 쉽게 볼 수 있도록 할 수 있다.
인터랙션 상태는, 이동 로봇(100a)이, 소정 사용자에게 음성 안내, 메뉴 화면 등을 제공하거나, 사용자로부터 터치, 음성 입력을 수신하거나, 서비스 제공 중인 경우 등이 해당될 수 있다.
한편, 상기 조작부(311)와 상기 바디 디스플레이부(20a)가 바라보는 방향은 서로 반대일 수 있다. 이러한 경우, 예를 들어 상기 조작부(311)는 일 방향을 향하여 바라보고, 상기 디스플레이부(20a)는 일 방향과 반대되는 타 방향을 향하여 바라볼 수 있으므로, 상기 조작부(311) 또는 상기 바디 디스플레이부(20a)에 표시되는 정보를 양 방향에서 볼 수 있는 장점이 있다.
바람직하게는, 상기 이동 로봇(100a)이 주행 중이거나 정지한 상태에서, 상기 조작부(311)와 상기 바디 디스플레이부(20a)가 바라보는 방향이 달라질 수 있다.
예를 들어, 상기 이동 로봇(100a)이 주행 중인 경우에는 도 4에서 예시된 것과 같이, 상기 조작부(311)와 상기 바디 디스플레이부(20a)가 바라보는 방향은 서로 반대일 수 있다.
또한, 상기 이동 로봇(100a)이 대기 중인 경우에는 도 7에서 예시된 것과 같이, 상기 조작부(311)와 상기 바디 디스플레이부(20a)가 바라보는 방향은 서로 동일할 수 있다.
또한, 상기 탑 커버(31a)는 비상 조작 버튼(315)을 더 포함할 수 있다. 상기 비상 조작 버튼(315)은 상기 이동 로봇(100a)이 정지해 있거나 주행 중에, 상기 이동 로봇(100a)의 작동을 즉시 정지시키는 기능을 수행할 수 있다. 일례로, 상기 비상 조작 버튼(315)은 상기 이동 로봇(100a)이 전방을 향하여 주행하더라도, 상기 비상 조작 버튼(315)을 용이하게 조작할 수 있도록 상기 이동 로봇(100a)의 후방에 위치될 수 있다.
상기 제1 미들 커버(32a)는 상기 탑 커버(31a)의 하측에 배치될 수 있다. 상기 제1 미들 커버(33)의 내부에는 기판을 포함한 각종 전자부품이 위치될 수 있다. 그리고 상기 제1 미들 커버(32a)는 상부에서 하부 방향으로 내려갈수록 직경이 커지는 원통 형상을 가질 수 있다.
더욱 바람직하게는, 상기 제1 미들 커버(32a)는 RGBD 센서(321)를 포함할 수 있다.
상기 RGBD 센서(321)는 상기 이동 로봇(100a)이 주행 중에, 상기 이동 로봇(100a)과 장애물 사이의 충돌을 감지하는 기능을 수행할 수 있다. 이를 위하여, 상기 RGBD 센서(321)는 상기 이동 로봇(100a)이 주행하는 방향, 즉 상기 제1 미들 커버(32a)의 전방에 위치될 수 있다. 일례로, 상기 RGBD 센서(321)는 상기 이동 로봇(100a)의 전방에 존재하는 장애물 또는 사람의 키를 고려하여, 상기 제1 미들 커버(32a)의 상단부에 위치될 수 있다. 그러나 이에 한정되지는 않으며, 상기 RGBD 센서(321)는 상기 제1 미들 커버(32a)의 전방의 다양한 위치에 배치될 수 있다.
실시예에 따라서, 상기 RGBD 센서(321)는 3D 비전 센서로 구성될 수 있고, 소정 거리 이내에 사람의 존재 여부, 안내 모드에서 안내 대상의 존재 여부, 사람과 이동 로봇(100a)과의 거리, 사람의 이동 속도 등을 센싱할 수 있다. 또한, 상기 RGBD 센서(321)는 소정 거리 이내에 위치하는 사용자를 촬영하여 사용자의 신체를 스캔할 수 있다.
실시예에 따라서는, 상기 제1 미들 커버(32a)에 RGBD 센서(321)가 배치되지 않고, RGBD 센서(321)의 기능도 헤드 카메라부(313)에서 수행할 수 있다.
또한, 상기 제1 미들 커버(32a)는 스피커용 홀(322)을 더 포함할 수 있다.
상기 스피커용 홀(322)은 스피커에서 발생하는 소리를 외부로 전달하기 위한 홀일 수 있다. 상기 스피커용 홀(322)은 상기 제1 미들 커버(32a)의 외주면에 형성될 수 있으며, 단수 개로 형성될 수 있다. 그러나 이와는 다르게, 상기 스피커용 홀(322)은 복수 개로 형성되어 상기 제1 미들 커버(32a)의 외주면에 서로 이격되게 형성될 수 있다.
또한, 상기 제1 미들 커버(32a)는 스테레오 카메라용 홀(323)을 더 포함할 수 있다.
상기 스테레오 카메라용 홀(323)은 상기 본체(10a)의 내부에 설치된 스테레오 카메라(미도시)의 작동을 위한 홀일 수 있다. 일례로, 상기 스테레오 카메라용 홀(323)은 상기 제1 미들 커버(32a)의 전방 하단에 형성될 수 있다. 이에 따라, 상기 스테레오 카메라는 상기 스테레오 카메라용 홀(323)을 통해 상기 이동 로봇(100a)의 전방 영역을 촬영할 수 있다.
상기 제2 미들 커버(33a)는 상기 제1 미들 커버(32a)의 하측에 배치될 수 있다. 상기 제2 미들 커버(33a)의 내부에는 배터리와, 자율 주행을 위한 라이더 등이 위치될 수 있다. 상기 제2 미들 커버(33a)는 상기 제1 미들 커버(32a)와 마찬가지로 상부에서 하부 방향으로 내려갈수록 직경이 커지는 원통 형상을 가질 수 있다. 그리고 상기 제2 미들 커버(33a)의 외측은 상기 제1 미들 커버(32a)의 외측과 단차없이 연결될 수 있다. 즉, 상기 제2 미들 커버(33a)의 외측과 상기 제1 미들 커버(32a)의 외측은 매끄럽게 연결될 수 있으므로 외관이 미려해 보일 수 있다.
또한, 상기 제1 미들 커버(32a)와 상기 제2 미들 커버(33a)는 상부에서 하부 방향으로 내려갈수록 직경이 커지는 원통 형상을 가지므로, 전체적으로 오뚝이 형상을 가질 수 있다. 따라서, 상기 본체(10a)가 사람 또는 장애물과 충돌하는 경우 발생되는 충격을 완화시킬 수 있다.
상세히, 상기 제2 미들 커버(33a)는 제1 절개부(331)를 포함할 수 있다.
상기 제1 절개부(331)는 상기 제2 미들 커버(33a)의 외주면의 전방에서 측방에 걸쳐 형성될 수 있다. 상기 제1 절개부(331)는 후술될 전방 라이더(136)가 동작 가능하도록 상기 제2 미들 커버(33a)에서 절개되는 부분이다.
구체적으로, 상기 제1 절개부(331)는 상기 제2 미들 커버(33a)의 전방 외주면에서 반경 방향으로 소정길이로 절개될 수 있다. 여기서, 상기 전방 라이더(136)는 상기 제2 미들 커버(33a)의 내부에 위치된다. 그리고 상기 제1 절개부(331)는 상기 전방 라이더(136)의 위치에 대응되는 상기 제2 미들 커버(33a)의 외주면에서 상기 제2 미들 커버(33a)의 둘레를 따라 절개되어 형성될 수 있다. 즉, 상기 제1 절개부(331)와 상기 전방 라이더(136)는 마주볼 수 있다. 따라서, 상기 전방 라이더(136)는 상기 제1 절개부(331)에 의해 외부로 노출될 수 있다.
일례로, 상기 제1 절개부(331)는 상기 제2 미들 커버(33a)의 전방에서 둘레를 따라 270도만큼 절개될 수 있다. 상기 제1 절개부(331)가 상기 제2 미들 커버(33a)에 형성되어야 하는 이유는, 상기 전방 라이더(136)에서 방출된 레이저가 성인의 눈 또는 어린이의 눈으로 직접 조사되는 것을 방지하기 위함이다.
또한, 상기 제2 미들 커버(33a)는 제2 절개부(332)를 더 포함할 수 있다.
상기 제2 절개부(332)는 상기 제2 미들 커버(33a)의 외주면의 후방에서 측방에 걸쳐 형성될 수 있다. 상기 제2 절개부(332)는 후술될 후방 라이더(118)가 동작 가능하도록 상기 제2 미들 커버(33a)에서 절개되는 부분이다.
구체적으로, 상기 제2 절개부(332)는 상기 제2 미들 커버(33a)의 후방 외주면에서 반경 방향으로 소정길이로 절개될 수 있다. 여기서, 상기 후방 라이더(118)는 상기 제2 미들 커버(33a)의 내부에 위치된다. 그리고 상기 제2 절개부(332)는 상기 후방 라이더(118)의 위치에 대응되는 지점에서 상기 제2 미들 커버(33a)의 둘레를 따라 절개되어 형성될 수 있다. 따라서, 상기 후방 라이더(118)는 상기 제2 절개부(332)에 의해 외부로 노출될 수 있다. 일례로, 상기 제2 절개부(332)는 상기 제2 미들 커버(33a)의 후방에서 둘레를 따라 130도만큼 절개될 수 있다.
본 실시예에서 상기 제1 절개부(331)는 상기 제2 절개부(332)와 연결되지 않도록 상하 방향으로 이격될 수 있다. 그리고 상기 제1 절개부(331)는 상기 제2 절개부(332) 보다 상측에 위치될 수 있다.
만약, 상기 제1 절개부(331)와 상기 제2 절개부(332)가 동일선상에 위치되면, 일 이동 로봇의 라이더에서 방출된 레이저가 타 이동 로봇의 라이더에 조사될 수 있다. 그러면, 각각의 이동 로봇의 라이더에서 방출된 레이저가 상호 간섭을 일으켜 정확한 거리 검출이 어려워질 수 있다. 이러한 경우 이동 로봇과 장애물과의 거리 검출이 불가능해지므로, 정상적인 주행이 어렵고 이동 로봇과 장애물이 부딪히는 문제가 발생할 수 있다.
또한, 상기 제2 미들 커버(33a)에는 초음파 센서(333)가 더 배치될 수 있다.
상기 초음파 센서(333)는 초음파 신호를 이용하여 장애물과 상기 이동 로봇(100a) 사이의 거리를 측정하기 위한 센서일 수 있다. 상기 초음파 센서(333)는 상기 이동 로봇(100a)과 근접한 장애물을 감지하기 위한 기능을 수행할 수 있다.
일례로, 상기 초음파 센서(333)는 상기 이동 로봇(100a)에 근접한 모든 방향의 장애물을 감지하기 위하여 다수 개로 구성될 수 있다. 그리고 상기 다수 개의 초음파 센서(333)는 상기 제2 미들 커버(33a)의 하단 둘레를 따라 서로 이격되게 위치될 수 있다.
상기 바텀 커버(34a)는 상기 제2 미들 커버(33a)의 하측에 배치될 수 있다. 상기 바텀 커버(34a)의 내부에는 휠(112) 및 캐스터(112a) 등이 위치될 수 있다. 그리고 상기 바텀 커버(34a)는 상기 제1 미들 커버(32a) 및 상기 제2 미들 커버(33a)와는 다르게 상부에서 하부 방향으로 내려갈수록 직경이 작아지는 원통 형상을 가질 수 있다. 즉, 상기 본체(10a)는 전체적으로 오뚝이 형상을 가져서 로봇의 충돌 시 가해지는 충격량을 감소시키고, 상기 본체(10a)의 하단부는 안쪽으로 들어가는 구조를 가져서 사람의 발이 로봇의 바퀴에 끼이는 것을 방지할 수 있다.
상세히, 상기 바텀 커버(34a)의 내측에는 베이스(111)가 위치될 수 있다.
상기 베이스(111)는 상기 이동 로봇(100a)의 바닥면을 형성할 수 있다.
그리고 상기 베이스(111)에는 상기 이동 로봇(100a)의 주행을 위한 휠(112)이 구비될 수 있다. 상기 휠(112)은 상기 베이스(111)의 좌측 및 우측에 각각 하나가 위치될 수 있다.
또한, 상기 베이스(111)에는 상기 이동 로봇(100a)의 주행을 보조하기 위한 캐스터(112a)가 구비될 수 있다. 여기서, 상기 캐스터(112a)는 상기 이동 로봇(100a)의 수동 이동을 위하여 복수 개로 구성될 수 있다. 일례로, 상기 캐스터(112a)는 상기 베이스(111)의 전방 및 후방에 각각 두 개가 위치될 수 있다.
상술한 캐스터 구조에 의하면, 상기 이동 로봇(100a)의 전원이 오프되거나 또는 상기 이동 로봇(100a)을 수동으로 이동시켜야 할 경우, 큰 힘을 들이지 않고 상기 이동 로봇(100a)을 밀어 이동시킬 수 있는 장점이 있다.
상기 바텀 커버(34a)에는, 각각 하나 이상의 발광다이오드(LED)를 포함하는 발광모듈들(40a)이 배치될 수 있고, 발광모듈들(40a) 중 적어도 하나는 이동 로봇의 동작 상태에 따라 켜지거나 꺼질 수 있다. 예를 들어, 발광모듈들(40a) 중 적어도 하나는 이동 로봇의 동작 상태에 따라 소정 색상의 광을 출력하거나, 소정 주기로 점멸할 수 있다. 또한, 발광모듈들(40a) 중 2이상의 발광모듈이 이동 로봇의 동작 상태에 따라 소정 패턴으로 광을 출력할 수 있다.
발광모듈들(40a)은 각각 광원으로 하나 이상의 발광다이오드를 포함할 수 있다. 광원이 복수개 구비되는 경우에, 복수개의 광원은 균일한 광 공급을 위하여 일정한 피치(Pitch)를 가지고 배열될 수 있다. 광도를 고려하여 광원의 개수와 피치 가 설정될 수 있다. 또한, 복수개의 광원은 색은 모두 백색일 수도 있고, 인접한 광원들의 색이 혼색되어 백색을 출광할 수도 있다.
광원은 발광다이오드가 1개의 단일체 뿐만 아니라, 복수의 발광다이오드가 근접해서 배치된 집합체인 경우도 포함할 수 있다. 또, 예를 들면 광의 삼원색인 적색, 청색, 녹색의 발광다이오드를 근접 배치한 경우도 포함할 수 있다.
바람직하게는 상기 발광모듈들(40a)은 상기 바텀 커버(34a)의 둘레를 따라 배치될 수 있다. 예를 들어, 수평 방향으로 상기 바텀 커버(34a)의 둘레를 감싸는 임의의 원 상에 상기 발광모듈들(40a)이 배치될 수 있다.
상기 발광모듈들(40a)이 이동 로봇(100a)의 하단인 상기 바텀 커버(34a)에 배치됨으로써, 사람의 눈높이보다 상당히 낮은 위치에 배치될 수 있다. 이에 따라, 상기 발광모듈들(40a)이 특정 광을 지속적으로 출력하거나 점멸할 때, 사람들이 눈부심을 덜 느낄 수 있다.
상기 발광모듈들(40a)이 수평 방향으로 상기 바텀 커버(34a)의 둘레를 감싸도록 배치됨으로써, 사람들은 360도 어느 방향에서나 상기 발광모듈들(40a)에서 출력되는 광을 볼 수 있다.
상기 발광모듈들(40a)이 상기 바텀 커버(34a)에 배치됨으로써, 소정 영상을 표시하는 대화면의 바디 디스플레이(21a)와 소정 거리 이격된다. 이에 따라, 상기 발광모듈들(40a)의 출력 광과 바디 디스플레이(21a)의 출력 영상이 서로의 시인성을 떨어뜨리는 것을 방지할 수 있다.
또한, 상기 발광모듈들(40a)이 복수의 행(row)을 가지고, 다단으로 배치될 수 있다. 이에 따라, 상기 발광모듈들(40a)이 출력하는 광의 시인성을 더욱 높일 수 있다.
예를 들어, 상기 발광모듈들(40a)은, 서로 다른 길이를 가지는 3개의 행(41a, 42a, 43a)으로 배치될 수 있다. 이 경우에, 상기 3개의 행(41a, 42a, 43a) 중에서 최하단에 위치하는 행(41)의 길이가 가장 짧을 수 있다.
더욱 바람직하게는, 상기 발광모듈들(40a)은, 복수의 행(row)과 열(column)을 가지도록 배치될 수 있다. 예를 들어, 상기 발광모듈들(40a)은 3개의 행(41a, 42a, 43a)으로 배치되고, 각 행(41a, 42a, 43a)은 독립적으로 제어 가능한 복수의 발광모듈을 포함할 수 있다. 이에 따라, 발광모듈들(40a)은, 복수의 행(row)과 열(column)을 가질 수 있고, 전체 발광모듈들(40a)을 펼쳐 보았을 때, M*N의 매트릭스(matrix) 형태로 배치될 수 있다.
상기 바디 디스플레이부(20a)는 상기 이동 로봇(100a)의 일측에서 상하 방향으로 길게 형성될 수 있다.
상세히, 상기 바디 디스플레이부(20a)는 바디 디스플레이(21a), 지지부(22a)를 포함할 수 있다.
상기 바디 디스플레이(21a)는 상기 제1 미들 커버(32a)의 후방에 위치될 수 있다. 상기 바디 디스플레이(21a)는 현재 제공 중인 서비스와 관련된 시각 정보(예: 공항 게이트 질의 정보, 길 안내 서비스 정보 등)를 출력하는 기능을 수행할 수 있다.
또한, 상기 바디 디스플레이(21a)는 외측으로 소정 곡률 휘어진 형상을 가지는 곡면 디스플레이로 구성될 수 있다. 즉, 상기 바디 디스플레이(21a)는 전체적으로 오목한 형상을 가질 수 있다. 그리고 상기 바디 디스플레이(21a)는 상부에서 하부 방향으로 내려갈수록 후방으로 더욱 기울어지는 형상을 가질 수 있다. 다시 말하면, 상기 바디 디스플레이(21a)는 상부에서 하부 방향으로 내려갈수록 상기 케이스(30a)로부터 점점 멀어지도록 형성될 수 있다.
상술한 디스플레이부 구조에 의하면, 상기 이동 로봇(100a)과 멀리 떨어진 위치에서도 상기 바디 디스플레이(21a)에 표시된 정보가 잘 보일 뿐만 아니라, 다양한 각도에서도 상기 바디 디스플레이(21a)에 표시된 정보가 왜곡되어 보이지 않는 장점이 있다.
또한, 본 발명의 실시예에 의하면, 상기 이동 로봇(100a)은 사용자에게 길을 안내하기 위하여 설정된 경로를 따라 먼저 이동할 수 있다. 그리고 사용자는 상기 이동 로봇(100a)을 따라 이동하면서 상기 이동 로봇(100a)의 후방에 설치된 바디 디스플레이부(20a)를 볼 수 있다. 즉, 상기 이동 로봇(100a)이 길 안내를 위하여 주행하더라도, 사용자는 상기 이동 로봇(100a)을 따라다니면서 상기 바디 디스플레이부(20a)에 표시된 정보를 용이하게 볼 수 있다.
또한, 상기 바디 디스플레이(21a)의 상단은 상기 제1 미들 커버(32a)의 상단까지 연장될 수 있고, 상기 바디 디스플레이(21a)의 하단은 상기 제2 절개부(332)까지 연장될 수 있다. 본 실시예에서 상기 바디 디스플레이(21a)의 하단은 상기 제2 절개부(332)를 넘지 않도록 형성되어야 한다. 만약, 상기 바디 디스플레이(21a)가 상기 제2 절개부(332)를 가리도록 형성되면, 상기 후방 라이더(118)에서 방출된 레이저가 상기 바디 디스플레이(21a)의 하단에 부딪히게 된다. 이에 따라, 상기 이동 로봇(100a)은 후방에 위치된 장애물과의 거리 검출이 불가능해지는 문제가 발생할 수 있다.
한편, 지지부(22a)는 상기 바디 디스플레이(21a)가 상기 제1 미들 커버(32a)의 후방에 위치되도록 유지하는 기능을 수행할 수 있다. 상기 지지부(22a)는 상기 바디 디스플레이부(21)의 배면에서 연장 형성될 수 있다. 상기 지지부(22a)는 상기 바디 디스플레이(21a)의 배면에서 상하 방향으로 길게 형성될 수 있으며, 상부에서 하부 방향으로 내려갈수록 더 돌출될 수 있다.
또한, 상기 지지부(22a)는 상기 제1 미들 커버(32a)의 후방을 관통하여 상기 제1 미들 커버(32a) 내부에 삽입될 수 있다. 이를 위하여, 상기 제1 미들 커버(32a)의 후방에는 상기 지지부(22a)가 관통될 수 있는 관통홀(미도시)이 형성될 수 있다. 상기 관통홀은 상기 제1 미들 커버(32a)의 외주면 후방 일부가 절개되어 형성될 수 있다.
그리고 상기 바디 디스플레이부(20a)는 별도의 고정 부재(138)에 의해 상기 본체(10a)의 내부에 고정될 수 있다.
상기 본체(10a)의 내부에는 상기 바디 디스플레이부(20a)를 상기 본체(10a)에 고정시키기 위한 고정 부재(138)가 제공될 수 있다. 상기 고정 부재(138)는 일측이 상기 본체(10a)에 고정되고, 타측이 상기 바디 디스플레이부(20a)에 고정될 수 있다. 이를 위하여, 상기 고정 부재(138)의 타측은 상기 관통홀을 관통하여 상기 케이스(30a)의 외부로 돌출될 수 있다. 즉, 상기 관통홀 내에는 상기 지지부(22a)와, 상기 고정 부재(138)가 함께 위치될 수 있다.
본 실시예에서 상기 바디 디스플레이부(20a)는 체결 수단에 의해 상기 고정 부재(138)에 체결될 수 있다. 이때, 상기 바디 디스플레이부(20a)의 지지부(22a)는 상기 고정 부재(138)의 상측에 올려질 수 있다. 다시 말하면, 상기 고정 부재(138)의 상측에는 상기 지지부(22a)가 올려지고, 상기 고정 부재(138)의 일부는 상기 바디 디스플레이부(20a)의 일부와 고정될 수 있다. 이러한 디스플레이부 고정 구조에 의해서, 상기 바디 디스플레이부(20a)는 상기 제1 미들 커버(32a)의 후방에 안정적으로 위치될 수 있다.
또한, 상기 바디 디스플레이부(20a)는 티켓(ticket) 투입구(50a)를 더 포함할 수 있다. 본 실시예에서는 상기 티켓 투입구(50a)가 상기 바디 디스플레이부(20a)에 배치되는 예를 도시하였으나, 본 발명은 이에 한정되지 않고, 상기 티켓 투입구(50a)는 이동 로봇(100a)의 다른 부위에 배치될 수도 있다.
한편, 이동 로봇(100a)은, 상기 티켓 투입구(50a)로 투입되는 티켓을 스캔하는 스캐너(미도시)를 구비할 수 있고, 스캐너는, 제어부(840)의 제어에 따라 활성화될 수 있다.
본 발명의 일 실시예에 따르면, 이동 로봇(100a) 내부에 구비되는 스캐너는, 상기 티켓 투입구(50a)로 상품권, 항공권, 수하물표 등 티켓이 투입되면, 티켓에 포함되는 바코드, QR 코드 등을 스캔할 수 있다.
또한, 이동 로봇(100a)은 바디 디스플레이(21a)에 스캔 결과를 표시하고, 사용자에게 스캔 결과에 따른 정보 등을 제공할 수 있다.
한편, 상기 바디 디스플레이부(20a)는 서비스 대상의 식별 및 추적을 위한 바디 카메라부(25a)를 더 포함할 수 있다.
상기 바디 카메라부(25a)는, RGBD 카메라 센서 등 3D 비전 센서로 구성될 수 있고, 소정 거리 이내에 사람의 존재 여부, 안내 모드에서 안내 대상의 존재 여부, 사람과 이동 로봇(100a)과의 거리, 사람의 이동 속도 등을 센싱할 수 있다.
실시예에 따라서는, 이동 로봇(100a)은 상기 바디 카메라부(25a)를 포함하지 않고, 다른 부위에 배치되는 안내 대상 식별 및 추적용 센서를 더 포함할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100a)은, 마이크(314)를 통하여 사용자의 음성 입력을 수신하는 음성 입력부(825), 각종 데이터를 저장하는 저장부(830), 서버(10) 등 다른 전자 기기와 데이터를 송수신하는 통신부(890), 광을 외부로 출력하는 발광모듈을 하나 이상 포함하는 발광부(850), 이동 로봇(100a)의 전반적인 동작을 제어하는 제어부(840)를 포함할 수 있다.
음성 입력부(825)는, 아날로그 소리를 디지털 데이터로 변환하는 처리부를 포함하거나 처리부에 연결되어, 사용자 입력 음성 신호를 제어부(840) 또는 서버(10)에서 인식할 수 있도록 데이터화할 수 있다.
제어부(840)는, 이동 로봇(100a)을 구성하는 음성 입력부(825), 저장부(830), 발광부(850), 통신부(890) 등을 제어하여, 이동 로봇(100a)의 동작 전반을 제어할 수 있다.
저장부(830)는 이동 로봇(100a)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
또한, 저장부(830)는 이동 로봇(100a)이 안내 서비스, 피팅 서비스 등을 제공하는데 필요한 각종 데이터를 저장할 수 있다.
또한, 제어부(840)는 통신부(890)를 통해 이동 로봇(100a)의 동작상태 또는 사용자 입력 등을 서버 등으로 전송할 수 있다.
통신부(890)는 적어도 하나의 통신모듈을 포함하여 이동 로봇(100a)이 인터넷, 또는 소정의 네트워크에 연결되도록 한다.
한편, 저장부(830)에는 음성 인식을 위한 데이터가 저장될 수 있고, 상기 제어부(840)는 음성 입력부(825)를 통하여 수신되는 사용자의 음성 입력 신호를 처리하고 음성 인식 과정을 수행할 수 있다.
한편, 제어부(840)는 음성 인식 결과에 기초하여 이동 로봇(100a)이 소정 동작을 수행하도록 제어할 수 있다.
예를 들어, 제어부(840)는 음성 신호에 포함되는 명령이 소정 정보를 요청하는 명령인 경우, 소정 정보를 디스플레이부(810)에 표시하도록 제어할 수 있다.
또한, 사용자의 안내 요청이 있으면, 제어부(840)는 사용자가 선택한 안내 목적지까지 사용자를 에스코트(escort)하도록 제어할 수 있다.
또한, 사용자의 가상 피팅 서비스 요청이 있으면, 제어부(840)는 사용자의 신체를 스캔하여 가상 피팅 서비스를 제공하도록 제어할 수 있다.
한편, 음성 인식 과정은 이동 로봇(100a) 자체에서 실시되지 않고 서버(10)에서 수행될 수 있다.
이 경우에, 제어부(840)는 사용자 입력 음성 신호가 상기 서버로 송신되도록 통신부(890)를 제어할 수 있고, 통신부(890)를 통하여, 상기 서버로부터 상기 음성 신호에 대한 인식 결과를 수신할 수 있다.
또는, 호출어 인식 등 간단한 음성 인식은 이동 로봇(100a)이 수행하고, 자연어 처리 등 고차원의 음성 인식은 서버에서 수행될 수 있다.
한편, 이동 로봇(100a)은 소정 정보를 영상으로 표시하는 디스플레이부(810)와 소정 정보를 음향으로 출력하는 음향 출력부(880)를 포함할 수 있다.
디스플레이부(810)는 사용자의 요청 입력에 대응하는 정보, 사용자의 요청 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시할 수 있다.
도 4 내지 도 7을 참조하여 상술한 것과 같이, 상기 디스플레이부(810)는 헤드 디스플레이(312)와 바디 디스플레이(21a)를 포함할 수 있다. 상기 바디 디스플레이(21a)는 상대적으로 상기 헤드 디스플레이(312)보다 대화면으로 구현되므로, 상기 바디 디스플레이(21a)에 정보를 대화면으로 표시하는 것이 더 바람직할 수 있다.
또한, 음향 출력부(880)는 제어부(840)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 요청 입력에 대응하는 정보, 사용자의 요청 입력에 대응하는 처리 결과 등을 음향으로 출력할 수 있다. 음향 출력부(880)는, 제어부(840)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
한편, 이동 로봇(100a)은 소정 범위를 촬영할 수 있는 영상 획득부(820)를 포함할 수 있다.
영상 획득부(820)는 이동 로봇(100a) 주변, 외부 환경 등을 촬영하는 것으로, 카메라 모듈을 포함할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다.
예를 들어, 도 4 내지 도 7을 참조하여 상술한 것과 같이, 상기 영상 획득부(820)는, 사람과 사물 인식을 위한 헤드 카메라부(313)와 안내 대상의 식별 및 추적을 위한 바디 카메라부(25a)를 포함할 수 있다. 하지만, 영상 획득부(820)가 구비하는 카메라의 개수, 배치, 종류, 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다.
영상 획득부(820)는, 사용자 인식용 영상, 가상 피팅 서비스용 영상을 촬영할 수 있다. 제어부(840)는 상기 영상 획득부(820)가 촬영하여 획득된 영상에 기초하여 외부 상황을 판단하거나, 사용자를 인식하고 사용자의 신체 정보를 판별할 수 있다.
또한, 상기 제어부(840)는, 상기 영상 획득부(820)가 촬영하여 획득하는 영상에 기초하여 이동 로봇(100a)이 주행하도록 제어할 수 있다.
한편, 상기 영상 획득부(820)가 촬영하여 획득된 영상은 저장부(830)에 저장될 수 있다.
한편, 이동 로봇(100a)은 이동을 위한 구동부(860)를 포함할 수 있고, 상기 구동부(860)는 제어부(840)의 제어에 따라, 본체(10a)를 이동시킬 수 있다.
구동부(860)는 이동 로봇(100a)은 본체(10a)를 이동시키는 적어도 하나의 구동 바퀴(112)를 포함한다. 구동부(860)는 구동 바퀴(112)에 연결되어 구동 바퀴를 회전시키는 구동 모터(미도시)를 포함할 수 있다. 구동 바퀴(112)는 본체(10a)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜과 우륜이라고 한다.
좌륜과 우륜은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜을 구동시키는 좌륜 구동 모터와 우륜을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜과 우륜의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(10a)의 주행방향을 전환할 수 있다.
한편, 이동 로봇(100a)은 이동 로봇(100a)의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들을 포함하는 센서부(870)를 포함할 수 있다.
상기 센서부(870)는 장애물을 감지하는 장애물 감지 센서를 포함할 수 있고, 상기 장애물 감지 센서는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서 등을 포함할 수 있다. 예를 들어. 상기 장애물 감지 센서는 도 4 내지 도 7을 참조하여 상술한 초음파 센서(333), RGBD 센서(321) 등이 해당될 수 있다.
또한, 상기 센서부(870)는 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 절벽 감지 센서(113)를 더 포함할 수 있다.
실시예에 따라서는, 상기 센서부(870)는 마이크(314)를 통해 획득되는 소리의 크기를 감지하는 센서를 더 포함할 수 있고, 이에 따라, 사용자가 발화하는 음성의 크기, 주변 소음의 크기를 센싱할 수 있다.
또는, 별도의 센서를 더 포함하지 않고, 음성 입력부(825)가 마이크(314)를 통해 획득되는 신호의 처리 과정에서 사용자의 음성, 주변 소음의 크기를 판별할 수 있다.
또한, 상기 센서부(870)는 라이더(light detection and ranging: Lidar, 136, 118)를 포함할 수 있다.
라이더(136, 118)는, 레이저(Laser) 광을 매개로, 송신 신호와 수신 신호의 TOF(Time of Flight) 또는 송신 신호와 수신 신호의 위상차(phase difference)를 기초로, 장애물 등 오브젝트를 검출할 수 있다.
또한, 상기 라이더(132a, 132b)는, 오브젝트와의 거리, 오브젝트와의 상대 속도 및 오브젝트의 위치를 검출할 수 있다.
상기 라이더(132a, 132b)는, 상기 장애물 감지 센서의 구성 중 일부로써 구비될 수 있다. 또한, 상기 라이더(132a, 132b)는, 맵(map) 작성을 위한 센서로써 구비될 수도 있다.
한편, 상기 장애물 감지 센서는 이동 로봇의 주행(이동) 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어부(840)에 전달한다. 이때, 제어부(840)는, 감지된 장애물의 위치에 따라 이동 로봇(100a)의 움직임을 제어할 수 있다.
한편, 상기 센서부(870)는 본체(101)의 구동에 따른 이동 로봇(100a)의 동작을 감지하고 동작 정보를 출력하는 동작 감지 센서를 더 포함할 수 있다. 예를 들어, 동작 감지 센서로는, 자이로 센서(Gyro Sensor), 휠 센서(Wheel Sensor), 가속도 센서(Acceleration Sensor) 등을 사용할 수 있다.
자이로 센서는, 이동 로봇(100a)이 운전 모드에 따라 움직일 때 회전 방향을 감지하고 회전각을 검출한다. 자이로 센서는, 이동 로봇(100a)의 각속도를 검출하여 각속도에 비례하는 전압 값을 출력한다. 제어부(840)는 자이로 센서로부터 출력되는 전압 값을 이용하여 회전 방향 및 회전각을 산출한다.
휠 센서는, 좌륜과 우륜에 연결되어 바퀴의 회전수를 감지한다. 여기서, 휠 센서는 로터리 엔코더(Rotary Encoder)일 수 있다. 로터리 엔코더는 좌륜과 우륜의 회전수를 감지하여 출력한다.
제어부(840)는 회전수를 이용하여 좌, 우측 바퀴의 회전 속도를 연산할 수 있다. 또한, 제어부(840)는 좌륜과 우륜의 회전수 차이를 이용하여 회전각을 연산할 수 있다.
가속도 센서는, 이동 로봇(100a)의 속도 변화, 예를 들어, 출발, 정지, 방향 전환, 물체와의 충돌 등에 따른 이동 로봇(100a)의 변화를 감지한다. 가속도 센서는 주 바퀴나 보조바퀴의 인접 위치에 부착되어, 바퀴의 미끄러짐이나 공회전을 검출할 수 있다.
또한, 가속도 센서는 제어부(840)에 내장되어 이동 로봇(100a)의 속도 변화를 감지할 수 있다. 즉, 가속도 센서는 속도 변화에 따른 충격량을 검출하여 이에 대응하는 전압 값을 출력한다. 따라서, 가속도 센서는 전자식 범퍼의 기능을 수행할 수 있다.
제어부(840)는 동작 감지 센서로부터 출력된 동작 정보에 기초하여 이동 로봇(100a)의 위치 변화를 산출할 수 있다. 이러한 위치는 영상 정보를 이용한 절대 위치에 대응하여 상대 위치가 된다. 이동 로봇은 이러한 상대 위치 인식을 통해 영상 정보와 장애물 정보를 이용한 위치 인식의 성능을 향상시킬 수 있다.
발광부(850)는, 복수의 발광모듈을 포함할 수 있다. 예를 들어, 도 4 내지 도 7을 참조하여 설명한 것과 같이, 발광부(850)는, 각각 하나 이상의 발광다이오드(LED)를 포함하는 발광모듈들(40a)을 포함할 수 있다.
또한, 상기 발광모듈들(40a)은, 상기 바텀 커버(34a)에 배치될 수 있고, 발광모듈들(40a)은 제어부(840)의 제어에 따라 동작할 수 있다.
예를 들어, 제어부(840)는, 발광모듈들(40a) 중 적어도 하나가, 이동 로봇의 동작 상태에 따라 소정 색상의 광을 출력하거나, 소정 주기로 점멸하도록 제어할 수 있다. 또한, 제어부(840)는, 발광모듈들(40a) 중 2이상의 발광모듈이 이동 로봇의 동작 상태에 따라 소정 패턴으로 광을 출력하도록 제어할 수 있다.
상기 발광부(850)의 발광모듈들(40a)은, 각각 하나 이상의 광원을 포함할 수 있다. 예를 들어, 발광모듈들(40a)은, 각각 하나 이상의 발광다이오드(Light Emitting Diode, LED)를 포함할 수 있다.
기존의 아날로그 방식의 조명은 조도를 정밀하게 제어하는데 한계가 있었으나, 발광다이오드(LED)는 인가되는 전류량과 구동펄스의 폭을 조절하여 조도를 정밀하게 조절할 수 있다. 또한, R, G, B 색상의 발광다이오드(LED)들이 조합되어 설치된 경우, 특정 색상의 광을 제공할 수 있고, 색 온도의 조절을 용이하게 할 수 있다.
발광다이오드(LED)는 적색(Red), 청색(Blue), 녹색(Green), 및 백색(White) 등의 단색 발광다이오드(LED)일 수도 있다. 실시예에 따라서는 발광다이오드(LED)는 복수의 색상 재현이 가능한 다색 발광다이오드(LED)일 수도 있다.
또한, 상기 발광모듈들(40a)은 복수의 발광다이오드(LED)를 포함할 수 있고, 복수의 발광다이오드(LED)는 모두 백색광을 발광하여 백색의 조명을 제공할 수 있고, 적색(Red), 청색(Blue), 녹색(Green) 발광다이오드(LED)들을 조합하여 특정 색상의 조명 또는 백색의 조명을 제공할 수 있다.
예를 들어, 상기 발광모듈들(40a)은, 정상 동작 상태를 나타내는 제1 색상(White), 일시 정지 상태를 나타내는 제2 색상(Yellow), 정지, 에러 상태를 나타내는 제3 색상(Red)의 광을 출력할 수 있다.
상기 발광모듈들(40a)은, 출력하는 광을 색상, 패턴을 통해 현재 동작 상태를 표시하고, 사람들에게 이동 로봇(100a)의 주행 상태, 동작 상태를 알리는 일종의 신호등 역할을 수행할 수 있다.
또한, 제어부(840)는 발광부(850)를 제어할 수 있다.
예를 들어, 상기 제어부(840)는, 이동 로봇(100a)의 현재 상태에 따라 상기 발광모듈들(40a) 중 적어도 하나가 소정 색상의 광을 출력하도록 제어할 수 있다. 또한, 상기 제어부(840)는, 상기 발광모듈들(40a) 중 적어도 하나 소정 시간 동안 소정 주기로 점멸하도록 제어할 수 있다.
이동 로봇(100a)이 이동(주행)할 때, 사용자가 정보 확인, 설정 입력, 기타 조작을 위해 이동 로봇(100a)에 근접하거나, 어린이 등이 호기심에 이동 로봇(100a)을 만질 때에도, 이동 로봇(100a)이 계속 주행하면 충돌 등 안전사고가 발생할 수 있다.
특히, 공항, 기차역, 터미널, 백화점, 마트 등의 공공장소는 유동 인구가 많고, 그에 따른 돌발 변수도 많아 안전 사고 발생 위험이 더 크다.
따라서, 본 발명에 따른 이동 로봇(100a)은, 공공장소에서 동작 시, 전발광부(850)를 통하여, 이동 로봇(100a)의 현재 동작상태를 나타내는 광을 출력함으로써, 공공장소에 존재하는 사람들이 이동 로봇(100a)의 현재 상태를 쉽게 알 수 있게 하는 신호 정보를 제공할 수 있다. 이에 따라 공공장소에서 사람과 이동 로봇(100a) 간의 사고 가능성을 감소시킬 수 있다.
상기 발광모듈들(40a)은, 이동 로봇(100a)의 하단인 상기 바텀 커버(34a)에 상기 제2 디스플레이(21a)와 떨어져 배치됨으로써, 사람의 눈높이와 제2 디스플레이(21)에 비해 상대적으로 낮은 위치에 배치될 수 있다. 이에 따라, 상기 발광모듈들(40a)이 특정 광을 지속적으로 출력하거나 점멸할 때, 사람들이 눈부심을 덜 느낄 수 있고, 상기 발광모듈들(40a)의 출력 광과 바디 디스플레이(21a)의 출력 영상이 서로의 시인성을 떨어뜨리는 것을 방지할 수 있다.
바람직하게는, 발광모듈들(40a)은, 상기 바텀 커버(34a)의 둘레를 따라 배치될 수 있다. 상기 발광모듈들(40a)이 수평 방향으로 상기 바텀 커버(34a)의 둘레를 감싸도록 배치됨으로써, 사람들은 360도 어느 방향에서나 상기 발광모듈들(40a)에서 출력되는 광을 볼 수 있다.
한편, 상기 발광모듈들(40a)이 복수의 행(row)을 가지고, 다단으로 배치될 수 있다. 이에 따라, 상기 발광모듈들(40a)이 출력하는 광의 시인성을 더욱 높일 수 있다.
도 9는 본 발명의 일 실시예에 따른 로봇의 제어 방법을 도시한 순서도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 로봇(100)은 피팅(fitting) 서비스 요청을 포함하는 사용자 입력을 수신할 수 있다(S910). 더욱 바람직하게 본 발명의 일 실시예에 따른 이동 로봇(100a)은 피팅(fitting) 서비스 요청을 포함하는 사용자 입력을 수신할 수 있다(S910).
본 발명의 일 실시예에 따른 이동 로봇(100a)이 제공하는 피팅 서비스는, 사용자의 아바타를 생성하고, 생성된 사용자의 아바타가 옷을 가상으로 착용해보는 가상 피팅(virtual fitting) 서비스일 수 있다.
소비자가 많은 옷들을 직접 입어보는 경우에, 입어볼 옷들을 고르는 시간, 옷들을 가지고 피팅 룸을 왕복하는 시간, 옷들을 입는 시간 등으로 시간이 오래 걸리고 불편할 수 있다. 하지만, 가상 피팅 서비스를 이용하면, 소비자가 자신의 아바타를 통해 가상으로 옷을 착용해 보는 볼 수 있고, 착용하는 옷을 빠르게 변경해 볼 수 있는 장점이 있다.
이동 로봇(100a)은 상기 피팅 서비스 요청을 포함하는 사용자 입력을 터치 또는 음성으로 수신할 수 있다. 이 경우에, 사용자는 이동 로봇(100a)의 영상 획득부(820)가 구비하는 카메라의 화각에서 벗어나 있을 수 있다. 예를 들어, 사용자는 이동 로봇(100a)의 측면, 후면으로 돌아가면서 음성으로 상기 피팅 서비스를 요청할 수 있다. 또한 이동 로봇(100a)의 정면에서 사용자가 터치 또는 음성으로 상기 피팅 서비스를 요청하는 경우에도 이동 로봇(100a)의 영상 획득부(820)가 구비하는 카메라에 사용자가 너무 가까워 신체 스캔에 충분한 정도로 사용자를 촬영하는 것이 어려울 수 있다. 실시예에 따라서, 신체 스캔을 위해서는 적어도 사용자의 무릎부터 머리까지 또는 발목부터 머리까지의 영상 데이터 확보가 필요할 수 있다.
본 발명의 일 실시예에 따르면, 상기 피팅 서비스 요청을 포함하는 사용자 입력의 수신(S910)에 따라, 제어부(840)는, 현재 위치에서의 상기 피팅 서비스에 설정된 신체 특정 부위를 포함하는 영상 데이터의 획득 가능 여부를 판별할 수 있다(S913).
여기서, 상기 피팅 서비스에 설정된 신체 특정 부위는 신체 전부일 수 있다.
또는, 상기 피팅 서비스에 설정된 신체 특정 부위는 특정 관절부터 머리까지일 수 있다. 예를 들어 무릎부터 머리까지, 발목부터 머리까지일 수 있다.
또는, 상기 피팅 서비스에 설정된 신체 특정 부위는 특정 관절의 위부터 머리까지일 수 있다. 예를 들어 무릎 위부터 머리까지, 발목 위부터 머리까지일 수 있다.
기설정된 기준에 따라 필요한 신체의 특정 부위를 포함하는 영상 데이터를 획득할 수 없다면(S913), 제어부(840)는, 이동 로봇(100a)이 상기 피팅 서비스에 설정된 신체 특정 부위를 포함하는 영상 데이터를 획득할 수 있는 위치로 이동하도록 구동부(860)를 제어할 수 있다(S915).
이에 따라, 사용자는 신체 스캔을 위해 움직일 필요가 없어 사용 편의성이 향상될 수 있다.
이동(S915) 후에, 기설정된 기준에 따라 필요한 신체의 특정 부위를 포함하는 영상 데이터를 획득할 수 있다면(S913), 이동 로봇(100a)은 영상 획득부(820)를 통하여 상기 사용자의 신체를 스캔(scan)할 수 있다(S920).
또는, 상기 피팅 서비스 요청을 포함하는 사용자 입력의 수신(S910)시, 위치에서 기설정된 기준에 따라 필요한 신체의 특정 부위를 포함하는 영상 데이터를 획득할 수 있다면(S913), 이동 로봇(100a)은 영상 획득부(820)를 통하여 상기 사용자의 신체를 스캔(scan)할 수 있다(S920).
즉, 상기 피팅 서비스에 설정된 신체 특정 부위를 포함하는 영상 데이터를 획득할 수 있는 경우에, 제어부(840)는 상기 사용자의 신체를 스캔(scan)하도록 상기 영상 획득부(820)를 제어할 수 있다.
이동 후 또는 이동 없이, 기설정된 기준에 따라 필요한 신체의 특정 부위를 포함하는 영상 데이터를 획득할 수 있다면(S913), 이동 로봇(100a)은 영상 획득부(820)를 통하여 상기 사용자의 신체를 스캔(scan)할 수 있다(S920).
이동 로봇(100a)은 영상 획득부(820)에 구비되는 하나 이상의 3D 비전 센서를 이용하여 사용자를 촬영하고, 사용자의 신체를 스캔할 수 있다.
여기서, 사용자를 촬영하여 영상 데이터를 획득하고 획득된 영상 데이터에 기초하여 사용자의 신체 정보를 판별하는 것을 의미할 수 있다.
본 발명의 일 실시예에 따른 이동 로봇(100a)은 상기 헤드 카메라부(313)에 포함되는 RGBD 센서(313b, 313c) 또는 상기 바디 카메라부(25a)에 포함되는 RGBD 센서(321)를 이용하여 상기 사용자의 신체를 스캔할 수 있다.
또는, 스캔 정확도를 더욱 향상하기 위하여, 이동 로봇(100a)은 상기 헤드 카메라부(313)에 포함되는 RGBD 센서(313b, 313c) 및 상기 바디 카메라부(25a)에 포함되는 RGBD 센서(321)를 이용하여 상기 사용자의 신체를 스캔할 수 있다.
제어부(840)는, 영상 획득부(820)를 통하여 획득된 사용자 이미지들에 기초하여 상기 사용자의 신체 정보를 판별하고, 상기 사용자의 신체 정보를 모델링(modeling)함으로써 3차원 아바타 캐릭터를 생성할 수 있다(S930).
제어부(840)는, 사용자 이미지로부터 사용자의 신체 각 부분의 정보를 추출할 수 있다.
예를 들어, 제어부(840)는, 스켈레톤(skeleton) 기법으로 신체 부위별 꼭지점을 도출하고, 도출된 꼭지점 기반으로 신체 치수를 추정하여 사용자의 신체 정보를 판별할 수 있다.
이동 로봇(100a)은, 영상 획득부(820)에 구비되는 하나 이상의 3D 비전 센서를 이용하여 사용자를 촬영하고, 사용자 이미지를 획득할 수 있다. 상기 사용자 이미지는 깊이(Depth) 데이터를 포함할 수 있다.
제어부(840)는, 깊이(Depth) 데이터를 포함하는 사용자 이미지로부터 사용자의 키, 팔 길이, 다리 길이, 관절의 위치 등 사용자의 신체 정보를 판별할 수 있다.
실시예에 따라서, 피팅 서비스 과정 중에 이동 로봇(100a)은 서버(10)와 통신할 수 있다.
예를 들어, 이동 로봇(100a)은, 사용자가 이동 로봇(100a)의 정면에 위치하는 지 여부, 사용자가 얼마나 이동 로봇(100a)의 정면으로부터 떨어져 있는지 여부, 사용자의 자세, 사용자의 신체 치수 중 적어도 하나를 판별하기 위해, 서버(10)와 통신할 수 있다. 또한, 아바타 캐릭터의 생성에도 서버(10)에 저장된 데이터를 활용할 수 있다.
이동 로봇(100a)은, 영상 획득부(820) 및/또는 센서부(870)가 획득하는 데이터를 서버(10)로 송신할 수 있고, 서버(10)는 기저장된 참조 데이터와 비교하여, 사용자의 자세, 신체 치수 등을 판별할 수 있다. 서버(10)는 판별된 정보를 상기 이동 로봇(100a)으로 응답할 수 있다.
실시예에 따라서, 서버(10)는 영상 기반으로 사용자의 자세, 신체 치수 등을 판별하도록 학습된 인공지능을 포함할 수 있다. 또한, 서버(10)에서 학습된 인공지능은 이동 로봇(100a)에 다운로드되거나, 서버(10)에서 학습된 인공지능 데이터에 기초하여 이동 로봇(100a)의 인공지능 데이터가 업데이트될 수 있다. 이 경우에, 이동 로봇(100a)은 영상 기반으로 학습된 인공지능으로 상기 사용자를 촬영한 사용자 이미지를 인식하여 상기 사용자의 아바타 캐릭터를 생성할 수 있다.
한편, 제어부(840)는, 사용자 이미지로부터 사용자의 체형 윤곽 정보를 판별할 수 있다.
실시예에 따라서, 이동 로봇(100a)은 디스플레이부(810)에 주의 사항, 스캔을 위한 사용자의 동작 등을 안내하는 메시지를 출력할 수 있다.
예를 들어, 사용자가 팔을 벌리고 서 있으면, 스캔 정확도가 향상되는 경우에, 제어부(840)는 사용자가 팔을 벌리고 서 있으라는 안내 메시지가 디스플레이부(810)에 표시되도록 제어할 수 있다.
도 10은 본 발명의 일 실시예에 따른 로봇의 제어 방법을 도시한 순서도로, 도 9의 스캔 단계(S920)에서 이동 로봇(100)의 회전 동작을 포함하는 실시예를 상세히 도시한 순서도이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100a)은 영상 획득부(820)를 통하여 상기 사용자를 촬영할 수 있다(S1020).
한편, 1회의 사용자 촬영으로 사용자의 신체 정보를 판별하고, 아바타 캐릭터를 생성할 수 있으나, 신체 정보 판별의 정확도를 향상하기 위하여 다른 각도로 사용자를 촬영한 복수의 이미지를 이용하는 것이 바람직하다.
이를 위해, 종래에는 다수의 카메라가 설치된 전용 공간에서 사용자를 촬영하는 방법 등이 제안되었으나, 전용 공간을 이용하는 것은 의류 매장 공간 활용도를 떨어뜨리고 많은 비용이 소요되는 문제점이 있었다.
따라서, 전용 공간을 구비하지 않고 사용자에게 스캔 장치 앞에서 360도 회전할 것을 요구할 수 있다.
사용자가 다른 사람들이 있는 의류 매장 등에서 360도 회전하는 동작에 거부감, 불편함을 느낄 수 있으므로, 더 바람직하게는, 이동 로봇(100a)이 상기 사용자를 중심으로 회전 이동할 수 있다(S1030).
이동 로봇(100a)은, 이동(S1030) 후에 상기 사용자를 촬영(S1040)함으로써, 사용자에게 불편한 특정 동작들을 요구하지 않으면서도, 다른 각도의 사용자 이미지들을 확보할 수 있다.
또한, 제어부(840)는, 상기 촬영들(S1020, S1040)로 획득된 사용자 이미지들에 기초하여 상기 사용자의 신체 정보를 판별할 수 있다(S1050). 이에 따라, 다양한 각도의 이미지로 더욱 정확한 신체 스캔이 가능하다.
한편, 상기 제어부(840)는, 상기 회전 이동(S1030) 중에 연속적으로 또는 주기적으로 영상들을 획득하도록 제어할 수 있다.
즉, 이동(S1030) 후에만 상기 사용자를 촬영(S1040)하는 것이 아니라, 상기 회전 이동(S1030) 중에도 다른 각도의 이미지들을 확보함으로써 더욱 정확한 신체 스캔이 가능하다. 신체 스캔 정확도를 가장 높이기 위하여, 이동 로봇(100a)이 사용자를 중심으로 360도로 원을 그리면서 이동할 수 있고, 이동 중에 사용자들을 연속적으로 또는 소정 주기로 촬영할 수도 있다.
아바타 캐릭터 생성 단계(S930)에서, 제어부(840)는 사용자의 신체 정보를 판별하고, 판별된 신체 정보에 기초하여 사용자의 아바타 캐릭터를 생성할 수 있다.
실시예에 따라서, 이동 로봇(100a)은 디스플레이부(810)에 스캔을 위한 사용자의 동작을 안내하는 메시지를 출력할 수 있다(S1010).
예를 들어, 사용자가 팔을 벌리고 서 있으면, 스캔 정확도가 향상되는 경우에, 제어부(840)는 사용자가 팔을 벌리고 서 있으라는 안내 메시지가 디스플레이부(810)에 표시되도록 제어할 수 있다.
또한, 이동 로봇(100a)은 디스플레이부(810)에 주의 사항을 안내하는 메시지를 출력할 수 있다.
예를 들어, 제어부(840)는, 두꺼운 옷을 입고 있는 경우에, 신체 스캔 결과가 실제와 차이가 다를 수 있다는 등 주의 사항을 안내하는 안내 메시지가 디스플레이부(810)에 표시되도록 제어할 수 있다.
또한, 제어부(840)는 스캔(S920) 중에 스캔 진행도를 나타내는 텍스트(text) 및 그래픽 이미지가 디스플레이부(810)에 표시되도록 제어할 수 있다. 이에 따라 사용자는 스캔 정도를 직관적으로 알 수 있다.
한편, 제어부(840)는, 스캔(S920) 및 아바타 생성(S930)이 완료되면, 가상 피팅 영상을 포함하는 유저 인터페이스 화면이 디스플레이부(810)에 표시되도록 제어할 수 있다(S940).
예를 들어, 제어부(840)는, 상기 스캔 결과에 기초하여 생성된 상기 사용자의 아바타 캐릭터와 상기 사용자가 선택한 옷의 이미지를 합성한 합성 영상을 포함하는 유저 인터페이스 화면이 디스플레이부(810)에 표시되도록 제어할 수 있다(S940).
사용자는, 상기 피팅 서비스 요청(S910) 전에 옷을 먼저 선택할 수 있고, 옷을 먼저 고른 후 안내 로봇(100a)의 추천에 따라 상기 피팅 서비스를 요청할 수 있다(S910).
또는, 사용자는, 상기 피팅 서비스 요청(S910) 후에 옷을 선택할 수 있다.
예를 들어, 사용자가 상기 피팅 서비스를 요청하면(S910), 안내 로봇(100a)은 피팅 서비스를 이용할 수 있는 옷에 대응하는 항목들을 디스플레이부(810)에 표시하고, 사용자의 옷 선택 입력을 수신할 수 있다. 또는, 상기 아바타 캐릭터 생성(S910) 후에, 안내 로봇(100a)은 피팅 서비스를 이용할 수 있는 옷에 대응하는 항목들을 디스플레이부(810)에 표시하고, 사용자의 옷 선택 입력을 수신할 수 있다.
한편, 제어부(840)는, 상기 스캔 결과에 기초하여 생성된 상기 사용자의 아바타 캐릭터를 생성하고(S930), 생성된 아바타 캐릭터에 옷을 오버레이(overlay)하여 표시할 수 있다.
또한, 제어부(840)는, 생성된 아바타 캐릭터에 옷의 3차원 모델을 합성할 수 있다.
이를 위해, 이동 로봇(100a)은, 옷의 3차원 모델링 데이터를 서버(10)로부터 수신할 수 있다.
서버(10)에는 피팅 서비스를 제공할 옷들을 촬영 데이터 및/또는 상기 옷들의 촬영 데이터에 기초하여 생성된 3차원 모델링 데이터가 저장될 수 있다.
이동 로봇(100a)은 서버(10)로부터 피팅 서비스를 제공할 옷들의 3차원 모델링 데이터 등 피팅 서비스에 필요한 데이터를 다운로드할 수 있다.
본 발명에 따르면, 로봇이 이동하면서 편리하게 가상 피팅 서비스를 제공할 수 있어, 사용 편의성을 향상할 수 있다.
또한, 사용자는 아바타 캐릭터에 추천받은 옷 등 다양한 옷을 간편하게 착용시켜보고 마음에 드는 옷을 구매할 수 있다.
한편, 상기 스캔(S920) 중 또는 후에, 상기 영상 획득부(120)의 카메라 뷰(view) 화면을 디스플레이부(810)에 표시할 수 있다.
이 경우에, 상기 카메라 뷰(view) 화면 상에 적어도 하나의 사용자 이미지에 기초한 체형 윤곽 정보를 표시할 수 있다. 즉, 제어부(840)는 1차 촬영(S1020)으로 획득된 사용자 이미지에 기초하여 판별된 사용자의 체형 윤곽 정보를 상기 카메라 뷰 화면 상에 표시함으로써, 사용자가 자신의 신체 윤곽을 확인하고 스캔이 수행 중임을 직관적으로 파악하는데 도움을 줄 수 있다.
한편, 회전 이동(S1030)을 포함하는 실시예의 경우에, 제어부(840)는 회전 이동(S1030)에 따라 상기 체형 윤곽 정보를 변경 표시하도록 제어할 수 있다. 이동 로봇(100a)의 회전 이동(S1030)에 따라 상기 영상 획득부(120)의 카메라는 사용자를 다른 방향에서 바라보게 되고, 다른 각도의 영상을 촬영하게 된다. 따라서, 상기 카메라 뷰 화면 상에 회전에 따라 변경되는 체형 윤곽 정보를 표시함으로써, 사용자가 이동 로봇(100a)의 회전 이동(S1030) 및 촬영되는 화면을 확인하는데 도움을 줄 수 있다.
또는, 제어부(840)는 사용자의 움직임에 따라 상기 체형 윤곽 정보를 변경 표시하도록 제어할 수 있다. 이에 따라, 사용자는 자신의 움직임에 따라 신체 스캔이 영향을 받거나 어떻게 수행되는 지를 직관적으로 알 수 있다.
또한, 제어부(840)는 스캔(S920) 중에 상기 체형 윤곽 정보와 스캔 진행도를 나타내는 텍스트(text) 및 그래픽 이미지가 디스플레이부(810)에 표시되도록 제어할 수 있다. 이에 따라 사용자는 스캔 정도를 직관적으로 알 수 있다.
실시예에 따라서, 스캔 진행도를 나타내는 텍스트(text) 및 그래픽 이미지는 상기
한편, 제어부(840)는 스캔(S920)이 완료되면 상기 스캔 완료를 알리는 메시지와 상기 사용자의 신체 정보에 기초한 추천 사이즈(size) 정보를 표시하도록 디스플레이부(810)를 제어할 수 있다.
이에 따라, 아바타 캐릭터 외에도 스캔 결과에 따른 추천 사이즈(size) 정보를 사용자에게 제공할 수 있다.
실시예에 따라서, 신체 스캔(S920) 시 이동 로봇(100a)과 사용자 사이의 기준거리가 설정될 수 있다. 예를 들어, 기준거리가 1m로 설정된 경우에, 이동 로봇(100a)은 기준거리인 1m 만큼 사용자와 떨어진 위치에서 사용자를 촬영하고, 기준거리 1m에 설정된 기준 신체 치수 값과 영상 내 신체 치수 값들에 비례식을 적용하여 사용자의 신체 치수를 판별할 수 있다.
이를 위해, 이동 로봇(100a)은 사용자에게 기준거리를 안내하고, 기준거리만큼 이동 로봇(100a)에 떨어져 있을 것을 안내할 수 있다.
피팅 서비스를 이용하는 사용자는 이동 로봇(100a)의 안내에 따라 이동 로봇(100a)으로부터 기준거리만큼 떨어진 위치로 이동하여 자신의 신체를 정확하게 스캔할 수 있다.
더욱 바람직하게, 제어부(840)는, 이동 로봇(100a)과 사용자와의 거리가 기설정된 기준거리가 되도록 이동 로봇(100a)이 전진 또는 후진 이동하도록 제어할 수 있다.
본 실시예에 따르면, 사용자에게 이동을 요구하지 않고, 이동 로봇(100a)이 자동으로 사용자와의 거리를 기준거리로 맞추게 된다.
이에 따라, 사용자의 움직임을 최소화하면서도 정확하게 사용자의 신체 정보를 판별하고 아바타를 생성할 수 있고, 아바타를 이용하여 다양한 정보를 포함하는 가상 피팅 서비스를 제공할 수 있다.
실시예에 따라서, 신체 스캔에 따라 판별된 신체 정보를 사용자에게 제공하여 확인받는 과정을 거칠 수 있다. 이 경우에, 사용자가 수동으로 신체 정보 중 적어도 일부를 수정할 수 있는 메뉴를 제공할 수도 있다.
본 발명의 일 실시예에 따르면, 이동 로봇(100a)은 통신부(890)를 통하여 서버(10)로부터 신규 상품 정보, 인기 상품 정보, 이벤트 정보 중 적어도 하나를 수신할 수 있고, 상기 수신된 정보에 기초하여 소정 상품을 사용자에게 추천할 수 있다.
사용자는 디스플레이부(810)에 표시되는 추천 상품을 확인할 수 있고, 추천 상품에 대한 피팅 서비스를 요청할 수 있다.
본 발명의 일 실시예에 따르면, 이동 로봇(100a)은 사용자를 식별할 수 있다.
예를 들어, 이동 로봇(100a)은 바코드 등을 식별할 수 있는 스캐너를 구비할 수 있고, 사용자가 제시하는 카드 또는 전자기기의 화면 등에 포함되는 바코드, QR 코드 등을 인식하여 인식된 정보를 기저장된 고객 데이터베이스와 비교함으로써 사용자를 인식할 수 있다.
또는, 이동 로봇(100a)은 영상 획득부(820)를 통하여 전방에 있는 사용자의 얼굴 영상을 획득하고, 획득된 사용자 얼굴 영상 데이터를 기저장된 고객 데이터베이스와 비교함으로써 사용자를 인식할 수 있다.
이 경우에, 이동 로봇(100a)은 통신부(890)를 통하여 서버(10)로 식별된 사용자의 정보를 요청할 수 있다.
보안 정책, 데이터양, 시스템 자원의 문제로 이동 로봇(100a)이 고객 데이터베이스를 구비하지 않는 경우에는, 이동 로봇(100a)이 바코드, QR 코드 등을 인식하여 인식된 식별 정보 또는 획득된 사용자 얼굴 영상 데이터를 서버(10)로 송신할 수 있고, 서버(10)로부터 확인된 사용자 정보를 수신할 수 있다.
한편, 서버(10)는 식별된 사용자의 이전 구매 내역, 선호 상품 정보, 피팅 내역 정보 등도 이동 로봇(100a)으로 송신할 수 있다.
이동 로봇(100a)은 통신부(890)를 통하여, 서버(10)로부터 상기 사용자의 이전 구매 내역 또는 피팅 내역 정보를 수신할 수 있고, 상기 수신된 상기 사용자의 이전 구매 내역 또는 피팅 내역에 기초하여 소정 상품을 추천할 수 있다.
또는, 서버(10)가 상기 사용자의 이전 구매 내역 또는 피팅 내역 정보에 기초하여 상기 추천 상품을 판별하고, 판별된 추천 상품에 대한 정보를 이동 로봇(100a)으로 전달할 수 있다.
한편, 본 발명에 따르면, 가상 피팅 서비스 제공 전 개인 정보 관련 사용자의 승인을 요청할 수 있다.
이를 위해, 가상 피팅 서비스와 관련된 설명 및 주의 전문, 개인 정보 수집/이용 동의 전문 등을 디스플레이부(810)에 표시하고, 사용자 동의 후에 서비스를 시작할 수 있다.
또한, 사용자 동의 후에 사용자 및 피팅 관련 정보를 이용할 수 있다.
이동 로봇(100a)은, 서버(10)로 상기 판별된 신체 정보를 송신할 수 있다. 이에 따라, 서버(10)는 사용자의 피팅 내역을 저장하고 관리할 수 있다.
실시예에 따라서, 이동 로봇(100a)은 사용자를 촬영하고 촬영된 영상 데이터를 서버(10)로 송신하고, 서버(10)에서 수신한 영상 데이터에 기초하여 사용자의 신체 정보를 판별하고 아바타 캐릭터를 생성할 수 있다.
실시예에 따라서, 이동 로봇(100a)은 사용자를 식별하고, 서버(10)에 식별된 사용자의 정보를 요청하여, 상기 서버(10)로부터 상기 사용자의 신체 정보를 수신할 수 있다.
이에 따라, 이동 로봇(100a)은 촬영으로 획득된 영상 데이터에 기초한 신체 정보와 서버(10)로부터 수신한 신체 정보를 종합적으로 활용하여 아바타 캐릭터를 생성할 수 있다.
한편, 이동 로봇(100a)이 제공하는 가상 피팅 유저 인터페이스 화면은, 선택한 옷의 옵션을 변경할 수 있는 상품 옵션 항목을 더 포함할 수 있다. 예를 들어, 사용자는 상품 옵션 항목을 선택하여 옷의 색상, 사이즈 등을 변경할 수 있다.
또한, 상기 유저 인터페이스 화면은, 상기 상품 옵션 항목 중 상기 사용자의 신체 정보에 기초한 추천 사이즈(size)에 대응하는 사이즈가 선택되는 경우에, 상기 추천 사이즈에 대한 정보를 더 표시할 수 있다. 이에 따라, 사용자는 자신의 신체에 맞는 사이즈를 알 수 있다.
또한, 상기 유저 인터페이스 화면은, 상기 아바타 캐릭터에 합성되는 상기 선택한 옷의 사이즈와 색상을 변경할 수 있는 유저 인터페이스 화면에 대응하는 스타일 메뉴 항목과 상기 아바타 캐릭터에 합성되는 상기 선택한 옷의 사이즈를 변경하면서 상기 선택한 옷이 상기 아바타 캐릭터에 타이트(tight)한 정도를 색상으로 나타내는 유저 인터페이스 화면에 대응하는 피트(fit) 메뉴 항목을 더 포함할 수 있다.
본 발명의 실시예들에 따른 가상 피팅 유저 인터페이스 화면에 대해서는 도 도 13 내지 도 19를 참조하여 상세히 후술한다.
도 11a 내지 도 20은 본 발명의 실시예에 따라 로봇이 제공하는 가상 피팅 서비스에 관한 설명에 참조되는 도면이다.
도 11a와 도 11b를 참조하면, 이동 로봇(100a)은 의류 매장에 배치되어 의류 상품, 이벤트에 대해 안내할 수 있다.
한편, 이동 로봇(100a)은 대기 중에 상품 정보, 이벤트 정보 또는 기타 대기 화면을 디스플레이부(810)에 표시하거나 상품 정보, 이벤트 정보 등을 음향 출력부(880)를 통하여 음성으로 출력할 수 있다.
또한, 이동 로봇(100a)은 피팅 서비스, 모객, 제품 안내, 구매 유도, 코디 제안 등 다양한 서비스를 제공할 수 있고, 매장 내 특정 장소에서 대기하거나 자율 주행하면서 서비스 이용을 유도할 수 있다.
이동 로봇(100a)은 영상 획득부(820), 센서부(870)를 통하여 의류 매장에 입장하는 고객 또는 이동 로봇(100a)에 접근하는 고객을 인식하고, 고객에게 환영 인사와 함께 가상 피팅 서비스 체험을 통해 적극적으로 매장 방문, 서비스 이용, 구매를 유도할 수 있다.
도 11a를 참조하면, 이동 로봇(100a)은 음향 출력부(880)를 통하여 피팅 서비스 체험을 권유하는 음성 안내 메시지(1110)를 발화할 수 있다. 또한, 피팅 서비스 체험을 권유하는 음성 안내 메시지(1110)는 "자동으로 신체를 측정하여 옷의 Fit감을 알려드릴께요. 앞바닥의 원위에 위치하셔서 시계방향으로 천천히 한바퀴 돌아주세요."와 같이 피팅 서비스 이용을 위한 고객의 동작을 안내하는 내용을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 다른 사람들이 있는 의류 매장 등에서 360도 회전하는 동작에 거부감, 불편함을 느낄 수 있으므로, 고객의 회전을 요구하지 않고 이동 로봇(100a)이 움직이며 사용자를 촬영할 수 있다. 이 경우에는 음성 안내 메시지의 내용도 달라지게 된다.
도 11b를 참조하면, 이동 로봇(100a)은 음향 출력부(880)를 통하여 "자동으로 신체를 측정하여 옷의 Fit감을 알려드릴께요. 팔을 조금 벌려 주세요."와 같은 음성 안내 메시지(1120)를 발화할 수 있다.
고객이 피팅 서비스를 요청하면, 고객의 바디 스캐닝(Body Scanning) 후, 고객이 관심을 가진 옷이나 현재 베스트셀러 제품을 가상 피팅할 수 있다.
고객이 피팅 서비스를 요청하면, 도 9 및 도 10을 참조하여 설명한 과정을 거쳐 고객의 신체 정보를 판별하고, 아바타 캐릭터를 생성하여, 가상 피팅 유저 인터페이스 화면을 디스플레이부(810)에 표시할 수 있다.
도 12a를 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100a)은, 제어부(840)의 제어에 따라, 피팅 서비스에 설정된 신체 특정 부위를 포함하는 영상 데이터, 즉 신체 스캔에 필요한 영상 데이터를 영상 획득부(820)가 획득할 수 있는 제1 위치(P1)로 이동한 후에 신체 스캔을 시작할 수 있다.
예를 들어, 이동 로봇(100a)이 소정 위치(H)의 고객(1210)과 너무 가까운 제0 위치(P0)에 있는 경우에, 카메라의 화각, 성능, 카메라와 고객(1210) 간의 거리와 각도에 따라 사용자의 신체를 충분히 촬영하지 못할 수 있다.
이 경우에, 제어부(840)는 이동 로봇(100a)이 신체 스캔에 필요한 영상 데이터를 영상 획득부(820)가 획득할 수 있는 제1 위치(P1)로 이동하도록 구동부(860)를 제어할 수 있다.
이동 후에, 제어부(840)는 사용자를 촬영하여 사용자 신체를 스캔하도록 영상 획득부(820)를 제어할 수 있다.
실시예에 따라서, 신체 스캔에 필요한 영상 데이터를 획득하는데 최적의 거리가 기준거리(d)로 설정될 수 있다. 예를 들어, 기준거리가 1m로 설정된 경우에, 이동 로봇(100a)은 기준거리인 1m보다 가까운 제0 위치(P0)에 있었다면, 상기 제0 위치(P0)로 이동할 수 있다.
이 경우에, 제어부(840)는, 이동 로봇(100a)과 사용자와의 거리가 기설정된 기준거리(d)가 되고, 이동 로봇(100a)이 영상 획득부(820)가 구비되는 카메라의 화각에 포함되도록 이동 로봇(100a)이 이동하도록 구동부(860)를 제어할 수 있다.
바람직하게는, 제어부(840)는, 이동 로봇(100a)과 사용자와의 거리가 기설정된 기준거리(d)가 되고, 상기 사용자가 이동 로봇(100a)의 정면에 있도록 이동 로봇(100a)을 이동시킬 수 이TEk.
본 실시예에 따르면, 사용자에게 이동을 요구하지 않고, 이동 로봇(100a)이 자동으로 사용자와의 거리를 기준거리로 맞추고, 카메라의 화각 내에 사용자가 위치하도록 이동하게 된다.
이에 따라, 사용자의 움직임을 최소화하면서도 정확하게 사용자의 신체 정보를 판별하고 아바타를 생성할 수 있다.
도 12b를 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(100a)은 제1 위치(P1)에서 영상 획득부(820)를 통하여 소정 위치(H)의 고객(1210)을 촬영할 수 있다.
또한, 이동 로봇(100a)은 고객(1210)을 중심으로 소정 각도(rd) 회전한 후에 제2 위치(P2)에서 영상 획득부(820)를 통하여 고객(1210)을 촬영할 수 있다.
실시예에 따라서는 이동 로봇(100a)은 회전 이동 중에도 고객(1210)을 촬영하여 다양한 각도로 고객의 신체 이미지를 획득할 수 있다.
제어부(840)는, 복수의 고객 신체 이미지로부터 사용자의 키, 팔 길이, 다리 길이, 관절의 위치, 사용자의 신체 각 부분의 정보 등을 추출할 수 있다.
이에 따라, 고객이 회전하는 불편함 없이도 다양한 각도의 이미지로 더욱 정확한 신체 스캔이 가능하다.
실시예에 따라서, 이동 로봇(100a)과 고객(1210) 사이의 기준거리(d)가 설정될 수 있다. 예를 들어, 기준거리가 1m로 설정된 경우에, 이동 로봇(100a)은 기준거리인 1m 만큼 사용자와 떨어진 위치에서 사용자를 촬영할 수 있다. 실시예에 따라서는 기준거리 1m에 설정된 기준 신체 치수 값과 영상 내 신체 치수 값들에 비례식을 적용하여 사용자의 신체 치수를 판별할 수 있다.
이 경우에, 제어부(840)는, 이동 로봇(100a)과 사용자와의 거리가 기설정된 기준거리(d)가 되도록 이동 로봇(100a)이 전진 또는 후진 이동하도록 제어할 수 있다.
예를 들어, 이동 로봇(100a)이 기준거리보다 더 먼 제3 위치(P3)에 있었다면, 상기 제1 위치(P1)로 전진 이동할 수 있다.
본 실시예에 따르면, 사용자에게 이동을 요구하지 않고, 이동 로봇(100a)이 자동으로 사용자와의 거리를 기준거리로 맞추게 된다.
이에 따라, 사용자의 움직임을 최소화하면서도 정확하게 사용자의 신체 정보를 판별하고 아바타를 생성할 수 있다.
도 13은 신체 스캔 시 표시되는 유저 인터페이스 화면의 일예를 도시한 것이다.
도 13을 참조하면, 디스플레이부(810)에는 신체 스캔의 안내 문구(1310), 스캔 진행도를 나타내는 텍스트(1320) 및 그래픽 이미지(1330)가 표시될 수 있다. 이에 따라 사용자는 스캔 정도를 직관적으로 알 수 있다.
한편, 스캔 및 아바타 생성이 완료되면, 이동 로봇(100a)은 스캔 및 아바타 생성 완료를 안내할 수 있다.
예를 들어, 이동 로봇(100a)은 "아바타 생성이 완료되었어요. Style 메뉴로 옷을 고르시고, Fit 메뉴로 옷의 착용감과 어울림을 확인하세요." 등의 안내 문구를 영상 및/또는 음성으로 출력하여, 아바타 생성 및 이후의 조작을 안내할 수 있다.
도 14를 참조하면, 디스플레이부(810)에는 옷을 변경하거나, 아바타가 선택된 옷을 입은 가상 피팅 화면을 확인할 수 있는 스타일 메뉴 항목(1410)과 선택된 옷의 타이트(tight)-루즈(loose)한 정도 등 착용감을 확인할 수 있는 피트 메뉴 항목(1420)을 포함할 수 있다.
고객은 메인 영역(1430)에서 옷을 선택하고, 스타일 메뉴 항목(1410) 또는 피트 메뉴 항목(1420)을 선택하여 선택된 항목에 대응하는 가상 피팅 유저 인터페이스 화면을 확인할 수 있다.
제어부(840)는, 가상 피팅 영상을 포함하는 가상 피팅 유저 인터페이스 화면이 디스플레이부(810)에 표시되도록 제어할 수 있다. 가상 피팅 유저 인터페이스 화면은 고객이 선택한 옷을 입었을때 Fit감, 찰랑거림, 옷감 등을 볼 수 있도록 아바타가 선택한 옷을 입고 있는 합성 영상을 포함하는 가상 피팅을 제공할 수 있다.
도 15는 스타일 메뉴 항목(1410) 선택에 따라 표시되는 가상 피팅 유저 인터페이스 화면을 예시한다.
도 15를 참조하면, 가상 피팅 유저 인터페이스 화면은, 유저 인터페이스 화면을 전환할 수 있는 스타일 메뉴 항목(1410), 피트 메뉴 항목(1420), 및, 아바타가 선택한 옷을 입고 있는 합성 영상(1510)을 포함할 수 있다.
또한, 가상 피팅 유저 인터페이스 화면은, 선택한 옷의 옵션을 변경할 수 있는 상품 옵션 항목(1520, 1530)을 더 포함할 수 있다. 예를 들어, 상품 옵션 항목(1520, 1530)은 옷의 사이즈를 변경할 수 있는 사이즈 옵션 항목(1520), 옷의 색상을 변경할 수 있는 색상 옵션 항목(1530) 중 적어도 하나를 포함할 수 있다.
한편, 가상 피팅 유저 인터페이스 화면은, 다른 메뉴 항목(1540)을 더 포함할 수 있다. 예를 들어, 가상 피팅 유저 인터페이스 화면에 포함되는 메뉴 항목(1540)은 가상 피팅 대상 옷을 변경할 수 있는 others 메뉴 항목(1541), 현재 선택된 옷을 구매할 수 있는 구매 메뉴 항목(1542) 등을 포함할 수 있다.
한편, 도 11a 내지 도 15에서는 가상 피팅 서비스 이용을 먼저 선택하고, 옷을 선택하는 실시예를 중심으로 설명하였으나, 옷을 먼저 선택하고 가상 피팅 서비스 이용을 선택하는 것도 가능하다.
예를 들어, 이동 로봇(100a)의 디스플레이부(810)는, 대기 화면에서 소정 상품 또는 상품 리스트를 표시할 수 있다.
고객이 터치 또는 음성 입력으로 하나 이상의 옷을 선택하면, 제어부(840)는 디스플레이부(810)에 가상 피팅 서비스를 안내하는 메시지 및 시작할 수 있는 메뉴 항목이 표시되도록 제어할 수 있다.
또한, 제어부(840)는 디스플레이부(810)를 통하여, 가상 피팅 서비스 가이드 이미지를 제공할 수 있다.
고객이 가상 피팅 서비스를 요청하면, 이동 로봇(100a)은 고객의 신체를 스캔하고 아바타를 생성하여 가상 피팅 영상을 제공할 수 있다.
도 16은 신체 스캔 시 표시되는 유저 인터페이스 화면의 일예를 도시한 것이다.
도 16을 참조하면, 디스플레이부(810)에는 신체 스캔의 안내 문구(1610), 스캔 진행도 정보(1620) 및 스캐닝 이미지(1630)가 표시될 수 있다. 이에 따라 사용자는 스캔 정도를 직관적으로 알 수 있다.
도 16을 참조하면, 안내 문구(1610)는 "Please stand straight and spread your arms."와 같이 스캔 중에 필요한 고객의 동작을 안내할 수 있다.
또한, 스캔 진행도 정보(1620)는 스캔시 진행되는 정도를 1 내지 100%의 수치로 제공할 수 있다. 스캔 진행이 완료되어 100% 달성시 가상 피팅 영상을 포함하는 가상 피팅 유저 인터페이스 화면으로 화면이 전환될 수 있다.
예를 들어, 스캔이 완료되면, 스타일 메뉴 항목(1410)에 대응하는 가상 피팅 유저 인터페이스 화면으로 화면이 전환될 수 있다.
또한, 스캐닝 이미지(1630)는 스캐닝 가이드 이미지로 스캔 중에 필요한 고객의 동작을 그래픽 이미지로 표현할 수 있다.
또한, 스캐닝 이미지(1630)는 스캔 진행도에 따라, 영역들의 색상이 점차 변경됨으로써, 진행 정도를 직관적으로 나타낼 수 있다.
실시예에 따라서, 스캐닝 이미지(1630)는 고객의 체형 윤곽 정보에 기초하여 생성될 수 있다.
본 발명의 일 실시예에 따른 유저 인터페이스 화면은, 상기 아바타 캐릭터에 합성되는 상기 선택한 옷의 사이즈와 색상을 변경할 수 있는 유저 인터페이스 화면에 대응하는 스타일 메뉴 항목(1741)과 상기 아바타 캐릭터에 합성되는 상기 선택한 옷의 사이즈를 변경할 수 있고, 상기 선택한 옷이 상기 아바타 캐릭터에 타이트(tight)한 정도를 색상으로 나타내는 유저 인터페이스 화면에 대응하는 피트(fit) 메뉴 항목(1742)을 더 포함할 수 있다.
도 17은 스타일 메뉴 항목(1741) 선택에 따라 표시되는 가상 피팅 유저 인터페이스 화면을 예시하고, 도 18은 피트 메뉴 항목(1742)에 따라 표시되는 가상 피팅 유저 인터페이스 화면을 예시한다.
도 17과 도 18을 참조하면, 가상 피팅 유저 인터페이스 화면은, 스타일 메뉴 항목(1741)과 피트 메뉴 항목(1742)을 포함하고, 선택된 메뉴 항목에 따라 화면이 전환될 수 있다. 또한, 스타일 메뉴 항목(1741)과 피트 메뉴 항목(1742) 중에서 현재 선택된 항목을 하이라이트 표시될 수 있다.
한편, 도 17과 같이, 스타일 메뉴 항목(1741)에 대응하는 유저 인터페이스 화면이 디폴트(default) 화면으로 설정되어 먼저 표시되고, 피트 메뉴 항목(1742) 선택시, 도 18과 같이, 피트 메뉴 항목(1742)에 대응하는 유저 인터페이스 화면으로 전환될 수 있다.
도 17을 참조하면, 스타일 메뉴 항목(1741)에 대응하는 유저 인터페이스 화면은, 사용자 체형이 반영된 아바타(1710)가 선택한 옷을 입고 있는 아바타 합성 영상을 포함할 수 있다.
여기서, 아바타(1710)가 입고 있는 옷은 사용자가 선택한 색상과 사이즈를 반영한 것일 수 있다.
도 17을 참조하면, 스타일 메뉴 항목(1741)에 대응하는 유저 인터페이스 화면은, 선택한 옷의 옵션을 변경할 수 있는 상품 옵션 항목(1720, 1730)을 더 포함할 수 있다. 예를 들어, 상품 옵션 항목(1720, 1730)은 옷의 사이즈를 변경할 수 있는 사이즈 옵션 항목(1720), 옷의 색상을 변경할 수 있는 색상 옵션 항목(1730) 을 포함할 수 있다.
따라서, 사용자는 간편하게 옷의 색상과 사이즈를 변경하면서 가상 피팅 영상을 확인할 수 있다.
또한, 스타일 메뉴 항목(1741)에 대응하는 유저 인터페이스 화면은, 가상 피팅 대상 옷을 변경할 수 있는 others 메뉴 항목(1743)을 더 포함할 수 있다. others 메뉴 항목(1743)이 선택되면, 옷을 고를 수 있는 화면으로 전환될 수 있다.
도 18을 참조하면, 피트 메뉴 항목(1742)에 대응하는 가상 피팅 유저 인터페이스 화면은, 사용자 체형이 반영된 아바타(1810)가 선택한 옷을 입고 있는 아바타 합성 영상을 포함할 수 있다.
여기서, 아바타(1810)가 입고 있는 옷은 사용자가 선택한 사이즈를 반영한 것일 수 있다.
도 18을 참조하면, 피트 메뉴 항목(1742)에 대응하는 가상 피팅 유저 인터페이스 화면은, 선택한 옷의 사이즈를 변경할 수 있는 사이즈 옵션 항목(1720)을 더 포함할 수 있다.
도 18을 참조하면, 피트 메뉴 항목(1742)에 대응하는 유저 인터페이스 화면에서 아바타(1810)는 선택된 옷의 타이트(tight)-루즈(loose)한 정도 등 착용감이 색상으로 표시된다.
이 경우에 피트 메뉴 항목(1742)에 대응하는 유저 인터페이스 화면은 타이트(tight)-루즈(loose)한 정도를 나타내는 색상에 대한 정보(1830)를 더 포함할 수 있다.
이에 따라, 사용자는 타이트(tight)-루즈(loose)한 정도를 직관적으로 알 수 있고, 신체 부위별로도 타이트(tight)-루즈(loose)한 정도를 쉽게 알 수 있다.
도 17과 도 18을 참조하면, 가상 피팅 유저 인터페이스 화면은, 텍스트 영역(1750)을 포함하고, 텍스트 영역(1750)에는 각종 안내 문구들이 제공될 수 있다.
예를 들어, 상기 상품 옵션 항목(1720) 중 상기 사용자의 신체 정보에 기초한 추천 사이즈(size)에 대응하는 사이즈가 선택되는 경우에, 상기 추천 사이즈에 대한 정보를 텍스트 영역(1750)에 표시할 수 있다. 이에 따라, 사용자는 자신의 신체에 맞는 사이즈를 알 수 있다.
도 17과 도 18을 참조하면, 가상 피팅 유저 인터페이스 화면은, 화면 진입 시, 소정 시간 표시되는 360도 회전 오브젝트(1770, 1870)를 더 포함할 수 있다.
사용자는 360도 회전 오브젝트(1770, 1870)를 조작하여 아바타(1710, 1810)를 회전시킬 수 있다.
도 17과 도 18을 참조하면, 가상 피팅 유저 인터페이스 화면은, 이전 화면으로 돌아갈 수 있는 백 버튼, 기설정된 홈 화면으로 이동할 수 있는 홈 버튼을 포함할 수 있다.
또한, 선택시 구매 화면으로 이동할 수 있는 구매 버튼(1760)을 포함할 수 있다.
도 19는 구매 버튼(1760)이 선택되고 결제 완료된 경우에 표시되는 구매 화면의 일예를 도시한 것이다.
도 19를 참조하면, 구매 화면은 구매 내역, 브랜드 정보, 결제 정보 등이 표시되는 구매 내역 영역(1910), 결제 완료 등 텍스트 정보가 표시되는 텍스트 영역(1930), 홈 화면으로 이동할 수 있는 홈 버튼(1920)을 포함할 수 있다.
구매 내역 영역(1910)에는 구매한 상품에 대한 정보 및 결제 정보가 제공될 수 있다.
구매 내역 영역(1910)에 브랜드 정보, 결제 정보 순서로 정보들이 제공될 수 있다.
구매 내역 영역(1910)에는 브랜드 로고(logo), 브랜드 명칭 등 브랜드 정보, 주문번호, 상품명, 상품정보(사이즈/컬러), 할인금액, 최종결제금액 등 결제 정보가 표시될 수 있다.
결제를 완료한 고객은 카운터로 이동하여 옷을 수령할 수 있다.
또는, 다른 실시예에서, 고객이 선택한 옷에 대해 구매 동의 후 카운터로 이동하여 결제 후 옷을 수령할 수 있다.
도 20을 참조하면, 이동 로봇(100a)을 의류 매장, 백화점 등에서 운용하는 경우에, 관리자는 서버(10)에 의류 매장, 백화점 등에서 이동 로봇(100a)이 제공할 수 있는 기능과 관련된 데이터(2000)를 저장하고 관리할 수 있다. 예를 들어, 관리자는 고객 피팅 내역(2010), 코디 분석 및 제안 콘텐츠(2020), 고객 구매 내역(2030) 등을 저장하고 관리할 수 있다.
서버(10)는 저장되는 데이터를 학습하고 분석할 수 있다.
예를 들어, 서버(10)는 피팅 서비스 이용 횟수를 카운팅하고, 고객과의 인터랙션 데이터를 분석한 리포트를 관리자에게 제공할 수 있다.
이에 따라, 매장 관리자는 고객이 입어본 상품과 구매한 상품을 확인하고 다음 시즌 프로모션 행사 등에 참고할 수 있다.
한편, 이동 로봇(100a)은 고객 피팅 내역(2010), 코디 분석 및 제안 콘텐츠(2020), 고객 구매 내역(2030) 등을 서버(10)에서 다운로드할 수 있다.
또한, 이동 로봇(100a)은 신규 상품 및 인기 상품 리스트와 상품 상세 정보, 이벤트, 프로모션 정보 등을 다운로드받을 수 있다.
한편, 이동 로봇(100a)은 다운로드받은 정보를 안내 서비스, 피팅 서비스에 활용할 수 있다.
본 발명에 따른 로봇, 및 이를 포함하는 로봇 시스템 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 실시예에 따른 로봇, 및 이를 포함하는 로봇 시스템의 제어 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (17)

  1. 피팅(fitting) 서비스 요청을 포함하는 사용자 입력을 수신하는 단계;
    상기 사용자의 신체 전부를 포함하는 영상 데이터를 획득할 수 있는 위치로 이동하는 단계;
    영상 획득부를 통하여 상기 사용자의 신체를 스캔(scan)하는 단계; 및,
    상기 스캔 결과에 기초하여 생성된 상기 사용자의 아바타 캐릭터와 상기 사용자가 선택한 옷의 이미지를 합성한 합성 영상을 포함하는 유저 인터페이스 화면을 디스플레이부에 표시하는 단계;를 포함하는 로봇의 제어 방법.
  2. 제1항에 있어서,
    상기 이동 단계는, 상기 사용자와의 거리가 기설정된 기준거리가 되도록 이동하는 것을 특징으로 하는 로봇의 제어 방법.
  3. 제1항에 있어서,
    상기 스캔 단계는, 상기 영상 획득부의 카메라 뷰(view) 화면을 디스플레이부에 표시하는 단계, 상기 카메라 뷰 화면 상에 적어도 하나의 사용자 이미지에 기초한 체형 윤곽 정보를 표시하는 단계를 더 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  4. 제1항에 있어서,
    상기 스캔 단계는, 상기 사용자를 촬영하는 단계, 상기 사용자를 중심으로 회전 이동하는 단계, 이동 후에 상기 사용자를 촬영하는 단계, 상기 촬영들로 획득된 사용자 이미지들에 기초하여 상기 사용자의 신체 정보를 판별하는 단계를 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  5. 제4항에 있어서,
    상기 스캔 단계는, 상기 회전 이동 중에 연속적으로 또는 주기적으로 영상들을 획득하는 것을 특징으로 하는 로봇의 제어 방법.
  6. 제4항에 있어서,
    상기 스캔 단계는,
    상기 영상 획득부의 카메라 뷰(view) 화면을 디스플레이부에 표시하는 단계, 상기 카메라 뷰 화면 상에 적어도 하나의 사용자 이미지에 기초한 체형 윤곽 정보를 표시하는 단계, 및, 상기 회전 이동에 따라 상기 체형 윤곽 정보를 변경 표시하는 단계를 더 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  7. 제1항에 있어서,
    스캔을 위한 사용자의 동작을 안내하는 메시지를 출력하는 단계;를 더 포함하는 로봇의 제어 방법.
  8. 제1항에 있어서,
    상기 스캔 중에 스캔 진행도를 나타내는 텍스트(text) 및 그래픽 이미지를 표시하는 단계;를 더 포함하는 로봇의 제어 방법.
  9. 제1항에 있어서,
    상기 스캔이 완료되면 상기 스캔 완료를 알리는 메시지와 상기 사용자의 신체 정보에 기초한 추천 사이즈(size) 정보를 표시하는 단계;를 더 포함하는 로봇의 제어 방법.
  10. 제1항에 있어서,
    서버로부터 신규 상품 정보, 인기 상품 정보, 이벤트 정보 중 적어도 하나를 수신하는 단계;
    상기 수신된 정보에 기초하여 소정 상품을 추천하는 단계;를 더 포함하는 로봇의 제어 방법.
  11. 제1항에 있어서,
    상기 사용자를 식별하는 단계;
    서버로부터 상기 사용자의 이전 구매 내역 또는 피팅 내역 정보를 수신하는 단계;
    상기 수신된 상기 사용자의 이전 구매 내역 또는 피팅 내역에 기초하여 소정 상품을 추천하는 단계;를 더 포함하는 로봇의 제어 방법.
  12. 제1항에 있어서,
    서버로 상기 판별된 신체 정보를 송신하는 단계;를 더 포함하는 로봇의 제어 방법.
  13. 제12항에 있어서,
    상기 사용자를 식별하는 단계;
    상기 서버로부터 상기 사용자의 신체 정보를 수신하는 단계;를 더 포함하는 로봇의 제어 방법.
  14. 제1항에 있어서,
    상기 유저 인터페이스 화면은, 상기 선택한 옷의 옵션을 변경할 수 있는 상품 옵션 항목을 더 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  15. 제14항에 있어서,
    상기 유저 인터페이스 화면은,
    상기 상품 옵션 항목 중 상기 사용자의 신체 정보에 기초한 추천 사이즈(size)에 대응하는 사이즈가 선택되는 경우에, 상기 추천 사이즈에 대한 정보를 더 표시하는 것을 특징으로 하는 로봇의 제어 방법.
  16. 제1항에 있어서,
    상기 유저 인터페이스 화면은,
    상기 아바타 캐릭터에 합성되는 상기 선택한 옷의 사이즈와 색상을 변경할 수 있는 유저 인터페이스 화면에 대응하는 스타일 메뉴 항목, 및,
    상기 아바타 캐릭터에 합성되는 상기 선택한 옷의 사이즈를 변경할 수 있고 상기 선택한 옷이 상기 아바타 캐릭터에 타이트(tight)한 정도를 색상으로 나타내는 유저 인터페이스 화면에 대응하는 피트(fit) 메뉴 항목을 더 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  17. 본체를 이동시키는 구동부;
    하나 이상의 카메라를 구비하는 영상 획득부;
    사용자의 음성 입력을 수신하는 음성 입력부;
    상기 사용자의 터치 입력을 수신하는 디스플레이부; 및,
    상기 음성 입력부 또는 상기 디스플레이부를 통하여 피팅(fitting) 서비스 요청을 포함하는 사용자 입력이 수신되면, 현재 위치에서의 상기 피팅 서비스에 설정된 신체 특정 부위를 포함하는 영상 데이터의 획득 가능 여부를 판별하고,
    상기 영상 데이터를 획득할 수 없는 경우에, 상기 영상 데이터를 획득할 수 있는 위치로 이동하도록 상기 구동부를 제어하고,
    상기 영상 데이터를 획득할 수 있는 경우에, 상기 사용자의 신체를 스캔(scan)하도록 상기 영상 획득부를 제어하며,
    상기 스캔 결과에 기초하여 생성된 상기 사용자의 아바타 캐릭터와 상기 사용자가 선택한 옷의 이미지를 합성한 합성 영상을 포함하는 유저 인터페이스 화면을 상기 디스플레이부에 표시하도록 제어하는 제어부;를 포함하는 로봇.
PCT/KR2019/000222 2018-12-21 2019-01-07 로봇의 제어 방법 WO2020130219A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19901092.7A EP3900885A4 (en) 2018-12-21 2019-01-07 METHOD OF ROBOT CONTROL
CN201980092275.3A CN113423541B (zh) 2018-12-21 2019-01-07 机器人的控制方法
KR1020190119013A KR102314536B1 (ko) 2018-12-21 2019-09-26 로봇의 제어 방법
US16/723,561 US11341355B2 (en) 2018-12-21 2019-12-20 Robot and method of controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862783207P 2018-12-21 2018-12-21
US62/783,207 2018-12-21

Publications (1)

Publication Number Publication Date
WO2020130219A1 true WO2020130219A1 (ko) 2020-06-25

Family

ID=71101380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000222 WO2020130219A1 (ko) 2018-12-21 2019-01-07 로봇의 제어 방법

Country Status (5)

Country Link
US (1) US11341355B2 (ko)
EP (1) EP3900885A4 (ko)
KR (1) KR102314536B1 (ko)
CN (1) CN113423541B (ko)
WO (1) WO2020130219A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3703009A4 (en) * 2017-10-27 2021-06-23 ASICS Corporation MOTION STATUS EVALUATION SYSTEM, MOTION STATUS EVALUATION DEVICE, MOTION STATE EVALUATION SERVER, MOTION STATE EVALUATION METHOD, AND MOTION STATUS EVALUATION PROGRAM
US11430278B2 (en) * 2019-06-21 2022-08-30 Lg Electronics Inc. Building management robot and method of providing service using the same
WO2021061112A1 (en) 2019-09-25 2021-04-01 Google Llc Gain control for face authentication
CN113544692A (zh) * 2019-10-10 2021-10-22 谷歌有限责任公司 用于面部认证的摄像头同步和图像标记
KR20210085696A (ko) * 2019-12-31 2021-07-08 삼성전자주식회사 전자 장치의 움직임을 결정하는 방법 및 이를 사용하는 전자 장치
US11410659B1 (en) * 2020-03-30 2022-08-09 Amazon Technologies, Inc. Dynamic skill endpoint
KR102563026B1 (ko) * 2020-09-22 2023-08-07 주식회사 스타일봇 아바타 기반의 의류 매칭 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램
CN115708889A (zh) * 2021-08-20 2023-02-24 上海西门子医疗器械有限公司 用于ct扫描室消毒的引导方法以及引导系统
FR3127622B1 (fr) * 2021-09-28 2023-11-17 Jusdeliens Méthode de détermination en temps réel de coordonnées de dispositifs mécatroniques mobiles posés sur une surface matricielle
KR102545742B1 (ko) 2021-11-18 2023-06-20 한국기술교육대학교 산학협력단 계단 등반 로봇 및 이의 동작 방법
KR20230143002A (ko) * 2022-04-04 2023-10-11 두산로보틱스 주식회사 로봇의 기능 모듈의 개발 환경 제공 장치 및 방법
WO2024007886A1 (en) * 2022-07-04 2024-01-11 Braun Gmbh Oral scanner system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090150A (ko) 2007-04-04 2008-10-08 삼성전자주식회사 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및서비스 로봇을 이용하는 서비스 시스템의 제어방법
KR20120121036A (ko) * 2011-04-26 2012-11-05 (주)클로버추얼패션 사용자의 체형에 맞게 아바타를 생성하는 방법
US20120316676A1 (en) * 2011-06-10 2012-12-13 Microsoft Corporation Interactive robot initialization
KR20140018599A (ko) * 2012-08-02 2014-02-13 (주)유한프리젠 맞춤형 서비스를 위한 피팅 룸 시스템 및 그 방법
US20150154453A1 (en) * 2012-09-05 2015-06-04 Body Pass Ltd. System and method for deriving accurate body size measures from a sequence of 2d images
US20170156430A1 (en) * 2014-07-02 2017-06-08 Konstantin Aleksandrovich KARAVAEV Method for virtually selecting clothing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011258A1 (en) * 2010-06-07 2017-01-12 Affectiva, Inc. Image analysis in support of robotic manipulation
US20130083065A1 (en) * 2011-08-02 2013-04-04 Jessica Schulze Fit prediction on three-dimensional virtual model
KR101500651B1 (ko) * 2012-10-10 2015-03-09 주식회사 케이티 이미지를 이용한 신장 측정 방법 및 이동 로봇 장치
AU2014268117B9 (en) * 2013-05-13 2020-03-12 mPort Ltd Devices, frameworks and methodologies for enabling user-driven determination of body size and shape information and utilisation of such information across a networked environment
US9773274B2 (en) * 2013-12-02 2017-09-26 Scott William Curry System and method for online virtual fitting room
EP2933071A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems for managing dialogs of a robot
JP6242768B2 (ja) * 2014-08-08 2017-12-06 株式会社東芝 仮想試着装置、仮想試着方法、およびプログラム
US20170353711A1 (en) * 2016-06-04 2017-12-07 Shape Labs Inc. System for capturing a textured 3d scan of a human body
KR20180005625A (ko) * 2016-07-06 2018-01-16 주식회사 케이티 가상 피팅 서비스의 제공 방법 및 장치
JP6681800B2 (ja) * 2016-07-15 2020-04-15 株式会社日立製作所 制御装置、制御システム、および制御方法
KR20230031996A (ko) * 2017-06-27 2023-03-07 나이키 이노베이트 씨.브이. 자동화된 쇼핑 어시스턴트를 사용하는 개인화된 쇼핑을 위한 시스템, 플랫폼 및 방법
CN208027417U (zh) * 2018-01-02 2018-10-30 美格智能技术股份有限公司 基于双视点三维重建技术以实现网店服装试穿的装置
CN108582106A (zh) * 2018-05-06 2018-09-28 佛山市光线网络科技有限公司 一种服装导购机器人
CN108582105A (zh) * 2018-05-06 2018-09-28 佛山市光线网络科技有限公司 一种虚拟试衣机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090150A (ko) 2007-04-04 2008-10-08 삼성전자주식회사 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및서비스 로봇을 이용하는 서비스 시스템의 제어방법
KR20120121036A (ko) * 2011-04-26 2012-11-05 (주)클로버추얼패션 사용자의 체형에 맞게 아바타를 생성하는 방법
US20120316676A1 (en) * 2011-06-10 2012-12-13 Microsoft Corporation Interactive robot initialization
KR20140018599A (ko) * 2012-08-02 2014-02-13 (주)유한프리젠 맞춤형 서비스를 위한 피팅 룸 시스템 및 그 방법
US20150154453A1 (en) * 2012-09-05 2015-06-04 Body Pass Ltd. System and method for deriving accurate body size measures from a sequence of 2d images
US20170156430A1 (en) * 2014-07-02 2017-06-08 Konstantin Aleksandrovich KARAVAEV Method for virtually selecting clothing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3900885A4

Also Published As

Publication number Publication date
CN113423541B (zh) 2024-03-22
US20200320297A1 (en) 2020-10-08
KR20200078311A (ko) 2020-07-01
EP3900885A1 (en) 2021-10-27
CN113423541A (zh) 2021-09-21
KR102314536B1 (ko) 2021-10-18
EP3900885A4 (en) 2022-09-28
US11341355B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
WO2020130219A1 (ko) 로봇의 제어 방법
WO2018038553A1 (ko) 이동 로봇 및 그 제어방법
WO2019004744A1 (ko) 이동 로봇
WO2017111234A1 (en) Method for electronic device to control object and electronic device
WO2018097574A1 (ko) 이동 로봇 및 그 제어방법
WO2021040106A1 (ko) Ar 장치 및 그 제어 방법
WO2016017997A1 (en) Wearable glasses and method of providing content using the same
WO2016208984A1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기
WO2018155999A2 (en) Moving robot and control method thereof
WO2020222340A1 (ko) 인공지능 로봇과 그의 제어 방법
WO2020241951A1 (ko) 인공지능 학습방법 및 이를 이용하는 로봇의 동작방법
AU2019430311B2 (en) Plurality of autonomous mobile robots and controlling method for the same
WO2019004633A1 (ko) 이동 로봇의 동작 방법 및 이동 로봇
WO2021006366A1 (ko) 디스플레이 패널의 색상을 조정하는 인공 지능 장치 및 그 방법
WO2017069324A1 (ko) 이동단말기 및 그 제어방법
WO2019050087A1 (ko) 스킨 프린터
WO2020141639A1 (ko) 로봇의 제어 방법
WO2016195156A1 (ko) 이동 단말기 및 그 제어방법
WO2020141636A1 (ko) 로봇 시스템의 제어 방법
WO2019143010A1 (ko) 이동 로봇의 동작 방법
WO2015005639A1 (ko) 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템
WO2016028021A1 (ko) 청소 로봇 및 그 제어 방법
WO2016013774A1 (en) Goods purchase apparatus and goods purchase system having the same
WO2021029457A1 (ko) 사용자에게 정보를 제공하는 인공 지능 서버 및 그 방법
WO2019004742A1 (ko) 이동 로봇과 이동 단말기를 포함하는 로봇 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19901092

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019901092

Country of ref document: EP

Effective date: 20210721