WO2020256195A1 - 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법 - Google Patents

빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법 Download PDF

Info

Publication number
WO2020256195A1
WO2020256195A1 PCT/KR2019/007539 KR2019007539W WO2020256195A1 WO 2020256195 A1 WO2020256195 A1 WO 2020256195A1 KR 2019007539 W KR2019007539 W KR 2019007539W WO 2020256195 A1 WO2020256195 A1 WO 2020256195A1
Authority
WO
WIPO (PCT)
Prior art keywords
elevator
user
building management
building
robot
Prior art date
Application number
PCT/KR2019/007539
Other languages
English (en)
French (fr)
Inventor
김형국
김재영
김형미
장유준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/486,717 priority Critical patent/US11430278B2/en
Priority to PCT/KR2019/007539 priority patent/WO2020256195A1/ko
Priority to KR1020190087936A priority patent/KR20190096849A/ko
Publication of WO2020256195A1 publication Critical patent/WO2020256195A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/253—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition visually
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/46—Adaptations of switches or switchgear
    • B66B1/468—Call registering systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/3415—Control system configuration and the data transmission or communication within the control system
    • B66B1/3446—Data transmission or communication within the control system
    • B66B1/3461—Data transmission or communication within the control system between the elevator control system and remote or mobile stations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00—Aspects of control systems of elevators
    • B66B2201/40—Details of the change of control mode
    • B66B2201/46—Switches or switchgear
    • B66B2201/4607—Call registering systems
    • B66B2201/4653—Call registering systems wherein the call is registered using portable devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B66B5/0012—Devices monitoring the users of the elevator system
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
    • G07C9/00904—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses for hotels, motels, office buildings or the like

Definitions

  • the present invention relates to a building management robot, and more particularly, to a building management robot capable of providing various services to people living in or using a building.
  • Robots are machines that automatically process or operate a given task by their own capabilities, and their application fields are generally classified into various fields such as industrial, medical, space, and submarine.
  • a building management robot may be considered that is disposed in a building such as an apartment, an officetel, a hotel, or a business building and performs various management operations related to the building.
  • the building management robot may perform security operations, security guard assistance, parking lot management, and cleaning operations while driving inside/outside a building.
  • the building management robot may provide various services, such as providing a door-to-door service to each household of an apartment or delivering goods such as courier or mail.
  • various people may exist in the building where the building management robot is placed.
  • a person who has the right to use a specific compartment in a building (apartment building/lake, hotel room, etc.) and a person without permission such as a one-time visitor may be mixed.
  • a building management robot capable of providing effective management and customized services for such various people is implemented, the spread of the building management robot can be expanded.
  • the problem to be solved by the present invention is to realize a building management robot capable of recognizing and authenticating various people who use a building and providing various customized services according to the authentication result, and a service providing method using the same.
  • Another problem to be solved of the present invention is to implement a building management robot and a service providing method using the same, which minimizes the inconvenience of the user when boarding an elevator provided in the building, or enables effective protection for the user.
  • the building management robot recognizes an identification device corresponding to a first partition space among at least one partition space in a building, and obtains first identification information for the first partition space from the identification device.
  • a communication unit a camera that obtains image data including a recognized location by the identification device, and recognizes a user from the image data, and checks an authentication level of the recognized user for the first partition space from a database
  • a processor that provides a service based on the verified authentication level to the user.
  • the communication unit includes at least two wireless communication modules spaced apart from each other in the building management robot
  • the processor includes, the strength of a signal received from the identification device to each of the at least two wireless communication modules or Based on a time difference, a position or direction of the identification device may be sensed, a driving unit or a camera direction adjusting mechanism may be controlled to face the detected position or direction, and the camera may be controlled to obtain the image data.
  • the processor extracts a region including the user from the image data, obtains image feature data of the user from the extracted region, and first identification information of the image feature data and the first partition space from the database
  • the authentication level included in the record having a can be obtained.
  • the building management robot further includes a memory for storing a recognition model learned by a learning processor, and the processor may recognize the user from the image data through the recognition model stored in the memory. I can.
  • the processor may transmit a visitor notification to the management device of the first partition space.
  • the processor may transmit a request for opening the entrance of the building to the entrance management device or may transmit an elevator call request to the elevator management device of the building.
  • the processor when there is no information of the user matching the first partition space in the database, the user characteristic data obtained from the image data and first identification information for the first partition space, and A first record including the authentication level may be stored in the database.
  • the processor may increase the authentication level included in the first record when the number of times the first identification information and the user's characteristic data are acquired is a predetermined number or more.
  • the processor recognizes an elevator boarding condition for moving to a second compartment among the at least one compartment, receives first image data including the interior of the elevator from the elevator management apparatus or server, and receives the received first image data. 1 From the image data, the presence or absence of a passenger in the elevator may be detected, and when no passenger is present, a call request of the elevator may be transmitted to the elevator management device or the server.
  • the processor from the elevator management device or server, receives at least one second image data including an elevator boarding area of each of at least one floor in the building, and the elevator from the received at least one second image data It is possible to detect whether there is a person waiting to be used, and if the person waiting to be used does not exist, a call request of the elevator may be transmitted to the elevator management device or the server.
  • the processor transmits an elevator call request to an elevator management device or a server based on the first identification information, and determines whether to ride the elevator based on the characteristics of the user, and the characteristics of the user are gender and age group. It may include at least one of information on whether a person has a disability, and whether or not a person has a disability.
  • the processor includes a first operation of controlling the driving unit so as to get off at the same time when the user gets off, and controlling the camera to acquire image data including the user, when the user and the elevator are shared with each other, and the user's At least one of the second operations of controlling the driving unit to travel according to movement may be performed.
  • the processor receives image data including the interior of the elevator from the elevator management device or the server, identifies another person inside the elevator from the received image data, and based on the identification result of the other person Thus, it is possible to determine whether to ride the elevator.
  • a service providing method using a building management robot includes the steps of recognizing an identification device corresponding to a first partition space among at least one partition space in a building; Acquiring image data including a recognized position by the identification device; Recognizing a user from the acquired image data; Checking an authentication level for the recognized user's first partition space from a database; And providing a service based on the confirmed authentication level to the user.
  • the building management robot may efficiently manage people recognized inside/outside a building by matching each of the compartments within the building.
  • the building management robot can effectively distinguish and manage a person who has access or use authority to a specific partition space and a person who does not, by setting the authentication level of each matched person for a specific partition space.
  • the building management robot can automatically provide various customized services to people by providing different services based on the authentication levels of each recognized person.
  • the building management robot can minimize interference or inconvenience to the user or the waiting person by using the elevator only when a user or a waiting person of the elevator is not detected when boarding the elevator.
  • the building management robot may provide services such as accompanying the user to the elevator and monitoring or escorting the user based on the characteristics of the elevator user or the identification result of another person present in the elevator. Accordingly, the building management robot enables the user to use the elevator safely, and the user can feel satisfaction with the building management robot.
  • FIG. 1 shows an AI device including a robot according to an embodiment of the present invention.
  • FIG 2 shows an AI server connected to a robot according to an embodiment of the present invention.
  • FIG 3 shows an AI system including a robot according to an embodiment of the present invention.
  • FIG. 4 is a conceptual diagram of a building management robot and a building management system including the same according to an embodiment of the present invention.
  • FIG. 5 is a block diagram showing a control configuration of a building management robot according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a registration and management operation for a recognized person by a building management robot according to an embodiment of the present invention.
  • FIG. 7 to 8 are exemplary diagrams related to authentication level management of the building management robot shown in FIG. 6.
  • FIG. 9 is a flowchart illustrating an operation of providing a service based on an authentication level of a recognized person by a building management robot according to an embodiment of the present invention.
  • 10 to 11 are exemplary diagrams illustrating operations of the building management robot illustrated in FIG. 9 to provide different services according to authentication levels.
  • FIG. 12 is a flowchart showing an embodiment of a method of using an elevator by a building management robot.
  • FIG. 13 is a flowchart showing another embodiment of a method of using an elevator by a building management robot.
  • FIG. 14 is a flowchart illustrating an exemplary operation of providing an elevator-related service based on identification information of a recognized person by a building management robot.
  • FIG. 15 is an exemplary diagram illustrating an elevator-related service provision operation of the building management robot shown in FIG. 14.
  • 16 is a flowchart illustrating an example of an operation in which a building management robot provides an elevator-related service to a recognized person based on a result of identification of another person in an elevator.
  • a robot may refer to a machine that automatically processes or operates a task given by its own capabilities.
  • a robot having a function of recognizing the environment and performing an operation by self-determining may be referred to as an intelligent robot.
  • Robots can be classified into industrial, medical, household, military, etc. depending on the purpose or field of use.
  • the robot may be provided with a driving unit including an actuator or a motor to perform various physical operations such as moving a robot joint.
  • a driving unit including an actuator or a motor to perform various physical operations such as moving a robot joint.
  • the movable robot includes a wheel, a brake, a propeller, and the like in the driving unit, and can travel on the ground or fly in the air through the driving unit.
  • Machine learning refers to the field of researching methodologies to define and solve various problems dealt with in the field of artificial intelligence. do.
  • Machine learning is also defined as an algorithm that improves the performance of a task through continuous experience.
  • An artificial neural network is a model used in machine learning, and may refer to an overall model with problem-solving capabilities, composed of artificial neurons (nodes) that form a network by combining synapses.
  • the artificial neural network may be defined by a connection pattern between neurons of different layers, a learning process for updating model parameters, and an activation function for generating an output value.
  • the artificial neural network may include an input layer, an output layer, and optionally one or more hidden layers. Each layer includes one or more neurons, and the artificial neural network may include neurons and synapses connecting neurons. In an artificial neural network, each neuron can output a function of an activation function for input signals, weights, and biases input through synapses.
  • Model parameters refer to parameters determined through learning, and include weights of synaptic connections and biases of neurons.
  • hyperparameters refer to parameters that must be set before learning in a machine learning algorithm, and include a learning rate, iteration count, mini-batch size, and initialization function.
  • the purpose of learning artificial neural networks can be seen as determining model parameters that minimize the loss function.
  • the loss function can be used as an index to determine an optimal model parameter in the learning process of the artificial neural network.
  • Machine learning can be classified into supervised learning, unsupervised learning, and reinforcement learning according to the learning method.
  • Supervised learning refers to a method of training an artificial neural network when a label for training data is given, and a label indicates the correct answer (or result value) that the artificial neural network should infer when training data is input to the artificial neural network. It can mean.
  • Unsupervised learning may refer to a method of training an artificial neural network in a state where a label for training data is not given.
  • Reinforcement learning may mean a learning method in which an agent defined in a certain environment learns to select an action or action sequence that maximizes the cumulative reward in each state.
  • machine learning implemented as a deep neural network (DNN) including a plurality of hidden layers is sometimes referred to as deep learning (deep learning), and deep learning is a part of machine learning.
  • DNN deep neural network
  • machine learning is used in the sense including deep learning.
  • Autonomous driving refers to self-driving technology
  • autonomous driving vehicle refers to a vehicle that is driven without a user's manipulation or with a user's minimal manipulation.
  • a technology that maintains a driving lane a technology that automatically adjusts the speed such as adaptive cruise control, a technology that automatically drives along a specified route, and a technology that automatically sets a route when a destination is set, etc. All of these can be included.
  • the vehicle includes all of a vehicle having only an internal combustion engine, a hybrid vehicle including an internal combustion engine and an electric motor, and an electric vehicle including only an electric motor, and may include not only automobiles, but also trains and motorcycles.
  • the autonomous vehicle can be viewed as a robot having an autonomous driving function.
  • FIG. 1 shows an AI device including a robot according to an embodiment of the present invention.
  • the AI device 100 includes a TV, a projector, a mobile phone, a smartphone, a desktop computer, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation system, a tablet PC, a wearable device, a set-top box (STB). ), a DMB receiver, a radio, a washing machine, a refrigerator, a desktop computer, a digital signage, a robot, a vehicle, and the like.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • STB set-top box
  • the AI device 100 includes a communication unit 110, an input unit 120, a running processor 130, a sensing unit 140, an output unit 150, a memory 170, and a processor 180. It may include.
  • the communication unit 110 may transmit and receive data with external devices such as other AI devices 100a to 100e or the AI server 200 using wired/wireless communication technology.
  • the communication unit 110 may transmit and receive sensor information, a user input, a learning model, and a control signal with external devices.
  • the communication technologies used by the communication unit 110 include Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Long Term Evolution (LTE), 5G, Wireless LAN (WLAN), and Wireless-Fidelity (Wi-Fi). ), Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), ZigBee, and Near Field Communication (NFC).
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • LTE Long Term Evolution
  • 5G Fifth Generation
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Bluetooth Bluetooth
  • IrDA Infrared Data Association
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the input unit 120 may acquire various types of data.
  • the input unit 120 may include a camera for inputting an image signal, a microphone for receiving an audio signal, a user input unit for receiving information from a user, and the like.
  • a camera or microphone for treating a camera or microphone as a sensor, a signal obtained from the camera or microphone may be referred to as sensing data or sensor information.
  • the input unit 120 may acquire training data for model training and input data to be used when acquiring an output by using the training model.
  • the input unit 120 may obtain unprocessed input data, and in this case, the processor 180 or the running processor 130 may extract an input feature as a preprocess for the input data.
  • the learning processor 130 may train a model composed of an artificial neural network using the training data.
  • the learned artificial neural network may be referred to as a learning model.
  • the learning model can be used to infer a result value for new input data other than the training data, and the inferred value can be used as a basis for a decision to perform a certain operation.
  • the learning processor 130 may perform AI processing together with the learning processor 240 of the AI server 200.
  • the learning processor 130 may include a memory integrated or implemented in the AI device 100.
  • the learning processor 130 may be implemented using the memory 170, an external memory directly coupled to the AI device 100, or a memory maintained in an external device.
  • the sensing unit 140 may acquire at least one of internal information of the AI device 100, information about the surrounding environment of the AI device 100, and user information by using various sensors.
  • the sensors included in the sensing unit 140 include a proximity sensor, an illuminance sensor, an acceleration sensor, a magnetic sensor, a gyro sensor, an inertial sensor, an RGB sensor, an IR sensor, a fingerprint recognition sensor, an ultrasonic sensor, an optical sensor, a microphone, and a lidar. , Radar, etc.
  • the output unit 150 may generate output related to visual, auditory or tactile sense.
  • the output unit 150 may include a display unit that outputs visual information, a speaker that outputs auditory information, and a haptic module that outputs tactile information.
  • the memory 170 may store data supporting various functions of the AI device 100.
  • the memory 170 may store input data, training data, a learning model, and a learning history acquired from the input unit 120.
  • the processor 180 may determine at least one executable operation of the AI device 100 based on information determined or generated using a data analysis algorithm or a machine learning algorithm. Further, the processor 180 may perform the determined operation by controlling the components of the AI device 100.
  • the processor 180 may request, search, receive, or utilize data from the learning processor 130 or the memory 170, and perform a predicted or desirable operation among the at least one executable operation.
  • the components of the AI device 100 can be controlled to execute.
  • the processor 180 may generate a control signal for controlling the corresponding external device and transmit the generated control signal to the corresponding external device.
  • the processor 180 may obtain intention information for a user input, and determine a user's requirement based on the obtained intention information.
  • the processor 180 uses at least one of a Speech To Text (STT) engine for converting a speech input into a character string or a Natural Language Processing (NLP) engine for obtaining intention information of a natural language. Intention information corresponding to the input can be obtained.
  • STT Speech To Text
  • NLP Natural Language Processing
  • At this time, at least one or more of the STT engine and the NLP engine may be composed of an artificial neural network, at least partially trained according to a machine learning algorithm.
  • at least one of the STT engine or the NLP engine is learned by the learning processor 130, learned by the learning processor 240 of the AI server 200, or learned by distributed processing thereof. Can be.
  • the processor 180 collects history information including user feedback on the operation content or operation of the AI device 100 and stores it in the memory 170 or the learning processor 130, or the AI server 200 Can be transferred to an external device.
  • the collected history information can be used to update the learning model.
  • the processor 180 may control at least some of the components of the AI device 100 to drive an application program stored in the memory 170. Furthermore, the processor 180 may operate by combining two or more of the components included in the AI device 100 to drive the application program.
  • FIG 2 shows an AI server connected to a robot according to an embodiment of the present invention.
  • the AI server 200 may refer to a device that trains an artificial neural network using a machine learning algorithm or uses the learned artificial neural network.
  • the AI server 200 may be composed of a plurality of servers to perform distributed processing, or may be defined as a 5G network.
  • the AI server 200 may be included as a part of the AI device 100 to perform at least part of AI processing together.
  • the AI server 200 may include a communication unit 210, a memory 230, a learning processor 240, and a processor 260.
  • the communication unit 210 may transmit and receive data with an external device such as the AI device 100.
  • the memory 230 may include a model storage unit 231.
  • the model storage unit 231 may store a model (or artificial neural network, 231a) being trained or trained through the learning processor 240.
  • the learning processor 240 may train the artificial neural network 231a using the training data.
  • the learning model may be used while being mounted on the AI server 200 of the artificial neural network, or may be mounted on an external device such as the AI device 100 and used.
  • the learning model can be implemented in hardware, software, or a combination of hardware and software. When part or all of the learning model is implemented in software, one or more instructions constituting the learning model may be stored in the memory 230.
  • the processor 260 may infer a result value for new input data using the learning model, and generate a response or a control command based on the inferred result value.
  • FIG 3 shows an AI system including a robot according to an embodiment of the present invention.
  • the AI system 1 includes at least one of an AI server 200, a robot 100a, an autonomous vehicle 100b, an XR device 100c, a smartphone 100d, or a home appliance 100e. It is connected to the cloud network 10.
  • the robot 100a to which the AI technology is applied, the autonomous vehicle 100b, the XR device 100c, the smartphone 100d, or the home appliance 100e may be referred to as the AI devices 100a to 100e.
  • the cloud network 10 may constitute a part of the cloud computing infrastructure or may mean a network that exists in the cloud computing infrastructure.
  • the cloud network 10 may be configured using a 3G network, a 4G or Long Term Evolution (LTE) network, or a 5G network.
  • LTE Long Term Evolution
  • the devices 100a to 100e and 200 constituting the AI system 1 may be connected to each other through the cloud network 10.
  • the devices 100a to 100e and 200 may communicate with each other through a base station, but may communicate with each other directly without through a base station.
  • the AI server 200 may include a server that performs AI processing and a server that performs an operation on big data.
  • the AI server 200 includes at least one of a robot 100a, an autonomous vehicle 100b, an XR device 100c, a smartphone 100d, or a home appliance 100e, which are AI devices constituting the AI system 1 It is connected through the cloud network 10 and may help at least part of the AI processing of the connected AI devices 100a to 100e.
  • the AI server 200 may train an artificial neural network according to a machine learning algorithm in place of the AI devices 100a to 100e, and may directly store the learning model or transmit it to the AI devices 100a to 100e.
  • the AI server 200 receives input data from the AI devices 100a to 100e, infers a result value for the received input data using a learning model, and generates a response or control command based on the inferred result value. It can be generated and transmitted to the AI devices 100a to 100e.
  • the AI devices 100a to 100e may infer a result value of input data using a direct learning model, and generate a response or a control command based on the inferred result value.
  • the AI devices 100a to 100e to which the above-described technology is applied will be described.
  • the AI devices 100a to 100e illustrated in FIG. 3 may be viewed as a specific example of the AI device 100 illustrated in FIG. 1.
  • the robot 100a is applied with AI technology and may be implemented as a guide robot, a transport robot, a cleaning robot, a wearable robot, an entertainment robot, a pet robot, an unmanned flying robot, and the like.
  • the robot 100a may include a robot control module for controlling an operation, and the robot control module may refer to a software module or a chip implementing the same as hardware.
  • the robot 100a acquires status information of the robot 100a by using sensor information acquired from various types of sensors, detects (recognizes) the surrounding environment and objects, generates map data, or moves paths and travels. It can decide a plan, decide a response to user interaction, or decide an action.
  • the robot 100a may use sensor information obtained from at least one sensor from among a lidar, a radar, and a camera in order to determine a moving route and a driving plan.
  • the robot 100a may perform the above operations using a learning model composed of at least one artificial neural network.
  • the robot 100a may recognize a surrounding environment and an object using a learning model, and may determine an operation using the recognized surrounding environment information or object information.
  • the learning model may be directly learned by the robot 100a or learned by an external device such as the AI server 200.
  • the robot 100a may perform an operation by generating a result using a direct learning model, but it transmits sensor information to an external device such as the AI server 200 and performs the operation by receiving the result generated accordingly. You may.
  • the robot 100a determines a movement path and a driving plan using at least one of map data, object information detected from sensor information, or object information acquired from an external device, and controls the driving unit to determine the determined movement path and travel plan. Accordingly, the robot 100a can be driven.
  • the map data may include object identification information on various objects arranged in a space in which the robot 100a moves.
  • the map data may include object identification information on fixed objects such as walls and doors and movable objects such as flower pots and desks.
  • the object identification information may include a name, type, distance, and location.
  • the robot 100a may perform an operation or run by controlling a driving unit based on a user's control/interaction.
  • the robot 100a may acquire interaction intention information according to a user's motion or voice speech, and determine a response based on the obtained intention information to perform an operation.
  • the robot 100a may be implemented as a guide robot, a transport robot, a cleaning robot, a wearable robot, an entertainment robot, a pet robot, an unmanned flying robot, etc. by applying AI technology and autonomous driving technology.
  • the robot 100a to which AI technology and autonomous driving technology are applied may refer to a robot having an autonomous driving function or a robot 100a interacting with the autonomous driving vehicle 100b.
  • the robot 100a having an autonomous driving function may collectively refer to devices that move by themselves according to a given movement line without the user's control or by determining the movement line by themselves.
  • the robot 100a having an autonomous driving function and the autonomous driving vehicle 100b may use a common sensing method to determine one or more of a moving route or a driving plan.
  • the robot 100a having an autonomous driving function and the autonomous driving vehicle 100b may determine one or more of a movement route or a driving plan using information sensed through a lidar, a radar, and a camera.
  • the robot 100a interacting with the autonomous driving vehicle 100b exists separately from the autonomous driving vehicle 100b, and is linked to an autonomous driving function inside the autonomous driving vehicle 100b, or to the autonomous driving vehicle 100b. It is possible to perform an operation associated with the user on board.
  • the robot 100a interacting with the autonomous driving vehicle 100b acquires sensor information on behalf of the autonomous driving vehicle 100b and provides it to the autonomous driving vehicle 100b, or acquires sensor information and information about the surrounding environment or By generating object information and providing it to the autonomous driving vehicle 100b, it is possible to control or assist the autonomous driving function of the autonomous driving vehicle 100b.
  • the robot 100a interacting with the autonomous vehicle 100b may monitor a user in the autonomous vehicle 100b or control the function of the autonomous vehicle 100b through interaction with the user. .
  • the robot 100a may activate an autonomous driving function of the autonomous driving vehicle 100b or assist the control of a driving unit of the autonomous driving vehicle 100b.
  • the functions of the autonomous vehicle 100b controlled by the robot 100a may include not only an autonomous driving function, but also a function provided by a navigation system or an audio system provided inside the autonomous driving vehicle 100b.
  • the robot 100a interacting with the autonomous driving vehicle 100b may provide information or assist a function to the autonomous driving vehicle 100b from outside of the autonomous driving vehicle 100b.
  • the robot 100a may provide traffic information including signal information to the autonomous vehicle 100b, such as a smart traffic light, or interact with the autonomous driving vehicle 100b, such as an automatic electric charger for an electric vehicle. You can also automatically connect an electric charger to the charging port.
  • FIG. 4 is a conceptual diagram of a building management robot and a building management system including the same according to an embodiment of the present invention.
  • the building to which the building management robot and the building management system are applied is an apartment.
  • the building management robot and the building management system may be applied to a variety of buildings such as apartments other than apartments or commercial buildings such as hotels and officetels.
  • the building management system includes a building management robot 400, a server 200a, an identification device 500, an entrance management device 610, an elevator management device 620, and a home management device 630. Can include. Since the components included in the building management system are not limited to FIG. 4, the building management system may include more or less components than those shown in FIG. 4.
  • the building management robot 400 may perform various operations related to the management of the building while driving the inner area of the building or the outer area within a predetermined distance from the building (hereinafter referred to as “inside/outside of the building”).
  • the building management robot 400 may perform security operations, security guard assistance, parking lot management, cleaning operations, etc. while driving inside/outside a building.
  • the building management robot 400 may provide various services such as providing a door-to-door service to each household of an apartment or delivering goods such as courier or mail.
  • the building management robot 400 may recognize a person who is located inside/outside a building or who intends to enter the building, and may determine a service to be provided to the person according to the recognition result. Specific embodiments related to this will be described later with reference to FIGS. 6 to 16.
  • the server 200a may perform overall management of the building management system.
  • the server 200a may be a server operated by a provider of a building management system, but may be implemented as at least one computing device provided in a building according to embodiments.
  • the server 200a is connected to the building management robot 400 and various devices 500, 610, 620, 630 in the building, and transmits and receives various information and data, or the connected devices 400, 610, 620, 630 ) Can be controlled. Meanwhile, the devices 400, 500, 610, 620, and 630 other than the server 200a may be communicated with each other through the server 200a, but may be directly connected to each other in some embodiments.
  • the server 200a or the building management robot 400 may include an algorithm and a database for recognition and identification of people using the building.
  • the server 200a or the building management robot 400 provides users (residents, guests, employees, etc.) corresponding to each of a plurality of compartments (apartment building/lake, hotel room, etc.) included in the building through the database.
  • the database can identify whether a person recognized as corresponding to the partition space is a user who has access or use authority to the partition space according to an authentication level. It will be described later through FIG. 8.
  • an operation of the building management robot 400 to recognize a person and an operation of determining a service to be provided based on the recognition result may be performed by the server 200a.
  • the building management robot 400 transmits data (video, voice, etc.) for human recognition to the server 200a, and the server 200a recognizes the person from the received data, and based on the recognition result You can decide which service to provide.
  • the server 200a may transmit information or commands related to the determined service to the building management robot 400, and the building management robot 400 may provide the determined service to a recognized person.
  • the server 200a may be implemented as the AI server 200 described above in FIG. 2. That is, the configurations of the AI server 200 described above in FIG. 2 and a description thereof may be similarly applied to the server 200a of FIG. 4.
  • the identification device 500 may be a device corresponding to any one of a plurality of partition spaces included in a building.
  • the identification device 500 may be implemented with a smart key corresponding to a specific number in the apartment.
  • the identification device 500 may include identification information for any one of the partition spaces, security information for locking or unlocking the partition space, and the like.
  • the identification device 500 may include identification information for a corresponding building/lake, and security information (password, etc.) for locking or unlocking the building/lake.
  • the identification device 500 may include a short-range wireless communication module.
  • the identification device 500 includes components 200a included in the building management system according to short-range wireless communication methods such as Bluetooth®, Bluetooth Low Energy (BLE), near field communication (NFC), ultra wideband (UWB), and Zigbee. , 400, 610, 620, 630).
  • short-range wireless communication methods such as Bluetooth®, Bluetooth Low Energy (BLE), near field communication (NFC), ultra wideband (UWB), and Zigbee. , 400, 610, 620, 630).
  • the entrance management device 610 may manage the opening and closing operation of the entrance of the building. For example, when the identification device 500 is located within a predetermined distance, the entrance management device 610 may obtain identification information or security information from the identification device 500. The entrance management device 610 or the server 200a may check whether the acquired identification information or security information is information registered in the database of the building management system. When the obtained identification information or security information is information registered in the database, the entrance management device 610 may open the entrance of the building.
  • the elevator management device 620 may manage the operation of an elevator provided in a building. For example, the elevator management device 620 may control a lifting operation of an elevator and an opening/closing operation of a door. Depending on the embodiment, a camera device (such as a CCTV) may be provided inside the elevator, and the elevator management device 620 may transmit image data acquired through the camera device to the server 200a or the like.
  • a camera device such as a CCTV
  • each of the entrance management device 610 and the elevator management device 620 may be integrated into the server 200a.
  • the home management apparatus 630 may be provided in each of the divided spaces, and may perform a management operation on a corresponding divided space.
  • the home management device 630 may perform various management operations related to the partition space, such as opening and closing a door of the partition space, controlling power supply within the partition space, and monitoring within the partition space.
  • the home management device 630 may include a door lock device provided in a door.
  • the door lock device may obtain identification information or security information from the identification device 500 when the identification device 500 corresponding to the partition space approaches within a predetermined distance. When the acquired identification information or security information matches identification information or security information corresponding to the partition space, the door lock device may unlock the door.
  • the building management system may further include various configurations according to the type or characteristic of the building.
  • FIG. 5 is a block diagram showing a control configuration of a building management robot according to an embodiment of the present invention.
  • a building management robot 400 includes a communication unit 410, an input unit 420, a sensing unit 440, an output unit 450, a driving unit 462, and a memory. 470, and a processor 480.
  • the configurations illustrated in FIG. 5 are examples for convenience of description, and the building management robot 400 may include more or less configurations than those illustrated in FIG. 5.
  • the building management robot 400 may correspond to an example of the AI device 100 described above in FIG. 1.
  • the contents of each of the configurations described above in FIG. 1 may be similarly applied to each of the corresponding configurations among the configurations of the building management robot 400.
  • the communication unit 410 may include communication modules for connecting the building management robot 400 to the server 200a, the identification device 500, and various other devices 610, 620, 630 through a network. Each of the communication modules may support any one of the communication technologies described above in FIG. 1.
  • the building management robot 400 may be connected to a network through an access point such as a router. Accordingly, the building management robot 400 may provide various types of information and/or data acquired through the input unit 420 or the sensing unit 440 to the server 200a or the like through the network.
  • the communication unit 410 may recognize the identification device 500 existing within a predetermined distance from the building management robot 400 using a short-range wireless communication module (Bluetooth, BLE, NFC, etc.).
  • the building management robot 400 may include at least two short-range wireless communication modules disposed to be spaced apart from each other.
  • the processor 480 may detect the direction and/or position of the identification device 500 recognized from the at least two short-range wireless communication modules.
  • the input unit 420 may include at least one input means for acquiring various types of data.
  • the at least one input means may include a physical input means such as a button or a dial, and a touch input unit such as a touch pad or a touch panel.
  • the user may input various requests or commands to the building management robot 400 through the input unit 420.
  • the sensing unit 440 may include at least one sensor that senses various information around the building management robot 400.
  • the sensing unit 440 may include a camera 442, a microphone 444, and a driving environment detection sensor 446.
  • the camera 442 may acquire an image around the building management robot 400.
  • the building management robot 400 may include at least one camera 442, and at least one camera 442 may be implemented as a stereo camera, a 2D camera, an infrared camera, or the like.
  • the microphone 444 may detect sound (human voice, sound generated from a specific object, etc.) around the building management robot 400.
  • the processor 480 may acquire image data including a face of a person through the camera 442 and recognize the person based on the obtained image data.
  • the processor 480 may transmit the acquired image data to the server 200a through the communication unit 410, and the server 200a may recognize the person based on the received image data.
  • the processor 480 may acquire voice data including a human voice through the microphone 444 and recognize a person using the obtained voice data.
  • the server 200a may be implemented as the AI server 200 described above in FIG. 2, and in this case, the server 200a is the model (artificial neural network 231a) learned through the learning processor 240. It is also possible to recognize a person from image data and/or voice data.
  • the processor 480 may recognize a person from the image data and/or voice data through a model learned by the learning processor 430 in the building management robot 400.
  • the processor 480 may receive data corresponding to the learned model from the server 200a, store it in the memory 470, and recognize a person from the image data and/or voice data through the stored data. have.
  • the driving environment detection sensor 446 may include at least one sensor that detects an obstacle around the building management robot 400 or an obstacle on the floor surface, a step on the floor surface, etc. for stable driving of the building management robot 400.
  • the driving environment detection sensor 446 may include a camera, an ultrasonic sensor, a proximity sensor, or the like.
  • the processor 480 may control a driving direction or a driving speed of the building management robot 400 based on a sensing value of the driving environment detection sensor 446. For example, the processor 480 detects an obstacle in front based on the sensing value, sets or changes a driving path based on the detected obstacle, and based on the set or changed driving path, the driving unit 462 (for example, a driving motor) ) Can be controlled.
  • the driving unit 462 for example, a driving motor
  • some of the components (eg, a camera, a microphone, etc.) included in the sensing unit 440 may function as the input unit 420.
  • the output unit 450 may output various information related to the operation or state of the building management robot 400 and various services, programs, applications, etc. executed by the building management robot 400.
  • the output unit 450 may include a display 452 and a speaker 454.
  • the display 452 may output the above-described various types of information or messages in a graphic form.
  • the display 452 may be implemented in the form of a touch screen together with a touch input unit.
  • the display 452 may function not only as an output unit but also as an input unit.
  • the speaker 454 may output the various information or messages in the form of voice or sound.
  • the processor 480 may support a video call between a person around the robot and a security guard in a security room or a resident in a specific compartment using the output unit 450.
  • the output unit 450 may be attached to and detached from a predetermined position of the building management robot 400 in the form of a terminal.
  • the driving unit 462 is for moving (driving) the building management robot 400 and may include, for example, a travel motor.
  • the driving motor may be connected to at least one wheel provided under the building management robot 400 to provide driving force for driving of the building management robot 400 to the wheel.
  • the driving unit 462 may include at least one driving motor, and the processor 480 may control the at least one driving motor to adjust a driving direction and/or a driving speed.
  • the memory 470 performs an operation based on control data for controlling the operation of components included in the building management robot 400, an input obtained through the input unit 420 or information obtained through the sensing unit 440 Various data such as data to be used can be stored.
  • the memory 470 may store program data such as software modules or applications executed by at least one processor or controller included in the processor 480.
  • the memory 470 recognizes a person from image data including a person acquired through the camera 442 and/or voice data of the person acquired through the microphone 422. Can store the recognition algorithm for.
  • the memory 470 may further include a database for identifying the recognized person, or for authenticating whether the recognized person is a person (resident, guest, etc.) who has access or use rights to a predetermined compartment in the building.
  • the memory 470 may store an algorithm for adjusting a driving speed or a driving direction based on a sensing value acquired through the driving environment detection sensor 446.
  • the memory 470 may include various storage devices such as ROM, RAM, EEPROM, flash drive, and hard drive.
  • the processor 480 may include at least one processor or controller that controls the operation of the building management robot 400.
  • the processor 480 may include at least one CPU, an application processor (AP), a microcomputer (or microcomputer), an integrated circuit, an application specific integrated circuit (ASIC), and the like.
  • AP application processor
  • microcomputer or microcomputer
  • ASIC application specific integrated circuit
  • the processor 480 may control the overall operation of components included in the building management robot 400.
  • the processor 480 may include an ISP that generates image data by processing an image signal acquired through the camera 442, a display controller that controls the operation of the display 452, and the like.
  • FIG. 6 is a flowchart illustrating a registration and management operation for a recognized person by a building management robot according to an embodiment of the present invention.
  • the building management robot 400 may recognize the identification device 500 (S100 ).
  • the building management robot 400 may run inside/outside a building or perform various operations or provide services while stopped at a predetermined position inside/outside a building.
  • the processor 480 may detect the presence of the identification device 500 through the communication unit 410.
  • the short-range wireless communication module included in the communication unit 410 may periodically output a signal for detecting the identification device 500.
  • the identification device 500 may receive the signal and output a response according to the received signal.
  • the response may include identification information stored in the identification device 500, but this is not necessarily the case.
  • the processor 480 may detect the presence of the identification device 500 by receiving a response through the communication unit 410. In addition, when the response includes the identification information of the identification device 500, the processor 480 may obtain the identification information of the identification device 500 by receiving the response.
  • the building management robot 400 may detect the location (or direction) of the recognized identification device 500 and recognize a person present at a location corresponding to the detected location (S110).
  • the building management robot 400 may include at least two short-range wireless communication modules spaced apart from each other.
  • the processor 480 may detect the location or direction of the identification device 500 based on a time difference of a response received from each of the at least two short range wireless communication modules or a difference in signal strength of the response.
  • the processor 480 may control the driving unit 462 so that the camera 442 faces the detected position or direction.
  • the processor 480 controls the configuration so that the camera 442 detects the detected position or direction. You can face it.
  • the processor 480 may acquire image data including the sensed position or direction using the camera 442.
  • the identification device 500 is moved to a state held by a person such as the owner of the identification device 500, and the obtained image data includes the face of a person holding the identification device 500 It may contain an image.
  • the processor 480 may recognize a person corresponding to the identification device 500 from the acquired image data.
  • the processor 480 may recognize a person from the image data using a known face recognition algorithm.
  • the processor 480 may obtain voice data including a human voice generated from the sensed position or direction using the microphone 444.
  • the processor 480 may recognize the person based on voice characteristics (frequency characteristics, etc.) in the obtained voice data.
  • the microphone 444 may be implemented as a directional microphone, but this is not necessarily the case.
  • the processor 480 may recognize a person from image data and/or voice data using a recognition model stored in the memory 470.
  • the recognition model may include an artificial neural network learned based on machine learning.
  • the recognition model may be learned by the learning processor 430 of the building management robot 400 or the learning processor 230 of the server 200a.
  • the human recognition result may include the characteristic data of the person extracted from image data and/or voice data.
  • the feature data may include unique feature points extracted from the shape, color, and voice of the person's face.
  • the feature data includes image feature data obtained from image data and/or voice feature data obtained from voice data.
  • the processor 480 may collect the identification device 500, transmit a notification to a PC of the security room, or transmit a notification to a terminal of a person registered with the identification device 500.
  • the building management robot 400 may match the recognized identification device 500 with the recognized person and store it in the database (S120).
  • the processor 480 matches the identification information obtained from the identification device 500 with the recognition result of the person and stores it in a database, thereby enabling management of the person using the building.
  • the processor 480 may match the identification information (e.g., building/lake information) obtained from the identification device 500 with the characteristic data according to the recognition result of the person and store it in the database. have.
  • identification information e.g., building/lake information
  • a person recognized at a location corresponding to the identification device 500 may be a resident residing in the building/lake of the identification device 500 or a person having a high relationship with the building/lake.
  • the processor 480 may match the identification information of the identification device 500 with the characteristic data of the recognized person and store it in the database.
  • the processor 480 may provide a service based on the recognized person's authentication level as in the embodiment to be described later in FIG. 9. I can.
  • two or more people may be recognized at a location corresponding to the identification device 500.
  • the processor 480 may match the identification information of the identification device 500 with the feature data of each of the recognized people and store the matching data in the database.
  • the recognition result may be accumulated.
  • the building management robot 400 may set an authentication level for the recognized person based on the accumulated recognition result (S130).
  • the recognized person matched with the identification device 500 may be a person who has access or use authority to the partition space corresponding to the identification device 500 or a person registered for the partition space (e.g., a resident, a guest , Workers, etc.), not necessarily, and may be a person without permission to access or use the compartment, such as a simple one-time visitor.
  • the building management robot 400 may differentiate a service provided to a person matching the identification device 500 by setting an authentication level for the recognized person. For example, the higher the authentication level, the higher the likelihood that the person will have access or use authority to the partition space corresponding to the identification device 500. That is, the building management robot 400 may recognize that the higher the authentication level of the recognized person, the higher the likelihood that the person is a resident of a specific building/lake.
  • the possibility that the person has access or use authority to the partition space or is a registered person for the partition space may be higher.
  • the processor 480 may increase the authentication level as the number of times the person is recognized together with the identification device 500 increases, or when the number of times recognized is greater than a predetermined number.
  • the building management device 400 includes information obtained by the communication unit 410, the camera 442, and/or the microphone 444 in order to cause the server 200a to perform the steps S110 to S130. And data may be transmitted to the server 200a.
  • FIG. 7 to 8 are exemplary diagrams related to authentication level management of the building management robot shown in FIG. 6.
  • the building management robot 400 may detect a first identification device 500a located within a predetermined distance, and obtain first identification information D_INFO1 from the first identification device 500a.
  • the building management robot 400 may detect the position or direction of the first identification device 500a and acquire image data for the detected position or direction using the camera 442.
  • the image data may include an image of the first user 700 carrying the first identification device 500a.
  • the building management robot 400 may acquire first image feature data IMAGE1 of the first user 700 from the acquired image data.
  • the processor 480 may extract a face region of the first user 700 from among the acquired image data, and obtain first image feature data IMAGE1 from the image data of the extracted region.
  • the building management robot 400 may transmit the acquired first identification information D_INFO1 and the first image feature data IMAGE1 of the first user 700 to the server 200a.
  • the server 200a adds the first record (RECORD1) including the received first identification information (D_INFO1) and the first image feature data (IMAGE1) to the database, thereby adding the first user 700 to the first identification device. You can register by matching it to (500a).
  • the building management robot 400 may transmit the acquired image data to the server 200a instead of the first image feature data IMAGE1.
  • the server 200a acquires first image feature data IMAGE1 from the image data, and stores a first record RECORD1 including the obtained first image feature data IMAGE1 and first identification information D_INFO1 in a database. Can be added to
  • the server 200a may set an authentication level of the first user 700 for the first identification information D_INFO1. As described above, the server 200a acquires the number of times the first identification device 500a and the first user 700 are recognized together, that is, the first identification information D_INFO1 and the first image feature data IMAGE1 together. As the number of times is increased, the authentication level can be increased.
  • the server 200a may set the authentication level for the first user 700 to be high.
  • the building management robot 400 may detect the position or direction of the first identification device 500a and acquire image data for the detected position or direction using the camera 442. have.
  • the image data may include images of the users 700, 710, and 720. .
  • the building management robot 400 may acquire image feature data of each of a plurality of users from the acquired image data.
  • the processor 480 may include first image feature data IMAGE1 corresponding to the first user 700, second image feature data IMAGE2 corresponding to the second user 710, and the third user 720. Third image feature data IMAGE3 corresponding to may be extracted respectively.
  • the building management robot 400 may transmit the acquired first identification information D_INFO1 and a plurality of acquired image feature data IMAGE1, IMAGE2, and IMAGE3 to the server 200a.
  • the server 200a includes a first identification information D_INFO1 and a first image characteristic data IMAGE1 based on the received first identification information D_INFO1 and image characteristic data IMAGE1, IMAGE2, and IMAGE3.
  • Record (RECORD1) can be added to the database. However, if the first record (RECORD1) already exists in the database, the server 200a updates the authentication level of the first record (RECORD1) or other items that may be included in the first record (RECORD1) (recent authentication Date, etc.) can be updated.
  • the server 200a includes a second record (RECORD2) including first identification information (D_INFO1) and second image feature data (IMAGE2), and first identification information (D_INFO1) and third image feature data (IMAGE3).
  • RECORD2 second record
  • IMAGE2 second image feature data
  • IMAGE3 third image feature data
  • the server 200a may set an authentication level of each of the users 700, 710, and 720 for the first identification information D_INFO1. For example, when the number of times the first user 700 and the first identification device 500a are recognized is more than a predetermined number, the server 200a increases the authentication level for the first user 700 (eg, LEVEL 3 ).
  • the server 200a sets the authentication level for each of the second user 710 and the third user 720 to a low level (eg, LEVEL 1), and later, the second user 710 or the third user 720 When the number of times that are recognized together with the first identification device 500a increases, the authentication level may be increased.
  • a low level eg, LEVEL 1
  • the building management robot 400 and the building management system including the same are registered by matching people recognized inside/outside the building to each of the compartment spaces in the building. Can be managed.
  • the building management robot 400 and the building management system effectively distinguish and manage those who have access or use authority to a specific compartment by setting the authentication level of each matched person for a specific compartment. can do.
  • FIG. 9 is a flowchart illustrating an operation of providing a service based on an authentication level of a recognized person by a building management robot according to an embodiment of the present invention.
  • the building management robot 400 may acquire an image of a person (S200) and recognize the person included in the acquired image (S210).
  • Steps S200 and S210 are similar to those described above in step S110 of FIG. 6, and description thereof will be omitted.
  • the processor 480 may acquire voice data of a person using the microphone 444 and recognize the person based on the obtained voice data.
  • the building management robot 400 may check the authentication level of the recognized person (S220) and provide a service based on the confirmed authentication level (S230).
  • the processor 480 may obtain a record having the recognized human feature data (image feature data and/or voice feature data) from the database.
  • the processor 480 may check the authentication level of the recognized person based on the authentication level included in the acquired record.
  • the processor 480 may check the highest authentication level among the authentication levels included in each of the plurality of records as the authentication level of the recognized person.
  • the processor 480 may provide a service to the recognized person based on the confirmed authentication level. That is, the types or characteristics of services provided by the building management robot 400 may be different for each authentication level.
  • the building management robot 400 may provide more diverse services to the first user than to the second user.
  • the building management robot 400 may enter the building or the compartment interior, such as providing a simple personnel service, calling a security room, and calling a visit to a specific compartment. It may not provide related services.
  • the building management robot 400 may provide a more personalized service such as opening a building entrance, escorting, calling an elevator, and opening a door in a specific compartment. .
  • 10 to 11 are exemplary diagrams illustrating operations of the building management robot illustrated in FIG. 9 to provide different services according to authentication levels.
  • the building management robot 400 may acquire an image including the first user 700 using the camera 442 and recognize the first user 700 from the acquired image. For example, the building management robot 400 may recognize the first user 700 attempting to enter the building from the outside.
  • the building management robot 400 When the first user 700 has the first identification device 500a, the building management robot 400 will recognize the first identification information of the first identification device 500a and the first user 700 together. I can. On the other hand, when the first user 700 does not have the first identification device 500a, the building management robot 400 may recognize only the first user 700.
  • the building management robot 400 may obtain a record (identification information, authentication level, etc.) corresponding to the recognized first user 700 from the database.
  • the building management robot 400 When the obtained authentication level of the first user 700 is equal to or higher than the reference level, the building management robot 400 provides a more personalized service such as opening a building entrance, escort, calling an elevator, and opening a door in a specific compartment. It can be provided to the user 700. That is, the reference level may correspond to a criterion for discriminating whether a person has access or use authority to a specific partition space. According to an embodiment, the reference level may be divided into a plurality, and in this case, a service provided according to the authentication level may be further subdivided.
  • the building management robot 400 may transmit an entrance opening request signal OPEN to the entrance management device 610.
  • the entrance management device 610 may open the entrance of the building upon receiving the signal OPEN.
  • the first user 700 may enter the building as the entrance is opened.
  • the building management robot 400 may transmit an elevator call signal CALL to the elevator management device 620 to allow the first user 700 to use the elevator.
  • the elevator management apparatus 620 may move the elevator to the floor where the first user 700 and the building management robot 400 are located based on the received signal CALL.
  • the building management robot 400 may output a message 1002 related to the service being provided through the output unit 450.
  • the building management robot 400 is from the identification information of the identification device 500 matched to the first user 700, information on the partition space corresponding to the first user 700 (floor, building / number, room number Etc.).
  • the building management robot 400 may transmit, to the elevator management apparatus 620, information on a floor to which the elevator moves after the first user 700 boards, based on the acquired information.
  • the elevator management device 620 may move the elevator to a corresponding floor based on the received information.
  • the building management robot 400 boards and gets off the elevator together with the first user 700, and reaches the entrance (door, etc.) of the compartment corresponding to the first user 700. ) Can be escorted.
  • the building management robot 400 may acquire an image including the third user 720 using the camera 442 and recognize the third user 720 from the acquired image. have.
  • the building management robot 400 may recognize the third user 720 attempting to enter the building from the outside.
  • the building management robot 400 may obtain a record (identification information, authentication level, etc.) corresponding to the recognized third user 720 from the database.
  • the building management robot 400 determines that the third user 720 is a person (e.g., a visitor) who does not have permission to access or use a specific compartment. can do. Accordingly, the building management robot 400 may not provide services such as opening an entrance or calling an elevator as shown in FIG. 10.
  • the building management robot 400 may transmit a visitor notification (NOTI) to the management device 630 of a division space corresponding to the third user 720.
  • NOTI visitor notification
  • the building management robot 400 may output a message 1102 related to the service being provided through the output unit 450.
  • the building management robot 400 may also transmit image data including the third user 720 to the management device 630 when the visitor notification NOTI is transmitted.
  • the building management robot 400 when the image and/or audio data for communication with the third user 720 is received from the management device 630, the building management robot 400 outputs the received image and/or audio data to the output unit 450 ) Can also be printed. That is, the building management robot 400 enables communication between the occupants (residents, etc.) of the divided space and the third user 720. According to an embodiment, when the entrance of the third user 720 is approved by the occupant, the building management robot 400 provides services such as opening an entrance and calling an elevator as shown in FIG. 10 to the third user 720. It can also be provided to.
  • the building management robot 400 may provide different services based on the recognized user's authentication level.
  • the building management robot 400 can provide a smooth service to the user using a database in which information related to the user is stored. I can.
  • FIG. 12 is a flowchart showing an embodiment of a method of using an elevator by a building management robot.
  • the building management robot 400 may recognize that a boarding situation of an elevator provided inside the building occurs in order to move to a predetermined place inside the building (S300).
  • the processor 480 when the processor 480 receives a visit request from a management device (eg, the home management device 630) of a specific compartment, it may recognize that it is necessary to take an elevator to move to the specific compartment.
  • a management device eg, the home management device 630
  • the building management robot 400 may acquire an interior image of the elevator from the elevator management device 620 (S310), and detect the presence of a person from the acquired interior image (S320).
  • the elevator management apparatus 620 may periodically or continuously acquire image data using a camera device (such as a CCTV) installed inside the elevator.
  • the acquired image data may be transmitted to and stored in the server 200a.
  • the processor 480 of the building management robot 400 may obtain the image data for the interior of the elevator from the elevator management device 620 or the server 200a when the elevator boarding situation occurs.
  • the processor 480 may detect whether a person (user) is present in the elevator from the acquired image data. For example, the processor 480 may recognize the presence of a person from the image data using a known image recognition algorithm. According to an embodiment, the operation of recognizing the existence of a person may be performed by the server 200a.
  • the building management robot 400 may wait without calling the elevator until the person boarding the elevator gets off (S340).
  • the building management robot 400 may call the elevator and board (S350).
  • the elevator When there is a user using an elevator, if the elevator is stopped on a specific floor by the building management robot 400 while moving, the movement of the user may be delayed.
  • the building management robot 400 is equipped with a camera 442 or a microphone 444, the user may feel rejected in terms of privacy when using the elevator together with the building management robot 400.
  • the building management robot 400 may use the elevator to minimize disturbance or discomfort to other users of the elevator.
  • the processor 480 may wait until the person gets off the elevator without transmitting a call request for the elevator to the elevator management device 620.
  • the processor 480 may transmit a call request for the elevator to the elevator management device 620.
  • the processor 480 may control the driving unit 462 to board the elevator.
  • the processor 480 may transmit a request to move to the floor of the specific compartment to the elevator management device 620 after boarding the elevator.
  • the elevator management device 620 may move the elevator to the floor of the specific compartment in response to the movement request.
  • the building management robot 400 may wait without calling the elevator when there are more than a preset number of people inside the elevator.
  • the building management robot 400 may call the elevator and board when there are less than a predetermined number of people inside the elevator.
  • the building management robot 400 monitors the change in the number of people inside the elevator after the elevator is called and before boarding, and when a person boards while moving according to the elevator call, or when the number of people increases beyond a preset number, You can also cancel the call.
  • FIG. 13 is a flowchart showing another embodiment of a method of using an elevator by a building management robot.
  • Step S400 of FIG. 13 is substantially the same as step S300 of FIG. 12.
  • the building management robot 400 may check whether or not there is an elevator waiting person from the elevator management device 620 (S410).
  • a camera device such as a CCTV
  • the elevator management device 620 or the server 200a may acquire image data from the camera devices and transmit the acquired image data to the building management robot 400.
  • the processor 480 may determine whether or not a person waiting for use of the elevator is present by recognizing the presence of a person from the acquired image data using a known image recognition algorithm.
  • the building management robot 400 may wait without calling an elevator (S430).
  • the building management robot 400 may call an elevator and board (S440).
  • the processor 480 may wait without transmitting an elevator call request to the elevator management device 620 until the use of the elevator of the waiting person is terminated.
  • the processor 480 may transmit the elevator call request to the elevator management device 620.
  • the processor 480 may control the driving unit 462 to board the elevator.
  • the processor 480 may transmit a request to move to the floor of the specific compartment to the elevator management device 620 after boarding the elevator.
  • the elevator management device 620 may move the elevator to the floor of the specific compartment in response to the movement request.
  • the building management robot 400 uses the elevator only when the user or the waiting person of the elevator is not detected, thereby minimizing interference or inconvenience to the user or the waiting person. I can.
  • FIG. 14 is a flowchart illustrating an exemplary operation of providing an elevator-related service based on identification information of a recognized person by a building management robot.
  • 15 is an exemplary diagram illustrating an elevator-related service provision operation of the building management robot shown in FIG. 14.
  • the building management robot 400 may recognize a person registered in the database (S500).
  • the building management robot 400 may call an elevator based on the identification device 500 corresponding to the recognized person or identification information of the partition space (S510).
  • the processor 480 recognizes a person using image data and/or voice data acquired through the camera 442 and/or the microphone 444, and recognizes the person from the database. Identification information of an identification device (or partition space) corresponding to a person who has been identified can be obtained.
  • the processor 480 may check a floor to which the recognized person will move from the obtained identification information, and transmit a call request for an elevator to the elevator management device 620 according to the confirmation result. According to an embodiment, the processor 480 may check the authentication level for the recognized person, and transmit the elevator call request to the elevator management device 620 when the confirmed authentication level is equal to or higher than the reference level.
  • the building management robot 400 may ride the elevator on the basis of the recognized identification information of the person (S520), and when the person gets off, the vehicle may get off or escort together (530).
  • the identification information in steps S520 and S530 does not mean identification information on the identification device 500 or the partition space, but the characteristics of the person (gender, age group, disability, or not, which can be obtained from the recognized person's characteristic data). It may mean information indicating whether or not mobility is uncomfortable.
  • the database may store not only identification information on the identification device 500 or the partition space, but also identification information indicating characteristics of the person.
  • the processor 480 determines the recognized person 1500 ) It is possible to control the driving unit 462 to ride and get off the elevator (1600).
  • the processor 480 may monitor whether the person 1500 moves normally by acquiring image data including the recognized person 1500 using the camera 442 after getting off the car.
  • the processor 480 performs an escort for the recognized person 1500 by controlling the driving unit 462 to travel according to the movement of the recognized person 1500 after getting off the elevator 1600. You may.
  • 16 is a flowchart illustrating an example of an operation in which a building management robot provides an elevator-related service to a recognized person based on a result of identification of another person in an elevator.
  • the building management robot 400 may call an elevator based on identification information of a recognized person (S600).
  • Step S600 may be substantially the same as step S510 of FIG. 14.
  • the building management robot 400 may recognize and identify the other person when there is another person in the called elevator (S610).
  • the processor 480 may acquire image data including the interior of the elevator using the camera 442.
  • the processor 480 may receive image data acquired from a camera device (such as a CCTV) provided inside the elevator from the elevator management device 620.
  • the processor 480 may recognize whether another person is present in the elevator from the acquired image data or the received image data.
  • the processor 480 may recognize and identify the other person.
  • the processor 480 may obtain feature data from the image of the other person, and perform an operation of recognizing and identifying the other person based on whether the obtained feature data exists in the database.
  • the building management robot 400 may perform an escort by riding an elevator with the person recognized in step S600 based on the identification result of the other person (S620).
  • the processor 480 may not ride with the recognized person in an elevator.
  • the other person may be a person who has the same or different access or use authority as the person recognized in step S600. Accordingly, the processor 480 may recognize that safety for the recognized person is guaranteed, and may not ride in the elevator.
  • the processor 480 may board and get off the elevator with the recognized person and perform escort.
  • the other person may be a person (simple visitor, a person with high risk, etc.) who does not have access or use rights to the compartments in the building. Accordingly, the processor 480 may board and get off the elevator with the recognized person, and provide an escort service to the destination for safety for the recognized person.
  • the building management robot 400 provides a ride and escort service to the user and the elevator based on the characteristics of the elevator user or the identification result of another person present in the elevator. can do. Accordingly, the building management robot 400 enables the user to use the elevator safely, and the user can feel satisfaction with the building management robot.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명의 실시 예에 따른 빌딩 관리 로봇은, 빌딩 내의 적어도 하나의 구획 공간 중 제1 구획 공간에 대응하는 식별 장치를 인식하고, 상기 식별 장치로부터 상기 제1 구획 공간에 대한 제1 식별 정보를 획득하는 통신부, 상기 식별 장치가 인식된 위치를 포함하는 이미지 데이터를 획득하는 카메라, 및 상기 이미지 데이터로부터 사용자를 인식하고, 데이터베이스로부터, 상기 인식된 사용자의 상기 제1 구획 공간에 대한 인증 레벨을 확인하고, 확인된 인증 레벨에 기초한 서비스를 상기 사용자에게 제공하는 프로세서를 포함한다. 실시 예에 따라, 상기 빌딩 관리 로봇은 인공지능 기반의 학습 모델을 통해 상기 이미지 데이터로부터 상기 사용자를 인식할 수 있다.

Description

빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법
본 발명은 빌딩 관리 로봇에 관한 것으로서, 특히 빌딩에 거주 또는 빌딩을 이용하는 사람들에게 다양한 서비스를 제공할 수 있는 빌딩 관리 로봇에 관한 것이다.
로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계로서, 로봇의 응용분야는 대체로 산업용, 의료용, 우주용, 해저용 등 다양한 분야로 분류된다.
최근에는 자율 주행 기술이나 센서를 이용한 자동 제어 기술, 통신 기술 등의 발전으로 인해, 보다 다양한 분야에 로봇을 적용하기 위한 연구가 지속되고 있다.
일례로, 아파트, 오피스텔, 호텔, 업무용 빌딩 등의 빌딩에 배치되어, 상기 빌딩과 관련된 다양한 관리 동작을 수행하는 빌딩 관리 로봇이 고려될 수 있다. 예컨대, 빌딩 관리 로봇은 빌딩 내/외부를 주행하면서, 경비 동작, 경비원 보조, 주차장 관리, 청소 동작 등을 수행할 수 있다. 또는, 빌딩 관리 로봇은 아파트의 각 세대에 대한 방문 서비스를 제공하거나 택배나 우편 등의 물품을 전달하는 등의 다양한 서비스를 제공할 수 있다.
한편, 빌딩 관리 로봇이 배치되는 빌딩에는 다양한 사람들이 존재할 수 있다. 이러한 사람들 중에는 빌딩 내 특정 구획 공간(아파트 동/호수, 호텔 객실 등)에 대한 이용 권한을 갖는 사람과, 일회성 방문자와 같이 이용 권한이 없는 사람이 혼재될 수 있다. 이러한 다양한 사람들에 대해, 효과적인 관리 및 맞춤형 서비스를 제공할 수 있는 빌딩 관리 로봇이 구현될 경우, 상기 빌딩 관리 로봇의 보급이 확대될 수 있다.
본 발명이 해결하고자 하는 과제는, 빌딩을 이용하는 다양한 사람들을 인식 및 인증하고, 인증 결과에 따른 다양한 맞춤형 서비스를 제공할 수 있는 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법을 구현하는 것이다.
본 발명의 해결하고자 하는 다른 과제는, 빌딩 내에 구비된 엘리베이터의 탑승 시 이용자의 불편을 최소화하거나, 이용자에 대한 효과적인 보호를 가능하게 하는 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법을 구현하는 것이다.
본 발명의 실시 예에 따른 빌딩 관리 로봇은, 빌딩 내의 적어도 하나의 구획 공간 중 제1 구획 공간에 대응하는 식별 장치를 인식하고, 상기 식별 장치로부터 상기 제1 구획 공간에 대한 제1 식별 정보를 획득하는 통신부, 상기 식별 장치가 인식된 위치를 포함하는 이미지 데이터를 획득하는 카메라, 및 상기 이미지 데이터로부터 사용자를 인식하고, 데이터베이스로부터, 상기 인식된 사용자의 상기 제1 구획 공간에 대한 인증 레벨을 확인하고, 확인된 인증 레벨에 기초한 서비스를 상기 사용자에게 제공하는 프로세서를 포함한다.
실시 예에 따라, 상기 통신부는 상기 빌딩 관리 로봇 내에 서로 이격 배치된 적어도 두 개의 무선 통신 모듈을 포함하고, 상기 프로세서는, 상기 식별 장치로부터 상기 적어도 두 개의 무선 통신 모듈 각각으로 수신되는 신호의 세기 또는 시간 차에 기초하여 상기 식별 장치의 위치 또는 방향을 감지하고, 감지된 위치 또는 방향을 향하도록 주행부 또는 카메라 방향 조절 기구를 제어하고, 상기 이미지 데이터를 획득하도록 상기 카메라를 제어할 수 있다.
상기 프로세서는, 상기 이미지 데이터로부터 상기 사용자를 포함하는 영역을 추출하고, 추출된 영역으로부터 상기 사용자의 이미지 특징 데이터를 획득하고, 상기 데이터베이스로부터 상기 이미지 특징 데이터 및 상기 제1 구획 공간의 제1 식별 정보를 갖는 레코드에 포함된 상기 인증 레벨을 획득할 수 있다.
실시 예에 따라, 상기 빌딩 관리 로봇은 러닝 프로세서에 의해 학습된 인식 모델을 저장하는 메모리를 더 포함하고, 상기 프로세서는, 상기 메모리에 저장된 상기 인식 모델을 통해, 상기 이미지 데이터로부터 상기 사용자를 인식할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 인증 레벨이 기준 레벨 미만인 경우, 상기 제1 구획 공간의 관리 장치로 방문자 알림을 전송할 수 있다.
실시 예에 따라, 상기 프로세서는, 상기 인증 레벨이 상기 기준 레벨 이상인 경우, 상기 빌딩의 출입구 개방 요청을 출입구 관리 장치로 전송하거나, 상기 빌딩의 엘리베이터 관리 장치로 엘리베이터 호출 요청을 전송할 수 있다.
상기 프로세서는, 상기 데이터베이스에 상기 제1 구획 공간과 매칭되는 상기 사용자의 정보가 존재하지 않는 경우, 상기 이미지 데이터로부터 획득되는 상기 사용자의 특징 데이터와 상기 제1 구획 공간에 대한 제1 식별 정보, 및 상기 인증 레벨을 포함하는 제1 레코드를 상기 데이터베이스에 저장할 수 있다.
상기 프로세서는, 상기 제1 식별 정보 및 상기 사용자의 특징 데이터가 획득되는 횟수가 소정 횟수 이상인 경우, 상기 제1 레코드에 포함된 상기 인증 레벨을 증가시킬 수 있다.
상기 프로세서는, 상기 적어도 하나의 구획 공간 중 제2 구획 공간으로 이동하기 위한 엘리베이터 탑승 상황을 인식하고, 엘리베이터 관리 장치 또는 서버로부터, 엘리베이터의 내부를 포함하는 제1 영상 데이터를 수신하고, 수신된 제1 영상 데이터로부터 상기 엘리베이터 내에 탑승자의 존재 여부를 감지하고, 탑승자가 존재하지 않는 경우 상기 엘리베이터의 호출 요청을 상기 엘리베이터 관리 장치 또는 상기 서버로 전송할 수 있다.
상기 프로세서는, 상기 엘리베이터 관리 장치 또는 서버로부터, 상기 빌딩 내의 적어도 하나의 층 각각의 엘리베이터 탑승 영역을 포함하는 적어도 하나의 제2 영상 데이터를 수신하고, 수신된 적어도 하나의 제2 영상 데이터로부터 상기 엘리베이터의 이용 대기자 존재 여부를 감지하고, 상기 이용 대기자가 존재하지 않는 경우 상기 엘리베이터의 호출 요청을 상기 엘리베이터 관리 장치 또는 상기 서버로 전송할 수 있다.
상기 프로세서는, 상기 제1 식별 정보에 기초하여 엘리베이터의 호출 요청을 엘리베이터 관리 장치 또는 서버로 전송하고, 상기 사용자의 특성에 기초하여 상기 엘리베이터의 동승 여부를 결정하고, 상기 사용자의 특성은 성별, 연령대, 장애 여부, 및 거동 불편 여부 중 적어도 하나의 정보를 포함할 수 있다.
상기 프로세서는, 상기 사용자와 상기 엘리베이터에 동승한 경우, 상기 사용자의 하차 시 함께 하차하도록 주행부를 제어하고, 상기 사용자를 포함하는 영상 데이터를 획득하도록 상기 카메라를 제어하는 제1 동작, 및 상기 사용자의 이동을 따라 주행하도록 상기 주행부를 제어하는 제2 동작 중 적어도 하나를 수행할 수 있다.
실시 예에 따라, 상기 프로세서는 상기 엘리베이터 관리 장치 또는 상기 서버로부터 상기 엘리베이터의 내부를 포함하는 영상 데이터를 수신하고, 수신된 영상 데이터로부터 상기 엘리베이터 내부의 타인을 식별하고, 상기 타인의 식별 결과에 기초하여 상기 엘리베이터의 동승 여부를 결정할 수 있다.
본 발명의 일 실시 예에 따른 빌딩 관리 로봇을 이용한 서비스 제공 방법은, 빌딩 내의 적어도 하나의 구획 공간 중 제1 구획 공간에 대응하는 식별 장치를 인식하는 단계; 상기 식별 장치가 인식된 위치를 포함하는 이미지 데이터를 획득하는 단계; 획득된 이미지 데이터로부터 사용자를 인식하는 단계; 데이터베이스로부터, 상기 인식된 사용자의 제1 구획 공간에 대한 인증 레벨을 확인하는 단계; 및 확인된 인증 레벨에 기초한 서비스를 상기 사용자에게 제공하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따르면, 빌딩 관리 로봇은 빌딩 내/외부에서 인식되는 사람들을 빌딩 내의 구획 공간들 각각에 매칭시켜 효율적으로 관리할 수 있다. 또한, 빌딩 관리 로봇은 특정 구획 공간에 대해, 매칭된 사람들 각각의 인증 레벨을 설정함으로써, 특정 구획 공간의 출입 또는 이용 권한을 갖는 사람과 그렇지 않은 사람을 효과적으로 구분하여 관리할 수 있다.
또한, 빌딩 관리 로봇은 인식된 사람들 각각의 인증 레벨에 기초하여 서로 다른 서비스를 제공함으로써, 사람들에게 다양한 맞춤형 서비스를 자동으로 제공할 수 있다.
뿐만 아니라, 빌딩 관리 로봇은 엘리베이터의 탑승 상황 시, 엘리베이터의 이용자 또는 이용 대기자가 감지되지 않는 경우에만 엘리베이터를 이용함으로써 이용자 또는 이용 대기자에 대한 방해나 불편을 최소화할 수 있다.
또한, 빌딩 관리 로봇은 엘리베이터 이용자의 특성, 또는 엘리베이터에 존재하는 타인의 식별 결과에 기초하여 상기 이용자와 엘리베이터에 동승하고, 이용자를 모니터링하거나 에스코트하는 등의 서비스를 제공할 수 있다. 이에 따라, 빌딩 관리 로봇은 이용자의 안전한 엘리베이터 이용을 가능하게 하고, 이용자는 빌딩 관리 로봇에 대한 만족감을 느낄 수 있다.
도 1은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 장치를 나타낸다.
도 2는 본 발명의 일 실시 예에 따른 로봇과 연결되는 AI 서버를 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 시스템을 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 빌딩 관리 로봇 및 그를 포함하는 빌딩 관리 시스템의 개념도이다.
도 5는 본 발명의 일 실시 예에 따른 빌딩 관리 로봇의 제어 구성을 나타내는 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 빌딩 관리 로봇이, 인식된 사람에 대한 등록 및 관리 동작을 설명하기 위한 플로우차트이다.
도 7 내지 도 8은 도 6에 도시된 빌딩 관리 로봇의 인증 레벨 관리와 관련된 예시도들이다.
도 9는 본 발명의 일 실시 예에 따른 빌딩 관리 로봇이, 인식된 사람의 인증 레벨에 기초하여 서비스를 제공하는 동작을 설명하기 위한 플로우차트이다.
도 10 내지 도 11은 도 9에 도시된 빌딩 관리 로봇이 인증 레벨에 따라 서로 다른 서비스를 제공하는 동작을 나타내는 예시도들이다.
도 12는 빌딩 관리 로봇의 엘리베이터 이용 방법에 대한 일 실시 예를 나타내는 플로우차트이다.
도 13은 빌딩 관리 로봇의 엘리베이터 이용 방법에 대한 다른 실시 예를 나타내는 플로우차트이다.
도 14는 빌딩 관리 로봇이 인식된 사람의 식별 정보에 기초하여 엘리베이터 관련 서비스를 제공하는 동작의 일 실시 예를 설명하기 위한 플로우차트이다.
도 15는 도 14에 도시된 빌딩 관리 로봇의 엘리베이터 관련 서비스 제공 동작에 대한 예시도이다.
도 16은 빌딩 관리 로봇이 엘리베이터 내의 타인의 식별 결과에 기초하여, 인식된 사람에 대해 엘리베이터 관련 서비스를 제공하는 동작의 일 실시 예를 설명하기 위한 플로우차트이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명한다. 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
로봇은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다.
로봇은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.
로봇은 액츄에이터 또는 모터를 포함하는 구동부를 구비하여 로봇 관절을 움직이는 등의 다양한 물리적 동작을 수행할 수 있다. 또한, 이동 가능한 로봇은 구동부에 휠, 브레이크, 프로펠러 등이 포함되어, 구동부를 통해 지상에서 주행하거나 공중에서 비행할 수 있다.
인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.
인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로써, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.
인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)를 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.
모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.
인공 신경망의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.
지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.
인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.
자율 주행은 스스로 주행하는 기술을 의미하며, 자율 주행 차량은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미한다.
예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다.
차량은 내연 기관만을 구비하는 차량, 내연 기관과 전기 모터를 함께 구비하는 하이브리드 차량, 그리고 전기 모터만을 구비하는 전기 차량을 모두 포괄하며, 자동차뿐만 아니라 기차, 오토바이 등을 포함할 수 있다.
이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.
도 1은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 장치를 나타낸다.
AI 장치(100)는 TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 데스크탑 컴퓨터, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 1을 참조하면, AI 장치(100)는 통신부(110), 입력부(120), 러닝 프로세서(130), 센싱부(140), 출력부(150), 메모리(170) 및 프로세서(180) 등을 포함할 수 있다.
통신부(110)는 유무선 통신 기술을 이용하여 다른 AI 장치(100a 내지 100e)나 AI 서버(200) 등의 외부 장치들과 데이터를 송수신할 수 있다. 예컨대, 통신부(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다.
이때, 통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth쪠), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
입력부(120)는 다양한 종류의 데이터를 획득할 수 있다.
이때, 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다. 여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 프로세서(180) 또는 러닝 프로세서(130)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.
러닝 프로세서(130)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
이때, 러닝 프로세서(130)는 AI 서버(200)의 러닝 프로세서(240)과 함께 AI 프로세싱을 수행할 수 있다.
이때, 러닝 프로세서(130)는 AI 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(130)는 메모리(170), AI 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
센싱부(140)는 다양한 센서들을 이용하여 AI 장치(100) 내부 정보, AI 장치(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다.
이때, 센싱부(140)에 포함되는 센서에는 근접 센서, 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크로폰, 라이다, 레이더 등이 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다.
이때, 출력부(150)에는 시각 정보를 출력하는 디스플레이부, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등이 포함될 수 있다.
메모리(170)는 AI 장치(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(170)는 입력부(120)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
프로세서(180)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, AI 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(180)는 AI 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(180)는 러닝 프로세서(130) 또는 메모리(170)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 AI 장치(100)의 구성 요소들을 제어할 수 있다.
이때, 프로세서(180)는 결정된 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(180)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
이때, 프로세서(180)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
이때, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(130)에 의해 학습된 것이나, AI 서버(200)의 러닝 프로세서(240)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(180)는 AI 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(170) 또는 러닝 프로세서(130)에 저장하거나, AI 서버(200) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
프로세서(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, AI 장치(100)의 구성 요소들 중 적어도 일부를 제어할 수 있다. 나아가, 프로세서(180)는 상기 응용 프로그램의 구동을 위하여, AI 장치(100)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작시킬 수 있다.
도 2는 본 발명의 일 실시 예에 따른 로봇과 연결되는 AI 서버를 나타낸다.
도 2를 참조하면, AI 서버(200)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(200)는 AI 장치(100)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
AI 서버(200)는 통신부(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260) 등을 포함할 수 있다.
통신부(210)는 AI 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 231a)을 저장할 수 있다.
러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, AI 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.
프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 로봇을 포함하는 AI 시스템을 나타낸다.
도 3을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결된다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치(100a 내지 100e)라 칭할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
즉, AI 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(200)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200)는 AI 시스템(1)을 구성하는 AI 장치들인 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)을 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다.
이때, AI 서버(200)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.
또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
이하에서는, 상술한 기술이 적용되는 AI 장치(100a 내지 100e)의 다양한 실시 예들을 설명한다. 여기서, 도 3에 도시된 AI 장치(100a 내지 100e)는 도 1에 도시된 AI 장치(100)의 구체적인 실시 예로 볼 수 있다.
로봇(100a)은 AI 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇 등으로 구현될 수 있다.
로봇(100a)은 동작을 제어하기 위한 로봇 제어 모듈을 포함할 수 있고, 로봇 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다.
로봇(100a)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 로봇(100a)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 사용자 상호작용에 대한 응답을 결정하거나, 동작을 결정할 수 있다.
여기서, 로봇(100a)은 이동 경로 및 주행 계획을 결정하기 위하여, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
로봇(100a)은 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, 로봇(100a)은 학습 모델을 이용하여 주변 환경 및 객체를 인식할 수 있고, 인식된 주변 환경 정보 또는 객체 정보를 이용하여 동작을 결정할 수 있다. 여기서, 학습 모델은 로봇(100a)에서 직접 학습되거나, AI 서버(200) 등의 외부 장치에서 학습된 것일 수 있다.
이때, 로봇(100a)은 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
로봇(100a)은 맵 데이터, 센서 정보로부터 검출한 객체 정보 또는 외부 장치로부터 획득한 객체 정보 중에서 적어도 하나 이상을 이용하여 이동 경로와 주행 계획을 결정하고, 구동부를 제어하여 결정된 이동 경로와 주행 계획에 따라 로봇(100a)을 주행시킬 수 있다.
맵 데이터에는 로봇(100a)이 이동하는 공간에 배치된 다양한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 예컨대, 맵 데이터에는 벽, 문 등의 고정 객체들과 화분, 책상 등의 이동 가능한 객체들에 대한 객체 식별 정보가 포함될 수 있다. 그리고, 객체 식별 정보에는 명칭, 종류, 거리, 위치 등이 포함될 수 있다.
또한, 로봇(100a)은 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 로봇(100a)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
로봇(100a)은 AI 기술 및 자율 주행 기술이 적용되어, 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇 등으로 구현될 수 있다.
AI 기술과 자율 주행 기술이 적용된 로봇(100a)은 자율 주행 기능을 가진 로봇 자체나, 자율 주행 차량(100b)과 상호작용하는 로봇(100a) 등을 의미할 수 있다.
자율 주행 기능을 가진 로봇(100a)은 사용자의 제어 없이도 주어진 동선에 따라 스스로 움직이거나, 동선을 스스로 결정하여 움직이는 장치들을 통칭할 수 있다.
자율 주행 기능을 가진 로봇(100a) 및 자율 주행 차량(100b)은 이동 경로 또는 주행 계획 중 하나 이상을 결정하기 위해 공통적인 센싱 방법을 사용할 수 있다. 예를 들어, 자율 주행 기능을 가진 로봇(100a) 및 자율 주행 차량(100b)은 라이다, 레이더, 카메라를 통해 센싱된 정보를 이용하여, 이동 경로 또는 주행 계획 중 하나 이상을 결정할 수 있다.
자율 주행 차량(100b)과 상호작용하는 로봇(100a)은 자율 주행 차량(100b)과 별개로 존재하면서, 자율 주행 차량(100b)의 내부에서 자율 주행 기능에 연계되거나, 자율 주행 차량(100b)에 탑승한 사용자와 연계된 동작을 수행할 수 있다.
이때, 자율 주행 차량(100b)과 상호작용하는 로봇(100a)은 자율 주행 차량(100b)을 대신하여 센서 정보를 획득하여 자율 주행 차량(100b)에 제공하거나, 센서 정보를 획득하고 주변 환경 정보 또는 객체 정보를 생성하여 자율 주행 차량(100b)에 제공함으로써, 자율 주행 차량(100b)의 자율 주행 기능을 제어하거나 보조할 수 있다.
또는, 자율 주행 차량(100b)과 상호작용하는 로봇(100a)은 자율 주행 차량(100b)에 탑승한 사용자를 모니터링하거나 사용자와의 상호작용을 통해 자율 주행 차량(100b)의 기능을 제어할 수 있다. 예컨대, 로봇(100a)은 운전자가 졸음 상태인 경우로 판단되는 경우, 자율 주행 차량(100b)의 자율 주행 기능을 활성화하거나 자율 주행 차량(100b)의 구동부의 제어를 보조할 수 있다. 여기서, 로봇(100a)이 제어하는 자율 주행 차량(100b)의 기능에는 단순히 자율 주행 기능뿐만 아니라, 자율 주행 차량(100b)의 내부에 구비된 네비게이션 시스템이나 오디오 시스템에서 제공하는 기능도 포함될 수 있다.
또는, 자율 주행 차량(100b)과 상호작용하는 로봇(100a)은 자율 주행 차량(100b)의 외부에서 자율 주행 차량(100b)에 정보를 제공하거나 기능을 보조할 수 있다. 예컨대, 로봇(100a)은 스마트 신호등과 같이 자율 주행 차량(100b)에 신호 정보 등을 포함하는 교통 정보를 제공할 수도 있고, 전기 차량의 자동 전기 충전기와 같이 자율 주행 차량(100b)과 상호작용하여 충전구에 전기 충전기를 자동으로 연결할 수도 있다.
도 4는 본 발명의 일 실시 예에 따른 빌딩 관리 로봇 및 그를 포함하는 빌딩 관리 시스템의 개념도이다.
이하 본 명세서에서는 빌딩 관리 로봇 및 빌딩 관리 시스템이 적용되는 빌딩이 아파트인 것으로 가정하여 설명한다. 그러나, 상기 빌딩 관리 로봇 및 빌딩 관리 시스템은 아파트가 아닌 다른 공동주택이나, 호텔, 오피스텔 등의 상업용 빌딩 등의 다양한 빌딩에 대해 적용될 수 있다.
도 4를 참조하면, 빌딩 관리 시스템은 빌딩 관리 로봇(400), 서버(200a), 식별 장치(500), 출입구 관리 장치(610), 엘리베이터 관리 장치(620), 및 홈 관리 장치(630)를 포함할 수 있다. 빌딩 관리 시스템에 포함된 구성들이 도 4에 한정되는 것은 아닌 바, 빌딩 관리 시스템은 도 4에 도시된 구성들보다 많거나 적은 구성들을 포함할 수도 있다.
빌딩 관리 로봇(400)은 빌딩의 내부 영역 또는 빌딩으로부터 소정 거리 이내의 외부 영역(이하 '빌딩 내/외부'라 함)을 주행하면서, 빌딩의 관리와 관련된 다양한 동작을 수행할 수 있다.
예컨대, 빌딩 관리 로봇(400)은 빌딩 내/외부를 주행하면서, 경비 동작, 경비원 보조, 주차장 관리, 청소 동작 등을 수행할 수 있다.
또는, 빌딩 관리 로봇(400)은 아파트의 각 세대에 대한 방문 서비스를 제공하거나 택배나 우편 등의 물품을 전달하는 등의 다양한 서비스를 제공할 수 있다.
특히, 본 발명의 실시 예에 따른 빌딩 관리 로봇(400)은 빌딩 내/외부에 위치하거나 빌딩으로 진입하려는 사람을 인식하고, 인식 결과에 따라 상기 사람에게 제공할 서비스를 결정할 수 있다. 이와 관련된 구체적인 실시 예들에 대해서는 추후 도 6 내지 도 16을 통해 후술한다.
서버(200a)는 빌딩 관리 시스템의 전반적인 관리를 수행할 수 있다. 예컨대 서버(200a)는 빌딩 관리 시스템의 제공자가 운영하는 서버일 수 있으나, 실시 예에 따라서는 빌딩 내에 구비된 적어도 하나의 컴퓨팅 장치로 구현될 수 있다.
서버(200a)는 빌딩 관리 로봇(400) 및 빌딩 내의 다양한 기기들(500, 610, 620, 630)과 연결되어, 다양한 정보 및 데이터를 송수신하거나, 상기 연결된 기기들(400, 610, 620, 630)의 동작을 제어할 수 있다. 한편, 서버(200a)를 제외한 나머지 기기들(400, 500, 610, 620, 630)은 서버(200a)를 통해 서로 통신 연결될 수 있으나, 실시 예에 따라서는 직접 통신 연결될 수도 있다.
서버(200a) 또는 빌딩 관리 로봇(400)은 상기 빌딩을 이용하는 사람들에 대한 인식 및 식별을 위한 알고리즘 및 데이터베이스를 포함할 수 있다.
또한, 서버(200a) 또는 빌딩 관리 로봇(400은 상기 데이터베이스를 통해, 상기 빌딩에 포함된 복수의 구획 공간들(아파트 동/호수, 호텔 호실 등) 각각에 대응하는 사용자(입주민, 투숙객, 고용자 등)를 관리할 수 있다. 예컨대, 상기 데이터베이스는 상기 구획 공간에 대응하는 것으로 인식된 사람이 상기 구획 공간의 출입 또는 이용 권한을 갖는 사용자인지 여부를 인증 레벨에 따라 구분할 수 있다. 이에 대해서는 도 6 내지 도 8을 통해 후술한다.
한편, 빌딩 관리 로봇(400)이 사람을 인식하는 동작 및 인식 결과에 기초하여 제공할 서비스를 결정하는 동작은 서버(200a)에 의해 수행될 수도 있다. 이 경우, 빌딩 관리 로봇(400)은 사람의 인식을 위한 데이터(영상, 음성 등)를 서버(200a)로 전송하고, 서버(200a)는 수신된 데이터로부터 상기 사람을 인식하고, 인식 결과에 기초하여 제공할 서비스를 결정할 수 있다. 서버(200a)는 결정된 서비스와 관련된 정보 또는 명령을 빌딩 관리 로봇(400)으로 전송하고, 빌딩 관리 로봇(400)은 상기 결정된 서비스를 인식된 사람에게 제공할 수 있다.
한편, 서버(200a)는 도 2에서 상술한 AI 서버(200)로 구현될 수도 있다. 즉, 도 2에서 상술한 AI 서버(200)의 구성들 및 그와 관련된 설명은 도 4의 서버(200a)에도 마찬가지로 적용될 수 있다.
식별 장치(500)는 빌딩에 포함된 복수의 구획 공간들 중 어느 하나의 구획 공간과 대응하는 기기일 수 있다. 예컨대, 상기 빌딩이 아파트인 경우, 상기 식별 장치(500)는 아파트 내의 특정 호수에 대응하는 스마트 키(smart key)로 구현될 수 있다.
식별 장치(500)는 상기 어느 하나의 구획 공간에 대한 식별 정보, 상기 구획 공간의 잠금 또는 잠금 해제를 위한 보안 정보 등을 포함할 수 있다. 상기 빌딩이 아파트인 경우, 상기 식별 장치(500)는 대응하는 동/호수에 대한 식별 정보, 상기 동/호수의 잠금 또는 잠금 해제를 위한 보안 정보(패스워드 등)를 포함할 수 있다.
식별 장치(500)는 근거리 무선 통신 모듈을 포함할 수 있다. 예컨대, 식별 장치(500)는 Bluetooth®, BLE(Bluetooth Low Energy), NFC(near field communication), UWB(ultra wideband), Zigbee 등의 근거리 무선 통신 방식에 따라 빌딩 관리 시스템에 포함된 구성들(200a, 400, 610, 620, 630)과 통신 연결될 수 있다.
출입구 관리 장치(610)는 빌딩의 출입구에 대한 개폐 동작을 관리할 수 있다. 예컨대, 출입구 관리 장치(610)는 소정 거리 이내에 식별 장치(500)가 위치하는 경우 상기 식별 장치(500)로부터 식별 정보 또는 보안 정보를 획득할 수 있다. 출입구 관리 장치(610) 또는 서버(200a)는 획득된 식별 정보 또는 보안 정보가 빌딩 관리 시스템의 데이터베이스에 등록된 정보인지 여부를 확인할 수 있다. 상기 획득된 식별 정보 또는 보안 정보가 상기 데이터베이스에 등록된 정보인 경우, 출입구 관리 장치(610)는 빌딩의 출입구를 오픈시킬 수 있다.
엘리베이터 관리 장치(620)는 빌딩에 구비된 엘리베이터의 동작을 관리할 수 있다. 예컨대, 엘리베이터 관리 장치(620)는 엘리베이터의 승강 동작, 도어의 개폐 동작 등을 제어할 수 있다. 실시 예에 따라, 엘리베이터의 내부에는 카메라 장치(CCTV 등)가 구비될 수 있고, 엘리베이터 관리 장치(620)는 상기 카메라 장치를 통해 획득되는 영상 데이터를 서버(200a) 등으로 전송할 수 있다.
한편, 실시 예에 따라 출입구 관리 장치(610) 및 엘리베이터 관리 장치(620) 각각에 대한 적어도 일부의 구성 및 기능은 서버(200a)에 통합될 수도 있다.
홈 관리 장치(630)는 구획 공간들 각각에 구비되어, 대응하는 구획 공간에 대한 관리 동작을 수행할 수 있다. 상기 홈 관리 장치(630)는 상기 구획 공간의 도어 개폐 동작, 구획 공간 내의 전력 공급 제어, 구획 공간 내의 모니터링 등 상기 구획 공간과 관련된 다양한 관리 동작을 수행할 수 있다.
일례로, 홈 관리 장치(630)는 도어에 구비되는 도어락 장치를 포함할 수 있다. 상기 도어락 장치는 상기 구획 공간에 대응하는 식별 장치(500)가 소정 거리 이내로 근접할 경우, 상기 식별 장치(500)로부터 식별 정보 또는 보안 정보를 획득할 수 있다. 상기 도어락 장치는 획득된 식별 정보 또는 보안 정보가 상기 구획 공간에 대응하는 식별 정보 또는 보안 정보와 일치하는 경우, 상기 도어의 잠금을 해제할 수 있다.
그 밖에도, 빌딩 관리 시스템은 빌딩의 종류나 특성에 따른 다양한 구성들을 더 포함할 수 있다.
이하, 본 발명의 실시 예에 따른 빌딩 관리 로봇(400)의 구성 및 상기 빌딩 관리 로봇(400)을 통해 제공되는 다양한 빌딩 관리 동작의 실시 예들을 설명한다.
도 5는 본 발명의 일 실시 예에 따른 빌딩 관리 로봇의 제어 구성을 나타내는 블록도이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 빌딩 관리 로봇(400)은 통신부(410), 입력부(420), 센싱부(440), 출력부(450), 주행부(462), 메모리(470), 및 프로세서(480)를 포함할 수 있다. 도 5에 도시된 구성들은 설명의 편의를 위한 일례로서, 빌딩 관리 로봇(400)은 도 5에 도시된 구성들보다 많거나 적은 구성들을 포함할 수 있다.
한편, 빌딩 관리 로봇(400)은 도 1에서 상술한 AI 장치(100)의 일례에 해당할 수 있다. 이 경우, 도 1에서 상술한 구성들 각각에 대한 내용은, 빌딩 관리 로봇(400)의 구성들 중 대응하는 구성들 각각에 대해서도 마찬가지로 적용될 수 있다.
통신부(410)는 빌딩 관리 로봇(400)을 네트워크를 통해 서버(200a), 식별 장치(500), 기타 다양한 기기들(610, 620, 630) 등과 연결하기 위한 통신 모듈들을 포함할 수 있다. 상기 통신 모듈들 각각은 도 1에서 상술한 통신 기술 중 어느 하나를 지원할 수 있다.
예컨대, 빌딩 관리 로봇(400)은 공유기 등의 액세스 포인트를 통해 네트워크와 연결될 수 있다. 이에 따라, 빌딩 관리 로봇(400)은 입력부(420)나 센싱부(440) 등을 통해 획득되는 각종 정보 및/또는 데이터를, 상기 네트워크를 통해 서버(200a) 등으로 제공할 수 있다.
한편, 통신부(410)는 근거리 무선 통신 모듈(블루투스, BLE, NFC 등)을 이용하여 빌딩 관리 로봇(400)으로부터 소정 거리 이내에 존재하는 식별 장치(500)를 인식할 수 있다. 실시 예에 따라, 빌딩 관리 로봇(400)은 서로 이격되어 배치되는 적어도 두 개의 근거리 무선 통신 모듈을 구비할 수 있다. 이 경우, 프로세서(480)는 상기 적어도 두 개의 근거리 무선 통신 모듈로부터 인식되는 식별 장치(500)의 방향 및/또는 위치를 감지할 수도 있다.
입력부(420)는 다양한 종류의 데이터를 획득하는 적어도 하나의 입력 수단을 포함할 수 있다. 예컨대, 상기 적어도 하나의 입력 수단은 버튼이나 다이얼 등의 물리 입력 수단, 터치 패드나 터치 패널과 같은 터치 입력부 등을 포함할 수 있다. 사용자는 입력부(420)를 통해 각종 요청이나 명령을 빌딩 관리 로봇(400)으로 입력할 수 있다.
센싱부(440)는 빌딩 관리 로봇(400) 주변의 다양한 정보를 센싱하는 적어도 하나의 센서를 포함할 수 있다. 예컨대 센싱부(440)는 카메라(442), 마이크로폰(444), 및 주행 환경 감지 센서(446) 등을 포함할 수 있다.
카메라(442)는 빌딩 관리 로봇(400) 주변의 영상을 획득할 수 있다. 예컨대, 빌딩 관리 로봇(400)은 적어도 하나의 카메라(442)를 구비할 수 있고, 적어도 하나의 카메라(442)는 스테레오 카메라, 2D 카메라, 적외선 카메라 등으로 구현될 수 있다.
마이크로폰(444)은 빌딩 관리 로봇(400) 주변의 소리(사람의 음성, 특정 오브젝트로부터 발생하는 음향 등)를 감지할 수 있다.
일례로, 프로세서(480)는 카메라(442)를 통해 사람의 얼굴(face)을 포함하는 이미지 데이터를 획득하고, 획득된 이미지 데이터에 기초하여 상기 사람을 인식할 수 있다. 또는 프로세서(480)는 획득된 이미지 데이터를 통신부(410)를 통해 서버(200a)로 전송하고, 서버(200a)는 수신된 이미지 데이터에 기초하여 상기 사람을 인식할 수 있다.
실시 예에 따라, 프로세서(480)는 마이크로폰(444)을 통해 사람의 음성을 포함하는 음성 데이터를 획득하고, 획득된 음성 데이터를 이용하여 사람을 인식할 수도 있다.
한편, 서버(200a)는 도 2에서 상술한 AI 서버(200)로 구현될 수 있고, 이 경우 서버(200a)는 러닝 프로세서(240)을 통해 학습된 모델(인공신경망(231a))을 통해 상기 이미지 데이터 및/또는 음성 데이터로부터 사람을 인식할 수도 있다.
실시 예에 따라, 프로세서(480)는 빌딩 관리 로봇(400) 내의 러닝 프로세서(430)에 의해 학습된 모델을 통해, 상기 이미지 데이터 및/또는 음성 데이터로부터 사람을 인식할 수 있다. 또는, 프로세서(480)는 상기 서버(200a)로부터 상기 학습된 모델에 대응하는 데이터를 수신하여 메모리(470)에 저장하고, 저장된 데이터를 통해 상기 이미지 데이터 및/또는 음성 데이터로부터 사람을 인식할 수도 있다.
주행 환경 감지 센서(446)는 빌딩 관리 로봇(400)의 안정적인 주행을 위해, 빌딩 관리 로봇(400) 주변이나 바닥면의 장애물, 바닥면의 단차 등을 감지하는 적어도 하나의 센서를 포함할 수 있다. 예컨대, 주행 환경 감지 센서(446)는 카메라, 초음파 센서, 근접 센서 등을 포함할 수 있다.
프로세서(480)는 주행 환경 감지 센서(446)의 센싱값에 기초하여, 빌딩 관리 로봇(400)의 주행 방향이나 주행 속도를 제어할 수 있다. 예컨대, 프로세서(480)는 상기 센싱값에 기초하여 전방의 장애물을 감지하고, 감지된 장애물에 기초하여 주행 경로를 설정 또는 변경하고, 설정 또는 변경된 주행 경로에 기초하여 주행부(462; 예컨대 주행 모터)를 제어할 수 있다.
실시 예에 따라, 센싱부(440)에 포함된 구성들 중 일부(예컨대, 카메라, 마이크로폰 등)는 입력부(420)로서 기능할 수도 있다.
출력부(450)는 빌딩 관리 로봇(400)의 동작이나 상태, 빌딩 관리 로봇(400)에서 실행되는 각종 서비스, 프로그램, 애플리케이션 등과 관련된 각종 정보를 출력할 수 있다.
예컨대 출력부(450)는 디스플레이(452) 및 스피커(454) 등을 포함할 수 있다.
디스플레이(452)는 상술한 각종 정보나 메시지를 그래픽 형태로 출력할 수 있다. 실시 예에 따라, 디스플레이(452)는 터치 입력부와 함께 터치 스크린 형태로 구현될 수 있고, 이 경우 디스플레이(452)는 출력 수단뿐만 아니라 입력 수단으로서도 기능할 수 있다. 스피커(454)는 상기 각종 정보나 메시지를 음성이나 음향 형태로 출력할 수 있다. 실시 예에 따라, 프로세서(480)는 상기 출력부(450)를 이용하여 로봇 주변의 사람과 경비실의 경비원, 또는 특정 구획 공간의 거주자와의 화상 통화를 지원할 수 있다.
실시 예에 따라, 상기 출력부(450)는 일종의 단말기 형태로 빌딩 관리 로봇(400)의 소정 위치에 탈착될 수도 있다.
주행부(462)는 빌딩 관리 로봇(400)의 이동(주행)을 위한 것으로서, 예컨대 주행 모터를 포함할 수 있다. 상기 주행모터는 빌딩 관리 로봇(400)의 하부에 구비된 적어도 하나의 휠과 연결되어, 빌딩 관리 로봇(400)의 주행을 위한 구동력을 상기 휠로 제공할 수 있다. 예컨대, 주행부(462)는 적어도 하나의 주행모터를 구비할 수 있고, 프로세서(480)는 상기 적어도 하나의 주행모터를 제어하여 주행 방향 및/또는 주행 속도를 조절할 수 있다.
메모리(470)는 빌딩 관리 로봇(400)에 포함된 구성 요소들의 동작을 제어하기 위한 제어 데이터, 입력부(420)를 통해 획득된 입력이나 센싱부(440)를 통해 획득되는 정보에 기초한 동작을 수행하기 위한 데이터 등의 각종 데이터를 저장할 수 있다.
또한, 메모리(470)는 프로세서(480)에 포함된 적어도 하나의 프로세서나 컨트롤러에 의해 실행되는 소프트웨어 모듈이나 애플리케이션 등의 프로그램 데이터를 저장할 수 있다.
또한, 본 발명의 실시 예에 따른 메모리(470)는 카메라(442)를 통해 획득된 사람을 포함하는 이미지 데이터, 및/또는 마이크로폰(422)을 통해 획득된 사람의 음성 데이터로부터, 사람을 인식하기 위한 인식 알고리즘을 저장할 수 있다. 메모리(470)는 상기 인식된 사람을 식별하거나, 인식된 사람이 빌딩 내의 소정 구획 공간의 출입 또는 이용 권한을 갖는 사람(입주민, 투숙객 등)인지를 인증하기 위한 데이터베이스를 더 포함할 수도 있다.
또한, 메모리(470)는 주행 환경 감지 센서(446)를 통해 획득되는 센싱값에 기초하여 주행 속도나 주행 방향을 조절하는 알고리즘을 저장할 수 있다.
이러한 메모리(470)는 하드웨어적으로, ROM, RAM, EEPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기를 포함할 수 있다.
프로세서(480)는 빌딩 관리 로봇(400)의 동작을 제어하는 적어도 하나의 프로세서나 컨트롤러 등을 포함할 수 있다. 구체적으로, 프로세서(480)는 적어도 하나의 CPU, AP(application processor), 마이크로컴퓨터(또는 마이컴), 집적 회로, ASIC(application specific integrated circuit) 등을 포함할 수 있다.
프로세서(480)는 빌딩 관리 로봇(400)에 포함된 구성들의 전반적인 동작을 제어할 수 있다. 또한, 프로세서(480)는 카메라(442)를 통해 획득되는 이미지 신호를 처리하여 이미지 데이터를 생성하는 ISP, 디스플레이(452)의 동작을 제어하는 디스플레이 컨트롤러 등을 포함할 수 있다.
이하, 도 6 내지 도 16을 참조하여, 본 발명의 실시 예에 따른 빌딩 관리 로봇(400) 및 그를 포함하는 빌딩 관리 시스템의 동작에 대해 보다 상세히 설명한다.
도 6은 본 발명의 일 실시 예에 따른 빌딩 관리 로봇이, 인식된 사람에 대한 등록 및 관리 동작을 설명하기 위한 플로우차트이다.
도 6을 참조하면, 빌딩 관리 로봇(400)은 식별 장치(500)를 인식할 수 있다(S100).
빌딩 관리 로봇(400)은 빌딩 내/외부를 주행하거나 빌딩 내/외부의 소정 위치에 정지한 상태로 각종 동작을 수행하거나 서비스를 제공할 수 있다.
프로세서(480)는, 빌딩 관리 로봇(400)으로부터 소정 거리 이내로 식별 장치(500)가 근접하는 경우, 통신부(410)를 통해 상기 식별 장치(500)의 존재를 감지할 수 있다.
예컨대, 통신부(410)에 포함된 근거리 무선 통신 모듈은 식별 장치(500)를 감지하기 위한 신호를 주기적으로 출력할 수 있다. 상기 식별 장치(500)는 상기 빌딩 관리 로봇(400)으로부터 소정 거리 이내에 위치한 경우 상기 신호를 수신하고, 수신된 신호에 따른 응답을 출력할 수 있다. 상기 응답은 식별 장치(500)에 저장된 식별 정보를 포함할 수 있으나, 반드시 그러한 것은 아니다.
프로세서(480)는 상기 통신부(410)를 통해 응답을 수신함으로써 상기 식별 장치(500)의 존재를 감지할 수 있다. 또한, 상기 응답에 식별 장치(500)의 식별 정보가 포함된 경우, 프로세서(480)는 상기 응답을 수신함으로써 식별 장치(500)의 식별 정보를 획득할 수 있다.
빌딩 관리 로봇(400)은 인식된 식별 장치(500)의 위치(또는 방향)를 감지하고, 감지된 위치와 대응하는 위치에 존재하는 사람을 인식할 수 있다(S110).
도 5에서 상술한 바와 같이, 빌딩 관리 로봇(400)은 서로 이격된 적어도 두 개의 근거리 무선 통신 모듈을 포함할 수 있다. 이 경우, 프로세서(480)는 적어도 두 개의 근거리 무선 통신 모듈 각각으로부터 수신되는 응답의 시간 차이 또는 응답의 신호 세기 차이 등에 기초하여, 상기 식별 장치(500)의 위치 또는 방향을 감지할 수 있다.
프로세서(480)는 감지된 위치 또는 방향을 카메라(442)가 향하도록 주행부(462)를 제어할 수 있다. 또는, 빌딩 관리 로봇(400)에 카메라(442)의 방향을 조절하는 별도의 카메라 방향 조절 기구가 구비된 경우, 프로세서(480)는 상기 구성을 제어하여 카메라(442)가 상기 감지된 위치 또는 방향을 향하게 할 수 있다.
프로세서(480)는 카메라(442)를 이용하여 상기 감지된 위치 또는 방향을 포함하는 이미지 데이터를 획득할 수 있다. 일반적으로 상기 식별 장치(500)는, 식별 장치(500)의 소유자 등의 사람에 의해 소지된 상태로 이동되는 바, 상기 획득된 이미지 데이터에는 식별 장치(500)를 소지하고 있는 사람의 얼굴을 포함하는 이미지가 포함될 수 있다.
프로세서(480)는 획득된 이미지 데이터로부터 상기 식별 장치(500)에 대응하는 사람을 인식할 수 있다. 예컨대, 프로세서(480)는 기 공지된 얼굴 인식 알고리즘을 이용하여 상기 이미지 데이터로부터 사람을 인식할 수 있다.
실시 예에 따라, 프로세서(480)는 마이크로폰(444)을 이용하여 상기 감지된 위치 또는 방향으로부터 발생하는 사람의 음성을 포함하는 음성 데이터를 획득할 수도 있다. 프로세서(480)는 획득된 음성 데이터 내의 음성 특성(주파수 특성 등)에 기초하여 상기 사람을 인식할 수 있다. 이 경우 상기 마이크로폰(444)은 지향성 마이크로폰으로 구현될 수 있으나, 반드시 그러한 것은 아니다.
실시 예에 따라, 프로세서(480)는 메모리(470)에 저장된 인식 모델을 이용하여, 이미지 데이터 및/또는 음성 데이터로부터 사람을 인식할 수도 있다. 상기 인식 모델은 머신 러닝 기반으로 학습된 인공신경망을 포함할 수 있다. 상기 인식 모델은 빌딩 관리 로봇(400)의 러닝 프로세서(430), 또는 서버(200a)의 러닝 프로세서(230)에 의해 학습된 것일 수 있다.
상기 사람의 인식 결과는 이미지 데이터 및/또는 음성 데이터로부터 추출되는 상기 사람의 특징 데이터를 포함할 수 있다. 예컨대, 상기 특징 데이터는 상기 사람의 얼굴 형태나 색상, 음성 등으로부터 추출되는 고유한 특징점들을 포함할 수 있다. 이하, 상기 특징 데이터는 이미지 데이터로부터 획득되는 이미지 특징 데이터, 및/또는 음성 데이터로부터 획득되는 음성 특징 데이터를 포함하는 것으로 가정한다.
도시되지는 않았으나, 프로세서(480)는 식별 장치(500)만이 인식되고, 이미지 데이터로부터 사람의 존재가 인식되지 않으며, 식별 장치(500)가 소정 시간 이상 이동하지 않는 것이 감지되는 경우, 식별 장치(500)가 분실된 것으로 인식할 수 있다. 이 경우, 프로세서(480)는 식별 장치(500)를 수거하거나, 경비실의 PC 등으로 알림을 전송하거나, 식별 장치(500)에 대해 등록된 사람의 단말기로 알림을 전송할 수 있다.
빌딩 관리 로봇(400)은 인식된 식별 장치(500)와 인식된 사람을 매칭하여 데이터베이스에 저장할 수 있다(S120).
프로세서(480)는 상기 식별 장치(500)로부터 획득된 식별 정보와, 상기 사람의 인식 결과를 매칭하여 데이터베이스에 저장함으로써, 상기 빌딩을 이용하는 상기 사람에 대한 관리를 가능하게 한다.
예컨대, 상기 빌딩이 아파트인 경우, 프로세서(480)는 상기 식별 장치(500)로부터 획득된 식별 정보(예컨대 동/호수 정보)와, 상기 사람의 인식 결과에 따른 특징 데이터를 매칭하여 데이터베이스에 저장할 수 있다.
상기 식별 장치(500)와 대응하는 위치에서 인식되는 사람은 상기 식별 장치(500)의 동/호수에 거주하는 거주자이거나, 상기 동/호수와의 관련도가 높은 사람일 수 있다.
이에 따라, 프로세서(480)는 상기 사람에 대한 효과적인 관리를 위해, 상기 식별 장치(500)의 식별 정보와 상기 인식된 사람의 특징 데이터를 매칭하여 데이터베이스에 저장할 수 있다. 한편, 상기 데이터베이스에 상기 식별 정보와 상기 특징 데이터가 매칭된 상태로 기 저장되어 있는 경우에는, 프로세서(480)는 도 9에서 후술할 실시 예와 같이 인식된 사람의 인증 레벨에 기초한 서비스를 제공할 수 있다.
실시 예에 따라, 상기 식별 장치(500)와 대응하는 위치에서 두 명 이상의 사람들이 인식될 수도 있다. 이 경우 프로세서(480)는 상기 식별 장치(500)의 식별 정보와, 상기 인식된 사람들 각각의 특징 데이터를 매칭하여 데이터베이스에 저장할 수 있다.
한편, 빌딩 관리 로봇(400)은 S100 단계 내지 S110 단계를 지속적으로 수행함에 따라 인식 결과를 누적적으로 획득할 수 있다. 빌딩 관리 로봇(400)은 누적되는 인식 결과에 기초하여, 상기 인식된 사람에 대한 인증 레벨을 설정할 수 있다(S130).
상기 식별 장치(500)와 매칭된 상기 인식된 사람은 상기 식별 장치(500)에 대응하는 구획 공간의 출입 또는 이용 권한을 갖는 사람 또는 상기 구획 공간에 대해 등록된 사람일 수 있으나(예컨대 거주자, 투숙객, 근무자 등), 반드시 그러한 것은 아니고 단순한 일회성 방문자와 같이 상기 구획 공간의 출입 또는 이용 권한이 없는 사람일 수도 있다.
이에 따라, 빌딩 관리 로봇(400)은 상기 인식된 사람에 대한 인증 레벨을 설정함으로써, 식별 장치(500)와 매칭되는 사람에 대해 제공되는 서비스를 차별화할 수 있다. 예컨대, 상기 인증 레벨이 높을수록, 상기 사람이 상기 식별 장치(500)에 대응하는 구획 공간의 출입 또는 이용 권한을 가질 가능성이 높을 수 있다. 즉, 빌딩 관리 로봇(400)은 인식된 사람의 인증 레벨이 높을수록, 상기 사람이 특정 동/호수의 거주자인 가능성이 높은 것으로 인식할 수 있다.
이에 기초하면, 상기 사람이 상기 식별 장치(500)와 함께 인식되는 횟수가 증가할수록, 상기 사람이 상기 구획 공간의 출입 또는 이용 권한을 갖거나 상기 구획 공간에 대해 등록된 사람일 가능성이 높을 수 있다.
따라서, 프로세서(480)는 상기 사람이 상기 식별 장치(500)와 함께 인식되는 횟수가 증가할수록, 또는 인식된 횟수가 소정 횟수 이상인 경우, 상기 인증 레벨을 증가시킬 수 있다.
한편, 상술한 S110 단계 내지 S130 단계 중 적어도 하나는 서버(200a)에 의해 수행될 수도 있다. 이 경우, 빌딩 관리 장치(400)는 서버(200a)로 하여금 상기 S110 단계 내지 S130 단계를 수행하도록 하기 위해, 통신부(410), 카메라(442), 및/또는 마이크로폰(444)에 의해 획득되는 정보 및 데이터를 서버(200a)로 전송할 수 있다.
도 7 내지 도 8은 도 6에 도시된 빌딩 관리 로봇의 인증 레벨 관리와 관련된 예시도들이다.
도 7을 참조하면, 빌딩 관리 로봇(400)은 소정 거리 내에 위치한 제1 식별 장치(500a)를 감지하고, 제1 식별 장치(500a)로부터 제1 식별 정보(D_INFO1)를 획득할 수 있다.
빌딩 관리 로봇(400)은 제1 식별 장치(500a)의 위치 또는 방향을 감지하고, 감지된 위치 또는 방향에 대한 이미지 데이터를 카메라(442)를 이용하여 획득할 수 있다. 상기 이미지 데이터는, 상기 제1 식별 장치(500a)를 소지한 제1 사용자(700)의 이미지를 포함할 수 있다.
빌딩 관리 로봇(400)은 획득된 이미지 데이터로부터 제1 사용자(700)의 제1 이미지 특징 데이터(IMAGE1)를 획득할 수 있다. 예컨대, 프로세서(480)는 획득된 이미지 데이터 중 제1 사용자(700)의 얼굴 영역을 추출하고, 추출된 영역의 이미지 데이터로부터 제1 이미지 특징 데이터(IMAGE1)를 획득할 수 있다.
빌딩 관리 로봇(400)은 획득된 제1 식별 정보(D_INFO1) 및 제1 사용자(700)의 제1 이미지 특징 데이터(IMAGE1)를 서버(200a)로 전송할 수 있다.
서버(200a)는 수신된 제1 식별 정보(D_INFO1) 및 제1 이미지 특징 데이터(IMAGE1)를 포함하는 제1 레코드(RECORD1)를 데이터베이스에 추가함으로써, 상기 제1 사용자(700)를 제1 식별 장치(500a)에 매칭시켜 등록할 수 있다.
실시 예에 따라, 빌딩 관리 로봇(400)은 제1 이미지 특징 데이터(IMAGE1) 대신 상기 획득된 이미지 데이터를 서버(200a)로 전송할 수 있다. 서버(200a)는 상기 이미지 데이터로부터 제1 이미지 특징 데이터(IMAGE1)를 획득하고, 획득된 제1 이미지 특징 데이터(IMAGE1) 및 제1 식별 정보(D_INFO1)를 포함하는 제1 레코드(RECORD1)를 데이터베이스에 추가할 수 있다.
한편, 서버(200a)는 제1 식별 정보(D_INFO1)에 대한 제1 사용자(700)의 인증 레벨을 설정할 수 있다. 상술한 바와 같이, 서버(200a)는 제1 식별 장치(500a) 및 제1 사용자(700)가 함께 인식된 횟수, 즉 제1 식별 정보(D_INFO1)와 제1 이미지 특징 데이터(IMAGE1)가 함께 획득된 횟수가 증가할수록, 상기 인증 레벨을 증가시킬 수 있다.
또는, 제1 식별 장치(500a)에 대해 제1 사용자(700)만이 인식되는 경우, 상기 제1 사용자(700)는 제1 식별 장치(500a)를 소지한 사람이고 상기 제1 식별 장치(500a)에 대응하는 구획 공간(아파트 동/호수 등)의 출입 또는 이용 권한을 갖거나 등록된 사람인 것으로 간주될 수 있다. 따라서, 서버(200a)는 상기 제1 사용자(700)에 대한 인증 레벨을 높게 설정할 수 있다.
한편, 도 8을 참조하면, 빌딩 관리 로봇(400)은 제1 식별 장치(500a)의 위치 또는 방향을 감지하고, 감지된 위치 또는 방향에 대한 이미지 데이터를 카메라(442)를 이용하여 획득할 수 있다. 이 때, 제1 식별 장치(500a)의 위치에 복수의 사용자들(700, 710, 720)이 존재하는 경우, 상기 이미지 데이터는 상기 사용자들(700, 710, 720)의 이미지를 포함할 수 있다.
빌딩 관리 로봇(400)은 획득된 이미지 데이터로부터 복수의 사용자들 각각의 이미지 특징 데이터를 획득할 수 있다. 예컨대, 프로세서(480)는 제1 사용자(700)에 대응하는 제1 이미지 특징 데이터(IMAGE1), 제2 사용자(710)에 대응하는 제2 이미지 특징 데이터(IMAGE2), 및 제3 사용자(720)에 대응하는 제3 이미지 특징 데이터(IMAGE3)를 각각 추출할 수 있다.
빌딩 관리 로봇(400)은 획득된 제1 식별 정보(D_INFO1)와, 획득된 복수의 이미지 특징 데이터(IMAGE1, IMAGE2, IMAGE3)를 서버(200a)로 전송할 수 있다.
서버(200a)는 수신된 제1 식별 정보(D_INFO1) 및 이미지 특징 데이터(IMAGE1, IMAGE2, IMAGE3)에 기초하여, 제1 식별 정보(D_INFO1) 및 제1 이미지 특징 데이터(IMAGE1)를 포함하는 제1 레코드(RECORD1)를 데이터베이스에 추가할 수 있다. 다만, 데이터베이스에 상기 제1 레코드(RECORD1)가 이미 존재하는 경우, 서버(200a)는 제1 레코드(RECORD1)의 인증 레벨을 업데이트하거나, 제1 레코드(RECORD1)에 포함될 수 있는 다른 항목(최근 인증일자 등)을 업데이트할 수 있다.
또한, 서버(200a)는 제1 식별 정보(D_INFO1)와 제2 이미지 특징 데이터(IMAGE2)를 포함하는 제2 레코드(RECORD2), 및 제1 식별 정보(D_INFO1)와 제3 이미지 특징 데이터(IMAGE3)를 포함하는 제3 레코드(RECORD3)를 데이터베이스에 추가함으로써, 상기 제2 사용자(710) 및 제3 사용자(720) 각각을 제1 식별 장치(500a)에 매칭시켜 등록할 수 있다.
서버(200a)는 제1 식별 정보(D_INFO1)에 대한 사용자들(700, 710, 720) 각각의 인증 레벨을 설정할 수 있다. 예컨대, 제1 사용자(700) 및 제1 식별 장치(500a)가 인식된 횟수가 소정 횟수 이상인 경우, 서버(200a)는 제1 사용자(700)에 대한 인증 레벨을 증가(예를 들어, LEVEL 3)시킬 수 있다.
반면, 제2 사용자(710)가 제1 식별 장치(500a)와 함께 인식된 횟수, 및 제3 사용자(720)가 제1 식별 장치(500a)와 함께 인식된 횟수가 소정 횟수 미만인 경우에는, 제2 사용자(710) 및 제3 사용자(720) 각각이 제1 식별 장치(500a)에 대응하는 구획 공간의 출입 또는 이용 권한을 갖는지 여부(예컨대, 특정 동/호수의 거주자인지 단순한 방문자인지 여부)를 판단하기 어렵다. 이에 따라, 서버(200a)는 제2 사용자(710) 및 제3 사용자(720) 각각에 대한 인증 레벨을 낮게 설정(예컨대 LEVEL 1)하고, 추후 제2 사용자(710) 또는 제3 사용자(720)가 제1 식별 장치(500a)와 함께 인식되는 횟수가 증가할 경우 상기 인증 레벨을 증가시킬 수 있다.
즉, 도 6 내지 도 8에 도시된 실시 예에 따르면, 빌딩 관리 로봇(400) 및 그를 포함하는 빌딩 관리 시스템은, 빌딩 내/외부에서 인식되는 사람들을 빌딩 내의 구획 공간들 각각에 매칭시켜 등록 및 관리할 수 있다. 또한, 빌딩 관리 로봇(400) 및 빌딩 관리 시스템은 특정 구획 공간에 대해, 매칭된 사람들 각각의 인증 레벨을 설정함으로써, 특정 구획 공간의 출입 또는 이용 권한을 갖는 사람과 그렇지 않은 사람을 효과적으로 구분하여 관리할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 빌딩 관리 로봇이, 인식된 사람의 인증 레벨에 기초하여 서비스를 제공하는 동작을 설명하기 위한 플로우차트이다.
도 9를 참조하면, 빌딩 관리 로봇(400)은 사람의 이미지를 획득하고(S200), 획득된 이미지에 포함된 상기 사람을 인식할 수 있다(S210).
S200 단계 및 S210 단계는 도 6의 S110 단계에서 상술한 내용과 유사한 바, 이에 대한 설명은 생략하기로 한다.
실시 예에 따라, 프로세서(480)는 마이크로폰(444)을 이용하여 사람의 음성 데이터를 획득하고, 획득된 음성 데이터에 기초하여 상기 사람을 인식할 수도 있다.
빌딩 관리 로봇(400)은 인식된 사람의 인증 레벨을 확인하고(S220), 확인된 인증 레벨에 기초한 서비스를 제공할 수 있다(S230).
예컨대, 프로세서(480)는 데이터베이스로부터, 인식된 사람의 특징 데이터(이미지 특징 데이터 및/또는 음성 특징 데이터)를 갖는 레코드를 획득할 수 있다. 프로세서(480)는 획득된 레코드에 포함된 인증 레벨에 기초하여 상기 인식된 사람의 인증 레벨을 확인할 수 있다.
실시 예에 따라, 상기 특징 데이터를 갖는 레코드가 복수인 경우, 프로세서(480)는 복수의 레코드들 각각에 포함된 인증 레벨 중 가장 높은 인증 레벨을 상기 인식된 사람의 인증 레벨로 확인할 수 있다.
프로세서(480)는 확인된 인증 레벨에 기초하여 상기 인식된 사람에게 서비스를 제공할 수 있다. 즉, 인증 레벨마다 빌딩 관리 로봇(400)이 제공하는 서비스의 종류나 특성이 서로 다를 수 있다.
일례로, 인증 레벨이 상대적으로 높은 제1 사용자와, 인증 레벨이 상대적으로 낮은 제2 사용자가 존재하는 것으로 가정한다. 이 경우, 빌딩 관리 로봇(400)은 제2 사용자보다 제1 사용자에게 보다 다양한 서비스를 제공할 수 있다.
일례로, 인증 레벨이 기준 레벨보다 낮은 사용자가 인식된 경우, 빌딩 관리 로봇(400)은 단순한 인사 제공, 경비실 호출, 특정 구획 공간에 대한 방문 호출 등과 같이, 빌딩 내부 또는 구획 공간 내부로의 진입과 관련된 서비스를 제공하지는 않을 수 있다. 반면, 인증 레벨이 기준 레벨보다 높은 사용자가 인식된 경우, 빌딩 관리 로봇(400)은 빌딩 출입구의 개방, 에스코트, 엘리베이터의 호출, 특정 구획 공간의 도어 개방 등과 같이 보다 개인화된 서비스를 제공할 수 있다.
이와 관련된 예들에 대해 도 10 내지 도 11을 참조하여 설명한다.
도 10 내지 도 11은 도 9에 도시된 빌딩 관리 로봇이 인증 레벨에 따라 서로 다른 서비스를 제공하는 동작을 나타내는 예시도들이다.
도 10을 참조하면, 빌딩 관리 로봇(400)은 카메라(442)를 이용하여 제1 사용자(700)를 포함하는 이미지를 획득하고, 획득된 이미지로부터 제1 사용자(700)를 인식할 수 있다. 예컨대, 빌딩 관리 로봇(400)은 빌딩의 외부로부터 내부로 진입하려는 제1 사용자(700)를 인식할 수 있다.
제1 사용자(700)가 제1 식별 장치(500a)를 소지한 경우, 빌딩 관리 로봇(400)은 제1 식별 장치(500a)의 제1 식별 정보와 상기 제1 사용자(700)를 함께 인식할 수 있다. 반면, 제1 사용자(700)가 제1 식별 장치(500a)를 소지하지 않은 경우, 빌딩 관리 로봇(400)은 제1 사용자(700)만을 인식할 수 있다.
빌딩 관리 로봇(400)은 데이터베이스로부터, 인식된 제1 사용자(700)에 대응하는 레코드(식별 정보, 인증 레벨 등)를 획득할 수 있다.
획득된 제1 사용자(700)의 인증 레벨이 기준 레벨 이상인 경우, 빌딩 관리 로봇(400)은 빌딩 출입구의 개방, 에스코트, 엘리베이터의 호출, 특정 구획 공간의 도어 개방 등과 같이 보다 개인화된 서비스를 제1 사용자(700)에게 제공할 수 있다. 즉, 상기 기준 레벨은 특정 구획 공간에 대한 출입 또는 이용 권한이 있는 사람인지 여부를 구분하는 기준에 해당할 수 있다. 실시 예에 따라, 상기 기준 레벨은 복수 개로 구분될 수 있고, 이 경우 인증 레벨에 따라 제공되는 서비스가 더욱 세분화될 수 있다.
예컨대, 빌딩 관리 로봇(400)은 출입구 관리 장치(610)로 출입구 개방 요청 신호(OPEN)를 전송할 수 있다. 출입구 관리 장치(610)는 상기 신호(OPEN)를 수신함에 따라 빌딩의 출입구를 개방시킬 수 있다. 제1 사용자(700)는 출입구가 개방됨에 따라 빌딩 내부로 진입할 수 있다.
또한, 빌딩 관리 로봇(400)은 제1 사용자(700)로 하여금 엘리베이터를 이용하도록 하기 위해, 엘리베이터 관리 장치(620)로 엘리베이터 호출 신호(CALL)를 전송할 수 있다. 엘리베이터 관리 장치(620)는 수신된 신호(CALL)에 기초하여 엘리베이터를 제1 사용자(700) 및 빌딩 관리 로봇(400)이 위치한 층으로 이동시킬 수 있다.
실시 예에 따라, 상기 빌딩 관리 로봇(400)은 출력부(450)를 통해 상기 제공 중인 서비스와 관련된 메시지(1002)를 출력할 수도 있다.
또한, 빌딩 관리 로봇(400)은 제1 사용자(700)에 매칭된 식별 장치(500)의 식별 정보로부터, 제1 사용자(700)에 대응하는 구획 공간의 정보(층, 동/호수, 객실번호 등)를 획득할 수 있다. 빌딩 관리 로봇(400)은 획득된 정보에 기초하여, 제1 사용자(700)의 탑승 후 엘리베이터가 이동할 층에 대한 정보를 엘리베이터 관리 장치(620)로 전송할 수 있다. 엘리베이터 관리 장치(620)는 수신된 정보에 기초하여 엘리베이터를 해당 층으로 이동시킬 수 있다.
도시되지는 않았으나, 빌딩 관리 로봇(400)은 제1 사용자(700)와 함께 엘리베이터에 탑승 및 하차하고, 제1 사용자(700)에 대응하는 구획 공간의 출입구(도어 등)까지 제1 사용자(700)를 에스코트할 수 있다.
한편, 도 11을 참조하면, 빌딩 관리 로봇(400)은 카메라(442)를 이용하여 제3 사용자(720)를 포함하는 이미지를 획득하고, 획득된 이미지로부터 제3 사용자(720)를 인식할 수 있다. 예컨대, 빌딩 관리 로봇(400)은 빌딩의 외부로부터 내부로 진입하려는 제3 사용자(720)를 인식할 수 있다.
빌딩 관리 로봇(400)은 데이터베이스로부터, 인식된 제3 사용자(720)에 대응하는 레코드(식별 정보, 인증 레벨 등)를 획득할 수 있다.
획득된 제3 사용자(720)의 인증 레벨이 기준 레벨 미만인 경우, 빌딩 관리 로봇(400)은 제3 사용자(720)는 특정 구획 공간에 대한 출입 또는 이용 권한이 없는 사람(예컨대 방문자)인 것으로 판단할 수 있다. 이에 따라, 빌딩 관리 로봇(400)은 도 10에 도시된 바와 같은 출입구 개방, 엘리베이터 호출 등의 서비스를 제공하지 않을 수 있다.
예컨대, 빌딩 관리 로봇(400)은 제3 사용자(720)에 대응하는 구획 공간의 관리 장치(630)로 방문자 알림(NOTI)을 전송할 수 있다. 실시 예에 따라, 빌딩 관리 로봇(400)은 출력부(450)를 통해 상기 제공 중인 서비스와 관련된 메시지(1102)를 출력할 수도 있다.
도시되지는 않았으나, 빌딩 관리 로봇(400)은 상기 방문자 알림(NOTI)의 전송 시, 상기 제3 사용자(720)를 포함하는 영상 데이터를 관리 장치(630)로 함께 전송할 수도 있다.
또한, 빌딩 관리 로봇(400)은 상기 관리 장치(630)로부터 상기 제3 사용자(720)와의 커뮤니케이션을 위한 영상 및/또는 음성 데이터가 수신되면, 수신된 영상 및/또는 음성 데이터를 출력부(450)를 통해 출력할 수도 있다. 즉, 빌딩 관리 로봇(400)은 상기 구획 공간의 재실자(거주자 등)와 상기 제3 사용자(720) 간의 커뮤니케이션을 가능하게 한다. 실시 예에 따라, 재실자에 의해 제3 사용자(720)의 진입이 승인되는 경우, 빌딩 관리 로봇(400)은 도 10에 도시된 바와 같이 출입구 개방, 엘리베이터 호출 등의 서비스를 제3 사용자(720)에게 제공할 수도 있다.
한편, 도 9 내지 도 11에 도시된 빌딩 관리 로봇(400)의 동작들 중, 사용자(700)의 이미지를 획득하는 동작, 메시지, 영상 및/또는 음성 데이터를 출력하는 동작 외의 동작들은 서버(200a)에 의해 수행될 수도 있다.
즉, 도 10 내지 도 11에 도시된 실시 예에 따르면 빌딩 관리 로봇(400)은 인식된 사용자의 인증 레벨에 기초하여 서로 다른 서비스를 제공할 수 있다. 특히, 상기 사용자가 상기 특정 구획 공간에 대응하는 식별 장치(500)를 소지하지 않은 상태이더라도, 빌딩 관리 로봇(400)은 상기 사용자와 관련된 정보가 저장된 데이터베이스를 이용하여 상기 사용자에게 원활한 서비스를 제공할 수 있다.
도 12는 빌딩 관리 로봇의 엘리베이터 이용 방법에 대한 일 실시 예를 나타내는 플로우차트이다.
도 12를 참조하면, 빌딩 관리 로봇(400)은 빌딩 내부의 소정 장소로 이동하기 위해, 빌딩 내부에 구비된 엘리베이터의 탑승 상황이 발생함을 인식할 수 있다(S300).
예컨대, 프로세서(480)는 특정 구획 공간의 관리 장치(예컨대, 홈 관리 장치(630))로부터 방문 요청을 수신한 경우, 상기 특정 구획 공간으로 이동하기 위해 엘리베이터를 탑승해야 함을 인식할 수 있다.
빌딩 관리 로봇(400)은 엘리베이터 관리 장치(620)로부터 엘리베이터의 내부 영상을 획득하고(S310), 획득된 내부 영상으로부터 사람의 존재 여부를 감지할 수 있다(S320).
엘리베이터 관리 장치(620)는 엘리베이터의 내부에 설치되는 카메라 장치(CCTV 등)를 이용하여 영상 데이터를 주기적 또는 지속적으로 획득할 수 있다. 상기 획득된 영상 데이터는 서버(200a)로 전송되어 저장될 수 있다.
빌딩 관리 로봇(400)의 프로세서(480)는 상기 엘리베이터의 탑승 상황이 발생한 경우, 엘리베이터 관리 장치(620) 또는 서버(200a)로부터 엘리베이터의 내부에 대한 상기 영상 데이터를 획득할 수 있다.
프로세서(480)는 획득된 영상 데이터로부터 엘리베이터 내부에 사람(이용자)이 존재하는지 여부를 감지할 수 있다. 예컨대, 프로세서(480)는 기 공지된 이미지 인식 알고리즘을 이용하여 상기 영상 데이터로부터 사람의 존재 여부를 인식할 수 있다. 실시 예에 따라, 사람의 존재 여부를 인식하는 동작은 서버(200a)에 의해 수행될 수도 있다.
감지 결과 엘리베이터의 내부에 사람이 존재하는 경우(S330의 YES), 빌딩 관리 로봇(400)은 엘리베이터에 탑승한 사람이 하차하기 전까지 엘리베이터를 호출하지 않고 대기할 수 있다(S340).
반면, 감지 결과 엘리베이터의 내부에 사람이 존재하지 않는 경우(S330의 NO), 빌딩 관리 로봇(400)은 엘리베이터를 호출하여 탑승할 수 있다(S350).
엘리베이터를 이용 중인 이용자가 존재하는 경우, 엘리베이터가 이동 중 상기 빌딩 관리 로봇(400)에 의해 특정 층에서 정지된다면, 상기 이용자의 이동이 지연될 수 있다.
또는, 빌딩 관리 로봇(400)에는 카메라(442)나 마이크로폰(444)이 구비된 상태이므로, 상기 이용자는 빌딩 관리 로봇(400)과 함께 엘리베이터를 이용하는 것에 대해 프라이버시 측면에서 거부감을 느낄 수 있다.
즉, 빌딩 관리 로봇(400)은 엘리베이터의 다른 이용자에 대한 방해 또는 불쾌감을 최소화하도록 상기 엘리베이터를 이용할 수 있다.
이에 기초하여, 프로세서(480)는 상기 엘리베이터의 내부에 사람이 존재하는 경우, 상기 사람이 하차하기 전까지는 엘리베이터의 호출 요청을 엘리베이터 관리 장치(620)로 전송하지 않고 대기할 수 있다.
상기 사람이 하차하는 등 상기 엘리베이터의 내부에 사람이 존재하지 않는 경우, 프로세서(480)는 상기 엘리베이터의 호출 요청을 엘리베이터 관리 장치(620)로 전송할 수 있다. 엘리베이터가 빌딩 관리 로봇(400)이 위치한 층에 도착하고 도어가 개방되면, 프로세서(480)는 엘리베이터에 탑승하기 위해 주행부(462)를 제어할 수 있다. 프로세서(480)는 엘리베이터 탑승 후 상기 특정 구획 공간의 층으로의 이동 요청을 엘리베이터 관리 장치(620)로 전송할 수 있다. 엘리베이터 관리 장치(620)는 상기 이동 요청에 응답하여 엘리베이터를 상기 특정 구획 공간의 층으로 이동시킬 수 있다.
실시 예에 따라, 빌딩 관리 로봇(400)은 엘리베이터 내부에 기설정된 인원 수 이상의 사람이 존재하는 경우 엘리베이터를 호출하지 않고 대기할 수 있다. 그리고, 빌딩 관리 로봇(400)은 엘리베이터 내부에 기설정된 인원 수 미만의 사람이 존재하는 경우에 엘리베이터를 호출하여 탑승할 수 있다.
또는, 빌딩 관리 로봇(400)은 엘리베이터의 호출 후 탑승 전까지 엘리베이터 내부의 인원 수 변동을 모니터링하고, 엘리베이터의 호출에 따른 이동 중 사람이 탑승하거나, 인원 수가 기설정된 인원 수 이상으로 증가하는 경우 엘리베이터의 호출을 취소할 수도 있다.
도 13은 빌딩 관리 로봇의 엘리베이터 이용 방법에 대한 다른 실시 예를 나타내는 플로우차트이다.
도 13의 S400 단계는 도 12의 S300 단계와 실질적으로 동일하다.
빌딩 관리 로봇(400)은 엘리베이터 관리 장치(620)로부터 엘리베이터의 이용 대기자 존재 여부를 확인할 수 있다(S410).
예컨대, 빌딩의 층들 각각에는, 엘리베이터 탑승 영역을 향하도록 배치되는 카메라 장치(CCTV 등)가 구비될 수 있다. 엘리베이터 관리 장치(620) 또는 서버(200a)는 상기 카메라 장치들로부터 영상 데이터를 획득하고, 획득된 영상 데이터를 빌딩 관리 로봇(400)으로 전송할 수 있다.
프로세서(480)(또는 서버(200a))는 기 공지된 이미지 인식 알고리즘을 이용하여, 획득된 영상 데이터로부터 사람의 존재 여부를 인식함으로써 상기 엘리베이터의 이용 대기자가 존재하는지 여부를 확인할 수 있다.
확인 결과 이용 대기자가 존재하는 경우(S420의 YES), 빌딩 관리 로봇(400)은 엘리베이터를 호출하지 않고 대기할 수 있다(S430).
반면, 확인 결과 이용 대기자가 존재하지 않는 경우(S420의 NO), 빌딩 관리 로봇(400)은 엘리베이터를 호출하여 탑승할 수 있다(S440).
프로세서(480)는 특정 층에 이용 대기자가 존재하는 경우, 상기 이용 대기자의 엘리베이터 이용이 종료되기 전까지는 엘리베이터의 호출 요청을 엘리베이터 관리 장치(620)로 전송하지 않고 대기할 수 있다.
엘리베이터의 이용 대기자가 존재하지 않는 경우, 프로세서(480)는 상기 엘리베이터의 호출 요청을 엘리베이터 관리 장치(620)로 전송할 수 있다. 엘리베이터가 빌딩 관리 로봇(400)이 위치한 층에 도착하고 도어가 개방되면, 프로세서(480)는 엘리베이터에 탑승하기 위해 주행부(462)를 제어할 수 있다. 프로세서(480)는 엘리베이터 탑승 후 상기 특정 구획 공간의 층으로의 이동 요청을 엘리베이터 관리 장치(620)로 전송할 수 있다. 엘리베이터 관리 장치(620)는 상기 이동 요청에 응답하여 엘리베이터를 상기 특정 구획 공간의 층으로 이동시킬 수 있다.
즉, 도 12 내지 도 13에 도시된 실시 예에 따르면 빌딩 관리 로봇(400)은 엘리베이터의 이용자 또는 이용 대기자가 감지되지 않는 경우에만 엘리베이터를 이용함으로써, 이용자 또는 이용 대기자에 대한 방해나 불편을 최소화할 수 있다.
도 14는 빌딩 관리 로봇이 인식된 사람의 식별 정보에 기초하여 엘리베이터 관련 서비스를 제공하는 동작의 일 실시 예를 설명하기 위한 플로우차트이다. 도 15는 도 14에 도시된 빌딩 관리 로봇의 엘리베이터 관련 서비스 제공 동작에 대한 예시도이다.
도 14를 참조하면, 빌딩 관리 로봇(400)은 데이터베이스에 등록된 사람을 인식할 수 있다(S500). 빌딩 관리 로봇(400)은 인식된 사람에 대응하는 식별 장치(500) 또는 구획 공간의 식별 정보에 기초하여 엘리베이터를 호출할 수 있다(S510).
도 6, 도 9 등에서 상술한 바와 같이, 프로세서(480)는 카메라(442) 및/또는 마이크로폰(444)을 통해 획득되는 이미지 데이터 및/또는 음성 데이터를 이용하여 사람을 인식하고, 데이터베이스로부터 상기 인식된 사람에 대응하는 식별 장치(또는 구획 공간)의 식별 정보를 획득할 수 있다.
프로세서(480)는 획득된 식별 정보로부터 상기 인식된 사람이 이동할 층을 확인하고, 확인 결과에 따라 엘리베이터의 호출 요청을 엘리베이터 관리 장치(620)로 전송할 수 있다. 실시 예에 따라, 프로세서(480)는 상기 인식된 사람에 대한 인증 레벨을 확인하고, 확인된 인증 레벨이 기준 레벨 이상인 경우에 상기 엘리베이터의 호출 요청을 엘리베이터 관리 장치(620)로 전송할 수도 있다.
빌딩 관리 로봇(400)은 인식된 사람의 식별 정보에 기초하여 엘리베이터를 동승하고(S520), 상기 사람의 하차 시 함께 하차하거나 에스코트를 수행할 수 있다(530).
S520 단계 및 S530 단계의 식별 정보는, 식별 장치(500) 또는 구획 공간에 대한 식별 정보를 의미하는 것이 아니라, 상기 인식된 사람의 특징 데이터로부터 획득 가능한 상기 사람의 특성(성별, 연령대, 장애 여부, 거동 불편 여부 등)을 나타내는 정보를 의미할 수 있다. 이 경우, 데이터베이스에는 상기 식별 장치(500) 또는 구획 공간에 대한 식별 정보뿐만 아니라, 상기 사람의 특성을 나타내는 식별 정보가 함께 저장될 수 있다.
도 15를 함께 참조하면, 예컨대 상기 인식된 사람의 연령대가 소정 연령대 미만(예컨대, 어린이(1500))이거나, 소정 연령대 이상(예컨대, 노인)인 경우, 프로세서(480)는 상기 인식된 사람(1500)과 엘리베이터(1600)에 동승 및 함께 하차하도록 주행부(462)를 제어할 수 있다. 프로세서(480)는 하차 후 카메라(442)를 이용하여 상기 인식된 사람(1500)을 포함하는 영상 데이터를 획득함으로써, 상기 사람(1500)의 정상 이동 여부를 모니터링할 수 있다.
실시 예에 따라, 프로세서(480)는 엘리베이터(1600)의 하차 후 상기 인식된 사람(1500)의 이동에 맞추어 주행하도록 주행부(462)를 제어함으로써 상기 인식된 사람(1500)에 대한 에스코트를 수행할 수도 있다.
도 16은 빌딩 관리 로봇이 엘리베이터 내의 타인의 식별 결과에 기초하여, 인식된 사람에 대해 엘리베이터 관련 서비스를 제공하는 동작의 일 실시 예를 설명하기 위한 플로우차트이다.
도 16을 참조하면, 빌딩 관리 로봇(400)은 인식된 사람의 식별 정보에 기초하여 엘리베이터를 호출할 수 있다(S600).
S600 단계는 도 14의 S510 단계와 실질적으로 동일할 수 있다.
빌딩 관리 로봇(400)은 호출된 엘리베이터 내에 타인이 존재하는 경우, 상기 타인을 인식 및 식별할 수 있다(S610).
프로세서(480)는 엘리베이터의 출입구가 개방되면, 카메라(442)를 이용하여 엘리베이터 내부를 포함하는 이미지 데이터를 획득할 수 있다. 또는, 프로세서(480)는 엘리베이터 내부에 구비된 카메라 장치(CCTV 등)로부터 획득되는 영상 데이터를 엘리베이터 관리 장치(620)로부터 수신할 수도 있다.
프로세서(480)는 획득된 이미지 데이터 또는 수신된 영상 데이터로부터 상기 엘리베이터 내부에 타인이 존재하는지 여부를 인식할 수 있다.
타인이 존재하는 경우, 프로세서(480)는 상기 타인의 인식 및 식별 동작을 수행할 수 있다. 프로세서(480)는 상기 타인의 이미지로부터 특징 데이터를 획득하고, 획득된 특징 데이터가 데이터베이스에 존재하는지 여부에 기초하여 상기 타인의 인식 및 식별 동작을 수행할 수 있다.
빌딩 관리 로봇(400)은 상기 타인의 식별 결과에 기초하여, S600 단계에서 인식된 사람과 엘리베이터에 동승하여 에스코트를 수행할 수 있다(S620).
예컨대, 상기 타인이 데이터베이스에 등록된 사람인 경우(또는 상기 타인의 인증 레벨이 기준 레벨 이상인 경우), 프로세서(480)는 인식된 사람과 엘리베이터에 동승하지 않을 수 있다. 상기 타인이 데이터베이스에 등록된 경우, 상기 타인은 S600 단계에서 인식된 사람과 동일 또는 다른 구획 공간의 출입 또는 이용 권한을 갖는 사람일 수 있다. 따라서, 프로세서(480)는 상기 인식된 사람에 대한 안전이 보장된 것으로 인식하여, 상기 엘리베이터에 동승하지 않을 수 있다.
반면, 상기 타인이 데이터베이스에 등록되지 않은 사람인 경우(또는 상기 타인의 인증 레벨이 기준 레벨 미만인 경우), 프로세서(480)는 인식된 사람과 엘리베이터에 함께 탑승 및 하차하고 에스코트를 수행할 수 있다. 상기 타인이 데이터베이스에 등록되지 않은 경우, 상기 타인은 빌딩 내의 구획 공간들에 대한 출입 또는 이용 권한이 없는 사람(단순 방문자, 또는 위험도가 높은 사람 등)일 수 있다. 따라서, 프로세서(480)는 상기 인식된 사람에 대한 안전을 위해, 인식된 사람과 함께 엘리베이터에 탑승 및 하차하고, 목적지까지의 에스코트 서비스를 제공할 수 있다.
즉, 도 14 내지 도 16에 도시된 실시 예에 따르면, 빌딩 관리 로봇(400)은 엘리베이터 이용자의 특성, 또는 엘리베이터에 존재하는 타인의 식별 결과에 기초하여 상기 이용자와 엘리베이터에 동승 및 에스코트 서비스를 제공할 수 있다. 이에 따라, 빌딩 관리 로봇(400)은 이용자의 안전한 엘리베이터 이용을 가능하게 하고, 이용자는 빌딩 관리 로봇에 대한 만족감을 느낄 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 빌딩 내의 적어도 하나의 구획 공간 중 제1 구획 공간에 대응하는 식별 장치를 인식하고, 상기 식별 장치로부터 상기 제1 구획 공간에 대한 제1 식별 정보를 획득하는 통신부;
    상기 식별 장치가 인식된 위치를 포함하는 이미지 데이터를 획득하는 카메라; 및
    상기 이미지 데이터로부터 사용자를 인식하고,
    데이터베이스로부터, 상기 인식된 사용자의 상기 제1 구획 공간에 대한 인증 레벨을 확인하고,
    확인된 인증 레벨에 기초한 서비스를 상기 사용자에게 제공하는 프로세서를 포함하는 빌딩 관리 로봇.
  2. 제1항에 있어서,
    상기 통신부는,
    상기 빌딩 관리 로봇 내에 서로 이격 배치된 적어도 두 개의 무선 통신 모듈을 포함하고,
    상기 프로세서는,
    상기 식별 장치로부터 상기 적어도 두 개의 무선 통신 모듈 각각으로 수신되는 신호의 세기 또는 시간 차에 기초하여 상기 식별 장치의 위치 또는 방향을 감지하고,
    감지된 위치 또는 방향을 향하도록 주행부 또는 카메라 방향 조절 기구를 제어하고,
    상기 이미지 데이터를 획득하도록 상기 카메라를 제어하는 빌딩 관리 로봇.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지 데이터로부터 상기 사용자를 포함하는 영역을 추출하고,
    추출된 영역으로부터 상기 사용자의 이미지 특징 데이터를 획득하고,
    상기 데이터베이스로부터 상기 이미지 특징 데이터 및 상기 제1 구획 공간의 제1 식별 정보를 갖는 레코드에 포함된 상기 인증 레벨을 획득하는 빌딩 관리 로봇.
  4. 제1항에 있어서,
    러닝 프로세서에 의해 학습된 인식 모델을 저장하는 메모리를 더 포함하고,
    상기 프로세서는,
    상기 메모리에 저장된 상기 인식 모델을 통해, 상기 이미지 데이터로부터 상기 사용자를 인식하는 빌딩 관리 로봇.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 인증 레벨이 기준 레벨 미만인 경우,
    상기 제1 구획 공간의 관리 장치로 방문자 알림을 전송하는 빌딩 관리 로봇.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 인증 레벨이 상기 기준 레벨 이상인 경우,
    상기 빌딩의 출입구 개방 요청을 출입구 관리 장치로 전송하거나, 상기 빌딩의 엘리베이터 관리 장치로 엘리베이터 호출 요청을 전송하는 빌딩 관리 로봇.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 데이터베이스에 상기 제1 구획 공간과 매칭되는 상기 사용자의 정보가 존재하지 않는 경우, 상기 이미지 데이터로부터 획득되는 상기 사용자의 특징 데이터와 상기 제1 구획 공간에 대한 제1 식별 정보, 및 상기 인증 레벨을 포함하는 제1 레코드를 상기 데이터베이스에 저장하는 빌딩 관리 로봇.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 식별 정보 및 상기 사용자의 특징 데이터가 획득되는 횟수가 소정 횟수 이상인 경우, 상기 제1 레코드에 포함된 상기 인증 레벨을 증가시키는 빌딩 관리 로봇.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 구획 공간 중 제2 구획 공간으로 이동하기 위한 엘리베이터 탑승 상황을 인식하고,
    엘리베이터 관리 장치 또는 서버로부터, 엘리베이터의 내부를 포함하는 제1 영상 데이터를 수신하고,
    수신된 제1 영상 데이터로부터 상기 엘리베이터 내에 탑승자의 존재 여부를 감지하고,
    탑승자가 존재하지 않는 경우 상기 엘리베이터의 호출 요청을 상기 엘리베이터 관리 장치 또는 상기 서버로 전송하는 빌딩 관리 로봇.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 엘리베이터 관리 장치 또는 서버로부터, 상기 빌딩 내의 적어도 하나의 층 각각의 엘리베이터 탑승 영역을 포함하는 적어도 하나의 제2 영상 데이터를 수신하고,
    수신된 적어도 하나의 제2 영상 데이터로부터 상기 엘리베이터의 이용 대기자 존재 여부를 감지하고,
    상기 이용 대기자가 존재하지 않는 경우 상기 엘리베이터의 호출 요청을 상기 엘리베이터 관리 장치 또는 상기 서버로 전송하는 빌딩 관리 로봇.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 식별 정보에 기초하여 엘리베이터의 호출 요청을 엘리베이터 관리 장치 또는 서버로 전송하고,
    상기 사용자의 특성에 기초하여 상기 엘리베이터의 동승 여부를 결정하고,
    상기 사용자의 특성은 성별, 연령대, 장애 여부, 및 거동 불편 여부 중 적어도 하나의 정보를 포함하는 빌딩 관리 로봇.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 사용자와 상기 엘리베이터에 동승한 경우, 상기 사용자의 하차 시 함께 하차하도록 주행부를 제어하고,
    상기 사용자를 포함하는 영상 데이터를 획득하도록 상기 카메라를 제어하는 제1 동작, 및 상기 사용자의 이동을 따라 주행하도록 상기 주행부를 제어하는 제2 동작 중 적어도 하나를 수행하는 빌딩 관리 로봇.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 엘리베이터 관리 장치 또는 상기 서버로부터 상기 엘리베이터의 내부를 포함하는 영상 데이터를 수신하고,
    수신된 영상 데이터로부터 상기 엘리베이터 내부의 타인을 식별하고,
    상기 타인의 식별 결과에 기초하여 상기 엘리베이터의 동승 여부를 결정하는 빌딩 관리 로봇.
  14. 빌딩 내의 적어도 하나의 구획 공간 중 제1 구획 공간에 대응하는 식별 장치를 인식하는 단계;
    상기 식별 장치가 인식된 위치를 포함하는 이미지 데이터를 획득하는 단계;
    획득된 이미지 데이터로부터 사용자를 인식하는 단계;
    데이터베이스로부터, 상기 인식된 사용자의 제1 구획 공간에 대한 인증 레벨을 확인하는 단계; 및
    확인된 인증 레벨에 기초한 서비스를 상기 사용자에게 제공하는 단계를 포함하는 빌딩 관리 로봇을 이용한 서비스 제공 방법.
  15. 제14항에 있어서,
    상기 인증 레벨이 기준 레벨 이상인 경우, 상기 서비스를 상기 사용자에게 제공하는 단계는,
    상기 빌딩의 출입구 개방 요청을 출입구 관리 장치로 전송하는 단계; 및
    상기 빌딩의 엘리베이터 관리 장치로 엘리베이터 호출 요청을 전송하는 단계 중 적어도 하나를 포함하는 빌딩 관리 로봇을 이용한 서비스 제공 방법.
  16. 제14항에 있어서,
    상기 데이터베이스에 상기 제1 구획 공간과 매칭되는 상기 사용자의 정보가 존재하지 않는 경우, 상기 이미지 데이터로부터 획득되는 상기 사용자의 특징 데이터와 상기 제1 식별 정보, 및 상기 인증 레벨을 포함하는 제1 레코드를 상기 데이터베이스에 추가하는 단계를 더 포함하는 빌딩 관리 로봇을 이용한 서비스 제공 방법.
  17. 제16항에 있어서,
    상기 제1 식별 정보 및 상기 사용자의 특징 데이터가 획득되는 횟수가 소정 횟수 이상인 경우, 상기 인증 레벨을 증가시키는 단계를 더 포함하는 빌딩 관리 로봇을 이용한 서비스 제공 방법.
  18. 제14항에 있어서,
    상기 제1 식별 정보에 기초하여 엘리베이터를 상기 빌딩 관리 로봇이 위치한 층으로 호출하는 단계; 및
    상기 사용자의 특성에 기초하여, 상기 빌딩 관리 로봇의 엘리베이터 동승 여부를 결정하는 단계를 더 포함하고,
    상기 사용자의 특성은 성별, 연령대, 장애 여부, 및 거동 불편 여부 중 적어도 하나의 정보를 포함하는 빌딩 관리 로봇을 이용한 서비스 제공 방법.
  19. 제18항에 있어서,
    상기 빌딩 관리 로봇이 상기 사용자와 상기 엘리베이터에 동승한 경우, 상기 사용자의 하차 시 상기 빌딩 관리 로봇이 함께 하차하도록 제어하는 단계; 및
    상기 빌딩 관리 로봇이, 상기 사용자를 포함하는 영상 데이터를 획득하는 동작, 및 상기 사용자의 이동을 따라 주행하는 동작 중 적어도 하나의 동작을 수행하는 단계를 더 포함하는 빌딩 관리 로봇을 이용한 서비스 제공 방법.
  20. 제18항에 있어서,
    상기 엘리베이터의 내부를 포함하는 영상 데이터로부터, 상기 엘리베이터의 내부에 존재하는 타인을 식별하는 단계; 및
    상기 타인의 식별 결과에 기초하여, 상기 사용자의 탑승 시 상기 빌딩 관리 로봇의 동승 여부를 결정하는 단계를 더 포함하는 빌딩 관리 로봇을 이용한 서비스 제공 방법.
PCT/KR2019/007539 2019-06-21 2019-06-21 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법 WO2020256195A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/486,717 US11430278B2 (en) 2019-06-21 2019-06-21 Building management robot and method of providing service using the same
PCT/KR2019/007539 WO2020256195A1 (ko) 2019-06-21 2019-06-21 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법
KR1020190087936A KR20190096849A (ko) 2019-06-21 2019-07-19 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/007539 WO2020256195A1 (ko) 2019-06-21 2019-06-21 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법

Publications (1)

Publication Number Publication Date
WO2020256195A1 true WO2020256195A1 (ko) 2020-12-24

Family

ID=67807714

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007539 WO2020256195A1 (ko) 2019-06-21 2019-06-21 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법

Country Status (3)

Country Link
US (1) US11430278B2 (ko)
KR (1) KR20190096849A (ko)
WO (1) WO2020256195A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023056298A3 (en) * 2021-09-29 2023-05-11 Johnson Controls Tyco IP Holdings LLP Systems and methods for protecting robot tailgating in building environments

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055942B2 (en) 2017-08-01 2021-07-06 The Chamberlain Group, Inc. System and method for facilitating access to a secured area
CA3071616A1 (en) * 2017-08-01 2019-02-07 The Chamberlain Group, Inc. System for facilitating access to a secured area
KR102412555B1 (ko) * 2019-10-18 2022-06-23 네이버랩스 주식회사 로봇과 사용자간의 인터랙션을 위한 방법 및 시스템
US11417328B1 (en) * 2019-12-09 2022-08-16 Amazon Technologies, Inc. Autonomously motile device with speech commands
CN111039113A (zh) * 2019-12-31 2020-04-21 北京猎户星空科技有限公司 电梯运行状态确定方法、装置、设备和介质
US20210284492A1 (en) * 2020-03-16 2021-09-16 Otis Elevator Company Robot concierge
KR102274212B1 (ko) * 2020-08-04 2021-07-07 주식회사 더키 다목적 센서 장치 및 이를 이용한 건물 에너지 관리 방법
KR102355263B1 (ko) 2020-08-28 2022-02-07 네이버랩스 주식회사 로봇 제어 방법 및 시스템
CN112936302B (zh) * 2021-01-28 2024-01-30 厦门星速机器人有限公司 一种自动乘梯机器人系统
KR102484732B1 (ko) * 2021-05-31 2023-01-04 정자영 자율주행로봇의 층간 이동 제어 시스템 및 제어 방법
KR102636908B1 (ko) * 2021-11-25 2024-02-15 한국생산기술연구원 비언어적 인식에 기초하여 소셜 로봇과 사용자 간의 인터랙션을 위한 방법 및 시스템
KR102454679B1 (ko) * 2022-03-03 2022-10-13 삼성물산 주식회사 로봇 이동 제어 시스템 및 방법
KR102583584B1 (ko) * 2022-06-30 2023-10-06 현대엘리베이터주식회사 로봇 연동 엘리베이터 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005053670A (ja) * 2003-08-06 2005-03-03 Matsushita Electric Works Ltd 自律移動ロボット及び自律移動ロボット用のエレベータ乗降システム
KR20110016691A (ko) * 2009-08-12 2011-02-18 도대욱 고객 관리시스템
CN108529360A (zh) * 2017-03-06 2018-09-14 株式会社日立大厦系统 电梯装置、电梯系统以及自主机器人的控制方法
JP2019052027A (ja) * 2017-09-15 2019-04-04 株式会社日立製作所 支援ロボット及びそれと連動するビル管理システム装置
EP3496053A1 (en) * 2017-12-05 2019-06-12 Savioke Inc. Apparatus, system, and method for secure robot access

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022029A (ja) * 2003-07-02 2005-01-27 Fujitsu Autom Ltd 接客ロボットおよび接客ロボットシステム
JP5055905B2 (ja) * 2006-09-11 2012-10-24 富士通株式会社 入退室管理システム、入退室管理ロボット装置、および入退室管理プログラム
US8577498B2 (en) * 2007-05-21 2013-11-05 Panasonic Corporation Automatic transfer method, transfer robot, and automatic transfer system
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9953514B2 (en) * 2012-09-21 2018-04-24 Google Llc Visitor feedback to visitor interaction with a doorbell at a smart-home
US20150156030A1 (en) * 2012-09-21 2015-06-04 Google Inc. Handling specific visitor behavior at an entryway to a smart-home
EP3279751A4 (en) * 2015-04-03 2018-05-02 Lucis Technologies Holdings Limited Environmental control system
US10414052B2 (en) * 2016-02-09 2019-09-17 Cobalt Robotics Inc. Building-integrated mobile robot
GB2567791B (en) * 2016-09-09 2021-10-13 Groove X Inc Autonomously acting robot that accepts a guest
US10347063B1 (en) * 2017-03-01 2019-07-09 Alarm.Com Incorporated Authorized smart access to a monitored property
US10664688B2 (en) * 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
WO2020131101A1 (en) * 2018-12-21 2020-06-25 Google Llc Operating a door of a smart-home through various stages of user detection
EP3900885A4 (en) * 2018-12-21 2022-09-28 LG Electronics Inc. METHOD OF ROBOT CONTROL

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005053670A (ja) * 2003-08-06 2005-03-03 Matsushita Electric Works Ltd 自律移動ロボット及び自律移動ロボット用のエレベータ乗降システム
KR20110016691A (ko) * 2009-08-12 2011-02-18 도대욱 고객 관리시스템
CN108529360A (zh) * 2017-03-06 2018-09-14 株式会社日立大厦系统 电梯装置、电梯系统以及自主机器人的控制方法
JP2019052027A (ja) * 2017-09-15 2019-04-04 株式会社日立製作所 支援ロボット及びそれと連動するビル管理システム装置
EP3496053A1 (en) * 2017-12-05 2019-06-12 Savioke Inc. Apparatus, system, and method for secure robot access

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023056298A3 (en) * 2021-09-29 2023-05-11 Johnson Controls Tyco IP Holdings LLP Systems and methods for protecting robot tailgating in building environments

Also Published As

Publication number Publication date
KR20190096849A (ko) 2019-08-20
US20220005303A1 (en) 2022-01-06
US11430278B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
WO2020256195A1 (ko) 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법
WO2021010502A1 (ko) 로봇 및 그를 이용한 물품 관리 방법
WO2020246643A1 (ko) 서빙 로봇 및 그를 이용한 고객 접대 방법
WO2021015308A1 (ko) 로봇 및 그의 기동어 인식 방법
WO2021006404A1 (ko) 인공지능 서버
WO2020262746A1 (ko) 인공지능 기반의 세탁 코스 추천 장치 및 그 제어 방법
WO2021002499A1 (ko) 군집 로봇을 이용하여 사용자의 위치를 추적하는 방법, 태그장치 및 이를 구현하는 로봇
WO2021045271A1 (ko) 로봇
WO2020251086A1 (ko) 인공지능 세탁물 처리 기기
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2020256180A1 (ko) 사용자 인식 기반의 유모차 로봇 및 그 제어 방법
WO2021215547A1 (ko) 스마트 홈 장치 및 방법
WO2020241934A1 (ko) 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2020246640A1 (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
WO2021172642A1 (ko) 장치 간 연동에 기초한 장치 제어 기능을 제공하는 인공 지능 장치 및 그 방법
WO2020262721A1 (ko) 인공 지능을 이용하여, 복수의 로봇들을 제어하는 관제 시스템
WO2020246647A1 (ko) 인공 지능 시스템의 동작을 관리하는 인공 지능 장치 및 그 방법
WO2020241920A1 (ko) 장치 정보에 기반하여, 다른 장치를 제어할 수 있는 인공 지능 장치
WO2020251074A1 (ko) 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법
WO2020230928A1 (ko) 로봇 및 그의 제어 방법
WO2021006363A1 (ko) 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법
WO2020251096A1 (ko) 인공 지능 로봇 및 그의 동작 방법
WO2021040105A1 (ko) 개체명 테이블을 생성하는 인공 지능 장치 및 그 방법
WO2020251101A1 (ko) 사용자의 동선을 결정하는 인공 지능 장치 및 그 방법
WO2021010503A1 (ko) 인공지능 공기청정장치, 그의 제어 방법, 및 그와 연결되는 인공지능 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19934218

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19934218

Country of ref document: EP

Kind code of ref document: A1