WO2024071457A1 - 안내 로봇 및 안내 로봇의 동작방법 - Google Patents

안내 로봇 및 안내 로봇의 동작방법 Download PDF

Info

Publication number
WO2024071457A1
WO2024071457A1 PCT/KR2022/014365 KR2022014365W WO2024071457A1 WO 2024071457 A1 WO2024071457 A1 WO 2024071457A1 KR 2022014365 W KR2022014365 W KR 2022014365W WO 2024071457 A1 WO2024071457 A1 WO 2024071457A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
surveillance
monitoring
guidance robot
driving
Prior art date
Application number
PCT/KR2022/014365
Other languages
English (en)
French (fr)
Inventor
이현옥
박신영
서재홍
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2022/014365 priority Critical patent/WO2024071457A1/ko
Publication of WO2024071457A1 publication Critical patent/WO2024071457A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls

Definitions

  • the present invention relates to a guide robot and a method of operating the guide robot, and more specifically, to a guide robot and a method of operating the guide robot that can perform a surveillance function while traveling on their own.
  • Guide robots drive autonomously without user intervention and provide various guidance services to users through, for example, voice conversation functions or interaction functions through touch screens.
  • guide robots generally perform a guiding function during the day when there are many visitors, and mainly perform a surveillance function at night when there are no visitors.
  • the surveillance function is used even during daytime when necessary.
  • the surveillance function of a guide robot is usually monitored through a surveillance camera while traveling in a certain space along a set driving path. Specifically, the locations to which the guide robot must go are listed in order, and then the guide robot performs surveillance while passing through those locations.
  • the surveillance function of the existing guide robot was at the level of CCTV recording through a camera while repeatedly traveling a designated driving path. This actually corresponds to an operation level that is not much different from fixed CCTV.
  • the guidance robot since the guidance robot drives and operates using a charged battery, it repeatedly travels along a designated driving path and moves to a charging station to recharge the battery when the remaining battery charge is low. Since the guidance robot consumes the most battery while driving, such uniform driving monitoring consumes battery power more quickly and significantly reduces the available operating time of the monitoring function.
  • the guidance robot and its operations enable efficient monitoring according to the current state of the guidance robot and the characteristics of the driving space, reflecting the characteristics of the guidance robot that can drive on its own and become increasingly intelligent.
  • the purpose is to provide a method.
  • a guidance robot and a method of operating the guidance robot are provided that can perform monitoring while adaptively changing the driving path in consideration of the current state of the guidance robot and the characteristics of the driving space. There is a purpose.
  • the purpose is to provide a guide robot and a method of operating the guide robot that can independently determine and perform appropriate response actions to monitoring results.
  • a guide robot and a guide robot that can continuously perform abnormality detection outside of a designated surveillance area as needed and can perform actions corresponding to the abnormality detection results differently depending on the situation.
  • the purpose is to provide an operation method.
  • the guidance robot can monitor the surroundings while adaptively changing the driving path according to the state of the robot or the state of the driving space, rather than driving only along a designated driving path in the surveillance area.
  • additional monitoring can be performed outside the monitoring area, and appropriate response actions can be actively performed according to the results of the additional monitoring.
  • a guide robot includes a camera that takes pictures of the surroundings of the guide robot when activated; a traveling unit that moves the guidance robot; A sensing unit that collects status information of the guidance robot; and a processor electrically connected to the camera, driving unit, and sensing unit.
  • the processor activates the camera according to execution of the surveillance mode, receives status information of the guide robot while the guide robot travels in the surveillance area in the surveillance mode, and responds to the received status information of the guide robot. Based on this, a driving path for the surveillance area can be determined.
  • the processor may determine the driving path to monitor the entire surveillance area based on the viewing angle of the camera.
  • the status information of the guide robot may include one or more of the remaining battery charge of the guide robot, the estimated time required to monitor the entire surveillance area, and the presence of another guide robot capable of collaboration.
  • the processor executes a power saving mode based on the remaining battery charge of the guide robot, and controls the traveling unit according to execution of the power saving mode to move the guidance robot to a specific location within the surveillance area.
  • the surveillance area is monitored, and at this time, the specific location may vary depending on situation information collected in the surveillance area.
  • the processor may recognize the occurrence of a preset surveillance event while driving in the surveillance area, perform an operation corresponding to the recognized surveillance event, and then continue monitoring the surveillance area. .
  • the preset monitoring event may be a situation context related to at least one of visitor status monitoring, visitor quarantine monitoring, protection area monitoring, and building condition monitoring.
  • the processor calculates a POI location for performing an operation corresponding to the recognized surveillance event based on the occurrence location of the situation context, and based on the calculated POI location and the current location of the guide robot. You can set the next driving route.
  • it further includes a touch screen that displays information related to the recognized surveillance event, and the processor is electrically connected to the touch screen to perform an operation corresponding to the recognized surveillance event through the touch screen. You can request a corresponding feedback response.
  • the sensing unit may collect state information of the driving space
  • the processor may determine the next driving direction based on the state information of the driving space collected while driving in the surveillance area in the monitoring mode, While driving in the determined driving direction, the monitoring target corresponding to the collected driving space status information can be confirmed, and corresponding actions related to the confirmed monitoring target can be performed.
  • the state information of the driving space may be state data including one or more of temperature data, slip data, and slope data of the driving space.
  • the next driving direction of the guide robot may be determined as a direction associated with a point where an abnormality is detected as a result of analysis of state data of the driving space.
  • the processor sets a candidate POI for confirming the monitoring target based on the anomaly detected point, selects one of the set candidate POIs with a high anomaly detection expected weight as a search POI, and performs the search.
  • a search POI By driving to a POI, status information of the driving space can be cumulatively collected, and the next search POI can be detected based on the collection results.
  • At least some of the search POI or the next search POI may be located outside the surveillance area.
  • it may further include a touch screen that displays information related to a corresponding action related to the confirmed monitoring target.
  • the guide robot further includes a communication unit, and the processor confirms that there is no feedback response to the displayed information within a preset time, and provides a confirmation result of the monitoring target and the confirmed monitoring target through the communication unit.
  • a corresponding action related to can be transmitted to a preset administrator terminal.
  • a method of operating a guide robot includes the steps of activating a camera of the guide robot to execute a surveillance mode; In the surveillance mode, acquiring status information of the guide robot while driving in a surveillance area; and determining a different driving path for the surveillance area based on the acquired status information of the guide robot.
  • the field of view of the surveillance camera is taken into consideration, the remaining battery charge, the expected time required to monitor the entire surveillance area, and the presence of another guide robot capable of collaboration. Based on various status information such as, a driving path for the surveillance area can be actively set or an existing driving path can be changed. Accordingly, more effective and intelligent surveillance, rather than uniform surveillance, can be performed.
  • a feedback response can be requested, and if there is no response to the request, the administrator can be notified. Accordingly, more appropriate detailed abnormality detection and response actions can be performed for each situation.
  • FIG. 1 is a diagram showing an example of a guidance robot related to the present invention.
  • Figure 2 is a block diagram showing an example configuration of a guidance robot related to the present invention.
  • Figure 3 is a diagram for explaining the monitoring function by a general guidance robot.
  • Figure 4 is a representative flowchart for explaining the operation method of the guidance robot related to the present invention.
  • Figure 5 is a diagram showing that the guidance robot related to the present invention performs a surveillance function in consideration of the camera view angle range.
  • FIGS. 6A, 6B, and 6C are various examples of setting different driving paths for a surveillance area based on different states of the guide robot in the guide robot related to the present invention.
  • Figures 9 and 10 are diagrams for explaining examples in which a guide robot related to the present invention recognizes the occurrence of a surveillance event and performs a response operation while traveling in a surveillance area.
  • Figure 11 is another flowchart for explaining the operation method of the guide robot related to the present invention.
  • FIGS. 12, 13, and 14 are diagrams for explaining a method of a guide robot related to the present invention to detect abnormalities in heating and cooling conditions and confirm a monitoring target, and corresponding operations related thereto.
  • FIGS. 15A, 15B, and 15C are diagrams illustrating an example of a method in which a guide robot related to the present invention detects an abnormal inclination of the floor of a building and checks the management status.
  • the "guidance robot" disclosed in this specification provides welcome greetings, directions, product guidance, and product search to users in various public places such as airports, shopping malls such as department stores, accommodations such as hotels, and cultural spaces such as art galleries and libraries. , refers to a robot that can provide various information such as parking information, airport information, docent information, and library information.
  • the “guidance robot” disclosed in this specification can perform autonomous driving on its own in order to guide users to roads, specific places, etc.
  • objects moving in the defined space may be referred to as including visitors, users, obstacles, etc.
  • the "guidance robot” disclosed herein uses various output means related to a touch screen, sound output unit, LED, tactile sensor, etc. in order to provide information or guidance to the user in various ways (visual, auditory, tactile). may include.
  • Figure 1 is a diagram showing an example of a guidance robot 100 related to the present invention.
  • the guidance robot 100 includes a head 102, a camera 121, a speaker 152, a voice recognition unit (not shown), a display 151, and a traveling unit 130. ) can be achieved including. However, in some cases, the guide robot 100 according to the present invention may be implemented by removing some of the means disclosed herein or by further including other means.
  • the appearance of the guide robot 100 according to the present invention may largely include an upper module including a head 102 and a display 151 and a lower module including a traveling unit 130.
  • the upper module and the lower module may be provided to be detachable from each other.
  • the upper module provides a user interface that can be changed depending on the service environment.
  • the lower module provides a driving function for movement of the guidance robot body.
  • the upper module again forms a body and can be divided into a body part equipped with a display 151 and a head part 102 equipped with a camera 121, etc.
  • a camera may be provided on the body or a touch screen may be placed on the head 102.
  • the camera 121 may be provided on one side of the case of the head portion 102 or on one side of the case of the body portion. Additionally, a plurality of cameras 121 may be provided. In this case, one may be provided on the front of the main body and installed to face forward, and the other may be provided on the side or rear and installed to face side/rear. Accordingly, an angle of view in the 360 range can be formed.
  • the first camera may include, for example, a 3D stereo camera.
  • the 3D stereo camera can perform functions such as obstacle detection, user face recognition, and stereoscopic image acquisition.
  • the guidance robot 100 can detect and avoid obstacles in its direction of movement using the first camera, and can recognize the user to perform various control operations.
  • the second camera may include, for example, a SLAM (Simultaneous Localization And Mapping) camera.
  • the slam camera tracks the current location of the camera through feature point matching and creates a 3D map based on this.
  • the guidance robot 100 can determine its current location using the second camera.
  • the camera 121 can recognize objects within the viewing angle range and perform photo and video shooting functions.
  • the camera 121 may include at least one of a camera sensor (eg, CCD, CMOS, etc.), a photo sensor (or image sensor), and a laser sensor.
  • the camera 121 and the laser sensor can be combined with each other to detect the touch of the sensing object for a 3D stereoscopic image.
  • a photo sensor can be laminated on the display element, and this photo sensor is configured to scan the movement of a detection object close to the touch screen. More specifically, the photo sensor mounts photo diodes and TR (transistors) in rows/columns and scans the contents placed on the photo sensor using electrical signals that change depending on the amount of light applied to the photo diode. In other words, the photo sensor calculates the coordinates of the sensing object according to the amount of change in light, and through this, location information of the sensing object can be obtained.
  • the sound output unit 152 performs a function of informing the user of information to be provided by voice, and may be in the form of a speaker, for example. Specifically, the response or search result corresponding to the user's voice received through the audio receiver 122 and the voice recognition unit (not shown) provided in the guidance robot 100 is output as a voice through the audio output unit 152. do.
  • This sound output unit 152 may be provided on the outer peripheral surface of the head unit 102 or the body unit provided with the display 151. Additionally, the sound output unit 152 may output sound information related to a screen (eg, menu screen, advertisement screen, etc.) displayed on the display 151.
  • the sound receiver 122 performs a function of receiving a user's voice, etc., and may be in the form of a microphone, for example.
  • the audio receiver 122 processes external audio signals into electrical audio data, and various noise removal algorithms can be implemented to remove noise generated in the process of receiving external audio signals.
  • the display 151 may be located longitudinally in one direction of the body and may display a screen to provide visual information, for example, guidance information. Additionally, the display 151 may include a display module, a touch sensor, and a pressure sensor.
  • the display 151 may be implemented to open and close the interior of the body portion, for example, by combining with a movement guide means. Additionally, the display 151 may be implemented to be fastened to the body using, for example, a fixing member.
  • the display 151 is provided at the rear with respect to the head 102. , or may be additionally provided at the rear in addition to the front. Alternatively, the head 102 may be rotated 180 degrees before moving along the set path, thereby changing the appearance of the display 151 as if it were located at the rear.
  • the display 151 performs the function of displaying visual information (e.g., route information, inquiry information) related to the currently provided service.
  • the user can view the display 151 installed at the rear of the guidance robot 100 while moving along the guidance robot 100.
  • the display 151 may be provided on both the front and rear sides of the main body, respectively.
  • different screens e.g., a screen for interacting with the user on the first display, an advertising screen on the second display, etc.
  • a display unit may be provided on the front of the head unit 102 to display various facial expression changes of the guide robot.
  • the traveling unit 130 moves and rotates the main body of the guidance robot 100.
  • the traveling unit 130 may include a plurality of wheels and a driving motor.
  • the driving of the traveling unit 130 is controlled according to control commands received by the processor, and notifications may be provided through the LED output means 153 before and after driving.
  • Figure 2 is a block diagram showing an exemplary detailed configuration of a guidance robot related to the present invention.
  • the guidance robot 100 includes a communication unit 110, an input unit 120, a traveling unit 130, a sensing unit 140, an output unit 150, a memory 170, a processor 180, and a power unit ( 190), etc. may be included.
  • the components shown in FIG. 2 are not essential for implementing the guide robot, so the guide robot described herein may have more or less components than the components listed above.
  • the communication unit 110 may include one or more modules that enable wireless communication between the guidance robot 100 and an external server, for example, an artificial intelligence server, or an external terminal. Additionally, the communication unit 110 may include one or more modules that connect the guidance robot 100 to one or more networks.
  • the communication unit 110 includes, for example, Wireless LAN (WLAN), Wireless-Fidelity (Wi-Fi), Wireless Fidelity (Wi-Fi) Direct, Digital Living Network Alliance (DLNA), Wireless Broadband (WiBro), and WiMAX ( Uses wireless Internet communication technologies such as World Interoperability for Microwave Access (HSDPA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), and Long Term Evolution-Advanced (LTE-A). This allows communication with artificial intelligence servers, etc.
  • WLAN Wireless LAN
  • Wi-Fi Wireless Fidelity
  • Wi-Fi Wireless Fidelity
  • DLNA Digital Living Network Alliance
  • WiBro Wireless Broadband
  • WiMAX Uses wireless Internet communication technologies such as World Interoperability for Microwave Access (HSDPA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), and Long Term Evolution-Adv
  • the communication unit 110 uses short-range communication technologies such as BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and Near Field Communication (NFC). You can use to communicate with external terminals, etc.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the input unit 120 includes a camera 121 or video input unit for inputting video signals, a sound receiving unit 122 for inputting audio signals, for example, a microphone, and a user input unit (not shown) for receiving information from the user. , for example, touch keys, push keys (mechanical keys, etc.). Signal data, voice data, and image data collected by the input unit 120 may be analyzed and processed into control commands.
  • the traveling unit 130 moves and rotates the main body of the guidance robot 100.
  • the traveling unit 130 may include a plurality of wheels and a driving motor.
  • the driving of the traveling unit 130 is controlled according to control commands received by the processor 180, and notifications may be provided through the light output unit 153, such as an LED, before and after driving.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information within the guidance robot, information on the surrounding environment surrounding the guidance robot, and user information.
  • the sensing unit 140 includes a proximity sensor 141, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and a gravity sensor ( G-sensor, gyroscope sensor, motion sensor, RGB sensor, infrared sensor, fingerprint scan sensor, ultrasonic sensor, optical Sensors (optical sensors, e.g., cameras (see 121)), microphones, battery gauges, environmental sensors (e.g., barometers, hygrometers, thermometers, radiation sensors, heat sensors, gas It may include at least one of a detection sensor, etc.), a chemical sensor (e.g., an electronic nose, a healthcare sensor, a biometric sensor, etc.).
  • the guidance robot disclosed in this specification can utilize information sensed by at least two of these sensors by combining them.
  • the sensing unit 140 may include a driving-related sensor 142 that
  • the proximity sensor 141 examples include a transmissive photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high-frequency oscillation type proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. Additionally, the proximity sensor 141 may include at least one of a navigation camera, an ultrasonic sensor, a lidar, and a ToF sensor, through which the approach and location of a sensing object (eg, a user) can be recognized.
  • a navigation camera an ultrasonic sensor
  • a lidar and a ToF sensor
  • the sensing unit 140 may include one or more sensors for collecting situational information.
  • one or more sensors among a camera, 3D depth camera, lidar, speed sensor, distance sensor, obstacle sensor, and proximity sensor 141 may be included.
  • the sensing unit 140 may collect situational information using one or two or more sensors.
  • the collected situation information may include, for example, whether there are visitors in the space, whether the visitors are approaching or moving away and their direction, the robot's traveling speed, the characteristics of the driving space, etc. Additionally, the external characteristics (e.g., gender, age, etc.) of visitors approaching or moving away can be included as situation information.
  • the situation information collected by the sensing unit 140 may be provided to the processor 180 or stored in the memory 170.
  • the processor 180 may differently adjust the volume of speech output through the audio output unit 152 based on the collected situation information. More specifically, the processor 180 may subdivide the object or purpose of the robot's speech and set the control range of the speech volume corresponding to each differently.
  • the processor 180 selects an utterance mode to adjust the volume of utterance within a first setting range or adjusts the volume of utterance within a second setting range that is different from the first setting range. You can select the ignition mode.
  • the maximum value of the first setting range may be greater than the maximum value of the second setting range.
  • the first setting range can be selected as an ignition mode ('public utterance mode') when uttering targeting multiple people
  • the second setting range can be selected as an ignition mode ('public uttering mode') when uttering targeting a specific individual who approaches the robot. It may be selected as a poetry speech mode ('personal speech mode').
  • the processor 180 can control the front display and the rear display to display different content (eg, different advertisements).
  • the processor 180 can control the sound output unit 152 to output sounds related to displays with high advertising effectiveness, safety importance, or high control priority based on the collected situation information. there is.
  • the output unit 150 is intended to generate output related to vision, hearing, or tactile sensation, and may include at least one of a display 151, an audio output unit 152, and an optical output unit 153.
  • the display 151 can implement a touch screen by forming a layered structure or being integrated with the touch sensor. This touch screen can function as a user input unit that provides an input interface between the guidance robot 100 and the user and at the same time provide an output interface.
  • the light output unit 153 uses light from a light source to output a signal to notify the occurrence of an event in the guidance robot 100. For example, when a movement command is transmitted to the traveling unit 130 of the guidance robot 100, a signal for notifying movement is output through the optical output unit 153.
  • the processor 180 may include an AI learning unit 181 (not shown) to perform operations related to the artificial intelligence technology of the guidance robot.
  • the AI learning unit 181 may be configured to receive, classify, store, and output information to be used for data mining, data analysis, intelligent decision-making, and machine learning algorithms and technologies.
  • the AI learning unit 181 receives, detects, detects, generates, and stores predefined information or information output in other ways through the guidance robot, or receives and detects information through other configurations, devices, and terminals. , may include one or more memory units configured to store sensed, generated, predefined or output data.
  • the AI learning unit 181 may be integrated into a guidance robot or may include memory. In one embodiment, the AI learning unit 181 may be implemented through the memory 170. However, it is not limited to this, and the AI learning unit 181 may be implemented in an external memory related to the guidance robot 100, or may be implemented through a memory included in a server capable of communicating with the guidance robot 100. In another embodiment, the AI learning unit 181 may be implemented through memory maintained in a cloud computing environment, or other remote memory accessible by the guidance robot through a communication method such as a network.
  • AI learning unit 181 is typically used to identify, index, classify, manipulate, store, retrieve, and output data for use in supervised or unsupervised learning, data mining, predictive analytics, or other machine learning techniques. This is done to store it in one or more databases.
  • the information stored in the AI learning unit 181 is processed by a processor 180 or a plurality of processors included in the guidance robot using at least one of different types of data analysis, machine learning algorithms, and machine learning technologies. It can be used. Examples of such algorithms and techniques include the k-Nearest neighbor system, fuzzy logic (e.g., possibility theory), neural networks, and Boltzmann machines.
  • the processor 180 may determine or predict executable operations of the guidance robot based on information determined or generated using data analysis, machine learning algorithms, and machine learning technology. To this end, the processor 180 may request, search, receive, or utilize data from the AI learning unit 181. Processor 180 may perform a variety of functions, such as implementing knowledge-based systems, reasoning systems, and knowledge acquisition systems, systems for uncertain inference (e.g., fuzzy logic systems), adaptive systems, machine learning systems, artificial intelligence systems, etc. It can perform a variety of functions, including neural networks.
  • functions such as implementing knowledge-based systems, reasoning systems, and knowledge acquisition systems, systems for uncertain inference (e.g., fuzzy logic systems), adaptive systems, machine learning systems, artificial intelligence systems, etc. It can perform a variety of functions, including neural networks.
  • the processor 180 may be configured to enable speech and natural language processing, such as an I/O processing module, an environmental conditions module, a speech-to-text (STT) processing module, a natural language processing module, a workflow processing module, and a service processing module.
  • Each of the sub-modules may have access to one or more systems or data and models, or a subset or superset thereof, in the guidance robot.
  • objects to which each of the sub-modules has access rights may include scheduling, vocabulary index, user data, task flow model, service model, and automatic speech recognition (ASR) system.
  • ASR automatic speech recognition
  • the processor 180 is configured to detect and detect what the user requests based on the user's intention or a context condition expressed in user input or natural language input based on data from the AI learning unit 181. It could be.
  • the processor 180 configures the components of the guidance robot to execute the determined operation. You can control them.
  • the processor 180 may execute the determined operation by controlling the guide robot based on the control command.
  • the memory 170 stores data supporting various functions of the guidance robot 100.
  • the memory 170 may store a plurality of application programs (application programs or applications) running on the guidance robot 100, data for operating the guidance robot 100, and commands. Additionally, the memory 170 may store variable call words for performing a voice conversation function with a user.
  • the memory 170 may store situation information and data collected by the guidance robot 100 through the sensing unit 140, the input unit 120, the communication unit 110, etc. Additionally, context information and data stored in the memory 170 may be provided to the processor 180.
  • the memory 170 is, for example, a flash memory type, a hard disk type, a solid state disk type, an SDD type (Silicon Disk Drive type), and a multimedia card micro type ( multimedia card micro type), card type memory (e.g. SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), EEPROM ( It may include at least one type of storage medium among electrically erasable programmable read-only memory (PROM), programmable read-only memory (PROM), magnetic memory, magnetic disk, and optical disk.
  • PROM electrically erasable programmable read-only memory
  • PROM programmable read-only memory
  • magnetic memory magnetic disk
  • optical disk optical disk.
  • the processor 180 typically controls the overall operation of the guidance robot 100, in addition to operations related to the application program.
  • the processor 180 processes signals, data, information, etc. input or output through the components discussed above, runs an application program stored in the memory 170, or controls the driving unit 130 to provide appropriate information or information to the user. Functions can be provided or processed.
  • the power supply unit 190 receives external power and internal power under the control of the processor 180 and supplies power to each component included in the guidance robot 100.
  • This power unit 190 may include a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the above components may operate in cooperation with each other to implement the operation, control, or control method of the guide robot according to various embodiments described below. Additionally, the operation, control, or control method of the guide robot may be implemented on the guide robot by driving at least one application program stored in the memory 170.
  • various embodiments disclosed below may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware, or a combination thereof.
  • Figure 3 is a diagram for explaining the monitoring function by a general guidance robot.
  • the existing guidance robot 20 executes the monitoring function for the surveillance area 310 within a certain space 10, it moves the boundary of the set surveillance area 310 in a certain direction (e.g., counterclockwise). ) and operated to perform camera monitoring.
  • the guide robot drives to sequentially pass through the POIs (1, 2, 3, 4).
  • a route (311) was set, and the monitoring function was performed by repeatedly driving to the corresponding POI (1, 2, 3, 4).
  • FIG. 4 is a representative flowchart for explaining the operation method of the guidance robot related to the present invention. Unless otherwise specified, each step in FIG. 4 is performed through the processor 180 of the guidance robot 100. Additionally, the process of FIG. 4 may be performed repeatedly while the guidance robot 100 performs the monitoring function. Additionally, although not shown in detail, the guidance robot 100 may perform AI learning, updating, and/or databaseization based on the monitoring results for the surveillance area through the process of FIG. 4.
  • the guidance robot 100 can activate the camera to execute the surveillance mode (S10).
  • the cameras may include cameras for special surveillance, such as depth cameras, two-dimensional cameras, three-dimensional cameras, and thermal imaging cameras. Additionally, the camera may be activated to perform a continuous recording function according to the guidance robot's execution of the surveillance mode.
  • cameras for special surveillance such as depth cameras, two-dimensional cameras, three-dimensional cameras, and thermal imaging cameras.
  • the camera may be activated to perform a continuous recording function according to the guidance robot's execution of the surveillance mode.
  • the guide robot can receive status information of the guide robot collected while driving in the surveillance area (S20).
  • the status information of the guidance robot refers to the status data of the guidance robot that affects the guidance robot's performance of the monitoring function, for example, the remaining battery charge of the guidance robot and the amount required to monitor the entire surveillance area. It may include one or more of the following: expected time, and presence of other guidance robots capable of collaborating.
  • the status information of this guidance robot is, for example, the status information related sensor 143 (e.g., battery level detection sensor, work time measurement sensor, etc.) of the sensing unit 140 of the guidance robot 100, the communication unit 110, It can be collected or acquired through an input unit 120 such as a camera 121 or an audio receiver 122.
  • the status information related sensor 143 e.g., battery level detection sensor, work time measurement sensor, etc.
  • the communication unit 110 It can be collected or acquired through an input unit 120 such as a camera 121 or an audio receiver 122.
  • the collected or acquired status information of the guidance robot is stored in the memory 170, transmitted externally through the communication unit 110, transmitted to the processor 180 to perform related operations or AI learning, and/or displayed. It can be visualized through (151).
  • the guidance robot 100 may change the driving path for the surveillance area based on the received or acquired status information of the guidance robot (S30).
  • changing the driving path may include both adaptively changing the existing driving path and setting a new driving path based on the status information of the guidance robot.
  • recording of adaptive changes to the existing driving route may be performed.
  • the state data of the guidance robot when the state data of the guidance robot is restored to its original value, it can operate to perform monitoring along the existing driving path.
  • map data generation and learning for a new driving path can be performed.
  • a driving path for monitoring can continue to be created based on the status data acquired in real time.
  • the processor 180 of the guidance robot 100 may change/set the reference POI for monitoring differently according to the received or acquired status information of the guidance robot.
  • the processor 180 of the guidance robot 100 may determine a monitoring target and set a driving path to track it according to the received or acquired status information of the guidance robot.
  • the security-required location or It can be set to drive only in narrow areas.
  • Figure 5 is a diagram showing that the guidance robot related to the present invention performs a surveillance function in consideration of the camera view angle range.
  • the camera 121 is activated to monitor the surroundings and operates in surveillance mode.
  • the guide robot 100 must be able to check the entire surveillance area according to the viewing angle of the camera monitoring the surroundings while driving in a designated surveillance area in the surveillance mode.
  • the processor 180 of the guidance robot 100 may determine a driving path for surveillance based on the viewing angle range of the activated camera 121 so that the entire surveillance area can be monitored.
  • a spiral-shaped driving path is drawn inward from the boundary of the surveillance area 510 to cover the entire inside of the designated surveillance area 510.
  • the surveillance mode can be performed by drawing a spiral-shaped driving path from the inside of the surveillance area 510 toward the boundary in the opposite direction to the above. . This process can be repeated until the monitoring function for the monitoring area 510 is released.
  • the spiral-shaped driving path 512 is an example of covering the entire surveillance area 510 in consideration of the camera's angle of view, so a different type of driving path, for example, a zigzag-shaped driving path, may also be possible. .
  • FIGS. 6A, 6B, and 6C show different driving paths for the surveillance area based on different states of the guide robot, specifically when the battery charge is low and when other guide robots capable of collaboration exist. Let’s look at examples of settings.
  • the guidance robot 100 can set a driving path for the surveillance area by considering the remaining driving time calculated based on the remaining battery charge.
  • the monitoring function may be performed in a power saving mode. This is because the battery consumption required for driving is the largest due to the size of the guidance robot 100.
  • the monitoring function can continue to be performed without switching to power saving mode.
  • the guidance robot 100 When performing the surveillance function in power-saving mode, it would be advantageous for the guidance robot 100 to be located in a place where the security effect can be increased while minimizing driving, for example, in a place with the highest visibility.
  • the surveillance function may continue to be performed by standing at a location determined to have high visibility without moving.
  • the processor 180 of the guide robot 100 selects a place where many visitors are gathered or a specific location with a large floating population (e.g., around a door, around a restroom, around an event, etc.) to a location with high visibility. By making a decision, you can control it to move to the corresponding location.
  • the processor 180 of the guidance robot 100 may perform a monitoring function after moving to a location or direction where a decibel (dB) higher than the reference value occurs.
  • dB decibel
  • the guidance robot 100 compares the remaining battery charge with the expected time required to monitor the entire surveillance area, and when it is determined that the remaining battery charge is insufficient, it takes the remaining driving time into consideration (stops driving) and monitors in power saving mode. Mode operations can be performed.
  • the processor 180 of the guidance robot 100 executes a power saving mode based on the remaining battery charge of the guidance robot and controls the traveling unit 130 according to the execution of the power saving mode to operate the guidance robot 100.
  • the guidance robot 100 stops driving and monitors the surveillance area from the moved location or a short driving path created based on the moved position.
  • the specific location may vary depending on situation information collected in the surveillance area.
  • the situation information is status data (e.g., visitor density, sound, etc.) and/or environmental data (e.g., heating and cooling temperature, humidity, floor condition, etc.) collected within the surveillance area through parts or sensors mounted on the guide robot. may include.
  • Figure 6a shows determining the specific location based on the density of visitors (or users) within the surveillance area as situation information.
  • a plurality of POIs (1, 2, 3, 4) are set for the surveillance area 510, but when the power saving mode is performed due to low battery, the camera or linked server By detecting a location or area (G) with a high density of visitors within the surveillance area (510), a short driving route (611) is set based on that location or area, or a random point within the location or area (G) (e.g., 4 By standing at the first POI, you can perform surveillance functions.
  • Figure 6b shows determining the specific location by detecting sound/noise with a decibel (dB) above the standard value within the surveillance area as situation information.
  • dB decibel
  • a plurality of POIs (1, 2, 3, 4) are set for the surveillance area 510, but when the power saving mode is performed due to a low battery situation, the sound of the guide robot 100
  • the receiver 122 detects a location or area (S) where a sound/noise having a decibel (dB) higher than the reference value within the surveillance area 510 collected through a microphone is detected, and based on the location or area
  • a surveillance function can be performed by setting a short driving route 612 or standing at a random point (e.g., POI 2) within the location or area (S).
  • monitoring of the surveillance area may be performed by a plurality of guide robots.
  • multiple guide robots divide and monitor one surveillance area, it is efficient to adaptively change the driving path for surveillance.
  • the guide robot 100 may change the driving path for the surveillance area based on the presence of another guide robot capable of collaboration and/or a request for collaboration has been received.
  • the processor 180 of the guidance robot 100 may determine the driving path of the surveillance area differently depending on the number of collaborative robots. To this end, the guidance robot 100 can communicate with other collaborative robots and receive collaboration schedule information for the same surveillance area set by the manager from the manager terminal or management server.
  • the collaboration schedule information for the surveillance area may include information about the number of collaborative robots and collaboration work time.
  • the surveillance area becomes more segmented, and the driving path each guide robot must travel for surveillance becomes shorter.
  • collaboration schedules may be set differently for each time zone. For example, at 1 PM, one guide robot is scheduled to monitor, at 5 PM, the previous guide robot returns and another guide robot is scheduled to monitor, and at 2 PM, two guide robots collaborate to monitor the surveillance area. Monitoring, at 4 PM, one of the previous two guide robots is replaced with another guide robot, and at 3 PM, one more guide robot is added, so that three guide robots can be scheduled to monitor the surveillance area.
  • a request is made to another nearby guide robot or a manager to send a collaborative guide robot, and while performing the surveillance function at the specific location, another guide robot is placed in the surveillance area according to the request.
  • the guidance robot operating in power saving mode may return to the charging station.
  • the guidance robot considers the viewing angle range of the surveillance camera and provides various status information such as the remaining battery charge, the expected time required to monitor the entire surveillance area, and the presence of other guide robots capable of collaboration. Based on this, the driving path for the surveillance area can be actively set.
  • Figures 7, 8a, and 8b. 9 and 10 are examples of how a guide robot related to the present invention recognizes the occurrence of a surveillance event and performs a response operation while traveling in a surveillance area.
  • the problematic event is detected within the surveillance area, but tracking can also be performed outside the surveillance area.
  • the guidance robot 100 according to the present disclosure returns to the surveillance area and continues to perform the existing surveillance function.
  • the guidance robot 100 can more effectively monitor predicted problem situations and prevent possible problems in advance by appropriately handling them.
  • the processor 180 of the guidance robot 100 recognizes the occurrence of a preset monitoring event (or problem occurrence event) while driving in the surveillance area, and operates in response to the recognized monitoring event. After performing, monitoring of the surveillance area can be continued.
  • the preset monitoring event may mean a situational context related to at least one of visitor status monitoring, visitor quarantine monitoring, protection area monitoring, and building condition monitoring.
  • monitoring the status of visitors may include monitoring of lost children, monitoring of visitors in need of guidance, monitoring of pets, etc.
  • the guidance robot 100 when the guidance robot 100 discovers a child crying alone through the camera, it recognizes it as a situation context requiring monitoring of the lost child, and the guidance robot 100 approaches the child on its own and displays a parent search screen through the display 151. It can be displayed.
  • the guide robot 100 when a visitor is found repeatedly looking around within the surveillance area, the guide robot 100 recognizes the situation as a context for monitoring a visitor requiring guidance, and the guidance robot 100 approaches the visitor and uses a preset guidance voice (e.g., 'What?
  • the pet when a pet is found without a leash or accessible to a no-pet zone through the camera, the pet can be recognized as the context of a surveillance situation, and can perform response actions such as providing voice guidance or posing to prevent access. there is.
  • quarantine monitoring of visitors may include measuring visitors' temperature and monitoring compliance with quarantine standards.
  • the guide robot 100 monitors the visitors' faces using, for example, a thermal imaging camera to measure the temperature or detects people not wearing required quarantine masks through the camera, and detects the visitors subject to surveillance. By tracking, it is possible to provide guidance through the display 151 to perform a feedback action (e.g., 'wear a mask' or 'notify the manager', etc.).
  • a feedback action e.g., 'wear a mask' or 'notify the manager', etc.
  • protection area monitoring may include monitoring of access/super-access of protected objects, monitoring of access to inaccessible areas/closed areas, etc.
  • the guide robot 100 sees it as a situation context that requires monitoring of the approach/super approach of the object of protection, approaches the object of protection and checks whether the child is super close through the camera. You can monitor and take countermeasures to warn when approaching or take a blocking position.
  • the guide robot 100 recognizes a situation context requiring access monitoring to an inaccessible area/closed area according to the map data for the surveillance area and the movement direction of the visitor monitored through the camera, it provides access through a voice guide, etc. can warn you.
  • monitoring of conditions within a building may include monitoring of slippage, monitoring of cleaning conditions, and monitoring of damaged conditions.
  • the guidance robot 100 recognizes the building entrance and the front of the restroom on a rainy day when slipping is expected as a situation context requiring slip monitoring, and informs visitors about the floor condition (e.g., moisture, etc.) through sound or guide voice. It can warn you...
  • the floor condition e.g., moisture, etc.
  • the guide robot 100 sequentially and repeatedly travels through the set POIs (1, 2, 3, 4) (711) and performs a surveillance mode operation for the surveillance area (710) while the visitor
  • the set POIs (1, 2, 3, 4) 711
  • the surveillance mode operation for the surveillance area (710) while the visitor
  • new monitoring POIs 5, 6, and 7 are set to perform quarantine monitoring of visitors (e.g., temperature measurement, whether masks are worn, etc.) due to problem occurrence events.
  • the guidance robot 100 can calculate the coordinates (P1, P2, P3) for the new POI based on the current location.
  • the information needed to calculate the surveillance POI may include location information where visitors are concentrated, distance information based on the resolution of the camera (e.g., general camera or thermal imaging camera), and information on the camera's viewing angle range.
  • the guide robot 100 moves to the first location (P1) of the newly set surveillance POI, as shown in FIG. 8B, instead of the previously set POI (1, 2, 3, 4) (811) to quarantine visitors.
  • Carry out monitoring for surveillance After performing quarantine surveillance within the field of view (801) at location 5, move to location 6 (P2). Afterwards, quarantine surveillance within the field of view (802) will be performed at position 6 and then moved to position 7 (P3).
  • the processor 180 of the guidance robot 100 can calculate a POI location for performing an operation corresponding to a recognized surveillance event based on the occurrence location of the situation context, and the calculated POI location and the guidance robot You can set the next driving route based on your current location.
  • surveillance mode can be performed by moving to one of the existing POIs (1, 2, 3, 4) based on the current location.
  • the response operation of the guidance robot 100 is as follows.
  • the guide robot 100 sequentially visits the newly set POI locations (5, 6, and 7) for quarantine monitoring of the visitor (G) (911). , After thermal measurement monitoring within the viewing angle range (901, 902) at each location, one or more monitoring subjects (OB1, OB2, OB3) are confirmed as shown in (c) of Figure 9, and among them, those with high scores (e.g. , one (OB3) who is not wearing a mask or has a high thermal measurement result can be selected as the tracking target (931).
  • the guidance robot 100 may display information 910 about the confirmed monitoring subjects OB1, OB2, and OB3 and the tracking subjects 931 through the display 151. At this time, the displayed information 910 may include a feedback operation and response request for the tracking target 931.
  • the guidance robot 100 approaches the tracking subject 931 and follows the movements of the tracking subject 931 while performing feedback actions (e.g., putting on a mask, notifying the manager, leaving the building, etc.)
  • a guide voice may be output to perform the following, or a warning voice may be uttered so that people around the tracking subject 931 can be aware of the movement path.
  • the guidance robot 100 can continuously track the tracking subject 931 even outside the surveillance area.
  • the guidance robot 100 returns to the monitoring area and monitors the monitoring area again according to the existing driving path or the changed driving path based on the robot's status information.
  • the guidance robot 100 can transmit the corresponding fact to the terminal of the manager or the like and make a call.
  • Figure 10 will look at the monitoring of approach/ultra-access to a protected object as a problem occurrence event while the guide robot 100 monitors the surveillance area, and the tracking and response operations accordingly.
  • the surveillance area 1010 may be set to an exhibition hall containing expensive works or exhibits, or a certain space within an art museum. In this case, when the context of a child or the like approaching an expensive work or exhibit is recognized, tracking and response operations may be performed to monitor access/super-access to the protected object to prevent theft or damage.
  • a surveillance POI capable of measuring the distance between the hobo target (T) and the tracking target visitor (OB) is calculated, and the guide robot 100 can move to the calculated surveillance POI.
  • the guide robot 100 may output a notification warning the tracking target visitor (OB) of approach through the display 151 and/or the sound output unit. Additionally, the guide robot 100 may record and store images corresponding to tracking through a camera while tracking is performed. In addition, when the tracking target visitor (OB) ignores the warning notification and approaches the hobo target (T), the guide robot 100 gradually moves in inverse proportion to the distance between the hobo target (T) and the tracking target visitor (OB). Warning notifications can be strengthened. If the visitor (OB) damages the hobo object (T) and disappears, a stronger warning sound can be output and a notification and recorded video can be immediately sent to the terminal of the manager, etc.
  • OB tracking target visitor
  • the guide robot according to the present disclosure is capable of more detailed or specialized monitoring, such as quarantine and protection zone monitoring, and can perform tracking of related objects and appropriate response actions when a problem event occurs.
  • FIG. 11 is another flowchart for explaining the operation method of the guide robot related to the present invention. Unless otherwise specified, each step in FIG. 11 is performed through the processor 180 of the guidance robot 100, as in FIG. 4. In addition, the process of FIG. 11 may be performed repeatedly while the guidance robot 100 performs the monitoring function, and the guidance robot 100 may learn AI based on the monitoring results for the surveillance area through the process of FIG. 11, Updates, and/or databaseization may be performed.
  • the guide robot 100 can activate the camera and execute the surveillance mode according to the input or by its own judgment (S110).
  • the cameras may include cameras for special surveillance, such as depth cameras, two-dimensional cameras, three-dimensional cameras, and thermal imaging cameras. Additionally, the camera may be activated to perform a continuous recording function according to the guidance robot's execution of the surveillance mode.
  • cameras for special surveillance such as depth cameras, two-dimensional cameras, three-dimensional cameras, and thermal imaging cameras.
  • the camera may be activated to perform a continuous recording function according to the guidance robot's execution of the surveillance mode.
  • the guidance robot 100 can receive or obtain status information of the driving space while driving in the monitoring area (S120).
  • the status information of the driving space may mean state data and environmental data related to abnormality detection of the driving space.
  • the state data may include data related to the state of the floor of the driving space (e.g., dents, slips, tilts) and data related to the state of the structure (e.g., damage to the structure, etc.).
  • the environmental data may include data related to the heating and cooling temperature of the driving space, humidity, congestion, noise level, etc.
  • the status information of this driving space is, for example, the status information related sensor 143 of the sensing unit 140 of the guidance robot, the tilt detection sensor 144 (e.g., IMU sensor), and environmental sensors such as temperature sensor and humidity sensor. , can be received in various routes and forms through the communication unit 110, the camera 121, and/or the sound receiving unit 122 for acquiring ambient sounds.
  • the status information related sensor 143 of the sensing unit 140 of the guidance robot e.g., the tilt detection sensor 144 (e.g., IMU sensor), and environmental sensors such as temperature sensor and humidity sensor.
  • the guidance robot 100 may determine the next travel direction based on the received status information of the travel space (S130).
  • the next driving direction of the guidance robot may be determined as the direction associated with the point where an abnormality is detected as a result of analysis of the received state data of the driving space.
  • the guidance robot 100 drives in the determined driving direction, checks the monitoring target corresponding to the collected status information of the driving space (S140), and performs a corresponding action related to the confirmed monitoring target (S150). ).
  • the guidance robot 100 detects cooling and heating abnormalities by checking the cooling and heating temperature of the driving space, tracks the next path based on the abnormality detected location, and determines the cause of heat loss. This location can be detected.
  • the guidance robot 100 detects floor dents, slips, and tilt abnormalities while driving and monitoring the surveillance area and creates a database, or tracks a plurality of other points based on the abnormality detected locations and creates a database. Afterwards, a notification can be sent to the terminal of the administrator, etc.
  • FIGS. 12, 13, and 14 are diagrams for explaining a method of detecting abnormalities in heating and cooling conditions and confirming a monitoring target while the guide robot 100 drives and monitors a surveillance area, and corresponding operations related thereto.
  • the guidance robot 100 sequentially visits the coordinates (P1, P2, P3, P4) of a plurality of set POIs (1, 2, 3, 4) (1211) and monitors the surveillance area (1210).
  • the heating and cooling temperature can be measured as status information of the driving space.
  • the measurement of cooling and heating temperature can be performed using a temperature sensor provided in the guidance robot 100 or by communicating with a temperature measuring device installed around the plurality of POIs 1, 2, 3, and 4.
  • detection of such cooling/heating abnormalities can be done through the voices of visitors acquired through microphones (e.g., 'It's too hot', etc.) or the motions of multiple visitors observed through cameras (e.g., one or more people fanning their faces or taking off their clothes). etc.) may be disclosed based on,
  • the coordinates (P3) of the corresponding POI are determined as the abnormally detected location.
  • the guidance robot 100 does not move (revisit) to position 1 again to monitor the surveillance area 1210, but newly determines the next driving direction based on the abnormally detected position (P3). This is to find the path and cause of heat loss.
  • the guidance robot 100 may calculate a search POI for searching a location where a heating/cooling abnormality is detected or a point where there is heat loss.
  • the guidance robot 100 is an expected point where heat loss may occur based on temperature values for a plurality of locations within the driving space (including the entire building/part of the space outside the monitoring area) and building map data (e.g., doors and /or window location), it is possible to determine the path and cause of heat loss.
  • building map data e.g., doors and /or window location
  • the guidance robot 100 first moves to the location (No. 3) where a cooling or heating abnormality is detected. After this, set a candidate POI to check the monitoring target, that is, the temperature value, at the current location (No. 3). In Figure 13, positions 5 and 6 are set as candidate POIs.
  • a high expected abnormality detection weight may mean, for example, that a high weight score is applied to a point where the temperature is roughly detected through the thermal imaging camera of the guidance robot 100.
  • At least some of the search POI or the next search POI are located outside the surveillance area.
  • the processor 180 of the guidance robot 100 collects status information of the driving space by driving to the search POI and detects the next search POI based on the collection result. At this time, the guidance robot 100 may generate a heat map by connecting the search POIs, and determine a direction with a high weight for determining the next search POI based on the generated heat map.
  • the guidance robot 100 can recognize positions 3, 5, and 7 as an abnormality detection path, and can get closer to the cause of heat loss.
  • the guidance robot 100 may output information related to response actions related to the confirmed monitoring target (e.g., temperature value, heat loss path) to the display 151 of the guidance robot. Meanwhile, if the guidance robot 100 can process itself (e.g., transmitting a window closing signal) or can be remotely controlled, it performs the corresponding action. However, if you cannot handle it on your own, ask for help from someone around you or a manager.
  • information related to response actions related to the confirmed monitoring target e.g., temperature value, heat loss path
  • the guidance robot 100 can process itself (e.g., transmitting a window closing signal) or can be remotely controlled, it performs the corresponding action. However, if you cannot handle it on your own, ask for help from someone around you or a manager.
  • the guide robot 100 confirms that the window is open (W), which is the cause of heat loss, and then outputs a guide voice to the surroundings to encourage closing the window and/or displays the display 151.
  • Guide information e.g., 'Please close the window, heat loss is occurring'
  • response actions can be output (1410).
  • the guide robot 100 when it is confirmed that there is no feedback response (e.g., window closed) to the guide voice or displayed information within a preset time (1411), the guide robot 100 provides the confirmation result of the monitoring target and the confirmed confirmation through the communication unit.
  • a response action related to the monitoring target can be transmitted (1412) to a preset administrator terminal.
  • FIGS. 15A, 15B, and 15C are diagrams for explaining an example of a method for checking the management status of a building based on detection of an abnormality in the slope of the building floor discovered while monitoring the surveillance area.
  • the floor slope condition at each POI (1, 2, 3, 4) can be measured.
  • the tilt sensor 144 may include, for example, an IMU sensor and a depth camera.
  • the IMU sensor is a sensor that can measure the current position and posture of the guidance robot 100 using an accelerometer, gyroscope, and geomagnetic machine. It generally consists of three gyroscopes and three accelerometers to provide 6 DOF ( X, Y, Z, Roll, Pitch, Yaw) are provided as measured values.
  • the guidance robot 100 performs localization by measuring the value (first measurement value) of the degree of inclination of the guidance robot 100 in each of the three axes through the IMU sensor. Perform localization. Then, the guidance robot 100 analyzes the image plane and ground plane images acquired through the depth camera and calculates the degree of inclination of the floor (second measurement value). The second measurement value is also used as a correction value to distinguish between an obstacle and a floor.
  • the guidance robot 100 acquires the first and second measured values by receiving sensing values at intervals of approximately 100 msec through the IMU sensor and the depth camera.
  • the obtained first measurement value indicates how much the guidance robot 100 is tilted at its current location
  • the second measurement value represents how much the floor in front of the depth camera is tilted.
  • the guidance robot 100 can check the degree of ground tilt at the current location based on the first and second measured values, and this is cumulatively stored in the memory 170 or an external server and converted into a database.
  • tracking is performed to detect the level of level of ground level for the entire/part of the building outside the monitoring area 1510.
  • a plurality of additional POIs (5, 6, 7, 8, 9) are set for abnormality detection beyond the surveillance area 1510, and additional POIs (5, 6, 7, 8, 9) are set. While driving sequentially, the level of ground tilt is cumulatively detected through the IMU sensor and depth camera. At this time, unlike the cooling and heating abnormality detection described with reference to FIGS. 12 to 14, the additional POI does not generate a detection path by repeating candidate POI selection -> detection POI selection, but rather detects the overall gradient for the entire/part of the building. For this purpose, a plurality of points spaced apart from each other are selected as additional POIs (5, 6, 7, 8, 9).
  • detection of the level of ground tension can be carried out by deferring the work time to a lower priority, unless it is an emergency situation. For example, you can continue to monitor the surveillance area during the day, and then drive and measure additional POIs (5, 6, 7, 8, 9) to detect the slope of the floor at night.
  • the field of view range of the surveillance camera is taken into consideration, the remaining battery charge, the expected time required to monitor the entire surveillance area, and collaboration.
  • a driving path for the surveillance area can be actively set or an existing driving path can be changed. Accordingly, more effective and intelligent surveillance, rather than uniform surveillance, can be performed.
  • more detailed or specialized monitoring such as monitoring of stations and protected areas, is possible, and tracking of related targets and appropriate response actions can be performed when problem events occur.
  • a feedback response can be requested as an appropriate response, and if there is no response to the request, the administrator can be notified. Accordingly, more appropriate detailed abnormality detection and response actions can be performed for each situation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

안내 로봇 및 안내 로봇의 동작방법이 개시된다. 본 개시에 따른 안내 로봇은 감시 기능의 활성화시, 감시 영역을 정해진 주행 경로대로만 주행하지 않고, 로봇의 상태 또는 주행 공간의 상태에 관한 정보에 기초하여 감시를 위한 주행 경로를 적응적으로 가변하면서 주변을 모니터링할 수 있다. 또한, 추가 감시가 필요한 이벤트가 인지되면, 감시 영역을 벗어나서 추가 감시를 수행할 수 있고, 추가 감시 결과에 따른 적절한 대응 동작을 능동적으로 수행할 수 있다.

Description

안내 로봇 및 안내 로봇의 동작방법
본 발명은 안내 로봇 및 안내 로봇의 동작방법으로서, 보다 구체적으로는 스스로 주행하면서 감시 기능을 수행할 수 있는 안내 로봇 및 안내 로봇의 동작방법에 관한 것이다.
최근, 사용자에게 다양한 안내 서비스를 제공하는 안내 로봇에 대한 관심이 꾸준히 증가하고 있다. 안내 로봇은 사용자의 조작 없이도 자율적으로 주행하면서 예를 들어 음성 대화 기능 또는 터치 스크린을 통한 인터랙션 기능을 통해 사용자에게 다양한 안내 서비스를 제공한다.
예를 들어, 일반적으로 안내 로봇은, 관람객이 많은 낮 시간대에는 주로 안내 기능을 수행하고, 관람객의 없는 밤 시간대에는 주로 감시 기능을 수행하였다. 그러나, 보안 강화를 위해 낮 시간대에도 필요시 감시 기능이 활용되고 있다.
안내 로봇의 감시 기능은 일정 공간을 정해진 주행 경로로 주행하면서 감시 카메라를 통해 모니터링하는 것이 일반적이다. 구체적으로, 안내 로봇이 거져가야하는 위치를 순서대로 나열한 다음, 안내 로봇이 해당 위치를 통과하면서 감시를 수행한다.
즉, 기존의 안내 로봇에 의한 감시 기능은 정해진 주행 경로(Path)를 반복적으로 돌면서 카메라를 통해 CCTV 녹화를 하는 수준이었다. 이는, 사실상 고정형 CCTV와 크게 다르지 않은 동작 수준에 해당한다.
또한, 안내 로봇은 충전된 배터리를 사용하여 주행 및 동작하기 때문에, 정해진 주행 경로(Path)를 반복적으로 돌다가 남은 배터리 충전량이 부족하면 배터리 충전을 위한 충전소로 이동한다. 안내 로봇은 주행하는데 배터리를 가장 많이 소모하기 때문에, 이와 같은 일률적인 주행 감시는 배터리의 전력을 더 빨리 소모시키고, 감시 기능의 가능 동작 시간이 크게 줄어든다.
따라서, 스스로 주행이 가능하고 점점 지능화되는 안내 로봇의 특성을 반영하여, 보다 효율적인 감시 기능 동작이 요구된다.
이에, 본 개시의 일부 실시 예에 따르면, 스스로 주행이 가능하고 점점 지능화되는 안내 로봇의 특성을 반영하여, 안내 로봇의 현재 상태와 주행 공간의 특성에 맞는 효율적인 감시가 가능한 안내 로봇 및 안내 로봇의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 개시의 일부 실시 예에 따르면, 안내 로봇의 현재 상태와 주행 공간의 특성을 고려하여 적응적으로 주행경로를 가변하면서 감시를 수행할 수 있는 안내 로봇 및 안내 로봇의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 개시의 일부 실시 예에 따르면, 감시 결과에 대한 적절한 대응 동작을 스스로 결정하여 수행할 수 있는 안내 로봇 및 안내 로봇의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 개시의 일부 실시 예에 따르면, 필요에 따라 정해진 감시 영역을 벗어나서 지속적으로 이상 탐지를 수행할 수 있고, 이상 탐지 결과에 대응되는 동작을 상황별로 다르게 수행할 수 있는 안내 로봇 및 안내 로봇의 동작방법을 제공하는데 그 목적이 있다.
본 개시에 따른 안내 로봇은, 감시 기능의 활성화시, 감시 영역을 정해진 주행 경로대로만 주행하지 않고, 로봇의 상태 또는 주행 공간의 상태에 따라 적응적으로 주행 경로를 가변하면서 주변을 모니터링할 수 있다.
또한, 감시 영역을 모니터링하는 동안, 추가 감시가 필요한 이벤트가 인지되면, 감시 영역을 벗어나서 추가 감시를 수행할 수 있고, 추가 감시 결과에 따른 적절한 대응 동작을 능동적으로 수행할 수 있다.
구체적으로, 본 발명의 실시 예에 따른 안내 로봇은, 활성화시, 상기 안내 로봇의 주변을 촬영하는 카메라; 상기 안내 로봇을 이동시키는 주행부; 상기 안내 로봇의 상태 정보를 수집하는 센싱부; 및 상기 카메라, 주행부, 및 센싱부와 전기적으로 연결된 프로세서를 포함한다. 또한, 상기 프로세서는, 감시 모드의 실행에 따라 상기 카메라를 활성화하고, 상기 감시 모드에서 상기 안내 로봇이 감시 영역을 주행하는 동안 상기 안내 로봇의 상태 정보를 수신하고, 수신된 안내 로봇의 상태 정보에 기초하여 상기 감시 영역에 대한 주행 경로를 결정할 수 있다.
실시 예에서, 상기 프로세서는, 상기 카메라의 화각범위에 기초하여 상기 감시 영역 전체를 모니터링할 수 있도록 상기 주행 경로를 결정할 수 있다.
실시 예에서, 상기 안내 로봇의 상태 정보는, 상기 안내 로봇의 남은 배터리 충전량, 상기 감시 영역 전체를 모니터링하는데 소요되는 예상 시간, 및 협업가능한 다른 안내 로봇의 존재 중 하나 이상을 포함할 수 있다.
실시 예에서, 상기 프로세서는, 상기 안내 로봇의 남은 배터리 충전량에 근거하여 절전모드를 실행하고, 상기 절전모드의 실행에 따라 상기 주행부를 제어하여 상기 안내 로봇을 상기 감시 영역 내의 특정 위치로 이동시키켜 상기 감시 영역을 모니터링하고, 이때, 상기 특정 위치는 상기 감시 영역에서 수집된 상황정보에 따라 가변될 수 있다.
실시 예에서, 상기 프로세서는, 상기 감시 영역을 주행하는 동안, 기설정된 감시 이벤트의 발생을 인지하고, 인지된 감시 이벤트에 대응되는 동작을 수행한 후에 상기 감시 영역에 대한 모니터링을 이어서 수행할 수 있다.
실시 예에서, 상기 기설정된 감시 이벤트는, 관람객의 상태 감시, 관람객의 방역 감시, 보호 구역 감시, 및 건물 내 상태 감시 중 적어도 하나와 관련된 상황 컨텍스트일 수 있다.
실시 예에서, 상기 프로세서는, 상기 상황 컨텍스트의 발생 위치에 기초하여 상기 인지된 감시 이벤트에 대응되는 동작을 수행하기 위한 POI 위치를 산출하고, 상기 산출된 POI 위치와 상기 안내 로봇의 현재 위치를 기초로 다음 주행 경로를 설정할 수 있다.
실시 예에서, 상기 인지된 감시 이벤트와 관련된 정보를 디스플레이하는 터치스크린을 더 포함하고, 상기 프로세서는, 상기 터치스크린과 전기적으로 연결되어, 상기 터치스크린을 통해 상기 인지된 감시 이벤트에 대응되는 동작에 대응되는 피드백 응답을 요청할 수 있다.
실시 예에서, 상기 센싱부는, 주행 공간의 상태 정보를 수집할 수 있고, 상기 프로세서는, 상기 감시 모드에서 감시 영역을 주행하는 동안 수집된 주행 공간의 상태 정보에 기초하여 다음 주행 방향을 결정하고, 결정된 주행 방향으로 주행하며 수집되는 주행 공간의 상태 정보에 대응되는 감시 대상을 확인하고, 확인된 감시 대상과 관련된 대응 동작을 수행할 수 있다.
실시 예에서, 상기 주행 공간의 상태 정보는, 상기 주행 공간의 온도 데이터, 미끄러짐 데이터, 기울기 데이터 중 하나 이상을 포함하는 상태 데이터일 수 있다.
실시 예에서, 상기 안내 로봇의 다음 주행 방향은 상기 주행 공간의 상태 데이터의 분석 결과 이상 탐지된 지점과 연관된 방향으로 결정될 수 있다.
실시 예에서, 상기 프로세서는, 상기 이상 탐지된 지점에 기초하여 상기 감시 대상을 확인하기 위한 후보군 POI를 설정하고, 상기 설정된 후보군 POI 중 이상 탐지 예상 가중치가 높은 하나를 탐색 POI 로 선택하고, 상기 탐색 POI 로 주행하여 주행 공간의 상태 정보를 누적적으로 수집하고, 수집 결과를 기초로 다음 탐색 POI를 검출할 수 있다.
실시 예에서, 상기 탐색 POI 또는 다음 탐색 POI 중 적어도 일부는 상기 감시 영역의 바깥쪽에 위치할 수 있다.
실시 예에서, 상기 확인된 감시 대상과 관련된 대응 동작과 관련된 정보를 디스플레이하는 터치스크린을 더 포함할 수 있다.
실시 예에서, 상기 안내 로봇은 통신부를 더 포함하고, 상기 프로세서는, 기설정된 시간 내에 상기 디스플레이된 정보에 대한 피드백 응답 없음을 확인하고, 상기 통신부를 통해 상기 감시 대상의 확인 결과 및 확인된 감시 대상과 관련된 대응 동작을 기설정된 관리자 단말로 전송할 수 있다.
또한, 본 발명의 실시 예에 따른 안내 로봇의 동작방법은, 안내 로봇의 카메라를 활성화하여 감시 모드를 실행하는 단계; 상기 감시 모드에서, 감시 영역을 주행하는 동안 상기 안내 로봇의 상태 정보를 획득하는 단계; 및 획득된 안내 로봇의 상태 정보에 기초하여 상기 감시 영역에 대한 주행 경로를 다르게 결정하는 단계를 포함하여 구현될 수 있다.
본 발명의 일부 실시 예에 따른 안내 로봇 및 그것의 동작방법에 의하면, 감시 카메라의 화각범위를 고려하고, 남은 배터리 충전량, 상기 감시 영역 전체를 모니터링하는데 소요되는 예상 시간, 협업가능한 다른 안내 로봇의 존재 등의 다양한 상태 정보에 기초하여, 감시 영역에 대한 주행 경로를 능동적으로 설정하거나 또는 기존 주행 경로를 변경할 수 있다. 그에 따라, 일률적인 감시가 아닌 보다 효과적이고 지능적인 감시를 수행할 수 있다.
또한, 본 발명의 일부 실시 예에 따른 안내 로봇 및 그것의 동작방법에 의하면, 방역, 보호구역 감시 등과 같이 보다 세분화된 또는 특수화된 감시가 가능하며, 문제발생 이벤트 발생시 관련된 대상의 트래킹 및 적절한 대응동작을 수행할 수 있다.
또한, 적절한 대응동작으로서 피드백 응답을 요청할 수 있고, 요청에 대한 응답이 없을 경우 관리자에게 알림 통지할 수 있다. 그에 따라, 상황별로 보다 적절한 세부 이상 탐지 및 대응동작이 이루어질 수 있다.
도 1은 본 발명과 관련된 안내 로봇의 예시를 보여주는 도면이다.
도 2는 본 발명과 관련된 안내 로봇의 예시 구성을 보인 블록도이다.
도 3은 일반적인 안내 로봇에 의한 감시 기능을 설명하기 위한 도면이다.
도 4는 본 발명과 관련된 안내 로봇의 동작방법을 설명하기 위한 대표 흐름도이다.
도 5는 본 발명과 관련된 안내 로봇에서, 카메라 화각범위를 고려하여 감시 기능을 수행하는 것을 보여주는 도면이다.
도 6a, 도 6b, 도 6c는 본 발명과 관련된 안내 로봇에서, 안내 로봇의 서로 다른 상태에 기초하여 감시 영역에 대한 주행 경로를 다르게 설정하는 다양한 예시들이다.
도 7, 도 8a, 도 8b. 도 9, 도 10은 본 발명과 관련된 안내 로봇이 감시 영역을 주행하는 동안 감시 이벤트의 발생을 인지하여 대응 동작을 수행하는 예시들을 설명하기 위한 도면들이다.
도 11은 본 발명과 관련된 안내 로봇의 동작방법을 설명하기 위한 또 다른 흐름도이다.
도 12, 도 13, 도 14는 본 발명과 관련된 안내 로봇이 냉난방 상태의 이상을 탐지하여 감시 대상을 확인하는 방법 및 이와 관련된 대응 동작들을 설명하기 위한 도면들이다.
도 15a, 도 15b, 도 15c는 본 발명과 관련된 안내 로봇이 건물 바닥면의 기울기 이상을 탐지하여 관리 상태를 확인하는 방법의 예시를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 명세서에 개시된 "안내 로봇"은 공항, 백화점 등의 쇼핑몰, 호텔 등의 숙박시설, 미술관, 도서관 등의 문화 공간 등의 다양한 공공장소에서 사용자에게 웰컴 인사, 길 안내, 상품안내, 상품검색, 주차 안내, 공항 정보, 도슨트 정보, 도서관 안내 등의 다양한 정보를 제공할 수 있는 로봇을 의미한다.
또한, 본 명세서에 개시된 "안내 로봇"은, 길, 특정 장소 등을 사용자에게 안내하기 위하여, 스스로 자율주행을 수행할 수 있다.
또한, 본 명세서에 개시된 "안내 로봇"이 정해진 공간을 주행하는 동안, 상기 정해진 공간에서 움직이는 오브젝트는, 관람객, 사용자, 장애물 등을 포함하여 지칭될 수 있다.
또한, 본 명세서에 개시된 "안내 로봇"은, 사용자에게 정보나 안내를 다양한 방식(시각적, 청각적, 촉각적)으로 제공하기 위해, 터치 스크린, 음향 출력부, LED, 촉각센서 등과 관련된 다양한 출력수단을 포함할 수 있다.
도 1은 본 발명과 관련된 안내 로봇(100)의 예시를 보여주는 도면이다.
도 1을 참조하면, 본 발명에 따른 안내 로봇(100)은, 헤드(102), 카메라(121), 스피커(152), 음성인식부(미도시), 디스플레이(151), 및 주행부(130)를 포함하여 이루어질 수 있다. 다만, 경우에 따라서는 여기에 개시된 수단 중 일부를 제거하거나 또는 다른 수단을 더 포함하여, 본 발명에 따른 안내 로봇(100)이 구현될 수도 있다.
본 발명에 따른 안내 로봇(100)의 외관은 크게, 헤드(102)와 디스플레이(151)를 포함하는 상부모듈과 주행부(130)를 포함하는 하부모듈을 포함하여 이루어질 수 있다. 상부모듈과 하부모듈은 상호간에 탈착 가능하도록 구비될 수 있다.
상기 상부모듈은, 서비스 환경에 따라 변경 가능한 사용자 인터페이스(User Interface)를 제공한다. 상기 하부모듈은 안내 로봇 본체의 이동을 위한 주행기능을 제공한다.
상기 상부모듈은, 다시 몸체를 형성하며, 디스플레이(151)이 구비된 바디부와, 카메라(121) 등이 구비된 헤드부(102)로 구분될 수 있다. 그러나, 경우에 따라서는 바디부에 카메라가 구비되거나 헤드부(102)에 터치스크린이 배치되는 형태로 구현될 수도 있다.
카메라(121)는 헤드부(102)의 케이스 일측 또는 바디부의 케이스 일측에 구비될 수 있다. 또, 상기 카메라(121)는 복수 개 구비될 수 있다. 이러한 경우, 하나는 본체의 전면에 구비되어 전방을 향하도록 설치되고, 다른 하나는 측면 또는 후면에 구비되어 측방/후방을 향하도록 설치될 수 있다. 그에 따라, 360 범위의 화각을 형성할 수 있다.
카메라(121)가 복수 개 구비되는 경우, 제1카메라는 예를 들어 3D 스테레오 카메라를 포함할 수 있다. 상기 3D 스테레오 카메라는 장애물 감지, 사용자 얼굴인식, 입체영상 획득 등의 기능을 수행할 수 있다. 안내 로봇(100)은 제1카메라를 이용하여 자신의 이동방향에 존재하는 장애물을 감지하여 회피할 수 있고, 사용자를 인식하여 각종 제어동작을 수행할 수 있다. 또, 제2카메라는 예를 들어 슬램(Simultaneous Localization And Mapping) 카메라를 포함할 수 있다. 상기 슬램카메라는 특징점 매칭을 통하여 카메라의 현 위치를 추적하고 이를 기초로 3차원 지도를 작성하는 기능을 수행한다. 안내 로봇(100)은 제2카메라를 이용하여 자신의 현재 위치를 파악할 수 있다.
또한, 카메라(121)는 화각범위 내의 오브젝트를 인식할 수 있고, 사진 및 동영상 촬영의 기능을 수행할 수 있다. 이와 관련하여, 카메라(121)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함할 수 있다. 카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.
음향 출력부(152)는 사용자에게 제공될 정보를 음성으로 알려주는 기능을 수행하며, 예를 들어 스피커 형태일 수 있다. 구체적으로, 안내 로봇(100)에 구비된 음향 수신부(122)와 음성 인식부(미도시)를 통해 수신된 사용자의 음성에 대응되는 응답이나 검색 결과를 음향 출력부(152)를 통해 음성으로 출력된다. 이러한 음향 출력부(152)는 헤드부(102)나 디스플레이(151)이 구비된 바디부의 외주면에 마련될 수 있다. 또한, 음향 출력부(152)는 디스플레이(151)에 디스플레이된 화면(예, 메뉴화면, 광고화면 등)과 관련된 음성 정보를 출력할 수 있다.
음향 수신부(122)는 사용자의 음성 등을 수신하는 기능을 수행하며, 예를 들어 마이크로폰 형태일 수 있다. 음향 수신부(122)는 외부의 음향 신호를 전기적인 음성 데이터로 처리하며, 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
디스플레이(151)은 바디부의 일 방향에 길이방향으로 위치할 수 있고, 시각적인 정보, 예를 들어 안내 정보를 제공하기 위하여 화면을 표시할 수 있다. 또, 상기 디스플레이(151)은 디스플레이모듈, 터치센서, 압력센서를 포함하여 이루어질 수 있다.
상기 디스플레이(151)은 예를 들어 이동가이드수단과 결합하여 바디부의 내부를 개폐하도록 구현될 수 있다. 또, 상기 디스플레이(151)은 예를 들어 고정부재를 사용하여 바디부에 결속되어 고정되도록 구현될 수도 있다.
또, 비록 자세히 도시되지는 않았지만, 안내 로봇(100)이 사용자에게 길을 안내하기 위하여 설정된 경로로 선 이동하는 경우를 고려하여, 상기 디스플레이(151)은 헤드(102)를 기준으로 후방에 구비되거나, 또는 전방 외에 후방에도 추가로 구비될 수 있다. 또는, 설정된 경로로 선 이동하기에 앞서 헤드(102)가 180도 회전하여, 디스플레이(151)이 후방에 위치한 것처럼 외관을 변형시킬 수도 있다.
이러한 경우 디스플레이(151)에는 현재 제공되는 서비스와 관련된 시각정보(예, 길 안내 정보, 질의 정보)를 표시하는 기능을 수행한다. 사용자는 안내 로봇(100)을 따라 이동하면서, 안내 로봇(100)의 후방에 설치된 디스플레이(151)를 볼 수 있다.
또한, 상기 디스플레이(151)은 본체의 전면 및 후면 양측에 각각 구비될 수 있다. 이러한 경우, 본체의 전면에 구비된 제1 디스플레이와 본체의 후면에 구비된 제2 디스플레이에 서로 다른 화면(예, 제1 디스플레이에는 사용자와 인터랙션하는 화면, 제2 디스플레이에는 광고 화면 등)이 디스플레이될 수 있다. 또한, 헤드부(102)의 전면에는 안내 로봇의 다양한 표정변화가 출력하기 위한 디스플레이부가 구비될 수 있다.
주행부(130)는 안내 로봇(100) 본체의 이동, 회전을 수행한다. 이를 위해, 주행부(130)는 복수의 휠 및 구동 모터를 포함하여 이루어질 수 있다. 주행부(130)의 구동은 프로세서에 의해 수신된 제어명령에 따라 제어되며, 구동 전 후에 LED 출력수단(153)을 통한 알림이 제공될 수 있다.
도 2 본 발명과 관련된 안내 로봇의 예시적 세부구성을 보인 블록도이다.
본 발명에 따른 안내 로봇(100)은 통신부(110), 입력부(120), 주행부(130), 센싱부(140), 출력부(150), 메모리(170), 프로세서(180) 및 전원부(190) 등을 포함할 수 있다. 도 2에 도시된 구성요소들은 안내 로봇을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 안내 로봇은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
통신부(110)는, 안내 로봇(100)과 외부서버, 예를 들어 인공 지능 서버, 또는 외부단말 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또, 상기 통신부(110)는, 안내 로봇(100)을 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
상기 통신부(110)는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등의 무선 인터넷 통신 기술을 사용하여 인공지능 서버 등과 통신을 수행할 수 있다. 또, 상기 통신부(110)는 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등의 근거리 통신 기술을 사용하여 외부 단말 등과 통신을 수행할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 음향 수신부(122), 예를 들어 마이크로폰(microphone), 사용자로부터 정보를 입력받기 위한 사용자 입력부(미도시, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 신호데이터, 음성 데이터, 이미지 데이터는 분석되어 제어명령으로 처리될 수 있다.
주행부(130)는 안내 로봇(100) 본체의 이동, 회전을 수행한다. 이를 위해, 주행부(130)는 복수의 휠 및 구동 모터를 포함하여 이루어질 수 있다. 주행부(130)의 구동은 프로세서(180)에 의해 수신된 제어명령에 따라 제어되며, 구동 전 후 LED 등의 광출력부(153)를 통한 알림이 제공될 수 있다.
센싱부(140)는 안내 로봇 내 정보, 안내 로봇을 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 안내 로봇은, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다. 또한, 상기 센싱부(140)는 장애물, 바닥 상태 등을 감지하는 주행 관련 센서(142)를 포함할 수 있다.
근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 또, 근접 센서(141)는 네비 카메라, 초음파 센서, 라이다(lidar), ToF 센서 중 적어도 하나를 포함할 수 있고, 이를 통해 감지대상(예, 사용자)의 접근 및 위치를 인식할 수 있다.
또한, 상기 센싱부(140)는 상황 정보를 수집하기 위한 하나 이상의 센서를 포함할 수 있다. 예로서, 카메라, 3D 뎁쓰 카메라, 라이다, 속도 센서, 거리 센서, 장애물 센서, 근접 센서(141) 중 하나 또는 둘 이상의 센서가 포함될 수 있다.
상기 센싱부(140)는 하나 또는 둘 이상의 센서를 이용하여, 상황 정보를 수집할 수 있다. 여기서, 수집되는 상황 정보로, 예를 들어 공간 내 관람객이 있는지 여부, 관람객이 접근하거나 멀어지는지 여부 및 그 방향, 로봇의 주행시 주행 속도, 주행 공간의 특성 등을 포함할 수 있다. 또한, 접근하거나 멀어지는 관람객의외형적 특징(예, 성별, 나이 등)을 상황 정보로 포함할 수 있다.
상기 센싱부(140)에 의해 수집된 상황 정보는 프로세서(180)에 제공되거나 메모리(170)에 저장될 수 있다.
프로세서(180)는 수집된 상황 정보에 근거하여, 음향 출력부(152)를 통해 출력되는 발화의 볼륨을 다르게 조절할 수 있다. 보다 구체적으로, 프로세서(180)는 로봇의 발화 대상 또는 목적을 세분화하고, 각각에 대응되는 발화의 볼륨의 조절범위를 다르게 설정할 수 있다.
상기 프로세서(180)는 수집된 상황 정보에 근거하여, 제1설정범위 내에서 발화의 볼륨을 조절하도록 발화모드를 선택하거나 또는 제1설정범위와 다른 제2설정범위 내에서 발화의 볼륨을 조절하도록 발화모드를 선택할 수 있다.
이때, 제1설정범위의 최대값은 제2설정범위의 최대값보다 큰 값일 수 있다. 예를 들어, 상기 제1설정범위는 다수인을 대상으로 하는 발화시 발화모드('공공 발화모드')로 선택될 수 있고, 상기 제2설정범위는 로봇에 접근한 특정 개인을 대상으로 하는 발화시 발화모드('개인 발화모드')로서 선택될 수 있을 것이다.
상기 프로세서(180)는 디스플레이(151)가 바디의 전후면 각각에 구비된 경우, 전면 디스플레이와 후면 디스플레이 서로 다른 컨텐츠(예, 서로 다른 광고)를 디스플레이하도록 제어할 수 있다. 이러한 경우, 상기 프로세서(180)는 수집된 상황 정보에 근거하여 광고 효과가 높거나, 안전상 중요하거나, 제어 우선권이 높은 쪽의 디스플레이와 관련된 사운드를 출력하도록, 음향 출력부(152)를 제어할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이(151), 음향출력부(152), 광 출력부(153) 중 적어도 하나를 포함할 수 있다. 디스플레이(151)은 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 안내 로봇(100)과 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 출력 인터페이스를 제공할 수 있다.
광 출력부(153)는 광원의 빛을 이용하여 안내 로봇(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들어, 안내 로봇(100)의 주행부(130)에 이동명령이 전달된 경우, 이동을 알리기 위한 신호가 광 출력부(153)를 통해 출력된다.
프로세서(180)는 안내 로봇의 인공 지능 기술와 관련된 동작을 수행하기 위하여 AI 학습부(181)(미도시)를 포함할 수 있다. AI 학습부(181)는 데이터 마이닝(data mining), 데이터 분석, 지능형 의사결정 및 머신 러닝 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다. AI 학습부(181)는 안내 로봇을 통해 수신, 검출, 감지, 생성, 사전 정의된 정보 또는 상기 안내 로봇을 통해 다른 방식으로 출력된 정보를 저장하거나, 다른 구성, 장치 및 단말기에 의하여 수신, 검출, 감지, 생성, 사전 정의 또는 출력된 데이터를 저장하도록 구성된 하나 이상의 메모리 유닛을 포함할 수 있다.
일 실시 예에서, AI 학습부(181)는 안내 로봇에 통합되거나, 메모리를 포함할 수 있다. 일 실시 예에서, AI 학습부(181)는 메모리(170)를 통해 구현될 수 있다. 다만 이에 한정되지 않고, AI 학습부(181)는 안내 로봇(100)과 관련된 외부 메모리에 구현되거나, 안내 로봇(100)과 통신 가능한 서버에 포함된 메모리를 통해 구현될 수 있다. 다른 일 실시 예에서, AI 학습부(181)는 클라우드 컴퓨팅 환경에서 유지되는 메모리, 또는 네트워크와 같은 통신 방식을 통해 안내 로봇에 의해 액세스 가능한 다른 원격 메모리를 통해 구현될 수 있다.
AI 학습부(181)는 일반적으로 감독 또는 감독되지 않은 학습, 데이터 마이닝, 예측 분석 또는 다른 머신 러닝 기술에서 사용하기 위한 데이터를 식별, 색인화, 분류, 조작, 저장, 검색 및 출력하기 위해, 상기 데이터를 하나 이상의 데이터베이스에 저장하도록 이루어진다. AI 학습부(181)에 저장된 정보는 서로 다른 유형의 데이터 분석, 기계 학습 알고리즘 및 기계 학습 기술 중 적어도 하나를 사용하는 프로세서(180) 또는 안내 로봇에 포함된 복수의 프로세서들(프로세서들)에 의하여 이용될 수 있다. 이러한 알고리즘 및 기법의 예로는 K 최근접 이웃 시스템(k-Nearest neighbor system), 퍼지 논리(fuzzy logic)(예를 들어, 가능성 이론(possibility theory)), 신경 회로망(neural networks), 볼츠만 머신(Boltzmann machines), 벡터 양자화, 펄스 신경망(pulsed neural nets), 서포트 벡터 머신(support vector machines), 최대-마진 분류기(maximum margin classifiers), 힐 클라이밍(hill-climbing), 유도 논리 시스템(inductive logic systems), 베이지안 네트워크(baysian networks), 페트리 네트(petri nets) (예를 들어, 유한 상태 기계(finite state machines), 밀리 머신(mealy machines), 무어 유한 상태 머신(moore finite state machines)), 분류 트리(classifier trees)(예를 들어, 퍼셉트론 트리(perceptron trees), 서포트 벡터 트리(support vector trees), 마코브 트리(markov trees), 트리-숲 결정(decision tree forests), 랜덤 숲(random forests)), 목마전 모형 및 시스템(pandemonium models and systems), 클러스터링(clustering), 인공 지능 플래닝(artificially intelligent planning), 인공 지능 예측(artificially intelligent forecasting), 데이터 퓨전(data fusion), 센서 퓨전(sensor fusion), 이미지 퓨전(image fusion), 강화 학습(reinforcement learning), 증강 현실(augmented reality), 패턴 인식(pattern recognition), 자동 플래닝(automated planning) 등이 있다.
프로세서(180)는 데이터 분석, 머신 러닝 알고리즘 및 머신 러닝 기술을 사용하여 결정 또는 생성된 정보에 기초하여, 안내 로봇의 실행 가능한 동작을 결정 또는 예측할 수 있다. 이를 위하여, 프로세서(180)는 AI 학습부(181)의 데이터를 요청, 검색, 수신 또는 활용할 수 있다. 프로세서(180)는 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템 등을 구현하는 다양한 기능을 수행할 수 있으며, 불확실한 추론을 위한 시스템(예를 들어, 퍼지 논리 시스템), 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는 다양한 기능을 수행할 수 있다.
또한, 프로세서(180)는 I/O 처리 모듈, 환경 조건 모듈, 음성-텍스트(STT) 처리 모듈, 자연 언어 처리 모듈, 작업 흐름 처리 모듈 및 서비스 처리 모듈 등과 같은 음성 및 자연 언어 처리를 가능하게 하는 서브 모듈들을 포함할 수 있다. 서브 모듈들 각각은 안내 로봇에서 하나 이상의 시스템 또는 데이터 및 모델, 또는 이들의 서브셋 또는 수퍼셋에 대한 접근권한을 가질 수 있다. 여기서, 서브 모듈들 각각이 접근권한을 가지는 대상은 스케줄링, 어휘 인덱스, 사용자 데이터, 태스크 플로우 모델, 서비스 모델 및 자동 음성 인식(ASR) 시스템을 포함할 수 있다.
일부 실시 예에서, 프로세서(180)는 AI 학습부(181)에서의 데이터에 기초하여 사용자 입력 또는 자연 언어 입력으로 표현된 문맥 조건 또는 사용자의 의도에 기초하여 사용자가 요구하는 것을 검출하고 감지하도록 구성될 수도 있다. AI 학습부(181)에 의해 수행된 데이터 분석, 머신 러닝 알고리즘 및 머신 러닝기술을 바탕으로, 안내 로봇의 동작이 결정되면, 프로세서(180)는 이러한 결정된 동작을 실행하기 위하여, 안내 로봇의 구성 요소들을 제어할 수 있다. 프로세서(180)는 제어 명령에 근거하여, 안내 로봇을 제어함으로써, 결정된 동작을 실행할 수 있다.
메모리(170)는 안내 로봇(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 안내 로봇(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application))과, 안내 로봇(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 또한, 메모리(170)는 사용자와 음성 대화 기능을 수행하기 위한 가변가능한 호출어를 저장할 수 있다.
메모리(170)는 안내 로봇(100)이 센싱부(140), 입력부(120), 통신부(110) 등을 통해 수집한 상황 정보 및 데이터를 저장할 수 있다. 또한, 메모리(170)에 저장된 상황 정보 및 데이터는 프로세서(180)에 제공될 수 있다.
메모리(170)는, 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서(180)는 상기 응용 프로그램과 관련된 동작 외에, 통상적으로 안내 로봇(100)의 전반적인 동작을 제어한다. 프로세서(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동하거나, 주행부(130)를 제어함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
전원부(190)는 프로세서(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 안내 로봇(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원부(190)는 배터리를 포함할 수 있고, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 안내 로봇의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 안내 로봇의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 안내 로봇상에서 구현될 수 있다.
또한, 이하에 개시된 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
이하에서는, 본 발명에 실시 예에 따라, 스스로 주행하고 볼륨을 조절하여 발화를 수행할 수 있는 안내 로봇 및 그것의 동작방법에 대해 구체적으로 설명하겠다.
먼저, 도 3은 일반적인 안내 로봇에 의한 감시 기능을 설명하기 위한 도면이다. 도 3을 참조하면, 기존의 안내 로봇(20)은 일정 공간(10)내 감시 영역(310)에 대한 감시 기능이 실행되면, 설정된 감시 영역(310)의 경계를 일정방향(예, 반시계방향)으로 주행하며 카메라 모니터링을 수행하도록 동작하였다.
구체적으로, 관리자가 감시 영역(310)의 경계 꼭지점(1, 2, 3, 4,)을 POI로 설정하면, 안내 로봇이 해당 POI(1, 2, 3, 4,)를 순차적으로 지나도록 주행경로(311)를 설정하고, 해당 POI(1, 2, 3, 4,)를 반복 주행하면서 감시 기능을 수행하였다.
이는, 즉, 감시영역 안쪽(310') 일부와 감시 영역(310) 바깥쪽 일부에 대한 모니터링이 배제되므로, 효용성이 떨어진다. 특히, 감시 영역(310)의 크기가 클수록 그리고/또는 시야 제한 구역(예, 기둥으로 인한 시야 제한 등)이 존재하는 경우효용성이 더욱 감소하므로, 감시 영역(310)에 대한 정상적인 모니터링이 이루어질 수 없다. 또한, 안내 로봇의 진행방향에 따라 모니터링되는 영역도 변경되기 때문에, 관리자가 이를 모두 고려하여 미리 주행경로(Path)를 생성하기 어려운 문제가 있었다.
이에, 본 명세서에서는, 스스로 주행이 가능하고 점점 지능화되는 안내 로봇의 특성을 반영하여, 안내 로봇의 현재 상태와 주행 공간의 특성에 맞는 효율적인 감시가 가능하며, 적응적으로 주행경로를 가변하면서 감시를 수행할 수 있는 안내 로봇을 구현하였다.
도 4는 본 발명과 관련된 안내 로봇의 동작방법을 설명하기 위한 대표 흐름도이다. 도 4의 각 단계는 다른 언급이 없다면, 안내 로봇(100)의 프로세서(180)를 통해 수행된다. 또한, 도 4의 과정은 안내 로봇(100)이 감시 기능을 수행하는 동안 반복적으로 수행될 수 있다. 또한, 비록 자세히 도시되지는 않았지만, 안내 로봇(100)은 도 4의 과정을 통해 감시 영역에 대한 모니터링 결과를 기초로 AI 학습, 업데이트, 및/또는 데이터베이스화를 수행할 수 있다.
도 4를 참조하면, 먼저 안내 로봇(100)은 카메라를 활성화하여 감시 모드를 실행할 수 있다(S10).
여기서, 상기 카메라는, 일반 카메라 외에, 뎁쓰(depth) 카메라, 2차원 카메라, 3차원 카메라, 열화상 카메라 등과 같이 특수 감시를 위한 카메라를 포함할 수 있다. 또한, 상기 카메라는, 안내 로봇의 감시 모드 실행에 따라 상시 녹화 기능을 수행하도록 활성화하될 수 있다.
이와 같이 감시 모드가 실행되면, 안내 로봇은 감시 영역을 주행하는 동안 수집되는 안내 로봇의 상태 정보를 수신할 수 있다(S20).
여기에서, 안내 로봇의 상태 정보란, 안내 로봇이 감시 기능을 수행하는데 영향을 미치는 안내 로봇의 상태 데이터를 의미하며, 예를 들어, 안내 로봇의 남은 배터리 충전량, 상기 감시 영역 전체를 모니터링하는데 소요되는 예상 시간, 및 협업가능한 다른 안내 로봇의 존재 중 하나 이상을 포함할 수 있다.
이러한 안내 로봇의 상태 정보는, 예를 들어 안내 로봇(100)의 센싱부(140)의 상태 정보 관련 센서(143)(예, 배터리 잔량 감지 센서, 작업 시간 측정 센서 등)나 통신부(110), 카메라(121)나 음향 수신부(122)와 같은 입력부(120)를 통해 수집 또는 획득될 수 있다.
수집 또는 획득된 안내 로봇의 상태 정보는 메모리(170)에 저장되거나, 통신부(110)을 통해 외부로 전송되거나, 관련 동작을 수행하거나 AI 학습을 위해 프로세서(180)로 전달되거나, 그리고/또는 디스플레이(151)의 통해 시각화될 수 있다.
다음, 안내 로봇(100)은 수신 또는 획득된 안내 로봇의 상태 정보에 기초하여, 감시 영역에 대한 주행 경로를 변경할 수 있다(S30).
여기에서, 주행 경로를 변경(또는, 다르게 설정)하는 것은, 기존의 주행 경로를 적응적으로 변경하는 것과 안내 로봇의 상태 정보를 기초로 주행 경로를 새로 설정하는 경우를 모두 포함할 수 있다.
전자의 경우, 기존의 주행 경로를 적응적으로 변경한 것에 대한 기록이 수행될 수 있다. 또한, 안내 로봇의 상태 데이터가 원래값으로 복구되면, 기존의 주행 경로를 따라 감시를 수행하도록 동작할 수 있다. 후자의 경우, 새로운 주행 경로에 대한 맵 데이터 생성 및 학습이 수행될 수 있다. 또한, 안내 로봇의 상태 데이터가 원래대로 복구되더라도 실시간 획득되는 상태 데이터를 기초로 감시를 위한 주행 경로를 계속 생성해나갈 수 있다.
구체적으로, 안내 로봇(100)의 프로세서(180)는 수신 또는 획득된 안내 로봇의 상태 정보에 따라 모니터링을 위한 기준 POI를 다르게 변경/설정할 수 있다.
또는, 안내 로봇(100)의 프로세서(180)는 수신 또는 획득된 안내 로봇의 상태 정보에 따라, 감시 대상을 결정하여 이를 트래킹하는 주행 경로를 설정할 수 있다.
또는, 안내 로봇(100)의 프로세서(180)는 수신 또는 획득된 안내 로봇의 상태 정보에 따라 감시 영역 전체를 모니터링하기에 남은 배터리 충전량이 부족한 것으로 판단되면, 정해진 기준에 따라 선택된 보안성 필요 위치 또는 좁은영역에서만 주행하도록 설정할 수 있다.
이제부터는, 구체적인 안내 로봇의 상태 데이터에 기초하여 감시를 위한 주행 경로를 변경하는 예시들을 살펴보겠다.
도 5는 본 발명과 관련된 안내 로봇에서, 카메라 화각범위를 고려하여 감시 기능을 수행하는 것을 보여주는 도면이다.
안내 로봇(100)의 감시 기능이 실행되면 주변 모니터링을 위해 카메라(121)가 활성화되어 감시 모드로 동작한다. 안내 로봇(100)은, 감시 모드에서 정해진 감시 영역을 주행하는 동안, 주변을 모니터링하는 카메라의 화각범위에 맞추어 감시 영역 전체를 확인할 수 있어야할 것이다.
이에, 안내 로봇(100)의 프로세서(180)는, 감시 영역 전체를 모니터링할 수 있도록, 활성화된 카메라(121)의 화각범위에 기초하여, 감시를 위한 주행 경로를 결정할 수 있다.
도 5를 참조하면, 안내 로봇(100)의 카메라 화각범위를 고려하여, 정해진 감시 영역(510)의 내부 전체를 커버할 수 있도록, 감시 영역(510)의 경계에서 안쪽으로 향하는 나선 형태의 주행 경로(512)를 설정하여 감시 모드를 수행할 수 있다. 즉, 관리자가 설정한 복수의 POI (1, 2, 3, 4)를 연결하여 감시 영역의 경계로 보고 그 내부공간 전체를 커버하며 주행한다.
이 후, 안내 로봇(100)이 감시 영역(510)의 가운데에 위치하면, 위와 반대반향으로 감시 영역(510)의 안쪽에서 경계로 향하는 나선 형태의 주행 경로를 그리면서 감시 모드를 수행할 수 있다. 이러한 과정은 감시 영역(510)에 대한 감시 기능이 해제될때까지 반복될 수 있다.
한편, 나선 형태의 주행 경로(512)는 카메라의 화각을 고려하여 감시 영역(510) 전체를 커버하기 위한 하나의 예시이므로, 이와 다른 형태의 주행 경로, 예를 들어 지그재그 형태의 주행 경로도 가능할 것이다.
또 다른 실시 예로서, 도 6a, 도 6b, 도 6c는 안내 로봇의 서로 다른 상태, 구체적으로 배터리 충전량이 부족한 경우와 협업가능한 다른 안내 로봇이 존재하는 경우에 기초하여 감시 영역에 대한 주행 경로를 다르게 설정하는 예시들을 살펴보겠다.
본 개시에 따른 안내 로봇(100)은 남은 배터리 충전량에 기초하여 산출된 남은 주행 가능 시간을 고려하여서, 감시 영역에 대한 주행 경로를 설정할 수 있다.
안내 로봇(100)의 감시 모드 동작시 또는 감시 모드 동작을 수행하는 중에, 안내 로봇(100)의 배터리가 충분하지 않다고 판단되면, 절전 모드로 감시 기능을 수행할 수 있다. 이는, 안내 로봇(100)의 크기 때문에 주행에 소요되는 배터리 소모량이 가장 크기 때문이다.
다만, 안내 로봇(100)의 남은 배터리 충전량이 기준치 이하라도, 남은 배터리 충전량과 남은 작업 시간을 비교한 결과, 감시 영역을 모니터링하는데 소요되는 예상 시간이 보다 짧다면(즉, 곧 감시가 끝날 것으로 예측되는 경우라면), 절전 모드로 전환하지 않고 감시 기능을 이어서 수행할 수 있다.
절전 모드로 감시 기능 수행시, 안내 로봇(100)은 주행은 최소화하면서 보안 효과를 높일 수 있는 곳, 예를 들어 가시도가 가장 높은 곳에 위치하는 것이 유리할 것이다. 또는, 이동하지 않고 가시도가 가능 높다고 판단된 위치에 서서 감시 기능을 계속 수행할 수도 있다.
실시 예에 따라, 안내 로봇(100)의 프로세서(180)는 관람객이 많이 모여 있는 곳이나 유동인구가 많은 특정 위치(예, 도어 주변, 화장실 주변, 이벤트 행사 주변 등)를 가시도가 높은 위치로 판단하여, 해당 위치로 이동하도록 제어할 수 있다. 또는, 실시 예에 따라, 안내 로봇(100)의 프로세서(180)는 기준치 이상의 데시벨(dB)이 발생한 위치 또는 방향으로 이동한 후에, 감시 기능을 수행할 수도 있다.
안내 로봇(100)은 남은 배터리 충전량과 감시 영역 전체를 모니터링하는데 소요되는 예상 시간을 비교하여, 남은 배터리 충전량이 부족한 것으로 판단되면, 남은 주행 시간을 고려하여, (주행을 중단하고) 절전 모드로 감시 모드 동작을 수행할 수 있다.
이를 위해, 안내 로봇(100)의 프로세서(180)는 안내 로봇의 남은 배터리 충전량에 근거하여 절전모드를 실행하고, 절전모드의 실행에 따라 주행부(130)를 제어하여, 안내 로봇(100)을 감시 영역 내 특정 위치로 이동시켜서 감시 영역을 모니터링할 수 있다.
이 후, 안내 로봇(100)은 주행을 중단하고 이동한 위치에서 또는 또는 이동한 위치를 기준으로 생성된 짧은 주행 경로로 감시 영역을 모니터링한다.
이때, 상기 특정 위치는 감시 영역에서 수집된 상황정보에 따라 가변될 수 있다. 여기에서, 상기 상황정보는 안내 로봇에 장착되 부품 또는 센서를 통해 감시 영역 내에서 수집되는 상태 데이터(예, 관람객 밀집도, 사운드 등) 및/또는 환경 데이터(예, 냉난방 온도, 습도, 바닥 상태 등)를 포함할 수 있다.
도 6a는, 상황정보로서 감시 영역 내 관람객(또는, 사용자)의 밀집도에 근거하여 상기 특정 위치를 결정하는 것을 도시한 것이다.
도 6a에 도시된 바와 같이, 감시 영역(510)에 대한 복수의 POI(1, 2, 3, 4)가 설정되었으나, 배터리가 부족한 상황으로 절전 모드가 수행된 경우, 카메라 또는 연동된 서버를 통해 감시 영역(510) 내 관람객 밀집도가 높은 위치 또는 영역(G)을 탐지하여, 해당 위치 또는 영역을 기준으로 짧은 주행 경로(611)을 설정하거나 해당 위치 또는 영역(G) 내의 임의 지점(예, 4번 POI)에 서서, 감시 기능을 수행할 수 있다.
도 6b는, 상황정보로서 감시 영역 내 기준치 이상의 데시벨(dB)을 갖는 사운드/소음을 탐지하여 상기 특정 위치를 결정하는 것을 도시한 것이다.
도 6b에 도시된 바와 같이, 감시 영역(510)에 대한 복수의 POI(1, 2, 3, 4)가 설정되었으나, 배터리가 부족한 상황으로 절전 모드가 수행된 경우, 안내 로봇(100)의 음향수신부(122), 예를 들어 마이크로폰을 통해 수집된 감시 영역(510) 내 기준치 이상의 데시벨(dB)을 갖는 사운드/소음이 탐지된 위치 또는 영역(S)을 검출하여, 해당 위치 또는 영역을 기준으로 짧은 주행 경로(612)을 설정하거나 해당 위치 또는 영역(S) 내의 임의 지점(예, 2번 POI)에 서서, 감시 기능을 수행할 수 있다.
한편, 실시 예에 따라서는, 감시 영역에 대한 모니터링이 복수의 안내 로봇에 의해 수행되는 경우가 있다. 복수의 안내 로봇이 하나의 감시 영역을 나누어 모니터링하는 경우, 감시를 위한 주행 경로도 적응적으로 변경되는 것이 효율적이다.
이에, 본 개시에 따른 안내 로봇(100)은 협업가능한 다른 안내 로봇의 존재 및/또는 협업을 위한 요청이 수신된 것에 근거하여 감시 영역에 대한 주행 경로를 변경할 수 있다.
구체적으로, 안내 로봇(100)의 프로세서(180)는 협업 로봇의 개수에 따라 감시 영역의 주행 경로를 다르게 결정할 수 있다. 이를 위해, 안내 로봇(100)은 다른 협업 로봇과 통신할 수 있고, 관리자에 의해 설정된 동일 감시 영역에 대한 협업 스케줄 정보를 관리자 단말 또는 관리 서버로부터 수신할 수 있다.
여기에서, 상기 감시 영역에 대한 협업 스케줄 정보는, 협업 로봇의 개수와 협업 작업 시간에 관한 정보를 포함할 수 있다.
예를 들어, 협업 로봇의 개수가 많아질수록 감시 영역은 더욱 세분화되어, 감시를 위해 각 안내 로봇이 주행해야할 주행 경로도 더 짧아진다.
또, 예를 들어, 시간대별도 협업 스케줄이 다르게 설정될 수 있다. 예컨대, 오후 1시에는 하나의 안내 로봇이 감시하도록 스케쥴링되고, 오후 5시에는 이전 안내 로봇이 복귀하고 다른 안내 로봇 하나가 감시하도록 스케줄링되고, 오후 2시에는 2개의 안내 로봇이 감시 영역을 협업하여 감시하고, 오후 4시에는 이전 2개 중 하나의 안내 로봇이 또 다른 안내 로봇과 교체하고, 오후 3시에는 안내 로봇 하나가 더 추가되어 3개의 안내 로봇이 감시 영역을 감시하도록 스케줄링될 수 있다.
도 6c를 참조하면, 감시 영역(510)을 하나의 안내 로봇(100a)이 감시하는 경우와, 두 개의 안내 로봇(100a, 100b)이 감시하는 경우와, 세 개의 안내 로봇(100a, 100b, 100c)이 감시하는 경우를 비교하였을 때, 세분화된 감시 영역의 크기가 작아질수록 감시를 위한 주행 경로도 짧게 설정될 것을 예측할 수 있다.
한편, 다른 실시 예에서는, 절전 모드에서, 주변의 다른 안내 로봇 또는 관리자에게 협업 안내 로봇을 보내줄 것을 요청하고, 상기 특정 위치에서 감시 기능을 수행하는 동안 상기 요청에 따라 다른 안내 로봇이 감시 영역에 접근한 것에 응답하여, 절전 모드로 동작하는 안내 로봇이 충전 스테이션으로 복귀할 수 있을 것이다.
이상에서와 같이, 본 개시에 따른 안내 로봇은, 감시 카메라의 화각범위를 고려하고, 남은 배터리 충전량, 상기 감시 영역 전체를 모니터링하는데 소요되는 예상 시간, 협업가능한 다른 안내 로봇의 존재 등의 다양한 상태 정보에 기초하여, 감시 영역에 대한 주행 경로를 능동적으로 설정할 수 있다.
이하, 도 7, 도 8a, 도 8b. 도 9, 도 10은 본 발명과 관련된 안내 로봇이 감시 영역을 주행하는 동안 감시 이벤트의 발생을 인지하여 대응 동작을 수행하는 예시들이다.
고정된 위치나 고정된 주행 경로로 감시를 수행할 경우 감시 효과가 높지 않음을 앞에서 살펴보았다. 이에, 위에서는 정해진 감시 영역 내에서 보다 효율적인 주행 경로 설정을 살펴보았는데, 이제는 감시 영역 내 문제발생 이벤트를 인지하고, 문제발생 이벤트를 처리하기 위한 트래킹을 수행하는 예시들을 설명하겠다.
여기에서, 문제발생 이벤트는 감시 영역 내에서 탐지된 것이지만, 트래킹(tracking)은 감시 영역을 벗어나서도 수행될 수 있다. 본 개시에 따른 안내 로봇(100)은 상기 트래킹에 따라 이벤트가 처리되면, 다시 감시 영역 내로 복귀하여 기존의 감시 기능을 계속 수행한다.
이와 같은 문제발생 이벤트 검출 및 트래킹을 통해, 안내 로봇(100)은 예측된 문제상황을 보다 효과적으로 모니터링할 수 있고, 이를 적절히 처리함으로서 발생가능한 문제를 사전에 예방할 수 있다.
구체적으로, 실시 예에 따라, 안내 로봇(100)의 프로세서(180)는 감시 영역을 주행하는 동안 기설정된 감시 이벤트(또는, 문제발생 이벤트)의 발생을 인지하고, 인지된 감시 이벤트에 대응되는 동작을 수행한 후 감시 영역에 대한 모니터링을 이어서 수행할 수 있다.
여기에서, 상기 기설정된 감시 이벤트는, 관람객의 상태 감시, 관람객의 방역 감시, 보호 구역 감시, 및 건물 내 상태 감시 중 적어도 하나와 관련된 상황 컨텍스트를 의미할 수 있다.
예를 들어, 관람객의 상태 감시로는, 미아 감시, 안내가 필요한 관람객 감시, 펫 감시 등을 포함할 수 있다.
구체적으로, 안내 로봇(100)은 카메라를 통해 혼자 울고 있는 아이 발견시, 미아 감시가 필요한 상황 컨텍스트로 인지하고, 안내 로봇(100) 스스로 아이에 접근하여 디스플레이(151)를 통해 부모 찾기 화면 등을 디스플레이해줄 수 있다. 또, 감시 영역 내에서 주변을 반복적으로 두리번거리는 관람객을 발견한 경우, 안내가 필요한 관람객 감시의 상황 컨텍스트로 인지하여, 안내 로봇(100)이 해당 관람객에게 접근하여 기설정된 안내 음성(예, '무엇을 도와드릴까요?')을 발화할 수 있을 것이다. 또, 카메라를 통해 펫에 목줄이 없거나 노펫존(no pet zone)에 접근가능성있는 펫 발견시 펫 감시 상황 컨텍스트로 인지하여, 음성 가이드 안내를 하거나 접근을 막는 포즈를 취하도록 대응 동작을 수행할 수 있다.
또, 예를 들어, 관람객의 방역 감시로, 관람객의 열 측정, 방역 기준 준수 감시 등을 포함할 수 있다.
구체적으로, 관람객이 몰려있는 영역의 감지시 안내 로봇(100)이 예를 들어 열화상 카메라 등을 통해 관람객의 얼굴을 모니터링하여 열을 측정하거나 카메라를 통해 필수 방역 마스크 미착용자를 검출하고, 감시 대상 관람객을 트래킹하여, 피드백 동작(예, '마스크 착용' 또는 '관리자에게 알림' 등)을 수행할 것을 디스플레이(151)를 통해 안내할 수 있다.
또, 예를 들어, 보호 구역 감시로, 보호 대상의 접근/초접근 감시, 진입 불가 영역/폐쇄 영역에의 접근 감시 등을 포함할 수 있다.
구체적으로, 미술관의 작품에 아이가 가까이 접근하거나 뛰어다니는 경우, 안내 로봇(100)은 보호 대상의 접근/초접근 감시가 필요한 상황 컨텍스트로 보고, 보호 대상에 접근하여 카메라를 통해 아이가 초접근하는지를 감시하고, 접근시 경고를 하거나 가로막는 포지를 취하도록 대응 동작을 수행할 수 있다. 또, 안내 로봇(100)은 감시 영역에 대한 맵 데이터와 카메라를 통해 모니터링되는 관람객의 이동 방향에 따라 진입 불가 영역/폐쇄 영역에의 접근 감시가 필요한 상황 컨텍스트로 인지되면, 음성 가이드 등을 통해 접근을 경고해줄 수 있다.
또, 예를 들어, 건물 내 상태 감시로서, 미끄럼 감시, 청소 상태 감시, 파손 상태 감시 등을 포함할 수 있다.
구체적으로, 안내 로봇(100)은 미끄럼이 예상되는 비오는날의 건물 입구, 화장실 앞을 미끄럼 감시가 필요한 상황 컨텍스트로 인지하여, 사운드 또는 가이드 음성 등을 통해, 관람객에게 바닥 상태(예, 물기 등)를 경고해줄 수 있다..
도 7 내지 도 9를 참조하여, 안내 로봇(100)이 감시 영역을 모니터링하는 동안 문제발생 이벤트로 관람객의 방역 감시를 수행하고 그에 따른 트래킹 및 대응 동작을 살펴보겠다.
도 7에 도시된 바와 같이, 안내 로봇(100)은 설정된 POI(1, 2, 3, 4)를 순차적으로 반복 주행하며(711) 감시 영역(710)에 대한 감시 모드 동작을 수행하는 동안, 관람객이 몰려 있는 상황 컨텍스트를 인지하여 관람객 방역 감시를 개시할 수 있다.
그러면, 도 8a와 같이, 문제발생 이벤트로 관람객 방역 감시(예, 열 측정, 마스크 착용 여부 등)를 수행하기 위한 감시 POI(5, 6, 7)를 새로 설정한다. 그리고, 안내 로봇(100)은 현재 위치를 기준으로 새로운 POI에 대한 좌표(P1, P2, P3)를 산출할 수 있다.
여기에서, 감시 POI를 산출하기 위해 필요한 정보로, 관람객이 몰려 있는 위치 정보, 카메라(예, 일반 카메라 또는 열화상 카메라)의 해상도에 기반한 거리 정보, 카메라의 화각범위 정보를 포함할 수 있다.
이제, 안내 로봇(100)은 기존에 설정된 POI(1, 2, 3, 4)가 아니라, 도 8b에 도시된 바와 같이, 새로 설정된 감시 POI의 첫번째 위치(P1)로 이동하여(811) 관람객 방역 감시를 위한 모니터링을 수행한다. 5번 위치에서 화각범위(801) 내 방역 감시를 수행한 후, 6번 위치(P2)로 이동한다. 이 후, 6번 위치에서 화각범위(802) 내 방역 감시를 수행한 후, 7번 위치(P3)로 이동할 것이다.
즉, 안내 로봇(100)의 프로세서(180)는, 상황 컨텍스트의 발생 위치에 기초하여, 인지된 감시 이벤트에 대응되는 동작을 수행하기 위한 POI 위치를 산출할 수 있고, 산출된 POI 위치와 안내 로봇의 현재 위치를 기초로 다음 주행 경로를 설정할 수 있다.
감시 이벤트 또는 문제발생 이벤트에 대한 모니터링 결과 이상 없음이 확인되면, 현재 위치를 기초로 기존의 POI(1, 2, 3, 4) 중 하나로 이동하여 감시 모드를 수행할 수 있다.
감시 이벤트 또는 문제발생 이벤트에 대한 모니터링 결과 이상이 확인된 경우 안내 로봇(100)의 대응 동작은 다음과 같다.
도 9의 (a) 및 (c)에 도시된 바와 같이, 안내 로봇(100)은 관람객(G)의 방역 감시를 위해 새로 설정된 POI 위치(5, 6, 7)를 순차적으로 방문하여(911), 각 위치에서의 화각범위(901, 902) 내에서 열 측정 모니터링한 후, 도 9의 (c)와 같이 하나 이상의 감시 대상자(OB1, OB2, OB3)를 확인하고, 이들 중 스코어가 높은(예, 마스크 미착용 또는 열 측정 결과가 높은) 하나(OB3)를 트래킹 대상자(931)로 선택할 수 있다.
안내 로봇(100)은 확인된 감시 대상자(OB1, OB2, OB3) 및 트래킹 대상자(931)에 관한 정보(910)를 디스플레이(151)를 통해 디스플레이할 수 있다. 이때, 디스플레이되는 정보(910)는 트래킹 대상자(931)에 대한 피드백 동작 및 응답 요청을 포함할 수 있다.
실시 예에 따라, 안내 로봇(100)은 트래킹 대상자(931)에 접근하여 트래킹 대상자(931)의 움직임을 따라(follow) 이동하면서 피드백 동작(예, 마스크 쓰기, 관리자에게 알리기, 건물 밖으로 나가기 등)을 수행하도록 가이드 음성을 출력하거나 또는 트래킹 대상자(931)의 이동 경로의 주변인들이 알 수 있도록 경고 음성을 발화할 수 있다.
이때, 안내 로봇(100)은 감시 영역을 벗어나서도 트래킹 대상자(931)을 지속적으로 트래킹할 수 있다.
트래킹 대상자(931)가 피드백 동작을 수행한 것이 확인되면, 안내 로봇(100)은 감시 영역으로 돌아와서 기존의 주행 경로 또는 로봇의 상태 정보를 기초로 변경된 주행 경로에 따라 감시 영역을 다시 모니터링한다.
한편, 일정 시간이 지나도록, 트래킹 대상자(931)가 피드백 동작을 수행하지 않음이 확인되면, 안내 로봇(100)은 관리자 등의 단말로 해당 사실을 전송하고 호출을 수행할 수 있다.
도 10은, 안내 로봇(100)이 감시 영역을 모니터링하는 동안 문제발생 이벤트로 보호 대상 접근/초접근 감시, 그에 따른 트래킹 및 대응 동작을 살펴보겠다.
감시 영역(1010)은 고가의 작품, 전시품이 있는 전시관 또는 미술관 내의 일정 공간으로 설정될 수 있다. 이러한 경우, 아이 등이 고가의 작품, 전시품에 가까이 접근하는 상황 컨텍스트가 인지되면, 도난 또는 훼손 방지를 위해 보호 대상 접근/초접근 감시를 위한 트래킹 및 대응 동작이 수행될 수 있다.
도 10에서, 안내 로봇(100)이 감시 영역(1010)의 정해진 POI(1, 2, 3, 4)를 반복 주행하면서 감시 모드 동작을 수행하는 동안, 카메라 등을 통해 관람객(예, 아이)(OB)이 보호 대상(예, 작품)(T)에 가까이 접근하는 것으로 상황 컨텍스트가 인지되면, 호보 대상(T)에 근접한 위치로 이동하여 해당 관람객(OB)에 대한 트래킹을 수행할 수 있다.
이를 위해, 비록 도시되지는 않았지만, 호보 대상(T)과 트래킹 대상의 관람객(OB) 간의 거리 측정이 가능한 감시 POI를 산출하고, 산출된 감시 POI로 안내 로봇(100)이 이동할 수 있다.
이 후, 안내 로봇(100)은 트래킹 대상 관람객(OB)에게 접근을 경고하는 알림을 디스플레이(151) 및/또는 음향 출력부를 통해 출력할 수 있다. 또한, 안내 로봇(100)은 트래킹이 수행되는 동안 카메라를 통해 트래킹에 대응되는 영상을 녹화하여 저장해둘 수 있다. 또한, 안내 로봇(100)은 트래킹 대상 관람객(OB)이 경고 알림을 무시하고 호보 대상(T)에 더욱 접근하는 경우, 호보 대상(T)과 트래킹 대상의 관람객(OB) 간의 거리에 반비례하여 단계적으로 경고 알림을 강화할 수 있다. 만일, 관람객(OB)이 호보 대상(T)을 훼손하고 사라지는 경우, 보다 강한 경고음 출력과 함께 관리자 등의 단말로 즉시 알림 및 녹화 영상을 전송할 수 있다.
이와 같이, 본 개시에 따른 안내 로봇은, 방역, 보호구역 감시 등과 같이 보다 세분화된 또는 특수화된 감시가 가능하며, 문제발생 이벤트 발생시 관련된 대상의 트래킹 및 적절한 대응동작을 수행할 수 있다.
도 11은 본 발명과 관련된 안내 로봇의 동작방법을 설명하기 위한 또 다른 흐름도이다. 도 11의 각 단계는 다른 언급이 없다면, 도 4와 마찬가지로 안내 로봇(100)의 프로세서(180)를 통해 수행된다. 또한, 도 11의 과정은 안내 로봇(100)이 감시 기능을 수행하는 동안 반복적으로 수행될 수 있고, 안내 로봇(100)은 도 11의 과정을 통해 감시 영역에 대한 모니터링 결과를 기초로 AI 학습, 업데이트, 및/또는 데이터베이스화를 수행할 수 있다.
도 11을 참조하면, 먼저 안내 로봇(100)은 입력에 따라 또는 스스로 판단하여 카메라를 활성화하고 감시 모드를 실행할 수 있다(S110).
여기서, 상기 카메라는, 일반 카메라 외에, 뎁쓰(depth) 카메라, 2차원 카메라, 3차원 카메라, 열화상 카메라 등과 같이 특수 감시를 위한 카메라를 포함할 수 있다. 또한, 상기 카메라는, 안내 로봇의 감시 모드 실행에 따라 상시 녹화 기능을 수행하도록 활성화하될 수 있다.
감시 모드가 실행되면, 안내 로봇(100)은 감시 영역을 주행하는 동안 주행 공간의 상태 정보를 수신 또는 획득할 수 있다(S120).
여기에서, 주행 공간의 상태 정보는, 주행 공간의 이상 탐지와 관련된 상태 데이터 및 환경 데이터를 의미할 수 있다.
또한, 상기 상태 데이터는 주행 공간의 바닥 상태(예, 파임, 미끄러짐, 기울어짐) 관련 데이터, 구조물의 상태(예, 구조물의 훼손 등) 관련 데이터를 포함할 수 있다. 상기 환경 데이터는, 주행 공간의 냉난방 온도, 습도, 혼잡도, 소음레벨 등과 관련된 데이터를 포함할 수 있다.
이러한 주행 공간의 상태 정보는, 예를 들어 안내 로봇의 센싱부(140)의 상태 정보 관련 센서(143)나 기울기 감지 센서(144)(예, IMU 센서), 온도센서 및 습도센서 등의 환경센서, 통신부(110), 카메라(121), 및/또는 주변 사운드를 획득하기 위한 음향수신부(122)를 통해 다양한 루트 및 형태로 수신될 수 있다.
계속해서, 안내 로봇(100)은 수신된 주행 공간의 상태 정보에 기초하여 다음 주행 방향을 결정할 수 있다(S130).
실시 예에 따라, 안내 로봇의 다음 주행 방향은 수신된 주행 공간의 상태 데이터의 분석 결과 이상 탐지된 지점과 연관된 방향으로 결정될 수 있다.
다음, 안내 로봇(100)은 이와 같이 결정된 주행 방향으로 주행하며 수집되는 주행 공간의 상태 정보에 대응되는 감시 대상을 확인하고(S140), 확인된 감시 대상과 관련된 대응 동작을 수행할 수 있다(S150).
구체적으로, 안내 로봇(100)은 감시 영역을 주행하며 모니터링하는 동안, 주행 공간의 냉난방 온도를 확인하여 냉난방 이상을 탐지하고, 이상 탐지된 위치를 기초로 다음 경로를 트래킹하며, 열손실의 발생 원인이 되는 위치를 탐지할 수 있다.
또는, 안내 로봇(100)은 감시 영역을 주행하며 모니터링하는 동안, 바닥 파임, 미끄러짐, 기울어짐의 이상을 탐지하여, 데이터베이스화 하거나 이상 탐지된 위치를 기초로 복수의 다른 지점을 트래킹하여 데이터베이스화한 후, 관리자 등의 단말로 알림 전송할 수 있다.
도 12, 도 13, 도 14는 안내 로봇(100)이 감시 영역을 주행하며 모니터링하는 동안, 냉난방 상태의 이상을 탐지하여 감시 대상을 확인하는 방법 및 이와 관련된 대응 동작들을 설명하기 위한 도면들이다.
도 12를 참조하면, 안내 로봇(100)은 설정된 복수의 POI(1, 2, 3, 4)의 좌표(P1, P2, P3, P4)를 순차적으로 방문하면서(1211) 감시 영역(1210)을 모니터링하는 동안, 주행 공간의 상태 정보로서, 냉난방 온도를 측정할 수 있다. 이때, 냉난방 온도의 측정은 안내 로봇(100)에 구비된 온도센서를 사용하거나 복수의 POI(1, 2, 3, 4) 주변에 설치된 온도측정장치와 통신하여 수행될 수 있다.
한편, 이와 같은 냉난방 이상의 탐지는 마이크로폰을 통해 획득된 관람객의 음성(예, '너무 덥네' 등) 또는 카메라를 통해 관찰되는 다수의 관람객들의 모션(예, 한명 이상이 얼굴에 부채질을 하거나 옷을 벗는 등)에 근거하여 개시될 수 있다,
특정 POI(3 번)에서 측정된 온도값이 다른 POI(1, 2, 4)에서 측정된 온도값과 비교하여 일정범위 이상(예, 최저/최고 온도값과 2도 이상 차이) 차이 있는 이상 상태로 감지됨에 따라, 해당 POI의 좌표(P3)를 이상 탐지된 위치로 결정한다.
이 후, 안내 로봇(100)은 감시 영역(1210)을 감시하기 위해 다시 1번 위치로 이동(재방문)하지 않고, 이상 탐지된 위치(P3)를 기초로 다음 주행 방향을 새로 결정한다. 이는, 열손실이 발생한 경로와 원인을 찾기 위함이다.
안내 로봇(100)은 냉난방 이상이 탐지된 위치 또는 열손실이 있는 지점을 탐색하기 위한 탐색 POI를 산출할 수 있다.
다시 말해, 안내 로봇(100)은 주행 공간(감시 영역를 벗어난 건물 전체/공간 일부를 포함함) 내 복수의 위치별 온도값과 건물 맵 데이터에 기반한 열손실이 발생할 수 있는 예상 지점(예, 도어 및/또는 창문 위치)에 관한 정보를 획득하여, 열손실이 발생한 경로와 원인을 파악할 수 있다.
도 13을 참조하면, 먼저 안내 로봇(100)은 최초로 냉난방 이상이 탐지된 위치(3번)로 이동한다. 이 후, 현재 위치(3번)에서 감시 대상, 즉 온도값을 확인하기 위한 후보군 POI를 설정한다. 도 13에서는 5번과 6번 위치가 후보군 POI로 설정된다.
이후, 안내 로봇(100)의 프로세서(180)는 설정된 후보군 POI 중 이상 탐지 예상 가중치가 높은 하나를 탐색 POI 로 선택한다. 여기에서, 이상 탐지 예상 가중치가 높다는 것은, 예를 들어 안내 로봇(100)의 열화상 카메라를 통해 개략적으로 탐지되는 온도가 높은 지점에 가중치 스코어를 높게 적용한 것을 의미할 수 있다.
이상 탐지 예상 가중치가 높은 6번 후보군 POI가 탐색 POI로 선택되었다. 이 후, 안내 로봇(100)은 5번 위치로 이동하여, 온도값을 측정한다. 측정 결과, 감시 영역(1310)의 다른 POI(1, 2, 4)와 비교하여 냉난방 이상이 탐지되면, 해당 위치를 기준으로 다시 후보군 POI의 설정 및 다음 탐색 POI 선택(예, 7번)을 반복한다.
실시 예에 따라, 탐색 POI 또는 다음 탐색 POI 중 적어도 일부는 감시 영역의 바깥쪽에 위치한다.
실시 예에 따라, 안내 로봇(100)의 프로세서(180)는 탐색 POI 로 주행하여 주행 공간의 상태 정보를 누적적으로 수집하고, 수집 결과를 기초로 다음 탐색 POI를 검출한다. 이때, 안내 로봇(100)은 탐색 POI를 연결하여 열지도를 생성할 수 있고, 생성된 열지도에 기초하여 다음 탐색 POI를 결정하기 위한 가중치 높은 방향성을 결정할 수 있다.
이제, 안내 로봇(100)은 3번, 5번, 7번 위치를 이상 탐지 경로로 인지할 수 있고, 열손실 발생 원인에 더욱 근접할 수 있다.
안내 로봇(100)은 확인된 감시 대상(예, 온도값, 열손실 경로)과 관련된 대응 동작 관련 정보를 안내 로봇의 디스플레이(151)에 출력할 수 있다. 한편, 안내 로봇(100) 스스로 처리(예, 창문 닫기 신호 전송)할 수 있거나 원격 제어가 가능한 경우이면, 해당 대응 동작을 수행한다. 그러나, 스스로 처리할 수 없는 경우이면, 주변 또는 관리자의 도움을 요청한다.
도 14를 참조하면, 안내 로봇(100)은 열손실이 발생한 원인인 '창문 열림(W)'을 확인한 후, 창문을 닫도록 유도하는 가이드 음성을 주변에 출력하거나 그리고/또는 디스플레이(151)를 통해 대응 동작을 유도하는 가이드 정보(예, '창문을 닫아 주세요, 열손실이 발생중입니다')(1410)를 출력할 수 있다.
실시 예에 따라, 기설정된 시간 내에 가이드 음성 또는 디스플레이된 정보에 대한 피드백 응답(예, 창문 닫음) 없음이 확인되면(1411), 안내 로봇(100)은 통신부를 통해 감시 대상의 확인 결과 및 확인된 감시 대상과 관련된 대응 동작을 기설정된 관리자 단말로 전송(1412)해줄 수 있다.
이를 통해, 건물 내 냉난방중 열손실이 발생하는 특정 지역이 있음을 BMS 보다 신속하게 탐지할 수 있고, 주변 관람객에게 도움을 요청하여 열손실 발생 원인을 빠르게 해결할 수 있다.
또 다른 실시 예로, 도 15a, 도 15b, 도 15c는 감시 영역을 모니터링하는 동안 발견된 건물 바닥면의 기울기 이상 탐지에 따라, 건물의 관리 상태를 확인하는 방법의 예시를 설명하기 위한 도면이다.
먼저, 도 15a를 참조하면, 안내 로봇(100)이 설정된 POI (1, 2, 3, 4)를 반복 주행하며 감시 영역(1510)을 모니터링하는 동안, 센싱부(140)의 기울기 감지 센서(144)를 통해 각 POI (1, 2, 3, 4)에서의 바닥 기울기 상태를 측정할 수 있다.
이때, 상기 기울기 감지 센서(144)는, 예를 들어 IMU 센서 및 뎁스 카메라를 포함할 수 있다. 여기서, IMU 센서는, 가속도계, 자이로스코프, 지자기계를 이용하여 안내 로봇(100)의 현재 위치와 자세를 측정할 수 있는 센서로서, 일반적으로 3개의 자이로스코프와 3개의 가속도계를 구성하여 6 DOF(X, Y, Z, Roll, Pitch, Yaw)를 측정값으로 제공한다.
구체적으로, 도 15b에 도시된 바와 같이, 안내 로봇(100)은 IMU 센서를 통해 안내 로봇(100) 자신이 3축 각각에 대해 기울어진 정도의 값(제1 측정값)을 측정하여 로컬리제이션(localization)을 수행한다. 그리고, 안내 로봇(100)은 뎁스 카메라를 통해 획득된 image plane 및 ground plane 이미지를 분석하여, 바닥(floor)의 기울기 정도를 연산한다(제2 측정값). 상기 제2 측정값은 장애물과 바닥(floor)을 구분하기 위한 보정값으로도 사용된다.
안내 로봇(100)은 상기 IMU 센서와 뎁스 카메라를 통해 약 100 msec 간격으로 센싱값을 수신하여 상기 제1 및 제2 측정값을 획득한다.
획득된 제1 측정값은 안내 로봇(100)이 현재 위치에서 얼마나 기운 상태인지를 나타내며, 상기 제2 측정값은 뎁스 카메라 전방의 바닥(floor)이 얼마나 기운 상태인지를 나타낸다.
안내 로봇(100)은 상기 제1 및 제2 측정값을 기초로 현재 위치에서 지반의 기운 정도를 확인할 수 있고, 이는 메모리(170) 또는 외부 서버에 누적적으로 저장되어 데이터베이스화된다.
다시 도 15a로 돌아가서, 예를 들어 특정 POI(2번)에서 기준치 이상의 지반의 기운 정도가 탐지됨에 따라, 감시 영역(1510)을 벗어난 건물 전체/일부에 대한 지반의 기운 정도를 탐지하도록 트래킹한다.
그에 따라, 도 15c와 같이 감시 영역(1510)을 벗어나 이상 탐지를 위한 복수의 추가 POI(5, 6, 7, 8, 9)를 설정하고, 추가 POI(5, 6, 7, 8, 9)를 순차적으로 주행하면서 IMU 센서와 뎁스 카메라를 통해 지반의 기운 정도를 누적적으로 탐지한다. 이때, 상기 추가 POI는 도 12 내지 도 14를 참조하여 설명한 냉난방 이상 탐지와 달리 후보 POI 선정 -> 탐지 POI 선택을 반복하면서 탐지 경로를 생성하는 것이 아니라, 건물 전체/일부에 대한 전반의 기울기 탐지를 위해, 서로 이격된 복수의 지점들이 추가 POI(5, 6, 7, 8, 9)로 선택된다는 점이다.
한편, 지반의 기운 정도의 탐지는 긴급을 요하는 상황이 아닌한, 작업 시간을 후순위로 미루어서 진행할 수 있다. 예를 들어, 낮 시간대에는 일단 감시 영역에 대한 모니터링을 계속 수행하다가, 야간 시간대에 바닥의 기울기 상태를 탐지하기 위해 추가 POI(5, 6, 7, 8, 9)를 주행하며 측정할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 일부 실시 예에 따른 안내 로봇 및 그것의 동작방법에 의하면, 감시 카메라의 화각범위를 고려하고, 남은 배터리 충전량, 상기 감시 영역 전체를 모니터링하는데 소요되는 예상 시간, 협업가능한 다른 안내 로봇의 존재 등의 다양한 상태 정보에 기초하여, 감시 영역에 대한 주행 경로를 능동적으로 설정하거나 또는 기존 주행 경로를 변경할 수 있다. 그에 따라, 일률적인 감시가 아닌 보다 효과적이고 지능적인 감시를 수행할 수 있다. 또한, 역, 보호구역 감시 등과 같이 보다 세분화된 또는 특수화된 감시가 가능하며, 문제발생 이벤트 발생시 관련된 대상의 트래킹 및 적절한 대응동작을 수행할 수 있다. 또한, 적절한 대응동작으로서 피드백 응답을 요청할 수 있고, 요청에 대한 응답이 없을 경우 관리자에게 알림 통지할 수 있다. 그에 따라, 상황별로 보다 적절한 세부 이상 탐지 및 대응동작이 이루어질 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

  1. 안내 로봇으로서,
    활성화시, 상기 안내 로봇의 주변을 촬영하는 카메라;
    상기 안내 로봇을 이동시키는 주행부;
    상기 안내 로봇의 상태 정보를 수집하는 센싱부; 및
    상기 카메라, 주행부, 및 센싱부와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    감시 모드의 실행에 따라 상기 카메라를 활성화하고, 상기 감시 모드에서 상기 안내 로봇이 감시 영역을 주행하는 동안 상기 안내 로봇의 상태 정보를 수신하고, 수신된 안내 로봇의 상태 정보에 기초하여 상기 감시 영역에 대한 주행 경로를 결정하는 안내 로봇.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라의 화각범위에 기초하여 상기 감시 영역 전체를 모니터링할 수 있도록 상기 주행 경로를 결정하는 안내 로봇.
  3. 제1항에 있어서,
    상기 안내 로봇의 상태 정보는,
    상기 안내 로봇의 남은 배터리 충전량, 상기 감시 영역 전체를 모니터링하는데 소요되는 예상 시간, 및 협업가능한 다른 안내 로봇의 존재 중 하나 이상을 포함하는 안내 로봇.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 안내 로봇의 남은 배터리 충전량에 근거하여 절전모드를 실행하고, 상기 절전모드의 실행에 따라 상기 주행부를 제어하여 상기 안내 로봇을 상기 감시 영역 내의 특정 위치로 이동시키켜 상기 감시 영역을 모니터링하고,
    상기 특정 위치는 상기 감시 영역에서 수집된 상황정보에 따라 가변되는 안내 로봇
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 감시 영역을 주행하는 동안, 기설정된 감시 이벤트의 발생을 인지하고, 인지된 감시 이벤트에 대응되는 동작을 수행한 후에 상기 감시 영역에 대한 모니터링을 이어서 수행하는 안내 로봇.
  6. 제5항에 있어서,
    상기 기설정된 감시 이벤트는,
    관람객의 상태 감시, 관람객의 방역 감시, 보호 구역 감시, 및 건물 내 상태 감시 중 적어도 하나와 관련된 상황 컨텍스트인 안내 로봇.
  7. 제6항에 있어서,
    상기 프로세서는,
    상기 상황 컨텍스트의 발생 위치에 기초하여 상기 인지된 감시 이벤트에 대응되는 동작을 수행하기 위한 POI 위치를 산출하고, 상기 산출된 POI 위치와 상기 안내 로봇의 현재 위치를 기초로 다음 주행 경로를 설정하는 안내 로봇.
  8. 제6항에 있어서,
    상기 인지된 감시 이벤트와 관련된 정보를 디스플레이하는 터치스크린을 더 포함하고,
    상기 프로세서는,
    상기 터치스크린과 전기적으로 연결되어, 상기 터치스크린을 통해 상기 인지된 감시 이벤트에 대응되는 동작에 대응되는 피드백 응답을 요청하는 안내 로봇.
  9. 제1항에 있어서,
    상기 센싱부는, 주행 공간의 상태 정보를 수집하고,
    상기 프로세서는,
    상기 감시 모드에서 감시 영역을 주행하는 동안 수집된 주행 공간의 상태 정보에 기초하여 다음 주행 방향을 결정하고, 결정된 주행 방향으로 주행하며 수집되는 주행 공간의 상태 정보에 대응되는 감시 대상을 확인하고, 확인된 감시 대상과 관련된 대응 동작을 수행하는,
    안내 로봇.
  10. 제9항에 있어서,
    상기 주행 공간의 상태 정보는, 상기 주행 공간의 온도 데이터, 미끄러짐 데이터, 기울기 데이터 중 하나 이상을 포함하는 상태 데이터인 안내 로봇.
  11. 제10항에 있어서,
    상기 안내 로봇의 다음 주행 방향은 상기 주행 공간의 상태 데이터의 분석 결과 이상 탐지된 지점과 연관된 방향으로 결정되는 안내 로봇.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 이상 탐지된 지점에 기초하여 상기 감시 대상을 확인하기 위한 후보군 POI를 설정하고, 상기 설정된 후보군 POI 중 이상 탐지 예상 가중치가 높은 하나를 탐색 POI 로 선택하고,
    상기 탐색 POI 로 주행하여 주행 공간의 상태 정보를 누적적으로 수집하고, 수집 결과를 기초로 다음 탐색 POI를 검출하는 안내 로봇.
  13. 제12항에 있어서,
    상기 탐색 POI 또는 다음 탐색 POI 중 적어도 일부는 상기 감시 영역의 바깥쪽에 위치하는 안내 로봇.
  14. 제9항있어서,
    상기 확인된 감시 대상과 관련된 대응 동작과 관련된 정보를 디스플레이하는 터치스크린을 더 포함하는 안내 로봇.
  15. 제14항에 있어서,
    상기 안내 로봇은 통신부를 더 포함하고,
    상기 프로세서는,
    기설정된 시간 내에 상기 디스플레이된 정보에 대한 피드백 응답 없음을 확인하고, 상기 통신부를 통해 상기 감시 대상의 확인 결과 및 확인된 감시 대상과 관련된 대응 동작을 기설정된 관리자 단말로 전송하는 안내 로봇.
  16. 안내 로봇의 동작방법으로서,
    안내 로봇의 카메라를 활성화하여 감시 모드를 실행하는 단계;
    상기 감시 모드에서, 감시 영역을 주행하는 동안 상기 안내 로봇의 상태 정보를 획득하는 단계; 및
    획득된 안내 로봇의 상태 정보에 기초하여 상기 감시 영역에 대한 주행 경로를 다르게 결정하는 단계를 포함하는 안내 로봇의 동작방법.
PCT/KR2022/014365 2022-09-26 2022-09-26 안내 로봇 및 안내 로봇의 동작방법 WO2024071457A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/014365 WO2024071457A1 (ko) 2022-09-26 2022-09-26 안내 로봇 및 안내 로봇의 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/014365 WO2024071457A1 (ko) 2022-09-26 2022-09-26 안내 로봇 및 안내 로봇의 동작방법

Publications (1)

Publication Number Publication Date
WO2024071457A1 true WO2024071457A1 (ko) 2024-04-04

Family

ID=90478293

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014365 WO2024071457A1 (ko) 2022-09-26 2022-09-26 안내 로봇 및 안내 로봇의 동작방법

Country Status (1)

Country Link
WO (1) WO2024071457A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072612A (ja) * 2004-09-01 2006-03-16 Toshiba Corp 巡回ロボットおよび巡回方法
KR20120116178A (ko) * 2011-04-12 2012-10-22 삼성테크윈 주식회사 감시 시스템
CN109015638A (zh) * 2018-08-15 2018-12-18 中国科学院合肥物质科学研究院 一种用于会议安保的巡逻机器人控制方法和系统
KR20210099864A (ko) * 2020-02-05 2021-08-13 한화디펜스 주식회사 무인 주행 로봇의 제어 방법 및 이 방법을 채용한 무인 주행 로봇
KR20220082668A (ko) * 2020-12-10 2022-06-17 왕형준 스마트 로봇을 이용한 방역 살균 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072612A (ja) * 2004-09-01 2006-03-16 Toshiba Corp 巡回ロボットおよび巡回方法
KR20120116178A (ko) * 2011-04-12 2012-10-22 삼성테크윈 주식회사 감시 시스템
CN109015638A (zh) * 2018-08-15 2018-12-18 中国科学院合肥物质科学研究院 一种用于会议安保的巡逻机器人控制方法和系统
KR20210099864A (ko) * 2020-02-05 2021-08-13 한화디펜스 주식회사 무인 주행 로봇의 제어 방법 및 이 방법을 채용한 무인 주행 로봇
KR20220082668A (ko) * 2020-12-10 2022-06-17 왕형준 스마트 로봇을 이용한 방역 살균 장치

Similar Documents

Publication Publication Date Title
WO2021010502A1 (ko) 로봇 및 그를 이용한 물품 관리 방법
WO2020256195A1 (ko) 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법
WO2019168336A1 (en) Autonomous driving apparatus and method thereof
WO2019208950A1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
WO2020138908A1 (ko) 전자 장치 및 그 제어 방법
WO2019031825A1 (ko) 전자 장치 및 그 동작 방법
WO2020241930A1 (ko) 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2021006368A1 (ko) 인공지능 기반의 에너지 사용량 예측 장치 및 예측 방법
WO2020262746A1 (ko) 인공지능 기반의 세탁 코스 추천 장치 및 그 제어 방법
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2021002499A1 (ko) 군집 로봇을 이용하여 사용자의 위치를 추적하는 방법, 태그장치 및 이를 구현하는 로봇
WO2021045271A1 (ko) 로봇
WO2020241934A1 (ko) 멀티 센서를 동기화시켜 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2019132410A1 (en) Electronic device and control method thereof
WO2019172645A1 (ko) 차량의 주행을 보조하는 전자 장치 및 방법
WO2019208965A1 (ko) 전자 장치 및 그 동작 방법
WO2021006404A1 (ko) 인공지능 서버
WO2019160396A2 (ko) 안내 로봇 및 안내 로봇의 동작 방법
WO2020027515A1 (ko) 속성 블록을 설정하는 이동 로봇
WO2020256180A1 (ko) 사용자 인식 기반의 유모차 로봇 및 그 제어 방법
WO2021040104A1 (ko) 로봇
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2018117514A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2020256169A1 (ko) 인공 지능을 이용하여, 안내 서비스를 제공하는 로봇 및 그의 동작 방법
WO2020241923A1 (ko) 사용자 환경에서의 음성 인식 모델의 성능을 예측하는 인공 지능 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22961060

Country of ref document: EP

Kind code of ref document: A1