WO2024053767A1 - 안내 로봇 및 안내 로봇의 동작방법 - Google Patents

안내 로봇 및 안내 로봇의 동작방법 Download PDF

Info

Publication number
WO2024053767A1
WO2024053767A1 PCT/KR2022/013568 KR2022013568W WO2024053767A1 WO 2024053767 A1 WO2024053767 A1 WO 2024053767A1 KR 2022013568 W KR2022013568 W KR 2022013568W WO 2024053767 A1 WO2024053767 A1 WO 2024053767A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
visitor
guide
guide robot
target
Prior art date
Application number
PCT/KR2022/013568
Other languages
English (en)
French (fr)
Inventor
박미현
김형진
이정현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2022/013568 priority Critical patent/WO2024053767A1/ko
Publication of WO2024053767A1 publication Critical patent/WO2024053767A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present invention relates to a guide robot and a method of operating the guide robot, and more specifically, to a guide robot and a method of operating the guide robot that can perform the function of explaining and guiding target exhibits within a predetermined space.
  • Guide robots drive autonomously without user intervention and provide various guidance services to users through, for example, voice conversation functions or interaction functions through touch screens.
  • one of the functions of the guide robot is a docent function that provides explanations or guidance related to a specific object.
  • the guide robot stores the viewing guide path and the designated location of the guide robot in advance.
  • the docent function starts, it moves to the designated location along the saved tour guide path and provides guidance related to a specific object. Provides explanation or guidance.
  • the designated location of the guide robot to perform the docent function is generally determined as the center location of a specific object or a random location within a certain range (i.e., margin range) around the center location.
  • the level of commentary could not be changed flexibly in consideration of the number, gender, age, etc. of the gathered visitors, resulting in a problem of lack of friendliness or understanding of the commentary.
  • the designated location is to prevent a situation in which the guide robot cannot arrive at the designated location.
  • the purpose is to provide a guide robot and a method of operating the guide robot that can continue the explanation function for the exhibits without delay by moving the guide robot by changing it more flexibly and appropriately.
  • a guide robot and a method of operating the guide robot that can flexibly modify content or viewing routes by monitoring the external characteristics of visitors, the degree of crowding, and the degree of concentration on the commentary.
  • the purpose is to provide.
  • a guide robot capable of responding to situations and a method of operating the guide robot are provided to maintain the concentration of visitors as much as possible while the commentary is being performed or while moving to the next exhibition for the explanation. It has a purpose.
  • a guide robot and a guide robot capable of independently determining and performing appropriate actions according to changes in the behavior of visitors or changes in the number of visitors while performing an interpretation function for an exhibit without additional input.
  • the purpose is to provide an operation method.
  • the guide robot Even if the guide robot according to the present disclosure recognizes a pre-stored designated location to perform the docent function, it can determine whether to modify the designated location based on surrounding visitor information, and can retain visitor information even after moving to the determined designated location. You can adjust the detailed position, posture, angle, and gaze accordingly.
  • the guide robot changes the tour guidance-related actions, such as changing speech content, modifying the tour guide route, or changing the next exhibition to be guided, depending on the characteristics of surrounding visitors, changes in visitor behavior, and visitor congestion. You can.
  • the guide robot includes a sensor for acquiring surrounding visitor information based on the current location of the robot, a processor for determining an arrival location related to the target exhibition based on the visitor information, and the determined It may include a traveling unit for moving the robot to the destination location.
  • the processor adjusts the posture or gaze direction of the robot to correspond to the direction of the visitor's face included in the visitor information at the determined arrival location, and performs the next operation based on the visitor information updated during speech about the target exhibit. can be decided.
  • the processor determines whether the detailed position of the robot needs to be adjusted based on the degree of congestion around the target exhibit at the determined arrival location, and after moving or confirming the detailed position according to the decision, You can adjust your posture or gaze direction
  • the processor controls the traveling unit to adjust the detailed position of the robot to be located at a predetermined distance away from the audience around the target exhibition. , the angle of the robot can be adjusted to face the target exhibit.
  • the processor determines that the guide robot cannot move to the candidate points of the first group corresponding to the pre-input POI, the processor provides a second method corresponding to the arrival location of the robot determined based on the visitor information.
  • One of the two groups of candidate points is determined as the detailed position of the robot, and the relationship between the candidate points of the second group may correspond to the relationship between the candidate points of the first group.
  • the guide robot further includes a display mounted on the front body and displaying visual information related to the target exhibit, and the processor responds to the fact that the degree of congestion around the target exhibit is greater than or equal to a predetermined range, The front body of the robot can be rotated so that the display faces the direction where the congestion level is below average.
  • the sensor for obtaining the visitor information may include one or more of a camera, a 3D depth camera, LIDAR, and a proximity sensor.
  • the guide robot includes a head unit located at the top and including a first display that displays changes in facial expressions of the robot, and is located between the head unit and the traveling unit to provide an explanation of the target exhibit. It can be divided into a body part including a second display that displays visual information related to, and the processor aligns the center of the body part so that the second display faces the direction of the visitor's face included in the visitor information, Based on the face density distribution included in the visitor information monitored during the speech, the display of the first display can be controlled so that the robot's gaze direction changes.
  • the processor may control the first display to adjust the robot's gaze direction so that it gazes longer at a point or area where the density distribution of the visitor's face is higher than the average.
  • the processor may adjust the traveling speed through the traveling unit so that the robot and the audience maintain a certain distance when the robot moves to the determined arrival location.
  • the guide robot further includes a speaker mounted on the guide robot and outputting speech about the target exhibition object
  • the processor is configured to: Characteristics may be analyzed, and one or more of the voice type, speech volume, and speech speed of speech may be adjusted through the speaker according to the analysis.
  • the processor analyzes changes in the visitor's facial expression or behavior included in the visitor information, and determines whether the speech content for the target exhibition is changed or the speech time is changed based on the degree of viewing concentration according to the analysis. You can decide whether to adjust it or not.
  • the guide robot may include a memory that stores information on a viewing route to be guided by the robot and a target exhibition to be explained within a designated space, and the processor may store information about the visitor information included in the visitor information. It is possible to determine whether to modify the stored viewing route based on the degree of congestion, and to change the next target exhibition based on the degree of congestion around the target exhibition to be explained.
  • the processor may determine whether to change the stored viewing route or regulation restriction guidance method based on the visitor's characteristics included in the visitor information.
  • the processor may determine whether to guide the user to the next target exhibition based on the number of remaining visitors included in the visitor information while speaking about the target exhibition.
  • the processor when the processor determines through the sensor that there are no remaining visitors included in the visitor information, the processor recognizes that the viewing route to be guided by the robot has been completed, and guides the viewing to the next target exhibition without guidance. You can quit .
  • the operating method of the guide robot may be implemented including the following steps.
  • the operating method includes obtaining information on surrounding visitors; determining an arrival location related to the target exhibit based on the visitor information and moving the robot to the determined arrival location; After the movement, adjusting the posture or gaze direction of the robot to correspond to the direction of the visitor's face included in the visitor information; and determining the next action based on visitor information updated while speaking about the target exhibition object.
  • moving the robot to the determined arrival location may include determining whether to modify the arrival location related to the target exhibit according to the degree of congestion included in the visitor information; Moving the robot to the next destination while maintaining a certain distance from the audience; and modifying the arrival location or robot posture based on the degree of congestion around the target exhibit.
  • the step of adjusting the posture or gaze direction of the robot to correspond to the direction of the visitor's face includes: monitoring the visitor's face through a sensor at the arrival location; Based on the monitoring results, modifying the arrival location or performing a determined motion at the current location; Based on the monitoring results, adjusting the voice type, speech volume, and speech speed of speech for the target exhibit; And it may include a step of starting speech while moving the robot's head or eye gaze direction left and right so that the robot gazes at a location or area with many visitors for a long time.
  • the step of determining the next action based on the updated visitor information includes analyzing the change in facial expression or behavior of the visitor included in the updated visitor information, and determining the speech content based on the degree of viewing concentration according to the analysis. or determining whether to modify the ignition time; determining whether to change the guided tour route or the next target exhibition based on the congestion level included in the updated visitor information; And based on the number of visitors included in the updated visitor information, it may include a step of determining whether to end the tour guidance.
  • the pre-stored designated location can be modified according to the number of visitors included in the surrounding visitor information and the degree of congestion around the target exhibition, and the guide robot is guided to the corresponding location. Even after moving, the detailed position can be adjusted according to the direction the visitor is looking, the level of crowding, and the location of the target exhibit, or the guide robot's posture, angle, and gaze processing can be adjusted appropriately. Accordingly, visitors receiving the service can feel a sense of familiarity similar to when a human docent performs the service, and can focus on viewing.
  • the characteristics of visitors gathered around the target exhibition are monitored, the voice type, volume, and speed are appropriate for the speech, and the concentration of the visitors is monitored to provide content.
  • the speech time visitors' concentration and understanding of content can be improved.
  • the docent effect can be increased by flexibly modifying the stored viewing guide route or the next target exhibition to be explained according to the viewing crowding level.
  • the next explanation when moving to the next target exhibition, the next explanation can be continued without delay by driving according to the visitor's movement speed, so that visitors receiving docent service You can maintain your concentration as much as possible.
  • the guidance robot can terminate the service on its own and move to a waiting position. Accordingly, there is no unnecessary waste of resources, and the awkward situation of continuing the docent even though there are no visitors is eliminated.
  • FIG. 1 is a diagram showing an example of a guidance robot related to the present invention.
  • Figure 2 is a block diagram showing an example configuration of a guidance robot related to the present invention.
  • Figure 3 is an example diagram showing a guide robot related to the present invention speaking for guidance or explanation of a target exhibition object based on visitor information.
  • Figure 4 is a representative flowchart of a method of operating a guidance robot related to the present invention.
  • FIGS. 5A, 5B, and 5C are conceptual diagrams for explaining how a guide robot related to the present invention modifies its arrival location in detail based on the degree of congestion around the exhibition object to be guided.
  • Figure 6 is an example concept diagram to explain that the guide robot related to the present invention looks at a location or area with more visitors for a longer period of time after moving to the destination location.
  • FIGS. 7A, 7B, and 7C are conceptual diagrams for explaining an example in which a guide robot related to the present invention moves its gaze direction to correspond to the direction of the visitor's face at the arrival location.
  • Figure 8 is a diagram showing detailed operations related to the guide robot related to the present invention determining the arrival location related to the target exhibition object and moving to the determined location.
  • Figure 9 is a diagram showing detailed operations related to the guide robot related to the present invention adjusting its posture or gaze direction according to the direction of the visitor's face after moving to the arrival location.
  • FIG. 10 is a diagram showing a detailed operation of a guide robot related to the present invention, including detailed operations related to determining the next operation based on visitor information updated before, during, or after speaking about a target exhibition object.
  • the "guidance robot" disclosed in this specification provides welcome greetings, directions, product guidance, and product search to users in various public places such as airports, shopping malls such as department stores, accommodations such as hotels, and cultural spaces such as art galleries and libraries. , refers to a robot that can provide various information such as parking information, airport information, docent information, and library information.
  • the “guidance robot” disclosed in this specification can perform autonomous driving on its own in order to guide users to roads, specific places, etc.
  • the "guidance robot" disclosed in this specification has the function of providing explanations related to target exhibits according to a preset guidance route within a designated space, the function of guiding visitors to the viewing route, etc., the function of listening to and answering visitors' inquiries, etc. (Including such functions, hereinafter referred to as 'docent functions') can be performed.
  • the guide robot may be used to mean a robot that performs a docent function.
  • the "guidance robot” disclosed herein uses various output means related to a touch screen, sound output unit, LED, tactile sensor, etc. in order to provide information or guidance to the user in various ways (visual, auditory, tactile). may include.
  • the “object exhibit” disclosed in this specification may include various types of displayed items that the guide robot seeks to guide, explain, and explain.
  • the target exhibit may refer to artwork, works, exhibits, works of art, new products, brand products, etc. displayed in a certain space such as a museum, art gallery, gallery, memorial hall, showroom, or mini store.
  • FIG. 1 is a diagram showing an example of a guidance robot related to the present invention.
  • the guidance robot 100 includes a head 102, a camera 121, a speaker 152, a voice recognition unit (not shown), a touch screen 151, and a traveling unit ( 130).
  • the guide robot 100 according to the present invention may be implemented by removing some of the means disclosed herein or by further including other means.
  • the appearance of the guidance robot 100 according to the present invention may largely include an upper module including a head 102 and a touch screen 151 and a lower module including a traveling unit 130.
  • the upper module and the lower module may be provided to be detachable from each other.
  • the upper module provides a user interface that can be changed depending on the service environment.
  • the lower module provides a driving function for movement of the guidance robot body.
  • the upper module again forms a body and can be divided into a body part equipped with a touch screen 151 and a head part 102 equipped with a camera 121, etc.
  • a camera may be provided on the body or a touch screen may be placed on the head 102.
  • the camera 121 may be provided on one side of the case of the head portion 102 or on one side of the case of the body portion. Additionally, a plurality of cameras 121 may be provided. In this case, one may be provided on the front of the main body and installed to face forward, and the other may be provided on the side or rear and installed to face side/rear. Accordingly, an angle of view in the 360 range can be formed.
  • the first camera may include, for example, a 3D stereo camera.
  • the 3D stereo camera can perform functions such as obstacle detection, user face recognition, and stereoscopic image acquisition.
  • the guidance robot 100 can detect and avoid obstacles in its direction of movement using the first camera, and can recognize the user to perform various control operations.
  • the second camera may include, for example, a SLAM (Simultaneous Localization And Mapping) camera.
  • the slam camera tracks the current location of the camera through feature point matching and creates a 3D map based on this.
  • the guidance robot 100 can determine its current location using the second camera.
  • the camera 121 can recognize objects within the viewing angle range and perform photo and video shooting functions.
  • the camera 121 may include at least one of a camera sensor (eg, CCD, CMOS, etc.), a photo sensor (or image sensor), and a laser sensor.
  • the camera 121 and the laser sensor can be combined with each other to detect the touch of the sensing object for a 3D stereoscopic image.
  • a photo sensor can be laminated on the display element, and this photo sensor is configured to scan the movement of a detection object close to the touch screen. More specifically, the photo sensor mounts photo diodes and TR (transistors) in rows/columns and scans the contents placed on the photo sensor using electrical signals that change depending on the amount of light applied to the photo diode. In other words, the photo sensor calculates the coordinates of the sensing object according to the amount of change in light, and through this, location information of the sensing object can be obtained.
  • the sound output unit 152 performs a function of informing the user of information to be provided by voice, and may be in the form of a speaker, for example. Specifically, the response or search result corresponding to the user's voice received through the audio receiver 122 and the voice recognition unit (not shown) provided in the guidance robot 100 is output as a voice through the audio output unit 152. do.
  • This sound output unit 152 may be provided on the outer peripheral surface of the head unit 102 or the body unit provided with the touch screen 151. Additionally, the sound output unit 152 may output sound information related to a screen (eg, menu screen, advertisement screen, etc.) displayed on the touch screen 151.
  • the sound receiver 122 performs a function of receiving a user's voice, etc., and may be in the form of a microphone, for example.
  • the audio receiver 122 processes external audio signals into electrical audio data, and various noise removal algorithms can be implemented to remove noise generated in the process of receiving external audio signals.
  • the touch screen 151 may be located longitudinally in one direction of the body and may display a screen to provide visual information, for example, guidance information. Additionally, the touch screen 151 may include a display module, a touch sensor, and a pressure sensor.
  • the touch screen 151 may be implemented to open and close the interior of the body portion, for example, by combining it with a movement guide means. Additionally, the touch screen 151 may be implemented to be fastened to the body using, for example, a fixing member.
  • the touch screen 151 is provided at the rear with respect to the head 102.
  • it may be additionally provided at the rear in addition to the front.
  • the head 102 may be rotated 180 degrees before moving along the set path, thereby changing the appearance of the touch screen 151 as if it were located at the rear.
  • the touch screen 151 performs a function of displaying visual information (e.g., route information, inquiry information) related to the currently provided service. While moving along the guidance robot 100, the user can view the touch screen 151 installed at the rear of the guidance robot 100.
  • visual information e.g., route information, inquiry information
  • the touch screen 151 may be provided on both the front and rear sides of the main body, respectively.
  • the first touch screen provided on the front of the main body and the second touch screen provided on the rear of the main body have different screens (e.g., a screen for interacting with the user on the first touch screen, an advertising screen on the second touch screen, etc.) This can be displayed.
  • a display unit may be provided on the front of the head unit 102 to display various facial expression changes of the guide robot.
  • the traveling unit 130 moves and rotates the main body of the guidance robot 100.
  • the traveling unit 130 may include a plurality of wheels and a driving motor.
  • the driving of the traveling unit 130 is controlled according to control commands received by the processor, and notifications may be provided through output means such as LED before and after driving.
  • Figure 2 is a block diagram showing an exemplary detailed configuration of a guidance robot related to the present invention.
  • the guidance robot 100 includes a communication unit 110, an input unit 120, a traveling unit 130, a sensing unit 140, an output unit 150, a memory 170, a processor 180, and a power unit ( 190), etc. may be included.
  • the components shown in FIG. 2 are not essential for implementing the guide robot, so the guide robot described herein may have more or less components than the components listed above.
  • the communication unit 110 may include one or more modules that enable wireless communication between the guidance robot 100 and an external server, for example, an artificial intelligence server, or an external terminal. Additionally, the communication unit 110 may include one or more modules that connect the guidance robot 100 to one or more networks.
  • the communication unit 110 includes, for example, Wireless LAN (WLAN), Wireless-Fidelity (Wi-Fi), Wireless Fidelity (Wi-Fi) Direct, Digital Living Network Alliance (DLNA), Wireless Broadband (WiBro), and WiMAX ( Uses wireless Internet communication technologies such as World Interoperability for Microwave Access (HSDPA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), and Long Term Evolution-Advanced (LTE-A). This allows communication with artificial intelligence servers, etc.
  • WLAN Wireless LAN
  • Wi-Fi Wireless Fidelity
  • Wi-Fi Wireless Fidelity
  • DLNA Digital Living Network Alliance
  • WiBro Wireless Broadband
  • WiMAX Uses wireless Internet communication technologies such as World Interoperability for Microwave Access (HSDPA), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), and Long Term Evolution-Adv
  • the communication unit 110 uses short-range communication technologies such as BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and Near Field Communication (NFC). You can use to communicate with external terminals, etc.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the input unit 120 includes a camera 121 or video input unit for inputting video signals, a sound receiving unit 122 for inputting audio signals, for example, a microphone, and a user input unit (not shown) for receiving information from a user. , for example, touch keys, push keys (mechanical keys, etc.). Signal data, voice data, and image data collected by the input unit 120 may be analyzed and processed into control commands.
  • the traveling unit 130 moves and rotates the main body of the guidance robot 100.
  • the traveling unit 130 may include a plurality of wheels and a driving motor.
  • the driving of the traveling unit 130 is controlled according to control commands received by the processor 180, and notifications may be provided through the light output unit 153, such as an LED, before and after driving.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information within the guidance robot, information on the surrounding environment surrounding the guidance robot, and user information.
  • the sensing unit 140 includes a proximity sensor 141, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and a gravity sensor ( G-sensor, gyroscope sensor, motion sensor, RGB sensor, infrared sensor, fingerprint scan sensor, ultrasonic sensor, optical Sensors (optical sensors, e.g., cameras (see 121)), microphones, battery gauges, environmental sensors (e.g., barometers, hygrometers, thermometers, radiation sensors, heat sensors, gas It may include at least one of a detection sensor, etc.), a chemical sensor (e.g., an electronic nose, a healthcare sensor, a biometric sensor, etc.).
  • the guidance robot disclosed in this specification can utilize information sensed by at least two of these sensors by combining them.
  • the sensing unit 140 may include a driving-related sensor 142 that
  • the proximity sensor 141 examples include a transmissive photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high-frequency oscillation type proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. Additionally, the proximity sensor 141 may include at least one of a navigation camera, an ultrasonic sensor, a lidar, and a ToF sensor, through which the approach and location of a sensing object (eg, a user) can be recognized.
  • a navigation camera an ultrasonic sensor
  • a lidar and a ToF sensor
  • the sensing unit 140 may include a visitor information collection sensor 143.
  • the visitor information collection sensor 143 may include two or more sensors.
  • Examples of the visitor information collection sensor 143 may include one or more sensors among a camera, a 3D depth camera, LiDAR, and a proximity sensor 141.
  • the visitor information collection sensor 143 may collect visitor information using one or two or more sensors.
  • the collected visitor information includes, for example, the degree of visitor congestion in the space, the direction of the visitors' faces, the external characteristics of the visitors, the density of visitors around the target exhibition, the degree of concentration of visitors, the composition of the visitors, gender, and age. It can be included. Additionally, the visitor information collection sensor 143 can detect changes in visitors listening to explanations about the target exhibition, for example, when the number of visitors increases, changes, or moves to another location.
  • the visitor information collected by the visitor information collection sensor 143 may be provided to the processor 180 or stored in the memory 170.
  • the processor 180 may modify the arrival location of the guide robot 100, change the movement speed, or adjust the posture, angle, and gaze at the arrival location, based on or analyzing the received or stored visitor information.
  • the docent speech can be performed by selecting the content content, voice type, volume, speed, etc. of the speech that corresponds to the characteristics of the target audience.
  • the processor 180 can adjust the speech content or speech time based on visitor information acquired continuously and in real time, and can selectively change the viewing guide path or the next target exhibition.
  • the processor 180 may determine viewing crowding and/or viewing concentration based on visitor information, and determine whether to continue viewing guidance based on the judgment.
  • the output unit 150 is intended to generate output related to vision, hearing, or tactile senses, and may include at least one of a touch screen 151, an audio output unit 152, and an optical output unit 153.
  • the touch screen 151 can implement a touch screen by forming a layered structure or being integrated with the touch sensor. This touch screen can function as a user input unit that provides an input interface between the guidance robot 100 and the user and at the same time provide an output interface.
  • a docent's speaking voice may be output through the sound output unit 152, and visual information related to the target exhibition guide or a prompt corresponding to the docent's calling voice may be displayed through the touch screen 151.
  • the light output unit 153 uses light from a light source to output a signal to notify the occurrence of an event in the guidance robot 100. For example, when a movement command is transmitted to the traveling unit 130 of the guidance robot 100, a signal for notifying movement is output through the optical output unit 153.
  • the processor 180 may include an AI learning unit 181 (not shown) to perform operations related to the artificial intelligence technology of the guidance robot.
  • the AI learning unit 181 may be configured to receive, classify, store, and output information to be used for data mining, data analysis, intelligent decision-making, and machine learning algorithms and technologies.
  • the AI learning unit 181 receives, detects, detects, generates, and stores predefined information or information output in other ways through the guidance robot, or receives and detects information through other configurations, devices, and terminals. , may include one or more memory units configured to store sensed, generated, predefined or output data.
  • the AI learning unit 181 may be integrated into a guidance robot or may include memory. In one embodiment, the AI learning unit 181 may be implemented through the memory 170. However, it is not limited to this, and the AI learning unit 181 may be implemented in an external memory related to the guidance robot 100, or may be implemented through a memory included in a server capable of communicating with the guidance robot 100. In another embodiment, the AI learning unit 181 may be implemented through memory maintained in a cloud computing environment, or other remote memory accessible by the guidance robot through a communication method such as a network.
  • AI learning unit 181 is typically used to identify, index, classify, manipulate, store, retrieve, and output data for use in supervised or unsupervised learning, data mining, predictive analytics, or other machine learning techniques. This is done to store it in one or more databases.
  • the information stored in the AI learning unit 181 is processed by a processor 180 or a plurality of processors included in the guidance robot using at least one of different types of data analysis, machine learning algorithms, and machine learning technologies. It can be used. Examples of such algorithms and techniques include the k-Nearest neighbor system, fuzzy logic (e.g., possibility theory), neural networks, and Boltzmann machines.
  • the processor 180 may determine or predict executable operations of the guidance robot based on information determined or generated using data analysis, machine learning algorithms, and machine learning technology. To this end, the processor 180 may request, search, receive, or utilize data from the AI learning unit 181. Processor 180 may perform a variety of functions, such as implementing knowledge-based systems, reasoning systems, and knowledge acquisition systems, systems for uncertain inference (e.g., fuzzy logic systems), adaptive systems, machine learning systems, artificial intelligence systems, etc. It can perform a variety of functions, including neural networks.
  • functions such as implementing knowledge-based systems, reasoning systems, and knowledge acquisition systems, systems for uncertain inference (e.g., fuzzy logic systems), adaptive systems, machine learning systems, artificial intelligence systems, etc. It can perform a variety of functions, including neural networks.
  • the processor 180 may be configured to enable speech and natural language processing, such as an I/O processing module, an environmental conditions module, a speech-to-text (STT) processing module, a natural language processing module, a workflow processing module, and a service processing module.
  • Each of the sub-modules may have access to one or more systems or data and models, or a subset or superset thereof, in the guidance robot.
  • objects to which each of the sub-modules has access rights may include scheduling, vocabulary index, user data, task flow model, service model, and automatic speech recognition (ASR) system.
  • ASR automatic speech recognition
  • the processor 180 is configured to detect and detect what the user requests based on the user's intention or a context condition expressed in user input or natural language input based on data from the AI learning unit 181. It could be.
  • the processor 180 configures the components of the guidance robot to execute the determined operation. You can control them.
  • the processor 180 may execute the determined operation by controlling the guide robot based on the control command.
  • the memory 170 stores data supporting various functions of the guidance robot 100.
  • the memory 170 may store a plurality of application programs (application programs or applications) running on the guidance robot 100, data for operating the guidance robot 100, and commands. Additionally, the memory 170 may store variable call words for performing a voice conversation function with a user.
  • the memory 170 may store information, data, and programs related to the docent function of the guide robot 100.
  • Information or data related to the docent function may include, for example, information on a viewing guide route, target exhibits, and designated locations for each target exhibit.
  • the memory 170 is, for example, a flash memory type, a hard disk type, a solid state disk type, an SDD type (Silicon Disk Drive type), and a multimedia card micro type ( multimedia card micro type), card type memory (e.g. SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), EEPROM ( It may include at least one type of storage medium among electrically erasable programmable read-only memory (PROM), programmable read-only memory (PROM), magnetic memory, magnetic disk, and optical disk.
  • PROM electrically erasable programmable read-only memory
  • PROM programmable read-only memory
  • magnetic memory magnetic disk
  • optical disk optical disk.
  • the processor 180 typically controls the overall operation of the guidance robot 100, in addition to operations related to the application program.
  • the processor 180 processes signals, data, information, etc. input or output through the components discussed above, runs an application program stored in the memory 170, or controls the driving unit 130 to provide the user with appropriate information or information. Functions can be provided or processed.
  • the power supply unit 190 receives external power and internal power under the control of the processor 180 and supplies power to each component included in the guidance robot 100.
  • This power unit 190 may include a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the above components may operate in cooperation with each other to implement the operation, control, or control method of the guide robot according to various embodiments described below. Additionally, the operation, control, or control method of the guide robot may be implemented on the guide robot by driving at least one application program stored in the memory 170.
  • various embodiments disclosed below may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware, or a combination thereof.
  • Figure 3 is an example diagram showing the guidance robot 100 related to the present invention speaking for guidance or explanation of a target exhibition object based on visitor information.
  • the guide robot 100 may determine the arrival location based on visitor information, move to the determined arrival location, and then repeat the correction and movement of the detailed location.
  • the guide robot 100 may acquire information about surrounding visitors through the visitor information collection sensor 143, which includes sensors such as cameras and proximity sensors.
  • facial recognition for example, through the camera of the visitor information collection sensor 143, facial recognition, facial direction, facial expression (mood), gender, age group, and specific motion/gesture of surrounding visitors can be detected.
  • information on the number of nearby visitors and the distance between the visitors and the guide robot 100 can be obtained through one of the lidar, proximity sensor, 3D camera, or general camera of the visitor information collection sensor 143.
  • the visitor information includes the number of visitors through image analysis, viewing congestion, visitor distribution (for the target exhibition), and the external characteristics of the visitors (e.g., gender, age group, whether or not they are wearing a mask, whether they have a stroller, or whether they are accompanied by children). , use of assistive devices (wheelchair, crutches, etc.)), changes in behavior and expression using facial recognition algorithms, gaze direction, etc.
  • the visitor information may include the degree of separation from the position of the guide robot 100, that is, distance information, and the facial direction corresponding to the gaze direction of the guide robot 100, that is, angle information.
  • the processor 180 (FIG. 2) of the guide robot 100 may determine the arrival location of the guide robot 100 in consideration of the stored designated location based on various visitor information.
  • the guide robot 100 may determine the stored designated location as the arrival location.
  • the guide robot 100 may determine the stored designated location as the arrival location.
  • another location or area facing the target exhibit with low viewing congestion may be determined as the destination location.
  • the arrival location may be modified depending on the viewing congestion in the space 10.
  • the viewing crowding level may be determined according to the analysis of the above-described visitor information. Specifically, the viewing crowding level may be determined by analyzing the number of visitors included in the image acquired through the visitor information collection sensor 143 (FIG. 2), or based on the current number of visitor admissions received through the communication unit 110. You can.
  • the processor 180 detects visitors 310 present around the target exhibition 320 at the determined arrival location. ) Based on the visitor information, it is possible to determine whether to modify the detailed position of the guide robot 100, and adjust the robot's posture or gaze direction to correspond to the facial direction of the visitor 310.
  • the guide robot 100 monitors the direction of the face of the visitor 310 in the camera's viewing angle range 330 at the arrival location P or the modified detailed location.
  • the posture of the guide robot 100 is adjusted to an angle that allows viewing the target exhibition 320 while maintaining a certain distance from the visitor 310, and the gaze of the guide robot 100 is aligned so that the gaze faces the face of the visitor 310. Handles direction.
  • the processor 180 of the guidance robot 100 may be used to control the body part equipped with the touch screen 151 to rotate and/or the head part through which the facial expression or gaze of the guidance robot 151 is expressed. there is.
  • the guidance robot 100 analyzes the external characteristics of the visitor 310, and according to the analysis, the voice type of the utterance (child voice type, adult voice type, etc.), utterance The volume (speech size) and speech speed can be varied.
  • the guide robot 100 may determine the next action based on continuously updated visitor information while speaking about the target exhibition object 320.
  • the guidance robot 100 may further change the explanation position (e.g., when more visitors gather) or change the direction of gaze (e.g., when a change in visitor density is detected).
  • the speech content can be changed or the speech time can be adjusted.
  • the guide robot 100 changes the object to be guided next, modifies the tour guide route (or tour guide sequence), or provides guidance on movement or restrictions to the visitor. You can select or decide whether to end the viewing guide.
  • Figure 4 is a representative flowchart of a method of operating a guidance robot related to the present invention.
  • steps 410 to 440 shown in FIG. 4 may be repeatedly performed several times, for example, as many times as the number of target exhibits, until the docent service ends.
  • the guide robot 100 when the docent function is started, the guide robot 100 according to the present disclosure recognizes the viewing route, the target exhibition, and the robot's moving position pre-stored in memory, etc., based on the current location (410).
  • the guide robot 100 determines the arrival location related to the target exhibition based on visitor information acquired through a sensor (e.g., visitor information collection sensor 143), and the arrival location determined through the traveling unit 130.
  • the guidance robot can be moved (420).
  • the guide robot 100 recognizes the target exhibition and its designated location stored based on the current location, determines whether to modify the designated location based on visitor information, and determines whether to modify the designated location based on the decision. Decide on your arrival location.
  • the guide robot 100 controls the traveling unit 130 and moves to the determined arrival location while adjusting the traveling speed to maintain a certain distance from the visitor. For example, the guide robot 100 monitors the visitor's moving speed and moves to the destination location while adjusting the running speed to be close to the overall average moving speed (i.e., neither too slow nor too fast than the overall average moving speed). . In this way, the docent effect can be increased by adjusting the traveling speed of the guide robot 100 according to the moving speed of the visitor.
  • the determined arrival location may be modified based on visitor information collected in real time even while the guide robot 100 moves at a certain distance from the visitor. For example, if visitors arrive at the arrival location first and the number of visitors leaves or increases during movement, the arrival location may be modified again.
  • the processor 180 sets the posture of the guidance robot 100 to correspond to the facial direction of the visitor included in the visitor information at the arrival location. Or adjust the gaze direction (430).
  • the processor 180 can move to the determined arrival location, recognize the faces of visitors gathered around the target exhibition, and monitor the recognized faces and facial directions.
  • the guide robot 100 can prepare to start speaking by selecting a speaking voice type, speaking volume, and speaking speed suitable for the visitor before starting speaking about the target exhibition object.
  • the guide robot 100 may obtain the composition of the audience (e.g., family status, whether the target is a child, etc.), gender, and age group as visitor information based on the results of monitoring the face and facial direction.
  • the composition of the audience e.g., family status, whether the target is a child, etc.
  • gender e.g., gender
  • age group e.g., age group
  • the processor 180 of the guide robot 100 analyzes visitor characteristics corresponding to visitor information before starting speech about the target exhibition object, and utterance is output through the speaker of the guide robot 100 according to the analysis. You can adjust one or more of the voice type, speaking volume, and speaking speed.
  • the guidance robot 100 can change/control the linked TTS engine to select a voice type appropriate for the composition, gender, and age group of the acquired audience, and the speech volume appropriate for the acquired composition, gender, and age group of the audience.
  • the sound output unit 152 of the guide robot 100 can be controlled to output a voice at the speech rate.
  • Doston speech can be performed using TTS of a child's voice.
  • the docent speech may be performed by lowering the speech rate and increasing the speech volume. Accordingly, as customized docents become possible, the docent effect can be increased and the viewer's viewing concentration can be improved.
  • the guide robot 100 may adaptively determine the next action to be performed based on continuously updated visitor information while speaking about the target exhibition object (440).
  • speaking about the target exhibit may include a step of preparing the explanation before the guide robot 100 starts explaining the target exhibit. Additionally, depending on the embodiment, speaking about the target exhibit may include a certain period of time after the guide robot 100 finishes explaining the current target exhibit and before moving to the next target exhibit.
  • the next action includes a specific action that is judged to be appropriate for the situation or a change in the robot's current action based on the visitor information collected during the preparation for speaking about a specific target exhibit, during speaking, and for a certain period of time after speaking. can do.
  • the processor 180 of the guide robot 100 analyzes the facial expressions and actions of the visitors included in the updated visitor information, determines the viewer's viewing concentration according to the analysis, and determines the speech content or speech time. You can decide whether to modify it or not. For example, if it is determined that the visitor's expression is boring, the docent's speech can be continued by changing to content that arouses interest.
  • the processor 180 of the guide robot 100 may change the content information to be uttered by analyzing the external characteristics of the visitor included in the updated visitor information. For example, as a result of analyzing the external characteristics of visitors, the viewing guide route is changed to a route that is comfortable for visitors, or guidance on regulations is explained in accordance with violations of restrictions (e.g., no animals allowed, no kids zone). can do
  • the processor 180 of the guide robot 100 may determine whether to change the viewing guide route or the next target exhibition according to the degree of congestion included in the updated visitor information. For example, if the elevator is crowded, you can be directed to move to the next target exhibit through another means (e.g., stairs). Or, for example, if the area around the target exhibition in the next order is very crowded, the explanation for it can be skipped or changed to a later order to guide the viewing movement route.
  • the processor 180 of the guide robot 100 may determine whether to end the tour guide based on the number of visitors in the updated visitor information. For example, when there is no visitor left, the guide robot 100 may end the tour guide at the current location and then move to the designated waiting location (or initial location). Accordingly, there is no unnecessary waste of resources, and the awkward situation of continuing the docent service even though there are no visitors using the docent service is eliminated.
  • FIGS. 5A, 5B, and 5C are conceptual diagrams for explaining how a guide robot related to the present invention modifies its arrival location in detail based on the degree of congestion around the exhibition object to be guided.
  • Figure 5a shows a designated location pre-entered into the guide robot 100 capable of performing a docent function, and shows a specific POI point and an area within a certain range around it.
  • 5B and 5C show the arrival location, angle, and posture of the guide robot 100 according to the present disclosure modified according to visitor information, particularly viewing crowding.
  • the processor 180 of the guidance robot 100 determines whether it can move to the candidate points of the first group corresponding to the POI pre-entered into the guidance robot, and if it cannot move (e.g., presence of visitors, high visitor congestion) In this case, one of the candidate points of the second group corresponding to the arrival location of the robot determined based on visitor information may be determined as the detailed location of the robot.
  • the relationship between the candidate points of the second group corresponds to the relationship between the candidate points of the first group.
  • the candidate points of the second group are the determined candidate arrival locations 502, 503, and 504 shown in FIGS. 5B and 5C
  • the candidate points of the first group are the pre-entered (pre-stored) locations shown in FIG. 5A.
  • the designated location (501) is the designated location (501).
  • the number, spacing, etc. of a plurality of candidate points within the determined candidate arrival locations 502, 503, and 504 may match the number, spacing, etc. of a plurality of candidate points corresponding to the designated location 501.
  • the guide robot 100 selects the POI point pre-entered for the target exhibition 520 or the area around the POI point. That is, the pre-stored designated location 501 is determined as the destination location.
  • the guide robot (100) determines the arrival location as a location or area with low viewing congestion according to the location, congestion, and congestion type of the visitor included in the visitor information. For example, As shown in FIG. 5b, when the crowding of visitors 510 is above a certain value and the right and center are more crowded, the guide robot 100 selects a region on the left side of the target exhibit 520 where the target exhibit can be viewed. The candidate location 502 may be determined as the destination location.
  • the candidate location 502 may be determined as a location(s) maintaining a certain distance (margin distance) from the visitor 510, as shown.
  • the guide robot 100 may align its posture or angle in the direction in which it faces the target exhibition object 510. At this time, depending on the type of visitor congestion around the target exhibition 510, the posture or angle of the guide robot 100 may be modified.
  • the arrival location of the guide robot 100 is (a) the left candidate location 503 based on the target exhibition 520.
  • the posture or angle (R1) is adjusted so that the body or touch screen of the guidance robot faces to the right, and (b) when the right candidate position 504 is determined, the body or touch screen of the guidance robot faces to the left.
  • the body part or the touch screen of the guide robot 100 rotates the traveling part to face a non-congested position or area, thereby changing the detailed position or posture/angle. can be modified. This allows the docent to be performed in a more orderly manner by encouraging the audience 510 to move to a location or area that is not congested.
  • the processor 180 of the guide robot 100 determines whether the detailed position of the robot needs to be adjusted based on the degree of congestion around the target exhibition object 520, and moves to the detailed position according to the decision or, after confirmation, The posture or gaze direction of the guidance robot 100 can be adjusted.
  • the guide robot 100 controls the traveling unit 130 to keep the audience 510 around the target exhibition 520 a certain distance away. After adjusting the detailed position of the robot so that it is located at a point, the posture or angle of the robot can be adjusted so that it faces the target exhibit 520.
  • Figure 6 is an example concept diagram to explain that the guide robot related to the present invention looks at a location or area with more visitors for a longer period of time after moving to the destination location.
  • the guidance robot 100 can be divided into a head portion 102 and a body portion 103, and the head portion 102 is located at the top of the robot to provide gaze and facial expressions. It may include a first display 151a that can display changes.
  • the body portion 103 is located between the head portion 102 and the traveling portion 130 and may include a second display 151b that displays visual information related to a description of the target exhibit 620. .
  • the body portion 103 may be implemented to include a second display provided on the front and a third display provided on the rear.
  • the visitor 610 can be located either in front or behind the guide robot 100, so the docent effect can be improved even when there are many visitors or viewing congestion is high.
  • the guide robot 100 After moving to the determined arrival location, the guide robot 100 rotates the camera or rotates the body part 103 or the head part 102 on which the camera is mounted in the left and right directions in order to monitor the visitors gathered around the target exhibition. You can. Next, the guide robot 100 recognizes the visitor's face and controls the traveling unit 130 to adjust the detailed position or posture or angle of the guide robot 100 according to monitoring of the facial direction of the recognized face. can do.
  • the processor 180 of the guide robot 100 aligns the center of the body portion 103 so that the second display 151b of the body portion 103 faces the face direction of the visitor 610 included in the visitor information. can do.
  • the processor 180 may rotate the driving wheel of the traveling unit 130 to correct the posture of the body unit 103 so that the center of the body unit 103 faces the viewer 610.
  • the guide robot 100 displays the first display so that the gaze direction of the guide robot 100 changes based on the facial density distribution included in the monitored visitor information.
  • the display of (151a) can be controlled.
  • the processor 180 of the guide robot 100 controls the display of the first display 151a of the head unit 102, so that the guide robot 100 determines the average face density distribution of the visitors 610.
  • the robot's gaze direction can be adjusted to keep an eye on the abnormal point or area for a longer period of time.
  • the guide robot 100 may display the gaze direction on the first display 151a so that the visitor 610 can look at a location or area with a high density of faces for a longer period of time. there is. In this way, by directing the gaze of the guide robot 100 to a place where many visitors gather for a long time, it is possible to provide a natural and smart docent effect as if making eye contact with visitors and giving explanations.
  • the guide robot 100 continuously monitors the visitors 610 even after the docent starts talking about the target exhibition 620, and when a change in the density distribution of the visitors' faces is detected as a result of the monitoring, the information is detected. Based on the change, the gaze direction and distribution of gaze directions on the first display 151a can be readjusted.
  • the guide robot 100 monitors the visitor 610 and analyzes the change in facial expression of the visitor 610, so that the head unit 102 directs its gaze longer or more frequently to the visitor with high viewing concentration. ) can be rotated or the gaze direction can be displayed on the first display 151a.
  • value/level data related to concentration corresponding to various facial expression changes of visitors may be stored in advance in the memory 170 of the guide robot 100.
  • FIGS. 7A, 7B, and 7C are conceptual diagrams for explaining an example in which a guide robot related to the present invention moves its gaze direction to correspond to the direction of the visitor's face at the arrival location.
  • the gaze direction or gaze direction displayed on the first display 151a of the guide robot 100 is as shown in FIGS. 7A to 7C, where the guide robot 100 is positioned at the current location of the visitors (P1, P2, and P3). Changes in eye movement of the guide robot 100 displayed on the first display 151a are displayed as if looking in the direction of the face.
  • an image of the eyes facing (looking at) the first visitor (P1) on the right is used. It can be displayed on the first display 151a.
  • the eyes are directed (watching) to the second visitor (P2) in the center.
  • An image may be displayed on the first display 151a.
  • the eyes are directed (watching) to the third visitor (P3) on the left.
  • An image may be displayed on the first display 151a.
  • the guide robot 100 moves its gaze back to the left and right, monitors the visitor's face and facial direction, and performs the above-mentioned actions while performing the docent speech. Repeat the process.
  • face tracking of the visitor may be performed for a certain period of time so that the gaze of the guide robot 100 is directed to the moving visitor.
  • the guide robot can perform natural gaze processing without looking at an empty space.
  • FIGS. 8, 9, and 10 detailed operations for each step included in the flowchart of FIG. 4 described above will be described in detail.
  • Each detailed operation shown in FIGS. 8, 9, and 10 may be performed as a series of detailed operations, or each detailed operation may be performed independently as a separate embodiment, and some detailed operations may be omitted or other detailed operations may be performed. It may also be performed including detailed operations.
  • the detailed operations in the drawings shown in FIG. 10 are not shown to follow a specific order, and the detailed operations may be performed in an order different from the illustrated order.
  • Figure 8 is a diagram showing detailed operations related to the guide robot related to the present invention determining the arrival location related to the target exhibition object and moving to the determined location. In other words, detailed operations related to step 420 of the flowchart of FIG. 4 are shown.
  • the guide robot 100 may determine whether to modify the arrival location of the robot related to the exhibition object to be guided according to the viewing congestion level included in the visitor information (421).
  • the guide robot 100 may operate to modify the detailed location of the arrival location based on visitor information and/or modify the detailed location of the arrival location based on the viewing mix around the target exhibition.
  • modifying the detailed location of the arrival location based on the visitor information means modifying the detailed location of the robot so that it maintains a certain distance from the visitor, and providing guidance based on the facial direction of the visitor monitored at the arrival location. This may include modifying the robot's posture or angle.
  • modifying the detailed position of the arrival location based on the viewing mix around the target exhibition means modifying the detailed position and angle (posture) of the current guide robot according to the viewing congestion and congestion type monitored at the arrival location.
  • the processor 180 of the guide robot 100 may determine whether to change the viewing guide route or the next target exhibition according to the viewing congestion level included in the updated visitor information.
  • the guidance robot 100 is smooth and smart according to the spatial congestion according to the number of visitors, the congestion of transportation collected by communicating with the elevator for inter-floor movement, and the visitor congestion based on the direction of travel of the guidance robot.
  • the viewing order, route, and exhibits to be explained can be adaptively changed so that one docent can perform.
  • the guide robot 100 moves to the determined arrival location while driving to maintain a certain distance from the visitor (422).
  • the guide robot 100 may provide advance guidance to visitors ahead of the location of the next target exhibition.
  • the guide robot 100 can adjust its running speed based on distance information between the visitor and the current location of the robot, and use the distance information to modify the detailed location of the guide robot or set or change the speech volume.
  • the position of the guide robot can be adjusted by moving the guide robot back and forth so that the visitor and the robot maintain a certain separation distance.
  • the speaking volume for guidance can be increased based on the distance information or information on the number of visitors following.
  • the guide robot 100 may modify the arrival location or robot posture based on the degree of congestion around the target exhibition (423).
  • the arrival location can be modified to a less crowded location or area based on the type of congestion.
  • the guide robot can keep an eye on a less crowded location or area and allow visitors to move to a less crowded location.
  • the posture of the guide robot can be modified so that it is within a direction where the density of visitors' faces is high or crowded and where the target exhibit can be viewed.
  • FIG. 9 is a diagram showing detailed operations related to the guide robot related to the present invention adjusting its posture or gaze direction according to the direction of the visitor's face after moving to the arrival location.
  • FIG. 9 shows detailed operations related to step 430 of the flowchart of FIG. 4.
  • the guide robot monitors the faces of nearby visitors at the arrival point (431).
  • the guide robot 100 monitors the faces and facial directions of visitors gathered around the target exhibition object through a vision sensor such as a camera while moving the head portion or the gaze direction of the head portion left and right.
  • a vision sensor such as a camera
  • the guidance robot may modify the arrival location or perform a determined motion at the current location (432).
  • the determined motion refers to performing a specific predetermined action (e.g., moving the head left or right) or changing facial expression (e.g., blinking eyes), which may be an indication of recognizing that the arrival location has been confirmed.
  • the guide robot 100 may selectively adjust the voice type, speech volume, and speech speed of speech for the target exhibit based on the monitoring (433).
  • the guide robot 100 can check visitor information around the target exhibition, for example, the main composition of the visitors (e.g., family status, whether children are included, etc.), gender, and age group. .
  • the main composition of the visitors e.g., family status, whether children are included, etc.
  • gender e.g., gender, and age group.
  • the voice type of speech can be selected using a TTS engine linked to the guidance robot so that the voice appropriate for the visitor's gender and age is automatically selected. Accordingly, a docent service that is more friendly to visitors can be provided.
  • the speaking volume can increase as the number of visitors increases, the distance from the robot increases, and the age of the visitors increases. Additionally, the speech rate may be lower than the standard value when the age group of the visitors is lower or higher than the average or when the main composition of the visitors is family.
  • the guide robot 100 may start speaking while moving the robot's head or eye gaze direction to the left or right so that the guide robot 100 can look at a location or area with many visitors for a long time (434). Through such actions before the start of speech, the concentration of the audience can be further improved.
  • FIG. 10 is a diagram showing a detailed operation of a guide robot related to the present invention, including detailed operations related to determining the next operation based on visitor information updated before, during, or after speaking about a target exhibition object.
  • FIG. 10 shows detailed operations related to step 440 of the flowchart of FIG. 4.
  • the guide robot 100 can continuously and in real time obtain and update visitor information through a vision sensor such as a camera.
  • the guide robot 100 analyzes changes in the visitor's facial expression or behavior included in the updated visitor information, and determines whether to modify the speech content or speech time based on the degree of viewing concentration according to the analysis. (441).
  • the initial speech content may be selected according to the characteristics of the audience, such as the main composition of the audience, age group, etc. according to the monitoring of the audience. For example, if the audience's age is lower or higher than the standard, the content difficulty can be lowered to initiate speech.
  • the guide robot 100 While performing a docent speech according to such initial speech content, if boredom or lack of understanding is detected in the facial expression and/or behavior of the monitored visitor, the guide robot 100 does not stop speech of the content and includes fun elements. You can continue your speech by modifying it with speech content (e.g. quizzes, anecdotes, etc. related to the target exhibit). Alternatively, the guidance robot 100 may adjust the length of the content and change the speech content into, for example, a summary form.
  • the guide robot 100 can change the type of speech content to utter regulation guidance (e.g., 'You cannot enter with animals').
  • the guide robot 100 may determine whether to change the guided viewing route or the next target exhibition based on the degree of congestion included in the updated visitor information (442).
  • the order, tour guide route, and next exhibit to be guided can be modified to suit the situation.
  • the viewing order can be changed to explain exhibitions with low viewing congestion first, or if the congestion around the target exhibition is high, the docent speech can be provided by reducing the length/time of speech content.
  • the guide robot 100 may determine whether to end the tour guide based on the number of visitors included in the updated visitor information (443).
  • the processor 180 of the guide robot 100 determines that there are no remaining visitors through a vision sensor such as a camera, it recognizes that all viewing routes to be guided have been completed, and terminates the viewing guidance without guidance to the next target exhibition. can do. Thereafter, the guidance robot 100 may move to a designated waiting location or may move itself to a location that meets set conditions (eg, a location or area with low congestion).
  • a vision sensor such as a camera
  • the pre-stored designated location can be modified according to the number of visitors included in the surrounding visitor information and the degree of congestion around the target exhibition, and the guide robot is guided to the corresponding location. Even after moving, the detailed position can be adjusted according to the direction the visitor is looking, the level of crowding, and the location of the target exhibit, or the guide robot's posture, angle, and gaze processing can be adjusted appropriately. Accordingly, visitors receiving the service can feel a sense of familiarity similar to when a human docent performs the service, and can focus on viewing.
  • the characteristics of visitors gathered around the target exhibition are monitored and uttered with an appropriate voice type, volume, and speed, and the concentration of visitors is maintained.
  • visitors' concentration and understanding of the content can be improved.
  • the docent effect can be increased by flexibly modifying the saved viewing guide route or the next target exhibit to be explained depending on the viewing crowding.
  • the next explanation can be continued without delay, thereby maintaining the concentration of visitors receiving docent service as much as possible.
  • the guide robot can terminate the service on its own and move to a waiting position without additional input from the manager. . Accordingly, there is no unnecessary waste of resources, and the awkward situation of continuing the docent even though there are no visitors is eliminated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

안내 로봇 및 그것의 동작방법이 개시된다. 본 개시에 따른 안내 로봇은, 도슨트 기능을 수행하기 위해 미리 저장된 지정 위치를 인지하고 있더라도, 주변의 관람객 정보에 근거하여 지정 위치에 대한 수정 여부를 결정할 수 있고, 결정된 지정 위치로 이동한 후에도 관람객 정보에 따라 세부 위치, 자세, 각도, 시선을 조절할 수 있다. 또한, 대상 전시물에 대한 발화 동안 업데이트되는 관람객 정보에 기초하여 다음 동작을 결정할 수 있다. 그에 따라, 관람객에게 보다 스마트한 도슨트 서비스를 제공할 수 있다.

Description

안내 로봇 및 안내 로봇의 동작방법
본 발명은 안내 로봇 및 안내 로봇의 동작방법으로서, 보다 구체적으로는 소정 공간 내 대상 전시물을 설명하고 안내하는 기능을 수행할 수 있는 안내 로봇 및 안내 로봇의 동작방법에 관한 것이다.
최근, 사용자에게 다양한 안내 서비스를 제공하는 안내 로봇에 대한 관심이 꾸준히 증가하고 있다. 안내 로봇은 사용자의 조작 없이도 자율적으로 주행하면서 예를 들어 음성 대화 기능 또는 터치 스크린을 통한 인터랙션 기능을 통해 사용자에게 다양한 안내 서비스를 제공한다.
한편, 안내 로봇의 기능 중 하나로, 특정 대상물과 관련된 설명 또는 안내를 제공하는 도슨트(docent) 기능이 있다. 이러한 도슨트(docent) 기능을 수행하기 위해, 안내 로봇은 관람 안내 경로와 안내 로봇의 지정 위치를 미리 저장한다 그리고, 도슨트 기능이 시작되면, 저장된 관란 안내 경로를 따라 지정 위치로 이동하여 특정 대상물과 관련된 설명 또는 안내를 수행한다.
도슨트 기능을 수행하기 위한 안내 로봇의 지정 위치는, 일반적으로 특정 대상물의 중심 위치 또는 그 중심 위치 주변의 일정 범위(즉, 마진 범위) 내의 임의 위치로 정해진다.
이때, 안내 로봇의 지정 위치에 이미 관람객이 존재하거나 또는 주변이 혼잡한 경우, 안내 로봇은 지정 위치에 도착하지 못하여 해설이 지체되거나 또는 관람객을 장애물로 인식하여 비켜달라고 요청하는 경우가 종종 발생하여, 사용자 불편을 초래하였다.
또한, 사람이 도슨트를 수행하는 경우와 같이 모여있는 관람객의 수, 성별, 연령대 등을 고려하여 유연하게 해설 수준을 변경하지 못함에 따라, 친근감이나 해설 이해도가 떨어지는 문제가 있었다.
또한, 안내 로봇의 경우, 도슨트를 사람이 수행하는 경우와 달리 관람객이 쉽게 집중하지 못하거나 또는 설명을 끝까지 듣지 않고 지나가 버리는 경우가 있다. 그럼에도 불구하고, 안내 로봇이 저장된 대로 관람 안내를 계속 수행함에 따라 관람객의 흥미와 집중이 감소되는 문제가 있었다.
이에, 본 개시의 일부 실시 예에 따르면, 서비스 제공을 위한 안내 로봇의 지정 위치에 이미 관람객이 존재하거나 주변이 혼잡한 경우에도, 안내 로봇이 지정 위치에 도착하지 못하는 상황이 발생하지 않도록, 지정 위치를 보다 유연하고 적합하게 가변하여 안내 로봇을 이동시킴으로서, 전시물에 대한 해설 기능을 지체없이 이어나갈 수 있는 안내 로봇 및 안내 로봇의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 개시의 일부 실시 예에 따르면, 관람객의 외형적 특징이나, 혼잡 도, 해설에 대한 집중도를 감시하여, 컨텐츠나 관람 경로를 유연하게 수정하여 안내할 수 있는 안내 로봇 및 안내 로봇의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 개시의 일부 실시 예에 따르면, 해설이 수행되는 동안이나 해설을 위해 다음 전시물로 이동하는 동안에도 관람객의 집중을 최대한 유지할 수 있도록 상황 대처가 가능한 안내 로봇 및 안내 로봇의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 개시의 일부 실시 예에 따르면, 추가 입력 없이, 전시물에 대한 해설 기능을 수행하는 동안 관람객의 행동변화나 관람객 수 변화에 따른 적절한 동작을 스스로 판단하고 수행할 수 있는 안내 로봇 및 안내 로봇의 동작방법을 제공하는데 그 목적이 있다.
본 개시에 따른 안내 로봇은, 도슨트 기능을 수행하기 위해 미리 저장된 지정 위치를 인지하고 있더라도, 주변의 관람객 정보에 근거하여 지정 위치에 대한 수정 여부를 결정할 수 있고, 결정된 지정 위치로 이동한 후에도 관람객 정보에 따라 세부 위치, 자세, 각도, 시선을 조절할 수 있다.
또한, 본 개시에 따른 안내 로봇은, 주변의 관람객 특징, 관람객의 행동변화, 관람객의 혼잡도에 따라, 발화 컨텐츠를 변경하거나, 관람 안내 경로 수정, 안내할 다음 전시물 변경과 같이 관람 안내 관련 동작을 변경할 수 있다.
보다 구체적으로, 본 개시에 따른 안내 로봇은, 로봇의 현재 위치를 기준으로 주변의 관람객 정보를 획득하기 위한 센서와, 상기 관람객 정보에 근거하여 대상 전시물과 관련된 도착 위치를 결정하는 프로세서와, 상기 결정된 도착 위치로 로봇을 이동시키기 위한 주행부를 포함할 수 있다. 여기에서, 상기 프로세서는, 상기 결정된 도착 위치에서 상기 관람객 정보에 포함된 관람객의 얼굴 방향에 대응하도록 로봇의 자세 또는 시선방향을 조절하고, 대상 전시물에 대한 발화 동안 업데이트되는 관람객 정보에 기초하여 다음 동작을 결정할 수 있다.
또한, 실시 예에서, 상기 프로세서는, 상기 결정된 도착 위치에서 상기 대상 전시물에 대한 주변 혼잡도에 근거하여 로봇의 세부 위치의 조정 필요 여부를 결정하고, 상기 결정에 따라 세부 위치의 이동 또는 확인 후, 상기 자세 또는 시선방향을 조절할 수 있다
또한, 실시 예에서, 상기 프로세서는, 대상 전시물 주변의 혼잡도가 정해진 범위 이상인 것에 응답하여, 상기 주행부를 제어하여 상기 대상 전시물 주변의 관람객과 일정거리 이격된 지점에 위치하도록 로봇의 세부 위치를 조정하고, 상기 로봇이 상기 대상 전시물를 향하도록 각도를 조절할 수 있다.
또한, 실시 예에서, 상기 프로세서는, 안내 로봇이 미리입력된 POI에 대응되는 제1 그룹의 후보 지점들로 이동할 수 없는 것으로 판단되면, 상기 관람객 정보에 기반하여 결정된 로봇의 도착 위치에 대응하는 제2 그룹의 후보 지점들 중 하나를 로봇의 세부 위치로 결정하고, 상기 제2 그룹의 후보 지점들 간의 관계는 상기 제1 그룹의 후보 지점들 간의 관계에 대응될 수 있다.
또한, 실시 예에서, 상기 안내 로봇은, 전면 바디에 장착되어, 상기 대상 전시물과 관련된 시각정보를 표시하는 디스플레이를 더 포함하고, 상기 프로세서는, 대상 전시물 주변의 혼잡도가 정해진 범위 이상인 것에 응답하여, 상기 디스플레이가 상기 혼잡도가 평균 이하인 방향을 향하도록 로봇의 전면 바디를 회전시킬 수 있다.
또한, 실시 예에서, 상기 관람객 정보를 획득하기 위한 센서는 카메라와 3D 뎁쓰 카메라, 라이다, 근접 센서 중 하나 이상을 포함할 수 있다.
또한, 실시 예에서, 상기 안내 로봇은, 상부에 위치하여 로봇의 얼굴 표정변화를 표시하는 제1 디스플레이를 포함하는 헤드부와, 상기 헤드부 및 상기 주행부 사이에 위치하여 상기 대상 전시물에 대한 설명과 관련된 시각정보를 표시하는 제2디스플레이를 포함하는 바디부로 구분될 수 있고, 상기 프로세서는, 상기 제2디스플레이가 상기 관람객 정보에 포함된 관람객의 얼굴 방향과 마주하도록 상기 바디부의 중심을 정렬하고, 상기 발화 동안 모니터링되는 관람객 정보에 포함된 얼굴 밀집 분포에 기초하여, 로봇의 주시방향이 변화하도록 상기 제1 디스플레이의 표시를 제어할 수 있다.
또한, 실시 예에서, 상기 프로세서는, 상기 제1 디스플레이를 제어하여, 상기 관람객의 얼굴 밀집 분포가 평균 이상인 지점 또는 영역을 더 오래 주시하도록 로봇의 주시방향을 조절할 수 있다.
또한, 실시 예에서, 상기 프로세서는, 상기 결정된 도착 위치로 로봇의 이동시, 로봇과 관람객이 일정거리를 유지하도록 상기 주행부를 통해 주행속도를 조절할 수 있다.
또한, 실시 예에서, 상기 안내 로봇은, 상기 안내 로봇에 장착되어, 대상 전시물에 대한 발화를 출력하는 스피커를 더 포함하고, 상기 프로세서는, 상기 대상 전시물에 대한 발화 개시전, 관람객 정보에 대응되는 관람객 특징을 분석하고, 상기 분석에 따라 상기 스피커를 통해 발화의 음성 타입, 발화음량, 및 발화속도 중 하나 이상을 조절할 수 있다.
또한, 실시 예에서, 상기 프로세서는, 상기 관람객 정보에 포함된 관람객의 표정 또는 행동 변화를 분석하고, 상기 분석에 따른 관람 집중 정도에 기초하여 상기 대상 전시물에 대한 발화 컨텐츠의 변경 여부 또는 발화 시간의 조절 여부를 결정할 수 있다 .
또한, 실시 예에서, 상기 안내 로봇은, 정해진 공간 내에서, 로봇이 안내할 관람 경로 및 설명할 대상 전시물에 관한 정보가 저장되는 메모리를 포함할 수 있고, 상기 프로세서는, 상기 관람객 정보에 포함된 혼잡 정도에 근거하여 상기 저장된 관람 경로의 수정 여부를 결정하고, 상기 설명할 대상 전시물 주변 혼잡 정도에 근거하여 다음 대상 전시물의 변경 여부를 결정할 수 있다.
또한, 실시 예에서, 상기 프로세서는, 상기 관람객 정보에 포함된 관람객의 특징에 기초하여 상기 저장된 관람 경로 또는 규정 제한 안내 방식의 변경 여부를 결정할 수 있다.
또한, 실시 예에서, 상기 프로세서는, 상기 대상 전시물에 대한 발화 동안 상기 관람객 정보에 포함된 남은 관람객 수에 기초하여 다음 대상 전시물로의 안내 여부를 결정할 수 있다.
또한, 실시 예에서, 상기 프로세서는, 상기 센서를 통해 상기 관람객 정보에 포함된 남은 관람객 수가 없는 것으로 결정되면, 로봇이 안내할 관람 경로를 모두 마친 것으로 인지하고, 다음 대상 전시물로 안내 없이 관람 안내를 종료할 수 있다 .
또한, 본 개시에 따른 안내 로봇의 동작방법은 다음과 같은 단계를 포함하여 구현될 수 있다. 상기 동작방법은, 주변의 관람객 정보를 획득하는 단계; 상기 관람객 정보에 근거하여 대상 전시물과 관련된 도착 위치를 결정하고, 결정된 도착 위치로 로봇을 이동시키기 단계; 상기 이동 후, 상기 관람객 정보에 포함된 관람객의 얼굴 방향에 대응하도록 로봇의 자세 또는 시선방향을 조절하는 단계; 및 상기 대상 전시물에 대한 발화 동안 업데이트되는 관람객 정보에 기초하여 다음 동작을 결정하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 결정된 도착 위치로 로봇을 이동시키기 단계는, 상기 관람객 정보에 포함된 혼잡도에 따라, 대상 전시물과 관련된 도착 위치의 수정 여부를 결정하는 단계; 관람객과 일정 거리를 유지하면서 다음 도착 위치로 로봇을 이동시키는 단계; 및 대상 전시물 주변의 혼잡도에 기초하여 도착 위치 또는 로봇 자세를 수정하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 관람객의 얼굴 방향에 대응하도록 로봇의 자세 또는 시선방향을 조절하는 단계는, 상기 도착 위치에서, 센서를 통해 관람객의 얼굴을 모니터링하는 단계; 모니터링 결과에 기초하여, 상기 도착 위치를 수정하거나 또는 현재 위치에서 정해진 모션을 수행하는 단계; 모니터링 결과에 기초하여, 대상 전시물에 대한 발화의 음성 타입, 발화음량, 발화속도를 조절하는 단계; 및 로봇이 관람객이 많은 위치 또는 영역을 오래 주시하도록 로봇의 헤드 또는 눈동자 시선방향을 좌우로 이동하면서 발화를 개시하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 업데이트되는 관람객 정보에 기초하여 다음 동작을 결정하는 단계는, 업데이트되는 관람객 정보에 포함된 관람객의 표정 또는 행동 변화를 분석하고, 상기 분석에 따른 관람 집중 정도에 기초하여 발화 컨텐츠 또는 발화시간의 수정 여부를 결정하는 단계; 업데이트되는 관람객 정보에 포함된 혼잡도에 기초하여, 안내 관람 경로 또는 다음 대상 전시물의 변경 여부를 결정하는 단계; 및 업데이트되는 관람객 정보에 포함된 관람객 수에 근거하여, 관람 안내 종료 여부를 결정하는 단계를 포함할 수 있다.
본 발명의 일부 실시 예에 따른 안내 로봇 및 그것의 동작방법에 의하면, 주변의 관람객 정보에 포함된 관람객 수, 대상 전시물 주변의 혼잡도에 따라 미리저장된 지정 위치를 수정할 수 있고, 해당 위치로 안내 로봇이 이동한 후에도 관람객이 바라보는 방향, 혼잡도, 대상 전시물의 위치에 따라 세부 위치를 조정하거나 안내 로봇의 자세, 각도, 시선처리를 적절하게 조절할 수 있다. 그에 따라, 서비스를 제공받는 관람객은 사람이 도슨트를 수행하는 경우와 유사한 친근감을 느낄 수 있고, 관람에 집중할 수 있다.
또한, 본 발명의 일부 실시 예에 따른 안내 로봇 및 그것의 동작방법에 의하면, 대상 전시물 주변에 모인 관람객의 특징을 모니터링하여 그에 적절한 음성타입, 음량, 속도로 발화하고, 관람객의 집중도를 모니터링하여 컨텐츠나 발화 시간을 조절함으로써, 관람객의 관람 집중도와 내용 이해도를 보다 증진시킬 수 있다.
또한, 본 발명의 일부 실시 예에 따른 안내 로봇 및 그것의 동작방법에 의하면, 관람 혼잡도에 따라 저장된 관람 안내 경로나 설명할 다음 대상 전시물을 유연하게 수정함으로써, 도슨트 효과를 높일 수 있다.
또한, 본 발명의 일부 실시 예에 따른 안내 로봇 및 그것의 동작방법에 의하면, 다음 대상 전시물로 이동시 관람객의 이동속도에 맞추어 주행함으로써, 다음 해설을 지체없이 이어나갈 수 있어서, 도슨트 서비스를 제공받는 관람객의 집중을 최대한 유지할 수 있다.
또한, 본 발명의 일부 실시 예에 따른 안내 로봇 및 그것의 동작방법에 의하면, 관람 안내가 진행되는 동안에도 관람객이 모두 떠난 경우와 같이 더 이상 도슨트 서비스를 제공할 필요가 없는 것으로 판단되면, 관리자의 추가 입력 없이, 안내 로봇 스스로 서비스를 종료하고, 대기 위치로 이동할 수 있다. 그에 따라, 불필요한 자원 낭비가 없게 되며, 관람객이 없음에도 도슨트를 계속 진행하는 어색한 상황이 제거된다.
도 1은 본 발명과 관련된 안내 로봇의 예시를 보여주는 도면이다.
도 2 본 발명과 관련된 안내 로봇의 예시 구성을 보인 블록도이다.
도 3은 본 발명과 관련된 안내 로봇이, 관람객 정보에 기초하여 대상 전시물에 대한 안내 또는 설명을 위해 발화하는 모습을 보여주는 예시 도면이다.
도 4는 본 발명과 관련된 안내 로봇의 동작방법의 대표 흐름도이다.
도 5a, 도 5b, 도 5c는 본 발명과 관련된 안내 로봇이, 안내할 대상 전시물 주변의 혼잡도에 근거하여 도착 위치를 세부 수정하는 것을 설명하기 위한 개념도들이다.
도 6은 본 발명과 관련된 안내 로봇이, 도착 위치로 이동 후 관람객이 더 많은 위치 또는 영역을 보다 오래 주시하는 것을 설명하기 위한 예시 개념도이다.
도 7a, 도 7b, 도 7c는 본 발명과 관련된 안내 로봇이, 도착 위치에서 관람객의 얼굴방향에 대응하도록 시선방향을 이동하는 예시를 설명하기 위한 개념도들이다.
도 8은 본 발명과 관련된 안내 로봇이, 대상 전시물과 관련된 도착 위치를 결정하고, 결정된 위치로 이동하는 것과 관련된 세부 동작을 포함하는 도면이다.
도 9는 본 발명과 관련된 안내 로봇이, 도착 위치로 이동 후 관람객의 얼굴방향에 따라 자세 또는 시선방향을 조절하는 것과 관련된 세부 동작을 포함하는 도면이다.
도 10은 본 발명과 관련된 안내 로봇이, 대상 전시물에 대한 발화 전후 또는 발화 동안 업데이트되는 관람객 정보에 기초하여 다음 동작을 결정하는 것과 관련된 세부 동작을 포함하는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 명세서에 개시된 "안내 로봇"은 공항, 백화점 등의 쇼핑몰, 호텔 등의 숙박시설, 미술관, 도서관 등의 문화 공간 등의 다양한 공공장소에서 사용자에게 웰컴 인사, 길 안내, 상품안내, 상품검색, 주차 안내, 공항 정보, 도슨트 정보, 도서관 안내 등의 다양한 정보를 제공할 수 있는 로봇을 의미한다.
또한, 본 명세서에 개시된 "안내 로봇"은, 길, 특정 장소 등을 사용자에게 안내하기 위하여, 스스로 자율주행을 수행할 수 있다.
특히, 본 명세서에 개시된 "안내 로봇"은 정해진 공간 내에서 미리설정된 안내 경로에 따라 대상 전시물과 관련된 설명을 수행하는 기능, 관람객에게 관람 경로 등을 안내하는 기능, 관람객의 질의를 듣고 답변하는 기능 등(이와 같은 기능을 포함하여, 이하 '도슨트 기능'으로 명명할 수 있음)을 수행할 수 있다. 또한, 일부 실시예에서, 상기 안내 로봇은 도슨트 기능을 수행하는 로봇을 의미하는 것으로 사용될 수 있다.
또한, 본 명세서에 개시된 "안내 로봇"은, 사용자에게 정보나 안내를 다양한 방식(시각적, 청각적, 촉각적)으로 제공하기 위해, 터치 스크린, 음향 출력부, LED, 촉각센서 등과 관련된 다양한 출력수단을 포함할 수 있다.
또한, 본 명세서에 개시된 "대상 전시물"은 안내 로봇이 안내, 해설, 설명하려는 대상이 되는 다양한 종류의 전시된 물품을 포함할 수 있다. 예를 들어, 대상 전시물은, 박물관, 미술관, 갤러리, 기념관, 쇼룸, 플래그쉽스토어 등 일정 공간에 전시된 미술품, 작품, 전시품, 예술품, 신제품, 브랜드제품 등을 의미할 수 있다.
도 1은 본 발명과 관련된 안내 로봇의 예시를 보여주는 도면이다.
도 1을 참조하면, 본 발명에 따른 안내 로봇(100)은, 헤드(102), 카메라(121), 스피커(152), 음성인식부(미도시), 터치스크린(151), 및 주행부(130)를 포함하여 이루어질 수 있다. 다만, 경우에 따라서는 여기에 개시된 수단 중 일부를 제거하거나 또는 다른 수단을 더 포함하여, 본 발명에 따른 안내 로봇(100)이 구현될 수도 있다.
본 발명에 따른 안내 로봇(100)의 외관은 크게, 헤드(102)와 터치스크린(151)를 포함하는 상부모듈과 주행부(130)를 포함하는 하부모듈을 포함하여 이루어질 수 있다. 상부모듈과 하부모듈은 상호간에 탈착 가능하도록 구비될 수 있다.
상기 상부모듈은, 서비스 환경에 따라 변경 가능한 사용자 인터페이스(User Interface)를 제공한다. 상기 하부모듈은 안내 로봇 본체의 이동을 위한 주행기능을 제공한다.
상기 상부모듈은, 다시 몸체를 형성하며, 터치스크린(151)이 구비된 바디부와, 카메라(121) 등이 구비된 헤드부(102)로 구분될 수 있다. 그러나, 경우에 따라서는 바디부에 카메라가 구비되거나 헤드부(102)에 터치스크린이 배치되는 형태로 구현될 수도 있다.
카메라(121)는 헤드부(102)의 케이스 일측 또는 바디부의 케이스 일측에 구비될 수 있다. 또, 상기 카메라(121)는 복수 개 구비될 수 있다. 이러한 경우, 하나는 본체의 전면에 구비되어 전방을 향하도록 설치되고, 다른 하나는 측면 또는 후면에 구비되어 측방/후방을 향하도록 설치될 수 있다. 그에 따라, 360 범위의 화각을 형성할 수 있다.
카메라(121)가 복수 개 구비되는 경우, 제1카메라는 예를 들어 3D 스테레오 카메라를 포함할 수 있다. 상기 3D 스테레오 카메라는 장애물 감지, 사용자 얼굴인식, 입체영상 획득 등의 기능을 수행할 수 있다. 안내 로봇(100)은 제1카메라를 이용하여 자신의 이동방향에 존재하는 장애물을 감지하여 회피할 수 있고, 사용자를 인식하여 각종 제어동작을 수행할 수 있다. 또, 제2카메라는 예를 들어 슬램(Simultaneous Localization And Mapping) 카메라를 포함할 수 있다. 상기 슬램카메라는 특징점 매칭을 통하여 카메라의 현 위치를 추적하고 이를 기초로 3차원 지도를 작성하는 기능을 수행한다. 안내 로봇(100)은 제2카메라를 이용하여 자신의 현재 위치를 파악할 수 있다.
또한, 카메라(121)는 화각범위 내의 오브젝트를 인식할 수 있고, 사진 및 동영상 촬영의 기능을 수행할 수 있다. 이와 관련하여, 카메라(121)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함할 수 있다. 카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.
음향 출력부(152)는 사용자에게 제공될 정보를 음성으로 알려주는 기능을 수행하며, 예를 들어 스피커 형태일 수 있다. 구체적으로, 안내 로봇(100)에 구비된 음향 수신부(122)와 음성 인식부(미도시)를 통해 수신된 사용자의 음성에 대응되는 응답이나 검색 결과를 음향 출력부(152)를 통해 음성으로 출력된다. 이러한 음향 출력부(152)는 헤드부(102)나 터치스크린(151)이 구비된 바디부의 외주면에 마련될 수 있다. 또한, 음향 출력부(152)는 터치스크린(151)에 디스플레이된 화면(예, 메뉴화면, 광고화면 등)과 관련된 음성 정보를 출력할 수 있다.
음향 수신부(122)는 사용자의 음성 등을 수신하는 기능을 수행하며, 예를 들어 마이크로폰 형태일 수 있다. 음향 수신부(122)는 외부의 음향 신호를 전기적인 음성 데이터로 처리하며, 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
터치스크린(151)은 바디부의 일 방향에 길이방향으로 위치할 수 있고, 시각적인 정보, 예를 들어 안내 정보를 제공하기 위하여 화면을 표시할 수 있다. 또, 상기 터치스크린(151)은 디스플레이모듈, 터치센서, 압력센서를 포함하여 이루어질 수 있다.
상기 터치스크린(151)은 예를 들어 이동가이드수단과 결합하여 바디부의 내부를 개폐하도록 구현될 수 있다. 또, 상기 터치스크린(151)은 예를 들어 고정부재를 사용하여 바디부에 결속되어 고정되도록 구현될 수도 있다.
또, 비록 자세히 도시되지는 않았지만, 안내 로봇(100)이 사용자에게 길을 안내하기 위하여 설정된 경로로 선 이동하는 경우를 고려하여, 상기 터치스크린(151)은 헤드(102)를 기준으로 후방에 구비되거나, 또는 전방 외에 후방에도 추가로 구비될 수 있다. 또는, 설정된 경로로 선 이동하기에 앞서 헤드(102)가 180도 회전하여, 터치스크린(151)이 후방에 위치한 것처럼 외관을 변형시킬 수도 있다.
이러한 경우 터치스크린(151)에는 현재 제공되는 서비스와 관련된 시각정보(예, 길 안내 정보, 질의 정보)를 표시하는 기능을 수행한다. 사용자는 안내 로봇(100)을 따라 이동하면서, 안내 로봇(100)의 후방에 설치된 터치스크린(151)를 볼 수 있다.
또한, 상기 터치스크린(151)은 본체의 전면 및 후면 양측에 각각 구비될 수 있다. 이러한 경우, 본체의 전면에 구비된 제1 터치스크린와 본체의 후면에 구비된 제2 터치스크린에 서로 다른 화면(예, 제1 터치스크린에는 사용자와 인터랙션하는 화면, 제2 터치스크린에는 광고 화면 등)이 디스플레이될 수 있다. 또한, 헤드부(102)의 전면에는 안내 로봇의 다양한 표정변화가 출력하기 위한 디스플레이부가 구비될 수 있다.
주행부(130)는 안내 로봇(100) 본체의 이동, 회전을 수행한다. 이를 위해, 주행부(130)는 복수의 휠 및 구동 모터를 포함하여 이루어질 수 있다. 주행부(130)의 구동은 프로세서에 의해 수신된 제어명령에 따라 제어되며, 구동 전 후에 LED 등의 출력수단을 통한 알림이 제공될 수 있다.
도 2 본 발명과 관련된 안내 로봇의 예시적 세부구성을 보인 블록도이다.
본 발명에 따른 안내 로봇(100)은 통신부(110), 입력부(120), 주행부(130), 센싱부(140), 출력부(150), 메모리(170), 프로세서(180) 및 전원부(190) 등을 포함할 수 있다. 도 2에 도시된 구성요소들은 안내 로봇을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 안내 로봇은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
통신부(110)는, 안내 로봇(100)과 외부서버, 예를 들어 인공 지능 서버, 또는 외부단말 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또, 상기 통신부(110)는, 안내 로봇(100)을 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
상기 통신부(110)는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등의 무선 인터넷 통신 기술을 사용하여 인공지능 서버 등과 통신을 수행할 수 있다. 또, 상기 통신부(110)는 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등의 근거리 통신 기술을 사용하여 외부 단말 등과 통신을 수행할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 음향 수신부(122), 예를 들어 마이크로폰(microphone), 사용자로부터 정보를 입력받기 위한 사용자 입력부(미도시, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 신호데이터, 음성 데이터, 이미지 데이터는 분석되어 제어명령으로 처리될 수 있다.
주행부(130)는 안내 로봇(100) 본체의 이동, 회전을 수행한다. 이를 위해, 주행부(130)는 복수의 휠 및 구동 모터를 포함하여 이루어질 수 있다. 주행부(130)의 구동은 프로세서(180)에 의해 수신된 제어명령에 따라 제어되며, 구동 전 후 LED 등의 광출력부(153)를 통한 알림이 제공될 수 있다.
센싱부(140)는 안내 로봇 내 정보, 안내 로봇을 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 안내 로봇은, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다. 또한, 상기 센싱부(140)는 장애물, 바닥 상태 등을 감지하는 주행 관련 센서(142)를 포함할 수 있다.
근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 또, 근접 센서(141)는 네비 카메라, 초음파 센서, 라이다(lidar), ToF 센서 중 적어도 하나를 포함할 수 있고, 이를 통해 감지대상(예, 사용자)의 접근 및 위치를 인식할 수 있다.
또한, 상기 센싱부(140)는 관람객 정보 수집 센서(143)를 포함할 수 있다. 관람객 정보 수집 센서(143)는 둘 이상의 센서를 포함하는 것을 의미할 수 있다.
상기 관람객 정보 수집 센서(143)의 예로, 카메라, 3D 뎁쓰 카메라, 라이다, 근접 센서(141) 중 하나 또는 둘 이상의 센서가 포함될 수 있다. 상기 관람객 정보 수집 센서(143)는 하나 또는 둘 이상의 센서를 이용하여, 관람객 정보를 수집할 수 있다. 여기서, 수집되는 관람객 정보로, 예를 들어 공간 내 관람객 혼잡도, 관람객의 얼굴방향, 관람객의 외형적 특징, 대상 전시물 주변의 관람객 밀도, 관람객의 집중 정도, 관람객의 구성, 성별, 나이 등의 정보를 포함할 수 있다. 또한, 관람객 정보 수집 센서(143)는 대상 전시물에 대한 설명을 청취하는 관람객의 변화, 예를 들어 관람객이 많아지거나, 변경되거나, 다른 곳으로 이동하는 것을 감지할 수 있다.
상기 관람객 정보 수집 센서(143)에 의해 수집된 관람객 정보는 프로세서(180)에 제공되거나 메모리(170)에 저장될 수 있다.
프로세서(180)는 수신된 또는 저장된 관람객 정보에 근거하여 또는 이를 분석하여, 안내 로봇(100)의 도착 위치를 수정하거나, 이동 속도를 변경하거나, 도착 위치에서의 자세, 각도, 시선을 조절할 수 있고, 대상 관람객의 특징에 대응되는 컨텐츠 내용, 발화의 음성타입, 음량, 속도 등을 선택하여, 도슨트 발화를 수행할 수 있다.
프로세서(180)는 도슨트 기능을 수행하는 동안에도 지속적으로 그리고 실시간으로 획득된 관람객 정보에 근거하여, 발화 컨텐츠나 발화 시간을 조절할 수 있고, 관람 안내 경로나 다음 대상 전시물을 선택적으로 변경할 수 있다.
프로세서(180)는 관람객 정보에 근거하여 관람 혼잡도 및/또는 관람 집중도를 판단할 수 있고, 판단에 따라 관람 안내 지속 여부를 결정할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 터치스크린(151), 음향출력부(152), 광 출력부(153) 중 적어도 하나를 포함할 수 있다. 터치스크린(151)은 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 안내 로봇(100)과 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 출력 인터페이스를 제공할 수 있다.
일 예로, 음향출력부(152)를 통해 도슨트 발화 음성이 출력되고, 터치스크린(151)을 통해 안내하는 대상 전시물과 관련된 시각정보 또는 도슨트 발호 음성에 대응되는 프롬프트가 디스플레이될 수 있다.
광 출력부(153)는 광원의 빛을 이용하여 안내 로봇(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들어, 안내 로봇(100)의 주행부(130)에 이동명령이 전달된 경우, 이동을 알리기 위한 신호가 광 출력부(153)를 통해 출력된다.
프로세서(180)는 안내 로봇의 인공 지능 기술와 관련된 동작을 수행하기 위하여 AI 학습부(181)(미도시)를 포함할 수 있다. AI 학습부(181)는 데이터 마이닝(data mining), 데이터 분석, 지능형 의사결정 및 머신 러닝 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다. AI 학습부(181)는 안내 로봇을 통해 수신, 검출, 감지, 생성, 사전 정의된 정보 또는 상기 안내 로봇을 통해 다른 방식으로 출력된 정보를 저장하거나, 다른 구성, 장치 및 단말기에 의하여 수신, 검출, 감지, 생성, 사전 정의 또는 출력된 데이터를 저장하도록 구성된 하나 이상의 메모리 유닛을 포함할 수 있다.
일 실시 예에서, AI 학습부(181)는 안내 로봇에 통합되거나, 메모리를 포함할 수 있다. 일 실시 예에서, AI 학습부(181)는 메모리(170)를 통해 구현될 수 있다. 다만 이에 한정되지 않고, AI 학습부(181)는 안내 로봇(100)과 관련된 외부 메모리에 구현되거나, 안내 로봇(100)과 통신 가능한 서버에 포함된 메모리를 통해 구현될 수 있다. 다른 일 실시 예에서, AI 학습부(181)는 클라우드 컴퓨팅 환경에서 유지되는 메모리, 또는 네트워크와 같은 통신 방식을 통해 안내 로봇에 의해 액세스 가능한 다른 원격 메모리를 통해 구현될 수 있다.
AI 학습부(181)는 일반적으로 감독 또는 감독되지 않은 학습, 데이터 마이닝, 예측 분석 또는 다른 머신 러닝 기술에서 사용하기 위한 데이터를 식별, 색인화, 분류, 조작, 저장, 검색 및 출력하기 위해, 상기 데이터를 하나 이상의 데이터베이스에 저장하도록 이루어진다. AI 학습부(181)에 저장된 정보는 서로 다른 유형의 데이터 분석, 기계 학습 알고리즘 및 기계 학습 기술 중 적어도 하나를 사용하는 프로세서(180) 또는 안내 로봇에 포함된 복수의 프로세서들(프로세서들)에 의하여 이용될 수 있다. 이러한 알고리즘 및 기법의 예로는 K 최근접 이웃 시스템(k-Nearest neighbor system), 퍼지 논리(fuzzy logic)(예를 들어, 가능성 이론(possibility theory)), 신경 회로망(neural networks), 볼츠만 머신(Boltzmann machines), 벡터 양자화, 펄스 신경망(pulsed neural nets), 서포트 벡터 머신(support vector machines), 최대-마진 분류기(maximum margin classifiers), 힐 클라이밍(hill-climbing), 유도 논리 시스템(inductive logic systems), 베이지안 네트워크(baysian networks), 페트리 네트(petri nets) (예를 들어, 유한 상태 기계(finite state machines), 밀리 머신(mealy machines), 무어 유한 상태 머신(moore finite state machines)), 분류 트리(classifier trees)(예를 들어, 퍼셉트론 트리(perceptron trees), 서포트 벡터 트리(support vector trees), 마코브 트리(markov trees), 트리-숲 결정(decision tree forests), 랜덤 숲(random forests)), 목마전 모형 및 시스템(pandemonium models and systems), 클러스터링(clustering), 인공 지능 플래닝(artificially intelligent planning), 인공 지능 예측(artificially intelligent forecasting), 데이터 퓨전(data fusion), 센서 퓨전(sensor fusion), 이미지 퓨전(image fusion), 강화 학습(reinforcement learning), 증강 현실(augmented reality), 패턴 인식(pattern recognition), 자동 플래닝(automated planning) 등이 있다.
프로세서(180)는 데이터 분석, 머신 러닝 알고리즘 및 머신 러닝 기술을 사용하여 결정 또는 생성된 정보에 기초하여, 안내 로봇의 실행 가능한 동작을 결정 또는 예측할 수 있다. 이를 위하여, 프로세서(180)는 AI 학습부(181)의 데이터를 요청, 검색, 수신 또는 활용할 수 있다. 프로세서(180)는 지식 기반 시스템, 추론 시스템 및 지식 획득 시스템 등을 구현하는 다양한 기능을 수행할 수 있으며, 불확실한 추론을 위한 시스템(예를 들어, 퍼지 논리 시스템), 적응 시스템, 기계 학습 시스템, 인공 신경망 등을 포함하는 다양한 기능을 수행할 수 있다.
또한, 프로세서(180)는 I/O 처리 모듈, 환경 조건 모듈, 음성-텍스트(STT) 처리 모듈, 자연 언어 처리 모듈, 작업 흐름 처리 모듈 및 서비스 처리 모듈 등과 같은 음성 및 자연 언어 처리를 가능하게 하는 서브 모듈들을 포함할 수 있다. 서브 모듈들 각각은 안내 로봇에서 하나 이상의 시스템 또는 데이터 및 모델, 또는 이들의 서브셋 또는 수퍼셋에 대한 접근권한을 가질 수 있다. 여기서, 서브 모듈들 각각이 접근권한을 가지는 대상은 스케줄링, 어휘 인덱스, 사용자 데이터, 태스크 플로우 모델, 서비스 모델 및 자동 음성 인식(ASR) 시스템을 포함할 수 있다.
일부 실시 예에서, 프로세서(180)는 AI 학습부(181)에서의 데이터에 기초하여 사용자 입력 또는 자연 언어 입력으로 표현된 문맥 조건 또는 사용자의 의도에 기초하여 사용자가 요구하는 것을 검출하고 감지하도록 구성될 수도 있다. AI 학습부(181)에 의해 수행된 데이터 분석, 머신 러닝 알고리즘 및 머신 러닝기술을 바탕으로, 안내 로봇의 동작이 결정되면, 프로세서(180)는 이러한 결정된 동작을 실행하기 위하여, 안내 로봇의 구성 요소들을 제어할 수 있다. 프로세서(180)는 제어 명령에 근거하여, 안내 로봇을 제어함으로써, 결정된 동작을 실행할 수 있다.
메모리(170)는 안내 로봇(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 안내 로봇(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application))과, 안내 로봇(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 또한, 메모리(170)는 사용자와 음성 대화 기능을 수행하기 위한 가변가능한 호출어를 저장할 수 있다.
메모리(170)는 안내 로봇(100)의 도슨트 기능과 관련된 정보, 데이터, 및 프로그램을 저장할 수 있다. 도슨트 기능과 관련된 정보 또는 데이터는, 예를 들어 관람 안내 경로, 대상 전시물, 각 대상 전시물에 대한 지정 위치에 관한 정보 똔든 데이터를 포함할 수 있다.
메모리(170)는, 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서(180)는 상기 응용 프로그램과 관련된 동작 외에, 통상적으로 안내 로봇(100)의 전반적인 동작을 제어한다. 프로세서(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동하거나, 주행부(130)를 제어함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
전원부(190)는 프로세서(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 안내 로봇(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원부(190)는 배터리를 포함할 수 있고, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 안내 로봇의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 안내 로봇의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 안내 로봇상에서 구현될 수 있다.
또한, 이하에 개시된 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
도 3은 본 발명과 관련된 안내 로봇(100)이, 관람객 정보에 기초하여 대상 전시물에 대한 안내 또는 설명을 위해 발화하는 모습을 보여주는 예시 도면이다.
안내 로봇(100)은, 도슨트 기능이 개시되면, 관람객 정보에 기초하여 도착 위치를 결정하고, 결정된 도착 위치로 이동하고, 이후 세부 위치의 수정 및 이동을 반복할 수 있다.
구체적으로, 안내 로봇(100)은 센서, 예를 들어 카메라, 근접 센서 등을 포함한 관람객 정보 수집 센서(143)를 통해, 주변의 관람객 정보를 획득할 수 있다.
예를 들어, 관람객 정보 수집 센서(143)의 카메라를 통해, 주변의 관람객의 얼굴 인식, 얼굴방향, 얼굴 표정(기분), 성별, 연령대, 특정 모션/제스처를 감지할 수 있다. 또, 예를 들어 관람객 정보 수집 센서(143)의 라이다, 근접 센서, 또는 3D 카메라, 일반 카메라 중 하나를 통해 주변의 관람객 수, 관람객과 안내 로봇(100) 간의 거리정보를 획득할 수 있다.
이때, 상기 관람객 정보는, 이미지 분석 등을 통한 관람객 수, 관람 혼잡도, (대상 전시물에 대한) 관람객 분포도, 관람객의 외형적 특징(예, 성별, 연령대, 마스크 착용여부, 유모차 소지여부, 아이 동반 여부, 보조기구(휠체어, 목발 등) 사용여부), 얼굴 인식 알고리즘을 이용한 행동 및 표정변화, 시선방향 등을 포함할 수 있다. 또한, 상기 관람객 정보는, 안내 로봇(100)의 위치로부터 이격된 정도, 즉 거리정보와 안내 로봇(100)이 주시방향에 대응되는 얼굴방향, 즉 각도정보를 포함할 수 있다.
안내 로봇(100)의 프로세서(180, 도 2)는 이와 같이 다양한 관람객 정보에 근거하여, 저장된 지정 위치를 고려한 안내 로봇(100)의 도착 위치를 결정할 수 있다.
예를 들어, 저장된 지정 위치 주변이 혼잡하지 않고 관람객이 존재하지 않는 경우, 안내 로봇(100)은 저장된 지정 위치를 도착 위치로 결정할 수 있다. 반면, 예를 들어 저장된 지정 위치 주변이 혼잡하거나 지정 위치에 관람객 또는 장애물이 존재하는 경우, 관람 혼잡도가 낮으면서 대상 전시물을 향하는 다른 위치나 영역을 도착 위치로 결정할 수 있다.
또, 예를 들어, 공간(10)에 대한 관람 혼잡도에 따라 도착 위치가 수정될 수 있다. 상기 관람 혼잡도는, 전술한 관람객 정보의 분석에 따라 결정될 수도 있다. 구체적으로, 상기 관람 혼잡도는, 관람객 정보 수집 센서(143, 도 2)를 통해 획득된 이미지에 포함된 관람객 수를 분석하거나, 또는 통신부(110)를 통해 수신된 현재 관람객 입장 수에 기초하여 판단될 수 있다.
안내 로봇(100)이 주행부(130, 도 2)를 사용하여 상기 결정된 도착 위치(P)로 이동하면, 프로세서(180)는 결정된 도착 위치에서, 대상 전시물(320) 주변에 존재하는 관람객(310)의 관람객 정보에 근거하여, 안내 로봇(100)의 세부 위치 수정 여부를 결정하고, 관람객(310)의 얼굴 방향에 대응하도록 로봇의 자세 또는 시선방향을 조절할 수 있다.
이를 위해, 안내 로봇(100)은 도착 위치(P) 또는 수정된 세부 위치에서, 카메라의 화각범위(330)에 있는 관람객(310)의 얼굴 방향을 모니터링한다.
모니터링 결과, 관람객(310)과 일정 거리를 유지하면서, 대상 전시물(320)을 관람할 수 있는 각도로 자세를 수정하고, 그리고 관람객(310)의 얼굴 방향과 시선이 마주하도록 안내 로봇(100)의 시선방향을 처리한다. 이를 위해, 안내 로봇(100)의 프로세서(180)를 통해, 터치 스크린(151)이 구비된 바디부를 회전하거나 그리고/또는 안내 로봇(151)의 표정 또는 시선이 표현되는 헤드부를 회전하도록 제어할 수 있다.
안내 로봇(100)은 모니터링되는 관람객(310)의 설명 이해도를 높이기 위해, 관람객(310)의 외형적 특징을 분석하고, 분석에 따라 발화의 음성타입(어린이 음성타입, 어른 음성타입 등), 발화음량(발화크기), 발화속도를 가변할 수 있다.
또한, 안내 로봇(100)은 대상 전시물(320)에 대한 발화 동안, 지속적으로 업데이트되는 관람객 정보에 기초하여 다음 동작을 결정할 수 있다.
예를 들어, 안내 로봇(100)은 업데이트되는 관람객 정보에 기초하여, 설명 위치를 추가 변경하거나(예, 관람객이 더 모여든 경우) 또는 주시방향(예, 관람객 밀도 변화 감지된 경우)을 변경할 수 있을 뿐만 아니라, 발화 컨텐츠를 변경하거나 발화 시간을 조절할 수도 있다.
또, 예를 들어, 안내 로봇(100)은 업데이트되는 관람객 정보에 기초하여,다음 안내할 대상물을 변경하거나 관람 안내 경로(또는, 관람 안내 순서)를 수정하거나, 관람객에 대한 이동 또는 제한에 대한 안내를 선택하거나, 관람 안내 종료 여부를 결정할 수 있다.
도 4는 본 발명과 관련된 안내 로봇의 동작방법의 대표 흐름도이다.
먼저, 도 4에 도시된 흐름도의 각 과정은 다른 설명이 없다면, 안내 로봇(100)의 프로세서(180)에 의해 수행됨을 전제로 한다. 또한, 도슨트 서비스의 진행 특성에 따라, 도 4에 도시된 단계들(410 내지 440)은 도슨트 서비스가 종료될 때까지 수차례, 예를 들어 대상 전시물의 수만큼 반복적으로 수행될 수 있다.
도 4를 참조하면, 도슨트 기능이 개시되면, 본 개시에 따른 안내 로봇(100)은 현재 위치를 기준으로, 메모리 등에 미리저장된 관람 경로, 대상 전시물, 및 로봇의 이동 위치를 인지한다(410).
그리고, 안내 로봇(100)은, 센서(예, 관람객 정보 수집 센서(143))를 통해 획득된 관람객 정보에 근거하여 대상 전시물과 관련된 도착 위치를 결정하고, 주행부(130)를 통해 결정된 도착 위치로 안내 로봇을 이동시킬 수 있다(420).
구체적으로, 안내 로봇(100)은 현재 위치를 기준으로 저장된 대상 전시물 및 그에 대한 지정 위치를 인지한 상태에서, 관람객 정보에 근거하여 지정 위치의 수정 여부를 결정하고, 그 결정에 따라 대상 전시물과 관련된 도착 위치를 결정한다.
도착 위치가 결정되면, 안내 로봇(100)은 주행부(130)를 제어하여, 관람객과 일정거리를 유지하도록 주행속도를 조절하면서 결정된 도착 위치로 이동한다. 예를 들어, 안내 로봇(100)은 관람객의 이동속도를 모니터링하면서, 전체 평균 이동속도에 근접하도록 (즉, 전체 평균 이동속보다 너무 느리지도 너무 빠르지 않게) 주행속도를 조절하면서 도착 위치로 이동한다. 이와 같이 안내 로봇(100)의 주행속도를 관람객의 이동속도에 맞추어 조절함으로써, 도슨트 효과를 높일 수 있다.
또한, 실시 예에 따라, 상기 결정된 도착 위치는, 안내 로봇(100)이 관람객과 일정 거리를 두고 이동하는 동안에도 실시간 수집되는 관람객 정보에 근거하여 수정될 수 있다. 예를 들어, 도착 위치에 관람객이 먼저 도착한 경우, 이동 중에 관람객이 이탈하거나 많아진경우, 도착 위치가 다시 수정될 수 있다.
안내 로봇(100)이 상기 도착 위치(또는, 이동하면서 수정된 위치)에 도착하면, 프로세서(180)는 상기 도착 위치에서 관람객 정보에 포함된 관람객의 얼굴방향에 대응하도록 안내 로봇(100)의 자세 또는 시선방향을 조절한다(430).
이를 위해, 프로세서(180)는 상기 결정된 도착 위치로 이동한 후, 대상 전시물 주변에 모인 관람객의 얼굴을 인식하고 인식된 얼굴 및 얼굴방향을 모니터링할 수 있다.
안내 로봇(100)은 얼굴 및 얼굴방향의 모니터링 결과, 대상 전시물에 대한 발화를 시작하기 전, 관람객에 적합한 발화 음성타입, 발화음량, 발화속도를 선택하여, 발화 개시를 준비할 수 있다.
구체적으로, 안내 로봇(100)은 얼굴 및 얼굴방향의 모니터링 결과에 기초하여, 관람객의 구성(예, 가족 여부, 어린이 대상 여부 등), 성별, 연령대를 관람객 정보로 획득할 수 있다.
또한, 안내 로봇(100)의 프로세서(180)는 대상 전시물에 대한 발화를 개시하기 전, 관람객 정보에 대응되는 관람객 특징을 분석하고, 그 분석에 따라 안내 로봇(100)의 스피커를 통해 출력되는 발화의 음성타입, 발화음량, 및 발화속도 중 하나 이상을 조절할 수 있다.
구체적으로, 안내 로봇(100)은 획득된 관람객의 구성, 성별, 연령대에 맞는 음성타입을 선택하도록 연동된 TTS 엔진을 변경/제어할 수 있고, 획득된 관람객의 구성, 성별, 연령대에 맞는 발화음량 및 발화속도로 음성을 출력하도록 안내 로봇(100)의 음향출력부(152)를 제어할 수 있다.
예를 들어, 관람객의 구성이 주로 어린이인 경우라면, 어린이 음성의 TTS 로 도스튼 발화를 수행할 수 있다. 또, 예를 들어, 관람객의 연령대가 높은 경우라면, 발화속도를 낮추고 발화음량을 높여서 도슨트 발화를 수행할 수 있을 것이다. 그에 따라, 커스터마이징 도슨트가 가능해짐에 따라, 도슨트 효과를 높이고 관람객의 관람 집중도를 향상시킬 수 있다.
다음, 안내 로봇(100)은 대상 전시물에 대한 발화 동안, 지속적으로 업데이트되는 관람객 정보에 기초하여, 수행할 다음 동작을 적응적으로 결정할 수 있다(440).
실시 예에 따라, 상기 대상 전시물에 대한 발화 동안은, 안내 로봇(100)이 대상 전시물에 대한 설명을 시작하기 전, 즉 설명을 준비하는 단계를 포함할 수 있다. 또한, 실시 예에 따라, 상기 대상 전시물에 대한 발화 동안은, 안내 로봇(100)이 현재 대상 전시물에 대한 설명을 마친 후 다음 대상 전시물로 이동하기 전 일정시간 동안을 포함할 수 있다.
따라서, 상기 다음 동작은, 특정 대상 전시물에 대한 발화 준비 동안, 발화 동안, 발화 후 일정시간 동안, 수집되는 관람객 정보에 근거하여 상황에 적합하다고 판단되는 특정 동작 또는 로봇의 현재 동작의 변경동작을 포함할 수 있다.
구체적으로, 실시 예로, 안내 로봇(100)의 프로세서(180)는, 업데이트된 관람객 정보에 포함된 관람객의 표정 및 행동을 분석하고, 분석에 따른 관람객의 관람 집중도를 판단하여 발화 컨텐츠 또는 발화시간의 수정 여부를 결정할 수 있다. 예를 들어, 관람객이 표정이 지루함을 느끼는 것으로 판단되면, 흥미를 유발하는 컨텐츠로 변경하여 도슨트 발화를 지속할 수 있다.
또한, 실시 예로서, 안내 로봇(100)의 프로세서(180)는, 업데이트된 관람객 정보에 포함된 관람객의 외형적 특징을 분석하여, 발화할 컨텐츠 정보를 변경할 수 있다. 예를 들어 관람객의 외형적 특징을 분석한 결과, 관람객이 이동하기 편안한 경로로 관람 안내 경로를 가변하여 안내하거나, 또는 제한 규정 위반(예, 동물 출입 금지, 노키즈 존)에 따른 규정 안내를 설명할 수 있다
또한, 실시 예로서, 안내 로봇(100)의 프로세서(180)는, 업데이트된 관람객 정보에 포함된 혼잡도에 따라 관람 안내 경로 또는 다음 대상 전시물의 변경 여부를 결정할 수 있다. 예를 들어, 엘리베이터가 혼잡한 경우, 다른 수단(예, 계단)을 통해 다음 대상 전시물로 이동하도록 안내할 수 있다. 또는, 예를 들어, 다음 순서의 대상 전시물 주변이 매우 혼잡한 경우, 이에 대한 해설을 건너뛰거나 나중순서로 변경하여 관람 이동 경로를 안내할 수 있다.
또한, 실시 예로서, 안내 로봇(100)의 프로세서(180)는, 업데이트된 관람객 정보에 관람객 수에 근거하여 관람 안내 종료 여부를 결정할 수 있다. 예를 들어, 관람객이 한명도 남지 않은 경우, 안내 로봇(100)은 현재 위치에서 관람 안내를 종료한 후, 지정된 대기 위치(또는, 초기 위치)로 이동할 수 있다. 그에 따라, 불필요한 자원 낭비가 없고, 도슨트 서비스를 이용하는 관람객이 없음에도 도슨트 서비스를 계속 진행하는 어색한 상황이 제거된다.
도 5a, 도 5b, 도 5c는 본 발명과 관련된 안내 로봇이, 안내할 대상 전시물 주변의 혼잡도에 근거하여 도착 위치를 세부 수정하는 것을 설명하기 위한 개념도들이다.
구체적으로, 도 5a는 도슨트 기능을 수행할 수 있는 안내 로봇(100)에 미리입력된 지정 위치를 나타낸 것으로, 특정 POI 지점 및 그 주변 일정범위내 영역을 나타낸 것이다. 그리고, 도 5b 및 도 5c는 본 개시에 따른 안내 로봇(100)이 관람객 정보, 특히 관람 혼잡도에 따라 수정된 도착 위치, 각도, 자세를 나타낸 것이다.
안내 로봇(100)의 프로세서(180)는 안내 로봇에 미리입력된 POI에 대응되는 제1 그룹의 후보 지점들로 이동할 수 있는지를 판단하고, 이동할 수 없는 경우(예, 관람객 존재, 관람객 혼잡도 높음)라면, 관람객 정보에 기반하여 결정된 로봇의 도착 위치에 대응하는 제2 그룹의 후보 지점들 중 하나를 로봇의 세부 위치로 결정할 수 있다.
이때, 제2 그룹의 후보 지점들 간의 관계는 상기 제1 그룹의 후보 지점들 간의 관계에 대응된다고 말할 수 있다.
예를 들어, 제2 그룹의 후보 지점들은 도 5b와 도 5c에 도시된 결정된 후보 도착 위치(502, 503, 504)이며, 제1 그룹의 후보 지점들은 도 5a에 도시된 미리입력된(미리저장된) 지정 위치(501)이다. 이때, 결정된 후보 도착 위치(502, 503, 504) 내의 다수의 후보 지점들의 개수, 간격 등은 지정 위치(501)에 대응되는 다수의 후보 지점들의 개수, 간격 등과 일치할 수 있다.
관람 혼잡도가 낮은 경우, 즉 대상 전시물 주변에 관람객이 많지 않은 경우, 안내 로봇(100)은, 도 5a에 도시된 바와 같이, 대상 전시물(520)에 대해 미리입력된 POI 지점 또는 그 POI 지점 주변 영역, 즉 미리저장된 지정 위치(501)를 도착 위치로 결정한다.
지정 위치에서 관람 혼잡도가 일정값 이상이면, 안내 로봇(100은 관람객 정보에 포함된 관람객의 위치, 혼잡도, 혼잡 형태에 따라, 관람 혼잡도가 낮은 위치 또는 영역으로 도착 위치를 결정한다. 예를 들어, 도 5b와 같이, 관람객(510)의 혼잡도가 일정 값 이상이고, 우측 및 중앙이 더 혼잡한 형태인 경우, 안내 로봇(100)은 대상 전시물(520)의 좌측 영역 중 대상 전시물을 감상할 수 있는 후보 위치(502)를 도착 위치로 결정할 수 있다.
이때, 후보 위치(502)는 도시된 바와 같이, 관람객(510)과 일정거리(마진거리)를 유지하는 위치(들)로 결정될 수 있다.
또한, 안내 로봇(100)은 대상 전시물(510)을 바라보는 방향으로 자세 또는 각도를 정렬할 수 있다. 이때, 대상 전시물(510) 주변의 관람객 혼잡 형태에 따라, 안내 로봇(100)의 자세 또는 각도가 수정될 수 있다.
예를 들어, 도 5c에 도시된 바와 같이, 관람객(510)의 혼잡 형태에 따라, 안내 로봇(100)의 도착 위치가 대상 전시물(520)을 기준으로, (a)좌측 후보 위치(503)로 결정되면 안내 로봇의 바디부 또는 터치 스크린이 우측방향을 향하도록 자세 또는 각도(R1)를 조절하고, (b) 우측 후보 위치(504)로 결정되면 안내 로봇의 바디부 또는 터치 스크린이 좌측방향을 향하도록 자세 또는 각도(R2)를 조절한다.
한편, 비록 도시되지는 않았지만, 관람객(510)의 혼잡 형태에 따라, 안내 로봇(100)의 바디부 또는 터치 스크린이 혼잡하지 않는 위치나 영역을 향하도록 주행부를 회전함으로써, 세부 위치나 자세/각도를 수정할 수 있다. 이는, 관람객(510)이 혼잡하지 않는 위치나 영역으로 이동하도록 유도함으로써, 보다 질서 있는 도슨트가 수행될 수 있게끔 한다.
또한, 안내 로봇(100)의 프로세서(180)는 대상 전시물(520)에 대한 주변 혼잡도에 근거하여 로봇의 세부 위치의 조정이 필요한지를 결정하고, 그 결정에 따라 세부 위치로 이동하거나 또는 확인 후, 안내 로봇(100)의 자세 또는 시선방향을 조절할 수 있다.
구체적으로, 대상 전시물(520) 주변의 혼잡도가 정해진 범위 이상인 것에 응답하여, 안내 로봇(100)은 주행부(130)를 제어하여, 대상 전시물(520) 주변의 관람객(510)과 일정거리 이격된 지점에 위치하도록 로봇의 세부 위치를 조정한 다음, 로봇이 대상 전시물(520)를 향하도록 자세 또는 각도를 조절할 수 있다.
도 6은 본 발명과 관련된 안내 로봇이, 도착 위치로 이동 후 관람객이 더 많은 위치 또는 영역을 보다 오래 주시하는 것을 설명하기 위한 예시 개념도이다.
도 6을 참조하면, 본 개시에 따른 안내 로봇(100)은, 헤드부(102)와 바디부(103)로 구분될 수 있고, 헤드부(102)는 로봇의 상부에 위치하여 시선, 얼굴 표정변화를 나타낼 수 있는 제1 디스플레이(151a)를 포함할 수 있다. 또한, 바디부(103)는 헤드부(102)와 주행부(130) 사이에 위치하여, 대상 전시물(620)에 대한 설명과 관련된 시각정보를 표시하는 제2디스플레이(151b)를 포함할 수 있다.
한편, 실시 예에 따라, 바디부(103)는 전면에 구비된 제2디스플레이와 후면에 구비된 제3디스플레이를 포함하도록 구현될 수 있다. 이러한 경우, 관람객(610)은 안내 로봇(100)의 전방과 후방 어느에도 위치할 수 있으므로, 관람객이 많거나 관람 혼잡도가 높은 경우에도 도슨트 효과가 향상될 수 있다.
안내 로봇(100)은 결정된 도착 위치로 이동 후, 대상 전시물 주변에 모인 관람객을 모니터링하기 위해, 카메라를 회전하거나 또는 카메라가 장착된 바디부(103) 또는 헤드부(102)를 좌우방향으로 회전시킬 수 있다. 이어서, 안내 로봇(100)은 관람객의 얼굴을 인식하고 인식된 얼굴의 얼굴방향의 모니터링에 따라, 안내 로봇(100)의 세부 위치를 조정하거나 자세 또는 각도를 조절하도록, 주행부(130)를 제어할 수 있다.
안내 로봇(100)의 프로세서(180)는, 바디부(103)의 제2디스플레이(151b)가 관람객 정보에 포함된 관람객(610)의 얼굴 방향과 마주하도록, 바디부(103)의 중심을 정렬할 수 있다.
이를 위해, 프로세서(180)는 주행부(130)의 구동휠을 회전시켜서, 바디부(103)의 중심이 관람객(610)을 향하도록 자세를 수정할 수 있다.
또한, 안내 로봇(100)은 대상 전시물(620)과 관련된 발화를 수행하는 동안, 모니터링되는 관람객 정보에 포함된 얼굴 밀집 분포에 기초하여, 안내 로봇(100)의 주시방향이 변화하도록, 제1 디스플레이(151a)의 표시를 제어할 수 있다.
실시 예에 따라, 안내 로봇(100)의 프로세서(180)는 헤드부(102)의 제1 디스플레이(151a)의 표시를 제어하여, 안내 로봇(100)이 관람객(610)의 얼굴 밀집 분포가 평균 이상인 지점 또는 영역을 더 오래 주시하도록 로봇의 주시방향을 조절할 수 있다.
예를 들어, 안내 로봇(100)은 관람객(610)의 모니터링 후, 관람객(610)의 얼굴 밀집 분포도가 높은 위치 또는 영역을 더 오래 주시하도록, 제1 디스플레이(151a)에 시선방향을 표시할 수 있다. 이와 같이, 관람객이 많이 모인 곳에 안내 로봇(100)의 시선이 오래 향하도록 처리함으로써, 관람객과 눈을 맞추고 설명하는 것처럼 자연스럽고 스마트한 도슨트 효과를 제공할 수 있다.
또한, 실시 예에 따라, 안내 로봇(100)은 대상 전시물(620)에 대한 도슨트 발화를 시작한 후에도, 지속적으로 관람객(610)을 모니터링하고, 모니터링 결과 관람객의 얼굴 밀집 분포도의 변화가 감지되면, 감지된 변화에 기초하여 제1 디스플레이(151a)에 시선방향 및 시선방향의 분배를 재조절할 수 있다.
또한, 실시 예에 따라, 안내 로봇(100)은 관람객(610)의 모니터링 후, 관람객(610)의 표정변화를 분석하여, 관람 집중도가 높은 관람객에게 더 오래 또는 자주 시선이 향하도록 헤드부(102)를 회전하거나 또는 제1 디스플레이(151a)에 주시방향을 표시할 수 있다. 이를 위해, 안내 로봇(100)의 메모리(170)에는 관람객의 다양한 표정변화에 대응되는 집중도와 관련된 값/레벨 데이터가 미리 저장될 수 있다.
도 7a, 도 7b, 도 7c는 본 발명과 관련된 안내 로봇이, 도착 위치에서 관람객의 얼굴방향에 대응하도록 시선방향을 이동하는 예시를 설명하기 위한 개념도들이다.
안내 로봇(100)의 제1 디스플레이(151a)에 표시되는 시선방향 또는 주시방향은 도 7a 내지 도 7c에 도시된 바와 같이, 안내 로봇(100)이 현재 위치에서 관람객(P1, P2, P3)의 얼굴방향을 바라보는 것처럼, 제1 디스플레이(151a)에 표시되는 안내 로봇(100)의 눈동자의 움직임 변화를 표시한다.
예를 들어, 도 7a 와 같이, 안내 로봇(100)의 위치를 기준으로 우측에 위치한 제1 관람객(P1)을 주시하기 위해, 우측의 제1 관람객(P1)을 향하는(주시하는) 눈동자 이미지를 제1 디스플레이(151a)에 디스플레이할 수 있다.
또, 예를 들어, 도 7b 와 같이, 안내 로봇(100)의 위치를 기준으로 가운데 =위치한 제2 관람객(P2)을 주시하기 위해, 중앙의 제2 관람객(P2)을 향하는(주시하는) 눈동자 이미지를 제1 디스플레이(151a)에 디스플레이할 수 있다.
또, 예를 들어, 도 7c 와 같이, 안내 로봇(100)의 위치를 기준으로 좌측에 위치한 제3 관람객(P3)을 주시하기 위해, 좌측의 제3 관람객(P3)을 향하는(주시하는) 눈동자 이미지를 제1 디스플레이(151a)에 디스플레이할 수 있다.
한편, 주시방향에 위치한 관람객이 이동하거나 또는 얼굴 방향이 변경된 것이 감지되면, 안내 로봇(100)은 시선을 다시 좌우로 이동하면서 관람객의 얼굴 및 얼굴방향을 모니터링하고, 도슨트 발화를 수행하는 동안 전술한 과정을 반복한다. 또는, 안내 로봇(100)의 시선이 이동하는 관람객을 향하도록 일정시간 동안 관람객의 얼굴 트래킹을 수행할 수 있다.
이에 의하여, 로봇이 주시하던 관람객이 도슨트를 더 이상 듣지 않거나 이동하더라도, 안내 로봇이 빈 곳을 주시하지 않고 자연스러운 시선처리를 수행할 수 있다.
이하에서는, 도 8, 도 9, 도 10을 참조하여, 전술한 도 4의 흐름도에 포함된 각 단계에 대한 세부 동작을 구체적으로 설명하겠다. 도 8, 도 9, 도 10에 도시된 각각의 세부 동작은 일련의 세부 동작으로 수행될 수도 있고, 각 세부 동작이 별개로 실시 예로서 독립적으로 수행될 수도 있고, 일부 세부 동작이 생략되거나 또는 다른 세부 동작을 포함하여 수행될 수도 있다. 특히, 도 10에 도시된 도면의 세부 동작은 특정 순서를 따르도록 도시한 것이 아니며, 도시된 순서와 다른 순서로 세부 동작이 수행될 수 있다.
도 8은 본 발명과 관련된 안내 로봇이, 대상 전시물과 관련된 도착 위치를 결정하고, 결정된 위치로 이동하는 것과 관련된 세부 동작을 포함하는 도면이다. 다시 말해, 도 4의 흐름도의 단계(420)와 관련된 세부 동작을 도시한 것이다.
실시 예에서, 안내 로봇(100)은 관람객 정보에 포함된 관람 혼잡도에 따라, 안내할 대상 전시물과 관련된 로봇의 도착 위치에 대한 수정 여부를 결정할 수 있다(421).
안내 로봇(100)은, 관람객 정보에 근거하여 도착 위치의 세부 위치를 수정하거나, 그리고/또는 대상 전시물 주변의 관람 혼합도에 기초하여 도착 위치의 세부 위치를 수정하도록 동작할 수 있다.
여기서, 상기 관람객 정보에 근거하여 도착 위치의 세부 위치를 수정하는 것은, 로봇의 도착 위치가 관람객과 일정거리르 유지하도록 세부 위치를 수정하는 것과, 도착 위치에서 모니터링되는 관람객의 얼굴방향에 기초하여 안내 로봇의 자세 또는 각도를 수정하는 것을 포함할 수 있다.
또한, 상기 대상 전시물 주변의 관람 혼합도에 기초하여 도착 위치의 세부 위치를 수정하는 것은, 도착 위치에서 모니터링되는 관람 혼잡도 및 혼잡도 형태에 따라 현재 안내 로봇의 세부 위치와 각도(자세))를 수정하는 것을 포함할 수 있다.
또한, 안내 로봇(100)의 프로세서(180)는, 업데이트된 관람객 정보에 포함된 관람 혼잡도에 따라 관람 안내 경로 또는 다음 대상 전시물의 변경 여부를 결정할 수 있다.
예를 들어, 안내 로봇(100)은 관람객의 입장 수에 따른 공간 혼잡도, 층간 이동을 위한 엘리베이터와 통신하여 수집되는 이동수단 혼잡도, 안내 로봇의 진행방향을 기준으로 한 관람객 혼잡도 등에 따라, 원할하고 스마트한 도슨트가 수행될 수 있도록, 관람 순서, 경로, 설명할 대상 전시물을 적응적으로 변경할 수 있다.
실시 예에서, 안내 로봇(100)은 도착 위치가 결정되면, 관람객과 일정 거리를 유지하도록 주행하면서 결정된 도착 위치로 이동한다(422).
이는, 안내 로봇이 관람객 보다 너무 느리게 이동할 경우 관람객이 지루함을 느끼게 되어 이탈하거나 가이드 효용이 낮아지며, 안내 로봇이 관람객 보다 너무 빠르게 이동할 경우 무리하여 좇아가는 도중에 사고로 이어질 수 있기 때문이다. 이와 같이 관람객의 이동 속도에 맞추어 안내 로봇이 다음 대상 전시물 위치로 이동하게 함으로써, 도슨트 서비스를 이용하는 관람객이 이탈하지 않고 도슨트를 계속 사용하게끔 하며, 도슨트 효과도 더욱 향상된다.
또한, 안내 로봇(100)은 앞서가는 관람객을 향해 다음 대상 전시물의 위치를 미리 안내할 수도 있다.
또한, 안내 로봇(100)은 관람객과 로봇의 현재 위치 간의 거리 정보에 근거하여 주행속도를 조절할 수 있고, 상기 거리 정보를 이용하여 안내 로봇의 세부 위치를 수정하거나 발화음량을 설정 또는 변경할 수 있다.
예를 들어, 상기 거리 정보에 기초하여 관람객과 로봇이 일정한 이격거리범이를 유지하도록 안내 로봇을 전후로 이동하여 안내 로봇의 위치를 조절할 수 있다. 또, 예를 들어, 상기 거리 정보나 따라오는 관람객 수 정보에 기초하여, 안내하는 발화음량을 증가시킬 수 있다.
실시 예에서, 안내 로봇(100)은 대상 전시물 주변의 혼잡도에 기초하여 도착 위치 또는 로봇 자세를 수정할 수 있다(423).
예를 들어, 대상 전시물 주변이 혼잡한 경우, 혼잡 형태에 기초하여 혼잡이 덜한 위치 또는 영역으로 도착 위치를 수정할 수 있다. 또, 예를 들어 혼잡의 해소를 유도하기 위해, 안내 로봇이 혼잡이 덜한 위치 또는 영역을 주시하여, 관람객 스스로 혼잡하지 않는 위치로 이동하게끔 할 수 있다. 또, 예를 들어, 안내 로봇의 자세는 관람객의 얼굴 밀집 분포도가 높거나 혼잡한 방향과 대상 전시물을 감상할 수 있는 방향 내에 오도록 자세를 수정할 수 있다.
도 9는 본 발명과 관련된 안내 로봇이, 도착 위치로 이동 후 관람객의 얼굴방향에 따라 자세 또는 시선방향을 조절하는 것과 관련된 세부 동작을 포함하는 도면이다. 다시 말해, 도 9는 도 4의 흐름도의 단계(430)와 관련된 세부 동작을 도시한 것이다.
실시 예에서, 안내 로봇(100)이 결정된 도착 위치로 이동한 후, 안내 로봇은 해당 도착 지점에서 주변 관람객의 얼굴을 모니터링한다(431).
예를 들어, 안내 로봇(100)은 헤드부 또는 헤드부의 시선방향을 좌우로 이동하면서, 카메라 등의 비전센서를 통해, 대상 전시물 주변에 모여든 관람객의 얼굴 및 얼굴방향을 모니터링한다.
실시 예에서, 상기 모니터링에 기초하여, 안내 로봇은 도착 위치를 수정하거나 또는 현재 위치에서 정해진 모션을 수행할 수 있다(432). 여기서, 정해진 모션은 미리정해진 특정 동작(예, 헤드를 좌우로 움직임), 표정변화(예, 눈 깜빡임)를 수행하는 것으로, 이는 도착 위치가 확정되었음을 인지한 것에 대한 표시일 수 있다.
실시 예에서, 안내 로봇(100)은 상기 모니터링에 기초하여, 대상 전시물에 대한 발화의 음성타입, 발화음량, 발화속도를 선택적으로 조절할 수 있다(433).
이를 위해, 상기 안내 로봇(100)은 상기 모니터링에 기초하여, 대상 전시물 주변의 관람객 정보, 예를 들어, 관람객의 주요 구성(예, 가족 여부, 어린이 포함 여부 등), 성별, 연령대를 확인할 수 있다.
발화의 음성타입은 관람객의 성별, 연령대에 맞는 음성이 자동 선택되도록, 안내 로봇과 연동된 TTS 엔진을 선택할 수 있다. 그에 따라, 관람객에 보다 친화적인 도슨트 서비스를 제공할 수 있다.
발화음량은, 관람객이 많을수록 로봇과의 이격거리가 클수록, 관람객의 연령대가 높을수록 증가할 수 있다. 또한, 발화속도는, 관람객의 연령대가 평균보다 낮거나 높은 경우, 관람객의 주요 구성이 가족인 경우, 기준치보다 감소될 수 있다.
실시 예에서, 안내 로봇(100)은 관람객이 많은 위치 또는 영역을 오래 주시하도록 로봇의 헤드 또는 눈동자 시선방향을 좌우로 이동하면서 발화를 개시할 수 있다(434). 이와 같은 발화 개시 전 동작을 통해, 관람객의 집중이 보다 향상될 수 있다.
도 10은 본 발명과 관련된 안내 로봇이, 대상 전시물에 대한 발화 전후 또는 발화 동안 업데이트되는 관람객 정보에 기초하여 다음 동작을 결정하는 것과 관련된 세부 동작을 포함하는 도면이다. 다시 말해, 도 10은 도 4의 흐름도의 단계(440)와 관련된 세부 동작을 도시한 것이다.
도슨트 서비스가 개시되면, 안내 로봇(100)은 카메라 등의 비전센서를 통해 지속적이고 실시간으로 관람객 정보를 획득 및 업데이트할 수 있다.
실시 예에서, 안내 로봇(100)은, 업데이트되는 관람객 정보에 포함된 관람객의 표정 또는 행동 변화를 분석하고, 상기 분석에 따른 관람 집중 정도에 기초하여 발화 컨텐츠나 발화시간의 수정 여부를 결정할 수 있다(441).
여기에서, 초기의 발화 컨텐츠는 관람객의 모니터링에 따른 관람객의 주요 구성, 연령대 등과 같은 관람객의 특징에 따라 선택될 수 있다. 예를 들어, 관람객의 연령대가 기준보다 낮거나 높은 경우 컨텐츠 난이도를 낮추어서 발화를 개시할 수 있다.
이와 같은 초기 발화 컨텐츠에 따라 도슨트 발화를 수행하는 동안, 모니터링되는 관람객의 표정 및/또는 행동변화에서 지루함 또는 이해 못함이 감지되면, 안내 로봇(100)은 컨텐츠 발화를 중단하지 않고, 재미요소를 포함하는 발화 컨텐츠(예, 대상 전시물과 관련된 퀴즈, 일화 등)로 수정하여 발화를 이어나갈 수 있다. 또는, 안내 로봇(100)은 컨텐츠의 길이를 조절하여, 예를 들어 요약 형태로 발화 컨텐츠를 변경할 수 있다.
또한, 발화 도중이라도 관람 조건에 맞지 않는 상황 발생이 감지되면, 안내 로봇(100)은 규정 안내(예, '동물을 데리고 입장할 수 없어요')를 발화하도록, 발화 컨텐츠의 종류를 변경할 수 있다.
실시 예에서, 안내 로봇(100)은 업데이트되는 관람객 정보에 포함된 혼잡도에 기초하여, 안내 관람 경로 또는 다음 대상 전시물의 변경 여부를 결정할 수 있다(442).
예를 들어, 공간의 혼잡도에 따라 안내 로봇(100)이 지정된 관람 안내 경로로 주행하기 곤란하거나 또는 관람객의 특징에 따라 다음 대상 전시물로의 이동경로 또는 이동수단의 변경이 필요하다고 판단되는 경우, 관람 순서, 관람 안내 경로, 안내할 다음 전시물을 상황에 적합하게 수정하여 안내할 수 있다.
예를 들어, 층간 이동시 엘리베이터 공간이 혼잡한 경우 계단을 이용하도록 안내하거나, 관람객이 보조기구(예, 휠체어 등)를 사용하는 경우 이동하기 편한 경로를 추가로 안내할 수 있다.
또는, 예를 들어 관람 순서를 변경하여 관람 혼잡도가 낮은 전시물부터 설명하거나, 대상 전시물의 주변 혼잡도가 높은 경우에는 발화 컨텐츠의 길이/시간을 감소시켜서 도슨트 발화를 제공할 수 있다.
또한, 실시 예에서, 안내 로봇(100)은 업데이트되는 관람객 정보에 포함된 관람객 수에 근거하여, 관람 안내 종료 여부를 결정할 수 있다(443).
구체적으로, 안내 로봇(100)의 프로세서(180)는 카메라 등의 비전 센서를 통해 남은 관람객 수가 없는 것으로 결정되면, 안내할 관람 경로를 모두 마친 것으로 인지하고, 다음 대상 전시물로 안내 없이 관람 안내를 종료할 수 있다. 이후, 안내 로봇(100)은 지정된 대기 위치로 이동하거나, 설정 조건(예, 혼잡도가 적은 위치 또는 영역)에 부합하는 위치로 스스로 이동할 수 있다.
그에 따라, 기존에는 미리 지정된 안내 경로를 완료하거나 또는 사용자나 관리자가 취소 버튼(또는, 다른 명령 입력)을 눌러야 관람 안내가 비로소 종료되었던 문제가 해소되었다.
본 발명의 일부 실시 예에 따른 안내 로봇 및 그것의 동작방법에 의하면, 주변의 관람객 정보에 포함된 관람객 수, 대상 전시물 주변의 혼잡도에 따라 미리저장된 지정 위치를 수정할 수 있고, 해당 위치로 안내 로봇이 이동한 후에도 관람객이 바라보는 방향, 혼잡도, 대상 전시물의 위치에 따라 세부 위치를 조정하거나 안내 로봇의 자세, 각도, 시선처리를 적절하게 조절할 수 있다. 그에 따라, 서비스를 제공받는 관람객은 사람이 도슨트를 수행하는 경우와 유사한 친근감을 느낄 수 있고, 관람에 집중할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 일부 실시 예에 따른 안내 로봇 및 그것의 동작방법에 의하면, 대상 전시물 주변에 모인 관람객의 특징을 모니터링하여 그에 적절한 음성타입, 음량, 속도로 발화하고, 관람객의 집중도를 모니터링하여 컨텐츠나 발화 시간을 조절함으로써, 관람객의 관람 집중도와 내용 이해도를 보다 증진시킬 수 있다. 또한, 관람 혼잡도에 따라 저장된 관람 안내 경로나 설명할 다음 대상 전시물을 유연하게 수정함으로써, 도슨트 효과를 높일 수 있다. 또한, 다음 대상 전시물로 이동시 관람객의 이동속도에 맞추어 주행함으로써, 다음 해설을 지체없이 이어나갈 수 있어서, 도슨트 서비스를 제공받는 관람객의 집중을 최대한 유지할 수 있다. 또한, 관람 안내가 진행되는 동안에도 관람객이 모두 떠난 경우와 같이 더 이상 도슨트 서비스를 제공할 필요가 없는 것으로 판단되면, 관리자의 추가 입력 없이, 안내 로봇 스스로 서비스를 종료하고, 대기 위치로 이동할 수 있다. 그에 따라, 불필요한 자원 낭비가 없게 되며, 관람객이 없음에도 도슨트를 계속 진행하는 어색한 상황이 제거된다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (19)

  1. 안내 로봇으로서,
    주변의 관람객 정보를 획득하기 위한 센서;
    상기 관람객 정보에 근거하여 대상 전시물과 관련된 도착 위치를 결정하는 프로세서; 및
    상기 결정된 도착 위치로 로봇을 이동시키기 위한 주행부를 포함하고,
    상기 프로세서는,
    상기 결정된 도착 위치에서 상기 관람객 정보에 포함된 관람객의 얼굴 방향에 대응하도록 로봇의 자세 또는 시선방향을 조절하고, 대상 전시물에 대한 발화 동안 업데이트되는 관람객 정보에 기초하여 다음 동작을 결정하는,
    안내 로봇.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 결정된 도착 위치에서 상기 대상 전시물에 대한 주변 혼잡도에 근거하여 로봇의 세부 위치의 조정 필요 여부를 결정하고, 상기 결정에 따라 세부 위치의 이동 또는 확인 후, 상기 자세 또는 시선방향을 조절하는
    안내 로봇.
  3. 제2항에 있어서,
    상기 프로세서는,
    대상 전시물 주변의 혼잡도가 정해진 범위 이상인 것에 응답하여, 상기 주행부를 제어하여 상기 대상 전시물 주변의 관람객과 일정거리 이격된 지점에 위치하도록 로봇의 세부 위치를 조정하고, 상기 로봇이 상기 대상 전시물를 향하도록 각도를 조절하는,
    안내 로봇.
  4. 제3항에 있어서,
    상기 프로세서는,
    안내 로봇이 미리입력된 POI에 대응되는 제1 그룹의 후보 지점들로 이동할 수 없는 것으로 판단되면, 상기 관람객 정보에 기반하여 결정된 로봇의 도착 위치에 대응하는 제2 그룹의 후보 지점들 중 하나를 로봇의 세부 위치로 결정하고,
    상기 제2 그룹의 후보 지점들 간의 관계는 상기 제1 그룹의 후보 지점들 간의 관계에 대응되는
    안내 로봇.
  5. 제4항에 있어서,
    로봇의 전면 바디에 장착되어, 상기 대상 전시물과 관련된 시각정보를 표시하는 디스플레이를 더 포함하고,
    상기 프로세서는,
    대상 전시물 주변의 혼잡도가 정해진 범위 이상인 것에 응답하여, 상기 디스플레이가 상기 혼잡도가 평균 이하인 방향을 향하도록 로봇의 전면 바디를 회전시키는,
    안내 로봇.
  6. 제1항에 있어서,
    상기 관람객 정보를 획득하기 위한 센서는 카메라와 3D 뎁쓰 카메라, 라이다, 근접 센서 중 적어도 하나 이상을 포함하는,
    안내 로봇.
  7. 제1항에 있어서,
    상기 안내 로봇은,
    상부에 위치하여 로봇의 얼굴 표정변화를 표시하는 제1 디스플레이를 포함하는 헤드부와, 상기 헤드부 및 상기 주행부 사이에 위치하여 상기 대상 전시물에 대한 설명과 관련된 시각정보를 표시하는 제2디스플레이를 포함하는 바디부로 구분되며,
    상기 프로세서는,
    상기 제2디스플레이가 상기 관람객 정보에 포함된 관람객의 얼굴 방향과 마주하도록 상기 바디부의 중심을 정렬하고,
    발화 동안 모니터링되는 관람객 정보에 포함된 얼굴 밀집 분포에 기초하여, 로봇의 주시방향이 변화하도록 상기 제1 디스플레이의 표시를 제어하는,
    안내 로봇.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 디스플레이를 제어하여, 상기 관람객의 얼굴 밀집 분포가 평균 이상인 지점 또는 영역을 더 오래 주시하도록 로봇의 주시방향을 조절하는,
    안내 로봇.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 결정된 도착 위치로 로봇의 이동시, 로봇과 관람객이 일정거리를 유지하도록 상기 주행부를 통해 주행속도를 조절하는,
    안내 로봇.
  10. 제1항에 있어서,
    상기 안내 로봇에 장착되어, 대상 전시물에 대한 발화를 출력하는 스피커를 더 포함하고,
    상기 프로세서는,
    상기 대상 전시물에 대한 발화 개시전, 관람객 정보에 대응되는 관람객 특징을 분석하고, 상기 분석에 따라 상기 스피커를 통해 발화의 음성 타입, 발화음량, 및 발화속도 중 하나 이상을 조절하는,
    안내 로봇.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 관람객 정보에 포함된 관람객의 표정 또는 행동 변화를 분석하고,
    상기 분석에 따른 관람 집중 정도에 기초하여 상기 대상 전시물에 대한 발화 컨텐츠의 변경 여부 또는 발화 시간의 조절 여부를 결정하는,
    안내 로봇.
  12. 제1항에 있어서,
    정해진 공간 내에서, 로봇이 안내할 관람 경로 및 설명할 대상 전시물에 관한 정보가 저장되는 메모리를 포함하고,
    상기 프로세서는,
    상기 관람객 정보에 포함된 혼잡 정도에 근거하여 상기 저장된 관람 경로의 수정 여부를 결정하고, 상기 설명할 대상 전시물의 주변 혼잡도에 근거하여 다음 대상 전시물의 변경 여부를 결정하는,
    안내 로봇.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 관람객 정보에 포함된 관람객의 특징에 기초하여 상기 저장된 관람 경로 또는 규정 제한 안내 방식의 변경 여부를 결정하는,
    안내 로봇.
  14. 제12항에 있어서,
    대상 전시물에 대한 발화 동안 상기 관람객 정보에 포함된 남은 관람객 수에 기초하여 다음 대상 전시물로의 안내 여부를 결정하는,
    안내 로봇.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 센서를 통해 상기 관람객 정보에 포함된 남은 관람객 수가 없는 것으로 결정되면, 로봇이 안내할 관람 경로를 모두 마친 것으로 인지하고, 다음 대상 전시물로 안내 없이 관람 안내를 종료하는,
    안내 로봇.
  16. 안내 로봇의 동작방법으로서,
    주변의 관람객 정보를 획득하는 단계;
    상기 관람객 정보에 근거하여 대상 전시물과 관련된 도착 위치를 결정하고, 결정된 도착 위치로 로봇을 이동시키기 단계;
    이동 후, 상기 관람객 정보에 포함된 관람객의 얼굴 방향에 대응하도록 로봇의 자세 또는 시선방향을 조절하는 단계; 및
    상기 대상 전시물에 대한 발화 동안 업데이트되는 관람객 정보에 기초하여 다음 동작을 결정하는 단계를 포함하는,
    안내 로봇의 동작방법.
  17. 제16항에 있어서,
    상기 결정된 도착 위치로 로봇을 이동시키기 단계는,
    상기 관람객 정보에 포함된 혼잡도에 따라, 대상 전시물과 관련된 도착 위치의 수정 여부를 결정하는 단계;
    관람객과 일정 거리를 유지하면서 다음 도착 위치로 로봇을 이동시키는 단계; 및
    대상 전시물 주변의 혼잡도에 기초하여 도착 위치 또는 로봇 자세를 수정하는 단계를 포함하는,
    안내 로봇의 동작방법.
  18. 제16항에 있어서,
    상기 관람객의 얼굴 방향에 대응하도록 로봇의 자세 또는 시선방향을 조절하는 단계는,
    상기 도착 위치에서, 센서를 통해 관람객의 얼굴을 모니터링하는 단계;
    모니터링 결과에 기초하여, 상기 도착 위치를 수정하거나 또는 현재 위치에서 정해진 모션을 수행하는 단계;
    모니터링 결과에 기초하여, 대상 전시물에 대한 발화의 음성 타입, 발화음량, 발화속도를 조절하는 단계; 및
    로봇이 관람객이 많은 위치 또는 영역을 오래 주시하도록 로봇의 헤드 또는 눈동자 시선방향을 좌우로 이동하면서 발화를 개시하는 단계를 포함하는,
    안내 로봇의 동작방법.
  19. 제16항에 있어서,
    상기 업데이트되는 관람객 정보에 기초하여 다음 동작을 결정하는 단계는,
    업데이트되는 관람객 정보에 포함된 관람객의 표정 또는 행동 변화를 분석하고, 상기 분석에 따른 관람 집중 정도에 기초하여 발화 컨텐츠 또는 발화시간의 수정 여부를 결정하는 단계;
    업데이트되는 관람객 정보에 포함된 혼잡도에 기초하여, 안내 관람 경로 또는 다음 대상 전시물의 변경 여부를 결정하는 단계; 및
    업데이트되는 관람객 정보에 포함된 관람객 수에 근거하여, 관람 안내 종료 여부를 결정하는 단계를 포함하는,
    안내 로봇의 동작방법.
PCT/KR2022/013568 2022-09-08 2022-09-08 안내 로봇 및 안내 로봇의 동작방법 WO2024053767A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/013568 WO2024053767A1 (ko) 2022-09-08 2022-09-08 안내 로봇 및 안내 로봇의 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/013568 WO2024053767A1 (ko) 2022-09-08 2022-09-08 안내 로봇 및 안내 로봇의 동작방법

Publications (1)

Publication Number Publication Date
WO2024053767A1 true WO2024053767A1 (ko) 2024-03-14

Family

ID=90191333

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013568 WO2024053767A1 (ko) 2022-09-08 2022-09-08 안내 로봇 및 안내 로봇의 동작방법

Country Status (1)

Country Link
WO (1) WO2024053767A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005289307A (ja) * 2004-04-05 2005-10-20 Seiko Epson Corp 飛行案内装置、歩行案内方法、飛行案内プログラム
JP2007216363A (ja) * 2006-02-20 2007-08-30 Saitama Univ コミュニケーションロボット
JP2009166184A (ja) * 2008-01-17 2009-07-30 Saitama Univ ガイドロボット
JP2009178783A (ja) * 2008-01-29 2009-08-13 Toyota Motor Corp コミュニケーションロボット及びその制御方法
KR20160000162A (ko) * 2014-06-24 2016-01-04 주식회사 네오텍 안내용 서비스 로봇의 자율주행 방법
JP2019051568A (ja) * 2017-09-14 2019-04-04 大日本印刷株式会社 案内装置、案内システム、案内方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005289307A (ja) * 2004-04-05 2005-10-20 Seiko Epson Corp 飛行案内装置、歩行案内方法、飛行案内プログラム
JP2007216363A (ja) * 2006-02-20 2007-08-30 Saitama Univ コミュニケーションロボット
JP2009166184A (ja) * 2008-01-17 2009-07-30 Saitama Univ ガイドロボット
JP2009178783A (ja) * 2008-01-29 2009-08-13 Toyota Motor Corp コミュニケーションロボット及びその制御方法
KR20160000162A (ko) * 2014-06-24 2016-01-04 주식회사 네오텍 안내용 서비스 로봇의 자율주행 방법
JP2019051568A (ja) * 2017-09-14 2019-04-04 大日本印刷株式会社 案内装置、案内システム、案内方法及びプログラム

Similar Documents

Publication Publication Date Title
WO2021010502A1 (ko) 로봇 및 그를 이용한 물품 관리 방법
WO2021015308A1 (ko) 로봇 및 그의 기동어 인식 방법
WO2020256195A1 (ko) 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법
WO2020262746A1 (ko) 인공지능 기반의 세탁 코스 추천 장치 및 그 제어 방법
WO2019160396A2 (ko) 안내 로봇 및 안내 로봇의 동작 방법
WO2019208950A1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
WO2019031825A1 (ko) 전자 장치 및 그 동작 방법
WO2021006368A1 (ko) 인공지능 기반의 에너지 사용량 예측 장치 및 예측 방법
WO2020141952A1 (en) Conversational control system and method for registering external device
WO2019235743A1 (ko) 장애물 회피에 기반하여 경유 지점을 주행하는 로봇 및 주행하는 방법
WO2020256163A1 (ko) 인공지능 이동 로봇과 그의 제어 방법
WO2020241930A1 (ko) 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2020241920A1 (ko) 장치 정보에 기반하여, 다른 장치를 제어할 수 있는 인공 지능 장치
WO2021045271A1 (ko) 로봇
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2019132410A1 (en) Electronic device and control method thereof
WO2020251074A1 (ko) 음성 인식 기능을 제공하는 인공 지능 로봇 및 그의 동작 방법
WO2021040104A1 (ko) 로봇
KR20190102151A (ko) 사용자에게 정보를 제공하는 인공 지능 서버 및 그 방법
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2020246640A1 (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
WO2021215547A1 (ko) 스마트 홈 장치 및 방법
WO2018117753A1 (en) Electronic device and method of controlling the same
WO2021040105A1 (ko) 개체명 테이블을 생성하는 인공 지능 장치 및 그 방법
WO2020256179A1 (ko) 공간 인식을 위한 마커, 공간을 인식하여 카트로봇을 정렬하고 이동시키는 방법 및 카트로봇

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22958222

Country of ref document: EP

Kind code of ref document: A1