WO2018128292A1 - 공항용 로봇 및 그의 동작 방법 - Google Patents

공항용 로봇 및 그의 동작 방법 Download PDF

Info

Publication number
WO2018128292A1
WO2018128292A1 PCT/KR2017/014513 KR2017014513W WO2018128292A1 WO 2018128292 A1 WO2018128292 A1 WO 2018128292A1 KR 2017014513 W KR2017014513 W KR 2017014513W WO 2018128292 A1 WO2018128292 A1 WO 2018128292A1
Authority
WO
WIPO (PCT)
Prior art keywords
airport robot
zone
human body
airport
user
Prior art date
Application number
PCT/KR2017/014513
Other languages
English (en)
French (fr)
Inventor
박정민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/476,061 priority Critical patent/US11407116B2/en
Publication of WO2018128292A1 publication Critical patent/WO2018128292A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/086—Proximity sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Definitions

  • the present invention relates to a robot disposed at an airport and a method of operating the same, and more particularly, to an airport guide robot and a method of operating the same, which are arranged at an airport and provide a road guide to users.
  • Deep learning is a field of machine learning. Deep learning is not a method of checking conditions and setting commands in advance, but a technique that allows a program to make similar judgments in various situations. Thus, deep learning allows computers to think similarly to the human brain, enabling the analysis of vast amounts of data.
  • Autonomous driving is a technology that allows the machine to move on its own and avoid obstacles.
  • the robot autonomously recognizes the position through the sensor and moves and avoids obstacles.
  • Automatic control technology refers to a technology that automatically controls the operation of the machine by feeding back the measured value of the machine state in the machine to the control device. Therefore, control without human operation is possible, and the target control object can be automatically adjusted to fall within the target range, that is, to the target value.
  • the Internet of Things is an intelligent technology and service that connects all things based on the Internet and communicates information between people and things, things and things.
  • Devices connected to the Internet by the Internet of Things are able to communicate autonomously, taking care of themselves without any help.
  • Robot applications are generally classified into industrial, medical, space, and submarine applications.
  • robots can perform repetitive tasks.
  • many industrial robots are already in operation that repeat the same movement for hours if the human arm is taught only once.
  • An object of the present invention is to solve the process of manually waking up the user to the airport robot in order to use the airport robot.
  • Another object of the present invention is to prevent the situation in which the user collides with the airport robot in a crowded environment.
  • Still another object of the present invention is to accurately detect an object while guiding the user to the destination so as not to be confused with another user.
  • the robot for an airport may provide a function of automatically waking up when a user enters a predetermined distance by configuring a location recognition unit to sense a human body within a predetermined distance.
  • the airport robot according to the present invention may configure an algorithm to notify a warning sound when the airport robot and the human body are closer than a predetermined distance.
  • the airport robot according to the present invention may provide a tracking function that enables a person to follow a person by recognizing a person's position and obstacles in an allocated area by using a plurality of position detection detector sensors designed so that scan lines do not overlap. have.
  • the airport robot configures the location recognition unit to sense the human body within a certain distance, and automatically wakes up when the user comes within a certain distance, so that the user can use the airport robot to use the airport robot.
  • the effect is that the unnecessary steps of waking up and manually waking up disappear.
  • the airport robot configures an algorithm to notify a warning sound when the airport robot and the human body are closer than a predetermined distance, thereby preventing the user from colliding with the airport robot in a crowded environment. Bring.
  • the airport robot provides a tracking function that enables a user to follow a person by recognizing a person's position and obstacles within an allocated area using a plurality of position detection detector sensors designed so that scan lines do not overlap. This guides the user to the destination, so as not to confuse with other users accurately brings the effect of providing a road guidance service.
  • FIG. 1 is a block diagram showing a hardware configuration of an airport robot according to an embodiment of the present invention.
  • FIG. 2 is a view showing in detail the configuration of the micom and the AP of the airport robot according to another embodiment of the present invention.
  • FIG. 3 is a view for explaining the structure of the airport robot system according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example in which an airport robot detects a human body or an object at predetermined distances according to an embodiment of the present invention.
  • FIG. 5 is a schematic block diagram of a configuration of an airport robot having a tracking function according to the present invention.
  • FIG. 6 is a schematic diagram for describing a distance measuring sensor module of the estimator applied to FIG. 5.
  • FIG. 7 is a view for explaining a method of recognizing a person according to the present invention.
  • FIG. 8 is a flowchart illustrating a human tracking method of the robot according to the present invention.
  • FIG. 9 is a block diagram of a human tracking system according to an embodiment of the present invention.
  • FIG. 10 is a block diagram of a TOF camera of a human tracking system of the present invention.
  • 11 and 12 are operational principle diagrams of the TOF camera configured in the human tracking system of the present invention.
  • FIG. 13 is a view showing an example of the characteristic image data related to the human body according to an embodiment of the present invention.
  • FIG. 14 is a conceptual diagram of the operation of the human tracking system according to an embodiment of the present invention.
  • 15 is a control block diagram for using the video and audio data obtained by the human body tracking system according to an embodiment of the present invention.
  • 16 is a human body tracking photographing flowchart according to an embodiment of the present invention.
  • 17 is a flowchart of a camera operation of tracking a human body along newly obtained coordinates according to an exemplary embodiment of the present invention.
  • FIG. 1 is a block diagram showing a hardware configuration of an airport robot according to an embodiment of the present invention.
  • the hardware of the airport robot 100 may be composed of a micom group and an AP group.
  • the microcomputer 110 group may include a microcomputer 110, a power supply unit 120, an obstacle recognition unit 130, and a driving driver 140.
  • the AP group may include the AP 150, the user interface unit 160, the object recognition unit 170, the location recognition unit 180, and the LAN 190.
  • the user interface unit 160 may be referred to as a communication unit.
  • the microcomputer 110 may manage a power supply unit 120 including a battery, an obstacle recognition unit 130 including various sensors, and a driving driver 140 including a plurality of motors and wheels among hardware of the airport robot. .
  • the power supply unit 120 may include a battery driver 121 and a lithium-ion battery 122.
  • the battery driver 121 may manage charging and discharging of the lithium-ion battery 122.
  • the lithium-ion battery 122 may supply power for driving the airport robot.
  • the lithium-ion battery 122 may be configured by connecting two 24V / 102A lithium-ion batteries in parallel.
  • the obstacle recognition unit 130 may include an IR remote control receiver 131, a USS 132, a Cliff PSD 133, an ARS 134, a Bumper 135, and an OFS 136.
  • the IR remote control receiver 131 may include a sensor for receiving a signal of an infrared (IR) remote controller for remotely controlling the airport robot.
  • the USS (Ultrasonic sensor) 132 may include a sensor for determining a distance between the obstacle and the airport robot using an ultrasonic signal.
  • Cliff PSD 133 may include a sensor for detecting cliffs or cliffs in the airport robot driving range of 360 degrees.
  • Attitude Reference System (ARS) 134 may include a sensor for detecting a posture of an airport robot.
  • the ARS 134 may include a sensor composed of three axes of acceleration and three axes of gyro for detecting the amount of rotation of the airport robot.
  • Bumper 135 may include a sensor for detecting a collision between the airport robot and the obstacle. The sensor included in the bumper 135 may detect a collision between the airport robot and the obstacle in a 360 degree range.
  • OFS Optical Flow Sensor, 1366
  • OFS Optical Flow Sensor
  • the driving unit 140 may include a motor driver 141, a wheel motor 142, a rotation motor 143, a main brush motor 144, a side brush motor 145, and a suction motor 146. It may include.
  • the motor driver 141 may serve to drive a wheel motor, a brush motor, and a suction motor for driving and cleaning the airport robot.
  • the wheel motor 142 may drive a plurality of wheels for driving the airport robot.
  • the rotary motor 143 may be driven for left and right rotation and up and down rotation of the main body of the airport robot or the head of the airport robot, or may be driven to change the direction or rotate the wheels of the airport robot.
  • the main brush motor 144 may drive a brush for sweeping up dirt from the airport floor.
  • the side brush motor 145 may drive a brush that sweeps up dirt in an area around an outer surface of the airport robot.
  • the suction motor 146 may be driven to suction dirt from the airport floor.
  • the application processor 150 may function as a central processing unit for managing the entire hardware module system of the airport robot.
  • the AP 150 may transmit the application program for driving and the user input / output information to the microcomputer 110 by using the location information input through various sensors to drive the motor.
  • the user interface unit 160 may include a UI processor 161, an LTE router 162, a WIFI SSID 163, a microphone board 164, a barcode reader 165, a touch monitor 166, and the like. It may include a speaker 167.
  • the user interface processor 161 may control an operation of a user interface unit that is responsible for input / output of a user.
  • the LTE router 162 may perform LTE communication for receiving necessary information from the outside and transmitting information to the user.
  • the WIFI SSID 163 may analyze the signal strength of the WiFi to perform location recognition of a specific object or an airport robot.
  • the microphone board 164 may receive a plurality of microphone signals, process the voice signal into voice data which is a digital signal, and analyze the direction of the voice signal and the corresponding voice signal.
  • the barcode reader 165 may read barcode information written in a plurality of tickets used at an airport.
  • the touch monitor 166 may include a touch panel configured to receive a user input and a monitor for displaying output information.
  • the speaker 167 may serve to inform the user of specific information by voice.
  • the object recognition unit 170 may include a 2D camera 171, an RGBD camera 172, and a recognition data processing module 173.
  • the 2D camera 171 may be a sensor for recognizing a person or an object based on the 2D image.
  • RGBD camera Red, Green, Blue, Distance, 172
  • the recognition data processing module 173 may recognize a person or an object by processing a signal such as a 2D image / image or a 3D image / image obtained from the 2D camera 171 and the RGBD camera 172.
  • the position recognition unit 180 may include a stereo board (Stereo B / D, 181), a rider (Lidar, 182), and a SLAM camera 183.
  • the SLAM camera Simultaneous Localization And Mapping camera, 183) can implement simultaneous location tracking and mapping technology.
  • the airport robot detects the surrounding environment information using the SLAM camera 183 and processes the obtained information to prepare a map corresponding to the mission execution space and estimate its absolute position.
  • the rider Light Detection and Ranging: Lidar, 182) is a laser radar, and may be a sensor that irradiates a laser beam and collects and analyzes backscattered light among light absorbed or scattered by an aerosol to perform position recognition.
  • the stereo board 181 may be in charge of data management for location recognition and obstacle recognition of the airport robot by processing and processing sensing data collected from the rider 182 and the SLAM camera 183.
  • the LAN 190 may communicate with the user input / output related user interface processor 161, the recognition data processing module 173, the stereo board 181, and the AP 150.
  • FIG. 2 is a view showing in detail the configuration of the micom and the AP of the airport robot according to another embodiment of the present invention.
  • the microcomputer 210 and the AP 220 may be implemented in various embodiments to control the recognition and behavior of the airport robot.
  • the microcomputer 210 may include a data access service module 215.
  • the data access service module 215 may include a data acquisition module 211, an emergency module 212, a motor driver module 213, and a battery manager module 214. It may include.
  • the data acquisition module 211 may acquire data sensed from a plurality of sensors included in the airport robot and transfer it to the data access service module 215.
  • the emergency module 212 is a module capable of detecting an abnormal state of the airport robot. When the airport robot performs a predetermined type of action, the emergency module 212 may detect that the airport robot has entered an abnormal state. Can be.
  • the motor driver module 213 may manage driving control of a wheel, a brush, and a suction motor for driving and cleaning the airport robot.
  • the battery manager module 214 may be responsible for charging and discharging the lithium-ion battery 122 of FIG. 1, and may transmit the battery status of the airport robot to the data access service module 215.
  • the AP 220 may receive various cameras, sensors, user inputs, and the like, and process the recognition of the airport robot.
  • the interaction module 221 synthesizes the recognition data received from the recognition data processing module 173 and the user input received from the user interface module 222 to manage the software that the user and the airport robot can interact with each other. May be a module.
  • the user interface module 222 receives a short distance command of a user such as a display unit 223 and a key, a touch screen, a reader, etc., which are monitors for providing current status and operation / information of the airport robot,
  • the user input may be received from a user input unit 224 receiving a remote signal such as a signal of an IR remote controller for remote control or receiving a user input signal from a microphone or a barcode reader.
  • the user interface module 222 may transfer user input information to a state machine module 225.
  • the state management module 225 having received the user input information may manage the overall state of the airport robot and issue an appropriate command corresponding to the user input.
  • the planning module 226 may determine start and end points / actions for a specific operation of the airport robot according to a command received from the state management module 225, and calculate which path the airport robot should move.
  • the navigation module 227 is responsible for the overall driving of the airport robot, and may cause the airport robot to travel according to the driving route calculated by the planning module 226.
  • the motion module 228 may perform operations of a basic airport robot in addition to driving.
  • the airport robot may include a location recognition unit 230.
  • the position recognizer 230 may include a relative position recognizer 231 and an absolute position recognizer 234.
  • the relative position recognition unit 231 may correct the movement amount of the airport robot through the RGM mono (232) sensor, calculate the movement amount of the airport robot for a predetermined time, and recognize the current environment of the current airport robot through the LiDAR 233. can do.
  • the absolute location recognition unit 234 may include a Wifi SSID 235 and a UWB 236.
  • the Wifi SSID 235 is a UWB sensor module for absolute position recognition of an airport robot, and is a WIFI module for estimating a current position through Wifi SSID detection.
  • the Wifi SSID 235 may recognize the location of the airport robot by analyzing the signal strength of the Wifi.
  • the UWB 236 may calculate the distance between the transmitter and the receiver to sense the absolute position of the airport robot.
  • the airport robot may include a map management module 240.
  • the map management module 240 may include a grid module 241, a path planning module 242, and a map partitioning module 243.
  • the grid module 241 may manage the grid-shaped map generated by the airport robot through the SLAM camera or the map data of the surrounding environment for location recognition previously input to the airport robot.
  • the path planning module 242 may be responsible for calculating a driving route of the airport robots in a map classification for collaboration between the plurality of airport robots.
  • the path planning module 242 may calculate a driving route to which the airport robot should move in an environment in which one airport robot operates.
  • the map segmentation module 243 may calculate the area to be in charge of each of the plurality of airport robots in real time.
  • Data sensed and calculated by the location recognition unit 230 and the map management module 240 may be transferred to the state management module 225 again.
  • the state management module 225 may instruct the planning module 226 to control the operation of the airport robot based on the data sensed and calculated by the location recognition unit 230 and the map management module 240.
  • FIG. 3 is a view for explaining the structure of the airport robot system according to an embodiment of the present invention.
  • An airport robot system may include a mobile terminal 310, a server 320, an airport robot 300, and a camera 330.
  • the mobile terminal 310 may transmit and receive data with the server 320 in the airport.
  • the mobile terminal 310 may receive airport-related data such as a flight time schedule, an airport map, and the like from the server 320.
  • the user may receive and obtain information necessary for the airport from the server 320 through the mobile terminal 310.
  • the mobile terminal 310 may transmit data such as a picture, a video, a message, etc. to the server 320.
  • a user may request a cleaning of a corresponding area by transmitting a lost picture to the server 320 to receive a lost child or by taking a picture of an area requiring cleaning in the airport with a camera and transmitting the picture to the server 320.
  • the mobile terminal 310 may transmit and receive data with the airport robot (300).
  • the mobile terminal 310 may transmit a signal for calling the airport robot 300, a signal for commanding to perform a specific operation, or an information request signal to the airport robot 300.
  • the airport robot 300 may move to the location of the mobile terminal 310 or perform an operation corresponding to the command signal in response to the call signal received from the mobile terminal 310.
  • the airport robot 300 may transmit data corresponding to the information request signal to the mobile terminal 310 of each user.
  • the airport robot 300 may serve as patrol, guidance, cleaning, quarantine, transport, etc. in the airport.
  • the airport robot 300 may transmit / receive a signal with the mobile terminal 310 or the server 320.
  • the airport robot 300 may transmit and receive a signal including the server 320 and the situation information in the airport.
  • the airport robot 300 may receive image information photographing each zone of the airport from the camera 330 in the airport. Therefore, the airport robot 300 may monitor the situation of the airport by combining the image information taken by the airport robot 300 and the image information received from the camera 330.
  • the airport robot 300 may receive a command directly from the user. For example, a command may be directly received from a user through an input for touching a display unit provided in the airport robot 300 or a voice input.
  • the airport robot 300 may perform an operation such as patrolling, guiding, cleaning, or the like according to a command received from a user, a mobile terminal 310, a server 320, or the like.
  • the server 320 may receive information from the mobile terminal 310, the airport robot 300, and the camera 330.
  • the server 320 may integrate and store and manage information received from each device.
  • the server 320 may transmit the stored information to the mobile terminal 310 or the airport robot 300.
  • the server 320 may transmit a command signal for each of the plurality of airport robot 300 disposed in the airport.
  • the camera 330 may include a camera installed in the airport.
  • the camera 330 may include a plurality of CCTV (closed circuit television) cameras, infrared thermal cameras, and the like installed in the airport.
  • the camera 330 may transmit the captured image to the server 320 or the airport robot 300.
  • FIG. 4 is a diagram illustrating an example in which an airport robot detects a human body or an object at predetermined distances according to an embodiment of the present invention.
  • the airport robot 400 may operate a different type of object recognition mode for each distance or range. For example, when a human body or an object is detected in the first range 410, the user interface 160 of the airport robot 400 may automatically wake up. If the user approaches only until reaching the first range 410 of the sensing range of the airport robot 400, the user may interface with the airport robot without manually waking the airport robot 400. In addition, when a human body or an object is detected in the second range 420, the airport robot 400 may execute a mode for interfacing with a user. If the user is in the second range 420, the airport robot 400 may first transmit a message to the speaker or text indicating that the user is able to interface before the user requests.
  • the airport robot 400 may activate a dangerous mode. At this time, the airport robot 400 may output a warning sound to the speaker, or output a warning message, etc. to the monitor to inform that the user is too close.
  • the airport robot 400 may stop the dangerous mode and notify the user that the safe distance has been reached.
  • the airport robot 400 detects that the user enters within the third range 430, the airport robot 400 maintains a distance from itself or moves away from the airport robot 400 itself so that the user enters the second range 420. You can move in the falling direction.
  • the airport robot 400 may provide a road guide service while accompanying the user to a specific destination.
  • the airport robot 400 may move while sensing the distance with the user so that the user is at least within the first range 410. Therefore, the airport robot 400 may provide a road guide service while maintaining the distance with the user to always come within a certain range.
  • Figure 5 is a schematic block diagram of the configuration of the airport robot having a tracking function according to the present invention
  • Figure 6 is a schematic diagram for explaining the distance measuring sensor module of the estimation unit applied to Figure 5
  • Figure 7 is a human in accordance with the present invention
  • FIG. 8 is a view for explaining a recognition method
  • FIG. 8 is an operation flowchart for explaining a human following method of a robot according to the present invention.
  • the airport robot 500 having a tracking function includes a storage unit 510 in which registered user recognition information and a tracking progress program are stored, and are attached to one side of the front of the robot.
  • a follower 520 for recognizing and outputting a position of the user, and reading user recognition information stored in the storage unit 510 in response to a position recognition signal of a person input from the follower 510, and following the follower 510.
  • a control unit 530 for determining whether the registered user should be followed by comparing the position recognition signal of the person and the read user recognition information, and controlling the entire system to perform the following process if the registered user is registered.
  • the driving unit 540 is configured to drive the robot 500 in response to the control of the tracking operation 530.
  • the following unit 520 is composed of a plurality of distance measuring sensor module 521, as shown in Figure 6, the plurality of distance measuring sensor module 521 is a plurality of discharged from each distance measuring sensor module 521
  • the scan lines are fixed to the main body 522 in a state having a predetermined angle and a distance so as not to overlap.
  • the distance measuring sensor module 521 uses a plurality of Position Sensitive Detector (PSD) sensors in order to recognize a position and an obstacle of a person, and each sensor may have one or more infrared (IR) light emitting LEDs. Many light emitting LEDs are arranged at a constant angle.
  • PSD Position Sensitive Detector
  • the distance sensor module 521 may be disposed at a desired angle to detect people and obstacles.
  • the scanline of each sensor does not overlap and detects only the allocated area.
  • the controller 530 recognizes a distance through a scan line emitted from the distance measuring sensor 521 of the follower 520, and recognizes a person using the recognized distance information.
  • the shape of the person recognized by the controller 530 may be changed to a leg, a body, a head, etc. according to the scan height of the follower 520.
  • the controller 530 tracks the position of the person using the recognized person shape recognition data and probabilistically approaches the position of the person by using the ROI method.
  • the controller 530 recognizes the shape of the person as described above, and when the tracking is completed to determine the location of the person, the control unit 540 drives the robot 500 to follow the person.
  • the controller 530 switches the current mode of the robot to the tracking mode according to the tracking function set through the user interface (not shown) ( S810).
  • the controller 530 which switches the current mode of the robot into the following mode periodically controls the distance measuring sensor module 521 of the following unit 520 to cause the distance measuring module 521 at a predetermined time interval.
  • the IR signal is emitted to form a predetermined scan line (S820).
  • the controller 530 recognizes the distance through the scan line emitted from the distance measuring sensor module 521 of the follower 520, and recognizes a person using the recognized distance information (S830). In this case, the shape of the person recognized by the controller 530 may be changed to a leg, a body, a head, etc. according to the scan height of the follower 520.
  • the controller 530 tracks the position of the person using the recognized human shape recognition data (S840), and probabilistically approaches the position of the person by using the ROI method. do.
  • step S840 when the shape of the person is recognized and the tracking is completed to determine the location of the person, the controller 530 controls the driving unit 540 to drive the robot 500 to follow the person (S850). ).
  • the human body tracking photographing system of the present invention includes a camera 910 for transmitting an infrared pulse and measuring a time difference reflected and received to obtain a depth image.
  • the camera 910 is a time of flight (TOF) camera.
  • the camera 910 includes an infrared sensor and detects a human body by measuring a pattern by infrared transmission and reception to obtain a depth image for each distance.
  • the camera 910 of the present invention includes an infrared ray transmitting sensor 911 that transmits infrared rays to an object (including a human body and includes all objects capable of reflecting infrared rays) positioned in front of the present invention.
  • Infrared reception image sensor 912 for receiving a signal reflected from the object and converting the image data.
  • the image sensor 912 is, for example, a CCD or a CMOS. The principle of image acquisition by distance by the image sensor 912 will be described with reference to FIGS. 11 and 12.
  • the infrared rays transmitted from the infrared ray transmitting sensor 911 are reflected on the object, and the reflected wave is received by the infrared ray receiving image sensor 912 to obtain the shape of the object as image data. Since image data is acquired in chronological order, an image covering the earliest acquired image to the latest acquired image can be obtained.
  • the distance to the object can be inferred because it is proportional to the distance.
  • the distance to the object may be calculated through a trigonometric function based on the distance between the infrared ray transmitting sensor 911 and the infrared ray receiving image sensor 912 for a more accurate distance calculation.
  • an image of the object B may be obtained faster than the object A in time by the infrared receiving image sensor 912. At this time, since the distance between the two sensors 911 and 912 is formed, it is possible to calculate the distance to the acquired image using the trigonometric function.
  • the distance-specific image in which the background and the foreground obtained by the camera 910 are integrated separates the human body image data except for the foreground and background image by software.
  • these data are, for example, a circular shape of the head, a circle shape of the body larger than the head, and two arms as shown in FIG. More than 50 feature points, such as two legs, are provided as image data so that they can be separated and extracted from distance-specific images.
  • the human body camera 920 photographs the human body while moving according to new coordinates obtained by matching the human image coordinates extracted from the distance-specific image acquired by the camera 910 with the actual coordinates. These coordinates can be obtained by the controller 930, the movement of the camera 910 is also under the control of the controller.
  • the controller 930 adjusts the PTZ of the camera 920 to photograph the human body while the camera 920 moves along the newly obtained coordinates by matching the extracted human image coordinates with real spatial coordinates.
  • a space in which the human body moves is set, for example, into four zones (A, B, C, and D), and a predetermined distance between these spaces is set.
  • the camera 1420 tracks the human body moving between the spaces by dividing and setting the subdivided zones (A-1, B-1, B-2, C-1, C-2, and D-1). Make sure you can shoot.
  • the movement of the camera 1420 is performed in each section to reduce the number of movements of the camera 1420 to a minimum.
  • setting and dividing the space is not the present invention unconditionally tracking and tracking the movement of the human body, but by dividing it into a large space and subdividing it once again, if the human body moves through a large space, it must be passed through the divided space or Or it may be to stay in the subdivided space to detect the situation in detail to prevent unnecessary movement of the camera 1420 and to enable efficient tracking of the human body.
  • the transmitted infrared rays are reflected on the front surface of the camera 910 such as a reflective object, for example, a gate guide plate and a human body. It is reflected by all possible reflective objects located and received by the infrared receiving image sensor 912 (S1620). The infrared rays received by the image sensor 912 are converted into image data.
  • the farthest depth image is the background, and the changed image compared with the next frame is regarded as moving data and compared with the feature points of the human body. That is, the extracted image data is compared with the data representing the characteristics of the human body shown in FIG. 13 (S1650).
  • the controller 1430 obtains new coordinates by matching the x-axis of the human body image with the x-axis of the real space (S1670), and the PTZ (pan) of the camera 1420 with the obtained x-axis coordinates. Tilt) is controlled to track the human body by tracking (S1680).
  • the present invention does not simply move the camera 1420 continuously while tracking the human body's movement, but divides the moving space of the human body into several zones in advance.
  • the camera 920 moves in the order of A zone, A-1 zone, B-1 zone, and B zone because the human body must cross the boundary between the A zone and the B zone. (S1740). That is, in the conventional method, the camera continuously moves while continuously tracking the movement of the human body, but the present invention divides the space and moves the camera 920 whenever the human body is located in the space.
  • the camera 920 moves from the A zone to the B zone (S1750), and in other cases, there is no movement at the position of the current zone (S1751).
  • the camera 920 is controlled to move by section as described above to obtain a natural motion image of the human body.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer may include the AP 150 of the airport robot. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

본 발명의 일 실시예에 의한 공항용 로봇은 사용자로부터 입력을 수신하는 유저 인터페이스부, 인체 및 물체를 센싱하는 사물 인식부, 상기 인체 및 상기 물체의 위치를 센싱하는 위치 인식부, 상기 공항용 로봇의 이동을 제어는 주행 구동부 및 상기 공항용 로봇의 동작을 제어하는 제어부를 포함하고, 상기 제어부는 상기 공항용 로봇으로부터 기 정해진 제1 범위 내에서 인체가 감지되면, 상기 공항용 로봇을 웨이크업(wake-up)하고, 상기 유저 인터페이스부에 포함된 터치 모니터를 온(On) 시키고, 상기 공항용 로봇으로부터 기 정해진 제2 범위 내에서 인체가 감지되면, 사용자로부터 입력을 수신하기 위한 컨텐트를 상기 터치 모니터 상에 출력하도록 제어하는 것을 특징으로 한다.

Description

공항용 로봇 및 그의 동작 방법
본 발명은 공항에 배치되는 로봇 및 그의 동작 방법에 관한 것으로, 보다 상세하게는 공항에 배치되어 사용자들에게 길 안내를 제공하는 공항용 안내 로봇 및 그의 동작 방법에 관한 것이다.
최근 딥러닝(Deep Learning) 기술, 자율 주행 기술, 자동 제어 기술, 사물인터넷 등의 발전으로 로봇의 기능이 확대되고 있다.
각각의 기술을 구체적으로 설명하면, 딥러닝은 기계학습의 한 분야에 해당한다. 딥러닝은 프로그램에 미리 조건을 확인하고 명령을 설정해두는 방식이 아니라, 다양한 상황에 대해 프로그램이 유사한 판단을 내리도록 하는 기술이다. 따라서, 딥러닝에 따르면 컴퓨터가 인간의 뇌와 유사하게 사고할 수 있고, 방대한 양의 데이터 분석을 가능하게 한다.
자율 주행은 기계가 스스로 판단하여 이동하고, 장애물을 피할 수 있는 기술이다. 자율 주행 기술에 따르면 로봇은 센서를 통해 자율적으로 위치를 인식하여 이동하고 장애물을 피할 수 있게 된다.
자동 제어 기술은 기계에서 기계 상태를 검사한 계측 값을 제어 장치에 피드백하여 기계의 동작을 자동으로 제어하는 기술을 말한다. 따라서 사람의 조작 없는 제어가 가능하고, 목적하는 제어 대상을 목적하는 범위 내 즉, 목표 값에 이르도록 자동적으로 조절할 수 있다.
사물인터넷(Internet of Things)은 인터넷을 기반으로 모든 사물을 연결하여 사람과 사물, 사물과 사물 간의 정보를 상호 소통하는 지능형 기술 및 서비스를 말한다. 사물인터넷에 의해 인터넷에 연결된 기기들은 사람의 도움 없이 알아서 정보를 주고 받으며 자율적인 소통을 하게 된다.
로봇의 응용분야는 대체로 산업용, 의료용, 우주용, 해저용으로 분류된다. 예를 들면, 자동차 생산과 같은 기계 가공 공업에서는 로봇이 반복작업을 수행할 수 있다. 즉, 사람의 팔이 하는 작업을 한 번만 가르쳐 주면 몇 시간이든 같은 동작을 반복하는 산업로봇이 이미 많이 가동되고 있다.
본 발명의 목적은 사용자가 공항용 로봇을 이용하기 위하여 공항용 로봇에게 다가와 수동으로 웨이크업 하는 과정을 해소 시키는 것이다.
본 발명의 다른 목적은 사람이 밀집되는 환경에서 사용자가 공항용 로봇과 충돌하는 상황을 미연에 방지하도록 하는 것이다.
본 발명의 또 다른 목적은 사용자를 목적지까지 안내하면서 다른 사용자와 혼동하지 않도록 정확하게 대상을 감지하는 것이다.
본 발명에 따른 공항용 로봇은 일정 거리 내에서 인체를 센싱할 수 있도록 위치 인식부를 구성하여, 사용자가 일정한 거리 내에 들어오면 자동으로 웨이크업 하는 기능을 제공할 수 있다.
본 발명에 따른 공항용 로봇은 일정 거리 이상 공항용 로봇과 인체가 가까워지면 경고음을 알리도록 알고리즘을 구성할 수 있다.
본 발명에 따른 공항용 로봇은 스캔라인이 중첩되지 않도록 설계된 다수의 포지션 감지 디텍터 센서를 이용하여 할당된 영역 내에서 사람의 위치 및 장애물을 인식하여 사람을 추종할 수 있도록 하는 추종기능을 제공할 수 있다.
본 발명에 따른 공항용 로봇은 일정 거리 내에서 인체를 센싱할 수 있도록 위치 인식부를 구성하여, 사용자가 일정한 거리 내에 들어오면 자동으로 웨이크업 하므로, 사용자가 공항용 로봇을 이용하기 위하여 공항용 로봇에게 다가와 수동으로 웨이크업 하는 불필요한 단계가 사라지는 효과를 가져온다.
본 발명에 따른 공항용 로봇은 일정 거리 이상 공항용 로봇과 인체가 가까워지면 경고음을 알리도록 알고리즘을 구성하여, 사람이 밀집되는 환경에서 사용자가 공항용 로봇과 충돌하는 상황을 미연에 방지하는 효과를 가져온다.
본 발명에 따른 공항용 로봇은 스캔라인이 중첩되지 않도록 설계된 다수의 포지션 감지 디텍터 센서를 이용하여 할당된 영역 내에서 사람의 위치 및 장애물을 인식하여 사람을 추종할 수 있도록 하는 추종기능을 제공하여 사용자를 목적지까지 안내하면서 다른 사용자와 혼동하지 않도록 정확하게 사용자를 추종하여 길 안내 서비스를 제공하는 효과를 가져온다.
도 1은 본 발명의 일 실시예에 의한 공항 로봇의 하드웨어 구성을 도시한 블록도이다.
도 2는 본 발명의 다른 일 실시예에 의한 공항 로봇의 마이컴 및 AP의 구성을 자세하게 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 공항 로봇 시스템의 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 의한 공항 로봇이 기 정해진 거리마다 인체 또는 물체를 감지하는 일 예를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 추종 기능을 갖는 공항 로봇의 구성의 개략 블록도이다.
도 6은 도 5에 적용된 추정부의 거리측정센서모듈을 설명하기 위한 개략도이다.
도 7은 본 발명에 따라 사람을 인식하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 로봇의 사람 추종 방법을 설명하기 위한 동작 흐름도이다.
도 9는 본 발명의 실시예에 따른 인체 추적촬영시스템의 구성도이다.
도 10은 본 발명의 인체 추적촬영시스템의 TOF 카메라의 구성도이다.
도 11 및 도 12는 본 발명의 인체 추적촬영시스템에 구성되는 TOF 카메라의 동작 원리도이다.
도 13은 본 발명의 실시예에 따른 인체와 관련된 특징적인 영상데이터의 예를 나타낸 도면이다.
도 14는 본 발명의 실시예에 따른 인체 추적 촬영시스템의 동작 개념도이다.
도 15는 본 발명의 실시예에 따른 인체 추적촬영시스템에 의해 획득된 영상 및 음성데이터의 이용을 위한 제어 구성도이다.
도 16은 본 발명의 실시예에 따른 인체 추적촬영 흐름도이다.
도 17은 본 발명의 실시예에 따라 새롭게 얻어진 좌표를 따라 인체를 추적 촬영하는 카메라 동작 흐름도이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시예에 의한 공항 로봇의 하드웨어 구성을 도시한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 의한 공항 로봇(100)의 하드웨어는 마이컴(Micom) 그룹과 및 AP 그룹으로 구성될 수 있다. 마이컴(110) 그룹은 마이컴(110), 전원부(120), 장애물 인식부(130) 및 주행구동부(140)을 포함할 수 있다. AP 그룹은 AP(150), 유저 인터페이스부(160), 사물 인식부(170), 위치 인식부(180) 및 LAN(190)을 포함할 수 있다. 상기 유저 인터페이스부(160)는 통신부로 명명될 수 있다.
마이컴(110)은 공항 로봇의 하드웨어 중 배터리 등을 포함하는 전원부(120), 각종 센서들을 포함하는 장애물 인식부(130) 및 복수 개의 모터 및 휠들을 포함하는 주행구동부(140)를 관리할 수 있다.
전원부(120)는 배터리 드라이버(battery Driver, 121) 및 리튬-이온 배터리(Li-Ion Battery, 122)를 포함할 수 있다. 배터리 드라이버(121)는 리튬-이온 배터리(122)의 충전과 방전을 관리할 수 있다. 리튬-이온 배터리(122)는 공항 로봇의 구동을 위한 전원을 공급할 수 있다. 리튬-이온 배터리(122)는 24V/102A 리튬-이온 배터리 2개를 병렬로 연결하여 구성될 수 있다.
장애물 인식부(130)는 IR 리모콘 수신부(131), USS(132), Cliff PSD(133), ARS(134), Bumper(135) 및 OFS(136)를 포함할 수 있다. IR 리모콘 수신부(131)는 공항 로봇을 원격 조정하기 위한 IR(Infrared) 리모콘의 신호를 수신하는 센서를 포함할 수 있다. USS(Ultrasonic sensor, 132)는 초음파 신호를 이용하여 장애물과 공항 로봇 사이의 거리를 판단하기 위한 센서를 포함할 수 있다. Cliff PSD(133)는 360도 전방향의 공항 로봇 주행 범위에서 낭떠러지 또는 절벽 등을 감지하기 위한 센서를 포함할 수 있다. ARS(Attitude Reference System, 134)는 공항 로봇의 자세를 검출할 수 있는 센서를 포함할 수 있다. ARS(134)는 공항 로봇의 회전량 검출을 위한 가속도 3축 및 자이로 3축으로 구성되는 센서를 포함할 수 있다. Bumper(135)는 공항 로봇과 장애물 사이의 충돌을 감지하는 센서를 포함할 수 있다. Bumper(135)에 포함되는 센서는 360도 범위에서 공항 로봇과 장애물 사이의 충돌을 감지할 수 있다. OFS(Optical Flow Sensor, 136)는 공항 로봇의 주행 시 헛바퀴가 도는 현상 및 다양한 바닥 면에서 공항 로봇의 주행거리를 측정할 수 있는 센서를 포함할 수 있다.
주행구동부(140)는 모터 드라이버(Motor Drivers, 141), 휠 모터(142), 회전 모터(143), 메인 브러시 모터(144), 사이드 브러시 모터(145) 및 석션 모터 (Suction Motor, 146)를 포함할 수 있다. 모터 드라이버(141)는 공항 로봇의 주행 및 청소를 위한 휠 모터, 브러시 모터 및 석션 모터를 구동하는 역할을 수행할 수 있다. 휠 모터(142)는 공항 로봇의 주행을 위한 복수 개의 바퀴를 구동시킬 수 있다. 회전 모터(143)는 공항 로봇의 메인 바디 또는 공항 로봇의 헤드부의 좌우 회전, 상하 회전을 위해 구동되거나 공항 로봇의 바퀴의 방향 전환 또는 회전을 위하여 구동될 수 있다. 메인 브러시 모터(144)는 공항 바닥의 오물을 쓸어 올리는 브러시를 구동시킬 수 있다. 사이드 브러시 모터(145)는 공항 로봇의 바깥면 주변 영역의 오물을 쓸어 담는 브러시를 구동시킬 수 있다. 석션 모터(146)는 공항 바닥의 오물을 흡입하기 위해 구동될 수 있다.
AP(Application Processor, 150)는 공항 로봇의 하드웨어 모듈 전체 시스템을 관리하는 중앙 처리 장치로서 기능할 수 있다. AP(150)는 각종 센서들을 통해 들어온 위치 정보를 이용하여 주행을 위한 응용프로그램 구동과 사용자 입출력 정보를 마이컴(110) 측으로 전송하여 모터 등의 구동을 수행하게 할 수 있다.
유저 인터페이스부(160)는 유저 인터페이스 프로세서(UI Processor, 161), LTE 라우터(LTE Router, 162), WIFI SSID(163), 마이크 보드(164), 바코드 리더기(165), 터치 모니터(166) 및 스피커(167)를 포함할 수 있다. 유저 인터페이스 프로세서(161)는 사용자의 입출력을 담당하는 유저 인터페이스부의 동작을 제어할 수 있다. LTE 라우터(162)는 외부로부터 필요한 정보를 수신하고 사용자에게 정보를 송신하기 위한 LTE 통신을 수행할 수 있다. WIFI SSID(163)는 WiFi의 신호 강도를 분석하여 특정 사물 또는 공항 로봇의 위치 인식을 수행할 수 있다. 마이크 보드(164)는 복수 개의 마이크 신호를 입력 받아 음성 신호를 디지털 신호인 음성 데이터로 처리하고, 음성 신호의 방향 및 해당 음성 신호를 분석할 수 있다. 바코드 리더기(165)는 공항에서 사용되는 복수 개의 티켓에 기재된 바코드 정보를 리드할 수 있다. 터치 모니터(166)는 사용자의 입력을 수신하기 위해 구성된 터치 패널 및 출력 정보를 표시하기 위한 모니터를 포함할 수 있다. 스피커(167)는 사용자에게 특정 정보를 음성으로 알려주는 역할을 수행할 수 있다.
사물인식부(170)는 2D 카메라(171), RGBD 카메라(172) 및 인식 데이터 처리 모듈(173)를 포함할 수 있다. 2D 카메라(171)는 2차원 영상을 기반으로 사람 또는 사물을 인식하기 위한 센서일 수 있다. RGBD 카메라(Red, Green, Blue, Distance, 172)로서, RGBD 센서들을 갖는 카메라 또는 다른 유사한 3D 이미징 디바이스들로부터 획득되는 깊이(Depth) 데이터를 갖는 캡처된 이미지들을 이용하여 사람 또는 사물을 검출하기 위한 센서일 수 있다. 인식 데이터 처리 모듈(173)은 2D 카메라(171) 및 RGBD 카메라(172)로부터 획득된 2D 이미지/영상 또는 3D 이미지/영상 등의 신호를 처리하여 사람 또는 사물을 인식할 수 있다.
위치인식부(180)는 스테레오 보드(Stereo B/D, 181), 라이더(Lidar, 182) 및 SLAM 카메라(183)를 포함할 수 있다. SLAM 카메라(Simultaneous Localization And Mapping 카메라, 183)는 동시간 위치 추적 및 지도 작성 기술을 구현할 수 있다. 공항 로봇은 SLAM 카메라(183)를 이용하여 주변 환경 정보를 검출하고 얻어진 정보를 가공하여 임무 수행 공간에 대응되는 지도를 작성함과 동시에 자신의 절대 위치를 추정할 수 있다. 라이더(Light Detection and Ranging : Lidar, 182)는 레이저 레이더로서, 레이저 빔을 조사하고 에어로졸에 의해 흡수 혹은 산란된 빛 중 후방산란된 빛을 수집, 분석하여 위치 인식을 수행하는 센서일 수 있다. 스테레오 보드(181)는 라이더(182) 및 SLAM 카메라(183) 등으로부터 수집되는 센싱 데이터를 처리 및 가공하여 공항 로봇의 위치 인식과 장애물 인식을 위한 데이터 관리를 담당할 수 있다.
랜(LAN, 190)은 사용자 입출력 관련 유저 인터페이스 프로세서(161), 인식 데이터 처리 모듈(173), 스테레오 보드(181) 및 AP(150)와 통신을 수행할 수 있다.
도 2는 본 발명의 다른 일 실시예에 의한 공항 로봇의 마이컴 및 AP의 구성을 자세하게 도시한 도면이다.
도 2에 도시된 바와 같이, 공항 로봇의 인식 및 행동을 제어하기 위해서 마이컴(210)과 AP(220)는 다양한 실시예로 구현될 수 있다.
일 예로서, 마이컴(210)은 데이터 액세스 서비스 모듈(Data Access Service Module, 215)를 포함할 수 있다. 데이터 액세스 서비스 모듈(215)은 데이터 획득 모듈(Data acquisition module, 211), 이머전시 모듈(Emergency module, 212), 모터 드라이버 모듈(Motor driver module, 213) 및 배터리 매니저 모듈(Battery manager module, 214)을 포함할 수 있다. 데이터 획득 모듈(211)은 공항 로봇에 포함된 복수 개의 센서로부터 센싱된 데이터를 취득하여 데이터 액세스 서비스 모듈(215)로 전달할 수 있다. 이머전시 모듈(212)은 공항 로봇의 이상 상태를 감지할 수 있는 모듈로서, 공항 로봇이 기 정해진 타입의 행동을 수행하는 경우에 이머전시 모듈(212)은 공항 로봇이 이상 상태에 진입했음을 감지할 수 있다. 모터 드라이버 모듈(213)은 공항 로봇의 주행 및 청소를 위한 휠, 브러시, 석션 모터의 구동 제어를 관리할 수 있다. 배터리 매니저 모듈(214)은 도 1의 리튬-이온 배터리(122)의 충전과 방전을 담당하고, 공항 로봇의 배터리 상태를 데이터 액세스 서비스 모듈(215)에 전달할 수 있다.
AP(220)는 각종 카메라 및 센서들과 사용자 입력 등을 수신하고, 인식 가공하여 공항 로봇의 동작을 제어하는 역할을 수행할 수 있다. 인터랙션 모듈(221)은 인식 데이터 처리 모듈(173)로부터 수신하는 인식 데이터와 유저 인터페이스 모듈(222)로부터 수신하는 사용자 입력을 종합하여, 사용자와 공항 로봇이 상호 교류할 수 있는 소프트웨어(Software)를 총괄하는 모듈일 수 있다. 유저 인터페이스 모듈(222)은 공항 로봇의 현재 상항 및 조작/정보 제공 등을 위한 모니터인 디스플레이부(223)와 키(key), 터치 스크린, 리더기 등과 같은 사용자의 근거리 명령을 수신하거나, 공항 로봇을 원격 조정을 위한 IR 리모콘의 신호와 같은 원거리 신호를 수신하거나, 마이크 또는 바코드 리더기 등으로부터 사용자의 입력 신호를 수신하는 사용자 입력부(224)로부터 수신되는 사용자 입력을 관리할 수 있다. 적어도 하나 이상의 사용자 입력이 수신되면, 유저 인터페이스 모듈(222)은 상태 관리 모듈(State Machine module, 225)로 사용자 입력 정보를 전달할 수 있다. 사용자 입력 정보를 수신한 상태 관리 모듈(225)은 공항 로봇의 전체 상태를 관리하고, 사용자 입력 대응하는 적절한 명령을 내릴 수 있다. 플래닝 모듈(226)은 상태 관리 모듈(225)로부터 전달받은 명령에 따라서 공항 로봇의 특정 동작을 위한 시작과 종료 시점/행동을 판단하고, 공항 로봇이 어느 경로로 이동해야 하는지를 계산할 수 있다. 네비게이션 모듈(227)은 공항 로봇의 주행 전반을 담당하는 것으로서, 플래닝 모듈(226)에서 계산된 주행 루트에 따라서 공항 로봇이 주행하게 할 수 있다. 모션 모듈(228)은 주행 이외에 기본적인 공항 로봇의 동작을 수행하도록 할 수 있다.
또한, 본 발명의 다른 일 실시예에 의한 공항 로봇은 위치 인식부(230)를 포함할 수 있다. 위치 인식부(230)는 상대 위치 인식부(231)와 절대 위치 인식부(234)를 포함할 수 있다. 상대 위치 인식부(231)는 RGM mono(232) 센서를 통해 공항 로봇의 이동량을 보정하고, 일정한 시간 동안 공항 로봇의 이동량을 계산할 수 있고, LiDAR(233)를 통해 현재 공항 로봇의 주변 환경을 인식할 수 있다. 절대 위치 인식부(234)는 Wifi SSID(235) 및 UWB(236)을 포함할 수 있다. Wifi SSID(235)는 공항 로봇의 절대 위치 인식을 위한 UWB 센서 모듈로서, Wifi SSID 감지를 통해 현재 위치를 추정하기 위한 WIFI 모듈이다. Wifi SSID(235)는 Wifi의 신호 강도를 분석하여 공항 로봇의 위치를 인식할 수 있다. UWB(236)는 발신부와 수신부 사이의 거리를 계산하여 공항 로봇의 절대적 위치를 센싱할 수 있다.
또한, 본 발명의 다른 일 실시예에 의한 공항 로봇은 맵 관리 모듈(240)을 포함할 수 있다. 맵 관리 모듈(240)은 그리드 모듈(Grid module, 241), 패스 플래닝 모듈(Path Planning module, 242) 및 맵 분할 모듈(243)을 포함할 수 있다. 그리드 모듈(241)은 공항 로봇이 SLAM 카메라를 통해 생성한 격자 형태의 지도 혹은 사전에 미리 공항 로봇에 입력된 위치 인식을 위한 주변환경의 지도 데이터를 관리할 수 있다. 패스 플래닝 모듈(242)은 복수 개의 공항 로봇들 사이의 협업을 위한 맵 구분에서, 공항 로봇들의 주행 경로 계산을 담당할 수 있다. 또한, 패스 플래닝 모듈(242)은 공항 로봇 한대가 동작하는 환경에서 공항 로봇이 이동해야 할 주행 경로도 계산할 수 있다. 맵 분할 모듈(243)은 복수 개의 공항 로봇들이 각자 담당해야할 구역을 실시간으로 계산할 수 있다.
위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들은 다시 상태 관리 모듈(225)로 전달될 수 있다. 상태 관리 모듈(225)은 위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들에 기초하여, 공항 로봇의 동작을 제어하도록 플래닝 모듈(226)에 명령을 내릴 수 있다.
다음으로 도 3은 본 발명의 실시 예에 따른 공항 로봇 시스템의 구조를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 공항 로봇 시스템은 이동 단말기(310), 서버(320), 공항 로봇(300) 및 카메라(330)를 포함할 수 있다.
이동 단말기(310)는 공항 내 서버(320)와 데이터를 송수신할 수 있다. 예를 들어, 이동 단말기(310)는 서버(320)로부터 비행 시간 스케쥴, 공항 지도 등과 같은 공항 관련 데이터를 수신할 수 있다. 사용자는 이동 단말기(310)를 통해 공항에서 필요한 정보를 서버(320)로부터 수신하여 얻을 수 있다. 또한, 이동 단말기(310)는 서버(320)로 사진이나 동영상, 메시지 등과 같은 데이터를 전송할 수 있다. 예를 들어, 사용자는 미아 사진을 서버(320)로 전송하여 미아 접수를 하거나, 공항 내 청소가 필요한 구역의 사진을 카메라로 촬영하여 서버(320)로 전송함으로써 해당 구역의 청소를 요청할 수 있다.
또한, 이동 단말기(310)는 공항 로봇(300)과 데이터를 송수신할 수 있다.
예를 들어, 이동 단말기(310)는 공항 로봇(300)을 호출하는 신호나 특정 동작을 수행하도록 명령하는 신호 또는 정보 요청 신호 등을 공항 로봇(300)으로 전송할 수 있다. 공항 로봇(300)은 이동 단말기(310)로부터 수신된 호출 신호에 응답하여 이동 단말기(310)의 위치로 이동하거나 명령 신호에 대응하는 동작을 수행할 수 있다. 또는 공항 로봇(300)은 정보 요청 신호에 대응하는 데이터를 각 사용자의 이동 단말기(310)로 전송할 수 있다.
다음으로, 공항 로봇(300)은 공항 내에서 순찰, 안내, 청소, 방역, 운반 등의 역할을 할 수 있다.
공항 로봇(300)은 이동 단말기(310) 또는 서버(320)와 신호를 송수신할 수 있다. 예를 들어, 공항 로봇(300)은 서버(320)와 공항 내 상황 정보 등을 포함한 신호를 송수신할 수 있다. 또한, 공항 로봇(300)은 공항 내 카메라(330)로부터 공항의 각 구역들을 촬영한 영상 정보를 수신할 수 있다. 따라서 공항 로봇(300)은 공항 로봇(300)이 촬영한 영상 정보 및 카메라(330)로부터 수신한 영상 정보를 종합하여 공항의 상황을 모니터링할 수 있다.
공항 로봇(300)은 사용자로부터 직접 명령을 수신할 수 있다. 예를 들어, 공항 로봇(300)에 구비된 디스플레이부를 터치하는 입력 또는 음성 입력 등을 통해 사용자로부터 명령을 직접 수신할 수 있다. 공항 로봇(300)은 사용자, 이동 단말기(310) 또는 서버(320) 등으로부터 수신된 명령에 따라 순찰, 안내, 청소 등의 동작을 수행할 수 있다.
다음으로 서버(320)는 이동 단말기(310), 공항 로봇(300), 카메라(330)로부터 정보를 수신할 수 있다. 서버(320)는 각 장치들로부터 수신된 정보들을 통합하여 저장 및 관리할 수 있다. 서버(320)는 저장된 정보들을 이동 단말기(310) 또는 공항 로봇(300)에 전송할 수 있다. 또한, 서버(320)는 공항에 배치된 복수의 공항 로봇(300)들 각각에 대한 명령 신호를 전송할 수 있다.
카메라(330)는 공항 내에 설치된 카메라를 포함할 수 있다. 예를 들어, 카메라(330)는 공항 내에 설치된 복수 개의 CCTV(closed circuit television) 카메라, 적외선 열감지 카메라 등을 모두 포함할 수 있다. 카메라(330)는 촬영된 영상을 서버(320) 또는 공항 로봇(300)에 전송할 수 있다.
도 4는 본 발명의 일 실시예에 의한 공항 로봇이 기 정해진 거리마다 인체 또는 물체를 감지하는 일 예를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이 본 발명의 일 실시예에 의한 공항 로봇(400)은 거리 또는 일정한 범위(range) 마다 서로 다른 형태의 물체 인식 모드를 가동할 수 있다. 예를 들어, 인체 또는 물체가 제1 범위(410)에서 감지되는 경우, 공항 로봇(400)의 유저 인터페이스부(160)가 자동으로 웨이크업(wake-up)될 수 있다. 사용자는 공항 로봇(400)의 센싱 범위 중 제1 범위(410)에 도달할 때까지만 가까이 접근하면, 공항 로봇(400)을 수동으로 깨우지 않고도 공항 로봇과 인터페이스할 수 있다. 또한, 인체 또는 물체가 제2 범위(420)에서 감지되는 경우, 공항 로봇(400)은 사용자와 인터페이스하기 위한 모드를 실행할 수 있다. 사용자가 제2 범위(420)에 있는 경우에, 공항 로봇(400)은 사용자가 요청하기 전에 먼저 인터페이스 가능함을 알리는 메시지를 스피커 또는 텍스트로 전달할 수 있다. 또한, 공항 로봇(400)은 사용자가 제3 범위(430) 이내로 들어오는 것을 감지하는 경우, 위험 모드를 가동할 수 있다. 이 때, 공항 로봇(400)은 경고 음을 스피커로 출력하거나, 경고 메시지 등을 모니터에 출력하여 사용자에게 너무 가까이 있음을 알릴 수 있다. 그리고, 사용자가 다시 제3 범위(430)에서 제2 범위(420)이상으로 멀어지는 경우, 위험 모드를 중지하고, 안전한 거리가 되었음을 사용자에게 알릴 수 있다. 또는, 공항 로봇(400)은 사용자가 제3 범위(430) 이내로 들어오는 것을 감지하는 경우, 자체적으로 사용자와 일정 거리를 유지하거나 사용자가 제2 범위(420) 내에 들어오도록 공항 로봇(400) 스스로 멀리 떨어지는 방향으로 이동할 수 있다.
나아가, 공항 로봇(400)은 사용자를 특정 목적지까지 동행하면서 길 안내 서비스를 제공할 수 있다. 이 경우, 공항 로봇(400)은 사용자가 적어도 제1 범위(410) 내에 위치하도록 계속해서 사용자와의 거리를 센싱하면서 이동할 수 있다. 따라서, 공항 로봇(400)은 사용자와의 거리가 항상 일정한 범위 내에 들어오도록 유지하면서 길 안내 서비스를 제공할 수 있다.
도 5는 본 발명에 따른 추종 기능을 갖는 공항 로봇의 구성의 개략 블록도이고, 도 6은 도 5에 적용된 추정부의 거리측정센서모듈을 설명하기 위한 개략도이고, 도 7은 본 발명에 따라 사람을 인식하는 방법을 설명하기 위한 도면이고, 도 8은 본 발명에 따른 로봇의 사람 추종 방법을 설명하기 위한 동작 흐름도이다.
발명에 따른 추종기능을 갖는 공항 로봇(500)은 도 5에 도시된 바와 같이, 등록된 사용자 인식정보 및 추종진행 프로그램이 저장되어 있는 저장부(510)와, 로봇의 정면 일측에 부착되며, 사람의 위치를 인식하여 출력하는 추종부(520)와, 상기 추종부(510)로부터 입력되는 사람의 위치인식 신호에 응하여 상기 저장부(510)에 저장된 사용자 인식정보를 읽어들이고, 상기 추종부(510)의 사람의 위치인식신호와 읽어들인 사용자 인식정보를 비교하여 추종해야 하는 등록된 사용자인지를 판단하고, 등록된 사용자인 경우 추종진행이 이루어지도록 전체 시스템을 제어하는 제어부(530)와, 상기 제어부(530)의 추종 진행에 따른 제어에 응하여 로봇(500)이 구동되도록 하는 구동부(540)로 구성된다.
상기 추종부(520)는 도 6에 도시된 바와 같이 다수의 거리측정센서모듈(521)로 이루어지며, 상기 다수의 거리측정센서모듈(521)은 각 거리측정센서모듈(521)로부터 방출되는 다수의 스캔라인이 중첩되지 않도록 일정 각도 및 이격거리를 가진 상태로 본체(522)에 부착 고정된다.
상기 거리측정센서모듈(521)은 사람의 위치 및 장애물을 인식하기 위해 다수의 PSD(Position Sensitive Detector)센서를 이용하며, 각 센서는 적외선(IR) 발광 LED를 한 개 또는 다수를 가질 수 있다. 다수의 발광 LED는 일정한 각도로 배치된다.
즉, 거리측정센서모듈(521)은 사람 및 장애물을 감지하기 위해 원하는 각도로 배치될 수 있다. 각 센서의 스캔라인은 중첩되지 않고 할당된 영역만을 감지한다.
상기 제어부(530)는 상기 추종부(520)의 거리측정센서(521)로부터 방출되는 스캔라인을 통해 거리를 인식하고, 인식된 거리정보를 이용하여 사람을 인식한다. 이때 상기 제어부(530)에 의해 인식되는 사람의 형상은 상기 추종부(520)의 스캔 높이에 따라, 다리, 몸, 머리 등으로 달라질 수 있다.
상기 제어부(530)는 상기와 같이 사람의 형상을 인식하게 되면, 인식된 사람형상 인식 데이터를 이용하여 사람의 위치를 추적하고, 사람의 위치를 ROI 방식을 이용하여 확률적으로 접근한다.
상기 제어부(530)는 상기와 같이 사람의 형상을 인식하고, 추적을 완료하여 사람의 위치가 파악되면 구동부(540)를 제어하여 사람의 추종할 수 있도록 로봇(500)을 구동시킨다.
본 발명의 실시예인 추종기능을 갖는 로봇의 작용을 설명하면 다음과 같다.
사용자가 로봇에 구비된 사용자 인터페이스(미도시)를 통해 추종 기능을 설정하면, 제어부(530)는 상기 사용자 인터페이스(미도시)를 통해 설정된 추종 기능에 따라 로봇의 현재 모드를 추종모드로 전환한다(S810).
상기와 같이 로봇의 현재모드를 추종모드로 전환시킨 상기 제어부(530)는 주기적으로 추종부(520)의 거리측정센서모듈(521)을 제어하여 거리측정 센서모듈(521)로 하여금 일정 시간 간격으로 IR 신호를 방출시켜 소정 스캔라인이 형성되도록 한다(S820).
그리고 제어부(530)는 상기 추종부(520)의 거리측정센서모듈(521)로부터 방출되는 스캔라인을 통해 거리를 인식하고, 인식된 거리정보를 이용하여 사람을 인식한다(S830). 이때 상기 제어부(530)에 의해 인식되는 사람의 형상은 상기 추종부(520)의 스캔 높이에 따라, 다리, 몸, 머리 등으로 달라질 수 있다.
상기 S830 단계에서 사람의 형상을 인식하게 되면, 상기 제어부(530)는 인식된 사람형상 인식 데이터를 이용하여 사람의 위치를 추적하고(S840), 사람의 위치를 ROI 방식을 이용하여 확률적으로 접근한다.
그리고 상기 S840 단계에서 사람의 형상을 인식하고, 추적을 완료하여 사람의 위치가 파악되면 상기 제어부(530)는 구동부(540)를 제어하여 사람의 추종할 수 있도록 로봇(500)을 구동시킨다(S850).
이하 도 9 내지 도17에서는 일정 거리 내의 인체를 실시간으로 촬영하여 동일한 공항 이용객을 계속해서 추적하는 공항 로봇에 대해 설명하도록 하겠다.
도 9에 도시된 바와 같이 본 발명의 인체 추적촬영시스템은, 적외선 펄스를 송신하고 반사되어 수신되는 시간차이를 측정해서 depth 영상을 획득하는 카메라(910)가 구성된다.
상기 카메라(910)는 TOF(Time of Flight) 카메라이다. 카메라(910)는 적외선 센서를 구비한 것으로 적외선 송신 및 수신에 의해 패턴을 측정하여 거리별 depth 영상을 획득하는 식으로 인체를 감지하는 것이다.
카메라(910)의 구성을 도시한 것이 도 10이다.
도 10에 도시된 바와 같이 본 발명의 카메라(910)는 전방에 위치하는 물체(인체를 포함한 것으로 적외선을 반사할 수 있는 모든 물체를 포함한다)에 대해 적외선을 송신하는 적외선송신센서(911)와, 물체로부터 반사되는 신호를 수신하여 영상데이터로 변환하는 적외선수신 이미지센서(912)로 구성된다.
이미지센서(912)는 예를 들어, CCD 또는 CMOS이다. 이미지센서(912)에 의한 거리별 영상 획득 원리를 도 11 및 도 12를 이용하여 설명하면 다음과 같다.
카메라(910)로 물체를 비추면 적외선송신센서(911)로부터 송신된 적외선이 물체에 반사되고, 반사파가 적외선수신 이미지센서(912)에 의해 수신되어 물체의 형상이 영상 데이터로 획득된다. 영상 데이터가 시간 순서대로 획득되므로 가장 빨리 획득된 이미지부터 가장 늦게 획득된 이미지까지 망라된 영상을 획득할 수 있다.
이렇게 획득된 영상 데이터를 시간의 순서대로 나열해 보면 거리에 비례하게 되므로 물체까지의 거리를 유추할 수 있다.
이때, 보다 정밀한 거리 계산을 위해서 적외선송신센서(911)와 적외선 수신 이미지센서(912)간의 거리를 기준으로 삼각함수를 통해 물체까지의 거리를 계산해 낼 수 있을 것이다.
도 11 및 도 12에 도시된 바와 같이 적외선수신 이미지센서(912)에 의해 시간상으로 물체 A에 비해 물체 B가 빠르게 영상이 획득될 것이다. 이때 두 센서(911, 912)간의 거리가 형성되어 있으므로 삼각함수를 이용하여 획득된 영상까지의 거리 계산이 가능한 것이다.
이와 같이 시간 차로 획득되는 영상 데이터로 거리를 추측해내므로 이를 depth 이미지라고 한다. 카메라(910)에 의해 획득된 배경과 전경이 통합된 거리별 영상은 상기와 같이 소프트웨어적으로 전경 및 배경 영상을 제외한 인체 영상 데이터만을 분리하게 된다.
따라서 미리 인체, 더욱 포괄적으로는 인체와 관련된 특징적인 영상데이터를 설정하여 관리하며, 이러한 데이터들은 예를 들어 도 13에 도시된 바와 같이 머리는 원형 모양, 몸통은 머리보다 큰 써클 모양, 팔 2개, 다리 2개 등 50여 가지 특징점이 영상데이터로 제공되어 거리별 영상으로부터 분리 추출될 수 있도록 한다.
인체 촬영용 카메라(920)는 상기 카메라(910)에 의해 획득된 거리별 영상으로부터 추출된 인체 영상 좌표와 실제 좌표를 일치시켜 얻어진 새로운 좌표에 따라 움직이면서 인체를 촬영하는 것이다. 이러한 좌표는 컨트롤러(930)에 의해 구해질 수 있으며, 카메라(910)의 움직임 또한 컨트롤러의 제어에 의해 행해진다.
컨트롤러(930)는 상기와 같이 추출된 인체 영상 좌표와 실제 공간 좌표를 일치시켜 새롭게 얻어진 좌표를 따라 카메라(920)가 움직이면서 인체를 촬영하도록 카메라(920)의 PTZ를 조정한다.
도 14에 도시된 바와 같이 본 발명의 인체추적을 위해서는 인체가 움직이는 공간을, 예를 들어 4개의 공간(zone)(A, B, C, D)으로 구분 설정하고, 이들 공간사이에 소정거리를 다시 세분화한 공간(zone)(A-1, B-1, B-2, C-1, C-2, D-1)을 구분 설정하여 각 공간 사이에서 움직이는 인체를 카메라(1420)가 추적하면서 촬영할 수 있도록 한다.
카메라(1420)의 움직임이, 종래와 같이 인체의 움직임을 연속으로 추적하는 것이 아니라, 각 구간별로 행해지도록 하여 카메라(1420)의 움직임 횟수를 최소한으로 줄이는 것이다.
즉 공간을 세분화하여 구분 설정하는 것은 본 발명이 인체의 움직임을 무조건 추적 촬영하는 것이 아니라, 일단 큰 공간으로 구분하고 다시 이를 세분화함으로써, 인체가 큰 공간을 넘나들며 움직이는 경우 반드시 세분화한 공간을 거쳐서 넘나들거나 혹은 그 세분화한 공간에 머무르는 경우도 있으므로 이러한 상황을 세밀하게 구분 감지하여 불필요한 카메라(1420)의 움직임을 방지하고 효율적인 인체 추적 촬영이 가능하도록 하기 위함이다.
본 발명의 좌표를 이용한 인체 추적촬영흐름을 도 16을 참조하여 설명하면 다음과 같다.
카메라(910)의 적외선송신센서(911)로부터 공항 전경, 예를 들어 게이트쪽으로 적외선이 송신되면(S1610), 송신된 적외선은 반사물체, 예를 들어 게이트 안내판 및 인체 등 카메라(910)의 전면에 위치한 가능한 모든 반사물체에 의해 반사되어 적외선수신 이미지센서(912)에 의해 수신된다(S1620). 이렇게 이미지센서(912)에 수신된 적외선은 영상 데이터로 변환된다.
이때 게이트 안내판 및 인체 등 카메라의 전면에 위치한 모든 반사물체가 위치하는 곳이 모두 다르므로(적외선을 송신하는 카메라로부터의 거리가 각각 다르므로) 적외선이 반사되어 영상 데이터로 변환된 시간을 컨트롤러(1430)에서 카운트하고, 거리별 영상으로부터(S1630) 전경 및 배경 영상을 분리한 인체 영상데이터만 추출하게 된다(S1640).
가장 먼 depth 영상은 배경이며, 다음 프레임과 비교하여 변화된 영상은 움직임이 있는 데이터로 간주하여 인체의 특징점과 비교된다. 즉 이렇게 추출 획득된 영상데이터가 도 13에 도시된 인체의 특징을 나타내는 데이터와 비교된다(S1650).
이렇게 해서 인체 영상이 추출되면(S1660), 컨트롤러(1430)는 실제공간의 x축과 인체 영상의 x축을 매칭시켜 새로운 좌표를 구하고(S1670), 구해진 x축 좌표로 카메라(1420)의 PTZ(팬틸티)를 조정하여 인체를 추적 촬영하도록 제어한다(S1680).
본 발명의 인체 추적 촬영을 위한 카메라 동작을 도 17를 참조하여 설명하면 다음과 같다.
본 발명은 단순히 인체의 동선을 추적하면서 카메라(1420)를 연속으로 움직이는 것이 아니라, 미리 인체의 움직이는 공간을 몇 개의 zone으로 구분한다.
예를 들어, 도 14에 도시된 바와 같이 4 개의 zone(A, B, C, D)으로 공간을 크게 구분 설정한 상태에서(S1710), 인체가 A zone에 있을 때, 즉 카메라(910)의 detph 영상으로부터 영상데이터를 분리하고 그 영상데이터와 인체 특징 데이터를 비교한 결과를 토대로 추출된 인체 영상데이터 좌표가 A zone에 있을 때(S1720), 카메라(920)를 A zone으로 이동시켜 촬영한다(S1730).
이러한 상태에서 예를 들어, 인체가 A zone에서 B zone으로 움직이면 반드시 A zone 및 B zone의 경계를 지나야 하므로 카메라(920)를 A zone, A-1 zone, B-1 zone, B zone 순으로 움직인다(S1740). 즉 종래에는 인체의 움직임을 연속으로 추적하면서 카메라가 계속 움직이는 형태를 취했으나, 본 발명은 공간을 구분하여 그 공간에 인체가 위치할 때마다 카메라(920)를 움직이는 것이다.
따라서 인체가 반드시 위의 순서로 이동을 할 때에만 카메라(920)를 A zone에서 B zone으로 움직이며(S1750), 다른 경우에는 현재 zone의 위치에서 움직임이 없도록 한다(S1751).
만일 인체가 상기와 같이 어느 zone 간 경계 구간에 위치하여 약간의 움직임이 있다 하여 A zone과 B zone을 카메라(920)가 연속 움직이면서 인체를 추적 촬영한다면 촬영되는 영상의 움직임 변동이 심할 수밖에 없어 동영상 화질이 저하될 수 있으므로, 상기와 같이 카메라(920)가 구간별로 움직이도록 제어하여 자연스러운 인체의 움직임 영상을 획득하도록 하는 것이다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 공항용 로봇의 AP(150)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (12)

  1. 공항용 로봇에 있어서,
    사용자로부터 입력을 수신하는 유저 인터페이스부;
    인체 및 물체를 센싱하는 사물 인식부;
    상기 인체 및 상기 물체의 위치를 센싱하는 위치 인식부;
    상기 공항용 로봇의 이동을 제어는 주행 구동부; 및
    상기 공항용 로봇의 동작을 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 공항용 로봇으로부터 기 정해진 제1 범위 내에서 인체가 감지되면,
    상기 공항용 로봇을 웨이크업(wake-up)하고, 상기 유저 인터페이스부에 포함된 터치 모니터를 온(On) 시키고,
    상기 공항용 로봇으로부터 기 정해진 제2 범위 내에서 인체가 감지되면,
    사용자로부터 입력을 수신하기 위한 컨텐트를 상기 터치 모니터 상에 출력하도록 제어하는,
    공항용 로봇.
  2. 제1 항에 있어서,
    상기 제어부는,
    상기 공항용 로봇으로부터 기 정해진 제3 범위 내에서 인체가 감지되면,
    경고음을 출력하고, 상기 인체와 기 정해진 거리만큼 떨어지도록 이동하도록 제어하는,
    공항용 로봇.
  3. 제1 항에 있어서,
    사용자 인식정보 및 추종진행 프로그램이 저장되어 있는 저장부; 및
    상기 공향용 로봇의 정면 일측에 부착되며, 사람의 위치를 인식하여 출력하는 추종부를 더 포함하고,
    상기 제어부는,
    상기 추종부로부터 입력되는 사람의 위치인식 신호에 응하여 상기 저장부에 저장된 사용자 인식정보를 읽어들이고, 상기 추종부의 사람의 위치인식신호와 읽어들인 사용자 인식정보를 비교하여 추종해야 하는 등록된 사용자인지를 판단하고, 등록된 사용자인 경우 추종진행이 이루어지도록 제어하는,
    공항용 로봇.
  4. 제3 항에 있어서,
    상기 추종부는,
    다수의 거리측정센서모듈로 이루어지며, 상기 다수의 거리측정센서모듈은 각 센서로부터 방출되는 다수의 스캔라인이 중첩되지 않도록 일정 각도 및 이격거리를 가진 상태로 본체에 부착 고정되는,
    공항용 로봇.
  5. 제3 항에 있어서,
    상기 제어부는,
    상기 추종부의 거리측정센서로부터 방출되는 스캔라인을 통해 거리를 인식하고, 인식된 거리정보를 이용하여 사용자를 인식하는
    공항용 로봇.
  6. 제5 항에 있어서,
    상기 제어부에 의해 인식되는 사람의 형상은, 상기 추종부의 스캔 높이에 따라, 다리, 몸, 머리 중 하나인,
    공항용 로봇.
  7. 제5 항에 있어서,
    상기 제어부는,
    사람의 형상을 인식하게 되면, 인식된 사람형상 인식 데이터를 이용하여 사람의 위치를 추적하고, 사람의 위치를 ROI 방식을 이용하여 확률적으로 접근하도록 제어하는,
    공항용 로봇.
  8. 제3 항에 있어서,
    상기 추종부는,
    전방으로 적외선을 송신하는 적외선송신센서 및 상기 적외선송신센서로부터 송신된 적외선이 물체에 의해 반사되는 것을 수신하여 영상 데이터로 변환하는 적외선수신 이미지센서로 구성되는,
    공항용 로봇.
  9. 제8 항에 있어서,
    상기 추종부에 의해 획득되는 거리별 영상은 전경과 배경 및 인체 영상이 통합된 영상인,
    공항용 로봇.
  10. 제8 항에 있어서,
    상기 추종부에 의해 획득되는 거리별 영상은 시간 차로 전경과 배경 및 인체 영상이 구분되는,
    공항용 로봇.
  11. 제10 항에 있어서,
    상기 제어부는,
    공간을 복수의 존(zone)들로 구분하고,
    상기 복수의 존들 중, 상기 구분된 인체 영상이 위치하는 제1 존을 향하도록 상기 추종부를 이동시키고,
    상기 인체 영상에 대응하는 인체가 상기 제1 존 내에서 이동하는 경우 상기 추종부를 이동시키지 않고,
    상기 인체가 상기 제1 존으로부터 제2 존으로 이동하는 경우, 상기 추종부를 상기 제1 존으로부터 상기 제2 존을 향하도록 이동시키는
    공항용 로봇.
  12. 제11 항에 있어서,
    상기 제1 존의 경계에는 제3 존이 위치하고,
    상기 제2 존의 경계에는 제4 존이 위치하며,
    상기 제3 존과 상기 제4 존은 서로 이웃하고,
    상기 제어부는,
    상기 인체가 상기 제1 존으로부터 상기 제2 존으로 이동하는 경우, 상기 추종부를 상기 제1 존, 상기 제3 존, 상기 제4 존, 및 상기 제2 존을 순차적으로 향하도록 이동시키는
    공항용 로봇.
PCT/KR2017/014513 2017-01-04 2017-12-12 공항용 로봇 및 그의 동작 방법 WO2018128292A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/476,061 US11407116B2 (en) 2017-01-04 2017-12-12 Robot and operation method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170001283A KR102670610B1 (ko) 2017-01-04 2017-01-04 공항용 로봇 및 그의 동작 방법
KR10-2017-0001283 2017-01-04

Publications (1)

Publication Number Publication Date
WO2018128292A1 true WO2018128292A1 (ko) 2018-07-12

Family

ID=62791399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/014513 WO2018128292A1 (ko) 2017-01-04 2017-12-12 공항용 로봇 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US11407116B2 (ko)
KR (1) KR102670610B1 (ko)
WO (1) WO2018128292A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108972592A (zh) * 2018-08-09 2018-12-11 北京云迹科技有限公司 用于机器人的智能唤醒方法及装置
CN110233956A (zh) * 2019-05-29 2019-09-13 尚科宁家(中国)科技有限公司 一种传感器模块及移动清洁机器人
US20200033135A1 (en) * 2019-08-22 2020-01-30 Lg Electronics Inc. Guidance robot and method for navigation service using the same
CN113460196A (zh) * 2021-07-14 2021-10-01 中国水利水电第十四工程局有限公司 一种巡检机器人

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406312B (zh) * 2016-10-14 2017-12-26 平安科技（深圳）有限公司 导览机器人及其移动区域标定方法
US11151992B2 (en) 2017-04-06 2021-10-19 AIBrain Corporation Context aware interactive robot
US10839017B2 (en) 2017-04-06 2020-11-17 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system utilizing an advanced memory graph structure
US10963493B1 (en) * 2017-04-06 2021-03-30 AIBrain Corporation Interactive game with robot system
US10929759B2 (en) 2017-04-06 2021-02-23 AIBrain Corporation Intelligent robot software platform
US10810371B2 (en) 2017-04-06 2020-10-20 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system
US11453123B2 (en) * 2017-12-27 2022-09-27 Stmicroelectronics, Inc. Robotic device with time-of-flight proximity sensing system
CN112512759B (zh) * 2018-08-10 2024-06-11 川崎重工业株式会社 中介装置及使用该中介装置的中介方法
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
CN109571470A (zh) * 2018-12-03 2019-04-05 江西洪都航空工业集团有限责任公司 一种机器人
US11531343B1 (en) * 2019-04-22 2022-12-20 Amazon Technologies, Inc. System for user interactions with an autonomous mobile device
KR102369062B1 (ko) * 2019-08-27 2022-02-28 주식회사 케이티 이동 로봇 및 그 제어 방법
KR102570854B1 (ko) * 2019-12-26 2023-08-28 주식회사 제타뱅크 이동 로봇 및 그 서비스 안내 방법
CN112230654A (zh) * 2020-09-28 2021-01-15 深兰科技（上海）有限公司 机器人及其召唤方法和装置
JP2022059972A (ja) * 2020-10-02 2022-04-14 本田技研工業株式会社 認識対象者の認識方法
KR102426744B1 (ko) * 2020-12-10 2022-07-29 주식회사 리페어코리아 Tof 카메라와 머신러닝 알고리즘을 활용한 자율주행 팔로잉 모빌리티의 동작 방법
KR102603415B1 (ko) * 2021-10-20 2023-11-16 한경국립대학교 산학협력단 대상 추종을 위한 조향 및 구동장치
KR102666480B1 (ko) * 2021-12-27 2024-05-14 삼성물산 주식회사 작업자 추적용 무인운반차량

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200441761Y1 (ko) * 2008-01-24 2008-09-05 (주)다사로봇 회전 가능한 디스플레이 장치가 장착된 로봇
KR100904191B1 (ko) * 2008-05-29 2009-06-22 (주)다사로봇 안내용 로봇
KR20100120594A (ko) * 2009-05-06 2010-11-16 주식회사 유진로봇 추종기능을 갖는 로봇 및 로봇의 사람 추종 방법
KR20110103537A (ko) * 2010-03-15 2011-09-21 모빌토크(주) 이동로봇의 안내 서비스방법
KR101362376B1 (ko) * 2007-06-29 2014-02-13 삼성전자주식회사 지능형 옷장, 그 관리 장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4080165B2 (ja) * 2001-01-23 2008-04-23 富士フイルム株式会社 ロボット及びその制御方法
WO2007041295A2 (en) * 2005-09-30 2007-04-12 Irobot Corporation Companion robot for personal interaction
US9400503B2 (en) * 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
EP2668008A4 (en) * 2011-01-28 2018-01-24 Intouch Technologies, Inc. Interfacing with a mobile telepresence robot
US9323250B2 (en) * 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
WO2013176758A1 (en) * 2012-05-22 2013-11-28 Intouch Technologies, Inc. Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices
US9956687B2 (en) * 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
US20140354684A1 (en) * 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
US10311400B2 (en) * 2014-10-24 2019-06-04 Fellow, Inc. Intelligent service robot and related systems and methods
US9914218B2 (en) * 2015-01-30 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and apparatuses for responding to a detected event by a robot
US10180683B1 (en) * 2015-10-29 2019-01-15 Fellow Robotics Ltd. Robotic platform configured to identify obstacles and follow a user device
US10067926B2 (en) * 2015-12-21 2018-09-04 Xerox Corporation Image processing system and methods for identifying table captions for an electronic fillable form
WO2018000260A1 (zh) * 2016-06-29 2018-01-04 深圳狗尾草智能科技有限公司 一种机器人交互内容的生成方法、系统及机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101362376B1 (ko) * 2007-06-29 2014-02-13 삼성전자주식회사 지능형 옷장, 그 관리 장치 및 방법
KR200441761Y1 (ko) * 2008-01-24 2008-09-05 (주)다사로봇 회전 가능한 디스플레이 장치가 장착된 로봇
KR100904191B1 (ko) * 2008-05-29 2009-06-22 (주)다사로봇 안내용 로봇
KR20100120594A (ko) * 2009-05-06 2010-11-16 주식회사 유진로봇 추종기능을 갖는 로봇 및 로봇의 사람 추종 방법
KR20110103537A (ko) * 2010-03-15 2011-09-21 모빌토크(주) 이동로봇의 안내 서비스방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108972592A (zh) * 2018-08-09 2018-12-11 北京云迹科技有限公司 用于机器人的智能唤醒方法及装置
CN110233956A (zh) * 2019-05-29 2019-09-13 尚科宁家(中国)科技有限公司 一种传感器模块及移动清洁机器人
US20200033135A1 (en) * 2019-08-22 2020-01-30 Lg Electronics Inc. Guidance robot and method for navigation service using the same
US11686583B2 (en) * 2019-08-22 2023-06-27 Lg Electronics Inc. Guidance robot and method for navigation service using the same
CN113460196A (zh) * 2021-07-14 2021-10-01 中国水利水电第十四工程局有限公司 一种巡检机器人
CN113460196B (zh) * 2021-07-14 2022-09-02 中国水利水电第十四工程局有限公司 一种巡检机器人

Also Published As

Publication number Publication date
US11407116B2 (en) 2022-08-09
KR102670610B1 (ko) 2024-05-31
KR20180080498A (ko) 2018-07-12
US20190351558A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
WO2018128292A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2018070686A1 (ko) 공항용 안내 로봇 및 그의 동작 방법
WO2018052204A1 (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
WO2018070664A1 (ko) 공항용 보조 로봇 및 그의 동작 방법
KR102348041B1 (ko) 복수의 이동 로봇을 포함하는 로봇 시스템의 제어 방법
US11260533B2 (en) Robot and robot system comprising same
US11110600B2 (en) Airport robot and operation method thereof
KR102578138B1 (ko) 공항 로봇 및 이를 포함하는 시스템
KR20180080499A (ko) 공항용 로봇 및 그의 동작 방법
KR102570164B1 (ko) 공항 로봇 및 그와 연결되는 서버의 동작 방법
WO2018117514A1 (ko) 공항용 로봇 및 그의 동작 방법
KR20120090387A (ko) 감시 경계 로봇 시스템 및 경계 로봇 시스템에서 이동 로봇의 주행 방법
KR20180039378A (ko) 공항용 로봇 및 그의 동작 방법
WO2018117513A1 (ko) 공항용 로봇 및 그의 동작 방법
KR102599784B1 (ko) 공항 로봇
KR20200023707A (ko) 이동 로봇
KR20180040255A (ko) 공항 로봇
KR20180040907A (ko) 공항 로봇
KR20180037855A (ko) 공항 로봇 및 공항 로봇 시스템
KR20180038884A (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
WO2020105906A1 (ko) 이동 장치 및 이동 장치에 부착된 거리 센서의 기울기를 감지하는 방법
KR102594250B1 (ko) 공항 로봇
WO2024117451A1 (ko) 복수개의 로봇과 통신 가능한 클라우드 서버의 제어 방법
WO2024075959A1 (ko) 로봇, 서버 및 그 제어 방법
KR20210004679A (ko) 이동 로봇 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17890065

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17890065

Country of ref document: EP

Kind code of ref document: A1