WO2018070687A1 - 공항 로봇 및 그를 포함하는 공항 로봇 시스템 - Google Patents

공항 로봇 및 그를 포함하는 공항 로봇 시스템 Download PDF

Info

Publication number
WO2018070687A1
WO2018070687A1 PCT/KR2017/010445 KR2017010445W WO2018070687A1 WO 2018070687 A1 WO2018070687 A1 WO 2018070687A1 KR 2017010445 W KR2017010445 W KR 2017010445W WO 2018070687 A1 WO2018070687 A1 WO 2018070687A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
boarding
flight
airport robot
airport
Prior art date
Application number
PCT/KR2017/010445
Other languages
English (en)
French (fr)
Inventor
양선호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP17859629.2A priority Critical patent/EP3527336B1/en
Priority to US16/340,546 priority patent/US11260533B2/en
Publication of WO2018070687A1 publication Critical patent/WO2018070687A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images

Definitions

  • Embodiments relate to an airport robot and an airport robot system including the same. More particularly, the present invention relates to an airport robot and an airport robot system including the same.
  • the unit price may be high, so the number of airport robots disposed in the airport may be limited. Therefore, a more efficient service providing method using a limited number of airport robots may be required.
  • flight change information about a flight scheduled flight for example, departure time and change information about a boarding gate
  • a passenger who is going to be on the flight will recognize flight change information transmitted to indoor broadcasting in the airport.
  • An object of the embodiment is to provide an airport robot that can recognize a person to be boarded on the flight scheduled flight, to provide a travel route to the boarding gate area of the flight scheduled flight to the passenger.
  • another object of the embodiment is to provide an airport robot that can provide the flight change information to the passengers of the flight scheduled flight, if the flight change of the flight scheduled flight occurs.
  • another object of the embodiment is to provide an airport robot that can transmit the flight change information to the mobile terminal of the passenger.
  • the server receiving the image information about the scheduled passengers each of the airport robot is located in the set area search for a specific boarding target to board the flight scheduled flight to a specific boarding target
  • the present invention provides an airport robot system capable of transmitting flight change information to a corresponding specific airport robot.
  • An airport robot may include an image photographing unit configured to photograph image information of persons to be scheduled to be located in a gate area different from a boarding gate area of a set flight scheduled flight, and process the image information to perform the image processing.
  • the image recognition unit for recognizing a boarding subject matching the face image of the ticketed subject who issued the ticket of the flight scheduled flight, and the boarding subject is moved to the boarding gate area when the boarding target is recognized. It may include a control unit for controlling to be output.
  • an airport robot includes: a communication unit configured to receive face information, a mobile terminal information, and a flight change information of a flight to be issued from a server, the boarding gate of the scheduled flight; An image capturing unit for capturing image information about the scheduled passengers located in the gate area different from the area, and an image recognition unit which processes the image information to recognize the target passengers matching the face information among the scheduled passengers. And a controller configured to control the communication unit to transmit the flight change information to the mobile terminal of the passenger, based on the mobile terminal information, so that the passenger to recognize the flight change information when the passenger is recognized. have.
  • An airport robot system may include an airport camera photographing a face image of ticketing subjects who have issued tickets for a flight scheduled flight, mobile terminal information of each of the ticketing subjects, and the face image to match the mobile terminal information. And a server for selecting a specific boarding target person who satisfies a setting criterion among the ticketing subjects when the flight change information of the scheduled flight is input from an input device, and the image information request from the server, and is located in a setting area.
  • And aerodrome robots that photograph and transmit image information about the passengers to the server, wherein the server, based on the image information and the face image received from the airport robot when inputting the flight change information Matched with the facial image of the ticketed passengers
  • the airport robot according to the embodiment may provide a travel route for moving to the boarding gate area of the scheduled flight if the person to be boarded on the scheduled flight exists, so that the boarding person may smoothly move to the boarding gate. There is an advantage that user convenience is increased.
  • the airport robot when the flight change of the flight scheduled flight occurs, recognizes the person to be boarded in the set range, so that the flight change information is recognized by the person on the flight, it is easy for the person to board the flight There is an advantage to this.
  • the airport robot according to the embodiment has an advantage of allowing the passenger to be easily confirmed through the mobile terminal by transmitting the flight change information of the scheduled flight to the mobile terminal.
  • the airport robot according to the embodiment there is an advantage that can increase the efficiency of the time of use of the boarding target by the passenger to recognize the flight schedule information.
  • the airport robot system based on the image information transmitted from the airport robots, check the specific passengers to board the current flight operation changes flight, and change the operation to a specific airport robot adjacent to the specific passengers By transmitting the information, the specific passenger can recognize the flight change information, there is an advantage that the airport robot can provide other services.
  • FIG. 1 is a system diagram showing the structure of an airport robot system according to an embodiment.
  • FIG. 2 is a block diagram showing the hardware configuration of the airport robot shown in FIG. 1.
  • FIG. 3 is a block diagram showing a control configuration of a micom and an AP of the airport robot shown in FIG. 2.
  • FIG. 4 is a block diagram showing a control configuration of the airport robot according to the first embodiment.
  • 5 to 7 are operation diagrams showing the operation of the airport robot shown in FIG.
  • FIG. 8 is a block diagram showing a control configuration of the airport robot according to the second embodiment.
  • 9 to 11 are operation diagrams showing the operation of the airport robot shown in FIG.
  • FIG. 12 is a system block diagram showing the structure of the airport robot system according to the first embodiment.
  • FIG. 1 is a system diagram showing the structure of an airport robot system according to an embodiment.
  • an airport robot system may include an airport robot 100, a server 300, a camera 400, and a mobile terminal 500.
  • the airport robot 100 may serve as patrol, guide, cleaning, quarantine, transport, etc. in the airport.
  • the airport robot 100 may transmit / receive a signal with the server 300 or the mobile terminal 500.
  • the airport robot 100 may transmit and receive a signal including the server 300 and the situation information in the airport.
  • the airport robot 100 may receive image information of each zone of the airport from the camera 400 in the airport.
  • the airport robot 100 may monitor the situation of the airport by combining the image information captured by the airport robot 100 and the image information received from the camera 400.
  • the airport robot 100 may receive a command directly from the user.
  • a command may be directly received from a user through an input or a voice input that touches the display unit provided in the airport robot 100.
  • the airport robot 100 may perform an operation such as patrolling, guiding, cleaning, or the like according to a command received from a user, a server 300, or a mobile terminal 500.
  • the server 300 may receive information from the airport robot 100, the camera 400, and / or the mobile terminal 500.
  • the server 300 may integrate and store and manage information received from each device.
  • the server 300 may transmit the stored information to the airport robot 100 or the mobile terminal 500.
  • the server 300 may transmit a command signal for each of the plurality of airport robot 100 arranged in the airport.
  • the camera 400 may include a camera installed in the airport.
  • the camera 400 may include a plurality of CCTV (closed circuit television) cameras, infrared thermal cameras, and the like installed in the airport.
  • the camera 400 may transmit the captured image to the server 300 or the airport robot 100.
  • the mobile terminal 500 may transmit and receive data with the server 300 in the airport.
  • the mobile terminal 500 may receive airport-related data such as a flight time schedule and an airport map from the server 300.
  • the user may receive and obtain information necessary for the airport from the server 300 through the mobile terminal 500.
  • the mobile terminal 500 may transmit data such as a picture, a video, and a message to the server 300.
  • a user may request a cleaning of a corresponding area by transmitting a lost picture to the server 300 to receive a lost child or by taking a picture of an area requiring cleaning in the airport with a camera and transmitting it to the server 300.
  • the mobile terminal 500 may transmit / receive data with the airport robot 100.
  • the mobile terminal 500 may transmit a signal for calling the airport robot 100, a signal for commanding to perform a specific operation, or an information request signal to the airport robot 100.
  • the airport robot 100 may move to a location of the mobile terminal 500 or perform an operation corresponding to a command signal in response to a call signal received from the mobile terminal 500.
  • the airport robot 100 may transmit data corresponding to the information request signal to the mobile terminal 500 of each user.
  • FIG. 2 is a block diagram showing a hardware configuration of the airport robot according to the embodiment.
  • the hardware of the airport robot may be composed of a microcomputer group and an AP group.
  • the micom group may include a micom 110, a power supply 120, an obstacle recognition unit 130, and a driving driver 140.
  • the microcomputer 110 may manage a power supply unit 120 including a battery, an obstacle recognition unit 130 including various sensors, and a driving driver 140 including a plurality of motors and wheels among hardware of the airport robot. have.
  • the power supply unit 120 may include a battery driver 121 and a lithium-ion battery 122.
  • the battery driver 121 may manage charging and discharging of the lithium-ion battery 122.
  • the lithium-ion battery 122 may supply power for driving the airport robot, and may be configured by connecting two 24V / 102A lithium-ion batteries in parallel, without being limited thereto.
  • the obstacle recognition unit 130 may include an IR remote control receiver 131, a USS 132, a Cliff PSD 133, an ARS 134, a Bumper 135, and an OFS 136.
  • the IR remote controller receiver 131 may include a sensor that receives a signal of an IR remote controller for remotely controlling the airport robot.
  • the USS (Ultrasonic sensor) 132 may be a sensor for determining a distance between the obstacle and the airport robot using an ultrasonic signal.
  • Cliff PSD 133 may include a sensor for detecting cliffs or cliffs in the airport robot driving range of 360 degrees.
  • Attitude Reference System (ARS) 134 may include a sensor for detecting a posture of an airport robot.
  • the ARS 134 may include a sensor composed of three axes of acceleration and three axes of gyro for detecting the amount of rotation of the airport robot.
  • Bumper 135 may include a sensor for detecting a collision between the airport robot and the obstacle.
  • the sensor included in the bumper 135 may detect a collision between the airport robot and the obstacle in a 360 degree range.
  • OFS Optical Flow Sensor, 1366
  • OFS may include a sensor that can measure the driving distance of the airport robot on the various phenomena and various floors when running the airport robot.
  • the driving unit 140 may include a motor driver 141, a wheel motor 142, a rotation motor 143, a main brush motor 144, a side brush motor 145, and a suction motor 146. It may include.
  • the motor driver 141 may serve to drive the wheel motor 142, the brush motor 143, and the suction motor 146 for driving and cleaning the airport robot.
  • the wheel motor 142 may drive a plurality of wheels for driving the airport robot, and the rotation motor 143 may be driven for left and right rotation and up and down rotation of the main body of the airport robot or the head of the airport robot, or It can be driven for turning or rotating the wheels.
  • the main brush motor 144 may drive a brush for sweeping up the dirt on the airport floor
  • the side brush motor 145 may drive a brush for sweeping up the dirt around the outer surface of the airport robot.
  • the suction motor 146 may be driven to suction dirt from the airport floor.
  • the AP group may include the AP 150, the user interface unit 160, the object recognition unit 170, the location recognition unit 180, and the LAN 190.
  • the application processor 150 may be a central processing unit that manages an entire system of hardware modules of the airport robot.
  • the AP 150 transmits an application program for driving and user input / output information to the microcomputer 110 by using the location information input through various sensors to drive the motor, for example, the driving driver 140, or the like. have.
  • the user interface unit 160 may include a UI processor 161, an LTE router 162, a WIFI SSID 163, a microphone board 164, a barcode reader 165, a touch monitor 166, and the like. It may include a speaker 167.
  • the user interface processor 161 may control an operation of the user interface unit 160 that is responsible for input / output of a user.
  • the LTE router 162 may perform LTE communication for receiving necessary information from the outside and transmitting information to the user.
  • the WIFI SSID 163 may analyze the signal strength of the WiFi to perform location recognition of a specific object or an airport robot.
  • the microphone board 164 may receive a plurality of microphone signals, process the voice signal into voice data which is a digital signal, and analyze the direction of the voice signal and the corresponding voice signal.
  • the barcode reader 165 may read barcode information described in a plurality of tickets used at an airport.
  • the touch monitor 166 may include a touch panel configured to receive a user input and a monitor for displaying output information.
  • the speaker 167 may serve to inform the user of specific information by voice.
  • the object recognition unit 170 may include a 2D camera 171, an RGBD camera 172, and a recognition data processing module 173.
  • the 2D camera 171 may be a sensor for recognizing a person or an object based on the 2D image.
  • RGBD camera Red, Green, Blue, Distance, 172
  • RGBD camera for detecting a person or object using captured images having depth data obtained from a camera with RGBD sensors or other similar 3D imaging devices. It may be a sensor.
  • the recognition data processing module 173 may recognize a person or an object by processing a signal such as a 2D image / image or a 3D image / image obtained from the 2D camera 171 and the RGBD camera 172.
  • the position recognition unit 180 may include a stereo board (Stereo B / D, 181), a rider (Lidar, 182), and a SLAM camera 183.
  • the SLAM (Simultaneous Localization And Mapping) camera 183 may implement a simultaneous location tracking and mapping technique.
  • the airport robot detects the surrounding environment information using the SLAM camera 183 and processes the obtained information to prepare a map corresponding to the mission execution space and estimate its absolute position.
  • the rider (Light Detection and Ranging: Lidar, 182) is a laser radar, and may be a sensor that irradiates a laser beam and collects and analyzes backscattered light among light absorbed or scattered by an aerosol to perform position recognition.
  • the stereo board 181 may be in charge of data management for location recognition and obstacle recognition of the airport robot by processing and processing sensing data collected from the rider 182 and the SLAM camera 183.
  • the LAN 190 may communicate with the user input / output related user interface processor 161, the recognition data processing module 173, the stereo board 181, and the AP 150.
  • FIG. 3 is a block diagram illustrating a control configuration of a micom and an AP of an airport robot according to an embodiment.
  • the microcomputer 210 and the AP 220 illustrated in FIG. 3 may have various control configurations in order to control the recognition and behavior of the airport robot, but the present invention is not limited thereto.
  • the microcomputer 210 may include a data access service module 215.
  • the data access service module 215 may include a data acquisition module 211, an emergency module 212, a motor driver module 213, and a battery manager module 214. It may include.
  • the data acquisition module 211 may acquire data sensed from a plurality of sensors included in the airport robot and transfer it to the data access service module 215.
  • the emergency module 212 is a module capable of detecting an abnormal state of the airport robot, and the emergency module 212 may detect that the airport robot has entered an abnormal state when the airport robot performs a predetermined type of action. Can be.
  • the motor driver module 213 may manage driving control of a wheel, a brush, and a suction motor for driving and cleaning the airport robot.
  • the battery manager module 214 is responsible for charging and discharging the lithium-ion battery 122 of FIG. 1, and may transfer the battery status of the airport robot to the data access service module 215.
  • the AP 220 may receive various cameras, sensors, user inputs, and the like, and process the recognition of the airport robot.
  • the interaction module 221 synthesizes the recognition data received from the recognition data processing module 173 and the user input received from the user interface module 222 to manage the software that the user and the airport robot can interact with each other. May be a module.
  • the user interface module 222 receives a short distance command of a user, such as a display unit 223, a key, a touch screen, a reader, or the like, which is a monitor for providing current status and operation / information of the airport robot, or the airport robot.
  • a remote signal such as a signal of the IR remote control for remote control, or manage the user input received from the user input unit 224 for receiving the user's input signal from the microphone or barcode reader.
  • the user interface module 222 may transfer user input information to a state machine module 225.
  • the state management module 225 having received the user input information may manage the overall state of the airport robot and issue an appropriate command corresponding to the user input.
  • the planning module 226 may determine start and end points / actions for a specific operation of the airport robot according to a command received from the state management module 225, and calculate which path the airport robot should move.
  • the navigation module 227 is responsible for the overall driving of the airport robot, and may cause the airport robot to travel according to the driving route calculated by the planning module 226.
  • the motion module 228 may perform operations of a basic airport robot in addition to driving.
  • the airport robot may include a location recognition unit 230.
  • the position recognizer 230 may include a relative position recognizer 231 and an absolute position recognizer 234.
  • the relative position recognition unit 231 may correct the movement amount of the airport robot through the RGM mono (232) sensor, calculate the movement amount of the airport robot for a predetermined time, and recognize the current environment of the current airport robot through the LiDAR 233. can do.
  • the absolute location recognition unit 234 may include a Wifi SSID 235 and a UWB 236.
  • the Wifi SSID 235 is a UWB sensor module for absolute position recognition of an airport robot, and is a WIFI module for estimating a current position through Wifi SSID detection.
  • the Wifi SSID 235 may recognize the location of the airport robot by analyzing the signal strength of the Wifi.
  • the UWB 236 may calculate the distance between the transmitter and the receiver to sense the absolute position of the airport robot.
  • the airport robot may include a map management module 240.
  • the map management module 240 may include a grid module 241, a path planning module 242, and a map partitioning module 243.
  • the grid module 241 may manage the grid-shaped map generated by the airport robot through the SLAM camera or the map data of the surrounding environment for location recognition previously input to the airport robot.
  • the path planning module 242 may be responsible for calculating a driving route of the airport robots in a map classification for collaboration between the plurality of airport robots. In addition, the path planning module 242 may calculate a driving route to which the airport robot should move in an environment in which one airport robot operates.
  • the map segmentation module 243 may calculate the area to be in charge of each of the plurality of airport robots in real time.
  • Data sensed and calculated by the location recognition unit 230 and the map management module 240 may be transferred to the state management module 225 again.
  • the state management module 225 may instruct the planning module 226 to control the operation of the airport robot based on the data sensed and calculated by the location recognition unit 230 and the map management module 240.
  • FIG. 4 is a block diagram showing a control configuration of the airport robot according to the first embodiment.
  • FIG. 4 is a view showing a control configuration necessary for the passengers to recognize flight change information with respect to the configuration of the airport robot shown in FIGS. 2 and 3, and in the control configuration shown in FIG. 4 and the configuration shown in FIGS. 2 and 3. It may be added or the name may be changed.
  • the airport robot 600 may include a communication unit 610, an image photographing unit 620, an image recognition unit 630, a driving driver 640, an output unit 650, and a controller 660. Can be.
  • the airport robot 600 is located at a gate area different from the boarding gate area of the flight scheduled flight at the present time, and when the boarding target of the flight scheduled flight is located at a different gate area, It will be described as providing a service to move to the boarding gate area of the scheduled flight.
  • the communication unit 610 may receive a face image (fs) of the ticketing subject who issued the ticket of the flight scheduled flight from a server (not shown) disposed in the airport.
  • the communication unit 610 may be the LET router 162 included in the user interface unit 160 of FIG. 2, but is not limited thereto.
  • the communication unit 610 may transfer the face image fs to at least one of the image recognition unit 630 and the control unit 660, but is not limited thereto.
  • the image capturing unit 620 may capture image information (ms) of scheduled passengers located in a current gate area different from the boarding gate area.
  • the image capturing unit 620 may be the 2D camera 171 and the RGBD camera 172 described in FIG. 2, but is not limited thereto.
  • the image capturing unit 620 may classify or continuously photograph the scheduled passengers located in the current gate area for each sector, and transmit the captured images to the image recognition unit 630 and the controller 660.
  • the image capturing unit 620 may operate under the control of the controller 660 or automatically operate according to a preset schedule of the scheduled flight, but the present invention is not limited thereto.
  • the image recognizing unit 630 processes the image information (ms) transmitted from the image capturing unit 620, and the ticketing subject who has issued a ticket of the scheduled flight among the scheduled passengers located in the current Kate area.
  • the planned passenger to be matched with the facial image fs may be recognized as the passenger to be boarded.
  • the image recognition unit 630 may be the recognition data processing module 173 described in FIG. 2, but is not limited thereto.
  • the image recognition unit 630 internally matches the face image (not shown) of the scheduled passengers included in the image information (ms) and the delivered face image (fs) to one-to-one to be the same scheduled passengers as the passengers. I can recognize it.
  • the image recognition unit 630 may transmit the recognition result of the passenger to the controller 66.
  • the driving driver 640 may move the motor by moving the motor to a setting position corresponding to the position of the passenger to be recognized by the image recognition unit 630 under the control of the controller 660.
  • the driving driver 640 may be the same as the driving driver 140 of FIG. 2, but is not limited thereto.
  • the output unit 650 may output the movement route information (mls) so that the subject may move to the boarding gate area under the control of the controller 660.
  • the output unit 650 is included in the user interface unit 160 of FIG. 2, and includes a touch monitor 166 displaying moving path information mls and a speaker for voice guiding the moving path information mls. 167), but is not limited thereto.
  • the controller 160 may include a position calculator 662 and a drive controller 666.
  • controller 660 may be at least one of the microcomputer 110 and the AP 150 described in FIG. 2, but is not limited thereto.
  • the location calculator 662 may calculate the location lo of the person to be boarded from the image information ms.
  • the position calculating unit 662 is based on the size of the image pixel of the image information (ms) including the boarding target, the photographing angle of the image capturing unit 620 and the current position (location of the airport robot)
  • the position lo of the subject may be calculated, and in another manner, the position lo of the subject may be calculated.
  • the position calculator 662 may transfer the position lo of the person to be boarded to the driving controller 664.
  • the driving controller 664 may determine a setting position ls corresponding to the location lo of the person to be boarded.
  • the setting position ls may include a front or side position spaced apart from the boarding target by a predetermined distance according to the position lo of the boarding target, but is not limited thereto.
  • the driving controller 664 may generate movement route information (mls) including at least one of a movement route, a movement time, and a boarding start time from the position lo of the passenger to the boarding gate area.
  • the driving controller 664 may generate the movement route information mls and then control the driving driver 640 to be moved to the set position ls.
  • the driving controller 664 may control the output unit 650 to output the movement route information mls to the passenger.
  • the airport robot 600 may issue a ticket for the scheduled flight among the scheduled passengers located in a gate area different from the boarding gate area of the current flight scheduled flight, that is, a gate area that is located away from the boarding gate area. Recognizing the scheduled passenger to be matched with one ticketing target as a boarding target, and outputting the travel route information (mls) so that the boarding target can quickly move to the boarding gate area, thereby allowing the boarding passenger to smoothly board the scheduled flight By doing so, there is an advantage that can provide a service that can increase the convenience of the user.
  • 5 to 7 are operation diagrams showing the operation of the airport robot shown in FIG.
  • 5 to 7 is an operation diagram showing the internal operation and the external operation of the airport robot 600, an example.
  • FIG. 5 is a view illustrating a target passenger to be matched with a face image (fs) of a ticketed person who has issued a ticket of a flight scheduled flight from the image information (ms) photographed by the airport robot 600 to recognize a target passenger of the scheduled flight;
  • fs face image
  • ms image information photographed by the airport robot 600
  • an airport robot 600 of the scheduled flight is transmitted from a server (not shown) in order to recognize a passenger of the scheduled flight in a different gate area away from the boarding gate area of the scheduled flight.
  • a facial image fs of the ticketing subject who issued the ticket may be received, and image information ms of the scheduled passengers located in the gate area may be photographed.
  • the airport robot 600 may recognize, as the boarding target, the scheduled boarding target that matches the face image fs among the scheduled boarding targets included in the image information ms.
  • FIG. 6 is a diagram in which the airport robot 600 moves to a setting position lo corresponding to the position of the boarding target after recognizing the boarding target.
  • the airport robot 600 calculates the position of the person to be boarded based on the image information ms and sets a position ls corresponding to the location of the person to be boarded. Can be moved to).
  • the airport robot 600 may internally generate flight route information mls of the scheduled flight, and move to the set position ls.
  • FIG. 7 is a diagram in which the airport robot 600 outputs flight route information (mls) to a person to be boarded after moving to a setting position ls.
  • the airport robot 600 may output the boarding target to recognize the flight route information mls.
  • the airport robot 600 may display the flight route information (mls) on the output unit 650, for example, a touch monitor as shown in FIG. 7, and outputs the flight route information (mls) as a guide voice through a speaker. It is possible, but not limited to.
  • the flight route information mls includes at least one of a travel route s1, a travel time s2, and a boarding start time s3 from the position of the person to be boarded to the boarding gate area of the scheduled flight. It may include, but is not limited thereto.
  • FIG. 8 is a block diagram showing a control configuration of the airport robot according to the second embodiment.
  • the airport robot 700 may include a communication unit 710, an image photographing unit 720, an image recognition unit 730, a driving driver 740, an output unit 750, and a controller 760. Can be.
  • the airport robot 700 is located in a gate area different from the boarding gate area of the flight scheduled flight at the present time, and when the passenger of the scheduled flight is located in a different gate area, the airport robot 700 operates the flight to the boarding person. It will be described as providing a service to move to the boarding gate area of the scheduled flight.
  • the communication unit 710 is a face image (fs), the mobile terminal information (cs) of the ticketing subject who issued the ticket of the flight scheduled flight from a server (not shown) disposed in the airport (operation change information of the flight scheduled flight ( vs) may be received.
  • the communication unit 710 may be the LET router 162 included in the user interface unit 160 of FIG. 2, but is not limited thereto.
  • the communication unit 710 may transfer the face image fs, the mobile terminal information cs, and the flight change information vs of the scheduled flight to one or more of the image recognizing unit 730 and the control unit 760. Do not put
  • the image capturing unit 720 may capture image information (ms) of scheduled passengers located in a current gate area different from the boarding gate area.
  • the image capturing unit 720 may be the 2D camera 171 and the RGBD camera 172 described in FIG. 2, but is not limited thereto.
  • the image capturing unit 720 may classify or continuously photograph the scheduled passengers located in the current gate area for each sector, and transmit the captured images to the image recognition unit 730 and the controller 760.
  • the image capturing unit 720 may operate under the control of the controller 760 or automatically operate according to a preset schedule of the scheduled flight, but the present invention is not limited thereto.
  • the image recognizing unit 730 processes the image information (ms) transmitted from the image capturing unit 720, and the ticketing subject who has issued a ticket of the scheduled flight among the scheduled passengers located in the current Kate area.
  • the planned passenger to be matched with the facial image fs may be recognized as the passenger to be boarded.
  • the image recognition unit 730 may be the recognition data processing module 173 described in FIG. 2, but is not limited thereto.
  • the image recognizing unit 730 internally matches the face image (not shown) of the scheduled passengers included in the image information (ms) and the transferred face image (fs) by one-to-one to match the same scheduled passengers as the passengers. I can recognize it.
  • the image recognition unit 730 may transmit the recognition result of the passenger to the controller 66.
  • the driving driver 740 may move and move the motor to a setting position corresponding to the position of the person to be recognized by the image recognition unit 730 under the control of the controller 760.
  • the driving driver 740 may be the same as the driving driver 140 of FIG. 2, but is not limited thereto.
  • the output unit 750 may output the movement route information (mls) so that the subject may move to the boarding gate area under the control of the controller 760.
  • the output unit 750 is included in the user interface unit 160 of FIG. 2, and includes a touch monitor 166 displaying moving path information (mls) and a speaker for voice guiding the moving path information (mls). 167), but is not limited thereto.
  • the controller 160 may include a terminal identification unit 762, a location calculator 764, and a driving controller 666.
  • control unit 760 may be at least one of the microcomputer 110 and the AP 150 described in FIG. 2, without being limited thereto.
  • the terminal checking unit 764 may check whether the mobile terminal number included in the mobile terminal information cs is present.
  • the terminal checking unit 764 may check that the mobile terminal number exists in the mobile terminal information cs and transmit the flight change information vs to the mobile terminal of the passenger to be transferred to the driving controller 766. have.
  • the location calculator 764 may calculate the location lo of the person to be boarded from the image information ms under the control of the driving controller 766.
  • the position calculating unit 764 is based on the size of the image pixel of the image information (ms) including the boarding target, the shooting angle of the image capturing unit 720 and the current position (location of the airport robot)
  • the position lo of the subject may be calculated, and in another manner, the position lo of the subject may be calculated.
  • the position calculator 764 may transfer the position lo of the person to be boarded to the driving controller 766.
  • the driving controller 766 may control the communication unit 710 to transmit the flight change information vs to the mobile terminal number.
  • the driving controller 766 may calculate the position of the person to be boarded by controlling the location calculation unit 764.
  • the driving controller 766 may determine a setting position ls corresponding to the location lo of the person to be boarded.
  • the setting position ls may include a front or side position spaced apart from the boarding target by a predetermined distance according to the position lo of the boarding target, but is not limited thereto.
  • the driving controller 766 may move to the set position ls and control the output unit 750 such that the flight change information vs is output to the passenger.
  • 9 to 11 are operation diagrams showing the operation of the airport robot shown in FIG.
  • 9 to 11 are operation diagrams illustrating an internal operation and an external operation of the airport robot 700, and illustrate an example.
  • FIG. 9 recognizes a person to be boarded in the scheduled flight by recognizing a scheduled passenger to be matched with a face image (fs) of a ticketed person who has issued a ticket of a scheduled flight from the image information (ms) photographed by the airport robot 700 This is a figure for recognizing, and is recognized through an internal algorithm.
  • an airport robot 700 of the scheduled flight is transmitted from a server (not shown) to recognize a person to be boarded in the scheduled flight in another gate area away from the boarding gate area of the scheduled flight.
  • a facial image fs of the ticketing subject who issued the ticket may be received, and image information ms of the scheduled passengers located in the gate area may be photographed.
  • the airport robot 700 may recognize the scheduled passenger to be matched with the face image fs among the scheduled passengers included in the image information ms as the passenger.
  • the airport robot 700 may transmit the flight change information (vs) to the mobile terminal number included in the mobile terminal information (cs) of the boarding target.
  • FIG. 10 is a diagram in which the airport robot 700 moves to the setting position ls when the airport robot 700 recognizes the passenger in the image information ms, unlike FIG. 9, which may be the same as FIG. 6.
  • the airport robot 700 calculates the position of the person to be boarded based on the image information ms and moves to a setting position ls corresponding to the position of the person to be boarded. Can be.
  • FIG. 11 is a diagram in which the airport robot 700 outputs flight change information vs to a person to be boarded after moving to a setting position ls.
  • the airport robot 700 may output the boarding target to recognize the flight change information vs.
  • the airport robot 700 may display the flight change information (vs) on the output unit 750, for example, a touch monitor, as shown in Figure 8, and outputs the flight change information (vs) as a guide voice through the speaker It is possible, but not limited to.
  • the flight change information vs may include at least one of a change departure time s11, a change boarding time s12, and a change boarding gate s13 for the flight scheduled flight. There is no limit.
  • FIG. 12 is a system block diagram showing the structure of the airport robot system according to the first embodiment.
  • the airport robot system may include airport robots 810 to 820, an airport camera 900, and a server 1000.
  • the airport robots 810 to 820 may photograph and transmit the image information ms of the scheduled passengers located in each setting area to the server 1000. have.
  • the airport camera 900 may capture a face image (fs) of the ticketing subjects who have issued tickets for the scheduled flight.
  • the airport camera 900 may be disposed at the window for issuing the ticket, but is not limited thereto.
  • the server 1000 acquires the mobile terminal information cs of each of the ticketing subjects and photographs the airport camera 900 to match the mobile terminal information cs of each of the ticketing subjects. You can save the image (fs).
  • the server 1000 may include a target recognizer 1010, a target selector 1020, and a server controller 1030.
  • the object recognition unit 1010 requests image information ms from each of the airport robots 810 to 820 when the cloud change information vs of the flight scheduled flight is input from an external input device (not shown). Based on the image information (ms) and the face image (fs) transmitted from each of the (810 to 820) can recognize the passengers matching the face image (fs) of the ticketing targets of the scheduled passengers.
  • the flight change information vs may include at least one of a change departure time, a change boarding time, and a change boarding gate for the scheduled flight.
  • the target selecting unit 1020 may select a specific boarding target person who satisfies a setting criterion among the boarding target persons recognized by the target recognition unit 1010.
  • the setting criterion is at least one of a person who fails to board the departure time, a person who does not reach the boarding gate at the change departure time, and a person who does not reach the change boarding gate at each position of the boarding subjects. It may be, but is not limited thereto.
  • the target selecting unit 1020 selects the specific boarding subject who satisfies the setting criteria among the specific subjects corresponding to the flight change information, and for example, it is easy to move to the injury of the body among the specific subjects. Since the target person who satisfies the setting criteria may not be selected as the specific boarding target, the present invention is not limited thereto.
  • the target selecting unit 1020 may calculate a location lo of each of the passengers based on the location of the airport robots 810 to 820 and the location of the airport facility.
  • the server controller 1030 selects the specific boarding target person, and the specific airport robot 812 which transmits the image information ms of the specific boarding target among the airport robots 810 to 820 receives the flight change information vs. It may be controlled to be delivered or recognized to a specific passenger.
  • the server controller 1030 corresponds to the location lo of the specific boarding subject calculated by the target selecting unit 1020 by the specific airport robot 812 adjacent to the specific boarding target among the airport robots 810 to 820.
  • the movement information ns and the flight change information vs moving to the set position ls can be transmitted.
  • the server controller 1030 transmits the movement information ns and the flight change information vs, and receives the positional deviation information los transmitted from the specific airport robot 812, the airport controllers 810 to 810.
  • the current image information (pms) may be requested to other airport robots except for the specific airport robot 812.
  • the server controller 1030 transmits the movement information ns and the fortune change information vs to another specific airport robot that matches the reconfirmed location of the specific passenger. It can be controlled to be recognized by a specific passenger.
  • the airport robots 810 to 820 have the same configuration, and in the embodiment, a control configuration for the specific airport robot 812 will be described.
  • the specific airport robot 812 may include a communication unit 831, an image photographing unit 832, an image recognition unit 833, a driving driver 834, an output unit 835, and a controller 836.
  • the airport robots 810 to 820 are located in a gate area different from the boarding gate area of the flight to be operated at the present time, and when the passenger of the flight is to be located in another gate area, It will be described as providing a service to move to the boarding gate area of the flight scheduled flight.
  • the communication unit 831 may transmit the location departure information (ps) to the server 1000 under the control of the image information (ms) and the control unit 836 to the server 1000, the movement information from the server 1000 (ns) and flight change information (vs).
  • the communication unit 831 may be the LET router 162 included in the user interface unit 160 of FIG. 2, but is not limited thereto.
  • the image capturing unit 832 may capture image information (ms) of scheduled passengers located in a current gate area different from the boarding gate area.
  • the image capturing unit 832 may be the 2D camera 171 and the RGBD camera 172 described in FIG. 2, but the embodiment is not limited thereto.
  • the image capturing unit 832 may classify or continuously photograph the scheduled passengers located in the current gate area according to a set sector, and transmit the captured images to the communication unit 831 and the control unit 836.
  • the image recognition unit 833 may recognize the specific passenger who matches the set position ls included in the movement information ns in the image information ms. Can be.
  • the image recognition unit 833 may be the recognition data processing module 173 described in FIG. 2, but is not limited thereto.
  • the image recognition unit 833 may internally match the location lo and the set location ls of the scheduled passengers included in the image information ms to recognize the same scheduled passenger as the specific passenger. .
  • the driving driver 834 may drive and move the motor to a setting position ls corresponding to the specific passenger to be recognized by the image recognition unit 833 under the control of the controller 836.
  • the driving driver 834 may be the same as the driving driver 140 of FIG. 2, but is not limited thereto.
  • the output unit 835 may output the flight change information vs to the specific passenger under control under the control of the controller 836.
  • the output unit 835 is included in the user interface unit 160 described in FIG. 2, and a speaker for voice guidance of the touch monitor 166 displaying the flight change information vs and the flight change information vs. 167, but is not limited thereto.
  • the controller 836 may be at least one of the microcomputer 110 and the AP 150 described in FIG. 2, but is not limited thereto.
  • the controller 836 may control the driving driver 834 to be moved according to the movement information ns to the set position ls of the specific passenger.
  • the controller 836 may control the output unit 835 to output the flight change information vs to the specific passenger.
  • controller 836 may control the communication unit 831 to transmit the position departure information (los) for the specific boarding target to the server 1000 when the specific boarding target is not recognized.
  • an airport robot system selects a specific boarding target from a server and recognizes flight change information of a flight scheduled to a specific boarding target by a specific airport robot among the airport robots, thereby allowing a specific boarding target to ride smoothly.
  • the above-described method may be implemented as code that can be read by a processor in a medium in which a program is recorded.
  • processor-readable media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)
  • Traffic Control Systems (AREA)
  • Operations Research (AREA)

Abstract

실시 예는, 설정된 운항 예정 비행기의 탑승 게이트 영역과 다른 게이트 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보를 촬영하는 영상 촬영부, 상기 영상 정보를 영상처리하여, 상기 예정 탑승 대상자들 중 상기 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 영상과 매칭되는 탑승 대상자를 인식하는 영상 인식부 및 상기 탑승 대상자 인식 시, 상기 탑승 대상자가 상기 탑승 게이트 영역으로 이동하도록 이동 경로 정보를 출력하는 제어부를 포함하는 공항 로봇을 제공한다.

Description

공항 로봇 및 그를 포함하는 공항 로봇 시스템
실시 예는 공항 로봇 및 그를 포함하는 공항 로봇 시스템에 관한 것으로서, 더욱 상세하게는 운항 예정 비행기에 대한 운항 정보 및 운항 변경 정보를 제공할 수 있는 공항 로봇 및 그를 포함하는 공항 로봇 시스템에 관한 것이다.
최근 공항과 같은 공공 장소에서 이용자들에게 각종 서비스를 보다 효과적으로 제공하기 위하여, 로봇 등의 도입이 논의되고 있다. 이용자들은 공항에 배치된 로봇을 통해 공항 내 길 안내 서비스, 탑승 정보 안내 서비스, 기타 멀티미디어 컨텐츠 제공 서비스 등과 같은 각종 서비스를 이용할 수 있다.
그러나, 로봇과 같은 첨단 기기의 경우 단가가 높을 수 밖에 없으므로, 공항 내에 배치되는 공항 로봇의 수는 한정될 수 있다. 따라서, 한정된 수의 공항 로봇을 이용한 보다 효율적인 서비스 제공 방안이 요구될 수 있다.
일 예로, 운항 예정 비행기에 대한 운항 변경 정보, 예를 들면 출발 시간, 탑승 게이트에 대한 변경 정보가 발생되는 경우, 운항 예정 비행기의 탑승 대상자는 공항 내에서 실내 방송으로 전달되는 운항 변경 정보를 인식할 수 있으나, 실제로 운항 예정 정보를 인식하기 어려운 점이 발생될 수 있다.
최근 들어, 공항 내에 공항 로봇들을 배치하여, 운항 변경 정보가 발생된 운항 예정 비행기의 탑승 대상자가 운항 변경 정보를 원활하게 인식할 수 있도록 하기 위한 서비스를 제공하기 위한 연구가 진행 중에 있다.
실시 예의 목적은, 운항 예정 비행기에 탑승할 예정 탑승 대상자를 인식하여, 탑승 대상자에게 운항 예정 비행기의 탑승 게이트 영역까지 이동 경로를 제공할 수 있는 공항 로봇을 제공함에 있다.
또한, 실시 예의 다른 목적은, 운항 예정 비행기의 운항 변경이 발생되는 경우, 운항 예정 비행기의 탑승 대상자들에게 운항 변경 정보를 제공할 수 있는 공항 로봇을 제공함에 있다.
또한, 실시 예의 또 다른 목적은, 운항 변경 정보를 탑승 대상자의 이동 단말기로 전송할 수 있는 공항 로봇을 제공함에 있다.
또한, 실시 예의 또 다른 목적은, 공항 로봇들 각각이 설정 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보를 수신하는 서버가 운항 변경된 운항 예정 비행기에 탑승할 특정 탑승 대상자를 검색한 후 특정 탑승 대상자에 대응하는 특정 공항 로봇으로 운항 변경 정보를 전송할 수 있는 공항 로봇 시스템을 제공함에 있다.
제1 실시 예에 따른 공항 로봇은, 설정된 운항 예정 비행기의 탑승 게이트 영역과 다른 게이트 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보를 촬영하는 영상 촬영부, 상기 영상 정보을 영상처리하여, 상기 예정 탑승 대상자들 중 상기 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 영상과 매칭되는 탑승 대상자를 인식하는 영상 인식부 및 상기 탑승 대상자 인식 시, 상기 탑승 대상자가 상기 탑승 게이트 영역으로 이동하도록, 이동 경로 정보가 출력되게 제어하는 제어부를 포함할 수 있다.
제2 실시 예에 따른 공항 로봇은, 서버로부터 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 정보와 이동 단말기 정보 및 상기 운항 예정 비행기의 운항 변경 정보를 수신하는 통신부, 상기 운항 예정 비행기의 탑승 게이트 영역과 다른 게이트 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보를 촬영하는 영상 촬영부, 상기 영상 정보를 영상처리하여, 상기 예정 탑승 대상자들 중 상기 안면 정보와 매칭되는 탑승 대상자를 인식하는 영상 인식부 및 상기 탑승 대상자 인식 시, 상기 탑승 대상자가 상기 운항 변경 정보를 인식하도록, 상기 이동 단말기 정보를 기반으로 상기 탑승 대상자의 이동 단말기로 상기 운항 변경 정보가 송신되게 상기 통신부를 제어하는 제어부를 포함할 수 있다.
제1 실시 예에 따른 공항 로봇 시스템은, 운항 예정 비행기의 티켓을 발권한 발권 대상자들의 안면 영상을 촬영하는 공항 카메라, 상기 발권 대상자들 각각의 이동 단말기 정보 및 상기 이동 단말기 정보와 매칭되게 상기 안면 영상을 저장하며, 입력 장치로부터 상기 운항 예정 비행기의 운항 변경 정보가 입력 시, 상기 발권 대상자들 중 설정 기준을 만족하는 특정 탑승 대상자를 선정하는 서버 및 상기 서버로부터 영상 정보 요청 시, 설정 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보를 촬영하여 상기 서버로 송신하는 공항 로봇들을 포함하고, 상기 서버는, 상기 운항 변경 정보 입력 시, 상기 공항 로봇으로부터 수신한 상기 영상 정보 및 상기 안면 영상을 기반으로 상기 예정 탑승 대상자들 중 상기 발권 대상자들의 상기 안면 영상과 매칭되는 탑승 대상자들을 인식하는 대상 인식부, 상기 탑승 대상자들 중 상기 설정 기준을 만족하는 상기 특정 탑승 대상자를 선정하는 대상 선정부 및 상기 특정 탑승 대상자 선정 시, 상기 공항 로봇들 중 특정 공항 로봇이 상기 특정 탑승 대상자에게 상기 운항 변경 정보를 전달하도록 제어하는 서버 제어부를 포함할 수 있다.
실시 예에 따른 공항 로봇은, 운항 예정 비행기에 탑승할 탑승 대상자가 존재하면, 탑승 대상자에게 운항 예정 비행기의 탑승 게이트 영역까지 이동할 수 있는 이동 경로를 제공함으로써, 탑승 대상자가 원활히 탑승 게이트로 이동할 수 있도록 하는 사용자 편의성이 증대되는 이점이 있다.
또한, 실시 예에 따른 공항 로봇은, 운항 예정 비행기의 운항 변경 발생 시, 설정 범위에 위치한 탑승 대상자를 인식하여, 탑승 대상자에게 운항 변경 정보가 인식되도록 함으로써, 탑승 대상자가 운항 예정 비행기에 탑승하기 용이하도록 하는 이점이 있다.
또한, 실시 예에 따른 공항 로봇은, 탑승 대상자에게 운항 예정 비행기의 운항 변경 정보를 이동 단말기로 송신하도록 함으로써, 탑승 대상자가 이동 단말기를 통하여 확인이 용이하도록 하는 이점이 있다.
또한, 실시 예에 따른 공항 로봇은, 운항 예정 정보를 탑승 대상자가 인식함으로써, 탑승 대상자의 시간 사용에 대한 효율성을 증대시킬 수 있는 이점이 있다.
또한, 실시 예에 따른 공항 로봇 시스템은, 공항 로봇들로부터 전송된 영상 정보를 기반으로 현재 운항 변경된 운항 변경 비행기에 탑승할 특정 탑승 대상자를 확인하고, 특정 탑승 대상자들에 인접한 특정 공항 로봇으로 운항 변경 정보를 송신하여, 특정 탑승 대상자가 운항 변경 정보를 인식할 수 있으므로, 공항 로봇들이 다른 서비스를 제공할 수 있는 이점이 있다.
도 1은 실시 예에 따른 공항 로봇 시스템의 구조를 나타낸 시스템도이다.
도 2는 도 1에 나타낸 공항 로봇의 하드웨어 구성을 나타낸 블록도이다.
도 3은 도 2에 나타낸 공항 로봇의 마이컴 및 AP의 제어 구성을 나타낸 블록도이다.
도 4는 제1 실시 예에 따른 공항 로봇의 제어 구성을 나타낸 블록도이다.
도 5 내지 도 7은 도 4에 나타낸 공항 로봇의 동작을 나타낸 동작도이다.
도 8은 제2 실시 예에 따른 공항 로봇의 제어 구성을 나타낸 블록도이다.
도 9 내지 도 11은 도 8에 나타낸 공항 로봇의 동작을 나타낸 동작도이다.
도 12는 제1 실시 예에 따른 공항 로봇 시스템의 구조를 나타낸 시스템 블록도이다.
이하, 첨부된 도면을 참조하여 실시 예에 따른 공항 로봇 및 공항 로봇 시스템에 대해 상세히 설명하도록 한다.
도 1은 실시 예에 따른 공항 로봇 시스템의 구조를 나타낸 시스템도이다.
도 1을 참조하면, 공항 로봇 시스템은 공항 로봇(100), 서버(300), 카메라(400), 및 이동 단말기(500)를 포함할 수 있다.
공항 로봇(100)은 공항 내에서 순찰, 안내, 청소, 방역, 운반 등의 역할을 할 수 있다.
공항 로봇(100)은 서버(300) 또는 이동 단말기(500)와 신호를 송수신할 수 있다. 예를 들어, 공항 로봇(100)은 서버(300)와 공항 내 상황 정보 등을 포함한 신호를 송수신할 수 있다. 또한, 공항 로봇(100)은 공항 내 카메라(400)로부터 공항의 각 구역들을 촬영한 영상 정보를 수신할 수 있다.
따라서, 공항 로봇(100)은 공항 로봇(100)이 촬영한 영상 정보 및 카메라(400)로부터 수신한 영상 정보를 종합하여 공항의 상황을 모니터링 할 수 있다.
공항 로봇(100)은 사용자로부터 직접 명령을 수신할 수 있다. 예를 들어, 공항 로봇(100)에 구비된 디스플레이부를 터치하는 입력 또는 음성 입력 등을 통해 사용자로부터 명령을 직접 수신할 수 있다.
공항 로봇(100)은 사용자, 서버(300), 또는 이동 단말기(500) 등으로부터 수신된 명령에 따라 순찰, 안내, 청소 등의 동작을 수행할 수 있다.
다음으로, 서버(300)는 공항 로봇(100), 카메라(400), 및/또는 이동 단말기(500)로부터 정보를 수신할 수 있다. 서버(300)는 각 장치들로부터 수신된 정보들을 통합하여 저장 및 관리할 수 있다. 서버(300)는 저장된 정보들을 공항 로봇(100) 또는 이동 단말기(500)에 전송할 수 있다. 또한, 서버(300)는 공항에 배치된 복수의 공항 로봇(100)들 각각에 대한 명령 신호를 전송할 수 있다.
카메라(400)는 공항 내에 설치된 카메라를 포함할 수 있다. 예를 들어, 카메라(400)는 공항 내에 설치된 복수 개의 CCTV(closed circuit television) 카메라, 적외선 열감지 카메라 등을 모두 포함할 수 있다. 카메라(400)는 촬영된 영상을 서버(300) 또는 공항 로봇(100)에 전송할 수 있다.
이동 단말기(500)는 공항 내 서버(300)와 데이터를 송수신할 수 있다. 예를 들어, 이동 단말기(500)는 서버(300)로부터 비행 시간 스케쥴, 공항 지도 등과 같은 공항 관련 데이터를 수신할 수 있다.
사용자는 이동 단말기(500)를 통해 공항에서 필요한 정보를 서버(300)로부터 수신하여 얻을 수 있다. 또한, 이동 단말기(500)는 서버(300)로 사진이나 동영상, 메시지 등과 같은 데이터를 전송할 수 있다. 예를 들어, 사용자는 미아 사진을 서버(300)로 전송하여 미아 접수를 하거나, 공항 내 청소가 필요한 구역의 사진을 카메라로 촬영하여 서버(300)로 전송함으로써 해당 구역의 청소를 요청할 수 있다.
또한, 이동 단말기(500)는 공항 로봇(100)과 데이터를 송수신할 수 있다.
예를 들어, 이동 단말기(500)는 공항 로봇(100)을 호출하는 신호나 특정 동작을 수행하도록 명령하는 신호 또는 정보 요청 신호 등을 공항 로봇(100)으로 전송할 수 있다. 공항 로봇(100)은 이동 단말기(500)로부터 수신된 호출 신호에 응답하여 이동 단말기(500)의 위치로 이동하거나 명령 신호에 대응하는 동작을 수행할 수 있다. 또는 공항 로봇(100)은 정보 요청 신호에 대응하는 데이터를 각 사용자의 이동 단말기(500)로 전송할 수 있다.
도 2는 실시 예에 따른 공항 로봇의 하드웨어 구성을 나타낸 블록도이다.
도 2를 참조하면, 공항 로봇의 하드웨어는 마이컴 그룹 및 AP 그룹으로 구성될 수 있다.
상기 마이컴 그룹은 마이컴(Micom, 110), 전원부(120), 장애물 인식부(130) 및 주행구동부(140)를 포함할 수 있다.
마이컴(110)은 공항 로봇의 하드웨어 중 배터리 등을 포함하는 전원부(120), 각종 센서들을 포함하는 장애물 인식부(130), 및 복수 개의 모터 및 휠들을 포함하는 주행구동부(140)를 관리할 수 있다.
전원부(120)는 배터리 드라이버(battery Driver, 121) 및 리튬-이온 배터리(Li-Ion Battery, 122)를 포함할 수 있다.
배터리 드라이버(121)는 리튬-이온 배터리(122)의 충전 및 방전을 관리할 수 있다.
리튬-이온 배터리(122)는 공항 로봇의 구동을 위한 전원을 공급할 수 있으며, 24V/102A 리튬-이온 배터리 2개를 병렬로 연결하여 구성될 수 있으며, 이에 한정을 두지 않는다.
장애물 인식부(130)는 IR 리모콘 수신부(131), USS(132), Cliff PSD(133), ARS(134), Bumper(135) 및 OFS(136)를 포함할 수 있다.
IR(Infrared) 리모콘 수신부(131)는 공항 로봇을 원격 조정하기 위한 IR 리모콘의 신호를 수신하는 센서를 포함할 수 있다.
USS(Ultrasonic sensor, 132)는 초음파 신호를 이용하여 장애물과 공항 로봇 사이의 거리를 판단하기 위한 센서일 수 있다.
Cliff PSD(133)는 360도 전방향의 공항 로봇 주행 범위에서 낭떠러지 또는 절벽 등을 감지하기 위한 센서를 포함할 수 있다.
ARS(Attitude Reference System, 134)는 공항 로봇의 자세를 검출할 수 있는 센서를 포함할 수 있다. ARS(134)는 공항 로봇의 회전량 검출을 위한 가속도 3축 및 자이로 3축으로 구성되는 센서를 포함할 수 있다.
Bumper(135)는 공항 로봇과 장애물 사이의 충돌을 감지하는 센서를 포함할 수 있다. Bumper(135)에 포함되는 센서는 360도 범위에서 공항 로봇과 장애물 사이의 충돌을 감지할 수 있다.
OFS(Optical Flow Sensor, 136)는 공항 로봇의 주행 시 헛바퀴가 도는 현상 및 다양한 바닥 면에서 공항 로봇의 주행거리를 측정할 수 있는 센서를 포함할 수 있다.
주행구동부(140)는 모터 드라이버(Motor Drivers, 141), 휠 모터(142), 회전 모터(143), 메인 브러시 모터(144), 사이드 브러시 모터(145) 및 석션 모터 (Suction Motor, 146)를 포함할 수 있다.
모터 드라이버(141)는 공항 로봇의 주행 및 청소를 위한 휠 모터(142), 브러시 모터(143) 및 석션 모터(146)를 구동하는 역할을 수행할 수 있다.
휠 모터(142)는 공항 로봇의 주행을 위한 복수 개의 바퀴를 구동시킬 수 있으며, 회전 모터(143)는 공항 로봇의 메인 바디 또는 공항 로봇의 헤드부의 좌우 회전, 상하 회전을 위해 구동되거나 공항 로봇의 바퀴의 방향 전환 또는 회전을 위하여 구동될 수 있다.
메인 브러시 모터(144)는 공항 바닥의 오물을 쓸어 올리는 브러시를 구동시킬 수 있으며, 사이드 브러시 모터(145)는 공항 로봇의 바깥면 주변 영역의 오물을 쓸어 담는 브러시를 구동시킬 수 있다. 석션 모터(146)는 공항 바닥의 오물을 흡입하기 위해 구동될 수 있다.
AP 그룹은 AP(150), 유저 인터페이스부(160), 사물 인식부(170), 위치 인식부(180) 및 LAN(190)을 포함할 수 있다.
AP(Application Processor, 150)는 공항 로봇의 하드웨어 모듈 전체 시스템을 관리하는 중앙 처리 장치일 수 있다.
AP(150)는 각종 센서들을 통해 들어온 위치 정보를 이용하여 주행을 위한 응용프로그램 구동과 사용자 입출력 정보를 마이컴(110)으로 전송하여 모터, 예들들어 주행 구동부(140) 등의 구동이 수행되게 할 수 있다.
유저 인터페이스부(160)는 유저 인터페이스 프로세서(UI Processor, 161), LTE 라우터(LTE Router, 162), WIFI SSID(163), 마이크 보드(164), 바코드 리더기(165), 터치 모니터(166) 및 스피커(167)를 포함할 수 있다.
유저 인터페이스 프로세서(161)는 사용자의 입출력을 담당하는 유저 인터페이스부(160)의 동작을 제어할 수 있다.
LTE 라우터(162)는 외부로부터 필요한 정보를 수신하고 사용자에게 정보를 송신하기 위한 LTE 통신을 수행할 수 있다.
WIFI SSID(163)는 WiFi의 신호 강도를 분석하여 특정 사물 또는 공항 로봇의 위치 인식을 수행할 수 있다.
마이크 보드(164)는 복수 개의 마이크 신호를 입력받아 음성 신호를 디지털 신호인 음성 데이터로 처리하고, 음성 신호의 방향 및 해당 음성 신호를 분석할 수 있다.
바코드 리더기(165)는 공항에서 사용되는 복수 개의 티켓에 기재된 바코드 정보를 리드(Read) 할 수 있다.
터치 모니터(166)는 사용자의 입력을 수신하기 위해 구성된 터치 패널 및 출력 정보를 표시하기 위한 모니터를 포함할 수 있다.
스피커(167)는 사용자에게 특정 정보를 음성으로 알려주는 역할을 수행할 수 있다.
사물인식부(170)는 2D 카메라(171), RGBD 카메라(172) 및 인식 데이터 처리 모듈(173)를 포함할 수 있다.
2D 카메라(171)는 2차원 영상을 기반으로 사람 또는 사물을 인식하기 위한 센서일 수 있다.
RGBD 카메라(Red, Green, Blue, Distance, 172)로서, RGBD 센서들을 갖는 카메라 또는 다른 유사한 3D 이미징 디바이스들로부터 획득되는 깊이(Depth) 데이터를 갖는 캡처 된 이미지들을 이용하여 사람 또는 사물을 검출하기 위한 센서일 수 있다.
인식 데이터 처리 모듈(173)은 2D 카메라(171) 및 RGBD 카메라(172)로부터 획득된 2D 이미지/영상 또는 3D 이미지/영상 등의 신호를 처리하여 사람 또는 사물을 인식할 수 있다.
위치인식부(180)는 스테레오 보드(Stereo B/D, 181), 라이더(Lidar, 182) 및 SLAM 카메라(183)를 포함할 수 있다.
SLAM(Simultaneous Localization And Mapping) 카메라(183)는 동시간 위치 추적 및 지도 작성 기술을 구현할 수 있다.
공항 로봇은 SLAM 카메라(183)를 이용하여 주변 환경 정보를 검출하고 얻어진 정보를 가공하여 임무 수행 공간에 대응되는 지도를 작성함과 동시에 자신의 절대 위치를 추정할 수 있다.
라이더(Light Detection and Ranging : Lidar, 182)는 레이저 레이더로서, 레이저 빔을 조사하고 에어로졸에 의해 흡수 혹은 산란 된 빛 중 후방 산란 된 빛을 수집, 분석하여 위치 인식을 수행하는 센서일 수 있다.
스테레오 보드(181)는 라이더(182) 및 SLAM 카메라(183) 등으로부터 수집되는 센싱 데이터를 처리 및 가공하여 공항 로봇의 위치 인식과 장애물 인식을 위한 데이터 관리를 담당할 수 있다.
랜(LAN, 190)은 사용자 입출력 관련 유저 인터페이스 프로세서(161), 인식 데이터 처리 모듈(173), 스테레오 보드(181) 및 AP(150)와 통신을 수행할 수 있다.
도 3은 실시 예에 따른 공항 로봇의 마이컴 및 AP의 제어 구성을 나타낸 블록도이다.
도 3에 나타낸 마이컴(210) 및 AP(220)는 공항 로봇의 인식 및 행동을 제어하기 위하여, 다양한 제어 구성을 가질 수 있으며, 이에 한정을 두지 않는다.
도 3을 참조하면, 마이컴(210)은 데이터 액세스 서비스 모듈(Data Access Service Module, 215)을 포함할 수 있다.
데이터 액세스 서비스 모듈(215)은 데이터 획득 모듈(Data acquisition module, 211), 이머전시 모듈(Emergency module, 212), 모터 드라이버 모듈(Motor driver module, 213) 및 배터리 매니저 모듈(Battery manager module, 214)을 포함할 수 있다.
데이터 획득 모듈(211)은 공항 로봇에 포함된 복수 개의 센서로부터 센싱 된 데이터를 취득하여 데이터 액세스 서비스 모듈(215)로 전달할 수 있다.
이머전시 모듈(212)은 공항 로봇의 이상 상태를 감지할 수 있는 모듈로서, 이머전시 모듈(212)은 공항 로봇이 기 정해진 타입의 행동을 수행하는 경우, 공항 로봇이 이상 상태에 진입했음을 감지할 수 있다.
모터 드라이버 모듈(213)은 공항 로봇의 주행 및 청소를 위한 휠, 브러시, 석션 모터의 구동 제어를 관리할 수 있다.
배터리 매니저 모듈(214)은 도 1의 리튬-이온 배터리(122)의 충전 및 방전을 담당하고, 공항 로봇의 배터리 상태를 데이터 액세스 서비스 모듈(215)에 전달할 수 있다.
AP(220)는 각종 카메라 및 센서들과 사용자 입력 등을 수신하고, 인식 가공하여 공항 로봇의 동작을 제어하는 역할을 수행할 수 있다.
인터랙션 모듈(221)은 인식 데이터 처리 모듈(173)로부터 수신하는 인식 데이터와 유저 인터페이스 모듈(222)로부터 수신하는 사용자 입력을 종합하여, 사용자와 공항 로봇이 상호 교류할 수 있는 소프트웨어(Software)를 총괄하는 모듈일 수 있다.
유저 인터페이스 모듈(222)은 공항 로봇의 현재 상항 및 조작/정보 제공 등을 위한 모니터인 디스플레이부(223), 키(key), 터치 스크린 및, 리더기 등과 같은 사용자의 근거리 명령을 수신하거나, 공항 로봇을 원격 조정을 위한 IR 리모콘의 신호와 같은 원거리 신호를 수신하거나, 마이크 또는 바코드 리더기 등으로부터 사용자의 입력 신호를 수신하는 사용자 입력부(224)로부터 수신되는 사용자 입력을 관리할 수 있다.
적어도 하나 이상의 사용자 입력이 수신되면, 유저 인터페이스 모듈(222)은 상태 관리 모듈(State Machine module, 225)로 사용자 입력 정보를 전달할 수 있다.
사용자 입력 정보를 수신한 상태 관리 모듈(225)은 공항 로봇의 전체 상태를 관리하고, 사용자 입력 대응하는 적절한 명령을 내릴 수 있다.
플래닝 모듈(226)은 상태 관리 모듈(225)로부터 전달받은 명령에 따라서 공항 로봇의 특정 동작을 위한 시작과 종료 시점/행동을 판단하고, 공항 로봇이 어느 경로로 이동해야 하는지를 계산할 수 있다.
네비게이션 모듈(227)은 공항 로봇의 주행 전반을 담당하는 것으로서, 플래닝 모듈(226)에서 계산된 주행 루트에 따라서 공항 로봇이 주행하게 할 수 있다.
모션 모듈(228)은 주행 이외에 기본적인 공항 로봇의 동작을 수행하도록 할 수 있다.
또한, 공항 로봇은 위치 인식부(230)를 포함할 수 있다.
위치 인식부(230)는 상대 위치 인식부(231)와 절대 위치 인식부(234)를 포함할 수 있다.
상대 위치 인식부(231)는 RGM mono(232) 센서를 통해 공항 로봇의 이동량을 보정하고, 일정한 시간 동안 공항 로봇의 이동량을 계산할 수 있고, LiDAR(233)를 통해 현재 공항 로봇의 주변 환경을 인식할 수 있다.
절대 위치 인식부(234)는 Wifi SSID(235) 및 UWB(236)을 포함할 수 있다. Wifi SSID(235)는 공항 로봇의 절대 위치 인식을 위한 UWB 센서 모듈로서, Wifi SSID 감지를 통해 현재 위치를 추정하기 위한 WIFI 모듈이다.
Wifi SSID(235)는 Wifi의 신호 강도를 분석하여 공항 로봇의 위치를 인식할 수 있다.
UWB(236)는 발신부와 수신부 사이의 거리를 계산하여 공항 로봇의 절대적 위치를 센싱할 수 있다.
또한, 공항 로봇은 맵 관리 모듈(240)을 포함할 수 있다.
맵 관리 모듈(240)은 그리드 모듈(Grid module, 241), 패스 플래닝 모듈(Path Planning module, 242) 및 맵 분할 모듈(243)을 포함할 수 있다.
그리드 모듈(241)은 공항 로봇이 SLAM 카메라를 통해 생성한 격자 형태의 지도 혹은 사전에 미리 공항 로봇에 입력된 위치 인식을 위한 주변환경의 지도 데이터를 관리할 수 있다.
패스 플래닝 모듈(242)은 복수 개의 공항 로봇들 사이의 협업을 위한 맵 구분에서, 공항 로봇들의 주행 경로 계산을 담당할 수 있다. 또한, 패스 플래닝 모듈(242)은 공항 로봇 한대가 동작하는 환경에서 공항 로봇이 이동해야 할 주행 경로도 계산할 수 있다. 맵 분할 모듈(243)은 복수 개의 공항 로봇들이 각자 담당해야할 구역을 실시간으로 계산할 수 있다.
위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들은 다시 상태 관리 모듈(225)로 전달될 수 있다.
상태 관리 모듈(225)은 위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들에 기초하여, 공항 로봇의 동작을 제어하도록 플래닝 모듈(226)에 명령을 내릴 수 있다.
도 4는 제1 실시 예에 따른 공항 로봇의 제어 구성을 나타낸 블록도이다.
도 4는 도 2 및 도 3에 나타낸 공항 로봇의 구성에 대하여 운항 변경 정보를 탑승 대상자가 인식하도록 하기 위해 필요한 제어 구성을 나타낸 것이며, 도 4에 나타낸 제어 구성과 도 2 및 도 3에 나타낸 구성에서 추가되거나, 또는 명칭이 변경될 수 있다.
도 4를 참조하면, 공항 로봇(600)은 통신부(610), 영상 촬영부(620), 영상 인식부(630), 주행 구동부(640), 출력부(650) 및 제어부(660)를 포함할 수 있다.
실시 예에서, 공항 로봇(600)은 현재 시점에서 운항 예정 비행기의 탑승 게이트 영역과 다른 게이트 영역에 위치한 것으로써, 상기 운항 예정 비행기의 탑승 대상자가 다른 게이트 영역에 위치할때 상기 탑승 대상자에게 상기 운항 예정 비행기의 탑승 게이트 영역으로 이동할 수 있도록 하는 서비스를 제공하는 것으로 설명한다.
여기서, 통신부(610)는 공항 내에 배치된 서버(미도시)로부터 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 영상(fs)을 수신할 수 있다.
실시 예에서, 통신부(610)는 도 2에 기재된 유저 인터페이스부(160)에 포함된 LET 라우터(162)일 수 있으며, 이에 한정을 두지 않는다.
통신부(610)는 안면 영상(fs)을 영상 인식부(630) 및 제어부(660) 중 적어도 하나로 전달할 수 있으며, 이에 한정을 두지 않는다.
영상 촬영부(620)는 상기 탑승 게이트 영역과 다른 현재 게이트 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보(ms)를 촬영할 수 있다.
실시 예에서, 영상 촬영부(620)는 도 2에 기재된 2D 카메라(171) 및 RGBD 카메라(172)일 수 있으며, 이에 한정을 두지 않는다.
영상 촬영부(620)는 상기 현재 게이트 영역 내에 위치한 상기 예정 탑승 대상자들을 설정된 섹터(sector)별로 구분 또는 연속적으로 촬영하여, 영상 인식부(630) 및 제어부(660)로 전달할 수 있다.
이때, 영상 촬영부(620)는 제어부(660)의 제어에 따라 동작하거나, 기 설정된 운항 예정 비행기의 스케줄에 따라 자동 동작할 수 있으며, 이에 한정을 두지 않는다.
영상 인식부(630)는 영상 촬영부(620)로부터 전달된 영상 정보(ms)를 영상처리하여, 상기 현재 케이트 영역 내에 위치한 상기 예정 탑승 대상자들 중 상기 운항 예정 비행기의 티켓을 발권한 상기 발권 대상자의 안면 영상(fs)과 매칭되는 예정 탑승 대상자를 탑승 대상자로 인식할 수 있다.
실시 예에서, 영상 인식부(630)는 도 2에 기재된 인식 데이터 처리모듈(173)일 수 있으며, 이에 한정을 두지 않는다.
영상 인식부(630)는 내부적으로 영상 정보(ms)에 포함된 상기 예정 탑승 대상자들의 안면 영상(미도시)와 전달된 안면 영상(fs)을 일대일 매칭시켜 동일한 상기 예정 탑승 대상자를 상기 탑승 대상자로 인식할 수 있다.
이후, 영상 인식부(630)는 상기 탑승 대상자의 인식 결과를 제어부(66)로 전달할 수 있다.
주행 구동부(640)는 제어부(660)의 제어에 따라 영상 인식부(630)에서 인식한 상기 탑승 대상자의 위치에 대응하는 설정 위치로 모터를 구동시켜 이동할 수 있다.
실시 예에서, 주행 구동부(640)는 도 2에 기재된 주행 구동부(140)와 동일할 수 있으며, 이에 한정을 두지 않는다.
출력부(650)는 제어부(660)의 제어에 따라 상기 탑승 대상자가 상기 탑승 게이트 영역으로 이동할 수 있도록, 이동 경로 정보(mls)를 출력할 수 있다.
실시 예에서, 출력부(650)는 도 2에 기재된 유저 인터페이스부(160)에 포함되며 이동 경로 정보(mls)를 디스플레이하는 터치 모니터(166) 및 이동 경로 정보(mls)를 음성 안내하는 스피커(167)일 수 있으며, 이에 한정을 두지 않는다.
제어부(160)는 위치 산출부(662) 및 구동 제어부(666)를 포함할 수 있다.
여기서, 제어부(660)는 도 2에 기재된 마이컴(110) 및 AP(150) 중 적어도 하나일 수 있으며, 이에 한정을 두지 않는다.
위치 산출부(662)는 영상 인식부(630)가 상기 탑승 대사자를 인식하는 경우, 영상 정보(ms)에서 상기 탑승 대상자의 위치(lo)를 산출할 수 있다.
즉, 위치 산출부(662)는 상기 탑승 대상자가 포함된 영상 정보(ms)의 영상 픽셀에 대한 사이즈, 영상 촬영부(620)의 촬영 각도 및 현재 위치(공항 로봇의 위치)를 기반으로 상기 탑승 대상자의 위치(lo)를 산출할 수 있으며, 이와 다른 방법으로 상기 탑승 대상자의 위치(lo)를 산출할 수 있다.
이후, 위치 산출부(662)는 상기 탑승 대상자의 위치(lo)를 구동 제어부(664)로 전달 수 있다.
구동 제어부(664)는 상기 탑승 대상자의 위치(lo)가 전달되면, 상기 탑승 대상자의 위치(lo)에 대응하는 설정 위치(ls)를 결정할 수 있다.
여기서, 설정 위치(ls)는 상기 탑승 대상자의 위치(lo)에 따라 상기 탑승 대상자와 소정 거리만큼 이격된 전면 또는 측면 위치를 포함할 수 있으며, 이에 한정을 두지 않는다.
이후, 구동 제어부(664)는 상기 탑승 대상자의 위치(lo)에서 상기 탑승 게이트 영역까지의 이동 경로, 이동 시간 및 탑승 시작 시간 중 적어도 하나를 포함하는 이동 경로 정보(mls)를 생성할 수 있다.
구동 제어부(664)는 이동 경로 정보(mls)를 생성한 후, 설정 위치(ls)까지 이동되게 주행 구동부(640)를 제어할 수 있다.
이후, 구동 제어부(664)는 주행 구동부(640)를 제어하여 설정 위치(ls)까지 이동하면, 상기 탑승 대상자에게 이동 경로 정보(mls)가 출력되게 출력부(650)를 제어할 수 있다.
실시 예에 따른 공항 로봇(600)은 현재 운항 예정 비행기의 탑승 게이트 영역과 다른 게이트 영역, 즉 탑승 게이트 영역과 위치 상으로 떨어진 게이트 영역 내에 위치하는 예정 탑승 대상자들 중 상기 운항 예정 비행기의 티켓을 발권한 발권 대상자와 매칭되는 예정 탑승 대상자를 탑승 대상자로 인식하고, 상기 탑승 대상자가 신속히 상기 탑승 게이트 영역으로 이동할 수 있도록 이동 경로 정보(mls)를 출력하도록 함으로써, 탑승 대상자가 운항 예정 비행기에 원할하게 탑승할 수 있도록 함으로써, 사용자의 편의성을 증대시킬 수 있는 서비스를 제공할 수 있는 이점이 있다.
도 5 내지 도 7은 도 4에 나타낸 공항 로봇의 동작을 나타낸 동작도이다.
도 5 내지 도 7은 공항 로봇(600)의 내부 동작 및 외부 동작을 나타내는 동작도로써, 하나의 일 예를 나타낸다.
도 5는 공항 로봇(600)이 촬영한 영상 정보(ms)에서 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 영상(fs)과 매칭되는 예정 탑승 대상자를 인식하여 상기 운항 예정 비행기의 탑승 대상자를 인식하는 도이며, 내부 알고리즘을 통하여 인식하는 것으로 설명의 편의를 위하여 도면을 첨부한다.
도 5를 참조하면, 공항 로봇(600)는 운항 예정 비행기의 탑승 게이트 영역에서 떨어진 다른 게이트 영역 내에 상기 운항 예정 비행기의 탑승 대상자를 인식하기 위하여, 서버(미도시)로부터 송신된 상기 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 영상(fs)를 수신하고, 상기 게이트 영역 내에 위치한 예정 탑승 대상자들의 영상 정보(ms)를 촬영할 수 있다.
이후, 공항 로봇(600)는 영상 정보(ms)에 포함된 상기 예정 탑승 대상자들 중 안면 영상(fs)에 매칭되는 예정 탑승 대상자를 탑승 대상자로 인식할 수 있다.
도 6은 공항 로봇(600)이 탑승 대상자를 인식한 후, 탑승 대상자의 위치에 대응하는 설정 위치(lo)로 이동하는 도면이다.
도 6을 참조하면, 공항 로봇(600)은 탑승 대상자가 인식되면, 영상 정보(ms)를 기반으로 상기 탑승 대상자의 위치를 산출하고, 상기 탑승 대상자의 위치(lo)에 대응하는 설정 위치(ls)로 이동할 수 있다.
이때, 공항 로봇(600)은 내부적으로 상기 운항 예정 비행기의 운항 경로 정보(mls)를 생성하고, 설정 위치(ls)로 이동할 수 있다.
도 7은 공항 로봇(600)이 설정 위치(ls)로 이동한 후 탑승 대상자에게 운항 경로 정보(mls)를 출력하는 도면이다.
도 7을 참조하면, 공항 로봇(600)은 상기 탑승 대상자의 위치에 대응하는 설정 위치(lo)로 이동하면, 상기 탑승 대상자가 운항 경로 정보(mls)을 인식할수 있도록 출력할 수 있다.
이때, 공항 로봇(600)은 도 7과 같이 운항 경로 정보(mls)를 출력부(650), 예를 들면 터치 모니터에 디스플레이할 수 있으며, 운항 경로 정보(mls)를 스피커를 통하여 안내 음성으로 출력할 수 있으며, 이에 한정을 두지 않는다.
도 7에 나타낸 바와 같이, 운항 경로 정보(mls)는 상기 탑승 대상자의 위치에서 운항 예정 비행기의 탑승 게이트 영역까지의 이동 경로(s1), 이동 시간(s2) 및 탑승 시작 시간(s3) 중 적어도 하나를 포함할 수 있으며, 이에 한정을 두지 않는다.
도 8은 제2 실시 예에 따른 공항 로봇의 제어 구성을 나타낸 블록도이다.
도 8을 참조하면, 공항 로봇(700)은 통신부(710), 영상 촬영부(720), 영상 인식부(730), 주행 구동부(740), 출력부(750) 및 제어부(760)를 포함할 수 있다.
실시 예에서, 공항 로봇(700)은 현재 시점에서 운항 예정 비행기의 탑승 게이트 영역과 다른 게이트 영역에 위치한 것으로써, 상기 운항 예정 비행기의 탑승 대상자가 다른 게이트 영역에 위치할때 상기 탑승 대상자에게 상기 운항 예정 비행기의 탑승 게이트 영역으로 이동할 수 있도록 하는 서비스를 제공하는 것으로 설명한다.
여기서, 통신부(710)는 공항 내에 배치된 서버(미도시)로부터 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 영상(fs), 이동 단말기 정보(cs) 및 상기 운항 예정 비행기의 운항 변경 정보(vs)을 수신할 수 있다.
실시 예에서, 통신부(710)는 도 2에 기재된 유저 인터페이스부(160)에 포함된 LET 라우터(162)일 수 있으며, 이에 한정을 두지 않는다.
통신부(710)는 안면 영상(fs), 이동 단말기 정보(cs) 및 상기 운항 예정 비행기의 운항 변경 정보(vs)를 영상 인식부(730) 및 제어부(760) 중 적어도 하나로 전달할 수 있으며, 이에 한정을 두지 않는다.
영상 촬영부(720)는 상기 탑승 게이트 영역과 다른 현재 게이트 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보(ms)를 촬영할 수 있다.
실시 예에서, 영상 촬영부(720)는 도 2에 기재된 2D 카메라(171) 및 RGBD 카메라(172)일 수 있으며, 이에 한정을 두지 않는다.
영상 촬영부(720)는 상기 현재 게이트 영역 내에 위치한 상기 예정 탑승 대상자들을 설정된 섹터(sector)별로 구분 또는 연속적으로 촬영하여, 영상 인식부(730) 및 제어부(760)로 전달할 수 있다.
이때, 영상 촬영부(720)는 제어부(760)의 제어에 따라 동작하거나, 기 설정된 운항 예정 비행기의 스케줄에 따라 자동 동작할 수 있으며, 이에 한정을 두지 않는다.
영상 인식부(730)는 영상 촬영부(720)로부터 전달된 영상 정보(ms)를 영상처리하여, 상기 현재 케이트 영역 내에 위치한 상기 예정 탑승 대상자들 중 상기 운항 예정 비행기의 티켓을 발권한 상기 발권 대상자의 안면 영상(fs)과 매칭되는 예정 탑승 대상자를 탑승 대상자로 인식할 수 있다.
실시 예에서, 영상 인식부(730)는 도 2에 기재된 인식 데이터 처리모듈(173)일 수 있으며, 이에 한정을 두지 않는다.
영상 인식부(730)는 내부적으로 영상 정보(ms)에 포함된 상기 예정 탑승 대상자들의 안면 영상(미도시)와 전달된 안면 영상(fs)을 일대일 매칭시켜 동일한 상기 예정 탑승 대상자를 상기 탑승 대상자로 인식할 수 있다.
이후, 영상 인식부(730)는 상기 탑승 대상자의 인식 결과를 제어부(66)로 전달할 수 있다.
주행 구동부(740)는 제어부(760)의 제어에 따라 영상 인식부(730)에서 인식한 상기 탑승 대상자의 위치에 대응하는 설정 위치로 모터를 구동시켜 이동할 수 있다.
실시 예에서, 주행 구동부(740)는 도 2에 기재된 주행 구동부(140)와 동일할 수 있으며, 이에 한정을 두지 않는다.
출력부(750)는 제어부(760)의 제어에 따라 상기 탑승 대상자가 상기 탑승 게이트 영역으로 이동할 수 있도록, 이동 경로 정보(mls)를 출력할 수 있다.
실시 예에서, 출력부(750)는 도 2에 기재된 유저 인터페이스부(160)에 포함되며 이동 경로 정보(mls)를 디스플레이하는 터치 모니터(166) 및 이동 경로 정보(mls)를 음성 안내하는 스피커(167)일 수 있으며, 이에 한정을 두지 않는다.
제어부(160)는 단말기 확인부(762), 위치 산출부(764) 및 구동 제어부(666)를 포함할 수 있다.
여기서, 제어부(760)는 도 2에 기재된 마이컴(110) 및 AP(150) 중 적어도 하나일 수 있으며, 이에 한정을 두지 않는다.
단말기 확인부(764)는 영상 인식부(730)가 상기 탑승 대사자를 인식하는 경우, 이동 단말기 정보(cs)에 포함된 이동 단말기 번호에 대한 존재 여부를 확인할 수 있다.
즉, 단말기 확인부(764)는 운항 변경 정보(vs)를 탑승 대상자의 이동 단말기로 전송하기 위하여, 이동 단말기 정보(cs)에서 이동 단말 번호가 존재하는 확인하여, 구동 제어부(766)로 전달할 수 있다.
위치 산출부(764)는 인식부(730)가 상기 탑승 대상자를 인식하는 경우, 구동 제어부(766)의 제어에 따라 영상 정보(ms)에서 상기 탑승 대상자의 위치(lo)를 산출할 수 있다.
즉, 위치 산출부(764)는 상기 탑승 대상자가 포함된 영상 정보(ms)의 영상 픽셀에 대한 사이즈, 영상 촬영부(720)의 촬영 각도 및 현재 위치(공항 로봇의 위치)를 기반으로 상기 탑승 대상자의 위치(lo)를 산출할 수 있으며, 이와 다른 방법으로 상기 탑승 대상자의 위치(lo)를 산출할 수 있다.
이후, 위치 산출부(764)는 상기 탑승 대상자의 위치(lo)를 구동 제어부(766)로 전달 수 있다.
구동 제어부(766)는 단말기 확인부(764)로부터 상기 이동 단말 번호가 존재하는 것으로 확인되면, 상기 이동 단말 번호로 운항 변경 정보(vs)가 송신되게 통신부(710)를 제어할 수 있다.
또한, 구동 제어부(766)는 단말기 확인부(764)로부터 상기 이동 단말 번호가 미 존재하는 것으로 확인되면, 위치 산출부(764)를 제어하여 상기 탑승 대상자의 위치를 산출할 수 있다.
이후, 구동 제어부(766)는 상기 탑승 대상자의 위치(lo)가 전달되면, 상기 탑승 대상자의 위치(lo)에 대응하는 설정 위치(ls)를 결정할 수 있다.
여기서, 설정 위치(ls)는 상기 탑승 대상자의 위치(lo)에 따라 상기 탑승 대상자와 소정 거리만큼 이격된 전면 또는 측면 위치를 포함할 수 있으며, 이에 한정을 두지 않는다.
이후, 구동 제어부(766)는 설정 위치(ls)까지 이동하며, 상기 탑승 대상자에게 운항 변경 정보(vs)가 출력력되게 출력부(750)를 제어할 수 있다.
도 9 내지 도 11은 도 8에 나타낸 공항 로봇의 동작을 나타낸 동작도이다.
도 9 내지 도 11은 공항 로봇(700)의 내부 동작 및 외부 동작을 나타내는 동작도로써, 하나의 일 예를 나타낸다.
도 9는 공항 로봇(700)이 촬영한 영상 정보(ms)에서 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 영상(fs)과 매칭되는 예정 탑승 대상자를 인식하여 상기 운항 예정 비행기의 탑승 대상자를 인식하는 도이며, 내부 알고리즘을 통하여 인식하는 것으로 설명의 편의를 위하여 도면을 첨부한다.
도 9를 참조하면, 공항 로봇(700)는 운항 예정 비행기의 탑승 게이트 영역에서 떨어진 다른 게이트 영역 내에 상기 운항 예정 비행기의 탑승 대상자를 인식하기 위하여, 서버(미도시)로부터 송신된 상기 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 영상(fs)를 수신하고, 상기 게이트 영역 내에 위치한 예정 탑승 대상자들의 영상 정보(ms)를 촬영할 수 있다.
이후, 공항 로봇(700)는 영상 정보(ms)에 포함된 상기 예정 탑승 대상자들 중 안면 영상(fs)에 매칭되는 예정 탑승 대상자를 탑승 대상자로 인식할 수 있다.
이때, 공항 로봇(700)은 상기 탑승 대상자의 이동 단말기 정보(cs)에 포함된 이동 단말기 번호로 운항 변경 정보(vs)를 송신할 수 있다.
도 10은 상술한 도 9와 다르게 공항 로봇(700)이 탑승 대상자를 영상 정보(ms)에서 인식할 때, 설정 위치(ls)로 이동하는 도면으로, 도 6과 동일할 수 있다.
도 10을 참조하면, 공항 로봇(700)은 탑승 대상자가 인식되면, 영상 정보(ms)를 기반으로 상기 탑승 대상자의 위치를 산출하고, 상기 탑승 대상자의 위치에 대응하는 설정 위치(ls)로 이동할 수 있다.
도 11은 공항 로봇(700)이 설정 위치(ls)로 이동한 후 탑승 대상자에게 운항 변경 정보(vs)를 출력하는 도면이다.
도 11을 참조하면, 공항 로봇(700)은 상기 탑승 대상자의 위치에 대응하는 설정 위치(ls)로 이동하면, 상기 탑승 대상자가 운항 변경 정보(vs)를 인식할 수 있도록 출력할 수 있다.
이때, 공항 로봇(700)은 도 8과 같이 운항 변경 정보(vs)를 출력부(750), 예를 들면 터치 모니터에 디스플레이할 수 있으며, 운항 변경 정보(vs)를 스피커를 통하여 안내 음성으로 출력할 수 있으며, 이에 한정을 두지 않는다.
도 11에 나타낸 바와 같이, 운항 변경 정보(vs)는 상기 운항 예정 비행기에 대해 변경 출발 시간(s11), 변경 탑승 시간(s12) 및 변경 탑승 게이트(s13) 중 적어도 하나를 포함할 수 있으며, 이에 한정을 두지 않는다.
도 12는 제1 실시 예에 따른 공항 로봇 시스템의 구조를 나타낸 시스템 블록도이다.
도 12를 참조하면, 공항 로봇 시스템은 공항 로봇들(810 내지 820), 공항 카메라(900) 및 서버(1000)를 포함할 수 있다.
공항 로봇들(810 내지 820)은 서버(1000)로부터 영상 정보(ms) 요청시, 각각의 설정 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보(ms)를 촬영하여 서버(1000)로 송신할 수 있다.
우선, 공항 카메라(900)는 운항 예정 비행기의 티켓을 발권한 발권 대상자들의 안면 영상(fs)를 촬영할 수 있다.
이때, 공항 카메라(900)는 상기 티켓을 발권하는 창구에 배치될 수 있으며, 이에 한정을 두지 않는다.
서버(1000)는 상기 티켓 발권시, 상기 발권 대상자들 각각의 이동 단말기 정보(cs)를 취득하고, 상기 발권 대상자들 각각의 이동 단말기 정보(cs)와 매칭되게 공항 카메라(900)에 촬영한 안면 영상(fs)을 저장할 수 있다.
이때, 서버(1000)는 대상 인식부(1010), 대상 선정부(1020) 및 서버 제어부(1030)를 포함할 수 있다.
대상 인식부(1010)는 외부의 입력장치(미도시)로부터 운항 예정 비행기의 운한 변경 정보(vs) 입력시, 공항 로봇들(810 내지 820) 각각으로 영상 정보(ms)를 요청하고, 공항 로봇들(810 내지 820) 각각으로부터 송신된 영상 정보(ms) 및 안면 영상(fs)를 기반으로 상기 예정 탑승 대상자들 중 상기 발권 대상자들의 안면 영상(fs)과 매칭되는 탑승 대상자들을 인식할 수 있다.
운항 변경 정보(vs)는 상기 운항 예정 비행기에 대해 변경 출발 시간, 변경 탑승 시간 및 변경 탑승 게이트 중 적어도 하나를 포함할 수 있다.
대상 선정부(1020)는 대상 인식부(1010)에서 인식한 상기 탑승 대상자들 중 설정 기준을 만족하는 특정 탑승 대상자를 선정할 수 있다.
이때, 상기 설정 기준은 상기 탑승 대상자들 각각의 위치에서, 상기 변경 출발 시간에 탑승하지 못하는 대상자, 상기 변경 탑승 시간에 탑승 게이트에 도달하지 못하는 대상자 및 상기 변경 탑승 게이트에 도달하지 못하는 대상자 중 적어도 하나일 수 있으며, 이에 한정을 두지 않는다.
즉, 대상 선정부(1020)는 상기 운항 변경 정보에 부합되는 상기 특정 대상자들 중 상기 설정 기준을 만족하는 상기 특정 탑승 대상자를 선정하는 것으로, 예를 들면 특정 대상자들 중 몸의 부상으로 이동하기 용이하지 않아 상기 설정 기준을 만족하는 대상자를 특정 탑승 대상자로 선정할 수 있으며, 이에 한정을 두지 않는다.
또한, 대상 선정부(1020)는 공항 로봇들(810 내지 820)의 위치 및 설정된 공항 부대시설의 위치를 기반으로 상기 탑승 대상자들 각각의 위치(lo)를 산출할 수 있다.
서버 제어부(1030)는 상기 특정 탑승 대상자 선정 시, 공항 로봇들(810 내지 820) 중 상기 특정 탑승 대상자의 영상 정보(ms)을 송신한 특정 공항 로봇(812)이 운항 변경 정보(vs)를 상기 특정 탑승 대상자에게 전달 또는 인식하도록 제어할 수 있다.
즉, 서버 제어부(1030)는 공항 로봇들(810 내지 820) 중 상기 특정 탑승 대상자에 인접한 특정 공항 로봇(812)으로 대상 선정부(1020)에서 산출한 상기 특정 탑승 대상자의 위치(lo)에 대응하는 설정 위치(ls)로 이동하는 이동 정보(ns) 및 운항 변경 정보(vs)를 송신할 수 있다.
또한, 서버 제어부(1030)는 이동 정보(ns) 및 운항 변경 정보(vs)를 송신한 후, 특정 공항 로봇(812)로부터 송신된 위치 이탈 정보(los)가 수신되면, 공항 로봇들(810 내지 820) 중 특정 공항 로봇(812)을 제외한 다른 공항 로봇들로 현재 영상 정보(pms)를 요청할 수 있다.
이후, 서버 제어부(1030)는 현재 영상 정보(pms)를 수신하면, 상기 특정 탑승 대상자의 재확인 위치에 매칭되는 다른 특정 공항 로봇으로 이동 정보(ns) 및 운한 변경 정보(vs)를 송신하여, 상기 특정 탑승 대상자가 인식할 수 있도록 제어할 수 있다.
공항 로봇들(810 내지 820)은 서로 동일한 구성으로 이루어져 있으며, 실시 에에서는 특정 공항 로봇(812)에 대한 제어 구성을 설명하기로 한다.
특정 공항 로봇(812)은 통신부(831), 영상 촬영부(832), 영상 인식부(833), 주행 구동부(834), 출력부(835) 및 제어부(836)를 포함할 수 있다.
실시 예에서, 공항 로봇들(810 내지 820)은 현재 시점에서 운항 예정 비행기의 탑승 게이트 영역과 다른 게이트 영역에 위치한 것으로써, 상기 운항 예정 비행기의 탑승 대상자가 다른 게이트 영역에 위치할때 상기 탑승 대상자에게 상기 운항 예정 비행기의 탑승 게이트 영역으로 이동할 수 있도록 하는 서비스를 제공하는 것으로 설명한다.
여기서, 통신부(831)는 서버(1000)로 영상 정보(ms) 및 제어부(836)의 제어에 따라 서버(1000)로 위치 이탈 정보(ps)를 송신할 수 있으며, 서버(1000)로부터 이동 정보(ns) 및 운항 변경 정보(vs)를 수신할 수 있다.
실시 예에서, 통신부(831)는 도 2에 기재된 유저 인터페이스부(160)에 포함된 LET 라우터(162)일 수 있으며, 이에 한정을 두지 않는다.
영상 촬영부(832)는 상기 탑승 게이트 영역과 다른 현재 게이트 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보(ms)를 촬영할 수 있다.
실시 예에서, 영상 촬영부(832)는 도 2에 기재된 2D 카메라(171) 및 RGBD 카메라(172)일 수 있으며, 이에 한정을 두지 않는다.
영상 촬영부(832)는 상기 현재 게이트 영역 내에 위치한 상기 예정 탑승 대상자들을 설정된 섹터(sector)별로 구분 또는 연속적으로 촬영하여, 통신부(831) 및 제어부(836)로 전달할 수 있다.
영상 인식부(833)는 서버(1000)로부터 이동 정보(ns)를 수신하면, 영상 정보(ms)에서 이동 정보(ns)에 포함된 설정 위치(ls)에 매칭되는 상기 특정 탑승 대상자를 인식할 수 있다.
실시 예에서, 영상 인식부(833)는 도 2에 기재된 인식 데이터 처리모듈(173)일 수 있으며, 이에 한정을 두지 않는다.
영상 인식부(833)는 내부적으로 영상 정보(ms)에 포함된 상기 예정 탑승 대상자들의 위치(lo)와 설정 위치(ls)를 매칭시켜 동일한 상기 예정 탑승 대상자를 상기 특정 탑승 대상자로 인식할 수 있다.
주행 구동부(834)는 제어부(836)의 제어에 따라 영상 인식부(833)에서 인식한 상기 특정 탑승 대상자에 대응하는 설정 위치(ls)로 모터를 구동시켜 이동할 수 있다.
실시 예에서, 주행 구동부(834)는 도 2에 기재된 주행 구동부(140)와 동일할 수 있으며, 이에 한정을 두지 않는다.
출력부(835)는 제어부(836)의 제어에 따라 상기 특정 탑승 대상자에게 운항 변경 정보(vs)를 출력할 수 있다.
실시 예에서, 출력부(835)는 도 2에 기재된 유저 인터페이스부(160)에 포함되며, 운항 변경 정보(vs)를 디스플레이하는 터치 모니터(166) 및 운항 변경 정보(vs)를 음성 안내하는 스피커(167)일 수 있으며, 이에 한정을 두지 않는다.
제어부(836)는 도 2에 기재된 마이컴(110) 및 AP(150) 중 적어도 하나일 수 있으며, 이에 한정을 두지 않는다.
제어부(836)는 상기 특정 탑승 대상자의 설정 위치(ls)까지 이동 정보(ns)에 따라 이동되게 주행 구동부(834)를 제어할 수 있다.
이후, 제어부(836)는 주행 구동부(834)를 제어하여 설정 위치(ls)까지 이동하면, 상기 특정 탑승 대상자에게 운항 변경 정보(vs)가 출력되게 출력부(835)를 제어할 수 있다.
또한, 제어부(836)는 상기 특정 탑승 대상자 미 인식 시, 서버(1000)로 상기 특정 탑승 대상자에 대한 위치 이탈 정보(los)가 송신되게 통신부(831)를 제어할 수 있다.
실시 예에 따른 공항 로봇 시스템은 서버에서 특정 탑승 대상자를 선정하여 공항 로봇들 중 특정 공항 로봇으로 특정 탑승 대상자에게 운항 예정 비행기의 운항 변경 정보를 인식시킴으로써, 특정 탑승 대상자가 원할하게 탑승할 수 있도록 하는 서비스를 제공할 수 있는 이점이 있다.
실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 기재된 실시 예들은 설명된 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 실시 예에 대하여 도시하고 설명하였지만, 실시 예는 상술한 특정에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (21)

  1. 설정된 운항 예정 비행기의 탑승 게이트 영역과 다른 게이트 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보를 촬영하는 영상 촬영부;
    상기 영상 정보를 영상처리하여, 상기 예정 탑승 대상자들 중 상기 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 영상과 매칭되는 탑승 대상자를 인식하는 영상 인식부; 및
    상기 탑승 대상자 인식 시, 상기 탑승 대상자가 상기 탑승 게이트 영역으로 이동하도록 이동 경로 정보를 출력하는 제어부를 포함하는 공항 로봇.
  2. 제 1 항에 있어서,
    상기 발권 대상자의 안면 영상을 서버로부터 수신하는 통신부를 더 포함하는 공항 로봇.
  3. 제 1 항에 있어서,
    모터를 구동시켜 이동하는 주행 구동부; 및
    상기 이동 경로 정보를 출력하는 출력부를 더 포함하는 공항 로봇.
  4. 제 3 항에 있어서,
    상기 제어부는,
    상기 탑승 대상자 인식 시, 상기 영상 정보에서 상기 탑승 대상자의 위치를 산출하는 위치 산출부; 및
    상기 탑승 대상자의 위치에 대응하는 설정 위치까지 상기 주행 구동부를 제어하여 이동한 후, 상기 출력부에 상기 이동 경로 정보가 출력되게 제어하는 구동 제어부를 포함하는 공항 로봇.
  5. 제 3 항에 있어서,
    상기 출력부는,
    상기 이동 경로 정보를 디스플레이하는 터치 모니터 및 상기 이동 경로 정보를 음성 안내하는 스피커 중 적어도 하나를 포함하는 공항 로봇.
  6. 제 1 항에 있어서,
    상기 이동 경로 정보는,
    상기 탑승 대상자의 위치에서 상기 탑승 게이트 영역까지의 이동 경로, 이동 시간 및 탑승 시작 시간 중 적어도 하나를 포함하는 공항 로봇.
  7. 서버로부터 운항 예정 비행기의 티켓을 발권한 발권 대상자의 안면 정보와 이동 단말기 정보 및 상기 운항 예정 비행기의 운항 변경 정보를 수신하는 통신부;
    상기 운항 예정 비행기의 탑승 게이트 영역과 다른 게이트 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보를 촬영하는 영상 촬영부;
    상기 영상 정보를 영상처리하여, 상기 예정 탑승 대상자들 중 상기 안면 정보와 매칭되는 탑승 대상자를 인식하는 영상 인식부; 및
    상기 탑승 대상자 인식 시, 상기 탑승 대상자가 상기 운항 변경 정보를 인식하도록, 상기 이동 단말기 정보를 기반으로 상기 탑승 대상자의 이동 단말기로 상기 운항 변경 정보가 송신되게 상기 통신부를 제어하는 제어부를 포함하는 공항 로봇.
  8. 제 7 항에 있어서,
    상기 제어부는,
    상기 탑승 대상자 인식 시, 상기 이동 단말기 정보에 포함된 이동 단말기 번호에 대한 존재 여부를 확인하는 단말기 확인부; 및
    상기 이동 단말기 번호 존재 시, 상기 이동 단말기로 상기 운항 변경 정보가 송신되게 상기 통신부를 제어하는 구동 제어부를 포함하는 공항 로봇.
  9. 제 8 항에 있어서,
    상기 제어부는,
    상기 이동 단말기 번호 미 존재 시, 상기 영상 정보에서 상기 탑승 대상자의 위치를 산출하여, 상기 구동 제어부로 출력하는 위치 산출부를 더 포함하는 공항 로봇.
  10. 제 9 항에 있어서,
    출력부; 및
    모터를 구동시켜 이동하는 주행 구동부를 더 포함하고,
    상기 구동 제어부는,
    상기 위치 산출부로부터 상기 탑승 대상자의 위치가 입력되면, 상기 탑승 대상자의 위치에 대응하는 설정 위치까지 상기 주행 구동부를 제어하여 이동한 후, 상기 운항 변경 정보 및 상기 탑승 게이트 영역으로 이동하도록 이동 경로 정보가 출력되게 상기 출력부를 제어하는 공항 로봇.
  11. 제 10 항에 있어서,
    상기 출력부는,
    상기 운항 변경 정보 및 상기 이동 경로 정보를 디스플레이하는 터치 모니터 및 상기 운항 변경 정보 및 상기 이동 경로 정보를 음성 안내하는 스피커 중 적어도 하나를 포함하는 공항 로봇.
  12. 제 7 항에 있어서,
    상기 운항 변경 정보는,
    상기 운항 예정 비행기에 대해 변경 출발 시간, 변경 탑승 시간 및 변경 탑승 게이트 중 적어도 하나를 포함하는 공항 로봇.
  13. 제 12 항에 있어서,
    상기 운항 변경 정보는,
    상기 변경 탑승 게이트를 포함하는 경우, 상기 탑승 대상자의 위치에서 상기 변경 탑승 게이트까지의 이동 경로를 더 포함하는 공항 로봇.
  14. 운항 예정 비행기의 티켓을 발권한 발권 대상자들의 안면 영상을 촬영하는 공항 카메라;
    상기 발권 대상자들 각각의 이동 단말기 정보 및 상기 이동 단말기 정보와 매칭되게 상기 안면 영상을 저장하며, 입력 장치로부터 상기 운항 예정 비행기의 운항 변경 정보가 입력 시, 상기 발권 대상자들 중 설정 기준을 만족하는 특정 탑승 대상자를 선정하는 서버; 및
    상기 서버로부터 영상 정보 요청 시, 설정 영역에 위치한 예정 탑승 대상자들에 대한 영상 정보를 촬영하여 상기 서버로 송신하는 공항 로봇들을 포함하고,
    상기 서버는,
    상기 운항 변경 정보 입력 시, 상기 공항 로봇으로부터 수신한 상기 영상 정보 및 상기 안면 영상을 기반으로 상기 예정 탑승 대상자들 중 상기 발권 대상자들의 상기 안면 영상과 매칭되는 탑승 대상자들을 인식하는 대상 인식부;
    상기 탑승 대상자들 중 상기 설정 기준을 만족하는 상기 특정 탑승 대상자를 선정하는 대상 선정부; 및
    상기 특정 탑승 대상자 선정 시, 상기 공항 로봇들 중 특정 공항 로봇이 상기 특정 탑승 대상자에게 상기 운항 변경 정보를 전달하도록 제어하는 서버 제어부를 포함하는 공항 로봇 시스템.
  15. 제 14 항에 있어서,
    상기 운항 변경 정보는,
    상기 운항 예정 비행기에 대해 변경 출발 시간, 변경 탑승 시간 및 변경 탑승 게이트 중 적어도 하나를 포함하고,
    상기 설정 기준은,
    상기 탑승 대상자들 각각의 위치에서, 상기 변경 출발 시간에 탑승하지 못하는 대상자, 상기 변경 탑승 시간에 탑승 게이트에 도달하지 못하는 대상자 및 상기 변경 탑승 게이트에 도달하지 못하는 대상자 중 적어도 하나인 공항 로봇 시스템.
  16. 제 15 항에 있어서,
    상기 대상 선정부는,
    상기 공항 로봇들의 위치 및 설정된 공항 부대시설의 위치를 기반으로 상기 탑승 대상자들 각각의 위치를 산출하는 공항 로봇 시스템.
  17. 제 14 항에 있어서,
    상기 서버 제어부는,
    상기 특정 탑승 대상자 선정 시, 상기 공항 로봇들 중 상기 특정 탑승 대상자에 인접한 상기 특정 공항 로봇으로 상기 특정 탑승 대상자의 위치에 대응하는 설정 위치로 이동하는 이동 정보 및 상기 운항 변경 정보를 송신하는 공항 로봇 시스템.
  18. 제 17 항에 있어서,
    상기 특정 공항 로봇은,
    상기 서버로 상기 예정 탑승 대상자들에 대한 상기 영상 정보를 촬영하는 영상 촬영부;
    상기 서버로 상기 영상 정보를 송신하고, 상기 서버로부터 상기 이동 정보 및 상기 운항 변경 정보를 수신하는 통신부;
    상기 서버로부터 상기 이동 정보 수신 시, 상기 영상 정보에서 상기 설정 위치에 매칭되는 상기 특정 탑승 대상자를 인식하는 영상 인식부; 및
    상기 특정 탑승 대상자 인식 시, 상기 특정 탑승 대상자가 상기 운항 변경 정보를 인식하도록, 상기 설정 위치로 이동하여 상기 운항 변경 정보가 출력되게 제어하는 제어부를 포함하는 공항 로봇 시스템.
  19. 제 18 항에 있어서,
    상기 특정 공항 로봇은,
    상기 설정 위치까지 모터를 구동시켜 이동하는 주행 구동부; 및
    상기 운항 변경 정보를 출력하는 출력부를 더 포함하는 공항 로봇 시스템.
  20. 제 19 항에 있어서,
    상기 제어부는,
    상기 특정 탑승 대상자 미 인식 시, 상기 서버로 상기 특정 탑승 대상자에 대한 위치 이탈 정보가 송신되게 상기 통신부를 제어하는 공항 로봇 시스템.
  21. 제 20 항에 있어서,
    상기 서버는,
    상기 특정 공항 로봇으로부터 송신된 상기 위치 이탈 정보를 수신하면, 상기 공항 로봇들 중 상기 특정 공항 로봇을 제외한 다른 공항 로봇들로 현재 영상 정보를 수신하여, 상기 특정 탑승 대상자의 재확인 위치에 매칭되는 다른 특정 공항 로봇으로 상기 이동 정보 및 상기 운항 변경 정보를 송신하는 공항 로봇 시스템.
PCT/KR2017/010445 2016-10-13 2017-09-22 공항 로봇 및 그를 포함하는 공항 로봇 시스템 WO2018070687A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17859629.2A EP3527336B1 (en) 2016-10-13 2017-09-22 Airport robot and airport robot system comprising same
US16/340,546 US11260533B2 (en) 2016-10-13 2017-09-22 Robot and robot system comprising same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160132631A KR102559745B1 (ko) 2016-10-13 2016-10-13 공항 로봇 및 그를 포함하는 공항 로봇 시스템
KR10-2016-0132631 2016-10-13

Publications (1)

Publication Number Publication Date
WO2018070687A1 true WO2018070687A1 (ko) 2018-04-19

Family

ID=61906168

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/010445 WO2018070687A1 (ko) 2016-10-13 2017-09-22 공항 로봇 및 그를 포함하는 공항 로봇 시스템

Country Status (4)

Country Link
US (1) US11260533B2 (ko)
EP (1) EP3527336B1 (ko)
KR (1) KR102559745B1 (ko)
WO (1) WO2018070687A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727345A (zh) * 2018-11-29 2019-05-07 国政通科技有限公司 一种基于景区实名的游客圈定系统及方法
US20200033135A1 (en) * 2019-08-22 2020-01-30 Lg Electronics Inc. Guidance robot and method for navigation service using the same

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2562560B (en) * 2017-05-19 2021-03-24 Sita Inf Networking Computing Usa Inc System and apparatus for resource management
CN108012326B (zh) * 2017-12-07 2019-06-11 珠海市一微半导体有限公司 基于栅格地图的机器人监视宠物的方法及芯片
JP2019161606A (ja) * 2018-03-16 2019-09-19 オリンパス株式会社 移動撮像システム、学習方法、移動撮像装置、情報取得制御装置、情報取得制御方法及び情報取得制御プログラム
CN109492538A (zh) * 2018-10-17 2019-03-19 广州云从信息科技有限公司 基于人脸识别技术的智能登机系统、方法及可读存储介质
US20210342750A1 (en) * 2019-08-14 2021-11-04 Nec Corporation Information processing apparatus, information processing method, and storage medium
CN110943991B (zh) * 2019-11-29 2022-06-24 国网智能科技股份有限公司 变电站巡检与生产管理业务联动系统及方法
CN111179490B (zh) * 2019-12-13 2022-01-11 新石器慧通（北京）科技有限公司 一种用于用户核验的可移动载体、控制系统及无人车辆
CN115569224B (zh) * 2022-10-14 2023-09-19 国网山东省电力公司 用于配电物资仓库的清洁消毒机器人、系统及方法
WO2024084596A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 情報処理装置、情報処理制御方法及び記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092103A (ja) * 2000-09-13 2002-03-29 Hitachi Information Technology Co Ltd 搭乗情報管理装置
KR100904191B1 (ko) * 2008-05-29 2009-06-22 (주)다사로봇 안내용 로봇
KR20110060039A (ko) * 2009-11-30 2011-06-08 동국대학교 산학협력단 대화형 로봇 장치 및 그 제어방법
KR101170686B1 (ko) * 2010-03-15 2012-08-07 모빌토크(주) 이동로봇의 안내 서비스방법
US8700250B1 (en) * 2012-03-15 2014-04-15 The Boeing Company Airport transportation system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2359269A1 (en) 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
JP3938303B2 (ja) * 2001-12-07 2007-06-27 株式会社日立製作所 出国審査系システム、出国審査方法、入国審査系システム、及び入国審査方法
JP4206903B2 (ja) * 2003-10-31 2009-01-14 沖電気工業株式会社 チェックインシステム
FR3012425B1 (fr) * 2013-10-24 2017-03-24 European Aeronautic Defence & Space Co Eads France Robot collaboratif d'inspection visuelle d'un aeronef

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092103A (ja) * 2000-09-13 2002-03-29 Hitachi Information Technology Co Ltd 搭乗情報管理装置
KR100904191B1 (ko) * 2008-05-29 2009-06-22 (주)다사로봇 안내용 로봇
KR20110060039A (ko) * 2009-11-30 2011-06-08 동국대학교 산학협력단 대화형 로봇 장치 및 그 제어방법
KR101170686B1 (ko) * 2010-03-15 2012-08-07 모빌토크(주) 이동로봇의 안내 서비스방법
US8700250B1 (en) * 2012-03-15 2014-04-15 The Boeing Company Airport transportation system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727345A (zh) * 2018-11-29 2019-05-07 国政通科技有限公司 一种基于景区实名的游客圈定系统及方法
US20200033135A1 (en) * 2019-08-22 2020-01-30 Lg Electronics Inc. Guidance robot and method for navigation service using the same
US11686583B2 (en) * 2019-08-22 2023-06-27 Lg Electronics Inc. Guidance robot and method for navigation service using the same

Also Published As

Publication number Publication date
US11260533B2 (en) 2022-03-01
EP3527336A1 (en) 2019-08-21
EP3527336B1 (en) 2024-08-21
KR20180040839A (ko) 2018-04-23
EP3527336A4 (en) 2020-06-24
US20200047346A1 (en) 2020-02-13
KR102559745B1 (ko) 2023-07-26

Similar Documents

Publication Publication Date Title
WO2018070687A1 (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
WO2018066816A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2021002511A1 (ko) 마커, 마커 추종 모드로 이동하는 방법 및 이를 구현하는 카트로봇
WO2018160035A1 (ko) 이동 로봇 및 그 제어방법
WO2020032412A1 (en) Moving robot and following setting method thereof
WO2018070663A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2018124682A2 (ko) 이동 로봇 및 그 제어방법
WO2021010502A1 (ko) 로봇 및 그를 이용한 물품 관리 방법
WO2019135518A1 (ko) 청소용 이동장치, 협업청소 시스템 및 그 제어방법
WO2018139865A1 (ko) 이동 로봇
WO2018093055A1 (en) Mobile robot system and mobile robot
WO2020256195A1 (ko) 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법
WO2015183005A1 (en) Mobile device, robot cleaner, and method for controlling the same
WO2020032501A1 (en) Station apparatus and moving robot system
WO2020241930A1 (ko) 멀티 센서를 이용하여 위치를 추정하는 방법 및 이를 구현하는 로봇
WO2018066837A1 (ko) 공항 로봇 및 이를 포함하는 시스템
WO2021002499A1 (ko) 군집 로봇을 이용하여 사용자의 위치를 추적하는 방법, 태그장치 및 이를 구현하는 로봇
WO2020171317A1 (en) Moving robot system comprising moving robot and charging station
WO2019135437A1 (ko) 안내 로봇 및 그의 동작 방법
WO2018066836A1 (ko) 공항 로봇 및 공항 로봇 시스템
WO2020027515A1 (ko) 속성 블록을 설정하는 이동 로봇
WO2021040214A1 (ko) 이동 로봇 및 그 제어 방법
WO2020141900A1 (ko) 이동 로봇 및 그 구동 방법
WO2021215547A1 (ko) 스마트 홈 장치 및 방법
WO2015093823A1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17859629

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017859629

Country of ref document: EP

Effective date: 20190513