KR20180074404A - Robot for airport and method thereof - Google Patents

Robot for airport and method thereof Download PDF

Info

Publication number
KR20180074404A
KR20180074404A KR1020160178444A KR20160178444A KR20180074404A KR 20180074404 A KR20180074404 A KR 20180074404A KR 1020160178444 A KR1020160178444 A KR 1020160178444A KR 20160178444 A KR20160178444 A KR 20160178444A KR 20180074404 A KR20180074404 A KR 20180074404A
Authority
KR
South Korea
Prior art keywords
robot
user
airport
unit
display unit
Prior art date
Application number
KR1020160178444A
Other languages
Korean (ko)
Inventor
박정민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160178444A priority Critical patent/KR20180074404A/en
Publication of KR20180074404A publication Critical patent/KR20180074404A/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/005Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators using batteries, e.g. as a back-up power source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • B25J19/061Safety devices with audible signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

The present invention relates to an airport robot and an operation method thereof. The airport robot according to an embodiment of the present invention comprises: a display unit; a user interface unit for receiving an input from a user; a position recognition unit for sensing a position of a human body and an object; and a control unit for controlling an operation of the airport robot. The control unit senses an operation of the user through a motion sensor, interprets a sensed signal, and recognizes the sensed signal as an individual operation corresponding to a situation. In addition, the control unit controls the recognized individual operation to perform the operation corresponding to the situation and application.

Description

공항용 로봇 및 그의 동작 방법{ROBOT FOR AIRPORT AND METHOD THEREOF}[0001] ROBOT FOR AIRPORT AND METHOD THEREOF [0002]
본 발명은 공항에 배치되는 로봇 및 그의 동작 방법에 관한 것으로, 보다 상세하게는 공항에 배치되어 사용자들에게 길 안내를 제공하는 공항용 안내 로봇 및 그의 동작 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a robot disposed at an airport and a method of operating the same, and more particularly, to a guide robot for an airport and an operation method thereof, which are disposed at an airport and provide guidance to users.
로봇이 기존의 정보기기와 구별되는 것은 이동을 할 수 있는 구동장치, 물건을 들어올릴 수 있는 로봇 팔 그리고 내장된 카메라의 각도를 조절할 수 있는 기계장치 등과 같은 작동장치를 구비하고 있다는 것이다. 이러한 작동장치들은 산업, 군사용 로봇 기술로부터 발전하였다.What distinguishes a robot from an existing information device is that it has an operating device such as a moving device capable of moving, a robotic arm capable of lifting the object, and a mechanism capable of adjusting the angle of the built-in camera. These actuators evolved from industrial and military robotics.
일반적으로 산업용, 군사용 로봇은 미리 작성된 프로그램에 따라 동작을 하기 때문에 작동을 시작한 후에는 사용자와 상호작용을 하기 위해 동작을 제어하기가 힘들었다. 하지만, 사람의 편리를 위한 서비스 로봇은 사용자의 다양한 요구에 적합하게 대응할 수 있는 지능적인 작업수행과 사용자와의 상호작용이 필요하게 되었다. 또한, 최근의 서비스 로봇은 컴퓨터와 유사한 다양한 기능을 구비하고 있기 때문에 컴퓨터 소프트웨어가 제공하는 GUI와 유사한 상호작용방법이 필요하게 되었다. 그래서 이러한 필요성을 만족시켜 사용자와 서비스 로봇의 상호작용을 수행할 수 있는 다양한 사용자 인터페이스 장치가 고안되어 서비스 로봇에 장착되고 있다.Generally, industrial and military robots operate according to pre-written programs, so after the start of operation, it is difficult to control the operation to interact with the user. However, service robots for human convenience are required to perform intelligent tasks and to interact with users in order to adapt to various needs of users. In addition, since recent service robots have various functions similar to those of a computer, it is necessary to have an interactive method similar to GUI provided by computer software. Therefore, various user interface devices capable of performing the interaction between the user and the service robot are devised and installed in the service robot.
로봇과 사용자 사이의 인터페이스 장치는 크게 출력장치, 입력장치, 양방향장치로 나눌 수 있다. 출력장치는 주로 영상과 음성을 이용하여 정보를 출력하였다. 영상출력장치는 로봇에 장착을 하기 위해 로봇 내부에 많은 공간이 필요하고 또한 전력이 많이 소비되는 문제와 출력된 영상을 이용하기 위해서는 사용자와의 거리가 근접해야 하는 문제가 있었다.An interface device between a robot and a user can be largely divided into an output device, an input device, and a bidirectional device. The output device mainly output information by using video and audio. The video output device requires a lot of space inside the robot to be mounted on the robot, and there is a problem that the power consumption is large and the distance from the user is close to use the output image.
음성출력장치는 영상출력장치에 비해 공간과 소비전력 측면에서 이점이 있고 최근 음성합성기술을 활용하여 사용자에게 음성으로 정보를 전달하는 기능이 있어 많이 채택되고 있다. 최근에 카메라를 통한 영상을 입력하는 경우에 영상 인식 소프트웨어를 활용하여 사용자의 얼굴과 동작을 인식할 수 있다. 하지만 카메라의 특성상 입력범위에 있어서 공간적, 광학적 제약이 있어 사용자 등이 카메라의 범위에 위치해야 하는 불편함과 영상 인식 기술을 동적 환경에 응용하는 것에 기술적으로 한계가 있다는 문제가 있다.The voice output apparatus has advantages in terms of space and power consumption as compared with the video output apparatus, and has recently been adopted as a function of transmitting voice information to the user by utilizing voice synthesis technology. Recently, when a user inputs an image through a camera, the user can recognize the user's face and motion using the image recognition software. However, due to the nature of the camera, there are spatial and optical constraints in the input range, which makes it inconvenient for the user to be located within the range of the camera and there is a technical limitation in application of the image recognition technology to the dynamic environment.
마이크를 이용하여 음성을 입력하는 경우에는 음성 인식 소프트웨어와 음성합성기(TTS)를 활용할 수 있다. 다만 로봇과 사용자 사이에 명령을 전달하거나 대화를 하는 상호작용이 이루어질 수 있지만 오인식 문제로 자연스러운 대화를 기대하기 어렵다는 문제가 있다.Speech recognition software and a voice synthesizer (TTS) can be utilized when a voice is input using a microphone. However, there is a problem that it is difficult to expect a natural conversation due to the problem of misrecognition although the interaction between the robot and the user can be performed by communicating commands or communicating with the user.
로봇은 다양한 감정 표현에 해당하는 로봇의 행동을 데이터베이스화 시켜둔 뒤 화상 카메라로 입력되는 동영상을 움직임 검출방식으로 처리하여 사용자의 행동을 판단할 수 있다. 그리고, 로봇의 머리, 몸, 팔, 표정을 움직여 감정을 표현할 수 있다. 로봇은 다양한 행동 양식을 표현할 수 있으나, 사용자의 행동을 파악하여 이에 대응하는 행동 양식을 표현한 것은 아니라는 문제점이 있었다. 따라서, 사용자의 행동을 파악하기 위해서는 다양한 vision기술에 의해 사용자의 행동 양식을 파악하고 이에 해당하는 표준화 되고 일반적인 감정 표현 방식이 제공되어야만 한다.The robot can database the behaviors of the robot corresponding to various emotional expressions and then process the moving image input by the image camera in the motion detection method to determine the behavior of the user. Then, the emotion can be expressed by moving the head, body, arm, and expression of the robot. Although the robot can express various behavior patterns, there is a problem that the robot does not express the behavior pattern corresponding to the user's behavior. Therefore, in order to grasp the user's behavior, the user's behavior style should be grasped by various vision technologies and a corresponding standardized and general emotional expression method should be provided.
본 발명의 목적은 사용자의 동작을 분석하여 사용자의 요청에 부합하는 적절한 대응을 자동으로 수행하는 로봇을 제공하는 것이다.An object of the present invention is to provide a robot that analyzes a user's operation and automatically performs an appropriate response in accordance with a user's request.
본 발명의 다른 목적은 단순히 정보 전달이 아닌 공항 이용객과 공항용 로봇이 감정적인 인터랙션(interaction) 이 가능하도록 하는 것이다.Another object of the present invention is to enable emotional interaction between an airport user and an airport robot, not merely information transmission.
본 발명에 따른 공항용 로봇은 동작센서로 사용자의 동작을 감지하고, 감지된 사용자의 동작을 데이터베이스에 저장된 복수의 사용자 메시지와 매칭시킴으로써, 사용자의 의도를 정확하게 파악할 수 있다.The robot for an airport according to the present invention can detect an operation of a user with an operation sensor and match an operation of the detected user with a plurality of user messages stored in a database, thereby accurately grasping the intention of the user.
본 발명에 따른 공항용 로봇은 특정 상황에 출력되는 다양한 감정 이모티콘을 데이터베이스에 저장하여, 사용자와 상황에 부합하는 감정 이모티콘을 적절하게 디스플레이부에 출력할 수 있다.The airport robot according to the present invention can store various emotional emoticons outputted in a specific situation in a database and suitably output the emotional emoticon corresponding to the user and the situation to the display unit.
본 발명에 따른 공항용 로봇은 사용자의 동작 등을 분석하여 사용자의 요청에 부합하는 적절한 GUI(Graphic User Interface)를 제공함으로써, 사용자와 보다 효율적으로 인터페이스 할 수 있는 효과를 가져온다.The airborne robot according to the present invention analyzes an operation of a user and provides an appropriate GUI (Graphic User Interface) in accordance with a request of a user, thereby providing a more efficient interface with a user.
본 발명에 따른 공항용 로봇은 현재 상태 및 사용자에 적합한 다양한 감정 이모티콘을 표시함으로써, 사용자의 인터랙션(interaction) 만족도를 향상시키는 효과를 가져온다.The airport robot according to the present invention displays various emotion emotions suitable for the current state and the user, thereby improving the user's interaction satisfaction.
도 1은 본 발명의 일 실시예에 의한 공항 로봇의 하드웨어 구성을 도시한 블록도이다.
도 2는 본 발명의 다른 일 실시예에 의한 공항 로봇의 마이컴 및 AP의 구성을 자세하게 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 공항 로봇 시스템의 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 의한 공항 로봇이 기 정해진 거리마다 인체 또는 물체를 감지하는 일 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 의한 공항 로봇의 동작기반 인터페이스 시스템을 개략적으로 나타내는 블록도이다.
도 6은 본 발명의 일 실시예에 의한 동작신호입력부의 구성을 나타내는 블록도이다.
도 7은 본 발명의 일 실시예에 의한 동작인식부, 명령해석부와 상황관리부의 구성을 나타내는 블록도이다.
도 8은 본 발명의 일 실시예에 의한 공항 로봇 응용 소프트웨어의 구성을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 의한 동작기반 인터페이스 방법을 개략적으로 나타내는 흐름도이다.
도 10은 본 발명의 다른 일 실시예에 의한 공항 로봇의 하드웨어 블록도이다.
도 11은 본 발명의 다른 일 실시예에 의한 공항 로봇의 감정표현방법을 도시한 블록도이다.
도 12는 본 발명의 다른 일 실시예에 의한 공항 로봇간의 친밀도에 대응하는 행동의 예를 도시한 도표이다.
도 13은 본 발명에 따른 사용자의 행동을 판단하여 공항 로봇이 몸을 움직여 감정을 표현하는 방법에 관한 흐름도이다.
도 14는 사용자의 행동을 판단하여 몸으로 감정을 표현하는 공항 로봇에 관한 구성도이다.
도 15는 본 발명의 일 실시예에 의한 공항 로봇이 디스플레이부에 감정 이모티콘을 출력하는 일예를 설명하기 위한 도면이다.
1 is a block diagram showing a hardware configuration of an airport robot according to an embodiment of the present invention.
FIG. 2 is a detailed view showing the configuration of a micom and AP of an airport robot according to another embodiment of the present invention.
3 is a view for explaining the structure of an airport robot system according to an embodiment of the present invention.
4 is a view for explaining an example in which the airport robot detects a human body or an object at predetermined distances according to an embodiment of the present invention.
5 is a block diagram schematically showing an operation-based interface system of an airport robot according to an embodiment of the present invention.
6 is a block diagram showing the configuration of an operation signal input unit according to an embodiment of the present invention.
7 is a block diagram showing a configuration of an operation recognition unit, a command analysis unit, and a situation management unit according to an embodiment of the present invention.
8 is a diagram showing a configuration of an airport robot application software according to an embodiment of the present invention.
9 is a flowchart schematically illustrating an operation-based interface method according to an embodiment of the present invention.
10 is a hardware block diagram of an airport robot according to another embodiment of the present invention.
11 is a block diagram showing a method of expressing emotions of an airport robot according to another embodiment of the present invention.
FIG. 12 is a chart showing an example of behaviors corresponding to intimacy between airport robots according to another embodiment of the present invention.
FIG. 13 is a flowchart of a method in which an airport robot determines the behavior of a user according to the present invention and expresses emotions by moving the body.
14 is a configuration diagram of an airport robot for expressing emotions in the body by judging the behavior of the user.
15 is a view for explaining an example in which an airport robot according to an embodiment of the present invention outputs emotional emoticons to a display unit.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. Hereinafter, embodiments related to the present invention will be described in detail with reference to the drawings.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.
도 1은 본 발명의 일 실시예에 의한 공항 로봇의 하드웨어 구성을 도시한 블록도이다.1 is a block diagram showing a hardware configuration of an airport robot according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 의한 공항 로봇(100)의 하드웨어는 마이컴(Micom) 그룹과 및 AP 그룹으로 구성될 수 있다. 마이컴(110) 그룹은 마이컴(110), 전원부(120), 장애물 인식부(130) 및 주행구동부(140)을 포함할 수 있다. AP 그룹은 AP(150), 유저 인터페이스부(160), 사물 인식부(170), 위치 인식부(180) 및 LAN(190)을 포함할 수 있다. 상기 유저 인터페이스부(160)는 통신부로 명명될 수 있다.As shown in FIG. 1, the hardware of the airport robot 100 according to an embodiment of the present invention may be composed of a Micom group and an AP group. The microcomputer 110 may include a microcomputer 110, a power source 120, an obstacle recognition unit 130, and a driving unit 140. The AP group may include an AP 150, a user interface unit 160, an object recognition unit 170, a location recognition unit 180, and a LAN 190. The user interface unit 160 may be referred to as a communication unit.
마이컴(110)은 공항 로봇의 하드웨어 중 배터리 등을 포함하는 전원부(120), 각종 센서들을 포함하는 장애물 인식부(130) 및 복수 개의 모터 및 휠들을 포함하는 주행구동부(140)를 관리할 수 있다. The microcomputer 110 may manage a driving unit 120 including a battery or the like among the hardware of the airport robot, an obstacle recognizing unit 130 including various sensors, and a driving driving unit 140 including a plurality of motors and wheels .
전원부(120)는 배터리 드라이버(battery Driver, 121) 및 리튬-이온 배터리(Li-Ion Battery, 122)를 포함할 수 있다. 배터리 드라이버(121)는 리튬-이온 배터리(122)의 충전과 방전을 관리할 수 있다. 리튬-이온 배터리(122)는 공항 로봇의 구동을 위한 전원을 공급할 수 있다. 리튬-이온 배터리(122)는 24V/102A 리튬-이온 배터리 2개를 병렬로 연결하여 구성될 수 있다.The power supply unit 120 may include a battery driver 121 and a lithium-ion battery 122. The battery driver 121 can manage the charging and discharging of the lithium-ion battery 122. The lithium-ion battery 122 can supply power for driving the airport robot. The lithium-ion battery 122 can be constructed by connecting two 24V / 102A lithium-ion batteries in parallel.
장애물 인식부(130)는 IR 리모콘 수신부(131), USS(132), Cliff PSD(133), ARS(134), Bumper(135) 및 OFS(136)를 포함할 수 있다. IR 리모콘 수신부(131)는 공항 로봇을 원격 조정하기 위한 IR(Infrared) 리모콘의 신호를 수신하는 센서를 포함할 수 있다. USS(Ultrasonic sensor, 132)는 초음파 신호를 이용하여 장애물과 공항 로봇 사이의 거리를 판단하기 위한 센서를 포함할 수 있다. Cliff PSD(133)는 360도 전방향의 공항 로봇 주행 범위에서 낭떠러지 또는 절벽 등을 감지하기 위한 센서를 포함할 수 있다. ARS(Attitude Reference System, 134)는 공항 로봇의 자세를 검출할 수 있는 센서를 포함할 수 있다. ARS(134)는 공항 로봇의 회전량 검출을 위한 가속도 3축 및 자이로 3축으로 구성되는 센서를 포함할 수 있다. Bumper(135)는 공항 로봇과 장애물 사이의 충돌을 감지하는 센서를 포함할 수 있다. Bumper(135)에 포함되는 센서는 360도 범위에서 공항 로봇과 장애물 사이의 충돌을 감지할 수 있다. OFS(Optical Flow Sensor, 136)는 공항 로봇의 주행 시 헛바퀴가 도는 현상 및 다양한 바닥 면에서 공항 로봇의 주행거리를 측정할 수 있는 센서를 포함할 수 있다.The obstacle recognizing unit 130 may include an IR remote control receiver 131, a USS 132, a Cliff PSD 133, an ARS 134, a Bumper 135, and an OFS 136. The IR remote control receiving unit 131 may include a sensor for receiving a signal of an IR (infrared) remote control for remotely controlling the airport robot. USS (Ultrasonic sensor) 132 may include a sensor for determining the distance between the obstacle and the airport robot using ultrasonic signals. The Cliff PSD 133 may include sensors for detecting cliffs or cliffs in an airport robot traveling range 360 degrees in all directions. The ARS (Attitude Reference System) 134 may include a sensor capable of detecting the attitude of the airport robot. The ARS 134 may include a sensor consisting of three axes of acceleration and three axes of acceleration for detecting the amount of rotation of the airport robot. The bumper 135 may include a sensor that detects a collision between the airport robot and the obstacle. The sensor included in the bumper 135 can detect a collision between the airport robot and the obstacle in the range of 360 degrees. The OFS (Optical Flow Sensor) 136 may include a sensor for measuring the traveling state of an airport robot and a sensor for measuring the distance traveled by the airport robot on various floor surfaces.
주행구동부(140)는 모터 드라이버(Motor Drivers, 141), 휠 모터(142), 회전 모터(143), 메인 브러시 모터(144), 사이드 브러시 모터(145) 및 석션 모터 (Suction Motor, 146)를 포함할 수 있다. 모터 드라이버(141)는 공항 로봇의 주행 및 청소를 위한 휠 모터, 브러시 모터 및 석션 모터를 구동하는 역할을 수행할 수 있다. 휠 모터(142)는 공항 로봇의 주행을 위한 복수 개의 바퀴를 구동시킬 수 있다. 회전 모터(143)는 공항 로봇의 메인 바디 또는 공항 로봇의 헤드부의 좌우 회전, 상하 회전을 위해 구동되거나 공항 로봇의 바퀴의 방향 전환 또는 회전을 위하여 구동될 수 있다. 메인 브러시 모터(144)는 공항 바닥의 오물을 쓸어 올리는 브러시를 구동시킬 수 있다. 사이드 브러시 모터(145)는 공항 로봇의 바깥면 주변 영역의 오물을 쓸어 담는 브러시를 구동시킬 수 있다. 석션 모터(146)는 공항 바닥의 오물을 흡입하기 위해 구동될 수 있다.The travel driving unit 140 includes a motor driver 141, a wheel motor 142, a rotation motor 143, a main brush motor 144, a side brush motor 145 and a suction motor 146 . The motor driver 141 may serve to drive a wheel motor, a brush motor, and a suction motor for traveling and cleaning the airport robot. The wheel motor 142 may drive a plurality of wheels for driving the airport robot. The rotation motor 143 may be driven for left-right rotation, up-down rotation of the main body of the airport robot or the head portion of the airport robot, or for turning or rotating the wheels of the airport robot. The main brush motor 144 can drive a brush that scavenges dirt from the airport floor. The side brush motor 145 can drive a brush for sweeping dirt in the area around the outer surface of the airport robot. The suction motor 146 can be driven to suck the dirt on the airport floor.
AP(Application Processor, 150)는 공항 로봇의 하드웨어 모듈 전체 시스템을 관리하는 중앙 처리 장치로서 기능할 수 있다. AP(150)는 각종 센서들을 통해 들어온 위치 정보를 이용하여 주행을 위한 응용프로그램 구동과 사용자 입출력 정보를 마이컴(110) 측으로 전송하여 모터 등의 구동을 수행하게 할 수 있다.The AP (Application Processor) 150 can function as a central processing unit for managing the entire system of hardware modules of the airport robot. The AP 150 can drive an application program for traveling and user input / output information to the microcomputer 110 by using position information received through various sensors, thereby driving a motor or the like.
유저 인터페이스부(160)는 유저 인터페이스 프로세서(UI Processor, 161), LTE 라우터(LTE Router, 162), WIFI SSID(163), 마이크 보드(164), 바코드 리더기(165), 터치 모니터(166) 및 스피커(167)를 포함할 수 있다. 유저 인터페이스 프로세서(161)는 사용자의 입출력을 담당하는 유저 인터페이스부의 동작을 제어할 수 있다. LTE 라우터(162)는 외부로부터 필요한 정보를 수신하고 사용자에게 정보를 송신하기 위한 LTE 통신을 수행할 수 있다. WIFI SSID(163)는 WiFi의 신호 강도를 분석하여 특정 사물 또는 공항 로봇의 위치 인식을 수행할 수 있다. 마이크 보드(164)는 복수 개의 마이크 신호를 입력 받아 음성 신호를 디지털 신호인 음성 데이터로 처리하고, 음성 신호의 방향 및 해당 음성 신호를 분석할 수 있다. 바코드 리더기(165)는 공항에서 사용되는 복수 개의 티켓에 기재된 바코드 정보를 리드할 수 있다. 터치 모니터(166)는 사용자의 입력을 수신하기 위해 구성된 터치 패널 및 출력 정보를 표시하기 위한 모니터를 포함할 수 있다. 스피커(167)는 사용자에게 특정 정보를 음성으로 알려주는 역할을 수행할 수 있다.The user interface unit 160 includes a user interface processor 161, an LTE router 162, a WIFI SSID 163, a microphone board 164, a barcode reader 165, a touch monitor 166, And a speaker 167. The user interface processor 161 can control the operation of the user interface unit responsible for user input and output. The LTE router 162 can receive the necessary information from the outside and can perform LTE communication for transmitting information to the user. The WIFI SSID 163 can perform position recognition of a specific object or an airport robot by analyzing the signal strength of WiFi. The microphone board 164 receives a plurality of microphone signals, processes the voice signal into voice data, which is a digital signal, and analyzes the direction of the voice signal and the voice signal. The barcode reader 165 can read the barcode information written in the plurality of tickets used in the airport. The touch monitor 166 may include a touch panel configured to receive user input and a monitor for displaying output information. The speaker 167 can play a role of notifying the user of specific information by voice.
사물인식부(170)는 2D 카메라(171), RGBD 카메라(172) 및 인식 데이터 처리 모듈(173)를 포함할 수 있다. 2D 카메라(171)는 2차원 영상을 기반으로 사람 또는 사물을 인식하기 위한 센서일 수 있다. RGBD 카메라(Red, Green, Blue, Distance, 172)로서, RGBD 센서들을 갖는 카메라 또는 다른 유사한 3D 이미징 디바이스들로부터 획득되는 깊이(Depth) 데이터를 갖는 캡처된 이미지들을 이용하여 사람 또는 사물을 검출하기 위한 센서일 수 있다. 인식 데이터 처리 모듈(173)은 2D 카메라(171) 및 RGBD 카메라(172)로부터 획득된 2D 이미지/영상 또는 3D 이미지/영상 등의 신호를 처리하여 사람 또는 사물을 인식할 수 있다.The object recognition unit 170 may include a 2D camera 171, an RGBD camera 172, and a recognition data processing module 173. The 2D camera 171 may be a sensor for recognizing a person or an object based on a two-dimensional image. For detecting a person or object using captured images having depth data obtained from a camera having RGBD sensors or other similar 3D imaging devices as RGBD cameras (Red, Green, Blue, Distance, 172) Sensor. The recognition data processing module 173 can process a signal such as a 2D image / image or 3D image / image obtained from the 2D camera 171 and the RGBD camera 172 to recognize a person or an object.
위치인식부(180)는 스테레오 보드(Stereo B/D, 181), 라이더(Lidar, 182) 및 SLAM 카메라(183)를 포함할 수 있다. SLAM 카메라(Simultaneous Localization And Mapping 카메라, 183)는 동시간 위치 추적 및 지도 작성 기술을 구현할 수 있다. 공항 로봇은 SLAM 카메라(183)를 이용하여 주변 환경 정보를 검출하고 얻어진 정보를 가공하여 임무 수행 공간에 대응되는 지도를 작성함과 동시에 자신의 절대 위치를 추정할 수 있다. 라이더(Light Detection and Ranging : Lidar, 182)는 레이저 레이더로서, 레이저 빔을 조사하고 에어로졸에 의해 흡수 혹은 산란된 빛 중 후방산란된 빛을 수집, 분석하여 위치 인식을 수행하는 센서일 수 있다. 스테레오 보드(181)는 라이더(182) 및 SLAM 카메라(183) 등으로부터 수집되는 센싱 데이터를 처리 및 가공하여 공항 로봇의 위치 인식과 장애물 인식을 위한 데이터 관리를 담당할 수 있다.The position recognition unit 180 may include a stereo board 181, a lidar 182, and a SLAM camera 183. A SLAM camera (Simultaneous Localization And Mapping camera, 183) can implement simultaneous location tracking and mapping techniques. The airport robot can detect the surrounding information by using the SLAM camera 183 and process the obtained information to create a map corresponding to the task execution space and estimate its own absolute position. Light Detection and Ranging (Lidar) 182 is a laser radar, which can be a sensor that irradiates a laser beam and collects and analyzes backscattered light among light absorbed or scattered by an aerosol to perform position recognition. The stereo board 181 processes and processes sensing data collected from the rider 182 and the SLAM camera 183 to manage the data for recognition of the position of an airport robot and recognition of obstacles.
랜(LAN, 190)은 사용자 입출력 관련 유저 인터페이스 프로세서(161), 인식 데이터 처리 모듈(173), 스테레오 보드(181) 및 AP(150)와 통신을 수행할 수 있다. The LAN 190 may communicate with the user input / output related user interface processor 161, the recognition data processing module 173, the stereo board 181 and the AP 150.
도 2는 본 발명의 다른 일 실시예에 의한 공항 로봇의 마이컴 및 AP의 구성을 자세하게 도시한 도면이다.FIG. 2 is a detailed view showing the configuration of a micom and AP of an airport robot according to another embodiment of the present invention.
도 2에 도시된 바와 같이, 공항 로봇의 인식 및 행동을 제어하기 위해서 마이컴(210)과 AP(220)는 다양한 실시예로 구현될 수 있다. As shown in FIG. 2, the microcomputer 210 and the AP 220 may be implemented in various embodiments to control the recognition and behavior of the airport robot.
일 예로서, 마이컴(210)은 데이터 액세스 서비스 모듈(Data Access Service Module, 215)를 포함할 수 있다. 데이터 액세스 서비스 모듈(215)은 데이터 획득 모듈(Data acquisition module, 211), 이머전시 모듈(Emergency module, 212), 모터 드라이버 모듈(Motor driver module, 213) 및 배터리 매니저 모듈(Battery manager module, 214)을 포함할 수 있다. 데이터 획득 모듈(211)은 공항 로봇에 포함된 복수 개의 센서로부터 센싱된 데이터를 취득하여 데이터 액세스 서비스 모듈(215)로 전달할 수 있다. 이머전시 모듈(212)은 공항 로봇의 이상 상태를 감지할 수 있는 모듈로서, 공항 로봇이 기 정해진 타입의 행동을 수행하는 경우에 이머전시 모듈(212)은 공항 로봇이 이상 상태에 진입했음을 감지할 수 있다. 모터 드라이버 모듈(213)은 공항 로봇의 주행 및 청소를 위한 휠, 브러시, 석션 모터의 구동 제어를 관리할 수 있다. 배터리 매니저 모듈(214)은 도 1의 리튬-이온 배터리(122)의 충전과 방전을 담당하고, 공항 로봇의 배터리 상태를 데이터 액세스 서비스 모듈(215)에 전달할 수 있다.As one example, the microcomputer 210 may include a data access service module 215. The data access service module 215 includes a data acquisition module 211, an emergency module 212, a motor driver module 213 and a battery manager module 214, . ≪ / RTI > The data acquisition module 211 can acquire sensed data from a plurality of sensors included in the airport robot and transmit the sensed data to the data access service module 215. The emergency module 212 is a module capable of detecting an abnormal state of the airport robot. When the airport robot performs a predetermined type of action, the emergency module 212 detects that the airport robot has entered an abnormal state . The motor driver module 213 can manage driving control of a wheel, a brush, and a suction motor for driving and cleaning the airport robot. The battery manager module 214 may charge and discharge the lithium-ion battery 122 of FIG. 1 and may transmit the battery state of the airport robot to the data access service module 215.
AP(220)는 각종 카메라 및 센서들과 사용자 입력 등을 수신하고, 인식 가공하여 공항 로봇의 동작을 제어하는 역할을 수행할 수 있다. 인터랙션 모듈(221)은 인식 데이터 처리 모듈(173)로부터 수신하는 인식 데이터와 유저 인터페이스 모듈(222)로부터 수신하는 사용자 입력을 종합하여, 사용자와 공항 로봇이 상호 교류할 수 있는 소프트웨어(Software)를 총괄하는 모듈일 수 있다. 유저 인터페이스 모듈(222)은 공항 로봇의 현재 상항 및 조작/정보 제공 등을 위한 모니터인 디스플레이부(223)와 키(key), 터치 스크린, 리더기 등과 같은 사용자의 근거리 명령을 수신하거나, 공항 로봇을 원격 조정을 위한 IR 리모콘의 신호와 같은 원거리 신호를 수신하거나, 마이크 또는 바코드 리더기 등으로부터 사용자의 입력 신호를 수신하는 사용자 입력부(224)로부터 수신되는 사용자 입력을 관리할 수 있다. 적어도 하나 이상의 사용자 입력이 수신되면, 유저 인터페이스 모듈(222)은 상태 관리 모듈(State Machine module, 225)로 사용자 입력 정보를 전달할 수 있다. 사용자 입력 정보를 수신한 상태 관리 모듈(225)은 공항 로봇의 전체 상태를 관리하고, 사용자 입력 대응하는 적절한 명령을 내릴 수 있다. 플래닝 모듈(226)은 상태 관리 모듈(225)로부터 전달받은 명령에 따라서 공항 로봇의 특정 동작을 위한 시작과 종료 시점/행동을 판단하고, 공항 로봇이 어느 경로로 이동해야 하는지를 계산할 수 있다. 네비게이션 모듈(227)은 공항 로봇의 주행 전반을 담당하는 것으로서, 플래닝 모듈(226)에서 계산된 주행 루트에 따라서 공항 로봇이 주행하게 할 수 있다. 모션 모듈(228)은 주행 이외에 기본적인 공항 로봇의 동작을 수행하도록 할 수 있다.The AP 220 receives various types of cameras and sensors, user input, etc., and performs recognition and processing to control the operation of the airport robot. The interaction module 221 synthesizes the recognition data received from the recognition data processing module 173 and the user input received from the user interface module 222 to collectively manage software that allows the user and the airport robot to interact with each other Lt; / RTI > The user interface module 222 receives a user's close command such as a display unit 223, a key, a touch screen, a reader, or the like, which is a monitor for present state of the airport robot and operation / Such as a remote control signal for remote control, or a user input received from a user input 224 that receives a user's input signal from a microphone or bar code reader. When at least one user input is received, the user interface module 222 may pass user input information to a state machine module 225. The state management module 225 receiving the user input information can manage the entire state of the airport robot and issue an appropriate command corresponding to the user input. The planning module 226 can determine the start and end points / actions for the specific operation of the airport robot in accordance with the command received from the state management module 225, and calculate the route to which the airport robot should move. The navigation module 227 is responsible for the overall running of the airport robot, and may cause the airport robot to travel according to the travel route calculated by the planning module 226. [ The motion module 228 can perform the operation of the basic airport robot in addition to the traveling.
또한, 본 발명의 다른 일 실시예에 의한 공항 로봇은 위치 인식부(230)를 포함할 수 있다. 위치 인식부(230)는 상대 위치 인식부(231)와 절대 위치 인식부(234)를 포함할 수 있다. 상대 위치 인식부(231)는 RGM mono(232) 센서를 통해 공항 로봇의 이동량을 보정하고, 일정한 시간 동안 공항 로봇의 이동량을 계산할 수 있고, LiDAR(233)를 통해 현재 공항 로봇의 주변 환경을 인식할 수 있다. 절대 위치 인식부(234)는 Wifi SSID(235) 및 UWB(236)을 포함할 수 있다. Wifi SSID(235)는 공항 로봇의 절대 위치 인식을 위한 UWB 센서 모듈로서, Wifi SSID 감지를 통해 현재 위치를 추정하기 위한 WIFI 모듈이다. Wifi SSID(235)는 Wifi의 신호 강도를 분석하여 공항 로봇의 위치를 인식할 수 있다. UWB(236)는 발신부와 수신부 사이의 거리를 계산하여 공항 로봇의 절대적 위치를 센싱할 수 있다.In addition, the airport robot according to another embodiment of the present invention may include a position recognition unit 230. [ The position recognition unit 230 may include a relative position recognition unit 231 and an absolute position recognition unit 234. [ The relative position recognition unit 231 can calculate the amount of movement of the airport robot for a predetermined period of time by correcting the amount of movement of the airport robot through the RGM mono sensor 232 and recognize the current environment of the airport robot through the LiDAR 233 can do. The absolute position recognition unit 234 may include a Wifi SSID 235 and a UWB 236. [ The Wifi SSID 235 is a UWB sensor module for recognizing the absolute position of the airport robot, and is a WIFI module for estimating the current position by detecting the Wifi SSID. The Wifi SSID 235 can recognize the position of the airport robot by analyzing the signal strength of the Wifi. The UWB 236 can calculate the distance between the transmitter and the receiver and sense the absolute position of the airport robot.
또한, 본 발명의 다른 일 실시예에 의한 공항 로봇은 맵 관리 모듈(240)을 포함할 수 있다. 맵 관리 모듈(240)은 그리드 모듈(Grid module, 241), 패스 플래닝 모듈(Path Planning module, 242) 및 맵 분할 모듈(243)을 포함할 수 있다. 그리드 모듈(241)은 공항 로봇이 SLAM 카메라를 통해 생성한 격자 형태의 지도 혹은 사전에 미리 공항 로봇에 입력된 위치 인식을 위한 주변환경의 지도 데이터를 관리할 수 있다. 패스 플래닝 모듈(242)은 복수 개의 공항 로봇들 사이의 협업을 위한 맵 구분에서, 공항 로봇들의 주행 경로 계산을 담당할 수 있다. 또한, 패스 플래닝 모듈(242)은 공항 로봇 한대가 동작하는 환경에서 공항 로봇이 이동해야 할 주행 경로도 계산할 수 있다. 맵 분할 모듈(243)은 복수 개의 공항 로봇들이 각자 담당해야할 구역을 실시간으로 계산할 수 있다. In addition, the airport robot according to another embodiment of the present invention may include a map management module 240. The map management module 240 may include a grid module 241, a path planning module 242, and a map partitioning module 243. The grid module 241 can manage a grid-shaped map generated by the airport robot through the SLAM camera, or map data of the surrounding environment for the position recognition input to the airport robot in advance. The path planning module 242 can take charge of the travel path calculation of the airport robots in the map division for cooperation among the plurality of airport robots. In addition, the path planning module 242 can calculate a traveling route through which the airport robot should move in an environment where one airport robot operates. The map division module 243 can calculate the area to be managed by the plurality of airport robots in real time.
위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들은 다시 상태 관리 모듈(225)로 전달될 수 있다. 상태 관리 모듈(225)은 위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들에 기초하여, 공항 로봇의 동작을 제어하도록 플래닝 모듈(226)에 명령을 내릴 수 있다.The data sensed and calculated from the position recognition unit 230 and the map management module 240 may be transmitted to the state management module 225 again. The state management module 225 can command the planning module 226 to control the operation of the airport robot based on the data sensed and calculated from the position recognition module 230 and the map management module 240. [
다음으로 도 3은 본 발명의 실시 예에 따른 공항 로봇 시스템의 구조를 설명하기 위한 도면이다.3 is a view for explaining a structure of an airport robot system according to an embodiment of the present invention.
본 발명의 일 실시 예에 따른 공항 로봇 시스템은 이동 단말기(310), 서버(320), 공항 로봇(300) 및 카메라(330)를 포함할 수 있다.The airport robot system according to an embodiment of the present invention may include a mobile terminal 310, a server 320, an airport robot 300, and a camera 330.
이동 단말기(310)는 공항 내 서버(320)와 데이터를 송수신할 수 있다. 예를 들어, 이동 단말기(310)는 서버(320)로부터 비행 시간 스케쥴, 공항 지도 등과 같은 공항 관련 데이터를 수신할 수 있다. 사용자는 이동 단말기(310)를 통해 공항에서 필요한 정보를 서버(320)로부터 수신하여 얻을 수 있다. 또한, 이동 단말기(310)는 서버(320)로 사진이나 동영상, 메시지 등과 같은 데이터를 전송할 수 있다. 예를 들어, 사용자는 미아 사진을 서버(320)로 전송하여 미아 접수를 하거나, 공항 내 청소가 필요한 구역의 사진을 카메라로 촬영하여 서버(320)로 전송함으로써 해당 구역의 청소를 요청할 수 있다.The mobile terminal 310 can transmit and receive data to and from the server 320 in the airport. For example, the mobile terminal 310 may receive airport-related data such as flight time schedules, airport maps, and the like from the server 320. The user can obtain the necessary information from the server 320 through the mobile terminal 310 and obtain it. In addition, the mobile terminal 310 can transmit data such as a photograph, a moving picture, a message, and the like to the server 320. For example, the user may request the cleaning of a corresponding area by sending a photograph of a missing person to the server 320, receiving a photograph of the missing person, photographing a photograph of the area requiring cleaning in the airport, and transmitting the photograph to the server 320.
또한, 이동 단말기(310)는 공항 로봇(300)과 데이터를 송수신할 수 있다. In addition, the mobile terminal 310 can exchange data with the airport robot 300.
예를 들어, 이동 단말기(310)는 공항 로봇(300)을 호출하는 신호나 특정 동작을 수행하도록 명령하는 신호 또는 정보 요청 신호 등을 공항 로봇(300)으로 전송할 수 있다. 공항 로봇(300)은 이동 단말기(310)로부터 수신된 호출 신호에 응답하여 이동 단말기(310)의 위치로 이동하거나 명령 신호에 대응하는 동작을 수행할 수 있다. 또는 공항 로봇(300)은 정보 요청 신호에 대응하는 데이터를 각 사용자의 이동 단말기(310)로 전송할 수 있다.For example, the mobile terminal 310 may transmit a signal for calling the airport robot 300, a signal for requesting to perform a specific operation or an information request signal to the airport robot 300. The airport robot 300 may move to the position of the mobile terminal 310 or perform an operation corresponding to the command signal in response to the paging signal received from the mobile terminal 310. [ Or the airport robot 300 may transmit the data corresponding to the information request signal to the mobile terminal 310 of each user.
다음으로, 공항 로봇(300)은 공항 내에서 순찰, 안내, 청소, 방역, 운반 등의 역할을 할 수 있다.Next, the airport robot 300 can perform patrol, guidance, cleaning, disinfection, and transportation within the airport.
공항 로봇(300)은 이동 단말기(310) 또는 서버(320)와 신호를 송수신할 수 있다. 예를 들어, 공항 로봇(300)은 서버(320)와 공항 내 상황 정보 등을 포함한 신호를 송수신할 수 있다. 또한, 공항 로봇(300)은 공항 내 카메라(330)로부터 공항의 각 구역들을 촬영한 영상 정보를 수신할 수 있다. 따라서 공항 로봇(300)은 공항 로봇(300)이 촬영한 영상 정보 및 카메라(330)로부터 수신한 영상 정보를 종합하여 공항의 상황을 모니터링할 수 있다.The airport robot 300 can transmit / receive signals to / from the mobile terminal 310 or the server 320. For example, the airport robot 300 can transmit and receive signals including the server 320 and the information on the situation in the airport. In addition, the airport robot 300 can receive image information of each area of the airport from the camera 330 in the airport. Therefore, the airport robot 300 can monitor the status of the airport by synthesizing the image information captured by the airport robot 300 and the image information received from the camera 330.
공항 로봇(300)은 사용자로부터 직접 명령을 수신할 수 있다. 예를 들어, 공항 로봇(300)에 구비된 디스플레이부를 터치하는 입력 또는 음성 입력 등을 통해 사용자로부터 명령을 직접 수신할 수 있다. 공항 로봇(300)은 사용자, 이동 단말기(310) 또는 서버(320) 등으로부터 수신된 명령에 따라 순찰, 안내, 청소 등의 동작을 수행할 수 있다.The airport robot 300 can receive commands directly from the user. For example, it is possible to directly receive a command from a user through an input or a voice input touching a display unit provided in the airport robot 300. The airport robot 300 may perform operations such as patrol, guidance, and cleaning according to a command received from the user, the mobile terminal 310, or the server 320 and the like.
다음으로 서버(320)는 이동 단말기(310), 공항 로봇(300), 카메라(330)로부터 정보를 수신할 수 있다. 서버(320)는 각 장치들로부터 수신된 정보들을 통합하여 저장 및 관리할 수 있다. 서버(320)는 저장된 정보들을 이동 단말기(310) 또는 공항 로봇(300)에 전송할 수 있다. 또한, 서버(320)는 공항에 배치된 복수의 공항 로봇(300)들 각각에 대한 명령 신호를 전송할 수 있다.Next, the server 320 can receive information from the mobile terminal 310, the airport robot 300, and the camera 330. The server 320 may collectively store and manage the information received from the respective devices. The server 320 may transmit the stored information to the mobile terminal 310 or the airport robot 300. In addition, the server 320 may transmit a command signal to each of a plurality of airport robots 300 disposed at an airport.
카메라(330)는 공항 내에 설치된 카메라를 포함할 수 있다. 예를 들어, 카메라(330)는 공항 내에 설치된 복수 개의 CCTV(closed circuit television) 카메라, 적외선 열감지 카메라 등을 모두 포함할 수 있다. 카메라(330)는 촬영된 영상을 서버(320) 또는 공항 로봇(300)에 전송할 수 있다.The camera 330 may include a camera installed in the airport. For example, the camera 330 may include a plurality of closed circuit television (CCTV) cameras installed in an airport, an infrared heat sensing camera, and the like. The camera 330 may transmit the photographed image to the server 320 or the airport robot 300.
도 4는 본 발명의 일 실시예에 의한 공항 로봇이 기 정해진 거리마다 인체 또는 물체를 감지하는 일 예를 설명하기 위한 도면이다.4 is a view for explaining an example in which the airport robot detects a human body or an object at predetermined distances according to an embodiment of the present invention.
도 4에 도시된 바와 같이 본 발명의 일 실시예에 의한 공항 로봇(400)은 거리 또는 일정한 범위(range) 마다 서로 다른 형태의 물체 인식 모드를 가동할 수 있다. 예를 들어, 인체 또는 물체가 제1 범위(410)에서 감지되는 경우, 공항 로봇(400)의 유저 인터페이스부(160)가 자동으로 웨이크업(wake-up)될 수 있다. 사용자는 공항 로봇(400)의 센싱 범위 중 제1 범위(410)에 도달할 때까지만 가까이 접근하면, 공항 로봇(400)을 수동으로 깨우지 않고도 공항 로봇과 인터페이스할 수 있다. 또한, 인티 또는 물체가 제2 범위(420)에서 감지되는 경우, 공항 로봇(400)은 사용자와 인터페이스하기 위한 모드를 실행할 수 있다. 사용자가 제2 범위(420)에 있는 경우에, 공항 로봇(400)은 사용자가 요청하기 전에 먼저 인터페이스 가능함을 알리는 메시지를 스피커 또는 텍스트로 전달할 수 있다. 또한, 공항 로봇(400)은 사용자가 제3 범위(430) 이내로 들어오는 것을 감지하는 경우, 위험 모드를 가동할 수 있다. 이 때, 공항 로봇(400)은 경고 음을 스피커로 출력하거나, 경고 메시지 등을 모니터에 출력하여 사용자에게 너무 가까이 있음을 알릴 수 있다. 그리고, 사용자가 다시 제3 범위(430)에서 제2 범위(420)이상으로 멀어지는 경우, 위험 모드를 중지하고, 안전한 거리가 되었음을 사용자에게 알릴 수 있다. 또는, 공항 로봇(400)은 사용자가 제3 범위(430) 이내로 들어오는 것을 감지하는 경우, 자체적으로 사용자와 일정 거리를 유지하거나 사용자가 제2 범위(420) 내에 들어오도록 공항 로봇(400) 스스로 멀리 떨어지는 방향으로 이동할 수 있다. As shown in FIG. 4, the airport robot 400 according to an embodiment of the present invention may operate different object recognition modes for different distances or ranges. For example, when a human body or an object is detected in the first range 410, the user interface unit 160 of the airport robot 400 may automatically wake up. The user can interface with the airport robot without manually waking up the airport robot 400 when the user approaches the vicinity of the first range 410 of the sensing range of the airport robot 400. Further, when an inte or an object is detected in the second range 420, the airport robot 400 may execute a mode for interfacing with the user. If the user is in the second range 420, the airport robot 400 may deliver a message to the speaker or text informing that the interface is available before the user makes a request. In addition, when the airport robot 400 detects that the user is within the third range 430, the airport robot 400 may activate the dangerous mode. At this time, the airport robot 400 outputs a warning sound to a speaker, or outputs a warning message to a monitor, thereby notifying the user that the warning sound is too close to the user. Then, when the user moves away from the third range 430 to the second range 420, the user can stop the dangerous mode and notify the user that the safe distance has been reached. Alternatively, when the user detects that the user is within the third range 430, the airport robot 400 maintains a certain distance from the user himself or the airport robot 400 itself moves away from the user in the second range 420, It can move in the falling direction.
나아가, 공항 로봇(400)은 사용자를 특정 목적지까지 동행하면서 길 안내 서비스를 제공할 수 있다. 이 경우, 공항 로봇(400)은 사용자가 적어도 제1 범위(410) 내에 위치하도록 계속해서 사용자와의 거리를 센싱하면서 이동할 수 있다. 따라서, 공항 로봇(400)은 사용자와의 거리가 항상 일정한 범위 내에 들어오도록 유지하면서 길 안내 서비스를 제공할 수 있다.Further, the airport robot 400 can provide the user with the guidance service while traveling to a specific destination. In this case, the airport robot 400 may move while continuing to sense the distance from the user so that the user is located at least within the first range 410. Therefore, the airport robot 400 can provide the guidance service while keeping the distance from the user always within a certain range.
도 5는 본 발명의 일 실시예에 의한 공항 로봇의 동작기반 인터페이스 시스템을 개략적으로 나타내는 블록도이다. 도 6은 본 발명의 일 실시예에 의한 동작신호입력부의 구성을 나타내는 블록도이다. 도 7은 본 발명의 일 실시예에 의한 동작인식부, 명령해석부와 상황관리부의 구성을 나타내는 블록도이다. 도 8은 본 발명의 일 실시예에 의한 공항 로봇 응용 소프트웨어의 구성을 나타내는 도면이다. 도 9는 본 발명의 일 실시예에 의한 동작기반 인터페이스 방법을 개략적으로 나타내는 흐름도이다.5 is a block diagram schematically showing an operation-based interface system of an airport robot according to an embodiment of the present invention. 6 is a block diagram showing the configuration of an operation signal input unit according to an embodiment of the present invention. 7 is a block diagram showing a configuration of an operation recognition unit, a command analysis unit, and a situation management unit according to an embodiment of the present invention. 8 is a diagram showing a configuration of an airport robot application software according to an embodiment of the present invention. 9 is a flowchart schematically illustrating an operation-based interface method according to an embodiment of the present invention.
본 발명의 공항 로봇과 사람 사이의 동작기반 인터페이스 시스템은 사용자의 동작을 감지하여 감지된 신호를 송신하는 동작신호입력부(5100), 감지된 신호를 해석하여 개별동작으로 인식하는 동작인식부(5200), 인식된 개별동작을 상황에 맞는 적당한 명령으로 해석하는 명령해석부(5300), 로봇의 응용에 따라 상황을 관리 및 전달하여 동작인식부(5200)와 명령해석부(5300)를 제어하는 상황(context)관리부(5400), 사용자의 동작으로부터 생성된 명령에 따라 로봇(5500), 영상출력장치(5600), 음성출력장치(5700)를 작동하는 로봇응용 소프트웨어(5800)를 구비하여 이루어져 있다.The operation-based interface system between an airport robot and a human being according to the present invention includes an operation signal input unit 5100 for sensing a user's operation and transmitting a sensed signal, an operation recognition unit 5200 for interpreting the sensed signal and recognizing the sensed signal as an individual operation, A command interpreting unit 5300 for interpreting the recognized individual operation as a proper command according to the situation, a situation in which the operation recognition unit 5200 and the command interpreting unit 5300 are controlled by managing and communicating a situation according to the application of the robot context management unit 5400 and a robot application software program 5800 for operating the robot 5500, the video output apparatus 5600 and the audio output apparatus 5700 according to a command generated from the user's operation.
동작신호입력부(5100)는 사용자의 동작을 감지하여 감지된 신호를 동작인식부(5200)로 송신한다. 동작신호입력부(5100)는 사용자의 동작을 감지하는 동작센서장치(5101), 감지된 신호를 임시저장하거나 장치 및 사용자의 식별자(ID)를 저장하는 메모리장치(5103), 감지된 신호를 적당히 가공하여 무선송수신부(5104)에 제공하는 제어장치(5102), 제공된 감지 신호를 동작인식부(5200)로 송신하는 무선송수신부(5104)를 구비하여 이루어진다.The operation signal input unit 5100 senses the operation of the user and transmits the sensed signal to the motion recognition unit 5200. The operation signal input unit 5100 includes an operation sensor device 5101 for detecting the operation of the user, a memory device 5103 for temporarily storing the sensed signal or storing the ID of the device and the user, And a wireless transmitting / receiving unit 5104 for transmitting the provided sensing signal to the operation recognition unit 5200. The wireless transmitting /
또한 동작신호입력부(5100)는 전원을 공급하는 전원부(5106)와 사용자가 착용할 수 있도록 형성된 패키지 및 착용부(5105)를 구비한다.The operation signal input unit 5100 includes a power source unit 5106 for supplying power and a package and a wearing unit 5105 formed to be worn by a user.
동작센서장치(5101)는 사용자의 동작을 감지하여 신호를 출력하는 부분이다. 동작센서장치(5101)는 사용자의 동작을 감지할 수 있는 다양한 센서를 다수 사용할 수 있고 바람직하게는 3축 관성 센서(가속도 센서)가 사용된다.The motion sensor device 5101 is a part for sensing the operation of the user and outputting a signal. The motion sensor device 5101 may use various sensors capable of sensing the motion of the user, and preferably a three-axis inertial sensor (acceleration sensor) is used.
제어장치(5102)는 동작센서장치(5101)로부터 출력된 신호를 수집하여 적당히 가공하여 무선송수신부(5104)를 통해 동작인식부(5200)로 전달한다.The control device 5102 collects the signals output from the motion sensor device 5101, appropriately processes the signals, and transmits the processed signals to the motion recognizer 5200 through the wireless transceiver 5104.
메모리장치(5103)는 제어장치(5102)에서 가공된 신호를 임시 저장하거나, 장치 및 사용자의 식별자(ID)를 저장하여 제어장치(5102)에 의해 필요한 정보를 이용할 수 있도록 내장된다.The memory device 5103 is embedded to temporarily store the processed signal in the control device 5102 or store the device and the user's ID so that the necessary information can be used by the control device 5102. [
메모리장치(5103)에 저장되어 있는 장치 및 사용자 식별자(ID)는 동작신호입력부(5100)를 착용하고 있는 사용자의 위치를 파악하거나 현재 장치나 사용자에 관한 기본적인 정보를 파악할 필요가 있는 경우에 제어장치(5102)를 통해 이용된다.The device and the user identifier (ID) stored in the memory device 5103 are used to determine the position of the user wearing the operation signal input unit 5100 or to grasp the basic information about the current device or the user, Gt; 5102 < / RTI >
무선송수신부(5104)는 제어장치(5102)에 의해 가공된 신호를 동작인식부(5200)에 송신한다. 또한 무선송수신부(5104)는 필요한 경우에 장치 및 사용자에 관한 정보 요청을 포함하는 신호를 수신하고 그에 관련된 정보를 송신하는 기능도 한다.The wireless transmission / reception unit 5104 transmits the signal processed by the control unit 5102 to the motion recognition unit 5200. [ The wireless transceiver 5104 also functions to receive a signal, including a request for information about the device and the user, if necessary, and to transmit information related thereto.
패키지 및 착용부(5105)는 사용자가 착용할 수 있는 형태로 이루어지고 착용부(5105)의 형태와 크기는 세부 부품의 선택에 의해 결정된다. 착용할 수 있는 형태로는 신체의 다양한 곳에 착용이 가능하고 대표적인 예로 반지와 같은 착용형태를 이용할 수 있다.The package and wearing portion 5105 is formed in a shape that can be worn by the user, and the shape and size of the wearing portion 5105 are determined by the selection of the detailed parts. The wearable form can be worn in various places of the body, and as a typical example, a wearing form such as a ring can be used.
동작인식부(5200)는 동작신호입력부(5100)로부터 송신된 신호를 수신하는 무선송수신부(5210), 수신된 신호의 동작 데이터를 해석하여 개별동작으로 인식하는 인식장치(5220), 인식장치(5220)가 신호를 개별동작으로 인식하는 과정에서 사용되고 사용자와 로봇응용에 따라 다양하게 존재하는 학습된 신경망(5330), 학습된 다양한 신경망(5330) 중에서 상황관리부(5400)의 제어명령에 따라 필요한 신경망(5230)을 선택하는 신경망선택기(5240)로 이루어진다.The operation recognition unit 5200 includes a wireless transceiver 5210 that receives a signal transmitted from the operation signal input unit 5100, a recognition unit 5220 that analyzes the operation data of the received signal and recognizes the operation data as an individual operation, The learned neural network 5330 which is used in the process of recognizing the signal as an individual operation and variously exist according to the user and the robot application and the neural network 5330 which is used according to the control command of the situation management section 5400 among the learned various neural networks 5330, And a neural network selector 5240 for selecting the neural network selector 5230.
신경망(5230)은 사용자 및 로봇 응용에 따라 다양하게 존재하고 각 신경망(5230)은 학습 알고리즘에 의해 구성될 수 있다.The neural network 5230 may exist in various ways depending on the user and the robot application, and each neural network 5230 may be configured by a learning algorithm.
예를 들어 위에서 아래로 내리는 동작이 있는 경우에 방향인식 신경망은 동작신호를 해당 방향으로 인식하지만, 숫자인식 신경망은 숫자 1로 인식하게 된다.For example, if there is an action from top to bottom, the direction recognition neural network recognizes the motion signal in the corresponding direction, but the numerical recognition neural network recognizes the number 1.
신경망선택기(5240)는 상황관리부(5400)의 제어명령에 따라 필요한 신경망(5230)을 선택한다. 신경망선택기(5240)는 상황관리부(5400)에 등록되어 있는 로봇 및 로봇응용 등의 다양한 상황에 따라서 미리 학습되어 준비된 신경망을 선택하여 로드시킨다.The neural network selector 5240 selects a required neural network 5230 according to a control command of the situation management unit 5400. [ The neural network selector 5240 selects and loads the neural network that has been learned and prepared in advance according to various situations such as the robot and the robot application registered in the situation management unit 5400.
동작인식부(5200)가 수신한 신호를 개별동작으로 인식하는 방법은 신경망을 이용한 방법 외에 다른 소프트 컴퓨팅 기법(인공지능기법)을 사용하여 인식장치(5220)를 구성할 수도 있다. 하지만 간단한 동작을 한 번씩 입력하여 다양한 동작을 인식하는 경우에는 학습된 신경망을 이용하는 것이 바람직하다. 신경망을 이용한 동작인식부(5200)는 동작 신호에 대해 사칙연산 수준의 간단한 산술 연산으로 구성되기 때문에 영상 및 음성 인식에 비해서 간단하고 계산이 빠르다.As a method of recognizing a signal received by the motion recognition unit 5200 as an individual operation, a recognition apparatus 5220 may be configured using a soft computing technique (artificial intelligence technique) in addition to a method using a neural network. However, it is preferable to use the learned neural network when recognizing various actions by inputting simple operations once. Since the motion recognition unit 5200 using the neural network is composed of a simple arithmetic operation of arithmetic operation level for the operation signal, it is simpler and faster than the image and speech recognition.
명령해석부(5300)는 동작인식부(5200)의 인식결과를 이용하여 로봇응용 소프트웨어(5800)에 공항 로봇(5500), 영상출력장치(5600), 음성출력장치(5700)를 통해 동작하거나 출력되는 정보를 포함하는 명령을 전달한다. 명령해석부(5300)는 개별적인 동작에 대응되는 상황에 맞는 명령에 관한 데이터 정보를 포함하는 동작, 명령 해석표(5320)와 상황관리부(5400)의 제어에 의해 동작, 명령 해석표(5320)를 선택하는 해석표선택(5330)부분 그리고 상항 관리기(5400)를 통해 선택된 동작, 명령 해석표(5320)를 바탕으로 현재 상황과 응용에 맞는 명령을 생성하여 최종적으로 공항 로봇(5500)이나 로봇응용소프트웨어(5800)로 전달하는 명령해석장치(5310)로 구성된다.The command interpreting section 5300 operates the robot application software 5800 through the airport robot 5500, the video output device 5600 and the audio output device 5700 using the recognition result of the motion recognition section 5200, Quot; information " The command interpreting section 5300 includes an operation including data information about a context-sensitive command corresponding to an individual operation, an operation by the control of the command interpreting table 5320 and the situation managing section 5400, the command interpreting table 5320 A command for selecting an analysis table 5330 for selecting an interpretation table 5320 and a command analysis table 5320 to generate commands corresponding to the current situation and application based on the selected operation and command interpretation table 5320, And a command interpreter 5310 for transferring the command to the command interpreter 5800.
다만, 명령해석부(5300)의 동작, 명령 해석표(5320)와 해석표선택(5330)은 상황관리부(5400)에 등록된 동작, 명령 해석표(5320)와 관리부(5410)의 제어에 의해 해석표선택(5330)이 이루어질 수 있다.The operation of the command interpreter 5300 and the command interpreter table 5320 and the interpreter table 5330 are controlled by the operation registered in the situation manager 5400 and the control of the command interpreter 5320 and the controller 5410 An interpretation table selection 5330 may be made.
상황관리부(5400)는 현재 가용하거나 선택된 응용에 따라 동작 인식부(5200)와 명령해석부(5300)를 제어한다.The situation management unit 5400 controls the operation recognition unit 5200 and the command analysis unit 5300 according to the currently available or selected application.
상황(context)관리부(5400)는 크게 관리부(5410), 사용자(user)상황부(5420), 응용(application)상황부(430), 환경(environment)상황부(5440) 그리고 로봇(robot)상황부(5450)로 분류되어 상황을 수집하고 관리하게 된다.The context management unit 5400 mainly includes a management unit 5410, a user status unit 5420, an application status unit 430, an environment status unit 5440, (5450) to collect and manage the situation.
사용자(user)상황부(5420)는 사용자의 아이디, 응용 별 선호사항, 신경망 특징에 관한 사항을 기록하고 있다.The user status section 5420 records the user's ID, application preference, and neural network characteristics.
응용(application)상황부(5430)와 로봇(robot)상황부(5450)는 외부에서 공개되어 있는 제어명령, 상태를 기록하고 있다.The application status section 5430 and the robot status section 5450 record externally released control commands and statuses.
공항 로봇(5500)과 로봇 응용 소프트웨어(5800)에 전달되는 명령을 해석하기 위해 관련 동작, 명령 해석표를 응용상황부(5430)에 등록할 수 있다.In order to interpret commands transmitted to the airport robot 5500 and the robot application software 5800, the related operation and command interpretation table may be registered in the application status section 5430. [
상황관리부(5400)는 등록되어 있는 응용 상황이 되면 등록된 해석표에서 적당한 해석표를 선택하고 이에 따라 명령해석장치(5310)는 명령을 생성한다.When the application status is registered, the situation management unit 5400 selects an appropriate interpretation table from the registered interpretation table, and the command interpretation apparatus 5310 generates an instruction accordingly.
명령의 형식은 시스템 구현 방법에 따라 달라질 수 있는데 메시지 형식이 바람직하다. 예를 들어, "앞으로 누르기 동작"은 화면 출력기상에 출력된 단추를 누르는 동작으로 해석되어 "누르기" 메시지를 생성하여 로봇 응용 소프트웨어(5800)에 전달한다. 또는 "반복해서 위 아래로 흔들기" 동작은 로봇의 움직임을 정지시키기 위한 동작으로 "정지" 메시지를 생성하여 로봇 응용 소프트웨어(5800)에 전달한다.The format of the command depends on how the system is implemented. The message format is preferred. For example, the "forward push operation" is interpreted as an operation of pressing a button output on the screen output device, and a "push" message is generated and transmitted to the robot application software 5800. Or "repeated up and down shaking" operation generates a "stop" message by stopping the motion of the robot and transmits the message to the robot application software 5800. [
환경(environment)상황부(5440)는 로봇 및 응용이 이용 가능한 영상 및 음성 출력장치의 상세정보를 기록하고 있다.The environment status section 5440 records detailed information of the video and audio output apparatuses available to the robot and the application.
구체적인 상황 정보는 필요에 의해 추가될 수 있도록 관리된다. 이렇게 상황 정보를 필요에 의해 추가하기 위해서는 형식과 내용이 분리된 XML 방식을 사용하는 것이 바람직하다.Specific situation information is managed so that it can be added as needed. In order to add the situation information by necessity, it is preferable to use an XML method in which format and contents are separated.
로봇 응용 소프트웨어(5800)는 명령해석부(5300)에서 생성된 명령을 이용하여 로봇(5500)의 동작을 제어하거나 영상출력장치(5600), 음성출력장치(5700)에 관련 정보를 출력한다.The robot application software 5800 controls the operation of the robot 5500 or outputs related information to the video output device 5600 and the audio output device 5700 by using the command generated by the command analysis unit 5300. [
공항 로봇(5500)과 로봇 응용 소프트웨어(5800)는 사용자의 동작으로부터 발생된 동작을 바탕으로 명령을 수행한다. 공항 로봇(5500)은 영상 및 음성 인식 기반 인터페이스와 같은 기존의 인터페이스 장치를 가질 수 있다. 로봇 응용 소프트웨어(5800)도 기존의 인터페이스와 본 발명의 동작 기반 인터페이스를 함께 사용할 수 있다.The airport robot 5500 and the robot application software 5800 execute commands based on an operation generated from a user's operation. The airport robot 5500 may have conventional interface devices such as video and speech recognition based interfaces. The robot application software 5800 can also use the existing interface and the operation-based interface of the present invention together.
공항 로봇(5500)과 로봇 응용 소프트웨어(5800)는 영상 출력장치(5700)와 음성 출력장치(5700)를 사용하여 상호작용에 필요한 정보를 사용자에게 주는 것이 바람직하다. 이는 현재 사용할 수 있는 모든 동작을 모두 외울 수 없기 때문에 영상출력장치(5600)와 음성출력장치(5700)를 통해 이를 알려주는 것이 바람직하다. 또한 입력된 동작의 내용을 확인하고 오인식 결과를 영상, 음성출력장치(5600, 5700)를 통해 사용자가 확인하도록 하는 것이 바람직하다.It is preferable that the airport robot 5500 and the robot application software 5800 use the video output device 5700 and the audio output device 5700 to give information necessary for interaction to the user. Since it is impossible to memorize all the currently available operations, it is preferable to inform the user through the video output device 5600 and the audio output device 5700. [ It is also desirable that the contents of the input operation be confirmed and the result of the misrecognition is confirmed by the user through the video and audio output apparatuses 5600 and 5700.
로봇 응용 소프트웨어(5800)는 명령해석부(5300)로부터 생성된 명령을 받아서 응용로직부(5810)에 의해 명령에 포함된 정보를 분석할 수 있다. 그리고 로봇(5820)을 제어하는 제어정보(5820), 영상출력장치(5600)를 통해 출력되는 영상정보(5830)와 음성출력장치(5700)를 통해 출력되는 음성정보(5840)로 분류하여 각각의 공항 로봇(5500), 영상출력장치(5600), 음성출력장치(5700)에 관련정보를 제공한다.The robot application software 5800 may receive the command generated from the command interpreter 5300 and analyze the information contained in the command by the application logic unit 5810. [ Control information 5820 for controlling the robot 5820, image information 5830 output through the video output device 5600 and audio information 5840 output through the audio output device 5700, The airport robot 5500, the video output device 5600, and the audio output device 5700, respectively.
공항 로봇(5500)은 제어정보(5820)에 의한 동작을 수행한다. 공항 로봇(5500)은 로봇 응용 소프트웨어(5800)를 통해 제어정보를 받을 수 있지만 또 다른 방법으로 명령해석부(5300)로부터 명령을 직접 받아서 이에 포함된 제어정보를 이용하여 직접 동작을 수행할 수 있다.The airport robot 5500 performs an operation by the control information 5820. [ The airport robot 5500 can receive the control information through the robot application software 5800 but can directly receive the command from the command interpreter 5300 and perform the operation directly using the control information included therein .
영상출력장치(5600)와 음성출력장치(5700)는 명령으로부터 생성된 영상정보(5830)와 음성정보(5840)를 출력하고 사용자는 출력내용을 확인하여 입력된 동작에 의한 결과를 확인하여 오인식 여부를 확인할 수 있다.The video output device 5600 and the audio output device 5700 output the video information 5830 and the audio information 5840 generated from the command and the user confirms the output contents to check the result of the input operation, .
공항 로봇과 사람 사이의 동작기반 인터페이스 방법은 사용자의 동작을 동작센서를 통해 신호로 감지할 수 있다. 그리고, 상기 감지된 신호를 송신하는 동작신호입력단계(S5100)와 송신된 신호를 수신하고 수신된 신호를 해석하여 상황에 맞는 개별동작으로 인식하는 개별동작인식단계(S5200)를 포함할 수 있다. 그리고 인식된 개별동작을 상황과 응용에 맞는 명령으로 해석하는 명령해석단계(S5300)를 포함할 수 있다. 그리고 해석된 명령에 포함된 정보에 따라 공항 로봇 및 로봇응용을 작동하는 공항 로봇 및 로봇응용 작동단계(S5400)를 포함하여 이루어지는 것을 특징으로 한다.An operation-based interface method between an airport robot and a person can sense a user's operation through a motion sensor as a signal. An operation signal input step (S5100) for transmitting the sensed signal and an individual operation recognition step (S5200) for receiving the transmitted signal and interpreting the received signal and recognizing the received signal as an individual operation corresponding to the situation may be included. And an instruction interpretation step (S5300) for interpreting the recognized individual operation as a command suited to the situation and application. And an airport robot and a robot application operation step (S5400) for operating the airport robot and the robot application according to the information included in the interpreted command.
개별동작인식단계(S5200)와 명령해석단계(S5300)는 로봇응용에 따라 상황을 관리 및 전달하는 상황관리부에 의해 제어된다.The individual motion recognizing step (S5200) and the command interpreting step (S5300) are controlled by a situation management unit for managing and delivering the situation according to the robot application.
개별동작인식단계(S5200)는 응용 및 사용자에 적합하게 학습된 복수개의 신경망을 기반으로 상황관리기에 의해 선택된 신경망을 통해 상기 동작신호입력단계(S5100)로부터 수신한 신호를 개별동작으로 인식한다.The individual motion recognizing step (S5200) recognizes the signal received from the operation signal inputting step (S5100) as a separate operation through the neural network selected by the situation manager based on a plurality of neural networks suitably learned for the application and the user.
명령해석단계(S5300)는 개별동작인식단계(S5200)에 의한 인식결과와 상황관리기로부터 제공되는 동작, 명령 해석표에 따라 동작을 로봇장치의 응용에 적합한 명령으로 해석하여 전달한다.The command interpretation step S5300 interprets and transmits the operation according to the recognition result obtained in the individual operation recognition step S5200, the operation provided by the situation manager, and the command interpretation table as commands suitable for the application of the robot apparatus.
공항 로봇 및 로봇응용 작동 단계(S5400)는 영상 출력장치와 음성 출력장치에 의해 상호작용에 필요한 정보를 사용자에게 제공한다.The airport robot and robot application operation step (S5400) provides information necessary for interaction by the video output device and the audio output device to the user.
동작신호입력단계(S5100)는 사용자가 장착한 장치에 의해 이루어진다.The operation signal input step (S5100) is performed by a device mounted by the user.
본 발명의 공항 로봇과 사람 사이의 동작 기반 인터페이스 시스템 및 방법에 의해 동작을 기반으로 공항 로봇과 사람이 인터페이스 하는 방법에 대한 간단한 응용 시나리오를 설명한다. 시나리오는 공항에 앉아 있는 사용자가 동작신호입력부(5100)를 착용하고 있다가 공항 어딘가에 있는 로봇을 호출하는 것이다.A simple application scenario of how an airport robot and human beings interface based on an operation by an operation-based interface system and method between an airport robot and a person of the present invention will be described. The scenario is that a user sitting at the airport wears an operation signal input unit 5100 and then calls a robot somewhere in the airport.
사용자는 동작신호입력부(5100)를 착용한 손으로 미리 정의된 동작을 수행한다. 예를 들어, 세 번 빠르게 흔들기 동작을 시행한다. 이때 발생한 동작신호는 동작센서장치(5101)에 의해 감지되어 무선송수신부(5104)를 통해 동작인식부(5200)로 전달된다.The user performs a predefined operation with the hand wearing the operation signal input unit 5100. For example, three quick shake actions are performed. The operation signal generated at this time is sensed by the motion sensor device 5101 and transmitted to the motion recognizer 5200 through the wireless transceiver 5104.
상황관리부(5400)는 현재 공항 로봇(5500)이 대기 상황이기 때문에 동작인식부(5200)에 미리 학습되어 준비된 대기 상황용 신경망(5230)을 로드시킨다. 동작인식부(5200)는 이 대기 상황용 신경망을 통해 세 번 빠르게 흔들기가 인식되었다고 인식하고 그 결과를 명령해석부(5300)에 전달한다.The situation management unit 5400 loads the standby state neural network 5230 that has been learned and prepared in advance in the operation recognition unit 5200 because the airport robot 5500 is currently in the standby state. The motion recognition unit 5200 recognizes that the wiggling is recognized three times faster through the atmospheric state neural network and transmits the result to the command analysis unit 5300.
상황관리부(5400)는 대기 상황에 맞는 동작, 명령 해석표(5320)를 명령해석부(5300)에 로드하고, 명령해석부(5300)는 동작, 명령 해석표(320)를 이용해 대기 상황에서 "세 번 빠르게 흔들기" 동작은 "로봇 호출"이라는 명령으로 해석하여 "로봇 호출"이라는 명령을 생성한다.The situation management unit 5400 loads the operation analysis table 5320 corresponding to the waiting situation into the instruction analysis unit 5300 and the instruction analysis unit 5300 uses the operation and the instruction analysis table 320 to determine whether the " Three quick shakes "operation is interpreted as a" robot call "command and a" robot call "command is generated.
생성된 명령은 로봇 시스템이나 다른 응용에서 제공하는 "어디에 있는 누구"라는 인수와 함께 로봇에게 전달되고, 로봇은 호출한 사용자에게로 다가가게 된다. 이때, 사용자가 장착하고 있는 동작신호입력부(5100)의 메모리장치(5103)에 저장되어 있는 장치 및 사용자 식별(ID)을 이용하여 사용자의 위치를 파악하여 사용자에게 다가간다.The generated command is delivered to the robot with the argument "who is who" provided by the robot system or other application, and the robot is approached to the calling user. At this time, the user's location is ascertained by using the device and the user identification (ID) stored in the memory device 5103 of the operation signal input unit 5100 installed by the user, and approaches the user.
영상출력장치(5600)가 이용되고 있는 경우라면 현재 입력 가능한 동작과 그 결과를 영상출력장치(5600)를 통해 사용자에게 보여 줄 수 있다. 예를 들면, 공항 내 디스플레이 장치가 로봇 응용 소프트웨어(5800)와 연동하여 영상출력정보를 출력할 수 있다.If the video output apparatus 5600 is being used, the user can show the currently input operation and the result through the video output apparatus 5600 to the user. For example, the display device in the airport can output video output information in cooperation with the robot application software 5800. [
도 10은 본 발명의 다른 일 실시예에 의한 공항 로봇의 하드웨어 블록도이다. 도 11은 본 발명의 다른 일 실시예에 의한 공항 로봇의 감정표현방법을 도시한 블록도이다. 도 12는 본 발명의 다른 일 실시예에 의한 공항 로봇간의 친밀도에 대응하는 행동의 예를 도시한 도표이다.10 is a hardware block diagram of an airport robot according to another embodiment of the present invention. 11 is a block diagram showing a method of expressing emotions of an airport robot according to another embodiment of the present invention. FIG. 12 is a chart showing an example of behaviors corresponding to intimacy between airport robots according to another embodiment of the present invention.
도 10을 참조하면, 본 발명의 다른 일 실시예에 의한 공항 로봇은 로봇 외부의 상태를 감지하기 위한 감지부와, 상기 감지부로부터 감지된 정보를 활용하여 로봇의 움직임을 제어하는 제어부, 그리고 상기 제어부의 명령에 의해 로봇의 동작을 구동시키는 구동부를 포함하여 구성된다.Referring to FIG. 10, an airport robot according to another embodiment of the present invention includes a sensing unit for sensing a state of the robot outside, a controller for controlling movement of the robot using information sensed by the sensing unit, And a driving unit for driving the operation of the robot by an instruction from the control unit.
상기 감지부는 외부 정보를 로봇에 입력시키기 위한 것으로 다양한 형태가 구비될 수 있다. 예를 들면, 로봇에 구비되어 로봇에 대한 인간의 접촉을 감지할 수 있는 터치센서, 외부로부터 입력되는 음성이나 사운드를 감지할 수 있는 마이크, 그리고 외부의 영상을 입력받을 수 있는 카메라 등이 포함된다.The sensing unit is for inputting external information to the robot and may be provided in various forms. For example, it includes a touch sensor provided in the robot and capable of sensing human contact with the robot, a microphone capable of sensing sound or sound input from the outside, and a camera capable of receiving an external image .
그리고 상기 제어부는 상기 감지부를 통해 입력된 각종 외부 정보를 이용하여 로봇사용자의 선호도를 파악하여 로봇의 성향을 결정하는 판단부와, 상기 판단부에서 판단된 로봇성향을 기반으로 하여 로봇의 움직임을 제어하는 동작제어부를 포함하여 구성된다. 이러한 제어부는 하드웨어적으로 마이크로컨드롤러와 메모리, 각종 레지스터들을 포함하여 구성된다.The controller may include a determination unit for determining preferences of a robot user based on various external information input through the sensing unit and determining a tendency of the robot, and a control unit for controlling the movement of the robot based on the robot orientation determined by the determination unit. And an operation control unit. The control unit includes a microcontroller, a memory, and various registers in hardware.
또한 상기 구동부는 로봇의 움직임을 위한 각종 부품으로 구성된다. 예를 들면 로봇의 이동을 위한 바퀴와 모터, 로봇의 머리부와 팔이 구비된다면 이들 구성들의 움직임을 위한 각종 모터와 센서류 등을 포함하게 된다.In addition, the driving unit is composed of various parts for moving the robot. For example, if the robot includes a wheel and a motor for moving the robot, and a head and an arm of the robot, various motors and sensors for moving the components are included.
앞에서 설명한 바와 같은 본 발명에 의한 로봇은 다양한 형태로 구성될 수 있다. 휠베이스 로봇(wheel-based robot)의 경우라면 바퀴가 구비되고, 보행 로봇(legged robot)의 경우 다리부와 다수개의 모터가 포함되어 구성 될 수 있다.The robot according to the present invention as described above can be configured in various forms. In the case of a wheel-based robot, a wheel may be provided. In the case of a legged robot, a leg and a plurality of motors may be included.
먼저 본 발명에 의한 로봇이 인간과의 상호작용을 통해 로봇의 행동성향을 결정(S1010)하는 것에 관해 상세하게 설명한다.First, the behavioral tendency of the robot is determined (S1010) through the interaction with the robot according to the present invention.
여기서 로봇의 행동성향이라 함은 공항 로봇이 인간 즉 사용자가 선호하는 유형이나 행동패턴을 분석 및 판단하여 로봇이 사용자의 지령에 의한 행동을 하지 않고 임의적인 행동을 할 때 사용자가 선호하는 행동을 하도록 하는 것을 말한다. 다시 말해 로봇에게 사용자가 선호하는 동작을 반영하여 인간의 개성과 유사하게 로봇이 개성을 가지게 되는 것을 의미한다.Here, the behavior tendency of the robot means that the airport robot analyzes and judges the type or behavior pattern preferred by the user, that is, the user, so that when the robot performs arbitrary actions without the action of the user, . In other words, it reflects the preference of the user to the robot, which means that the robot has personality similar to human personality.
이와 같이 로봇이 행동성향을 결정하기 위해서는, 로봇에는 최초에 로봇이 로봇 제조업자에 의해 제조되어 시장에 출시된 시점에 미리 정의된 여러 가지 다양한 동작이 저장되어 있다.In order for the robot to determine the behavioral tendency, the robot is initially manufactured by the robot manufacturer and various predefined operations are stored at the time when the robot is released to the market.
그리고 로봇이 사용자가 특정 동작을 명령한 경우에는 사용자가 명령한 동작을 행동하게 되지만, 사용자가 아무런 명령을 내리지 않은 경우에는 로봇은 임의로 로봇에 저장된 여러 가지 동작을 수행하게 된다. 이때 로봇이 임의로 여러 동작을 행동하는 과정에서 로봇이 사용자가 선호하는 행동을 하는 경우 사용자가 로봇에게 특정한 입력을 가함으로써 로봇이 사용자가 선호하는 행동이 무엇인지를 파악할 수 있게 된다. 그리고 사용자가 로봇에게 아무런 명령을 내리지 않는 경우, 즉 로봇이 사용자의 명령을 받지 않고 임의적으로 행동하는 경우에 다른 여러 가지 행동에 비해 사용자가 선호하는 행동을 더 많이 행동하게 되는 것이다.If the robot commands the user to perform a specific operation, the robot will perform the operation commanded by the user. However, if the user does not issue any command, the robot arbitrarily performs various operations stored in the robot. In this case, when the robot performs various actions arbitrarily, the user may input a specific input to the robot, so that the robot can grasp what the user prefers. When the user does not issue any command to the robot, that is, when the robot arbitrarily acts without receiving a command from the user, the robot acts more on the user's preferred action than other actions.
좀 더 구체적으로 설명하면, 로봇이 임의적으로 동작하는 경우 최초에는 초기에 로봇에 저장된 여러 가지 동작이 동일한 가중치에 의해 랜덤하게 동작하게 된다. 그러나 로봇이 다양한 행동을 임의적으로 행동하는 과정에서 사용자가 선호하는 특정한 동작을 하게 되면, 사용자는 로봇에 장착된 특정부위의 터치센서를 터치하게 된다.More specifically, when the robot is operated arbitrarily, various operations stored in the robot at the beginning are randomly operated by the same weight. However, when the robot performs a specific action desired by the user in the course of arbitrarily performing various actions, the user touches the touch sensor of a specific part mounted on the robot.
이러한 입력을 통해 로봇은 사용자가 선호하는 특정 동작에 대해 가중치가 높아지게 된다. 따라서 로봇이 임의로 동작하는 경우 사용자가 선호하는 특정 동작을 행동하게 되는 확률이 높아지게 되는 것이다. 즉 사용자가 특정부위의 터치센서를 터치하는 동작이, 로봇이 동작한 특정 동작에 대해 사용자가 긍정적으로 인식하게 되는 것을 의미한다.Through these inputs, the robot will be weighted up for the particular action the user prefers. Therefore, when the robot arbitrarily operates, the probability that a user will act on a specific operation is increased. That is, an operation that the user touches the touch sensor of a specific part means that the user positively recognizes the specific operation in which the robot operates.
예를 들면, 로봇이 특정 노래를 출력하는 경우, 사용자가 이러한 노래가 자신이 선호하는 노래이면 로봇에 장착된 터치센서를 터치하게 된다. 이 경우 로봇은 사용자가 특정 노래를 선호하는 것으로 인식하게 되어 특정 노래에 대한 가중치가 높아지게 되고, 로봇은 특정 노래를 자주 출력하게 되는 성향을 가지게 되는 것이다.For example, when the robot outputs a specific song, the user touches the touch sensor mounted on the robot if the song is a favorite song. In this case, since the robot recognizes that the user prefers a specific song, the weight of the specific song is increased, and the robot has a tendency to output a specific song frequently.
또는 로봇이 특정 동작을 하는 경우(예를 들면 꼬리를 흔드는 동작을 하는 경우), 사용자가 이러한 행동이 자신이 선호하는 동작이면, 로봇에 장착된 터치센서를 터치하게 되고, 이러한 사용자의 입력에 의해 특정 동작에 대한 가중치가 높아지게 된다. 따라서 로봇은 사용자가 이러한 특정 동작을 선호하는 것으로 인식하게 되고, 로봇이 임의로 동작하는 경우 이러한 특정 동작을 자주 행동하는 성향을 가지게 된다.Or when the robot performs a specific operation (for example, when the tail is shaken), the user touches the touch sensor mounted on the robot when the action is his or her preferred action. By the input of the user The weight for a specific operation is increased. Accordingly, the robot recognizes that the user prefers this particular operation, and when the robot is operated at random, the robot tends to frequently perform such a specific operation.
앞에서는 특정 노래 또는 행동에 대해 사용자가 로봇의 특정위치에 설치된 터치센서를 터치하여 사용자가 선호하는 동작을 로봇에 입력하는 것에 관해 설명하였으나 반드시 이러한 방법에 한정되는 것은 아니다. 예를 들면, 사용자가 터치센서를 미리 정해진 소정의 세기 이하의 세기로 터치하면 사용자가 좋아하는 행동으로 인식하도록 구현하는 것도 가능하다. 반대로 미리 정해진 소정의 세기 이상의 세기로 터치센서를 터치하게 되면, 사용자가 좋아하지 않는 행동으로 로봇이 인식하게 될 수도 있다.In the foregoing, the user has touched a touch sensor installed at a specific position of the robot for a specific song or action, and inputting a user's preferred operation to the robot has been described, but the present invention is not necessarily limited to such a method. For example, when the user touches the touch sensor with a predetermined intensity or less, it is possible to realize the action as a user's favorite behavior. On the contrary, if the touch sensor is touched by a predetermined intensity or more, the robot may be recognized as a behavior that the user does not like.
그외에도 사용자의 특정동작(예를 들면 사용자가 손을 흔드는 동작 등)을 하면 카메라를 통해 로봇으로 입력되고, 입력된 영상은 영상처리모듈을 통해 로봇에게 사용자가 선호하는 동작이 어떤 것인지 판단할 수 있게 된다.In addition, when a user performs a specific operation (for example, a user shakes his or her hand), the input is inputted to the robot through the camera, and the inputted image is judged by the image processing module to determine which operation the user prefers .
이와 같이 로봇과 사용자의 상호작용을 통해 로봇은 사용자가 선호하는 동작이나 노래 등을 어떤 것인지 판단할 수 있게 되고, 로봇은 사용자가 선호하는 행동을 반영하여 로봇의 행동성향이 결정되게 된다.In this way, the interaction between the robot and the user enables the robot to determine the user's preferred action or song, and the behavior of the robot is determined by reflecting the user's preferred behavior.
다음으로 로봇은 다른 로봇을 식별할 수 있는 식별범위내에 다른 로봇이 존재하는지 여부를 판단하게 된다(S1020). 이때 로봇이 다른 로봇이 존재하는지 여부를 판단하기 위한 방법으로는 여러 가지 다양한 방법을 사용할 수 있다.Next, the robot determines whether another robot is present within the identification range in which another robot can be identified (S1020). At this time, various methods can be used as a method for determining whether or not another robot exists.
예를 들면, 로봇에 장착된 카메라를 사용하여 카메라에 입력된 영상을 영상처리모듈을 사용하여 분석하고, 분석된 결과를 바탕으로 다른 로봇이 식별범위내에 존재하는지 여부를 판단할 수 있다.For example, an image input to the camera using a camera mounted on the robot may be analyzed using an image processing module, and based on the analyzed result, it may be determined whether another robot is within the identification range.
또는 로봇마다 고유의 RFID 칩이 내장되어 있고, 상기 RFID를 인식할 수 있는 무선판독기가 구비되어 있어, 로봇이 다른 로봇의 RFID를 인식할 수 있는 거리내에 다가오게 되면, 다른 로봇이 존재하는 것으로 판단하는 방법을 사용할 수도 있다.Alternatively, a unique RFID chip is built in each robot, and a wireless reader capable of recognizing the RFID is provided. When the robot comes within a distance allowing recognition of RFID of another robot, it is judged that another robot exists You can also use the
다음으로 로봇의 행동성향에 따라 로봇상호간에 감정을 표현(S1030)방법에 대해 설명하도록 한다. 로봇의 감정을 표현한다는 것은 인간과 같은 수준의 감정을 표현하는 것은 아니고, 로봇과 로봇간의 친밀도를 수치화하고, 수치화된 친밀도에 따라 로봇이 특정동작을 수행하는 것을 의미한다. 이와 같은 행동을 통해 인간과 유사한 감정표현을 하게 된다.Next, a description will be given of a method of expressing emotions between the robots according to the behavior of the robot (S1030). Expressing the feelings of robots does not mean emotions of the same level as humans but it means that the intimacy between the robot and the robot is quantified and the robot performs specific actions according to the numerical intimacy. Through such actions, people express similar emotions.
앞의 S1020 단계에서 로봇이 다른 로봇을 인식할 수 있는 거리 내에 다른 로봇이 있는 것으로 감지되면, 로봇은 다른 로봇과의 친밀도가 어느 정도인지를 판단하게 된다. 로봇과 로봇간의 친밀도는 여러 개의 레벨로 나뉘어 설정하도록 하는 것이 가능하다. 본 발명의 실시예에 의하면, 친밀도가 1에서 5의 레벨로 구분되어 숫자가 커질수록 로봇과 로봇간의 친밀도는 높아지도록 설정된다.If it is detected in step S1020 that another robot exists within a distance at which the robot can recognize another robot, the robot determines the degree of intimacy with the other robot. The intimacy level between the robot and the robot can be set to be divided into several levels. According to the embodiment of the present invention, the degree of familiarity between the robot and the robot is set to be higher as the number of intimates is divided into levels of 1 to 5 and the number increases.
로봇과 로봇 간의 친밀도는 처음에는 1로 설정되어 있으나, 여러 가지 방법에 의해 로봇 간의 친밀도는 점점 높아지게 된다. 예를 들면, 로봇과 다른 로봇이 식별범위 내에서 존재하는 시간이나 횟수가 많아지면 로봇과 로봇간의 친밀도는 높아지게 된다.The intimacy between the robot and the robot is set to 1 at first, but the intimacy between the robots is gradually increased by various methods. For example, if the number of times or the number of times the robot and other robots exist within the identification range, the intimacy between the robot and the robot becomes high.
또는 사용자에 의해 결정된 로봇의 행동성향과 동일한 행동성향을 가지는 로봇을 만나는 경우에는 상호 로봇 간의 친밀도가 높아지게 된다. 예를 들면 로봇의 식별범위 내에 존재하는 것으로 판단된 다른 로봇이 사용자가 선호하는 특정 노래나 동작을 수행하는 것으로 감지되면, 로봇과 다른 로봇의 친밀도는 높아지게 된다. 다른 로봇이 특정 노래를 표현하는 것을 로봇에 구비된 마이크와 음성처리모듈을 통해, 특정 동작을 수행하는 것은 로봇에 구비된 카메라와 영상 처리 모듈을 통해 인식할 수 있다.Or when a robot having the same behavioral tendency as the behavior tendency of the robot determined by the user is encountered, the intimacy between the robots is increased. For example, if another robot judged to exist within the identification range of the robot is perceived as performing a specific song or operation preferred by the user, the familiarity of the robot and the other robot becomes high. It is possible for another robot to express a specific song through a microphone and a voice processing module provided in the robot and to perform a specific operation through a camera and an image processing module provided in the robot.
그리고 로봇과 다른 로봇과의 친밀도에 따라 로봇은 다른 로봇에게 친밀감을 표현하게 된다. 즉, 친밀도가 높은 로봇을 만나게 되면, 그에 해당하는 동작을 하게 된다. 그러나 친밀도가 낮은 로봇을 만나게 되는 경우에는 별다른 행동을 하지 않는다.Then, depending on the intimacy between the robot and another robot, the robot expresses intimacy to the other robot. That is, when a robot having a high affinity is encountered, the corresponding operation is performed. However, if you encounter a robot with a low intimacy, you will not take any action.
로봇이 친밀도가 1인 다른 로봇을 만나게 되면 로봇은 아무런 반응을 하지 않는다. 그러나 로봇이 친밀도가 2인 다른 로봇을 만나게 되면 로봇에 구비된 팔을 흔드는 동작을 하게 된다. 또 로봇이 친밀도가 3인 다른 로봇을 만나게 되면 로봇은 팔을 흔들면서 로봇에 구비된 LCD 화면에 환영 문구를 표시하거나, LED를 깜빡이도록 하게 한다. 그리고 친밀도가 5인 다른 로봇을 만나게 되면 로봇은 주위를 빙글빙글 돌면서 스피커를 통해 환영메세지를 출력하면서 로봇의 감정을 표현하게 된다.When a robot meets another robot with an affinity of 1, the robot does not react. However, when the robot meets another robot having an affinity of 2, the robot moves the arm provided on the robot. When the robot meets another robot with an affinity of 3, the robot shakes the arm and displays a welcome message on the LCD screen of the robot or causes the LED to blink. Then, when the robot meets another robot having an intimacy of 5, the robot turns around and expresses the feelings of the robot while outputting a welcome message through the speaker.
이와 같이 로봇과 다른 로봇 간의 친밀도에 따라 그에 대응하는 로봇의 행동을 하도록 함으로써 로봇과 로봇 간의 감정을 표현할 수 있게 된다. 그리고 이러한 로봇 간의 감정 표현을 통해 로봇이 좀더 지능화된 행동을 하도록 구현하는 것이 가능해 진다.In this way, the emotion between the robot and the robot can be expressed by allowing the robot to perform actions corresponding to the intimacy between the robot and the other robot. And it is possible to realize more intelligent behavior of the robot through emotional expression between these robots.
도 13은 본 발명에 따른 사용자의 행동을 판단하여 공항 로봇이 몸을 움직여 감정을 표현하는 방법에 관한 흐름도이다. 도 14는 사용자의 행동을 판단하여 몸으로 감정을 표현하는 공항 로봇에 관한 구성도이다.FIG. 13 is a flowchart of a method in which an airport robot determines the behavior of a user according to the present invention and expresses emotions by moving the body. 14 is a configuration diagram of an airport robot for expressing emotions in the body by judging the behavior of the user.
공항 로봇에 장착된 화상카메라로 사용자의 동영상을 입력받는다(S1310). 화상 카메라로 촬영한 사용자의 동영상에서 사용자의 행동이 변화되는 차영상 정보를 생성한다(S1311). 영상 정보를 얻기 위해 각 프레임의 동영상을 8*8의 작은 사각형으로 블록화한다(S1312). 블록화된 동영상 프레임을 이전 동영상 프레임과 비교하여 변화된 색상을 기준으로 차영상 정보를 정의한다(S1313). 차영상 정보를 사용자가 한 행위에 대하여 정의된 데이터베이스를 기반으로 분석하여 사용자 행위를 정의한다(S1314). 사용자 행위가 로봇에서 수행되는 프로그램에서 기대되는 행위인지 판단한다(S1315). 사용자 행위가 로봇이 기대하는 행위인 경우 로봇의 SDK을 이용하여 긍정적인 감정 표현을 표출하고 기대되는 행위가 아닌경우 부정적인 감정 표현을 표출한다(S1316).The user's moving image is input to the image camera mounted on the airport robot (S1310). And generates difference image information in which the behavior of the user is changed in the moving image of the user photographed by the image camera (S1311). In order to obtain the image information, the moving image of each frame is blocked with a small rectangle of 8 * 8 (S1312). The blocked motion picture frame is compared with the previous motion picture frame to define difference image information based on the changed color (S1313). The differential image information is analyzed based on a database defined for an action performed by the user to define a user action (S1314). It is determined whether the user action is expected in the program executed in the robot (S1315). If the user action is an action expected by the robot, a positive emotional expression is displayed using the SDK of the robot, and a negative emotional expression is displayed if the user action is not an expected action (S1316).
로봇마다 제공할 수 있는 행위 및 모션제어가 각기 다를 수 있으며, 이에 동일한 행위를 통해서만 로봇의 감정을 표현할 수는 없다. 이에 일반적으로 사용될 수 있는 모션 제어는 다음과 같다. 즉, 휠 제어은 전후, 좌우로 이동하며, 머리 제어는 상, 하, 좌, 우로 제어되며팔 제어는 좌, 우 및 앞, 뒤로 회전한다. LED 제어는 입, 귀, 팔, 바퀴 파트에서 제어된다. 위와 같은 제어를 통하여 행복 / 놀람 / 보통 / 실망(슬픔) / 부끄러움과 같은 감정에 대한 정의을 하여 Contents에서 운영하며, 정의시에는 휠, 머리, 팔, LED의 조합에 의해 제공되나 로봇마다 지원되는 디바이스와 표현 형태가 다르므로 로봇마다 정의하여 사용한다.The actions and the motion control that can be provided for each robot may be different, and the robot's emotions can not be expressed only through the same action. The motion control which can be generally used is as follows. In other words, wheel control moves back and forth, left and right, head control is controlled up, down, left and right, and arm control is rotated left, right and front and back. LED control is controlled in mouth, ear, arm, wheel part. Through the above control, it is defined in terms of happiness / surprise / normal / disappointment (sadness) / shame, and is operated in contents. In definition, it is provided by a combination of wheel, head, arm, LED, And expressions are different from each other.
도 14에서 보듯이 본 발명의 또 다른 일 실시예에 의한 공항 로봇(1400)은 화상카메라(1410), 영상 생성부(1420), DB(1430), 판별부(1440), 출력부(1450), 제어부(1460)로 구성된다. 화상카메라(1410)는 사용자의 행동을 촬영하여 화면에 출력한다. 영상 생성부(1420)는 촬영된 사용자의 행동에서 변화된 차영상 정보를 생성한다. DB(1430)는 변화된 차영상 정보에 대하여 어떤 행동인지를 정의한 목록을 가지고 있다. 판별부(1440)는 차영상 정보가 로봇에서 기대되는 행위인지 여부를 판단한다. 출력부(1450)는 상기 판별부의 판단에 따라 로봇의 감정을 휠, 머리, 팔, LED 중 적어도 어는 하나로 표현한다. 제어부(1460)는 상기 공항 로봇의 전체 동작을 제어하는 역할을 한다.14, the airport robot 1400 according to another embodiment of the present invention includes an image camera 1410, an image generating unit 1420, a DB 1430, a determining unit 1440, an output unit 1450, And a control unit 1460. The image camera 1410 photographs the behavior of the user and outputs it to the screen. The image generating unit 1420 generates the difference image information changed in the action of the photographed user. The DB 1430 has a list defining the behavior of the changed difference image information. The determination unit 1440 determines whether the difference image information is an expected behavior in the robot. The output unit 1450 expresses the emotion of the robot as at least one of a wheel, a head, an arm, and an LED according to the determination of the determination unit. The controller 1460 controls the overall operation of the airport robot.
도 15는 본 발명의 일 실시예에 의한 공항 로봇이 디스플레이부에 감정 이모티콘을 출력하는 일예를 설명하기 위한 도면이다.15 is a view for explaining an example in which an airport robot according to an embodiment of the present invention outputs emotional emoticons to a display unit.
도 15에 도시된 바와 같이, 본 발명의 일 실시예에 의한 공항 로봇은 디스플레이부를 전면 또는 후면에 배치시킬 수 있다. 그리고, 공항 로봇의 제어부는 인체의 눈썹, 눈, 입 등의 표정 요소를 적용하여 감정 변화를 표시하기 위한 감정 이모티콘을 디스플레이부에 출력하도록 제어할 수 있다.As shown in FIG. 15, the airport robot according to an embodiment of the present invention can arrange the display unit on the front surface or the rear surface. The control unit of the airport robot can control the display unit to output emotion emoticons for displaying emotional changes by applying facial expression elements such as eyebrows, eyes, and mouth of the human body.
공항 로봇의 제어부는 공항 로봇의 배터리가 부족하거나, 사용자가 입력한 음성 인식이 정확하게 인식되지 않았을 때 등의 기 정해진 특정 상황에서 사용자에게 메시지를 전달하기 위한 목적으로 상기 감정 이모티콘을 디스플레이부에 출력하도록 제어할 수 있다. The control unit of the airport robot outputs the emotion emoticon to the display unit for the purpose of transmitting a message to the user in predetermined predetermined situations such as when the battery of the airport robot is insufficient or when the voice recognition inputted by the user is not correctly recognized Can be controlled.
또한, 공항 로봇의 제어부는 사용자의 표정을 인식하여 사용자의 현재 감정 상태를 예측한 후, 동일한 감정 상태 또는 상반되는 감정 상태를 갖도록 감정 이모티콘을 선택하여 출력하도록 제어할 수 있다. 예를 들어, 사용자 표정이 현재 우울하다고 판단되는 경우, 공항 로봇의 제어부는 밝은 표정의 감정 이모티콘을 디스플레이부에 출력하도록 제어할 수 있다.In addition, the control unit of the airport robot may recognize the user's facial expression, predict the current emotional state of the user, and then select and output the emotional emoticons so that they have the same emotional state or opposite emotional state. For example, when it is determined that the user's facial expression is currently depressed, the control unit of the airport robot can control to output emotional emoticons of bright facial expression to the display unit.
또한, 공항 로봇의 제어부는 사용자가 요청한 입력에 대한 회신이 부정적인 경우에는 부정적인 감정에 매칭되는 감정 이모티콘을, 회신이 긍정적인 경우에는 긍정적인 감정에 매칭되는 감정 이모티콘을 디스플레이부에 출력하도록 제어할 수 있다. The control unit of the airport robot may control the emotional emoticons matching the negative emotions when the response to the input requested by the user is negative and the emotional emoticons matching the positive emotions when the reply is positive have.
또한 공항 로봇의 제어부는 사용자와 충돌한 경우라든지, 사용자가 기 정해진 속도보다 따르게 음성 입력 등을 하는 경우, 놀라움과 관련된 감정 이코티콘을 디스플레이부에 출력하도록 제어할 수 있다.Also, the control unit of the airport robot can control the display unit to output an emoticon associated with surprise when the user collides with the user or when the user performs voice input more than a predetermined speed.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 공항용 로봇의 AP(150)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be embodied as computer-readable codes on a medium on which a program is recorded. The computer readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer readable medium include a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, , And may also be implemented in the form of a carrier wave (e.g., transmission over the Internet). The computer may also include an AP 150 of an airport robot. Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

Claims (9)

  1. 공항용 로봇에 있어서,
    디스플레이부;
    사용자로부터 입력을 수신하는 유저 인터페이스부; 및
    상기 공항용 로봇의 동작을 제어하는 제어부를 포함하고,
    상기 유저 인터페이스부는 사용자의 동작을 감지하는 동작센서를 포함하고,
    상기 제어부는,
    상기 동작센서에 의해 감지된 사용자의 동작을 데이터베이스에 저장된 복수의 사용자 메시지 중 하나와 매칭시키고, 상기 매칭된 사용자 메시지에 맵핑된 GUI(Graphic User Interface)를 상기 디스플레이부에 출력하도록 제어하는,
    공항용 로봇.
    In an airport robot,
    A display unit;
    A user interface unit for receiving input from a user; And
    And a control unit for controlling the operation of the airport robot,
    Wherein the user interface unit includes an operation sensor for detecting an operation of a user,
    Wherein,
    Wherein the controller controls the operation of the user detected by the operation sensor to match one of a plurality of user messages stored in the database and to output a GUI (Graphic User Interface) mapped to the matched user message to the display unit,
    Airport robots.
  2. 제1 항에 있어서,
    상기 제어부는,
    상기 사용자로부터 적어도 하나의 정보 출력 요청 신호를 입력 받는 경우, 입력 받은 신호를 분석하고,
    상기 분석 결과, 요청 신호가 정확하게 인식된 경우 긍정 표현 이모티콘을 상기 디스플레이부에 출력하고, 정보 출력 요청 신호가 정확하게 인식되지 않은 경우 부정 표현 이모티콘을 상기 디스플레이부에 출력하도록 제어하는,
    공항용 안내 로봇.
    The method according to claim 1,
    Wherein,
    When receiving at least one information output request signal from the user,
    And outputting a positive expression emoticon to the display unit when the request signal is correctly recognized and outputting a negative expression emoticon to the display unit when the information output request signal is not correctly recognized,
    Airport guidance robot.
  3. 제1 항에 있어서,
    상기 제어부는,
    상기 공항용 로봇의 배터리 상태를 체크하고,
    상기 배터리 상태가 기 정해진 수치 이상인 경우 긍정 표현 이모티콘을 상기 디스플레이부에 출력하고, 상기 배터리 상태가 기 정해진 수치 미만인 경우 부정 표현 이모티콘을 상기 디스플레이부에 출력하도록 제어하는,
    공항용 로봇.
    The method according to claim 1,
    Wherein,
    The state of the battery of the airport robot is checked,
    Outputting a positive expression emoticon to the display unit when the battery condition is equal to or greater than a predetermined value and outputting a negative expression emoticon to the display unit when the battery condition is less than a predetermined value,
    Airport robots.
  4. 제2 항에 있어서,
    상기 공항용 로봇은 카메라를 포함하고,
    상기 카메라는 상기 사용자의 행동 변화에 대한 영상을 촬영하고,
    상기 제어부는,
    데이터베이스를 기반으로 상기 촬영된 영상의 프레임을 분석하여 사용자 행위를 정의하는,
    공항용 로봇.
    3. The method of claim 2,
    Wherein the airport robot includes a camera,
    The camera captures an image of a behavior change of the user,
    Wherein,
    A method of analyzing a frame of a captured image based on a database,
    Airport robots.
  5. 제4 항에 있어서,
    상기 카메라로 촬영한 영상은 초당 30 프레임 임력을 받는,
    공항용 로봇.
    5. The method of claim 4,
    The image captured by the camera is received at a rate of 30 frames per second,
    Airport robots.
  6. 제4 항에 있어서,
    상기 제어부는,
    상기 정의된 사용자 행위에 따라 출력된 정보의 정확도를 판단하는,
    공항용 로봇.
    5. The method of claim 4,
    Wherein,
    Determining the accuracy of the information output according to the defined user action,
    Airport robots.
  7. 제6 항에 있어서,
    상기 제어부는,
    정보의 정확도가 기 정해진 수치 이상인 경우 긍정 표현 이모티콘을 디스플레이부에 출력하고, 정보의 정확도가 기 정해진 수치 미만인 경우 부정 표현 이모티콘을 디스플레이부에 출력하도록 제어하는,
    공항용 로봇,
    The method according to claim 6,
    Wherein,
    Outputting a positive expression emoticon to the display unit when the accuracy of the information is not less than a predetermined value and outputting a negative expression emoticon to the display unit when the accuracy of the information is less than the predetermined value,
    Airport robots,
  8. 제4 항에 있어서,
    상기 제어부는,
    상기 사용자의 얼굴을 인식하고, 상기 인식 결과에 따라 상기 사용자의 성별 및 연령대를 분석하고, 상기 분석 결과에 따라 상기 사용자의 현재 상태와 매칭되는 표정 이모티콘을 디스플레이부에 출력하도록 제어하는,
    공항용 로봇.
    5. The method of claim 4,
    Wherein,
    Wherein the controller is configured to recognize the face of the user, analyze the sex and age of the user according to the recognition result, and output the facial expression emoticons matching the current state of the user on the display unit,
    Airport robots.
  9. 제1 항에 있어서,
    상기 제어부는,
    기 정해진 거리 내에 사용자 근접을 감지하는 경우, 경고음과 함께 놀라움에 대응하는 감정 이모티콘을 디스플레이부에 출력하도록 제어하는,
    공항용 로봇.
    The method according to claim 1,
    Wherein,
    Controlling the emotional emoticon corresponding to the surprise with the warning sound to be output to the display unit when the proximity of the user is detected within the predetermined distance,
    Airport robots.
KR1020160178444A 2016-12-23 2016-12-23 Robot for airport and method thereof KR20180074404A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160178444A KR20180074404A (en) 2016-12-23 2016-12-23 Robot for airport and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160178444A KR20180074404A (en) 2016-12-23 2016-12-23 Robot for airport and method thereof
PCT/KR2017/014492 WO2018117514A1 (en) 2016-12-23 2017-12-11 Airport robot and movement method therefor

Publications (1)

Publication Number Publication Date
KR20180074404A true KR20180074404A (en) 2018-07-03

Family

ID=62627550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160178444A KR20180074404A (en) 2016-12-23 2016-12-23 Robot for airport and method thereof

Country Status (2)

Country Link
KR (1) KR20180074404A (en)
WO (1) WO2018117514A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200016466A (en) * 2018-08-07 2020-02-17 조무성 Communication based emotional content apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100458079B1 (en) * 2001-11-23 2004-11-18 (주)로보티즈 A emotion expressing robot
KR100515798B1 (en) * 2003-02-10 2005-09-21 한국과학기술원 Robot driving method using facial gestures
KR101309562B1 (en) * 2006-10-25 2013-09-17 에스케이플래닛 주식회사 Bodily sensation Education method using motion detection in Robot and thereof system
KR100904191B1 (en) * 2008-05-29 2009-06-22 (주)다사로봇 Guidance robot
KR20160072956A (en) * 2014-12-16 2016-06-24 이주영 A method for transferring message with robot apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200016466A (en) * 2018-08-07 2020-02-17 조무성 Communication based emotional content apparatus

Also Published As

Publication number Publication date
WO2018117514A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
JP5366048B2 (en) Information provision system
CN106660205B (en) System, method and computer program product for handling humanoid robot-human interaction
US20200008639A1 (en) Artificial intelligence monitoring device and method of operating the same
US20190354178A1 (en) Artificial intelligence device capable of being controlled according to user action and method of operating the same
US20210064792A1 (en) Artificial intelligence device for guiding furniture placement and method of operating the same
WO2018121283A1 (en) Service providing method and device, mobile service apparatus, and storage medium
US10872438B2 (en) Artificial intelligence device capable of being controlled according to user's gaze and method of operating the same
KR20190100085A (en) Robor being capable of detecting danger situation using artificial intelligence and operating method thereof
US20200262071A1 (en) Mobile robot for recognizing queue and operating method of mobile robot
KR20180074404A (en) Robot for airport and method thereof
KR102286137B1 (en) Artificial intelligence for guiding arrangement location of air cleaning device and operating method thereof
KR20190096854A (en) Artificial intelligence server for controlling a plurality of robots using artificial intelligence
KR20210004487A (en) An artificial intelligence device capable of checking automatically ventaliation situation and operating method thereof
US20210121035A1 (en) Robot cleaner and method of operating the same
KR20210066602A (en) Artificial intelligence cleaner and operating method thereof
KR20190094311A (en) Artificial intelligence robot and operating method thereof
KR102297655B1 (en) Artificial intelligence device for controlling external device
KR20190104488A (en) Artificial intelligence robot for managing movement of object using artificial intelligence and operating method thereof
KR20190098102A (en) Artificial intelligence device for controlling external device
KR102305206B1 (en) Robot cleaner for cleaning in consideration of floor state through artificial intelligence and operating method thereof
US20200019181A1 (en) Robot cleaner for avoiding stuck situation through artificial intelligence and method of operating the same
KR20210047434A (en) Robot cleaner and operating method thereof
KR20200128486A (en) Artificial intelligence device for determining user's location and method thereof
KR20190095193A (en) An artificial intelligence apparatus for managing operation of artificial intelligence system and method for the same
US20190365176A1 (en) Robot cleaner for cleaning in consideration of floor state through artificial intelligence and operating method for the same