WO2018117514A1 - 공항용 로봇 및 그의 동작 방법 - Google Patents

공항용 로봇 및 그의 동작 방법 Download PDF

Info

Publication number
WO2018117514A1
WO2018117514A1 PCT/KR2017/014492 KR2017014492W WO2018117514A1 WO 2018117514 A1 WO2018117514 A1 WO 2018117514A1 KR 2017014492 W KR2017014492 W KR 2017014492W WO 2018117514 A1 WO2018117514 A1 WO 2018117514A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
user
airport robot
airport
emoticon
Prior art date
Application number
PCT/KR2017/014492
Other languages
English (en)
French (fr)
Inventor
박정민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2018117514A1 publication Critical patent/WO2018117514A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/005—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators using batteries, e.g. as a back-up power source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Definitions

  • voice recognition software and a voice synthesizer may be used.
  • TTS voice synthesizer
  • the interaction between the robot and the user may be communicated or communicated with the user, but there is a problem that it is difficult to expect a natural conversation due to a misunderstanding problem.
  • Another object of the present invention is to enable an emotional interaction between the airport user and the airport robot, not merely information transmission.
  • the airport robot analyzes the user's motion and the like and provides an appropriate GUI (Graphic User Interface) in accordance with the user's request, thereby bringing the effect of more efficiently interface with the user.
  • GUI Graphic User Interface
  • FIG. 2 is a view showing in detail the configuration of the micom and the AP of the airport robot according to another embodiment of the present invention.
  • the obstacle recognition unit 130 may include an IR remote control receiver 131, a USS 132, a Cliff PSD 133, an ARS 134, a Bumper 135, and an OFS 136.
  • the IR remote control receiver 131 may include a sensor for receiving a signal of an infrared (IR) remote controller for remotely controlling the airport robot.
  • the USS (Ultrasonic sensor) 132 may include a sensor for determining a distance between the obstacle and the airport robot using an ultrasonic signal.
  • Cliff PSD 133 may include a sensor for detecting cliffs or cliffs in the airport robot driving range of 360 degrees.
  • Attitude Reference System (ARS) 134 may include a sensor for detecting a posture of an airport robot.
  • the ARS 134 may include a sensor composed of three axes of acceleration and three axes of gyro for detecting the amount of rotation of the airport robot.
  • Bumper 135 may include a sensor for detecting a collision between the airport robot and the obstacle. The sensor included in the bumper 135 may detect a collision between the airport robot and the obstacle in a 360 degree range.
  • OFS Optical Flow Sensor, 1366
  • OFS Optical Flow Sensor
  • the driving unit 140 may include a motor driver 141, a wheel motor 142, a rotation motor 143, a main brush motor 144, a side brush motor 145, and a suction motor 146. It may include.
  • the motor driver 141 may serve to drive a wheel motor, a brush motor, and a suction motor for driving and cleaning the airport robot.
  • the wheel motor 142 may drive a plurality of wheels for driving the airport robot.
  • the rotary motor 143 may be driven for left and right rotation and up and down rotation of the main body of the airport robot or the head of the airport robot, or may be driven to change the direction or rotate the wheels of the airport robot.
  • the main brush motor 144 may drive a brush for sweeping up dirt from the airport floor.
  • the side brush motor 145 may drive a brush that sweeps up dirt in an area around an outer surface of the airport robot.
  • the suction motor 146 may be driven to suction dirt from the airport floor.
  • the device and the user identifier (ID) stored in the memory device 5103 may be used to determine the location of the user wearing the operation signal input unit 5100 or to determine basic information about the current device or the user. 510 2.
  • the package and the wearing part 5105 are formed in a form which can be worn by a user, and the shape and size of the wearing part 5105 are determined by the selection of detailed parts.
  • the wearable form may be worn on various places of the body, and a typical wearable form such as a ring may be used.
  • the operation recognition unit 5200 may include a wireless transmitter / receiver 5210 that receives a signal transmitted from the operation signal input unit 5100, a recognition device 5220, and a recognition device that interprets the operation data of the received signal as an individual operation.
  • the neural network 5220 is used in the process of recognizing the signal as an individual operation, and the neural network required according to the control command of the situation management unit 5400 among the learned neural networks 5330 and various learned neural networks 5330 according to the user and robot application.
  • a neural network selector 5240 for selecting 5230.
  • the application situation unit 5430 and the robot situation unit 5450 record control commands and states that are disclosed from the outside.
  • the robot application software 5800 controls the operation of the robot 5500 or outputs related information to the image output device 5600 and the audio output device 5700 using a command generated by the command interpreter 5300.
  • the current input operation and its result may be shown to the user through the image output device 5600.
  • the display device in the airport may output image output information in cooperation with the robot application software 5800.
  • the robot when the robot performs a specific movement (for example, when shaking the tail), if the user prefers the action, the user touches the touch sensor mounted on the robot, and by the input of the user The weight for a particular action is high. Therefore, the robot recognizes that the user prefers such a specific movement, and when the robot operates arbitrarily, the robot tends to frequently act on the specific movement.
  • a specific movement for example, when shaking the tail
  • the robot can determine what kind of movements or songs the user prefers through the interaction between the robot and the user, and the behavior of the robot is determined by reflecting the user's preferred behavior.

Abstract

본 발명의 일 실시예에 의한 공항용 로봇은 디스플레이부, 사용자로부터 입력을 수신하는 유저 인터페이스부, 상기 인체 및 상기 물체의 위치를 센싱하는 위치 인식부 및 상기 공항용 로봇의 동작을 제어하는 제어부를 포함하고, 상기 제어부는 사용자의 동작을 동작센서를 통해 신호로 감지하고, 상기 감지된 신호를 해석하여 상황에 맞는 개별동작으로 인식하고, 상기 인식된 개별동작을 상황과 응용에 맞는 동작을 수행하도록 제어하는 것을 특징으로 한다.

Description

공항용 로봇 및 그의 동작 방법
본 발명은 공항에 배치되는 로봇 및 그의 동작 방법에 관한 것으로, 보다 상세하게는 공항에 배치되어 사용자들에게 길 안내를 제공하는 공항용 안내 로봇 및 그의 동작 방법에 관한 것이다.
로봇이 기존의 정보기기와 구별되는 것은 이동을 할 수 있는 구동장치, 물건을 들어올릴 수 있는 로봇 팔 그리고 내장된 카메라의 각도를 조절할 수 있는 기계장치 등과 같은 작동장치를 구비하고 있다는 것이다. 이러한 작동장치들은 산업, 군사용 로봇 기술로부터 발전하였다.
일반적으로 산업용, 군사용 로봇은 미리 작성된 프로그램에 따라 동작을 하기 때문에 작동을 시작한 후에는 사용자와 상호작용을 하기 위해 동작을 제어하기가 힘들었다. 하지만, 사람의 편리를 위한 서비스 로봇은 사용자의 다양한 요구에 적합하게 대응할 수 있는 지능적인 작업수행과 사용자와의 상호작용이 필요하게 되었다. 또한, 최근의 서비스 로봇은 컴퓨터와 유사한 다양한 기능을 구비하고 있기 때문에 컴퓨터 소프트웨어가 제공하는 GUI와 유사한 상호작용방법이 필요하게 되었다. 그래서 이러한 필요성을 만족시켜 사용자와 서비스 로봇의 상호작용을 수행할 수 있는 다양한 사용자 인터페이스 장치가 고안되어 서비스 로봇에 장착되고 있다.
로봇과 사용자 사이의 인터페이스 장치는 크게 출력장치, 입력장치, 양방향장치로 나눌 수 있다. 출력장치는 주로 영상과 음성을 이용하여 정보를 출력하였다. 영상출력장치는 로봇에 장착을 하기 위해 로봇 내부에 많은 공간이 필요하고 또한 전력이 많이 소비되는 문제와 출력된 영상을 이용하기 위해서는 사용자와의 거리가 근접해야 하는 문제가 있었다.
음성출력장치는 영상출력장치에 비해 공간과 소비전력 측면에서 이점이 있고 최근 음성합성기술을 활용하여 사용자에게 음성으로 정보를 전달하는 기능이 있어 많이 채택되고 있다. 최근에 카메라를 통한 영상을 입력하는 경우에 영상 인식 소프트웨어를 활용하여 사용자의 얼굴과 동작을 인식할 수 있다. 하지만 카메라의 특성상 입력범위에 있어서 공간적, 광학적 제약이 있어 사용자 등이 카메라의 범위에 위치해야 하는 불편함과 영상 인식 기술을 동적 환경에 응용하는 것에 기술적으로 한계가 있다는 문제가 있다.
마이크를 이용하여 음성을 입력하는 경우에는 음성 인식 소프트웨어와 음성합성기(TTS)를 활용할 수 있다. 다만 로봇과 사용자 사이에 명령을 전달하거나 대화를 하는 상호작용이 이루어질 수 있지만 오인식 문제로 자연스러운 대화를 기대하기 어렵다는 문제가 있다.
로봇은 다양한 감정 표현에 해당하는 로봇의 행동을 데이터베이스화 시켜둔 뒤 화상 카메라로 입력되는 동영상을 움직임 검출방식으로 처리하여 사용자의 행동을 판단할 수 있다. 그리고, 로봇의 머리, 몸, 팔, 표정을 움직여 감정을 표현할 수 있다. 로봇은 다양한 행동 양식을 표현할 수 있으나, 사용자의 행동을 파악하여 이에 대응하는 행동 양식을 표현한 것은 아니라는 문제점이 있었다. 따라서, 사용자의 행동을 파악하기 위해서는 다양한 vision기술에 의해 사용자의 행동 양식을 파악하고 이에 해당하는 표준화 되고 일반적인 감정 표현 방식이 제공되어야만 한다.
본 발명의 목적은 사용자의 동작을 분석하여 사용자의 요청에 부합하는 적절한 대응을 자동으로 수행하는 로봇을 제공하는 것이다.
본 발명의 다른 목적은 단순히 정보 전달이 아닌 공항 이용객과 공항용 로봇이 감정적인 인터랙션(interaction) 이 가능하도록 하는 것이다.
본 발명에 따른 공항용 로봇은 동작센서로 사용자의 동작을 감지하고, 감지된 사용자의 동작을 데이터베이스에 저장된 복수의 사용자 메시지와 매칭시킴으로써, 사용자의 의도를 정확하게 파악할 수 있다.
본 발명에 따른 공항용 로봇은 특정 상황에 출력되는 다양한 감정 이모티콘을 데이터베이스에 저장하여, 사용자와 상황에 부합하는 감정 이모티콘을 적절하게 디스플레이부에 출력할 수 있다.
본 발명에 따른 공항용 로봇은 사용자의 동작 등을 분석하여 사용자의 요청에 부합하는 적절한 GUI(Graphic User Interface)를 제공함으로써, 사용자와 보다 효율적으로 인터페이스 할 수 있는 효과를 가져온다.
본 발명에 따른 공항용 로봇은 현재 상태 및 사용자에 적합한 다양한 감정 이모티콘을 표시함으로써, 사용자의 인터랙션(interaction) 만족도를 향상시키는 효과를 가져온다.
도 1은 본 발명의 일 실시예에 의한 공항 로봇의 하드웨어 구성을 도시한 블록도이다.
도 2는 본 발명의 다른 일 실시예에 의한 공항 로봇의 마이컴 및 AP의 구성을 자세하게 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 공항 로봇 시스템의 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 의한 공항 로봇이 기 정해진 거리마다 인체 또는 물체를 감지하는 일 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 의한 공항 로봇의 동작기반 인터페이스 시스템을 개략적으로 나타내는 블록도이다.
도 6은 본 발명의 일 실시예에 의한 동작신호입력부의 구성을 나타내는 블록도이다.
도 7은 본 발명의 일 실시예에 의한 동작인식부, 명령해석부와 상황관리부의 구성을 나타내는 블록도이다.
도 8은 본 발명의 일 실시예에 의한 공항 로봇 응용 소프트웨어의 구성을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 의한 동작기반 인터페이스 방법을 개략적으로 나타내는 흐름도이다.
도 10은 본 발명의 다른 일 실시예에 의한 공항 로봇의 하드웨어 블록도이다.
도 11은 본 발명의 다른 일 실시예에 의한 공항 로봇의 감정표현방법을 도시한 블록도이다.
도 12는 본 발명의 다른 일 실시예에 의한 공항 로봇간의 친밀도에 대응하는 행동의 예를 도시한 도표이다.
도 13은 본 발명에 따른 사용자의 행동을 판단하여 공항 로봇이 몸을 움직여 감정을 표현하는 방법에 관한 흐름도이다.
도 14는 사용자의 행동을 판단하여 몸으로 감정을 표현하는 공항 로봇에 관한 구성도이다.
도 15는 본 발명의 일 실시예에 의한 공항 로봇이 디스플레이부에 감정 이모티콘을 출력하는 일예를 설명하기 위한 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시예에 의한 공항 로봇의 하드웨어 구성을 도시한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 의한 공항 로봇(100)의 하드웨어는 마이컴(Micom) 그룹과 및 AP 그룹으로 구성될 수 있다. 마이컴(110) 그룹은 마이컴(110), 전원부(120), 장애물 인식부(130) 및 주행구동부(140)을 포함할 수 있다. AP 그룹은 AP(150), 유저 인터페이스부(160), 사물 인식부(170), 위치 인식부(180) 및 LAN(190)을 포함할 수 있다. 상기 유저 인터페이스부(160)는 통신부로 명명될 수 있다.
마이컴(110)은 공항 로봇의 하드웨어 중 배터리 등을 포함하는 전원부(120), 각종 센서들을 포함하는 장애물 인식부(130) 및 복수 개의 모터 및 휠들을 포함하는 주행구동부(140)를 관리할 수 있다.
전원부(120)는 배터리 드라이버(battery Driver, 121) 및 리튬-이온 배터리(Li-Ion Battery, 122)를 포함할 수 있다. 배터리 드라이버(121)는 리튬-이온 배터리(122)의 충전과 방전을 관리할 수 있다. 리튬-이온 배터리(122)는 공항 로봇의 구동을 위한 전원을 공급할 수 있다. 리튬-이온 배터리(122)는 24V/102A 리튬-이온 배터리 2개를 병렬로 연결하여 구성될 수 있다.
장애물 인식부(130)는 IR 리모콘 수신부(131), USS(132), Cliff PSD(133), ARS(134), Bumper(135) 및 OFS(136)를 포함할 수 있다. IR 리모콘 수신부(131)는 공항 로봇을 원격 조정하기 위한 IR(Infrared) 리모콘의 신호를 수신하는 센서를 포함할 수 있다. USS(Ultrasonic sensor, 132)는 초음파 신호를 이용하여 장애물과 공항 로봇 사이의 거리를 판단하기 위한 센서를 포함할 수 있다. Cliff PSD(133)는 360도 전방향의 공항 로봇 주행 범위에서 낭떠러지 또는 절벽 등을 감지하기 위한 센서를 포함할 수 있다. ARS(Attitude Reference System, 134)는 공항 로봇의 자세를 검출할 수 있는 센서를 포함할 수 있다. ARS(134)는 공항 로봇의 회전량 검출을 위한 가속도 3축 및 자이로 3축으로 구성되는 센서를 포함할 수 있다. Bumper(135)는 공항 로봇과 장애물 사이의 충돌을 감지하는 센서를 포함할 수 있다. Bumper(135)에 포함되는 센서는 360도 범위에서 공항 로봇과 장애물 사이의 충돌을 감지할 수 있다. OFS(Optical Flow Sensor, 136)는 공항 로봇의 주행 시 헛바퀴가 도는 현상 및 다양한 바닥 면에서 공항 로봇의 주행거리를 측정할 수 있는 센서를 포함할 수 있다.
주행구동부(140)는 모터 드라이버(Motor Drivers, 141), 휠 모터(142), 회전 모터(143), 메인 브러시 모터(144), 사이드 브러시 모터(145) 및 석션 모터 (Suction Motor, 146)를 포함할 수 있다. 모터 드라이버(141)는 공항 로봇의 주행 및 청소를 위한 휠 모터, 브러시 모터 및 석션 모터를 구동하는 역할을 수행할 수 있다. 휠 모터(142)는 공항 로봇의 주행을 위한 복수 개의 바퀴를 구동시킬 수 있다. 회전 모터(143)는 공항 로봇의 메인 바디 또는 공항 로봇의 헤드부의 좌우 회전, 상하 회전을 위해 구동되거나 공항 로봇의 바퀴의 방향 전환 또는 회전을 위하여 구동될 수 있다. 메인 브러시 모터(144)는 공항 바닥의 오물을 쓸어 올리는 브러시를 구동시킬 수 있다. 사이드 브러시 모터(145)는 공항 로봇의 바깥면 주변 영역의 오물을 쓸어 담는 브러시를 구동시킬 수 있다. 석션 모터(146)는 공항 바닥의 오물을 흡입하기 위해 구동될 수 있다.
AP(Application Processor, 150)는 공항 로봇의 하드웨어 모듈 전체 시스템을 관리하는 중앙 처리 장치로서 기능할 수 있다. AP(150)는 각종 센서들을 통해 들어온 위치 정보를 이용하여 주행을 위한 응용프로그램 구동과 사용자 입출력 정보를 마이컴(110) 측으로 전송하여 모터 등의 구동을 수행하게 할 수 있다.
유저 인터페이스부(160)는 유저 인터페이스 프로세서(UI Processor, 161), LTE 라우터(LTE Router, 162), WIFI SSID(163), 마이크 보드(164), 바코드 리더기(165), 터치 모니터(166) 및 스피커(167)를 포함할 수 있다. 유저 인터페이스 프로세서(161)는 사용자의 입출력을 담당하는 유저 인터페이스부의 동작을 제어할 수 있다. LTE 라우터(162)는 외부로부터 필요한 정보를 수신하고 사용자에게 정보를 송신하기 위한 LTE 통신을 수행할 수 있다. WIFI SSID(163)는 WiFi의 신호 강도를 분석하여 특정 사물 또는 공항 로봇의 위치 인식을 수행할 수 있다. 마이크 보드(164)는 복수 개의 마이크 신호를 입력 받아 음성 신호를 디지털 신호인 음성 데이터로 처리하고, 음성 신호의 방향 및 해당 음성 신호를 분석할 수 있다. 바코드 리더기(165)는 공항에서 사용되는 복수 개의 티켓에 기재된 바코드 정보를 리드할 수 있다. 터치 모니터(166)는 사용자의 입력을 수신하기 위해 구성된 터치 패널 및 출력 정보를 표시하기 위한 모니터를 포함할 수 있다. 스피커(167)는 사용자에게 특정 정보를 음성으로 알려주는 역할을 수행할 수 있다.
사물인식부(170)는 2D 카메라(171), RGBD 카메라(172) 및 인식 데이터 처리 모듈(173)를 포함할 수 있다. 2D 카메라(171)는 2차원 영상을 기반으로 사람 또는 사물을 인식하기 위한 센서일 수 있다. RGBD 카메라(Red, Green, Blue, Distance, 172)로서, RGBD 센서들을 갖는 카메라 또는 다른 유사한 3D 이미징 디바이스들로부터 획득되는 깊이(Depth) 데이터를 갖는 캡처된 이미지들을 이용하여 사람 또는 사물을 검출하기 위한 센서일 수 있다. 인식 데이터 처리 모듈(173)은 2D 카메라(171) 및 RGBD 카메라(172)로부터 획득된 2D 이미지/영상 또는 3D 이미지/영상 등의 신호를 처리하여 사람 또는 사물을 인식할 수 있다.
위치인식부(180)는 스테레오 보드(Stereo B/D, 181), 라이더(Lidar, 182) 및 SLAM 카메라(183)를 포함할 수 있다. SLAM 카메라(Simultaneous Localization And Mapping 카메라, 183)는 동시간 위치 추적 및 지도 작성 기술을 구현할 수 있다. 공항 로봇은 SLAM 카메라(183)를 이용하여 주변 환경 정보를 검출하고 얻어진 정보를 가공하여 임무 수행 공간에 대응되는 지도를 작성함과 동시에 자신의 절대 위치를 추정할 수 있다. 라이더(Light Detection and Ranging : Lidar, 182)는 레이저 레이더로서, 레이저 빔을 조사하고 에어로졸에 의해 흡수 혹은 산란된 빛 중 후방산란된 빛을 수집, 분석하여 위치 인식을 수행하는 센서일 수 있다. 스테레오 보드(181)는 라이더(182) 및 SLAM 카메라(183) 등으로부터 수집되는 센싱 데이터를 처리 및 가공하여 공항 로봇의 위치 인식과 장애물 인식을 위한 데이터 관리를 담당할 수 있다.
랜(LAN, 190)은 사용자 입출력 관련 유저 인터페이스 프로세서(161), 인식 데이터 처리 모듈(173), 스테레오 보드(181) 및 AP(150)와 통신을 수행할 수 있다.
도 2는 본 발명의 다른 일 실시예에 의한 공항 로봇의 마이컴 및 AP의 구성을 자세하게 도시한 도면이다.
도 2에 도시된 바와 같이, 공항 로봇의 인식 및 행동을 제어하기 위해서 마이컴(210)과 AP(220)는 다양한 실시예로 구현될 수 있다.
일 예로서, 마이컴(210)은 데이터 액세스 서비스 모듈(Data Access Service Module, 215)를 포함할 수 있다. 데이터 액세스 서비스 모듈(215)은 데이터 획득 모듈(Data acquisition module, 211), 이머전시 모듈(Emergency module, 212), 모터 드라이버 모듈(Motor driver module, 213) 및 배터리 매니저 모듈(Battery manager module, 214)을 포함할 수 있다. 데이터 획득 모듈(211)은 공항 로봇에 포함된 복수 개의 센서로부터 센싱된 데이터를 취득하여 데이터 액세스 서비스 모듈(215)로 전달할 수 있다. 이머전시 모듈(212)은 공항 로봇의 이상 상태를 감지할 수 있는 모듈로서, 공항 로봇이 기 정해진 타입의 행동을 수행하는 경우에 이머전시 모듈(212)은 공항 로봇이 이상 상태에 진입했음을 감지할 수 있다. 모터 드라이버 모듈(213)은 공항 로봇의 주행 및 청소를 위한 휠, 브러시, 석션 모터의 구동 제어를 관리할 수 있다. 배터리 매니저 모듈(214)은 도 1의 리튬-이온 배터리(122)의 충전과 방전을 담당하고, 공항 로봇의 배터리 상태를 데이터 액세스 서비스 모듈(215)에 전달할 수 있다.
AP(220)는 각종 카메라 및 센서들과 사용자 입력 등을 수신하고, 인식 가공하여 공항 로봇의 동작을 제어하는 역할을 수행할 수 있다. 인터랙션 모듈(221)은 인식 데이터 처리 모듈(173)로부터 수신하는 인식 데이터와 유저 인터페이스 모듈(222)로부터 수신하는 사용자 입력을 종합하여, 사용자와 공항 로봇이 상호 교류할 수 있는 소프트웨어(Software)를 총괄하는 모듈일 수 있다. 유저 인터페이스 모듈(222)은 공항 로봇의 현재 상항 및 조작/정보 제공 등을 위한 모니터인 디스플레이부(223)와 키(key), 터치 스크린, 리더기 등과 같은 사용자의 근거리 명령을 수신하거나, 공항 로봇을 원격 조정을 위한 IR 리모콘의 신호와 같은 원거리 신호를 수신하거나, 마이크 또는 바코드 리더기 등으로부터 사용자의 입력 신호를 수신하는 사용자 입력부(224)로부터 수신되는 사용자 입력을 관리할 수 있다. 적어도 하나 이상의 사용자 입력이 수신되면, 유저 인터페이스 모듈(222)은 상태 관리 모듈(State Machine module, 225)로 사용자 입력 정보를 전달할 수 있다. 사용자 입력 정보를 수신한 상태 관리 모듈(225)은 공항 로봇의 전체 상태를 관리하고, 사용자 입력 대응하는 적절한 명령을 내릴 수 있다. 플래닝 모듈(226)은 상태 관리 모듈(225)로부터 전달받은 명령에 따라서 공항 로봇의 특정 동작을 위한 시작과 종료 시점/행동을 판단하고, 공항 로봇이 어느 경로로 이동해야 하는지를 계산할 수 있다. 네비게이션 모듈(227)은 공항 로봇의 주행 전반을 담당하는 것으로서, 플래닝 모듈(226)에서 계산된 주행 루트에 따라서 공항 로봇이 주행하게 할 수 있다. 모션 모듈(228)은 주행 이외에 기본적인 공항 로봇의 동작을 수행하도록 할 수 있다.
또한, 본 발명의 다른 일 실시예에 의한 공항 로봇은 위치 인식부(230)를 포함할 수 있다. 위치 인식부(230)는 상대 위치 인식부(231)와 절대 위치 인식부(234)를 포함할 수 있다. 상대 위치 인식부(231)는 RGM mono(232) 센서를 통해 공항 로봇의 이동량을 보정하고, 일정한 시간 동안 공항 로봇의 이동량을 계산할 수 있고, LiDAR(233)를 통해 현재 공항 로봇의 주변 환경을 인식할 수 있다. 절대 위치 인식부(234)는 Wifi SSID(235) 및 UWB(236)을 포함할 수 있다. Wifi SSID(235)는 공항 로봇의 절대 위치 인식을 위한 UWB 센서 모듈로서, Wifi SSID 감지를 통해 현재 위치를 추정하기 위한 WIFI 모듈이다. Wifi SSID(235)는 Wifi의 신호 강도를 분석하여 공항 로봇의 위치를 인식할 수 있다. UWB(236)는 발신부와 수신부 사이의 거리를 계산하여 공항 로봇의 절대적 위치를 센싱할 수 있다.
또한, 본 발명의 다른 일 실시예에 의한 공항 로봇은 맵 관리 모듈(240)을 포함할 수 있다. 맵 관리 모듈(240)은 그리드 모듈(Grid module, 241), 패스 플래닝 모듈(Path Planning module, 242) 및 맵 분할 모듈(243)을 포함할 수 있다. 그리드 모듈(241)은 공항 로봇이 SLAM 카메라를 통해 생성한 격자 형태의 지도 혹은 사전에 미리 공항 로봇에 입력된 위치 인식을 위한 주변환경의 지도 데이터를 관리할 수 있다. 패스 플래닝 모듈(242)은 복수 개의 공항 로봇들 사이의 협업을 위한 맵 구분에서, 공항 로봇들의 주행 경로 계산을 담당할 수 있다. 또한, 패스 플래닝 모듈(242)은 공항 로봇 한대가 동작하는 환경에서 공항 로봇이 이동해야 할 주행 경로도 계산할 수 있다. 맵 분할 모듈(243)은 복수 개의 공항 로봇들이 각자 담당해야할 구역을 실시간으로 계산할 수 있다.
위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들은 다시 상태 관리 모듈(225)로 전달될 수 있다. 상태 관리 모듈(225)은 위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들에 기초하여, 공항 로봇의 동작을 제어하도록 플래닝 모듈(226)에 명령을 내릴 수 있다.
다음으로 도 3은 본 발명의 실시 예에 따른 공항 로봇 시스템의 구조를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 공항 로봇 시스템은 이동 단말기(310), 서버(320), 공항 로봇(300) 및 카메라(330)를 포함할 수 있다.
이동 단말기(310)는 공항 내 서버(320)와 데이터를 송수신할 수 있다. 예를 들어, 이동 단말기(310)는 서버(320)로부터 비행 시간 스케쥴, 공항 지도 등과 같은 공항 관련 데이터를 수신할 수 있다. 사용자는 이동 단말기(310)를 통해 공항에서 필요한 정보를 서버(320)로부터 수신하여 얻을 수 있다. 또한, 이동 단말기(310)는 서버(320)로 사진이나 동영상, 메시지 등과 같은 데이터를 전송할 수 있다. 예를 들어, 사용자는 미아 사진을 서버(320)로 전송하여 미아 접수를 하거나, 공항 내 청소가 필요한 구역의 사진을 카메라로 촬영하여 서버(320)로 전송함으로써 해당 구역의 청소를 요청할 수 있다.
또한, 이동 단말기(310)는 공항 로봇(300)과 데이터를 송수신할 수 있다.
예를 들어, 이동 단말기(310)는 공항 로봇(300)을 호출하는 신호나 특정 동작을 수행하도록 명령하는 신호 또는 정보 요청 신호 등을 공항 로봇(300)으로 전송할 수 있다. 공항 로봇(300)은 이동 단말기(310)로부터 수신된 호출 신호에 응답하여 이동 단말기(310)의 위치로 이동하거나 명령 신호에 대응하는 동작을 수행할 수 있다. 또는 공항 로봇(300)은 정보 요청 신호에 대응하는 데이터를 각 사용자의 이동 단말기(310)로 전송할 수 있다.
다음으로, 공항 로봇(300)은 공항 내에서 순찰, 안내, 청소, 방역, 운반 등의 역할을 할 수 있다.
공항 로봇(300)은 이동 단말기(310) 또는 서버(320)와 신호를 송수신할 수 있다. 예를 들어, 공항 로봇(300)은 서버(320)와 공항 내 상황 정보 등을 포함한 신호를 송수신할 수 있다. 또한, 공항 로봇(300)은 공항 내 카메라(330)로부터 공항의 각 구역들을 촬영한 영상 정보를 수신할 수 있다. 따라서 공항 로봇(300)은 공항 로봇(300)이 촬영한 영상 정보 및 카메라(330)로부터 수신한 영상 정보를 종합하여 공항의 상황을 모니터링할 수 있다.
공항 로봇(300)은 사용자로부터 직접 명령을 수신할 수 있다. 예를 들어, 공항 로봇(300)에 구비된 디스플레이부를 터치하는 입력 또는 음성 입력 등을 통해 사용자로부터 명령을 직접 수신할 수 있다. 공항 로봇(300)은 사용자, 이동 단말기(310) 또는 서버(320) 등으로부터 수신된 명령에 따라 순찰, 안내, 청소 등의 동작을 수행할 수 있다.
다음으로 서버(320)는 이동 단말기(310), 공항 로봇(300), 카메라(330)로부터 정보를 수신할 수 있다. 서버(320)는 각 장치들로부터 수신된 정보들을 통합하여 저장 및 관리할 수 있다. 서버(320)는 저장된 정보들을 이동 단말기(310) 또는 공항 로봇(300)에 전송할 수 있다. 또한, 서버(320)는 공항에 배치된 복수의 공항 로봇(300)들 각각에 대한 명령 신호를 전송할 수 있다.
카메라(330)는 공항 내에 설치된 카메라를 포함할 수 있다. 예를 들어, 카메라(330)는 공항 내에 설치된 복수 개의 CCTV(closed circuit television) 카메라, 적외선 열감지 카메라 등을 모두 포함할 수 있다. 카메라(330)는 촬영된 영상을 서버(320) 또는 공항 로봇(300)에 전송할 수 있다.
도 4는 본 발명의 일 실시예에 의한 공항 로봇이 기 정해진 거리마다 인체 또는 물체를 감지하는 일 예를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이 본 발명의 일 실시예에 의한 공항 로봇(400)은 거리 또는 일정한 범위(range) 마다 서로 다른 형태의 물체 인식 모드를 가동할 수 있다. 예를 들어, 인체 또는 물체가 제1 범위(410)에서 감지되는 경우, 공항 로봇(400)의 유저 인터페이스부(160)가 자동으로 웨이크업(wake-up)될 수 있다. 사용자는 공항 로봇(400)의 센싱 범위 중 제1 범위(410)에 도달할 때까지만 가까이 접근하면, 공항 로봇(400)을 수동으로 깨우지 않고도 공항 로봇과 인터페이스할 수 있다. 또한, 인체 또는 물체가 제2 범위(420)에서 감지되는 경우, 공항 로봇(400)은 사용자와 인터페이스하기 위한 모드를 실행할 수 있다. 사용자가 제2 범위(420)에 있는 경우에, 공항 로봇(400)은 사용자가 요청하기 전에 먼저 인터페이스 가능함을 알리는 메시지를 스피커 또는 텍스트로 전달할 수 있다. 또한, 공항 로봇(400)은 사용자가 제3 범위(430) 이내로 들어오는 것을 감지하는 경우, 위험 모드를 가동할 수 있다. 이 때, 공항 로봇(400)은 경고 음을 스피커로 출력하거나, 경고 메시지 등을 모니터에 출력하여 사용자에게 너무 가까이 있음을 알릴 수 있다. 그리고, 사용자가 다시 제3 범위(430)에서 제2 범위(420)이상으로 멀어지는 경우, 위험 모드를 중지하고, 안전한 거리가 되었음을 사용자에게 알릴 수 있다. 또는, 공항 로봇(400)은 사용자가 제3 범위(430) 이내로 들어오는 것을 감지하는 경우, 자체적으로 사용자와 일정 거리를 유지하거나 사용자가 제2 범위(420) 내에 들어오도록 공항 로봇(400) 스스로 멀리 떨어지는 방향으로 이동할 수 있다.
나아가, 공항 로봇(400)은 사용자를 특정 목적지까지 동행하면서 길 안내 서비스를 제공할 수 있다. 이 경우, 공항 로봇(400)은 사용자가 적어도 제1 범위(410) 내에 위치하도록 계속해서 사용자와의 거리를 센싱하면서 이동할 수 있다. 따라서, 공항 로봇(400)은 사용자와의 거리가 항상 일정한 범위 내에 들어오도록 유지하면서 길 안내 서비스를 제공할 수 있다.
도 5는 본 발명의 일 실시예에 의한 공항 로봇의 동작기반 인터페이스 시스템을 개략적으로 나타내는 블록도이다. 도 6은 본 발명의 일 실시예에 의한 동작신호입력부의 구성을 나타내는 블록도이다. 도 7은 본 발명의 일 실시예에 의한 동작인식부, 명령해석부와 상황관리부의 구성을 나타내는 블록도이다. 도 8은 본 발명의 일 실시예에 의한 공항 로봇 응용 소프트웨어의 구성을 나타내는 도면이다. 도 9는 본 발명의 일 실시예에 의한 동작기반 인터페이스 방법을 개략적으로 나타내는 흐름도이다.
본 발명의 공항 로봇과 사람 사이의 동작기반 인터페이스 시스템은 사용자의 동작을 감지하여 감지된 신호를 송신하는 동작신호입력부(5100), 감지된 신호를 해석하여 개별동작으로 인식하는 동작인식부(5200), 인식된 개별동작을 상황에 맞는 적당한 명령으로 해석하는 명령해석부(5300), 로봇의 응용에 따라 상황을 관리 및 전달하여 동작인식부(5200)와 명령해석부(5300)를 제어하는 상황(context)관리부(5400), 사용자의 동작으로부터 생성된 명령에 따라 로봇(5500), 영상출력장치(5600), 음성출력장치(5700)를 작동하는 로봇응용 소프트웨어(5800)를 구비하여 이루어져 있다.
동작신호입력부(5100)는 사용자의 동작을 감지하여 감지된 신호를 동작인식부(5200)로 송신한다. 동작신호입력부(5100)는 사용자의 동작을 감지하는 동작센서장치(5101), 감지된 신호를 임시저장하거나 장치 및 사용자의 식별자(ID)를 저장하는 메모리장치(5103), 감지된 신호를 적당히 가공하여 무선송수신부(5104)에 제공하는 제어장치(5102), 제공된 감지 신호를 동작인식부(5200)로 송신하는 무선송수신부(5104)를 구비하여 이루어진다.
또한 동작신호입력부(5100)는 전원을 공급하는 전원부(5106)와 사용자가 착용할 수 있도록 형성된 패키지 및 착용부(5105)를 구비한다.
동작센서장치(5101)는 사용자의 동작을 감지하여 신호를 출력하는 부분이다. 동작센서장치(5101)는 사용자의 동작을 감지할 수 있는 다양한 센서를 다수 사용할 수 있고 바람직하게는 3축 관성 센서(가속도 센서)가 사용된다.
제어장치(5102)는 동작센서장치(5101)로부터 출력된 신호를 수집하여 적당히 가공하여 무선송수신부(5104)를 통해 동작인식부(5200)로 전달한다.
메모리장치(5103)는 제어장치(5102)에서 가공된 신호를 임시 저장하거나, 장치 및 사용자의 식별자(ID)를 저장하여 제어장치(5102)에 의해 필요한 정보를 이용할 수 있도록 내장된다.
메모리장치(5103)에 저장되어 있는 장치 및 사용자 식별자(ID)는 동작신호입력부(5100)를 착용하고 있는 사용자의 위치를 파악하거나 현재 장치나 사용자에 관한 기본적인 정보를 파악할 필요가 있는 경우에 제어장치(5102)를 통해 이용된다.
무선송수신부(5104)는 제어장치(5102)에 의해 가공된 신호를 동작인식부(5200)에 송신한다. 또한 무선송수신부(5104)는 필요한 경우에 장치 및 사용자에 관한 정보 요청을 포함하는 신호를 수신하고 그에 관련된 정보를 송신하는 기능도 한다.
패키지 및 착용부(5105)는 사용자가 착용할 수 있는 형태로 이루어지고 착용부(5105)의 형태와 크기는 세부 부품의 선택에 의해 결정된다. 착용할 수 있는 형태로는 신체의 다양한 곳에 착용이 가능하고 대표적인 예로 반지와 같은 착용형태를 이용할 수 있다.
동작인식부(5200)는 동작신호입력부(5100)로부터 송신된 신호를 수신하는 무선송수신부(5210), 수신된 신호의 동작 데이터를 해석하여 개별동작으로 인식하는 인식장치(5220), 인식장치(5220)가 신호를 개별동작으로 인식하는 과정에서 사용되고 사용자와 로봇응용에 따라 다양하게 존재하는 학습된 신경망(5330), 학습된 다양한 신경망(5330) 중에서 상황관리부(5400)의 제어명령에 따라 필요한 신경망(5230)을 선택하는 신경망선택기(5240)로 이루어진다.
신경망(5230)은 사용자 및 로봇 응용에 따라 다양하게 존재하고 각 신경망(5230)은 학습 알고리즘에 의해 구성될 수 있다.
예를 들어 위에서 아래로 내리는 동작이 있는 경우에 방향인식 신경망은 동작신호를 해당 방향으로 인식하지만, 숫자인식 신경망은 숫자 1로 인식하게 된다.
신경망선택기(5240)는 상황관리부(5400)의 제어명령에 따라 필요한 신경망(5230)을 선택한다. 신경망선택기(5240)는 상황관리부(5400)에 등록되어 있는 로봇 및 로봇응용 등의 다양한 상황에 따라서 미리 학습되어 준비된 신경망을 선택하여 로드시킨다.
동작인식부(5200)가 수신한 신호를 개별동작으로 인식하는 방법은 신경망을 이용한 방법 외에 다른 소프트 컴퓨팅 기법(인공지능기법)을 사용하여 인식장치(5220)를 구성할 수도 있다. 하지만 간단한 동작을 한 번씩 입력하여 다양한 동작을 인식하는 경우에는 학습된 신경망을 이용하는 것이 바람직하다. 신경망을 이용한 동작인식부(5200)는 동작 신호에 대해 사칙연산 수준의 간단한 산술 연산으로 구성되기 때문에 영상 및 음성 인식에 비해서 간단하고 계산이 빠르다.
명령해석부(5300)는 동작인식부(5200)의 인식결과를 이용하여 로봇응용 소프트웨어(5800)에 공항 로봇(5500), 영상출력장치(5600), 음성출력장치(5700)를 통해 동작하거나 출력되는 정보를 포함하는 명령을 전달한다. 명령해석부(5300)는 개별적인 동작에 대응되는 상황에 맞는 명령에 관한 데이터 정보를 포함하는 동작, 명령 해석표(5320)와 상황관리부(5400)의 제어에 의해 동작, 명령 해석표(5320)를 선택하는 해석표선택(5330)부분 그리고 상항 관리기(5400)를 통해 선택된 동작, 명령 해석표(5320)를 바탕으로 현재 상황과 응용에 맞는 명령을 생성하여 최종적으로 공항 로봇(5500)이나 로봇응용소프트웨어(5800)로 전달하는 명령해석장치(5310)로 구성된다.
다만, 명령해석부(5300)의 동작, 명령 해석표(5320)와 해석표선택(5330)은 상황관리부(5400)에 등록된 동작, 명령 해석표(5320)와 관리부(5410)의 제어에 의해 해석표선택(5330)이 이루어질 수 있다.
상황관리부(5400)는 현재 가용하거나 선택된 응용에 따라 동작 인식부(5200)와 명령해석부(5300)를 제어한다.
상황(context)관리부(5400)는 크게 관리부(5410), 사용자(user)상황부(5420), 응용(application)상황부(430), 환경(environment)상황부(5440) 그리고 로봇(robot)상황부(5450)로 분류되어 상황을 수집하고 관리하게 된다.
사용자(user)상황부(5420)는 사용자의 아이디, 응용 별 선호사항, 신경망 특징에 관한 사항을 기록하고 있다.
응용(application)상황부(5430)와 로봇(robot)상황부(5450)는 외부에서 공개되어 있는 제어명령, 상태를 기록하고 있다.
공항 로봇(5500)과 로봇 응용 소프트웨어(5800)에 전달되는 명령을 해석하기 위해 관련 동작, 명령 해석표를 응용상황부(5430)에 등록할 수 있다.
상황관리부(5400)는 등록되어 있는 응용 상황이 되면 등록된 해석표에서 적당한 해석표를 선택하고 이에 따라 명령해석장치(5310)는 명령을 생성한다.
명령의 형식은 시스템 구현 방법에 따라 달라질 수 있는데 메시지 형식이 바람직하다. 예를 들어, "앞으로 누르기 동작"은 화면 출력기상에 출력된 단추를 누르는 동작으로 해석되어 "누르기" 메시지를 생성하여 로봇 응용 소프트웨어(5800)에 전달한다. 또는 "반복해서 위 아래로 흔들기" 동작은 로봇의 움직임을 정지시키기 위한 동작으로 "정지" 메시지를 생성하여 로봇 응용 소프트웨어(5800)에 전달한다.
환경(environment)상황부(5440)는 로봇 및 응용이 이용 가능한 영상 및 음성 출력장치의 상세정보를 기록하고 있다.
구체적인 상황 정보는 필요에 의해 추가될 수 있도록 관리된다. 이렇게 상황 정보를 필요에 의해 추가하기 위해서는 형식과 내용이 분리된 XML 방식을 사용하는 것이 바람직하다.
로봇 응용 소프트웨어(5800)는 명령해석부(5300)에서 생성된 명령을 이용하여 로봇(5500)의 동작을 제어하거나 영상출력장치(5600), 음성출력장치(5700)에 관련 정보를 출력한다.
공항 로봇(5500)과 로봇 응용 소프트웨어(5800)는 사용자의 동작으로부터 발생된 동작을 바탕으로 명령을 수행한다. 공항 로봇(5500)은 영상 및 음성 인식 기반 인터페이스와 같은 기존의 인터페이스 장치를 가질 수 있다. 로봇 응용 소프트웨어(5800)도 기존의 인터페이스와 본 발명의 동작 기반 인터페이스를 함께 사용할 수 있다.
공항 로봇(5500)과 로봇 응용 소프트웨어(5800)는 영상 출력장치(5700)와 음성 출력장치(5700)를 사용하여 상호작용에 필요한 정보를 사용자에게 주는 것이 바람직하다. 이는 현재 사용할 수 있는 모든 동작을 모두 외울 수 없기 때문에 영상출력장치(5600)와 음성출력장치(5700)를 통해 이를 알려주는 것이 바람직하다. 또한 입력된 동작의 내용을 확인하고 오인식 결과를 영상, 음성출력장치(5600, 5700)를 통해 사용자가 확인하도록 하는 것이 바람직하다.
로봇 응용 소프트웨어(5800)는 명령해석부(5300)로부터 생성된 명령을 받아서 응용로직부(5810)에 의해 명령에 포함된 정보를 분석할 수 있다. 그리고 로봇(5820)을 제어하는 제어정보(5820), 영상출력장치(5600)를 통해 출력되는 영상정보(5830)와 음성출력장치(5700)를 통해 출력되는 음성정보(5840)로 분류하여 각각의 공항 로봇(5500), 영상출력장치(5600), 음성출력장치(5700)에 관련정보를 제공한다.
공항 로봇(5500)은 제어정보(5820)에 의한 동작을 수행한다. 공항 로봇(5500)은 로봇 응용 소프트웨어(5800)를 통해 제어정보를 받을 수 있지만 또 다른 방법으로 명령해석부(5300)로부터 명령을 직접 받아서 이에 포함된 제어정보를 이용하여 직접 동작을 수행할 수 있다.
영상출력장치(5600)와 음성출력장치(5700)는 명령으로부터 생성된 영상정보(5830)와 음성정보(5840)를 출력하고 사용자는 출력내용을 확인하여 입력된 동작에 의한 결과를 확인하여 오인식 여부를 확인할 수 있다.
공항 로봇과 사람 사이의 동작기반 인터페이스 방법은 사용자의 동작을 동작센서를 통해 신호로 감지할 수 있다. 그리고, 상기 감지된 신호를 송신하는 동작신호입력단계(S5100)와 송신된 신호를 수신하고 수신된 신호를 해석하여 상황에 맞는 개별동작으로 인식하는 개별동작인식단계(S5200)를 포함할 수 있다. 그리고 인식된 개별동작을 상황과 응용에 맞는 명령으로 해석하는 명령해석단계(S5300)를 포함할 수 있다. 그리고 해석된 명령에 포함된 정보에 따라 공항 로봇 및 로봇응용을 작동하는 공항 로봇 및 로봇응용 작동단계(S5400)를 포함하여 이루어지는 것을 특징으로 한다.
개별동작인식단계(S5200)와 명령해석단계(S5300)는 로봇응용에 따라 상황을 관리 및 전달하는 상황관리부에 의해 제어된다.
개별동작인식단계(S5200)는 응용 및 사용자에 적합하게 학습된 복수개의 신경망을 기반으로 상황관리기에 의해 선택된 신경망을 통해 상기 동작신호입력단계(S5100)로부터 수신한 신호를 개별동작으로 인식한다.
명령해석단계(S5300)는 개별동작인식단계(S5200)에 의한 인식결과와 상황관리기로부터 제공되는 동작, 명령 해석표에 따라 동작을 로봇장치의 응용에 적합한 명령으로 해석하여 전달한다.
공항 로봇 및 로봇응용 작동 단계(S5400)는 영상 출력장치와 음성 출력장치에 의해 상호작용에 필요한 정보를 사용자에게 제공한다.
동작신호입력단계(S5100)는 사용자가 장착한 장치에 의해 이루어진다.
본 발명의 공항 로봇과 사람 사이의 동작 기반 인터페이스 시스템 및 방법에 의해 동작을 기반으로 공항 로봇과 사람이 인터페이스 하는 방법에 대한 간단한 응용 시나리오를 설명한다. 시나리오는 공항에 앉아 있는 사용자가 동작신호입력부(5100)를 착용하고 있다가 공항 어딘가에 있는 로봇을 호출하는 것이다.
사용자는 동작신호입력부(5100)를 착용한 손으로 미리 정의된 동작을 수행한다. 예를 들어, 세 번 빠르게 흔들기 동작을 시행한다. 이때 발생한 동작신호는 동작센서장치(5101)에 의해 감지되어 무선송수신부(5104)를 통해 동작인식부(5200)로 전달된다.
상황관리부(5400)는 현재 공항 로봇(5500)이 대기 상황이기 때문에 동작인식부(5200)에 미리 학습되어 준비된 대기 상황용 신경망(5230)을 로드시킨다. 동작인식부(5200)는 이 대기 상황용 신경망을 통해 세 번 빠르게 흔들기가 인식되었다고 인식하고 그 결과를 명령해석부(5300)에 전달한다.
상황관리부(5400)는 대기 상황에 맞는 동작, 명령 해석표(5320)를 명령해석부(5300)에 로드하고, 명령해석부(5300)는 동작, 명령 해석표(320)를 이용해 대기 상황에서 "세 번 빠르게 흔들기" 동작은 "로봇 호출"이라는 명령으로 해석하여 "로봇 호출"이라는 명령을 생성한다.
생성된 명령은 로봇 시스템이나 다른 응용에서 제공하는 "어디에 있는 누구"라는 인수와 함께 로봇에게 전달되고, 로봇은 호출한 사용자에게로 다가가게 된다. 이때, 사용자가 장착하고 있는 동작신호입력부(5100)의 메모리장치(5103)에 저장되어 있는 장치 및 사용자 식별(ID)을 이용하여 사용자의 위치를 파악하여 사용자에게 다가간다.
영상출력장치(5600)가 이용되고 있는 경우라면 현재 입력 가능한 동작과 그 결과를 영상출력장치(5600)를 통해 사용자에게 보여 줄 수 있다. 예를 들면, 공항 내 디스플레이 장치가 로봇 응용 소프트웨어(5800)와 연동하여 영상출력정보를 출력할 수 있다.
도 10은 본 발명의 다른 일 실시예에 의한 공항 로봇의 하드웨어 블록도이다. 도 11은 본 발명의 다른 일 실시예에 의한 공항 로봇의 감정표현방법을 도시한 블록도이다. 도 12는 본 발명의 다른 일 실시예에 의한 공항 로봇간의 친밀도에 대응하는 행동의 예를 도시한 도표이다.
도 10을 참조하면, 본 발명의 다른 일 실시예에 의한 공항 로봇은 로봇 외부의 상태를 감지하기 위한 감지부(1010)와, 상기 감지부(1010)로부터 감지된 정보를 활용하여 로봇의 움직임을 제어하는 제어부(1020), 그리고 상기 제어부(1020)의 명령에 의해 로봇의 동작을 구동시키는 구동부(1030)를 포함하여 구성된다.
상기 감지부(1010)는 외부 정보를 로봇에 입력시키기 위한 것으로 다양한 형태가 구비될 수 있다. 예를 들면, 로봇에 구비되어 로봇에 대한 인간의 접촉을 감지할 수 있는 터치센서, 외부로부터 입력되는 음성이나 사운드를 감지할 수 있는 마이크, 그리고 외부의 영상을 입력받을 수 있는 카메라 등이 포함된다.
그리고 상기 제어부(1020)는 상기 감지부(1010)를 통해 입력된 각종 외부 정보를 이용하여 로봇사용자의 선호도를 파악하여 로봇의 성향을 결정하는 판단부(1022)와, 상기 판단부(1022)에서 판단된 로봇성향을 기반으로 하여 로봇의 움직임을 제어하는 행동제어부(1024)를 포함하여 구성된다. 이러한 제어부(1020)는 하드웨어적으로 마이크로컨트롤러와 메모리, 각종 레지스터들을 포함하여 구성된다.
또한 상기 구동부(1030)는 로봇의 움직임을 위한 각종 부품으로 구성된다. 예를 들면 로봇의 이동을 위한 바퀴와 모터, 로봇의 머리부와 팔이 구비된다면 이들 구성들의 움직임을 위한 각종 모터와 센서류 등을 포함하게 된다.
앞에서 설명한 바와 같은 본 발명에 의한 로봇은 다양한 형태로 구성될 수 있다. 휠베이스 로봇(wheel-based robot)의 경우라면 바퀴가 구비되고, 보행 로봇(legged robot)의 경우 다리부와 다수개의 모터가 포함되어 구성 될 수 있다.
먼저 본 발명에 의한 로봇이 인간과의 상호작용을 통해 로봇의 행동성향을 결정(S1010)하는 것에 관해 상세하게 설명한다.
여기서 로봇의 행동성향이라 함은 공항 로봇이 인간 즉 사용자가 선호하는 유형이나 행동패턴을 분석 및 판단하여 로봇이 사용자의 지령에 의한 행동을 하지 않고 임의적인 행동을 할 때 사용자가 선호하는 행동을 하도록 하는 것을 말한다. 다시 말해 로봇에게 사용자가 선호하는 동작을 반영하여 인간의 개성과 유사하게 로봇이 개성을 가지게 되는 것을 의미한다.
이와 같이 로봇이 행동성향을 결정하기 위해서는, 로봇에는 최초에 로봇이 로봇 제조업자에 의해 제조되어 시장에 출시된 시점에 미리 정의된 여러 가지 다양한 동작이 저장되어 있다.
그리고 로봇이 사용자가 특정 동작을 명령한 경우에는 사용자가 명령한 동작을 행동하게 되지만, 사용자가 아무런 명령을 내리지 않은 경우에는 로봇은 임의로 로봇에 저장된 여러 가지 동작을 수행하게 된다. 이때 로봇이 임의로 여러 동작을 행동하는 과정에서 로봇이 사용자가 선호하는 행동을 하는 경우 사용자가 로봇에게 특정한 입력을 가함으로써 로봇이 사용자가 선호하는 행동이 무엇인지를 파악할 수 있게 된다. 그리고 사용자가 로봇에게 아무런 명령을 내리지 않는 경우, 즉 로봇이 사용자의 명령을 받지 않고 임의적으로 행동하는 경우에 다른 여러 가지 행동에 비해 사용자가 선호하는 행동을 더 많이 행동하게 되는 것이다.
좀 더 구체적으로 설명하면, 로봇이 임의적으로 동작하는 경우 최초에는 초기에 로봇에 저장된 여러 가지 동작이 동일한 가중치에 의해 랜덤하게 동작하게 된다. 그러나 로봇이 다양한 행동을 임의적으로 행동하는 과정에서 사용자가 선호하는 특정한 동작을 하게 되면, 사용자는 로봇에 장착된 특정부위의 터치센서를 터치하게 된다.
이러한 입력을 통해 로봇은 사용자가 선호하는 특정 동작에 대해 가중치가 높아지게 된다. 따라서 로봇이 임의로 동작하는 경우 사용자가 선호하는 특정 동작을 행동하게 되는 확률이 높아지게 되는 것이다. 즉 사용자가 특정부위의 터치센서를 터치하는 동작이, 로봇이 동작한 특정 동작에 대해 사용자가 긍정적으로 인식하게 되는 것을 의미한다.
예를 들면, 로봇이 특정 노래를 출력하는 경우, 사용자가 이러한 노래가 자신이 선호하는 노래이면 로봇에 장착된 터치센서를 터치하게 된다. 이 경우 로봇은 사용자가 특정 노래를 선호하는 것으로 인식하게 되어 특정 노래에 대한 가중치가 높아지게 되고, 로봇은 특정 노래를 자주 출력하게 되는 성향을 가지게 되는 것이다.
또는 로봇이 특정 동작을 하는 경우(예를 들면 꼬리를 흔드는 동작을 하는 경우), 사용자가 이러한 행동이 자신이 선호하는 동작이면, 로봇에 장착된 터치센서를 터치하게 되고, 이러한 사용자의 입력에 의해 특정 동작에 대한 가중치가 높아지게 된다. 따라서 로봇은 사용자가 이러한 특정 동작을 선호하는 것으로 인식하게 되고, 로봇이 임의로 동작하는 경우 이러한 특정 동작을 자주 행동하는 성향을 가지게 된다.
앞에서는 특정 노래 또는 행동에 대해 사용자가 로봇의 특정위치에 설치된 터치센서를 터치하여 사용자가 선호하는 동작을 로봇에 입력하는 것에 관해 설명하였으나 반드시 이러한 방법에 한정되는 것은 아니다. 예를 들면, 사용자가 터치센서를 미리 정해진 소정의 세기 이하의 세기로 터치하면 사용자가 좋아하는 행동으로 인식하도록 구현하는 것도 가능하다. 반대로 미리 정해진 소정의 세기 이상의 세기로 터치센서를 터치하게 되면, 사용자가 좋아하지 않는 행동으로 로봇이 인식하게 될 수도 있다.
그외에도 사용자의 특정동작(예를 들면 사용자가 손을 흔드는 동작 등)을 하면 카메라를 통해 로봇으로 입력되고, 입력된 영상은 영상처리모듈을 통해 로봇에게 사용자가 선호하는 동작이 어떤 것인지 판단할 수 있게 된다.
이와 같이 로봇과 사용자의 상호작용을 통해 로봇은 사용자가 선호하는 동작이나 노래 등을 어떤 것인지 판단할 수 있게 되고, 로봇은 사용자가 선호하는 행동을 반영하여 로봇의 행동성향이 결정되게 된다.
다음으로 로봇은 다른 로봇을 식별할 수 있는 식별범위내에 다른 로봇이 존재하는지 여부를 판단하게 된다(S1020). 이때 로봇이 다른 로봇이 존재하는지 여부를 판단하기 위한 방법으로는 여러 가지 다양한 방법을 사용할 수 있다.
예를 들면, 로봇에 장착된 카메라를 사용하여 카메라에 입력된 영상을 영상처리모듈을 사용하여 분석하고, 분석된 결과를 바탕으로 다른 로봇이 식별범위내에 존재하는지 여부를 판단할 수 있다.
또는 로봇마다 고유의 RFID 칩이 내장되어 있고, 상기 RFID를 인식할 수 있는 무선판독기가 구비되어 있어, 로봇이 다른 로봇의 RFID를 인식할 수 있는 거리내에 다가오게 되면, 다른 로봇이 존재하는 것으로 판단하는 방법을 사용할 수도 있다.
다음으로 로봇의 행동성향에 따라 로봇상호간에 감정을 표현(S1030)방법에 대해 설명하도록 한다. 로봇의 감정을 표현한다는 것은 인간과 같은 수준의 감정을 표현하는 것은 아니고, 로봇과 로봇간의 친밀도를 수치화하고, 수치화된 친밀도에 따라 로봇이 특정동작을 수행하는 것을 의미한다. 이와 같은 행동을 통해 인간과 유사한 감정표현을 하게 된다.
앞의 S1020 단계에서 로봇이 다른 로봇을 인식할 수 있는 거리 내에 다른 로봇이 있는 것으로 감지되면, 로봇은 다른 로봇과의 친밀도가 어느 정도인지를 판단하게 된다. 로봇과 로봇간의 친밀도는 여러 개의 레벨로 나뉘어 설정하도록 하는 것이 가능하다. 본 발명의 실시예에 의하면, 친밀도가 1에서 5의 레벨로 구분되어 숫자가 커질수록 로봇과 로봇간의 친밀도는 높아지도록 설정된다.
로봇과 로봇 간의 친밀도는 처음에는 1로 설정되어 있으나, 여러 가지 방법에 의해 로봇 간의 친밀도는 점점 높아지게 된다. 예를 들면, 로봇과 다른 로봇이 식별범위 내에서 존재하는 시간이나 횟수가 많아지면 로봇과 로봇간의 친밀도는 높아지게 된다.
또는 사용자에 의해 결정된 로봇의 행동성향과 동일한 행동성향을 가지는 로봇을 만나는 경우에는 상호 로봇 간의 친밀도가 높아지게 된다. 예를 들면 로봇의 식별범위 내에 존재하는 것으로 판단된 다른 로봇이 사용자가 선호하는 특정 노래나 동작을 수행하는 것으로 감지되면, 로봇과 다른 로봇의 친밀도는 높아지게 된다. 다른 로봇이 특정 노래를 표현하는 것을 로봇에 구비된 마이크와 음성처리모듈을 통해, 특정 동작을 수행하는 것은 로봇에 구비된 카메라와 영상 처리 모듈을 통해 인식할 수 있다.
그리고 로봇과 다른 로봇과의 친밀도에 따라 로봇은 다른 로봇에게 친밀감을 표현하게 된다. 즉, 친밀도가 높은 로봇을 만나게 되면, 그에 해당하는 동작을 하게 된다. 그러나 친밀도가 낮은 로봇을 만나게 되는 경우에는 별다른 행동을 하지 않는다.
로봇이 친밀도가 1인 다른 로봇을 만나게 되면 로봇은 아무런 반응을 하지 않는다. 그러나 로봇이 친밀도가 2인 다른 로봇을 만나게 되면 로봇에 구비된 팔을 흔드는 동작을 하게 된다. 또 로봇이 친밀도가 3인 다른 로봇을 만나게 되면 로봇은 팔을 흔들면서 로봇에 구비된 LCD 화면에 환영 문구를 표시하거나, LED를 깜빡이도록 하게 한다. 그리고 친밀도가 5인 다른 로봇을 만나게 되면 로봇은 주위를 빙글빙글 돌면서 스피커를 통해 환영메세지를 출력하면서 로봇의 감정을 표현하게 된다.
이와 같이 로봇과 다른 로봇 간의 친밀도에 따라 그에 대응하는 로봇의 행동을 하도록 함으로써 로봇과 로봇 간의 감정을 표현할 수 있게 된다. 그리고 이러한 로봇 간의 감정 표현을 통해 로봇이 좀더 지능화된 행동을 하도록 구현하는 것이 가능해 진다.
도 13은 본 발명에 따른 사용자의 행동을 판단하여 공항 로봇이 몸을 움직여 감정을 표현하는 방법에 관한 흐름도이다. 도 14는 사용자의 행동을 판단하여 몸으로 감정을 표현하는 공항 로봇에 관한 구성도이다.
공항 로봇에 장착된 화상카메라로 사용자의 동영상을 입력받는다(S1310). 화상 카메라로 촬영한 사용자의 동영상에서 사용자의 행동이 변화되는 차영상 정보를 생성하고, 차영상 정보를 얻기 위해 각 프레임의 동영상을 8*8의 작은 사각형으로 블록화한다(S1311). 블록화된 동영상 프레임을 이전 동영상 프레임과 비교하여 변화된 색상을 기준으로 차영상 정보를 정의한다(S1312). 차영상 정보를 사용자가 한 행위에 대하여 정의된 데이터베이스를 기반으로 분석하여 사용자 행위를 정의한다(S1313). 사용자 행위가 로봇에서 수행되는 프로그램에서 기대되는 행위인지 판단한다(S1314). 사용자 행위가 로봇이 기대하는 행위인 경우 로봇의 SDK을 이용하여 긍정적인 감정 표현을 표출하고 기대되는 행위가 아닌경우 부정적인 감정 표현을 표출한다(S1315).
로봇마다 제공할 수 있는 행위 및 모션제어가 각기 다를 수 있으며, 이에 동일한 행위를 통해서만 로봇의 감정을 표현할 수는 없다. 이에 일반적으로 사용될 수 있는 모션 제어는 다음과 같다. 즉, 휠 제어은 전후, 좌우로 이동하며, 머리 제어는 상, 하, 좌, 우로 제어되며 팔 제어는 좌, 우 및 앞, 뒤로 회전한다. LED 제어는 입, 귀, 팔, 바퀴 파트에서 제어된다. 위와 같은 제어를 통하여 행복 / 놀람 / 보통 / 실망(슬픔) / 부끄러움과 같은 감정에 대한 정의을 하여 Contents에서 운영하며, 정의시에는 휠, 머리, 팔, LED의 조합에 의해 제공되나 로봇마다 지원되는 디바이스와 표현 형태가 다르므로 로봇마다 정의하여 사용한다.
도 14에서 보듯이 본 발명의 또 다른 일 실시예에 의한 공항 로봇(1400)은 화상카메라(1410), 차영상 생성부(1420), DB(1430), 판별부(1440), 출력부(1450), 제어부(1460)로 구성된다. 화상카메라(1410)는 사용자의 행동을 촬영하여 화면에 출력한다. 차영상 생성부(1420)는 촬영된 사용자의 행동에서 변화된 차영상 정보를 생성한다. DB(1430)는 변화된 차영상 정보에 대하여 어떤 행동인지를 정의한 목록을 가지고 있다. 판별부(1440)는 차영상 정보가 로봇에서 기대되는 행위인지 여부를 판단한다. 출력부(1450)는 상기 판별부의 판단에 따라 로봇의 감정을 휠, 머리, 팔, LED 중 적어도 어느 하나로 표현한다. 제어부(1460)는 상기 공항 로봇의 전체 동작을 제어하는 역할을 한다.
도 15는 본 발명의 일 실시예에 의한 공항 로봇이 디스플레이부에 감정 이모티콘을 출력하는 일예를 설명하기 위한 도면이다.
도 15에 도시된 바와 같이, 본 발명의 일 실시예에 의한 공항 로봇은 디스플레이부를 전면 또는 후면에 배치시킬 수 있다. 그리고, 공항 로봇의 제어부는 인체의 눈썹, 눈, 입 등의 표정 요소를 적용하여 감정 변화를 표시하기 위한 감정 이모티콘을 디스플레이부에 출력하도록 제어할 수 있다.
공항 로봇의 제어부는 공항 로봇의 배터리가 부족하거나, 사용자가 입력한 음성 인식이 정확하게 인식되지 않았을 때 등의 기 정해진 특정 상황에서 사용자에게 메시지를 전달하기 위한 목적으로 상기 감정 이모티콘을 디스플레이부에 출력하도록 제어할 수 있다.
또한, 공항 로봇의 제어부는 사용자의 표정을 인식하여 사용자의 현재 감정 상태를 예측한 후, 동일한 감정 상태 또는 상반되는 감정 상태를 갖도록 감정 이모티콘을 선택하여 출력하도록 제어할 수 있다. 예를 들어, 사용자 표정이 현재 우울하다고 판단되는 경우, 공항 로봇의 제어부는 밝은 표정의 감정 이모티콘을 디스플레이부에 출력하도록 제어할 수 있다.
또한, 공항 로봇의 제어부는 사용자가 요청한 입력에 대한 회신이 부정적인 경우에는 부정적인 감정에 매칭되는 감정 이모티콘을, 회신이 긍정적인 경우에는 긍정적인 감정에 매칭되는 감정 이모티콘을 디스플레이부에 출력하도록 제어할 수 있다.
또한 공항 로봇의 제어부는 사용자와 충돌한 경우라든지, 사용자가 기 정해진 속도보다 따르게 음성 입력 등을 하는 경우, 놀라움과 관련된 감정 이코티콘을 디스플레이부에 출력하도록 제어할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 공항용 로봇의 AP(150)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 공항용 로봇에 있어서,
    디스플레이부;
    사용자로부터 입력을 수신하는 유저 인터페이스부; 및
    상기 공항용 로봇의 동작을 제어하는 제어부를 포함하고,
    상기 유저 인터페이스부는 사용자의 동작을 감지하는 동작센서를 포함하고,
    상기 제어부는,
    상기 동작센서에 의해 감지된 사용자의 동작을 데이터베이스에 저장된 복수의 사용자 메시지 중 하나와 매칭시키고, 상기 매칭된 사용자 메시지에 맵핑된 GUI(Graphic User Interface)를 상기 디스플레이부에 출력하도록 제어하는,
    공항용 로봇.
  2. 제1 항에 있어서,
    상기 제어부는,
    상기 사용자로부터 적어도 하나의 정보 출력 요청 신호를 입력 받는 경우, 입력 받은 신호를 분석하고,
    상기 분석 결과, 요청 신호가 정확하게 인식된 경우 긍정 표현 이모티콘을 상기 디스플레이부에 출력하고, 정보 출력 요청 신호가 정확하게 인식되지 않은 경우 부정 표현 이모티콘을 상기 디스플레이부에 출력하도록 제어하는,
    공항용 로봇.
  3. 제1 항에 있어서,
    상기 제어부는,
    상기 공항용 로봇의 배터리 상태를 체크하고,
    상기 배터리 상태가 기 정해진 수치 이상인 경우 긍정 표현 이모티콘을 상기 디스플레이부에 출력하고, 상기 배터리 상태가 기 정해진 수치 미만인 경우 부정 표현 이모티콘을 상기 디스플레이부에 출력하도록 제어하는,
    공항용 로봇.
  4. 제2 항에 있어서,
    상기 공항용 로봇은 카메라를 포함하고,
    상기 카메라는 상기 사용자의 행동 변화에 대한 영상을 촬영하고,
    상기 제어부는,
    데이터베이스를 기반으로 상기 촬영된 영상의 프레임을 분석하여 사용자 행위를 정의하는,
    공항용 로봇.
  5. 제4 항에 있어서,
    상기 제어부는,
    촬영된 영상의 프레임을 이전 프레임과 비교하고,
    비교 결과 변화된 색상을 기초로 차영상 정보를 정의하고,
    상기 데이터베이스를 기반으로 상기 차영상 정보를 분석하여 상기 사용자 행위를 정의하는
    공항용 로봇.
  6. 제4 항에 있어서,
    상기 카메라로 촬영한 영상은 초당 30 프레임 입력을 받는,
    공항용 로봇.
  7. 제4 항에 있어서,
    상기 제어부는,
    상기 정의된 사용자 행위에 따라 출력된 정보의 정확도를 판단하는,
    공항용 로봇.
  8. 제7 항에 있어서,
    상기 제어부는,
    정보의 정확도가 기 정해진 수치 이상인 경우 긍정 표현 이모티콘을 디스플레이부에 출력하고, 정보의 정확도가 기 정해진 수치 미만인 경우 부정 표현 이모티콘을 디스플레이부에 출력하도록 제어하는,
    공항용 로봇.
  9. 제4 항에 있어서,
    상기 제어부는,
    상기 사용자의 얼굴을 인식하고, 상기 인식 결과에 따라 상기 사용자의 성별 및 연령대를 분석하고, 상기 분석 결과에 따라 상기 사용자의 현재 상태와 매칭되는 표정 이모티콘을 디스플레이부에 출력하도록 제어하는,
    공항용 로봇.
  10. 제1 항에 있어서,
    상기 제어부는,
    기 정해진 거리 내에 사용자 근접을 감지하는 경우, 경고음과 함께 놀라움에 대응하는 감정 이모티콘을 디스플레이부에 출력하도록 제어하는,
    공항용 로봇.
  11. 공항용 로봇의 동작 방법에 있어서,
    상기 공항용 로봇에 구비된 카메라를 이용하여 사용자의 영상을 획득하는 단계;
    획득된 영상에 기초하여 사용자 행위를 정의하는 단계; 및
    상기 사용자 행위에 기초한 감정을 나타내는 감정 이모티콘을 디스플레이부를 통해 출력하는 단계를 포함하는
    공항용 로봇의 동작 방법.
  12. 제11 항에 있어서,
    상기 사용자 행위가 상기 공항용 로봇에 대한 특정 요청에 해당하는 경우,
    상기 감정 이모티콘을 출력하는 단계는,
    상기 특정 요청에 대한 회신이 부정적인 경우 부정적인 감정에 매칭되는 감정 이모티콘을 출력하고,
    상기 특정 요청에 대한 회신이 긍정적인 경우 긍정적인 감정에 매칭되는 감정 이모티콘을 출력하는 단계인
    공항용 로봇의 동작 방법.
  13. 제11 항에 있어서,
    감정 이모티콘을 출력하는 단계는,
    상기 사용자 행위에 기초한 감정을 나타내는 모션제어를 수행하는 단계를 더 포함하는
    공항용 로봇의 동작 방법.
  14. 제13 항에 있어서,
    상기 모션제어를 수행하는 단계는,
    상기 공항용 로봇에 구비된 휠, 머리, 및 팔 각각에 대응하는 모터들 중 적어도 하나를 제어하는
    공항용 로봇의 동작 방법.
  15. 제11 항에 있어서,
    상기 감정 이모티콘은,
    인체의 눈썹, 눈, 입 중 적어도 하나를 적용하여 감정 변화를 나타내는
    공항용 로봇의 동작 방법.
PCT/KR2017/014492 2016-12-23 2017-12-11 공항용 로봇 및 그의 동작 방법 WO2018117514A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0178444 2016-12-23
KR1020160178444A KR102639904B1 (ko) 2016-12-23 2016-12-23 공항용 로봇 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2018117514A1 true WO2018117514A1 (ko) 2018-06-28

Family

ID=62627550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/014492 WO2018117514A1 (ko) 2016-12-23 2017-12-11 공항용 로봇 및 그의 동작 방법

Country Status (2)

Country Link
KR (1) KR102639904B1 (ko)
WO (1) WO2018117514A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750062A (zh) * 2019-10-31 2021-05-04 比亚迪股份有限公司 车站的乘客服务控制方法、系统和终端设备
CN113858271A (zh) * 2021-09-15 2021-12-31 墨影科技(南京)有限公司 一种配合协作机器人使用的多用途视觉识别系统
EP4046759A4 (en) * 2019-12-03 2023-11-22 Jingdong Technology Information Technology Co., Ltd. SERVICE ROBOT AND DISPLAY CONTROL METHOD THEREOF, CONTROL AND STORAGE MEDIUM

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102085596B1 (ko) * 2018-08-07 2020-03-06 조무성 커뮤니케이션 기반의 감성 컨텐츠 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030042643A (ko) * 2001-11-23 2003-06-02 (주)로보티즈 감정 표현 로보트 제어 장치 및 제어 방법
KR100515798B1 (ko) * 2003-02-10 2005-09-21 한국과학기술원 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
KR100904191B1 (ko) * 2008-05-29 2009-06-22 (주)다사로봇 안내용 로봇
KR101309562B1 (ko) * 2006-10-25 2013-09-17 에스케이플래닛 주식회사 사용자의 행동을 판단하여 몸을 움직여 감정을 표현하는로봇 및 그 방법
KR20160072956A (ko) * 2014-12-16 2016-06-24 이주영 로봇 장치를 이용한 메시지 전송방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160072621A (ko) * 2014-12-15 2016-06-23 엘지전자 주식회사 학습과 추론이 가능한 로봇 서비스 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030042643A (ko) * 2001-11-23 2003-06-02 (주)로보티즈 감정 표현 로보트 제어 장치 및 제어 방법
KR100515798B1 (ko) * 2003-02-10 2005-09-21 한국과학기술원 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
KR101309562B1 (ko) * 2006-10-25 2013-09-17 에스케이플래닛 주식회사 사용자의 행동을 판단하여 몸을 움직여 감정을 표현하는로봇 및 그 방법
KR100904191B1 (ko) * 2008-05-29 2009-06-22 (주)다사로봇 안내용 로봇
KR20160072956A (ko) * 2014-12-16 2016-06-24 이주영 로봇 장치를 이용한 메시지 전송방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750062A (zh) * 2019-10-31 2021-05-04 比亚迪股份有限公司 车站的乘客服务控制方法、系统和终端设备
EP4046759A4 (en) * 2019-12-03 2023-11-22 Jingdong Technology Information Technology Co., Ltd. SERVICE ROBOT AND DISPLAY CONTROL METHOD THEREOF, CONTROL AND STORAGE MEDIUM
CN113858271A (zh) * 2021-09-15 2021-12-31 墨影科技(南京)有限公司 一种配合协作机器人使用的多用途视觉识别系统
CN113858271B (zh) * 2021-09-15 2023-09-05 墨影科技(南京)有限公司 一种配合协作机器人使用的多用途视觉识别系统

Also Published As

Publication number Publication date
KR102639904B1 (ko) 2024-02-26
KR20180074404A (ko) 2018-07-03

Similar Documents

Publication Publication Date Title
WO2018117514A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2018052204A1 (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
WO2018128292A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2018070686A1 (ko) 공항용 안내 로봇 및 그의 동작 방법
US11330951B2 (en) Robot cleaner and method of operating the same
KR102067057B1 (ko) 디지털 디바이스 및 제어 방법
TWI469910B (zh) 簡單節點式運輸系統之控制方法與裝置
WO2018070664A1 (ko) 공항용 보조 로봇 및 그의 동작 방법
US20200008639A1 (en) Artificial intelligence monitoring device and method of operating the same
US20060182346A1 (en) Interface apparatus
WO2019239694A1 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
WO2018070663A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2013055025A1 (ko) 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법
US11347226B2 (en) Method of redefining position of robot using artificial intelligence and robot of implementing thereof
WO2020250082A1 (ja) ユーザーの感情に応じた動作を実行する情報処理装置
US20190354178A1 (en) Artificial intelligence device capable of being controlled according to user action and method of operating the same
WO2019208950A1 (ko) 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
CN112401747B (zh) 通过人工智能避开卡住情况的机器人清洁器及其操作方法
US20210272225A1 (en) Mobile correctional facility robots
WO2020241933A1 (ko) 슬레이브 로봇을 제어하는 마스터 로봇 및 그의 구동 방법
US20200009734A1 (en) Robot and operating method thereof
WO2018117513A1 (ko) 공항용 로봇 및 그의 동작 방법
US20180304465A1 (en) Mobile correctional facility robots
CN113569710A (zh) 电梯阻车方法、装置、摄像设备、存储介质及系统
KR101919354B1 (ko) 기계학습과 음성인식 기반의 스마트폰 착탈식 지능형 이동로봇 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17883471

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17883471

Country of ref document: EP

Kind code of ref document: A1