KR102597216B1 - 공항용 안내 로봇 및 그의 동작 방법 - Google Patents

공항용 안내 로봇 및 그의 동작 방법 Download PDF

Info

Publication number
KR102597216B1
KR102597216B1 KR1020160130736A KR20160130736A KR102597216B1 KR 102597216 B1 KR102597216 B1 KR 102597216B1 KR 1020160130736 A KR1020160130736 A KR 1020160130736A KR 20160130736 A KR20160130736 A KR 20160130736A KR 102597216 B1 KR102597216 B1 KR 102597216B1
Authority
KR
South Korea
Prior art keywords
airport
robot
image
route guidance
user
Prior art date
Application number
KR1020160130736A
Other languages
English (en)
Other versions
KR20180039439A (ko
Inventor
신용민
송현섭
박중태
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160130736A priority Critical patent/KR102597216B1/ko
Publication of KR20180039439A publication Critical patent/KR20180039439A/ko
Application granted granted Critical
Publication of KR102597216B1 publication Critical patent/KR102597216B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 의한 공항용 안내 로봇은 공항 지도 데이터를 저장하는 맵(map) 관리모듈, 데이터를 송수신하는 통신부, 이미지를 처리하는 이미지 프로세서, 상기 처리된 이미지를 출력하는 출력부 및 상기 공항용 안내 로봇의 동작을 제어하는 제어부를 포함하고, 제어부는 길 안내 요청 신호를 수신하는 경우, 현재 위치로부터 목적지까지의 이동 경로를 계산하고, 상기 이동 경로에 기초하는 길 안내 컨텐츠를 생성하고, 상기 길 안내 컨텐츠의 타입에 따라 상기 길 안내 컨텐츠를 출력하도록 제어하는 것을 특징으로 한다.

Description

공항용 안내 로봇 및 그의 동작 방법{GUIDANCE ROBOT FOR AIRPORT AND METHOD THEREOF}
본 발명은 공항에 배치되는 로봇 및 그의 동작 방법에 관한 것으로, 보다 상세하게는 공항에 배치되어 사용자들에게 길 안내를 제공하는 홀로그램 이미지 또는 3D 컨텐츠를 제공하는 공항용 안내 로봇 및 그의 동작 방법에 관한 것이다.
최근 딥러닝(Deep Learning) 기술, 자율 주행 기술, 자동 제어 기술, 사물인터넷 등의 발전으로 로봇의 기능이 확대되고 있다.
각각의 기술을 구체적으로 설명하면, 딥러닝은 기계학습의 한 분야에 해당한다. 딥러닝은 프로그램에 미리 조건을 확인하고 명령을 설정해두는 방식이 아니라, 다양한 상황에 대해 프로그램이 유사한 판단을 내리도록 하는 기술이다. 따라서, 딥러닝에 따르면 컴퓨터가 인간의 뇌와 유사하게 사고할 수 있고, 방대한 양의 데이터 분석을 가능하게 한다.
자율 주행은 기계가 스스로 판단하여 이동하고, 장애물을 피할 수 있는 기술이다. 자율 주행 기술에 따르면 로봇은 센서를 통해 자율적으로 위치를 인식하여 이동하고 장애물을 피할 수 있게 된다.
자동 제어 기술은 기계에서 기계 상태를 검사한 계측 값을 제어 장치에 피드백하여 기계의 동작을 자동으로 제어하는 기술을 말한다. 따라서 사람의 조작 없는 제어가 가능하고, 목적하는 제어 대상을 목적하는 범위 내 즉, 목표 값에 이르도록 자동적으로 조절할 수 있다.
사물인터넷(Internet of Things)은 인터넷을 기반으로 모든 사물을 연결하여 사람과 사물, 사물과 사물 간의 정보를 상호 소통하는 지능형 기술 및 서비스를 말한다. 사물인터넷에 의해 인터넷에 연결된 기기들은 사람의 도움 없이 알아서 정보를 주고 받으며 자율적인 소통을 하게 된다.
로봇의 응용분야는 대체로 산업용, 의료용, 우주용, 해저용으로 분류된다. 예를 들면, 자동차 생산과 같은 기계 가공 공업에서는 로봇이 반복작업을 수행할 수 있다. 즉, 사람의 팔이 하는 작업을 한 번만 가르쳐 주면 몇 시간이든 같은 동작을 반복하는 산업로봇이 이미 많이 가동되고 있다.
최근들어 3차원 영상 표시 기술에 대한 관심이 높아지고 있다. 3차원 영상을 표시하기 위한 방법으로는 대표적으로 스테레오스코픽(stereoscopic) 방식이 있다. 스테레오스코픽 방식은 좌안과 우안의 시차 영상을 이용하여 입체 효과를 적용하는 방식이며, 안경을 이용하여 이러한 양안 시차 영상이 구현될 수 있다. 스테레오스코픽 방식은 안경을 착용해야 한다는 큰 단점이 있어, 안경의 착용이 요구되지 않는 무안경 방식이 개발되고 있다. 안경 없이 3차원 영상을 표시하기 위한 방법으로 홀로그램 표시 기술이 연구되고 있다.
홀로그램 표시 기술은 물체에서 반사된 광과 간섭성의 광을 겹침으로써 획득되는 간섭 신호를 기록하여 저장하고, 이 간섭 신호를 이용하여 홀로그램을 표시한다. 홀로그램 표시 장치는 간섭 신호를 통해 간섭 무늬를 형성하여 저장하고, 저장된 간섭 무늬에 참조광을 조사하여 간섭 신호를 복원함으로써, 3차원의 홀로그램을 표시한다.
본 발명의 목적은 복잡한 지리적 조건을 가진 공항에서 이용객들에게 효과적으로 길 안내 서비스를 제공하는 것이다.
본 발명의 다른 목적은 공항 이용객의 이해를 돕기 위하여 단순 공항 지도가 아닌 실제 공항 내 이동 경로 이미지를 제공하는 것이다.
본 발명의 또 다른 목적은 길 안내 컨텐츠 투사시, 투사 영역에 따른 영상 이미지 왜곡을 방지하는 것이다.
본 발명의 또 다른 목적은 공항용 안내 로봇이 길 안내 기능 이외에 비행 관련 컨텐츠도 함께 공항 이용객들에게 제공하는 것이다.
본 발명에 따른 공항용 안내 로봇은 2D, 3D 및 홀로그램으로 이루어진 네비게이션 컨텐츠를 출력하는 출력부를 포함할 수 있다. 또한, 경우에 따라서 사용자를 직접 목적지까지 안내하는 동행 서비스를 제공할 수 있다.
본 발명에 따른 공항용 안내 로봇은 실시간 CCTV 촬영 영상 데이터를 수신할 수 있다. 그리고, 공항용 안내 로봇은 카메라를 이용하여 사용자를 촬영할 수 있다. 그리고, 공항용 안내 로봇은 사용자 이미지를 실시간 CCTV 촬영 영상 데이터에 합성하여 길 안내 서비스를 제공할 수 있다.
본 발명에 따른 공항용 안내 로봇은 패턴 투사 과정을 통해 공간 구조를 분석할 수 있다. 그리고, 분석된 공간 구조에 대응하여 길 안내 컨텐츠를 캘리브레이션 할 수 있다.
본 발명에 따른 공항용 안내 로봇은 바코드 리더기를 포함할 수 있다. 바코드 리더기는 탑승 티켓을 통해 비행 정보를 리드(read)할 수 있다. 공항용 안내 로봇은 리드된 탑승 티켓 정보에 대한 비행 정보를 수신할 수 있다.
본 발명에 따른 공항용 안내 로봇은 2D, 3D 및 홀로그램으로 이루어진 네비게이션 컨텐츠를 출력하고, 경우에 따라서 사용자를 직접 목적지까지 안내하는 동행 서비스를 제공할 수 있다. 그 결과 복잡한 지리적 조건을 가진 공항에서 이용객들이 쉽게 목적지까지 도달할 수 있는 효과를 가져온다.
본 발명에 따른 공항용 안내 로봇은 사용자 이미지를 실시간 CCTV 촬영 영상 데이터에 합성하여 길 안내 서비스를 제공할 수 있다. 그 결과, 단순히 지도만으로 길 안내를 제공하는 것보다 사용자의 경로 이해도가 높아지는 효과를 가져온다.
본 발명에 따른 공항용 안내 로봇은 분석된 공간 구조에 대응하여 길 안내 컨텐츠를 캘리브레이션 할 수 있다. 그 결과, 공간이 일정하지 않은 공항 내에서 항상 쾌적한 길 안내 컨텐츠 영상을 사용자에게 제공할 수 있는 효과를 가져온다.
본 발명에 따른 공항용 안내 로봇은 바코드 리더기를 통해 사용자가 탑승할 비행기의 비행 정보를 수신할 수 있다. 그리고, 비행 정보가 포함된 안내 컨텐츠를 2D, 3D, 홀로그램 등으로 투사하여 출력할 수 있다. 그 결과, 공항 이용객들은 손쉽게 자신의 비행 정보를 공항 어느 곳에서도 확인할 수 있는 효과를 효과를 가져온다.
도 1은 본 발명의 일 실시예에 의한 공항 로봇의 하드웨어 구성을 도시한 블록도이다.
도 2는 본 발명의 다른 일 실시예에 의한 공항 로봇의 마이컴 및 AP의 구성을 자세하게 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 공항 로봇 시스템의 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 의한 안내 로봇이 2D 이미지를 이용하여 길 안내 서비스를 제공하는 일 예를 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 의한 안내 로봇이 홀로그램 이미지를 이용하여 길 안내 서비스를 제공하는 다른 일 예를 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시예에 의한 안내 로봇이 길 안내 동행 서비스를 제공하는 일 예를 설명하기 위한 도면이다.
도 8 내지 도 11은 본 발명의 일 실시예에 의한 안내 로봇이 cctv 영상 데이터를 이용하여 길 안내 서비스를 제공하는 다양한 실시예들을 설명하기 위한 도면들이다.
도 12는 본 발명의 일 실시예에 의한 안내 로봇이 광고 이미지를 통해 자신의 위치를 표시하는 일 예를 설명하기 위한 도면이다.
도 13 및 도 14는 본 발명의 일 실시예에 의한 안내 로봇이 주변 사용자를 감지하여 자동으로 관련 컨텐츠를 제공하는 일 예를 설명하기 위한 도면들이다.
도 15 및 도 16은 본 발명의 일 실시예에 의한 안내 로봇이 탑승 티켓 스캔을 통해 다양한 안내 서비스를 제공하는 실시예들을 설명하기 위한 도면들이다.
도 17 내지 도 20은 본 발명의 일 실시예에 의한 안내 로봇이 공항 이용객들에게 가상 이미지 홀로그램을 제공하는 일 예를 설명하기 위한 도면들이다.
도 21 내지 도 23은 본 발명의 일 실시예에 의한 안내 로봇이 공항 이용객들에게 가상 이미지 홀로그램을 제공하는 다른 일 예를 설명하기 위한 도면들이다.
도 24는 본 발명의 일 실시예에 의한 공항용 안내 로봇의 구성을 블록도로 도시한 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1은 본 발명의 일 실시예에 의한 공항 로봇의 하드웨어 구성을 도시한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 의한 공항 로봇(100)의 하드웨어는 마이컴(Micom) 그룹과 및 AP 그룹으로 구성될 수 있다. 마이컴(110) 그룹은 마이컴(110), 전원부(120), 장애물 인식부(130) 및 주행구동부(140)을 포함할 수 있다. AP 그룹은 AP(150), 유저 인터페이스부(160), 사물 인식부(170), 위치 인식부(180) 및 LAN(190)을 포함할 수 있다. 상기 유저 인터페이스부(160)는 통신부로 명명될 수 있다.
마이컴(110)은 공항 로봇의 하드웨어 중 배터리 등을 포함하는 전원부(120), 각종 센서들을 포함하는 장애물 인식부(130) 및 복수 개의 모터 및 휠들을 포함하는 주행구동부(140)를 관리할 수 있다.
전원부(120)는 배터리 드라이버(battery Driver, 121) 및 리튬-이온 배터리(Li-Ion Battery, 122)를 포함할 수 있다. 배터리 드라이버(121)는 리튬-이온 배터리(122)의 충전과 방전을 관리할 수 있다. 리튬-이온 배터리(122)는 공항 로봇의 구동을 위한 전원을 공급할 수 있다. 리튬-이온 배터리(122)는 24V/102A 리튬-이온 배터리 2개를 병렬로 연결하여 구성될 수 있다.
장애물 인식부(130)는 IR 리모콘 수신부(131), USS(132), Cliff PSD(133), ARS(134), Bumper(135) 및 OFS(136)를 포함할 수 있다. IR 리모콘 수신부(131)는 공항 로봇을 원격 조정하기 위한 IR(Infrared) 리모콘의 신호를 수신하는 센서를 포함할 수 있다. USS(Ultrasonic sensor, 132)는 초음파 신호를 이용하여 장애물과 공항 로봇 사이의 거리를 판단하기 위한 센서를 포함할 수 있다. Cliff PSD(133)는 360도 전방향의 공항 로봇 주행 범위에서 낭떠러지 또는 절벽 등을 감지하기 위한 센서를 포함할 수 있다. ARS(Attitude Reference System, 134)는 공항 로봇의 자세를 검출할 수 있는 센서를 포함할 수 있다. ARS(134)는 공항 로봇의 회전량 검출을 위한 가속도 3축 및 자이로 3축으로 구성되는 센서를 포함할 수 있다. Bumper(135)는 공항 로봇과 장애물 사이의 충돌을 감지하는 센서를 포함할 수 있다. Bumper(135)에 포함되는 센서는 360도 범위에서 공항 로봇과 장애물 사이의 충돌을 감지할 수 있다. OFS(Optical Flow Sensor, 136)는 공항 로봇의 주행 시 헛바퀴가 도는 현상 및 다양한 바닥 면에서 공항 로봇의 주행거리를 측정할 수 있는 센서를 포함할 수 있다.
주행구동부(140)는 모터 드라이버(Motor Drivers, 141), 휠 모터(142), 회전 모터(143), 메인 브러시 모터(144), 사이드 브러시 모터(145) 및 석션 모터 (Suction Motor, 146)를 포함할 수 있다. 모터 드라이버(141)는 공항 로봇의 주행 및 청소를 위한 휠 모터, 브러시 모터 및 석션 모터를 구동하는 역할을 수행할 수 있다. 휠 모터(142)는 공항 로봇의 주행을 위한 복수 개의 바퀴를 구동시킬 수 있다. 회전 모터(143)는 공항 로봇의 메인 바디 또는 공항 로봇의 헤드부의 좌우 회전, 상하 회전을 위해 구동되거나 공항 로봇의 바퀴의 방향 전환 또는 회전을 위하여 구동될 수 있다. 메인 브러시 모터(144)는 공항 바닥의 오물을 쓸어 올리는 브러시를 구동시킬 수 있다. 사이드 브러시 모터(145)는 공항 로봇의 바깥면 주변 영역의 오물을 쓸어 담는 브러시를 구동시킬 수 있다. 석션 모터(146)는 공항 바닥의 오물을 흡입하기 위해 구동될 수 있다.
AP(Application Processor, 150)는 공항 로봇의 하드웨어 모듈 전체 시스템을 관리하는 중앙 처리 장치로서 기능할 수 있다. AP(150)는 각종 센서들을 통해 들어온 위치 정보를 이용하여 주행을 위한 응용프로그램 구동과 사용자 입출력 정보를 마이컴(110) 측으로 전송하여 모터 등의 구동을 수행하게 할 수 있다.
유저 인터페이스부(160)는 유저 인터페이스 프로세서(UI Processor, 161), LTE 라우터(LTE Router, 162), WIFI SSID(163), 마이크 보드(164), 바코드 리더기(165), 터치 모니터(166) 및 스피커(167)를 포함할 수 있다. 유저 인터페이스 프로세서(161)는 사용자의 입출력을 담당하는 유저 인터페이스부의 동작을 제어할 수 있다. LTE 라우터(162)는 외부로부터 필요한 정보를 수신하고 사용자에게 정보를 송신하기 위한 LTE 통신을 수행할 수 있다. WIFI SSID(163)는 WiFi의 신호 강도를 분석하여 특정 사물 또는 공항 로봇의 위치 인식을 수행할 수 있다. 마이크 보드(164)는 복수 개의 마이크 신호를 입력 받아 음성 신호를 디지털 신호인 음성 데이터로 처리하고, 음성 신호의 방향 및 해당 음성 신호를 분석할 수 있다. 바코드 리더기(165)는 공항에서 사용되는 복수 개의 티켓에 기재된 바코드 정보를 리드할 수 있다. 터치 모니터(166)는 사용자의 입력을 수신하기 위해 구성된 터치 패널 및 출력 정보를 표시하기 위한 모니터를 포함할 수 있다. 스피커(167)는 사용자에게 특정 정보를 음성으로 알려주는 역할을 수행할 수 있다.
사물인식부(170)는 2D 카메라(171), RGBD 카메라(172) 및 인식 데이터 처리 모듈(173)를 포함할 수 있다. 2D 카메라(171)는 2차원 영상을 기반으로 사람 또는 사물을 인식하기 위한 센서일 수 있다. RGBD 카메라(Red, Green, Blue, Distance, 172)로서, RGBD 센서들을 갖는 카메라 또는 다른 유사한 3D 이미징 디바이스들로부터 획득되는 깊이(Depth) 데이터를 갖는 캡처된 이미지들을 이용하여 사람 또는 사물을 검출하기 위한 센서일 수 있다. 인식 데이터 처리 모듈(173)은 2D 카메라(171) 및 RGBD 카메라(172)로부터 획득된 2D 이미지/영상 또는 3D 이미지/영상 등의 신호를 처리하여 사람 또는 사물을 인식할 수 있다.
위치인식부(180)는 스테레오 보드(Stereo B/D, 181), 라이더(Lidar, 182) 및 SLAM 카메라(183)를 포함할 수 있다. SLAM 카메라(Simultaneous Localization And Mapping 카메라, 183)는 동시간 위치 추적 및 지도 작성 기술을 구현할 수 있다. 공항 로봇은 SLAM 카메라(183)를 이용하여 주변 환경 정보를 검출하고 얻어진 정보를 가공하여 임무 수행 공간에 대응되는 지도를 작성함과 동시에 자신의 절대 위치를 추정할 수 있다. 라이더(Light Detection and Ranging : Lidar, 182)는 레이저 레이더로서, 레이저 빔을 조사하고 에어로졸에 의해 흡수 혹은 산란된 빛 중 후방산란된 빛을 수집, 분석하여 위치 인식을 수행하는 센서일 수 있다. 스테레오 보드(181)는 라이더(182) 및 SLAM 카메라(183) 등으로부터 수집되는 센싱 데이터를 처리 및 가공하여 공항 로봇의 위치 인식과 장애물 인식을 위한 데이터 관리를 담당할 수 있다.
랜(LAN, 190)은 사용자 입출력 관련 유저 인터페이스 프로세서(161), 인식 데이터 처리 모듈(173), 스테레오 보드(181) 및 AP(150)와 통신을 수행할 수 있다.
도 2는 본 발명의 다른 일 실시예에 의한 공항 로봇의 마이컴 및 AP의 구성을 자세하게 도시한 도면이다.
도 2에 도시된 바와 같이, 공항 로봇의 인식 및 행동을 제어하기 위해서 마이컴(210)과 AP(220)는 다양한 실시예로 구현될 수 있다.
일 예로서, 마이컴(210)은 데이터 액세스 서비스 모듈(Data Access Service Module, 215)를 포함할 수 있다. 데이터 액세스 서비스 모듈(215)은 데이터 획득 모듈(Data acquisition module, 211), 이머전시 모듈(Emergency module, 212), 모터 드라이버 모듈(Motor driver module, 213) 및 배터리 매니저 모듈(Battery manager module, 214)을 포함할 수 있다. 데이터 획득 모듈(211)은 공항 로봇에 포함된 복수 개의 센서로부터 센싱된 데이터를 취득하여 데이터 액세스 서비스 모듈(215)로 전달할 수 있다. 이머전시 모듈(212)은 공항 로봇의 이상 상태를 감지할 수 있는 모듈로서, 공항 로봇이 기 정해진 타입의 행동을 수행하는 경우에 이머전시 모듈(212)은 공항 로봇이 이상 상태에 진입했음을 감지할 수 있다. 모터 드라이버 모듈(213)은 공항 로봇의 주행 및 청소를 위한 휠, 브러시, 석션 모터의 구동 제어를 관리할 수 있다. 배터리 매니저 모듈(214)은 도 1의 리튬-이온 배터리(122)의 충전과 방전을 담당하고, 공항 로봇의 배터리 상태를 데이터 액세스 서비스 모듈(215)에 전달할 수 있다.
AP(220)는 각종 카메라 및 센서들과 사용자 입력 등을 수신하고, 인식 가공하여 공항 로봇의 동작을 제어하는 역할을 수행할 수 있다. 인터랙션 모듈(221)은 인식 데이터 처리 모듈(173)로부터 수신하는 인식 데이터와 유저 인터페이스 모듈(222)로부터 수신하는 사용자 입력을 종합하여, 사용자와 공항 로봇이 상호 교류할 수 있는 소프트웨어(Software)를 총괄하는 모듈일 수 있다. 유저 인터페이스 모듈(222)은 공항 로봇의 현재 상항 및 조작/정보 제공 등을 위한 모니터인 디스플레이부(223)와 키(key), 터치 스크린, 리더기 등과 같은 사용자의 근거리 명령을 수신하거나, 공항 로봇을 원격 조정을 위한 IR 리모콘의 신호와 같은 원거리 신호를 수신하거나, 마이크 또는 바코드 리더기 등으로부터 사용자의 입력 신호를 수신하는 사용자 입력부(224)로부터 수신되는 사용자 입력을 관리할 수 있다. 적어도 하나 이상의 사용자 입력이 수신되면, 유저 인터페이스 모듈(222)은 상태 관리 모듈(State Machine module, 225)로 사용자 입력 정보를 전달할 수 있다. 사용자 입력 정보를 수신한 상태 관리 모듈(225)은 공항 로봇의 전체 상태를 관리하고, 사용자 입력 대응하는 적절한 명령을 내릴 수 있다. 플래닝 모듈(226)은 상태 관리 모듈(225)로부터 전달받은 명령에 따라서 공항 로봇의 특정 동작을 위한 시작과 종료 시점/행동을 판단하고, 공항 로봇이 어느 경로로 이동해야 하는지를 계산할 수 있다. 네비게이션 모듈(227)은 공항 로봇의 주행 전반을 담당하는 것으로서, 플래닝 모듈(226)에서 계산된 주행 루트에 따라서 공항 로봇이 주행하게 할 수 있다. 모션 모듈(228)은 주행 이외에 기본적인 공항 로봇의 동작을 수행하도록 할 수 있다.
또한, 본 발명의 다른 일 실시예에 의한 공항 로봇은 위치 인식부(230)를 포함할 수 있다. 위치 인식부(230)는 상대 위치 인식부(231)와 절대 위치 인식부(234)를 포함할 수 있다. 상대 위치 인식부(231)는 RGM mono(232) 센서를 통해 공항 로봇의 이동량을 보정하고, 일정한 시간 동안 공항 로봇의 이동량을 계산할 수 있고, LiDAR(233)를 통해 현재 공항 로봇의 주변 환경을 인식할 수 있다. 절대 위치 인식부(234)는 Wifi SSID(235) 및 UWB(236)을 포함할 수 있다. Wifi SSID(235)는 공항 로봇의 절대 위치 인식을 위한 UWB 센서 모듈로서, Wifi SSID 감지를 통해 현재 위치를 추정하기 위한 WIFI 모듈이다. Wifi SSID(235)는 Wifi의 신호 강도를 분석하여 공항 로봇의 위치를 인식할 수 있다. UWB(236)는 발신부와 수신부 사이의 거리를 계산하여 공항 로봇의 절대적 위치를 센싱할 수 있다.
또한, 본 발명의 다른 일 실시예에 의한 공항 로봇은 맵 관리 모듈(240)을 포함할 수 있다. 맵 관리 모듈(240)은 그리드 모듈(Grid module, 241), 패스 플래닝 모듈(Path Planning module, 242) 및 맵 분할 모듈(243)을 포함할 수 있다. 그리드 모듈(241)은 공항 로봇이 SLAM 카메라를 통해 생성한 격자 형태의 지도 혹은 사전에 미리 공항 로봇에 입력된 위치 인식을 위한 주변환경의 지도 데이터를 관리할 수 있다. 패스 플래닝 모듈(242)은 복수 개의 공항 로봇들 사이의 협업을 위한 맵 구분에서, 공항 로봇들의 주행 경로 계산을 담당할 수 있다. 또한, 패스 플래닝 모듈(242)은 공항 로봇 한대가 동작하는 환경에서 공항 로봇이 이동해야 할 주행 경로도 계산할 수 있다. 맵 분할 모듈(243)은 복수 개의 공항 로봇들이 각자 담당해야할 구역을 실시간으로 계산할 수 있다.
위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들은 다시 상태 관리 모듈(225)로 전달될 수 있다. 상태 관리 모듈(225)은 위치 인식부(230) 및 맵 관리 모듈(240)로부터 센싱되고 계산된 데이터들에 기초하여, 공항 로봇의 동작을 제어하도록 플래닝 모듈(226)에 명령을 내릴 수 있다.
다음으로 도 3은 본 발명의 실시 예에 따른 공항 로봇 시스템의 구조를 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 공항 로봇 시스템은 이동 단말기(310), 서버(320), 공항 로봇(300) 및 카메라(330)를 포함할 수 있다.
이동 단말기(310)는 공항 내 서버(320)와 데이터를 송수신할 수 있다. 예를 들어, 이동 단말기(310)는 서버(320)로부터 비행 시간 스케쥴, 공항 지도 등과 같은 공항 관련 데이터를 수신할 수 있다. 사용자는 이동 단말기(310)를 통해 공항에서 필요한 정보를 서버(320)로부터 수신하여 얻을 수 있다. 또한, 이동 단말기(310)는 서버(320)로 사진이나 동영상, 메시지 등과 같은 데이터를 전송할 수 있다. 예를 들어, 사용자는 미아 사진을 서버(320)로 전송하여 미아 접수를 하거나, 공항 내 청소가 필요한 구역의 사진을 카메라로 촬영하여 서버(320)로 전송함으로써 해당 구역의 청소를 요청할 수 있다.
또한, 이동 단말기(310)는 공항 로봇(300)과 데이터를 송수신할 수 있다.
예를 들어, 이동 단말기(310)는 공항 로봇(300)을 호출하는 신호나 특정 동작을 수행하도록 명령하는 신호 또는 정보 요청 신호 등을 공항 로봇(300)으로 전송할 수 있다. 공항 로봇(300)은 이동 단말기(310)로부터 수신된 호출 신호에 응답하여 이동 단말기(310)의 위치로 이동하거나 명령 신호에 대응하는 동작을 수행할 수 있다. 또는 공항 로봇(300)은 정보 요청 신호에 대응하는 데이터를 각 사용자의 이동 단말기(310)로 전송할 수 있다.
다음으로, 공항 로봇(300)은 공항 내에서 순찰, 안내, 청소, 방역, 운반 등의 역할을 할 수 있다.
공항 로봇(300)은 이동 단말기(310) 또는 서버(320)와 신호를 송수신할 수 있다. 예를 들어, 공항 로봇(300)은 서버(320)와 공항 내 상황 정보 등을 포함한 신호를 송수신할 수 있다. 또한, 공항 로봇(300)은 공항 내 카메라(330)로부터 공항의 각 구역들을 촬영한 영상 정보를 수신할 수 있다. 따라서 공항 로봇(300)은 공항 로봇(300)이 촬영한 영상 정보 및 카메라(330)로부터 수신한 영상 정보를 종합하여 공항의 상황을 모니터링할 수 있다.
공항 로봇(300)은 사용자로부터 직접 명령을 수신할 수 있다. 예를 들어, 공항 로봇(300)에 구비된 디스플레이부를 터치하는 입력 또는 음성 입력 등을 통해 사용자로부터 명령을 직접 수신할 수 있다. 공항 로봇(300)은 사용자, 이동 단말기(310) 또는 서버(320) 등으로부터 수신된 명령에 따라 순찰, 안내, 청소 등의 동작을 수행할 수 있다.
다음으로 서버(320)는 이동 단말기(310), 공항 로봇(300), 카메라(330)로부터 정보를 수신할 수 있다. 서버(320)는 각 장치들로부터 수신된 정보들을 통합하여 저장 및 관리할 수 있다. 서버(320)는 저장된 정보들을 이동 단말기(310) 또는 공항 로봇(300)에 전송할 수 있다. 또한, 서버(320)는 공항에 배치된 복수의 공항 로봇(300)들 각각에 대한 명령 신호를 전송할 수 있다.
카메라(330)는 공항 내에 설치된 카메라를 포함할 수 있다. 예를 들어, 카메라(330)는 공항 내에 설치된 복수 개의 CCTV(closed circuit television) 카메라, 적외선 열감지 카메라 등을 모두 포함할 수 있다. 카메라(330)는 촬영된 영상을 서버(320) 또는 공항 로봇(300)에 전송할 수 있다.
도 4는 본 발명의 일 실시예에 의한 안내 로봇이 2D 이미지를 이용하여 길 안내 서비스를 제공하는 일 예를 설명하기 위한 도면이다.
본 발명의 일 실시예에 의한 공항용 안내 로봇(400)은 공항 내에서 일정 지역을 순회하면서 길 안내 서비스를 제공할 수 있다. 또한, 안내 로봇(400)은 사용자(410)가 요청한 목적지까지 현재 위치로부터의 길 안내 서비스를 제공할 수 있다. 또한, 안내 로봇(400)은 음성 출력 방식을 통하여 사용자(410)가 요청한 목적지까지 현재 위치로부터의 길 안내 서비스를 제공할 수 있다. 또한, 안내 로봇(400)은 사진, 그림, 텍스트 등의 2D 이미지(420) 출력 방식을 통하여 사용자(410)가 요청한 목적지까지 현재 위치로부터의 길 안내 서비스를 제공할 수 있다.
예를 들어 도 4에 도시된 바와 같이, 사용자(410)는 안내 로봇(400)에게 길 안내 서비스를 요청 할 수 있다. 그리고, 안내 로봇(400)은 사용자(410)에게 현재 위치로부터 목적지까지 가는 방향 및 거리에 대한 정보를 2D 이미지(420)를 출력할 수 있다. 또한, 안내 로봇(400)은 길 안내 서비스를 위한 2D 이미지(420)를 공항 바닥에 투사할 수 있다. 또한, 안내 로봇(400)은 차량용 네비게이션(navigation)과 유사하게 방향을 나타내는 2D 이미지(420)와 함께 텍스트 데이터를 함께 투사할 수 있다. 또한, 안내 로봇(400)은 현재 위치로부터 사용자(410)가 요청한 목적지까지 이동 경로를 순차적으로 시간 간격을 두고 2D 이미지(420)로 투사할 수 있다. 또한 현재 위치로부터 사용자(410)가 요청한 목적지까지 복수 개의 이동 경로가 존재하는 경우, 안내 로봇(400)은 복수 개의 이동 경로를 시간 간격을 두고 순차적으로 2D 이미지(420)를 통해 출력하여 길 안내 서비스를 제공할 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 의한 안내 로봇이 홀로그램 이미지를 이용하여 길 안내 서비스를 제공하는 다른 일 예를 설명하기 위한 도면들이다.
본 발명의 일 실시예에 의한 공항용 안내 로봇(500)은 공항 내에서 일정 지역을 순회하면서 길 안내 서비스를 제공할 수 있다. 또한, 안내 로봇(500)은 사용자(510)가 요청한 목적지까지 현재 위치로부터의 길 안내 서비스를 제공할 수 있다. 또한, 안내 로봇(500)은 음성 출력 방식을 통하여 사용자(510)가 요청한 목적지까지 현재 위치로부터의 길 안내 서비스를 제공할 수 있다. 또한, 안내 로봇(500)은 도 5에서 설명한 바와 같이 사진, 그림, 텍스트 등의 2D 이미지 출력 방식을 통하여 사용자(510)가 요청한 목적지까지 현재 위치로부터의 길 안내 서비스를 제공할 수 있다. 뿐만 아니라, 안내 로봇(500)은 차량용 네비게이션과 유사하게 지도 이미지(520)를 출력하여 사용자에게 길 안내 서비스를 제공할 수 있다.
예를 들어 도5에 도시된 바와 같이, 사용자(510)는 안내 로봇(500)에게 길 안내 서비스를 요청 할 수 있다. 그리고, 안내 로봇(500)은 사용자(510)에게 현재 위치로부터 목적지까지 가는 이동 경로를 포함하는 지도 이미지(520)를 출력할 수 있다. 또한, 안내 로봇(400)은 길 안내 서비스를 위한 지도 이미지(520)를 공항 바닥에 투사할 수 있다. 또한, 안내 로봇(400)은 차량용 네비게이션(navigation)과 유사하게 최단 거리 경로, 최소 시간 경로 등 다양한 이동 경로 정보를 지도 이미지(520)에 표시할 수 있다. 또한, 안내 로봇(500)은 현재 위치로부터 사용자(510)가 요청한 목적지까지 이동 경로를 순차적으로 시간 간격을 두고 지도 이미지(520)로 투사할 수 있다. 또한, 안내 로봇(500)은 2D 이미지의 지도 뿐만 아니라 3D 이미지의 지도(520)를 출력할 수 있다. 안내 로봇(500)이 출력하는 3D 이미지 지도는 홀로그램 또는 3D 컨텐츠 일 수 있다.
홀로그램은 물체의 표면에서 반사된 빛의 위상변화를 프린지 패턴(fringe pattern) 형태로 기록한 것이다. 종래의 아날로그 방식의 홀로그램은 레이저에서 나온 빛을 물체에 투사한 후 반사되어 홀로그램 저장 매체에 입사되는 물체파와 홀로그램 저장 매체에 직접 입사되는 기준파가 서로 간섭을 일으켜 프린지 패턴이 생성되며, 이것을 홀로그램 저장 매체에 기록하는 방법이다. 이와 같이 기록된 홀로그램 정보를 재생하기 위해서는 홀로그램 기록 과정에서 사용한 기준파를 동일한 방향으로 입사시켜 회절을 일으키게 하면 본래 물체가 있었던 위치에 물체와 동일한 홀로그램 영상이 재현된다. 한편, 디지털 홀로그램을 생성하는 경우에는 물체에 대한 물체파와 기준파의 간섭에 의한 홀로그램 프린지 패턴의 생성 원리를 컴퓨터 모델링을 통하여 계산식을 처리하게 된다. 상기 디지털 홀로그램 방식은 새로운 디지털 홀로그램 영상을 생성하기 위해 컴퓨터 계산을 통하여 재생성할 수 있으며, 광학식 홀로그램 디스플레이 방식이 아닌 프로젝션 방식으로 디지털 홀로그램 데이터를 가시화함으로써 재생된 홀로그램 영상의 크기와 시야각을 개선할 수 있다.
따라서 보다 시각적효과가 좋은 길 안내 서비스를 제공하기 위하여, 본 발명의 일 실시예에 의한 안내 로봇은 위와 같은 홀로그램, 홀로그램 영상, 홀로그램 이미지 또는 3D 컨텐츠를 출력할 수 있다.
또한. 본 발명의 일 실시예에 의한 안내 로봇(500)은 사용자(510)와 인터랙션(interaction)을 수행하는 동안에는 기 정해진 위치에서 정지한 상태로 길 안내 서비스를 제공할 수 있다. 반면에, 본 발명의 다른 일 실시예에 의한 안내 로봇(600)은 사용자(610) 편의성을 증대시키기 위하여 사용자(610)가 요청한 목적지까지 동행하면서 길 안내 서비스를 제공할 수 있다. 즉, 본 발명의 다른 일 실시예에 의한 안내 로봇(600)은 홀로그램 지도(620)로 이동 경로를 표시할 뿐 만 아니라, 이동 경로에 따라 실제로 이동을 하면서 사용자(610)를 목적지까지 안내할 수 있다.
도 7은 본 발명의 일 실시예에 의한 안내 로봇이 길 안내 동행 서비스를 제공하는 일 예를 설명하기 위한 도면이다.
본 발명의 일 실시예에 의한 공항용 안내 로봇(700)은 공항 내에서 일정 지역을 순회하면서 길 안내 서비스를 제공할 수 있다. 또한, 안내 로봇(700)은 사용자(710)가 요청한 목적지까지 현재 위치로부터의 길 안내 서비스를 제공할 수 있다. 또한, 안내 로봇(700)은 음성 출력 방식을 통하여 사용자(710)가 요청한 목적지까지 현재 위치로부터의 길 안내 서비스를 제공할 수 있다. 또한, 안내 로봇(700)은 도 5에서 설명한 바와 같이 사진, 그림, 텍스트 등의 2D 이미지(721, 722) 출력 방식을 통하여 사용자(710)가 요청한 목적지까지 현재 위치로부터의 길 안내 서비스를 제공할 수 있다. 뿐만 아니라, 안내 로봇(700)은 사진, 그림, 텍스트 등의 2D 이미지(721, 722) 출력함과 동시에 사용자(710)를 목적지까지 직접 안내해주는 길 안내 동행 서비스를 제공할 수 있다.
예를 들어 도7에 도시된 바와 같이, 사용자(710)는 안내 로봇(700)에게 길 안내 서비스를 요청 할 수 있다. 그리고, 안내 로봇(700)은 사용자(710)에게 현재 위치로부터 목적지까지 가는 이동 경로를 안내하는 2D 이미지(721)를 공항 바닥 등에 출력할 수 있다. 또한, 안내 로봇(700)은 현재 위치로부터 사용자(710)가 요청한 목적지까지 이동 경로를 순차적으로 시간 간격을 두고 2D 이미지들(721, 722)을 출력할 수 있다. 또한, 안내 로봇(700)은 2D 이미지들(721, 722)을 출력함과 동시에 직접 사용자(710)를 목적지까지 안내할 수 있다. 이 경우, 안내 로봇(700)은 사용자(710)와 안내 로봇(700) 사이의 거리를 실시간으로 감지하여 일정한 거리를 유지하도록 제어될 수 있다. 또한 사용자(710)와 안내 로봇(700) 사이의 거리거 기 정해진 거리 이상 멀어지는 경우, 안내 로봇(700)은 길 안내 동행 서비스를 중지할 수 있다.
도 8 내지 도 11은 본 발명의 일 실시예에 의한 안내 로봇이 cctv 영상 데이터를 이용하여 길 안내 서비스를 제공하는 다양한 실시예들을 설명하기 위한 도면들이다.
도 8에 도시된 바와 같이, 공항 내에는 복수 개의 CCTV(811, 812, 813)들이 랜덤하게 배치될 수 있다. 복수 개의 CCTV(811, 812, 813)들은 공항 내 상황을 실시간으로 촬영할 수 있다. 복수 개의 CCTV(811, 812, 813)들은 실시간 촬영 영상 데이터를 서버에 전송할 수 있다. 또한, 복수 개의 CCTV(811, 812, 813)들은 실시간 촬영 영상 데이터를 적어도 하나 이상의 공항용 로봇(801, 802, 803, 804, 805, 806)들에게 전송할 수 있다. 적어도 하나 이상의 공항용 로봇(801, 802, 803, 804, 805, 806)들은 CCTV로부터 전달받은 영상 데이터를 이용하여 공항 이용객에게 다양한 서비스를 제공할 수 있다.
예를 들어 도 9에 도시된 바와 같이, 사용자(910)는 안내 로봇(900)에게 특정 목적지까지로의 길 안내 서비스를 요청할 수 있다. 사용자(910)로부터 길 안내 서비스 요청을 받은 안내 로봇(900)은 현재 위치에서 목적지까지로의 이동 경로를 계산할 수 있다. 그리고 안내 로봇(900)은 계산된 이동 경로를 촬영하는 적어도 하나 이상의 CCTV를 탐색할 수 있다. 그리고 안내 로봇(900)은 탐색 결과에 따라 적어도 하나 이상의 CCTV에게 실시간 영상 데이터를 요청할 수 있다. 또는, 안내 로봇(900)은 서버에게 계산된 이동 경로를 촬영하는 실시간 영상 데이터를 요청할 수 있다. 그리고 안내 로봇(900)은 적어도 하나 이상의 CCTV 또는 서버로부터 실시간 영상 데이터를 수신할 수 있다. 그리고 안내 로봇(900)은 수신한 영상 데이터에 부가하기 위한 사용자(910)이미지를 촬영할 수 있다. 그리고 안내 로봇(900)은 촬영한 사용자(910) 이미지 및 이동 경로를 실시간 영상 데이터에 믹싱(mixing)할 수 있다. 그리고 안내 로봇(900)은 믹싱된 영상 데이터(920)를 바닥에 투사할 수 있다. 또는 안내 로봇(900)은 믹싱된 영상 데이터(920)를 홀로그램 컨텐츠 출력 방식을 이용하여 공중에 투사할 수 있다. 또한, 공항 로봇(900)은 믹싱된 영상 데이터에 사용자(910)가 인지하기 쉽도록 하이라이트(925) 처리할 수 있다.
또한, 공항 로봇(900)은 믹싱된 영상 데이터(920)를 2D 또는 3D 이미지 형태로 투사하는 동안 광고 이미지(930)를 디스플레이부에 출력할 수 있다. 즉 도 10에 도시된 바와 같이, 공항 로봇(900)은 믹싱된 영상 데이터(920)를 바닥 또는 공중에 출력하는 동안 기 정해진 광고 이미지(930) 또는 광고 영상을 안내 로봇(900)의 디스플레이부에 출력할 수도 있다.
또한 도 11에 도시된 바와 같이, 공항 로봇(900)은 광고 이미지(930)를 공항 바닥에 2D 이미지 형태로 투사하거나, 공중에 3D 이미지 형태로 투사할 수 있다. 또한, 공항 로봇(900)은 믹싱된 영상 데이터(920)를 디스플레이부의 제1 영역에 출력할 수 있다. 또한, 공항 로봇(900)은 믹싱된 영상 데이터에 사용자(910)가 인지하기 쉽도록 하이라이트(925) 처리할 수 있다. 또한. 공항 로봇(900)은 길 안내 서비스를 위한 안내 메시지(940)를 디스플레이부의 제2 영역에 출력할 수 있다. 따라서, 공항 로봇(900)은 믹싱된 영상 데이터(920) 뿐만 아니라 안내 메시지(940)를 동시에 디스플레이부에 출력함으로써 사용자가 길 안내 정보를 더욱 쉽게 이해할 수 있도록 컨텐츠를 제공할 수 있다.
도 12는 본 발명의 일 실시예에 의한 안내 로봇이 광고 이미지를 통해 자신의 위치를 표시하는 일 예를 설명하기 위한 도면이다.
도 12에 도시된 바와 같이, 본 발명의 일 실시예에 의한 안내 로봇(1201, 1202)은 서버로부터 수신하는 적어도 하나 이상의 광고 이미지(1211, 1212)를 3D 컨텐츠 형태로 공중에 투사할 수 있다. 따라서, 공항 내 사용자들은 공중에 투사된 광고 이미지(1211, 1212)를 통해 해당 공항용 로봇이 안내 로봇임을 쉽게 인지할 수 있다. 따라서, 공항 내 사용자들은 공중에 투사된 광고 이미지(1211, 1212)를 통해 안내 로봇의 위치를 쉽게 파악할 수 있다. 또한, 광고 이미지(1211, 1212)는 서버에서 기 정해진 주기마다 업데이트되어 안내 로봇(1201, 1202)에게 전송될 수 있다. 도 12와 같이 설계함으로써, 길 안내 서비스를 제공받고자 하는 사용자 편의성이 증대되는 기술적 효과가 있다.
도 13 및 도 14는 본 발명의 일 실시예에 의한 안내 로봇이 주변 사용자를 감지하여 자동으로 관련 컨텐츠를 제공하는 일 예를 설명하기 위한 도면들이다.
본 발명의 일 실시예에 의한 안내 로봇은 기 정해진 범위 내의 사용자의 이미지를 촬영할 수 있다. 그리고, 안내 로봇은 촬영한 이미지를 데이터 베이스 내 데이터들과의 비교를 통해 사용자의 성별 및 나이 정보 등을 추정할 수 있다. 또한, 안내 로봇은 데이터 베이스 내에 성별 및 여러가지 나이와 매칭되는 다양한 컨텐츠 정보를 저장해놓을 수 있다. 또한, 안내 로봇은 사용자의 성별 및 나이에 따른 다양한 컨텐츠를 서버로부터 수신할 수 있다. 그리고 사용자가 기 정해진 범위 내에 기 정해진 시간 이상 존재하는 것을 감지하는 경우, 안내 로봇은 관련 컨텐츠를 공항 바닥에 2D 이미지로 출력하거나, 3D 이미지로 공중에 출력할 수 있다.
예를 들어 도 13의 (a)에 도시된 바와 같이, 안내 로봇(1300)은 기 정해진 범위 내에 사용자(1310)가 들어오는지를 실시간으로 감지할 수 있다. 그리고, 안내 로봇(1300)은 기 정해진 범위 내에 사용자(1310)가 들어오는 것을 감지하는 경우 사용자(1310)의 이미지를 촬영할 수 있다. 그리고 안내 로봇(1300)은 촬영한 사용자(1310)의 이미지를 데이터 베이스 내 인물 데이터들과의 비교 프로세스를 통해 사용자(1310)의 성별이 남성이고, 나이가 40대 중반인 것을 추정할 수 있다. 그리고 안내 로봇(1300)은 데이터 베이스 내에 40대 중반의 남성과 매칭되는 뉴스 또는 신문 컨텐츠 데이터를 가질 수 있다. 또한 안내 로봇(1300)은 40대 중반의 남성이 관심을 가질수 있는 뉴스 또는 신문 컨텐츠를 서버로부터 수신할 수 있다. 그리고 사용자(1310)가 기 정해진 범위 내에서 일정 시간 이상 존재하는 것을 감지하는 경우, 안내 로봇(1300)은 뉴스 또는 신문 컨텐츠 영상(1315)를 출력할 수 있다. 이 때 뉴스 또는 신문 컨텐츠 영상(1315)는 2D 이미지 일 수 있고, 홀로그램과 같은 3D 이미지 일 수 있다.
또한, 예를 들어 도 14의 (a)에 도시된 바와 같이, 안내 로봇(1300)은 기 정해진 범위 내에 사용자(1320)가 들어오는지를 실시간으로 감지할 수 있다. 그리고, 안내 로봇(1300)은 기 정해진 범위 내에 사용자(1320)가 들어오는 것을 감지하는 경우 사용자(1320)의 이미지를 촬영할 수 있다. 그리고 안내 로봇(1300)은 촬영한 사용자(1320)의 이미지를 데이터 베이스 내 인물 데이터들과의 비교 프로세스를 통해 사용자(1320)의 성별이 남성이고, 미취학 아동인 것을 추정할 수 있다. 그리고 안내 로봇(1300)은 데이터 베이스 내에 미취학 남자 아이와 매칭되는 애니메이션 컨텐츠 데이터를 가질 수 있다. 또한 안내 로봇(1300)은 미취학 남자 아이가 관심을 가질수 있는 애니메이션 컨텐츠를 서버로부터 수신할 수 있다. 그리고 사용자(1320)가 기 정해진 범위 내에서 일정 시간 이상 존재하는 것을 감지하는 경우, 안내 로봇(1300)은 애니메이션 컨텐츠 영상(1325)를 출력할 수 있다. 이 때 애니메이션 컨텐츠 영상(1325)는 2D 이미지 일 수 있고, 홀로그램과 같은 3D 이미지 일 수 있다.
도 15 및 도 16은 본 발명의 일 실시예에 의한 안내 로봇이 탑승 티켓 스캔을 통해 다양한 안내 서비스를 제공하는 실시예들을 설명하기 위한 도면들이다.
본 발명의 일 실시예에 의한 안내 로봇은 사용자와 인터랙션을 수행할 수 있다. 사용자는 자신의 탑승 티켓(ticket)과 관련된 정보를 안내 로봇에 요청할 수 있다. 사용자는 자신의 탑승 티켓에 기재된 바코드를 통해 안내 로봇에게 관련 정보를 요청할 수 있다. 사용자로부터 관련 정보 요청을 입력받은 안내 로봇은 바코드를 통해 사용자의 비행 정보를 획득할 수 있다. 사용자의 비행 정보를 획득한 안내 로봇은 비행 기종 정보, 비행기 탑승 게이트 정보 또는 비행 경로 등에 대한 정보를 포함하는 안내 컨텐츠를 출력할 수 있다. 안내 컨텐츠는 2D 이미지 또는 홀로그램과 같은 3D 이미지 일 수 있다.
예를 들어 도 15에 도시된 바와 같이, 사용자(1510)는 자신의 탑승 티켓(1515)에 기재된 바코드를 안내 로봇(1500)에게 제공할 수 있다. 안내 로봇(1500)은 탑승 티켓(1515)에 기재된 바코드를 리드할 수 있다. 사용자(1510)의 탑승 티켓(1515)에 기재된 바코드를 읽은 안내 로봇(1500)은 관련 비행 정보를 서버로부터 수신할 수 있다. 관련 비행 정보는 비행 기종 정보, 탑승 정보 및 비행 경로 정보를 포함할 수 있다. 그리고, 안내 로봇(1500)은 사용자(15010)가 탑승하는 비행 기종 및 비행 시간 정보를 포함하는 제1 안내 컨텐츠 영상(1520)을 출력할 수 있다. 그리고, 안내 로봇(1500)은 사용자(1510)가 비행기를 탑승할 탑승 게이트 정보 및 탑승 시간 정보를 포함하는 제2 안내 컨텐츠 영상(1530)을 출력할 수 있다. 이 때, 제2 안내 컨텐츠 영상(1530)은 CCTV 등으로부터 획득한 현재 실시간 탑승 게이트 주변 영상일 수 있다.
또한 도 16에 도시된 바와 같이, 안내 로봇(1500)은 사용자(1510)가 탑승하는 비행기의 비행 경로 정보가 포함된 제3 안내 컨텐츠 영상(1530)을 출력할 수 있다. 이 경우, 제3 안내 컨텐츠 영상(1540)은 2D 이미지일 수 있고, 또는 홀로그램과 같은 3D 이미지 일 수 있다.
도 17 내지 도 20은 본 발명의 일 실시예에 의한 안내 로봇이 공항 이용객들에게 가상 이미지 홀로그램을 제공하는 일 예를 설명하기 위한 도면들이다.
본 발명의 일 실시예에 의한 안내 로봇은 공항 이용객 들에게 광고 컨텐츠를 제공하는 광고 장치(1700)를 포함할 수 있다. 도 17 내지 도 19를 참조하여 본 발명의 일실시예에 따른 안내 로봇(1720)의 광고 장치(1700)를 설명하면, 본 발명의 일실시예에 따른 안내 로봇(1720)의 광고 장치(1700)는 공항 이용객에 대한 영상을 획득하는 영상획득부(1710)를 포함할 수 있다. 본 발명의 실시예에 따른 공항 이용객은 쇼윈도(1740)의 내부에 배치된 상품(1750)을 지켜보는 사람일 수도 있다. 본 발명의 실시예에 따른 영상획득부(1710)는 카메라(Camera) 및 캠코더(Camcoder) 등과 같이 사물을 촬영하여 영상을 획득하는 장치를 포함할 수 있다. 또한 키넥트(Kinect) 등과 같은 공항 이용객의 움직임을 센싱하는 장치를 포함할 수도 있다.
본 발명의 실시예에 따른 영상획득부(1710)는 공항 이용객 및 공항 이용객 주변의 영상을 함께 촬영할 수도 있다. 이 경우 안내 로봇(1720)은 촬영된 영상 중에서 관객 주변의 영상을 제거하여, 관객에 대한 영상만을 추출할 수도 있다. 또한 안내 로봇(1720)은 영상획득부(1710)가 획득한 영상 중 공항 이용객에 대한 영상에 기초하여 아바타를 생성할 수도 있다. 이때 안내 로봇(1720)이 생성한 아바타는 공항 이용객의 모습과 유사할 수 있다.
본 발명의 또 다른 실시예에 따르면 영상획득부(1710)는 자체에 설치된 제어모듈을 이용하여, 공항 이용객에 대한 영상만을 촬영할 수도 있다. 본 발명의 실시예에 따른 영상획득부(1710)는 공항 이용객에 대한 입체 영상을 획득하기 위해 하나 이상이 배치될 수 있다. 영상획득부(1710)는 쇼윈도(1740) 내부에 배치될 수도 있으며, 쇼윈도(1740) 외부에 배치될 수도 있다. 또한 일부는 쇼윈도(1740)에 배치되고, 일부는 쇼윈도(1740) 외부에 배치될 수도 있다.
영상획득부(1710)가 복수인 경우, 각각의 영상획득부(1710)는 공항 이용객에 대한 각각 다른 각도에서 촬영된 영상을 획득할 수 있다. 이 경우 안내 로봇(1720)은 각각 다른 각도에서 촬영된 영상에 기초하여 입체 영상을 생성할 수도 있다. 도 17 내지 도 18에서는 영상획득부(1710)가 두 개인 것으로 도시되어 있으나, 본 발명은 이에 한정되지 않는다. 영상획득부(1710)가 두 개보다 더 적은 경우 또는 더 많은 경우에도 본 발명의 적용이 가능하다.
또한 도 17 내지 18에서는 영상획득부(1710)가 각각 쇼윈도(1740)의 하부 및 쇼윈도(1740)의 상부에 배치되어 있으나, 본 발명은 이에 한정되지 않는다. 얼마든지 영상획득부(1710)가 다른 위치에 배치되는 경우에도 본 발명의 적용이 가능하다.
본 발명의 일실시예에 따른 안내 로봇(1720)의 광고 장치(1700)는 획득된 영상을 배치된 상품(1750)에 맞춰 조절하고, 조절된 영상에 기초하여 홀로그램을 생성할 수 있다. 본 발명의 실시예에 따른 안내 로봇(1720)은 광고 장치(1700)의 전반적인 동작을 제어한다. 또한 안내 로봇(1720)은 배치된 상품(1750)에 맞춰, 획득된 영상의 크기, 위치 또는 비율을 조절할 수 있다. 또한 안내 로봇(1720)은 조절된 영상에 기초하여 홀로그램을 생성할 수 있다. 이때 안내 로봇(1720)은 저장부(미도시)에 기 저장된 배치된 상품(1750)의 정보에 기초하여 획득된 영상을 조절할 수 있다. 배치된 상품(1750)의 정보는 배치된 상품의 크기, 상품이 배치된 위치, 상품의 배치 형태 및 상품의 종류 중 적어도 어느 하나 이상을 포함할 수 있다. 이에 대하여 보다 상세히 설명하면 다음과 같다.
본 발명의 실시예에 따르면, 안내 로봇(1720)은 획득된 공항 이용객에 대한 영상의 크기를 조절하여, 배치된 상품(1750)에 맞출 수 있다. 예를 들어 설명하면, 배치된 상품(1750)이 스몰 사이즈(small size)의 옷이고, 공항 이용객이 라지 사이즈(large size)의 옷을 입는 경우, 안내 로봇(1720)은 획득된 공항 이용객의 영상의 크기를 배치된 상품(1750)에 맞게 줄일 수 있다. 또한 안내 로봇(1720)은 배치된 상품(1750)이 라지 사이즈(Large size)의 옷이고, 공항 이용객이 스몰 사이즈(Small size)의 옷을 입는 경우, 안내 로봇(1720)은 획득된 관객의 영상의 크기를 배치된 상품(1750)에 맞게 늘릴 수 있다. 여기서 안내 로봇(1720)이 영상의 크기를 조절한다고 함은, 영상 속 공항 이용객의 크기를 조절하는 것과 함께 영상 속 공항 이용객의 비율을 조절하여, 상품(1750)에 맞추는 것을 의미할 수도 있다. 이 경우 안내 로봇(1720)은 기 저장된 배치된 상품(1750)의 크기에 대한 정보에 기초하여 획득된 영상의 크기를 조절할 수 있다.
획득된 영상을 그대로 홀로그램으로 변환하여 투사 할 경우, 배치된 상품(1750)과 크기가 서로 맞지 않을 수 있기 때문에, 안내 로봇(1720)은 획득된 영상을 배치된 상품(1750)에 맞도록 조절할 수 있다.
또한 안내 로봇(1720)은 획득된 공항 이용객에 대한 영상을 배치된 상품(1750)의 배치 형태에 맞춰 영상을 조절할 수 있다.
도18을 예를 들어 설명하면, 배치된 상품(1750)이 옷이고, 사람이 달리는 형태의 모양으로 배치된 경우, 안내 로봇(1720)은 획득된 영상의 형태를 사람이 달리는 형태로 조절한다. 이때 안내 로봇(1720)은 획득된 공항 이용객에 대한 영상을 머리, 다리 및 팔 등 각각의 신체부위별로 분리하고, 분리된 영상을 사람이 달리는 형태로 재조합 할 수도 있다. 이 경우 안내 로봇(1720)은 저장된 배치된 상품(1750)의 배치 형태에 관한 정보에 기초하여 획득된 영상을 조절할 수 있다.
또한, 만일 배치된 상품(1750)이 핸드백(handbag)인 경우, 획득된 공항 이용객에 대한 영상을 핸드백을 들고 있는 형태로 조절할 수도 있다. 이 경우 안내 로봇(1720)은 저장된 배치된 상품(1750)의 배치 위치 및 상품 종류에 관한 정보에 기초하여 획득된 영상을 조절할 수 있다. 이 경우도, 안내 로봇(1720)은 획득된 공항 이용객에 대한 영상을 머리, 다리 및 팔 등 각각의 신체부위별로 분리하고, 분리된 영상을 핸드백을 들고 있는 형태로 재조합 할 수도 있다.
또한, 만일 배치된 상품(1750)이 백팩(backpack)인 경우, 획득된 공항 이용객에 대한 영상을 백팩을 착용하고 있는 형태로 조절할 수도 있다. 이 경우 안내 로봇(1720)는 저장된 배치된 상품(1750)의 배치 위치 및 상품 종류에 관한 정보에 기초하여 획득된 영상을 조절할 수 있다. 이 경우도, 안내 로봇(1720)는 획득된 공항 이용객에 대한 영상을 머리, 다리 및 팔 등 각각의 신체부위별로 분리하고, 분리된 영상을 백팩을 착용하고 있는 형태로 재조합 할 수도 있다.
안내 로봇(1720)이 재조합하는 상품의 착용 형태는 기 설정되어 있을 수도 있으며, 해당 상품의 전형적인 착용 형태에 기초할 수도 있다.
상기 설명과 같이, 상품(1750)에 맞춰진 영상에 기초하여 홀로그램을 생성하므로, 홀로그램이 표시부(1745)에 투사될 경우, 광고 장치(1700)는 공항 이용객에게 실제로 상품(1750)을 착용하고 있는 듯 시각적 효과를 줄 수 있다.
본 발명의 일실시예에 따른 광고 장치(1700)는 홀로그램을 쇼윈도(1740)의 일면에 투사하는 투사부(1730)를 더 포함할 수 있다. 본 발명의 실시예에 따른 투사부(1730)는 홀로그램을 투사할 수 있는 프로젝터(Projector)를 포함할 수 있다.
투사부(1730)는 표시부(1745)의 뒷면으로 홀로그램을 투사할 수도 있다. 그러나 투사부(1730)가 표시부(1745)의 전면으로 홀로그램을 투사하는 경우에도 본 발명의 적용이 가능하다.
본 발명의 일실시예에 다른 안내 로봇의 광고 장치(1700)는 홀로그램이 표시되는 표시부(1745)를 더 포함할 수 있다. 본 발명의 실시예에 다른 표시부(1745)는 쇼윈도(1740)의 투명 창 중 어느 일면에 투명한 재질의 특수 필름을 코팅하여 형성되며, 홀로 스크린(Holo Screen)일 수 있다.
홀로 스크린은 완전투명한 필름형태의 스크린으로 3D Hologram Image 및 동영상을 비추면 투명스크린에 선명한 영상이 표현 되는 스크린일 수 있다.
표시부(1745)는 쇼윈도(1740)의 투명창에 투명 필름이 코팅되어 있는 구조이기 때문에, 낮에는 쇼윈도(1740)의 다른 투명창과 동일한 기능을 수행할 수 있다. 반면 밤이 되면, 투사부(1730)는 표시부(1745)에 홀로그램을 투사하여, 표시부(1745)로 하여금 홀로그램을 표시하게 할 수 있다. 즉 밤에는 쇼윈도(1740)의 투명 필름이 부착된 일면이, 디스플레이 장치의 역할을 수행하게 될 수 있다. 이러한 구성을 통해 본 발명은, 별도의 설치 없이, 쇼윈도우(1740)를 표시부(1745)로 사용할 수 있다.
도 20은 본 발명의 일실시예에 따른 안내 로봇이 광고 장치를 사용하여 광고하는 방법을 설명하기 위한 순서도이다.
도 20을 참조하여 본 발명의 실시예에 따른 광고 방법을 설명하면, 먼저 영상획득부(1710)는 쇼윈도(1740)에 배치된 상품을 지켜보는 공항 이용객에 대한 영상을 획득한다(S2010). 이 과정에서 안내 로봇(1720)은 영상획득부(1710)에 의해 촬영된 영상에서 공항 이용객에 대한 영상을 추출할 수도 있다. 또한 영상획득부(1710)에 의해 촬영된 영상에서 공항 이용객에 대한 아바타를 추출할 수도 있다.
이후 안내 로봇(1720)은 획득된 영상을 배치된 상품에 맞춰 조절하고, 조절된 영상에 기초하여 홀로그램을 생성할 수 있(S2020). 안내 로봇(1720)은 배치된 상품(1750)에 맞게 획득된 영상의 크기, 위치, 비율 또는 배치형태를 조절할 수 있다. 또한 안내 로봇(1720)은 조절된 영상에 기초하여 홀로그램을 생성할 수 있다. 이후 투사부(1730)는 홀로그램을 표시부(1745)에 투사할 수 있다(S2030).
도 21 내지 도 23은 본 발명의 일 실시예에 의한 안내 로봇이 공항 이용객들에게 가상 이미지 홀로그램을 제공하는 다른 일 예를 설명하기 위한 도면들이다.
도 21 내지 도 23에 도시된 바와 같이, 본 발명의 일 실시예에 의한 안내 로봇(2100)은 공항 이용객들에게 가상성형 서비스를 제공하여 승무원, 기장 등 비행기와 관련된 다양한 직장인들의 이미지를 체험할 수 있다.
본 발명의 실시예에 따른 3D 홀로그램 가상 이미지 제공 안내 로봇(2100)은 도 23에서와 같이 영상센서 모듈(2110), 입출력장치(2120), 메인 컨트롤러(2130), 성형부위별 템플릿 DB(2140), 가상성형 디스플레이장치(2150), 가상성형기 본체(2160)를 포함하여 이루어질 수 있다.
영상센서 모듈(2110)은 서로 이격되게 배치되는 복수개의 영상센서(2111)로 이루어진다. 영상센서 모듈(2110)은 각 영상센서(2111)로부터 사용자 얼굴을 촬영하여 사용자 얼굴의 입체 영상정보를 획득하게 된다. 이와 같은 영상센서 모듈(2110)은 스테레오 카메라와 같은 고가의 3D 측정장치를 대체함으로써 비용절감을 도모할 수 있다.
특히, 본 발명의 실시예에 따른 안내 로봇(100)의 영상센서 모듈(2110)은 도 21에서와 같이 안내 로봇(2100)의 중앙 전면에 배치되는 정면 영상센서(2111), 안내 로봇(2100)의 좌측 측벽(2161)에 배치되는 좌측면 영상센서(2111), 안내 로봇(2100)의 우측 측벽(2161)에 배치되는 우측면 영상센서(2111)로 이루어질 수 있다. 그리고 본 발명의 실시예에 따른 안내 로봇(2100)의 영상센서(2111)는 수평하게 배치되는 막대형 프리즘 형상으로 이루어져 설정된 높이에 고정될 수 있다.
여기서 안내 로봇(2100)은 영상센서 모듈(2110), 입출력장치(2120), 메인 컨트롤러(2130), 성형부위별 템플릿DB(2140), 가상성형 디스플레이장치(2150)가 설치되는 것으로, 안내 로봇(2100)은 양측으로 측벽(2161)을 연장형성시킨다.
입출력장치(2120)는 가상성형용 콘텐츠 라이브러리(contents library) 항목을 사용자에게 제공하고, 가상성형용 콘텐츠 라이브러리 항목으로부터 사용자에 의해 선택된 선택항목을 입력받는다. 본 발명의 실시예에 따른 입출력장치(2120)는 가상성형용 콘텐츠 라이브러리 항목이 출력되고, 사용자의 터치에 의해 가상형성용 콘텐츠 라이브러리의 선택항목이 입력되는 터치스크린(2121)이다. 메인 컨트롤러(2130)는 영상센서 모듈(2110), 입출력장치(2120), 성형부위별 템플릿 DB(2140), 가상성형 디스플레이장치(2150)와 연결되어 가상성형이 수행되고 관리되도록 하는 것이다. 이와 같은 메인 컨트롤러(2130)는 영상센서 모듈(2110)로부터 사용자 얼굴의 입체 영상정보를 전달받고, 입출력장치(2120)로부터 가상성형용 콘텐츠 라이브러리의 선택항목을 입력받은 후, 사용자 얼굴의 입체 영상정보에 가상성형용 콘텐츠 라이브러리의 선택항목을 적용시킨 사용자 얼굴의 가상성형 형상 정보를 산출하게 된다.
본 발명의 실시예에 따른 안내 로봇(2100)의 메인 컨트롤러(2130)는 얼굴인식 유닛(2131), 3D 모델링 유닛(2132), 가상성형 유닛(2133)을 포함하여 이루어질 수 있다. 얼굴인식 유닛(2131)은 영상센서 모듈(2110)에서 입력되는 사용자 얼굴의 입체 영상정보로부터 사용자 얼굴을 인식하고 사용자의 얼굴형상정보를 추출하는 유닛으로, 이를 위한 인식 알고리즘을 갖는다. 특히 본 발명의 실시예에 따른 얼굴인식 유닛(2131)은 얼굴영역 추출알고리즘을 통해 사용자의 얼굴이 위치하는 얼굴영역을 추출하고, 중심점 추출알고리즘을 통해 얼굴영역의 중심점을 추출하며, 윤곽선 추출알고리즘을 통해 얼굴영역의 윤곽선을 추출한다. 또한 얼굴인식 유닛(2131)은 깊이정보 추출알고리즘을 통해 얼굴영역의 깊이 정보를 추출하고, 추출된 깊이정보를 깊이 이미지를 저장하는데, 사용자 얼굴의 정면 영상정보, 좌측면 영상정보, 우측면 영상정보에 대응하는 3개의 깊이 이미지를 저장할 수 있다.
3D 모델링 유닛(2132)은 얼굴인식 유닛(2131)으로부터 인식되어 추출되는 사용자의 얼굴형상정보로부터 사용자 얼굴을 3D 모델링하는 유닛으로, 이를 위한 3D 모델링 알고리즘을 갖는다. 특히 본 발명의 실시예에 따른 3D 모델링 유닛(2132)은 사용자 얼굴의 깊이 이미지로부터 3D 메쉬 데이터를 생성시키고, 사용자의 얼굴영역의 윤곽선 정보를 이용하여 3D 메쉬 데이터에 대한 3D 정합을 수행한 후, 3D 정합으로 생성된 사용자의 얼굴 3D 모델을 보정한 다음, 보정된 사용자의 얼굴 3D 모델에 대한 텍스처 이미지를 생성하여 맵핑할 수 있다. 가상성형 유닛(2133)은 입출력장치(2120)에서 입력되는 가상형성용 콘텐츠 라이브러리의 선택항목에 따라 3D 모델링 된 사용자 얼굴을 변형시켜 사용자 얼굴의 가상성형 형상 정보를 산출하는 유닛으로, 이를 위한 가상성형 알고리즘을 가질 수 있다. 여기서, 본 발명의 실시예에 따른 메인 컨트롤러(2130)는 사용자 얼굴의 가상성형 형상 정보가 3D 홀로그램의 입체 영상정보로 산출되도록 한다.
성형부위별 템플릿 DB(2140)는 가상성형용 콘텐츠 라이브러리가 저장되어 관리되는 데이터베이스이다. 본 발명의 실시예에 다른 성형부위별 템플릿 DB(2140)는 인적정보 관리 DB(2141), 안면 윤곽 정보관리 DB(2142), 성형부위별 모델 DB(2143), 모델별 메타데이터 DB(2144), 부위별 성형 메타데이터 DB(2145)를 포함한다. 인적정보 관리 DB(2141)는 가상성형을 수행하는 사용자의 인적정보가 저장되고 관리되는 DB이다. 안면 윤곽 정보관리 DB(2142)는 영상센서 모듈(2110)에 의해 획득된 사용자 얼굴의 입체 영상정보로부터 메인 컨트롤러(2130)에 의해 산출되는 사용자의 안면 윤곽정보가 저장되고 관리되는 DB이다. 성형부위별 모델 DB(2143)는 얼굴 부위별에 제공되는 복수의 모델에 관한 정보가 저장되고 관리되는 DB이다. 모델별 메타데이터 DB(2144)는 얼굴형상정보를 포함하는 메타데이터가 각 모델 별로 저장되고 관리되는 DB이다. 부위별 성형 메타데이터 DB(2145)는 각 얼굴 부위의 성형에 적용되는 얼굴 부위 변형정보를 포함하는 성형 메타데이터가 성형부위별로 저장되고 관리되는 DB이다.
이에 따라, 성형부위별 템플릿 DB(2140)에 저장되어 관리되는 가상성형용 콘텐츠 라이브러리는 사용자의 안면 윤곽정보, 부위별 모델정보, 모델별 메타데이터, 부위별 성형 메타데이터를 포함하게 된다. 가상성형 디스플레이장치(2150)는 메인 컨트롤러(2130)와 연결되어 사용자 얼굴의 가상성형 형상 정보를 출력하게 된다. 여기서, 본 발명의 실시예에 따른 가상성형 디스플레이장치(2150)로는 3D 홀로그램 출력장치(2151)가 사용된다. 이와 같은 가상 성형 서비스를 제공하는 안내 로봇(2100)의 3D 홀로그램 출력장치(2151)는 도 21에서와 같이 메인 컨트롤러(2130)와 연결되어 사용자 얼굴의 가상 성형 형상 정보를 전달받는 영상투사기(5111)와 연결된 영상투사스크린(511)이 사용자 얼굴의 가상성형 영상을 외부로 투사시키도록 하고, 영상투사스크린(511) 상측으로 이격되어 경사지게 설치되는 하프미러(512)가 영상투사스크린(5111)으로부터 투사되는 사용자 얼굴의 가상성형 영상을 3D 홀로그램의 입체 영상으로 구현하도록 한다.
따라서, 이와 같은 가상 성형 서비스를 이용하는 경우, 도 22에 도시된 바와 같이 공항 이용객은 자신의 얼굴이 입혀진 승무원 이미지를 3D 홀로그램 컨텐츠로서 제공받을 수 있다.
도 24는 본 발명의 일 실시예에 의한 공항용 안내 로봇의 구성을 블록도로 도시한 도면이다.
도 4 내지 도 23에서 설명한 본 발명의 일 실시예에 의한 공항용 안내 로봇에 대하여 정리하면, 도 1 및 도 2에 기재된 블록도는 도 24로 간략화 될 수 있다.
본 발명의 일 실시예에 의한 공항용 안내 로봇(2400)은 공항 지도 데이터를 저장하는 맵(map) 관리모듈(2410)을 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은 데이터를 송수신하는 통신부(2430)을 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은 이미지를 처리하는 이미지 프로세서(2440)을 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은 처리된 이미지를 출력하는 출력부(2460)을 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은 제어부(2480)를 포함할 수 있다. 그리고 제어부(2480)는 길 안내 요청 신호를 수신할 수 있다. 그리고 제어부(2480)는, 현재 위치로부터 목적지까지의 이동 경로를 계산할 수 있다. 그리고 제어부(2480)는, 이동 경로에 기초하는 길 안내 컨텐츠를 생성할 수 있다. 그리고 제어부(2480)는, 길 안내 컨텐츠의 타입에 따라 길 안내 컨텐츠를 출력하도록 제어할 수 있다. 공항용 안내 로봇(2400)은 터치 모니터(2470)를 더 포함할 수 있다. 그리고 길 안내 요청 신호는 상기 터치 모니터(2470)를 통해 수신될 수 있다. 그리고 길 안내 요청 신호는 목적지 정보를 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은 위치 인식부(2420)을 더 포함할 수 있다. 그리고 위치 인식부(2420)는 LiDAR 및 Wi-Fi 모듈을 포함할 수 있다. 그리고 제어부(2480)는, 위치 인식부(2420)를 통해 상기 공항용 안내 로봇(2400)의 현재 위치를 디텍팅할 수 있다. 그리고 제어부(2480)는, 디텍팅된 현재 위치 정보와 목적지 정보를 이용하여 이동 경로를 계산할 수 있다. 그리고, 길 안내 컨텐츠의 타입은 2D 네비게이션 이미지, 2D 네비게이션 영상, 3D 네비게이션 이미지, 3D 네비게이션 영상 및 홀로그램 네비게이션 중 적어도 하나를 포함할 수 있다. 그리고 제어부(2480)는, 상기 2D 네비게이션 이미지, 2D 네비게이션 영상, 3D 네비게이션 이미지, 3D 네비게이션 영상은 공항 내 벽면 상에 출력하도록 제어할 수 있다. 그리고 제어부(2480)는, 홀로그램 네비게이션은 공간 상에 출력하도록 제어할 수 있다. 그리고, 출력부(2460)은 이미지 또는 패턴을 투사하는 투사부 및
투사부의 위치를 조절하는 투사 조절부를 포함할 수 있다. 그리고 제어부(2480)는, 길 안내 컨텐츠를 투사할 공간을 향해 기 정해진 패턴을 투사할 수 있다. 그리고 제어부(2480)는, 투사된 패턴에 기초하여 공간의 구조를 분석할 수 있다. 그리고 제어부(2480)는, 분석된 공간의 구조에 기초하여 적어도 하나 이상의 투사 영역을 획득할 수 있다. 그리고 제어부(2480)는, 투사부에서 투사된 패턴의 모양 변화를 감지할 수 있다. 그리고 제어부(2480)는, 패턴의 모양 변화가 감지되는 영역은 투사하기 부적절한 영역으로 판단할 수 있다. 그리고 제어부(2480)는, 패턴의 모양 변화가 감지되지 않는 영역은 투사하기 적절한 영역으로 판단할 수 있다. 공항용 안내 로봇(2400)은 주위 공간 영상을 촬영하는 카메라를 더 포함할 수 있다. 그리고 제어부(2480)는, 촬영된 주위 공간 영상에 기초하여 주위 공간의 구조를 분석할 수 있다. 투사부는 길 안내 컨텐츠 보정을 위한 가이드라인을 더 투사할 수 있다. 그리고 카메라(2450)는 투사된 가이드라인을 더 촬영할 수 있다. 그리고 제어부(2480)는, 투사된 가이드라인과 촬영된 가이드라인을 비교한 결과에 기초하여 캘리브레이션 영상을 생성할 수 있다. 그리고 제어부(2480)는, 길 안내 컨텐츠를 투사하는 경우 길 안내 컨텐츠를 캘리브레이션 영상과 함께 처리하여 투사하도록 제어할 수 있다. 통신부(2430)는 이동 경로를 촬영하는 CCTV 촬영 영상 데이터를 수신할 수 있다. 그리고 제어부(2480)는, CCTV 촬영 영상 데이터를 이용하여 길 안내 컨텐츠를 생성할 수 있다. 공항용 안내 로봇(2400)은 길 안내 요청 신호를 입력한 사용자를 촬영하는 카메라(2450)를 더 포함할 수 있다. 그리고 제어부(2480)는, 촬영된 사용자 이미지를CCTV 촬영 영상 데이터에 부가하여 길 안내 컨텐츠를 생성할 수 있다.
처리 시스템에 의해 실행하기 위한 컴퓨터-실행가능 명령들을 포함하는 컴퓨터-판독가능 저장 매체로서, 길 안내 컨텐츠를 제공하기 위한 상기 컴퓨터-실행가능 명령들은, 길 안내 요청 신호를 수신하는 명령들, 현재 위치로부터 목적지까지의 이동 경로를 계산하는 명령들, 상기 이동 경로에 기초하는 길 안내 컨텐츠를 생성하는 명령들 및 상기 길 안내 컨텐츠의 타입에 따라 상기 길 안내 컨텐츠를 출력하는 명령들을 포함할 수 있다. 그리고, 상기 컴퓨터-실행가능 명령들은, 현재 위치를 디텍팅하는 명령들 및 상기 디텍팅된 현재 위치 정보와 상기 목적지 정보를 이용하여 상기 이동 경로를 계산하는 명령들을 더 포함할 수 있다. 상기 길 안내 컨텐츠의 타입은 2D 네비게이션 이미지, 2D 네비게이션 영상, 3D 네비게이션 이미지, 3D 네비게이션 영상 및 홀로그램 네비게이션 중 적어도 하나일 수 있다. 상기 컴퓨터-실행가능 명령들은, 상기 길 안내 컨텐츠를 투사할 공간을 향해 기 정해진 패턴을 투사하는 명령들, 상기 투사된 패턴에 기초하여 상기 공간의 구조를 분석하는 명령들 및 상기 분석된 공간의 구조에 기초하여 적어도 하나 이상의 투사 영역을 획득하는 명령들을 더 포함할 수 있다. 상기 컴퓨터-실행가능 명령들은, 투사된 패턴의 모양 변화를 감지하는 명령들 및 상기 패턴의 모양 변화가 감지되는 영역은 투사하기 부적절한 영역으로 판단하고, 상기 패턴의 모양 변화가 감지되지 않는 영역은 투사하기 적절한 영역으로 판단하는 명령들을 더 포함할 수 있다.
본 발명의 다른 일 실시예에 의한 공항용 안내 로봇(2400)은 카메라(2450)를 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은, 범위 내의 물체를 센싱하는 센서(2490)를 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은, 서버로부터 데이터를 수신하는 통신부(2430)을 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은, 이미지를 처리하는 이미지 프로세서(2440)을 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은, 처리된 이미지를 출력하는 출력부(2460)를 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은 제어부(2480)을 포함할 수 있다. 센서(2490)는 기 정해진 범위 내에 사용자를 감지할 수 있다. 카메라(2450)은 사용자를 촬영할 수 있다. 그리고 제어부(2480)는 촬영된 사용자의 이미지를 통해 사용자 나이를 결정할 수 있다. 그리고 제어부(2480)는 결정된 사용자 나이에 맵핑된 멀티미디어 컨텐츠를 수신할 수 있다. 그리고 제어부(2480)는 수신된 멀티미디어 컨텐츠를 출력하도록 제어할 수 있다. 결정된 사용자의 나이가 30세 이상인 경우, 멀티미디어 컨텐츠는 뉴스 컨텐츠일 수 있다. 결정된 사용자의 나이가 10세 이하인 경우, 멀티미디어 컨텐츠는 애니메이션 컨텐츠 일 수 있다.
본 발명의 또 다른 일 실시예에 의한 공항용 안내 로봇(2400)은 바코드 리더기(2495)를 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은 서버로부터 데이터를 수신하는 통신부(2430)을 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은 이미지를 처리하는 이미지 프로세서(2440)을 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은 처리된 이미지를 출력하는 출력부(2460)를 포함할 수 있다. 그리고 공항용 안내 로봇(2400)은 제어부(2480)를 포함할 수 있다. 바코드 리더기(2495)는 비행기 탑승 티켓 정보를 리드(read)할 수 있다. 통신부(2430)는 리드된 정보에 기초하여 비행기 탑승 티켓 정보에 맵핑된 비행 데이터를 수신할 수 있다. 그리고 제어부(2480)은, 신된 비행 데이터를 가공하여 비행 안내 컨텐츠를 생성하여 출력하도록 제어할 수 있다. 비행 안내 컨텐츠는 비행기의 기종 정보, 총 비행 시간 정보, 비행기 탑승 게이트 정보, 비행기 탑승 시간 정보, 비행 경로 정보를 포함할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 공항용 로봇의 AP(150)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 공항용 안내 로봇에 있어서,
    출력부; 및
    상기 공항용 안내 로봇의 동작을 제어하는 제어부를 포함하고,
    상기 제어부는,
    길 안내 요청 신호를 수신하는 경우,
    현재 위치로부터 목적지까지의 이동 경로를 획득하고, 상기 이동 경로에 기초하는 길 안내 컨텐츠를 생성하고, 상기 길 안내 컨텐츠의 타입에 따라 상기 길 안내 컨텐츠를 출력하도록 제어하고,
    상기 길 안내 컨텐츠의 타입은 2D 이미지, 3D 이미지 또는 홀로그램 중 적어도 어느 하나를 포함하고,
    상기 제어부는
    상기 길 안내 컨텐츠를 상기 길 안내 컨텐츠의 타입에 따라 서로 다른 위치에 출력하도록 상기 출력부를 제어하는
    공항용 안내 로봇.
  2. 제1 항에 있어서,
    상기 공항용 안내 로봇은 터치 모니터를 더 포함하고,
    상기 길 안내 요청 신호는 상기 터치 모니터를 통해 수신되고,
    상기 길 안내 요청 신호는 목적지 정보를 포함하는,
    공항용 안내 로봇.
  3. 제2 항에 있어서,
    상기 공항용 안내 로봇은 위치 인식부를 더 포함하고,
    상기 위치 인식부는 LiDAR 및 Wi-Fi 모듈을 포함하고,
    상기 제어부는,
    상기 위치 인식부를 통해 상기 공항용 안내 로봇의 현재 위치를 디텍팅하고,
    상기 디텍팅된 현재 위치 정보와 상기 목적지 정보를 이용하여 상기 이동 경로를 계산하는,
    공항용 안내 로봇.
  4. 제1 항에 있어서,
    상기 길 안내 컨텐츠의 타입은 2D 네비게이션 이미지, 2D 네비게이션 영상, 3D 네비게이션 이미지, 3D 네비게이션 영상 및 홀로그램 네비게이션 중 적어도 하나를 포함하고,
    상기 제어부는,
    상기 2D 네비게이션 이미지, 2D 네비게이션 영상, 3D 네비게이션 이미지, 3D 네비게이션 영상은 공항 내 벽면 상에 출력하고,
    상기 홀로그램 네비게이션은 공간 상에 출력하도록 제어하는,
    공항용 안내 로봇.
  5. 공항용 안내 로봇에 있어서,
    출력부; 및
    상기 공항용 안내 로봇의 동작을 제어하는 제어부를 포함하고,
    상기 제어부는,
    길 안내 요청 신호를 수신하는 경우,
    현재 위치로부터 목적지까지의 이동 경로를 획득하고, 상기 이동 경로에 기초하는 길 안내 컨텐츠를 생성하고, 상기 길 안내 컨텐츠의 타입에 따라 상기 길 안내 컨텐츠를 출력하도록 제어하고,
    상기 출력부는
    이미지 또는 패턴을 투사하는 투사부; 및
    상기 투사부의 위치를 조절하는 투사 조절부
    를 포함하고,
    상기 제어부는,
    상기 길 안내 컨텐츠를 투사할 공간을 향해 기 정해진 패턴을 투사하고, 상기 투사된 패턴에 기초하여 상기 공간의 구조를 분석하고, 상기 분석된 공간의 구조에 기초하여 적어도 하나 이상의 투사 영역을 획득하는,
    공항용 안내 로봇.
  6. 제5 항에 있어서,
    상기 제어부는,
    상기 투사부에서 투사된 패턴의 모양 변화를 감지하고, 상기 패턴의 모양 변화가 감지되는 영역은 투사하기 부적절한 영역으로 판단하고, 상기 패턴의 모양 변화가 감지되지 않는 영역은 투사하기 적절한 영역으로 판단하는,
    공항용 안내 로봇.
  7. 제5 항에 있어서,
    상기 공항용 안내 로봇이 위치한 주위 공간 영상을 촬영하는 카메라를 더 포함하고,
    상기 제어부는, 상기 촬영된 주위 공간 영상에 기초하여 상기 주위 공간의 구조를 분석하는,
    공항용 안내 로봇.
  8. 제7 항에 있어서,
    상기 투사부는 길 안내 컨텐츠 보정을 위한 가이드라인을 더 투사하고,
    상기 카메라는 투사된 가이드라인을 더 촬영하고,
    상기 제어부는,
    상기 투사된 가이드라인과 상기 촬영된 가이드라인을 비교한 결과에 기초하여 캘리브레이션 영상을 생성하고, 상기 길 안내 컨텐츠를 투사하는 경우 상기 길 안내 컨텐츠를 상기 캘리브레이션 영상과 함께 처리하여 투사하도록 제어하는,
    공항용 안내 로봇.
  9. 제1 항에 있어서,
    데이터를 송수신하는 통신부를 더 포함하고,
    상기 통신부를 통해 상기 이동 경로를 촬영하는 CCTV 촬영 영상 데이터를 수신하고,
    상기 CCTV 촬영 영상 데이터를 이용하여 길 안내 컨텐츠를 생성하는,
    공항용 안내 로봇.
  10. 제9 항에 있어서,
    상기 공항용 안내 로봇은 상기 길 안내 요청 신호를 입력한 사용자를 촬영하는 카메라를 더 포함하고,
    상기 제어부는 촬영된 사용자 이미지를 상기 CCTV 촬영 영상 데이터에 부가하여 상기 길 안내 컨텐츠를 생성하는,
    공항용 안내 로봇.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020160130736A 2016-10-10 2016-10-10 공항용 안내 로봇 및 그의 동작 방법 KR102597216B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160130736A KR102597216B1 (ko) 2016-10-10 2016-10-10 공항용 안내 로봇 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160130736A KR102597216B1 (ko) 2016-10-10 2016-10-10 공항용 안내 로봇 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20180039439A KR20180039439A (ko) 2018-04-18
KR102597216B1 true KR102597216B1 (ko) 2023-11-03

Family

ID=62082731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160130736A KR102597216B1 (ko) 2016-10-10 2016-10-10 공항용 안내 로봇 및 그의 동작 방법

Country Status (1)

Country Link
KR (1) KR102597216B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200055819A (ko) * 2018-11-08 2020-05-22 현대자동차주식회사 서비스 로봇 및 그의 운용 방법
WO2021045271A1 (ko) * 2019-09-05 2021-03-11 엘지전자 주식회사 로봇
KR102216968B1 (ko) * 2019-09-06 2021-02-18 주식회사 원더풀플랫폼 크래들을 이용한 도우미 시스템
KR102307877B1 (ko) * 2019-11-27 2021-10-06 한국생산기술연구원 라이다부 및 영상촬영부를 이용한 로봇청소기 및 이의 슬램맵 생성방법
CN113663098A (zh) * 2020-05-14 2021-11-19 恩斯迈电子(深圳)有限公司 场域消毒机器人及控制方法
KR102385323B1 (ko) * 2020-07-22 2022-04-12 주식회사 알지티 식당 서비스용 로봇
CN112734885A (zh) * 2020-11-27 2021-04-30 北京顺天立安科技有限公司 一种基于政务大厅办事指南的虚拟人像机器人
KR102435371B1 (ko) * 2021-05-31 2022-08-23 주식회사 아트와 수질관리용 무인 로봇 및 그 제어 방법
KR20230053979A (ko) 2021-10-15 2023-04-24 동아대학교 산학협력단 메타 구조체의 처리 시스템 및 그것의 동작 방법과 웨어러블 밴드
KR102505225B1 (ko) * 2021-10-22 2023-03-02 (주)인티그리트 시각화된 가상 안내 정보를 제공하는 자율주행장치 및 이의 동작방법
CN114296448A (zh) * 2021-12-10 2022-04-08 北京云迹科技股份有限公司 一种机器人引领方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100904191B1 (ko) * 2008-05-29 2009-06-22 (주)다사로봇 안내용 로봇
JP2016073630A (ja) 2014-10-03 2016-05-12 国立大学法人豊橋技術科学大学 移動訓練支援装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080090150A (ko) * 2007-04-04 2008-10-08 삼성전자주식회사 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및서비스 로봇을 이용하는 서비스 시스템의 제어방법
KR20090076721A (ko) * 2008-01-09 2009-07-13 주식회사 대우일렉트로닉스 로봇 청소기의 위치 인식 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100904191B1 (ko) * 2008-05-29 2009-06-22 (주)다사로봇 안내용 로봇
JP2016073630A (ja) 2014-10-03 2016-05-12 国立大学法人豊橋技術科学大学 移動訓練支援装置

Also Published As

Publication number Publication date
KR20180039439A (ko) 2018-04-18

Similar Documents

Publication Publication Date Title
KR102597216B1 (ko) 공항용 안내 로봇 및 그의 동작 방법
JP7341652B2 (ja) 情報処理装置、情報処理方法、プログラム、およびシステム
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
US10390003B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US11407116B2 (en) Robot and operation method therefor
JP6235022B2 (ja) 複数デバイスを使用した周辺環境の多次元データキャプチャ
KR102559745B1 (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
US20190358814A1 (en) Robot and robot system comprising same
KR102286137B1 (ko) 공기 청정기의 배치 위치를 가이드하는 인공 지능 장치 및 그의 동작 방법
US20190224843A1 (en) Airport robot and operation method thereof
KR20190106891A (ko) 인공 지능 모니터링 장치 및 그의 동작 방법
WO2003107039A2 (en) Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired
US10579138B2 (en) Head-mounted sensor system
KR102282117B1 (ko) 인공지능 디스플레이 장치
JP6919882B2 (ja) 人推定システムおよび推定プログラム
US10089784B2 (en) Head-mounted mapping methods
KR20190105214A (ko) 인공 지능을 통해 구속 상황을 회피하는 로봇 청소기 및 그의 동작 방법
KR102599784B1 (ko) 공항 로봇
KR102639904B1 (ko) 공항용 로봇 및 그의 동작 방법
Schreiter et al. The magni human motion dataset: Accurate, complex, multi-modal, natural, semantically-rich and contextualized
KR20180038884A (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
KR20190078828A (ko) 무인 비행체의 비행 제어장치 및 그 방법
Chikhalikar et al. An object-oriented navigation strategy for service robots leveraging semantic information
JP7422361B2 (ja) 追跡装置、及び追跡プログラム
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant