KR101478908B1 - 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템 - Google Patents

증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템 Download PDF

Info

Publication number
KR101478908B1
KR101478908B1 KR20130054392A KR20130054392A KR101478908B1 KR 101478908 B1 KR101478908 B1 KR 101478908B1 KR 20130054392 A KR20130054392 A KR 20130054392A KR 20130054392 A KR20130054392 A KR 20130054392A KR 101478908 B1 KR101478908 B1 KR 101478908B1
Authority
KR
South Korea
Prior art keywords
camera
mobile robot
robot
coordinate
unit
Prior art date
Application number
KR20130054392A
Other languages
English (en)
Other versions
KR20140134469A (ko
Inventor
박신석
봉재환
정수훈
정재호
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR20130054392A priority Critical patent/KR101478908B1/ko
Publication of KR20140134469A publication Critical patent/KR20140134469A/ko
Application granted granted Critical
Publication of KR101478908B1 publication Critical patent/KR101478908B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/002—Manipulators for defensive or military tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 관한 것으로써, 상기 이동 로봇이 주행하는 주행 공간에 대해 모델링된 3D 맵이 저장되는 3D 맵 저장부와; 상기 이동 로봇에 설치되어 상기 주행 공간에 대한 촬영 영상을 획득하는 카메라와; 상기 카메라의 상기 주행 공간에서의 카메라 절대 좌표와 상기 카메라의 카메라 주시 방향을 산출하는 촬영 좌표 산출부와; 상기 카메라 절대 좌표 및 상기 카메라 주시 방향에 기초하여, 상기 3D 맵에서 상기 촬영 영상의 주변에 해당하는 가상 영상을 추출하는 AR 추출부와; 상기 추출된 가상 영상에 의해 상기 촬영 영상의 주변이 확장되어 상기 원격 제어부에 출력되도록 상기 촬영 영상과 상기 가상 영상을 합성하는 AR 출력부를 포함하는 것을 특징으로 한다. 이에 따라, 이동 로봇의 원격 제어 과정에서 이동 로봇에 의해 촬영된 촬영 영상에 증강 현실 기술을 적용하여 가상 영상에 의해 촬영 영상의 주변이 확장됨으로써, 조정자의 시야를 넓힐 수 있게 된다.

Description

증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템{REMOTE NAVIGATION SYSTEM OF MOBILE ROBOT USING AUGMENTED REALITY TECHNOLOGY}
본 발명은 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 관한 것으로서, 보다 상세하게는 이동 로봇의 원격 제어 과정에서 이동 로봇에 의해 촬영된 촬영 영상에 증강 현실 기술을 적용하여 조정자의 시야를 넓힐 수 있는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 관한 것이다.
산불, 지진, 해일 등과 같은 재난은 그 자체 만으로 사람에게 큰 피해를 주기도 하지만, 그로 인한 산업 시설의 파손으로 인해 2차 피해가 발생할 뿐만 아니라, 2차 피해로 인한 인명 피해가 발생하는 경우가 많다.
일 예로, 2011년 3월 11일에 일본의 동일본해에서 발생한 9.0 강도의 지진은 14m 이상의 쓰나미(Tsunami)를 발생시켜 많은 인명 피해를 야기시키고, 후쿠시마 원전에 손상을 입혀 방사능 누출이라는 심각한 피해를 발생시켰다.
이와 같은 재난 상황에서는 후쿠시마 원전 사고에서와 같이, 원전 내부의 상태를 파악하거나 방사능 누출을 차단하기 위한 수리 등의 작업에 사람이 직접 투입되는 것 자체가 큰 위험 요소를 안고 있어 사람을 대신할 이동 로봇이 필요하게 되고, 이동 로봇이 재난 상황에서 재난의 확산을 방지하고 피해를 최소화하고 사고 처리를 수행하는 등 다양한 기능을 수행하게 된다.
이동 로봇 기술 분야의 경우, 경비 로봇이나 안내 로봇 등과 같이 서비스 로봇을 중심으로 발전해왔으며, 자체 프로그램을 통해 자율 이동이 가능하도록 설계되는 등 지능형 로봇 기술 분야로 발전되어 왔다.
그러나 재난 상황에 투입되는 이동 로봇의 경우, 재난 상황이나 파손된 위치 등이 정해져있지 않아 이동 로봇 자체가 각 상황을 대처하여 작업을 수행할 수 없기 때문에, 대부분의 경우 사람에 의해 원격지에서 원격 제어가 이루어지는 특징이 있다.
따라서, 원격지에 위치한 조정자가 이동 로봇의 주변 환경을 확인하면서 조정이 가능하도록 이동 로봇에 카메라가 설치되고, 카메라에 의해 전송된 촬영 영상을 주시하면서 이동 로봇의 주행이나 각종 기능을 제어하게 된다.
그런데, 카메라에 촬영된 촬영 영상은 카메라의 성능에 따라 그 사이즈가 정해져 조정자 시야가 촬영 영상의 사이즈에 제약을 받게 된다. 이를 해결하기 위해, 카메라의 성능을 높일 수 있으나 그에 따른 제조 비용과 로봇의 사이즈를 증가하는 단점이 있을 뿐 아니라 좁은 통로를 이동하여야 하는 이동 로봇의 경우 그 설치 자체가 어려운 문제점이 있다. 결과적으로 조정자는 이동 로봇에 설치된 카메라의 주시 방향을 조절하면서 이동 로봇의 주변을 확인하여야 하는 불편함이 있다.
이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 이동 로봇의 원격 제어 과정에서 이동 로봇에 의해 촬영된 촬영 영상에 증강 현실 기술을 적용하여 조정자의 시야를 넓힐 수 있는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템을 제공하는데 그 목적이 있다.
상기 목적은 본 발명에 따라, 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 있어서, 상기 이동 로봇이 주행하는 주행 공간에 대해 모델링된 3D 맵이 저장되는 3D 맵 저장부와; 상기 이동 로봇에 설치되어 상기 주행 공간에 대한 촬영 영상을 획득하는 카메라와; 상기 카메라의 상기 주행 공간에서의 카메라 절대 좌표와 상기 카메라의 카메라 주시 방향을 산출하는 촬영 좌표 산출부와; 상기 카메라 절대 좌표 및 상기 카메라 주시 방향에 기초하여, 상기 3D 맵에서 상기 촬영 영상의 주변에 해당하는 가상 영상을 추출하는 AR 추출부와; 상기 추출된 가상 영상에 의해 상기 촬영 영상의 주변이 확장되어 상기 원격 제어부에 출력되도록 상기 촬영 영상과 상기 가상 영상을 합성하는 AR 출력부를 포함하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 의해서 달성된다.
여기서, 상기 AR 추출부는 상기 3D 맵 상에 가상 카메라를 등록하고, 상기 카메라 절대 좌표 및 상기 카메라 주시 방향을 상기 3D 맵 상의 상기 가상 카메라에 적용하여 상기 가상 영상을 추출할 수 있다.
그리고, 상기 AR 추출부는 상기 카메라의 줌(Zoom) 상태에 대한 줌 정보를 상기 카메라로부터 수신하고, 상기 수신된 줌 정보가 반영된 가상 영상을 추출할 수 있다.
또한, 상기 촬영 좌표 산출부는 상기 이동 로봇의 상기 주행 공간에서의 로봇 절대 좌표를 산출하는 로봇 좌표 산출부와; 상기 로봇 절대 좌표에 기초하여, 상기 카메라 절대 좌표와 상기 카메라 주시 방향을 산출하는 카메라 좌표 산출부를 포함할 수 있다.
여기서, 상기 카메라 좌표 산출부는 상기 이동 로봇에 대한 상기 카메라의 상대 좌표를 산출하는 상대 좌표 산출부와; 상기 로봇 절대 좌표, 상기 카메라의 상대 좌표, 및 상기 카메라의 주시 중심 좌표에 기초하여, 상기 카메라 절대 좌표 및 상기 카메라 주시 방향을 산출하는 좌표 산출 제어부를 포함할 수 있다.
그리고, 상기 로봇 좌표 산출부는 상기 주행 공간 상에 분산 설치된 복수의 인식표식을 감지하여 상기 로봇 절대 좌표를 산출하는 근적외선 위치 센서와; GPS 신호에 기초하여 상기 로봇 절대 좌표를 산출하는 GPS 모듈과; 상기 이동 로봇의 오도메트리 정보에 기초하여 상기 로봇 절대 좌표를 산출하는 오도메트리 산출부 중 어느 하나를 포함할 수 있다.
상기와 같은 구성에 따라 본 발명에 따르면, 이동 로봇의 원격 제어 과정에서 이동 로봇에 의해 촬영된 촬영 영상에 증강 현실 기술을 적용하여 가상 영상에 의해 촬영 영상의 주변이 확장됨으로써, 조정자의 시야를 넓힐 수 있는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템이 제공된다.
도 1은 본 발명에 따른 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템의 구성을 도시한 도면이고,
도 2는 본 발명에 따른 이동 로봇의 원격 내비게이션 시스템의 제어 블록도이고,
도 3은 본 발명에 따른 이동 로봇의 원격 내비게이션 시스템에서 촬영 영상과 가상 영상이 합성되어 출력된 예를 도시한 도면이고,
도 4는 본 발명에 따른 이동 로봇의 원격 내비게이션 시스템에서 이동 로봇 내의 각 좌표계를 설명하기 위한 도면이고,
도 5 내지 도 7은 본 발명에 따른 이동 로봇의 원격 내비게이션 시스템의 AR 추출부의 동작 과정을 설명하기 위한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. 여기서, 본 명세서에서 사용되는 표현인 '카메라 절대 좌표' 및 '카메라 주시 방향'은 카메라(110)의 주행 공간 상에서의 절대 좌표와, 해당 위치에서 카메라(110)에 의해 촬영된 촬영 영상의 방향을 검출하기 위한 필수요소로서, '카메라 절대 좌표'는 카메라(110)의 위치를 나타내며, '카메라 주시 방향'은 카메라(110)가 촬영하는 방향과 촬영 방향을 축으로하는 회전 방향을 포함하는 의미로 사용된다. 즉, '카메라 절대 좌표' 및 '카메라 주시 방향'은 카메라(110)가 촬영하는 좌표계를 표현할 수 있다.
또한, 본 명세서에서 사용되는 표현인 '이동 로봇'은 도 4에 도시된 바와 같이, 2개의 바퀴로 구성된 이륜 이동 로봇 외에도 원격지에서 조정자에 의해 원격 제어되는 4륜 차량 등의 이동체를 포함하는 개념으로, 바퀴가 아닌 다른 구동 수단, 예컨대 무한궤도 방식이나 보행 방식의 이동체를 포함하는 개념으로 사용되며, 통상적으로 인식되는 '로봇'에 본 발명의 기술적 사항이 국한되지 않음은 물론이다.
도 1은 증강 현실 기술을 이용한 이동 로봇(100)의 원격 내비게이션 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명에 따른 이동 로봇(100)의 원격 내비게이션 시스템은 이동 로봇(100)과, 원격지에서 이동 로봇(100)의 주행을 제어하는 원격 제어 장치(300)를 포함한다.
이동 로봇(100)과 원격 제어 장치(300) 간은 통신망(500)을 통해 상호 연결되어, 원격 제어 장치(300)로부터의 주행 제어를 위한 각종 제어신호가 이동 로봇(100)으로 전송되고, 이동 로봇(100)의 주행에 대한 정보나 후술할 카메라(110)에 의해 촬영된 촬영 영상이 무선 통신망(500)을 통해 원격 제어 장치(300)로 전송된다.
본 발명에서는 통신망(500)이 TCP/IP를 기반으로 하는 무선 통신망(500)을 통해 상호 연결되는 것을 예로 하며, 이동 로봇(100)과 원격 제어 장치(300) 간의 통신이 가능한 다른 형태의 통신망(500)도 적용 가능함은 물론이다.
한편, 본 발명에 따른 이동 로봇(100)의 원격 내비게이션 시스템은, 도 2에 도시된 바와 같이, 카메라(110), 촬영 좌표 산출부(140), 3D 맵 저장부(320), AR 추출부(310) 및 AR 출력부(330)를 포함한다. 도 2에서는 카메라(110) 및 촬영 좌표 산출부(140)가 이동 로봇(100)에 마련되고, 3D 맵 저장부(320), AR 추출부(310) 및 AR 출력부(330)가 원격 제어 장치(300)에 마련되는 것을 예로 하고 있다.
카메라(110)는 이동 로봇(100)에 설치되어 이동 로봇(100)의 주행 중 촬영을 진행함으로써, 이동 로봇(100)이 주행하는 주행 공간에 대한 촬영 영상을 획득한다. 여기서, 카메라(110)는 이동 로봇(100)의 특정 위치에 고정된 상태로 설치될 수 있으나, 본 발명에서는 카메라(110)의 주시 방향이 이동 로봇(100)에 대해 상대적으로 변경될 수 있도록 카메라 구동부(120)에 구동되는 것을 예로 한다.
예컨대, 카메라(110)는 좌우 방향으로의 회전이나 상하 방향으로의 회전이 가능하게 설치될 수 있으며, 카메라 구동부(120)가 카메라(110)의 좌우 방향으로의 각도 또는 상하 방향으로의 각도를 조절하도록 마련될 수 있다.
이동 로봇(100)의 로봇 주행부(130)는 로봇 제어부(150)의 제어에 따라 이동 로봇(100)의 주행을 담당한다. 예컨대, 본 발명에 따른 이동 로봇(100)이 2륜 이동 로봇(100)인 경우, 로봇 주행부(130)는 2개의 바퀴 각각을 독립적으로 회전시키는 모터를 포함할 수 있다.
로봇 제어부(150)는 원격 제어 장치(300)로부터의 제어 신호에 기초하여 이동 로봇(100)이 주행하도록 로봇 주행부(130)를 제어한다. 상술한 바와 같이, 통신망(500)을 통해 이동 로봇(100)의 제어를 위한 제어 신호가 원격 제어 장치(300)로부터 전송되면, 이동 로봇(100)의 로봇 통신부(160)가 이를 수신하여 로봇 제어부(150)로 전달하게 된다. 또한, 로봇 제어부(150)는 카메라(110)에 의해 촬영된 촬영 영상을 로봇 통신부(160)를 통해 원격 제어 장치(300)로 전송한다.
그리고, 촬영 좌표 산출부(140)는 카메라(110)의 주행 공간 상에서의 카메라 절대 좌표와, 카메라 주시 방향을 산출한다. 이 때, 로봇 제어부(150)는 촬영 좌표 산출부(140)에 의해 산출된 카메라(110)의 주행 공간 상에서의 카메라 절대 좌표 및 카메라 주시 방향에 대한 정보를 원격 제어 장치(300)로 전송하게 된다.
한편, 본 발명에 따른 원격 제어 장치(300)는, 도 2에 도시된 바와 같이, 원격 제어 통신부(360), 디스플레이부(340) 및 원격 제어부(350)를 포함할 수 있다. 또한, 상술한 바와 같이, 본 발명에 따른 이동 로봇(100)의 원격 내비게이션 시스템의 3D 맵 저장부(320), AR 추출부(310) 및 AR 출력부(330)가 원격 제어 장치(300)에 마련된다. 도 1에서는 원격 제어 장치(300)가 컴퓨터(300a)의 형태로 마련되는 것을 예로 하고 있다.
원격 제어 통신부(360)는 통신망(500)을 통해 이동 로봇(100)의 로봇 통신부(160)와 연결되어 데이터를 교환한다. 예컨대, 원격 제어 장치(300)로부터 이동 로봇(100)으로 전달되는 제어 신호가 원격 제어 통신부(360)를 통해 이동 로봇(100)으로 전송되고, 이동 로봇(100)으로부터 전송되는 촬영 영상과, 카메라 절대 좌표 및 카메라 주시 방향에 대한 정보가 원격 제어 통신부(360)를 통해 수신된다. 여기서, 원격 제어부(350)는 사용자 입력부(370)를 통해 입력되는 이동 로봇(100)의 제어를 위한 제어 신호를 원격 제어 통신부(360)를 통해 이동 로봇(100)으로 전송하게 된다.
3D 맵 저장부(320)에는 이동 로봇(100)의 주행 공간에 대해 모델링된 3D 맵이 저장된다. 예컨대, 본 발명에 따른 이동 로봇(100)이 원자력 발전소에서 사용되는 경우, 원자력 발전소 내부의 전제가 3D 맵으로 저장될 수 있다.
AR 추출부(310)는 원격 제어 통신부(360)를 통해 수신되는 카메라 절대 좌표 및 카메라 주시 방향에 기초하여, 3D 맵 저장부(320)에서 촬영 영상의 주변에 해당하는 가상 영상을 추출한다. 즉, AR 추출부(310)는 이동 로봇(100)에 설치된 카메라(110)의 주행 공간 상에서의 절대 좌표를 카메라 절대 좌표로 파악하고, 현재 카메라(110)가 주시하고 있는 방향, 즉 현재 카메라(110)가 카메라 절대 좌표 위치에서 촬영하고 있는 방향을 카메라 주시 방향으로 파악하여 카메라(110)가 촬영하고 있는 주행 공간을 인식하게 된다.
그리고, AR 추출부(310)는 3D 맵 저장부(320)에 저장된 주행 공간에 대한 3D 맵 상에서의 카메라 절대 좌표 및 카메라 주시 방향을 이용하여, 가상의 카메라(110)가 3맵을 촬영할 때 카메라(110)의 촬영 영상의 주변에 해당하는 가상 영상을 추출하게 된다.
그리고, AR 출력부(330)는 AR 추출부(310)에 의해 추출된 가상 영상과 카메라(110)에 의해 촬영된 촬영 영상을 합성하게 된다. 즉, AR 출력부(330)는 AR 추출부(310)에 의해 추출된 가상 영상에 의해 촬영 영상의 주변이 확장되어 표시되도록 가상 영상과 촬영 영상을 합성하여 디스플레이부(340)를 통해 출력하게 된다.
도 3은 본 발명에 따른 이동 로봇(100)의 원격 내비게이션 시스템에서 촬영 영상과 가상 영상이 합성되어 출력된 예를 도시한 도면으로, 화면의 중앙 측에 실제 카메라(110)에 의해 촬영된 촬영 영상이 표시되고, AR 추출부(310)에 의해 추출된 촬영 영상의 주변 영상이 가상의 이미지로 표시됨으로써, 가상 영상에 의해 촬영 영상이 그 주변으로 확장되는 효과를 가지게 된다.
여기서, 이동 로봇(100)의 조작자는 디스플레이부(340)에 표시된 촬영 영상과 그 주변의 가상 영상을 통해, 이동 로봇(100)의 주행 공간에 대한 촬영 영상보다 넓은 시야를 확보한 상태에서 사용자 조작부의 조작을 통해 이동 로봇(100)의 주행을 원격지에서 제어할 수 있게 된다. 즉, 실제 주행 공간에서의 상황은 촬영 영상을 통해 확인하고 이동 로봇(100)의 주변 환경은 가상 영상에 의해 확장된 영역까지 확인할 수 있게 된다.
이하에서는 도 2 내지 도 4를 참조하여 본 발명에 따른 이동 로봇(100)의 원격 내비게이션 시스템의 촬영 좌표 산출부(140)에 대해 상세히 설명한다. 본 발명에 따른 촬영 좌표 산출부(140)는, 도 2에 도시된 바와 같이, 로봇 좌표 산출부(141) 및 카메라 좌표 산출부(142)를 포함할 수 있다.
로봇 좌표 산출부(141)는 이동 로봇(100)의 주행 공간에서의 로봇 절대 좌표를 산출한다. 본 발명에 따른 로봇 좌표 산출부(141)는 근적외선 위치 센서, GPS 모듈 및 오도메트리 산출부 중 어느 하나의 형태로 마련되는 것을 예로 한다.
근적외선 위치 센서는 주행 공간 상에 분산 설치되는 복수의 인식표식(미도시)을 감지하여 이동 로봇(100)의 로봇 절대 좌표를 산출할 수 있다. 그리고, GPS 모듈은 GPS 신호에 기초하여 로봇의 절대 좌표를 산출할 수 있다.
오도메트리 산출부는 이동 로봇(100)의 오도메트리 정보에 기초하여 로봇 절대 좌표를 산출한다. 예컨대, 본 발명에 따른 이동 로봇(100)이 2륜 이동 로봇(100) 형태로 마련되는 경우, 이동 로봇(100)의 각각의 바퀴의 회전량에 따라 최초 출발 위치로부터 이동 로봇(100)의 현재 위치를 인식할 수 있게 된다.
여기서, 로봇 좌표 산출부(141)의 상술한 예들은 이동 로봇(100)의 절대 좌표를 산출하기 위한 하나의 예로써, 본 발명에 따른 로봇 좌표 산출부(141)가 상기 예시에 국한되지 않으며, 이동 로봇(100)의 절대 좌표를 산출할 수 있는 다른 예가 적용될 수 있음은 물론이며, 2 이상의 센서의 조합으로 보다 정확한 절대 좌표를 산출하도록 마련될 수 있음은 물론이다.
한편, 카메라 좌표 산출부(142)는 로봇 좌표 산출부(141)에 의해 산출된 이동 로봇(100)의 로봇 절대 좌표에 기초하여, 카메라 절대 좌표 및 카메라 주시 방향을 산출한다. 여기서, 카메라 좌표 산출부(142)는 상대 좌표 산출부 및 좌표 산출 제어부를 포함할 수 있다.
도 4는 이동 로봇(100)의 구성의 예를 도시한 도면으로, 이동 로봇(100)의 주행 과정과 이동 로봇(100)에 설치된 카메라(110)의 구동에 따라 카메라(110)의 중심 좌표와 주시 방향은 변하게 되는데, 이와 같은 카메라(110)의 중심 좌표와 주시 방향이 카메라 절대 좌표 및 카메라 주시 방향이 된다.
여기서, 이동 로봇(100)의 주행에 따른 카메라 절대 좌표 및 카메라 주시 방향의 변화는 로봇 좌표 산출부(141)에 의해 산출되는 로봇 절대 좌표에 반영되는데, 상대 좌표 산출부는 이동 로봇(100)에 대한 카메라(110)의 상대 좌표를 산출하여, 카메라(110)의 구동에 따른 중심 좌표 및 주시 방향의 변화를 반영하여 된다. 여기서, 상대 좌표 산출부는 카메라 구동부(120)의 구동을 감지하는 센서, 예컨대, 카메라(110)의 회전 각도를 감지하는 틸트 센서 형태로 마련될 수 있다.
이 때, 좌표 산출 제어부는 상기와 같이 산출된 이동 로봇(100)에 대한 로봇 절대 좌표와 이동 로봇(100) 내에서의 카메라(110)의 움직임에 대한 상대 좌표, 그리고 기 등록된 카메라(110) 내에서의 카메라(110)의 주시 중심 좌표를 이용하여 카메라 절대 좌표 및 카메라 주시 방향을 산출하게 된다.
도 4에서의 RC는 이동 로봇(100)의 좌표계이고, CC는 카메라(110)의 좌표계이고, CCC는 카메라(110) 중심의 좌표계이다. 도 4에 도시된 바와 같이, 이동 로봇(100)에 대한 로봇 절대 좌표, 카메라(110)의 이동 로봇(100)에 대한 상대 좌표 및 카메라(110)의 주시 중심 좌표가 산출되면, 카메라(110) 중심의 좌표계, 카메라 절대 좌표 및 카메라 주시 방향이 산출 가능하게 된다.
한편, 본 발명에 따른 AR 추출부(310)는 3D 맵 상에 가상 카메라(110)를 등록하고, 카메라 절대 좌표 및 카메라 주시 방향을 3D 맵 상의 가상 카메라(110)에 적용하여 촬영 영상의 주변에 대한 가상 영상을 추출할 수 있다.
도 5 내지 도 7을 참조하여 설명하면, 도 5는 카메라(110)에 의해 촬영된 촬영 상상의 예를 도시한 것으로 현재 카메라(110)의 좌표계가 도 5에 도시된 방향인 것을 예로 한다.
도 6은 가상 카메라(110)의 현재 주시 방향에서의 3D 맵 상이 이미지인 것으로 가정하면, 가상 카메라(110)의 좌표계가 Z축을 중심으로 기울어져 있는 것을 확인할 수 있다.
상기와 같은 상태에서, AR 추출부(310)는 이동 로봇(100)으로부터 제공되는 카메라 절대 좌표 및 카메라 주시 방향에 기초하여 가상 카메라(110)의 좌표 및 주시 방향을, 도 7에 도시된 바와 같이, 촬영 영상에 일치시켜 그 주변 영상을 가상 영상으로 추출하게 된다.
이는 이동 로봇(100)의 주행 과정에서 이동 로봇(100)의 로봇 절대 위치의 변화, 카메라 구동부(120)의 구동에 따른 카메라(110)의 상대 위치 변화 등에 따라 가상 카메라(110)의 3D 맵상의 절대 좌표 및 주시 방향이 결정됨으로써, 촬영 영상의 주변이 확장된 효과를 갖는 가상 영상이 정확하게 표시될 수 있게 된다.
여기서, 본 발명에 따른 AR 추출부(310)는 카메라(110)의 줌(Zoom) 상태에 대한 줌 정보를 이동 로봇(100)에 설치된 카메라(110)로부터 수신할 수 있다. 이를 통해, AR 추출부(310)는 줌 정보가 반영된 가상 영상, 즉 카메라(110)가 줌-인(Zoom-In)되는 경우 가상 카메라(110)도 줌 정보에 대응하는 줌-인(Zoom-In) 상태가 되어 카메라(110)의 줌 상태가 반영된 가상 영상을 추출할 수 있게 된다.
전술한 실시예에서는 촬영 좌표 산출부(140)가 이동 로봇(100)에 마련되고, AR 추출부(310), AR 출력부(330) 및 3D 맵 저장부(320)가 원격 제어 장치(300)에 마련되는 것을 예로 하여 설명하였다. 여기서, 촬영 좌표 산출부(140), AR 추출부(310), AR 출력부(330) 및 3D 맵 저장부(320)의 설치 위치는 상술한 실시예에 국한되지 않고, 당업자가 그 기능이 구현되도록 이동 로봇(100)과 원격 제어 장치(300) 중 어느 일측에 마련할 수 있음은 물론이다.
예를 들어, 촬영 좌표 산출부(140)에서 이동 로봇(100)의 절대 위치를 감지하는 센서나 카메라(110)의 상대 위치를 감지하는 센서는 이동 로봇(100)에 마련된 상태에서 해당 센싱 정보가 원격 제어 장치(300)로 전송되어 카메라 절대 좌표 및 카메라 주시 방향이 산출되도록 마련될 수 있다.
마찬가지로, 촬영 좌표 산출부(140), 3D 맵 저장부(320), AR 출력부(330) 및 AR 추출부(310)가 모두 이동 로봇(100)에 마련된 상태에서 이동 로봇(100)으로부터 원격 제어 장치(300)로 전송되는 영상이 촬영 영상과 가상 영상이 합성된 영상이 되도록 마련될 수도 있다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
100 : 이동 로봇 110 : 카메라
120 : 카메라 구동부 130 : 로봇 주행부
140 : 촬영 좌표 산출부 141 : 로봇 좌표 산출부
142 : 카메라 좌표 산출부 150 : 로봇 제어부
160 : 로봇 통신부
300 : 원격 제어 장치 310 : AR 추출부
320 : 3D 맵 저장부 330 : AR 출력부
340 : 디스플레이부 350 : 원격 제어부
360 : 원격 제어 통신부 370 : 사용자 입력부

Claims (6)

  1. 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 있어서,
    상기 이동 로봇이 주행하는 주행 공간에 대해 모델링된 3D 맵이 저장되는 3D 맵 저장부와;
    상기 이동 로봇에 설치되어 상기 주행 공간에 대한 촬영 영상을 획득하는 카메라와;
    상기 카메라의 상기 주행 공간에서의 카메라 절대 좌표와 상기 카메라의 카메라 주시 방향을 산출하는 촬영 좌표 산출부와;
    상기 카메라 절대 좌표 및 상기 카메라 주시 방향에 기초하여, 상기 3D 맵에서 상기 촬영 영상의 주변에 해당하는 가상 영상을 추출하는 AR 추출부와;
    상기 추출된 가상 영상에 의해 상기 촬영 영상의 주변이 확장되어 상기 원격 제어부에 출력되도록 상기 촬영 영상과 상기 가상 영상을 합성하는 AR 출력부를 포함하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.
  2. 제1항에 있어서,
    상기 AR 추출부는 상기 3D 맵 상에 가상 카메라를 등록하고, 상기 카메라 절대 좌표 및 상기 카메라 주시 방향을 상기 3D 맵 상의 상기 가상 카메라에 적용하여 상기 가상 영상을 추출하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.
  3. 제2항에 있어서,
    상기 AR 추출부는 상기 카메라의 줌(Zoom) 상태에 대한 줌 정보를 상기 카메라로부터 수신하고, 상기 수신된 줌 정보가 반영된 가상 영상을 추출하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.
  4. 제1항에 있어서,
    상기 촬영 좌표 산출부는
    상기 이동 로봇의 상기 주행 공간에서의 로봇 절대 좌표를 산출하는 로봇 좌표 산출부와;
    상기 로봇 절대 좌표에 기초하여, 상기 카메라 절대 좌표와 상기 카메라 주시 방향을 산출하는 카메라 좌표 산출부를 포함하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.
  5. 제4항에 있어서,
    상기 카메라 좌표 산출부는
    상기 이동 로봇에 대한 상기 카메라의 상대 좌표를 산출하는 상대 좌표 산출부와;
    상기 로봇 절대 좌표, 상기 카메라의 상대 좌표, 및 상기 카메라의 주시 중심 좌표에 기초하여, 상기 카메라 절대 좌표 및 상기 카메라 주시 방향을 산출하는 좌표 산출 제어부를 포함하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.
  6. 제4항에 있어서,
    상기 로봇 좌표 산출부는
    상기 주행 공간 상에 분산 설치된 복수의 인식표식을 감지하여 상기 로봇 절대 좌표를 산출하는 근적외선 위치 센서와;
    GPS 신호에 기초하여 상기 로봇 절대 좌표를 산출하는 GPS 모듈과;
    상기 이동 로봇의 오도메트리 정보에 기초하여 상기 로봇 절대 좌표를 산출하는 오도메트리 산출부 중 어느 하나를 포함하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.
KR20130054392A 2013-05-14 2013-05-14 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템 KR101478908B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130054392A KR101478908B1 (ko) 2013-05-14 2013-05-14 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130054392A KR101478908B1 (ko) 2013-05-14 2013-05-14 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템

Publications (2)

Publication Number Publication Date
KR20140134469A KR20140134469A (ko) 2014-11-24
KR101478908B1 true KR101478908B1 (ko) 2015-01-02

Family

ID=52455529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130054392A KR101478908B1 (ko) 2013-05-14 2013-05-14 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템

Country Status (1)

Country Link
KR (1) KR101478908B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9579799B2 (en) 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
EP4102470A1 (en) 2021-06-09 2022-12-14 Virnect Inc. Method and system for remote collaboration
EP4102325A1 (en) 2021-06-09 2022-12-14 Virnect Inc. Method and system for collecting field operation situation and facility information
KR20230087691A (ko) 2021-12-09 2023-06-19 한국전자기술연구원 가상 공간의 다양한 작업 콘텐츠를 이용하여 원격에서 로봇을 제어하는 원격제어장치 및 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101975556B1 (ko) 2015-01-30 2019-08-28 전자부품연구원 로봇의 관측 시점 제어 장치
KR101692688B1 (ko) * 2015-02-27 2017-01-04 주식회사 인터컴 모드 변경 로봇 및 그 제어방법
WO2018093840A1 (en) * 2016-11-17 2018-05-24 Intel Corporation Spherical rotation for encoding wide view video
KR102015099B1 (ko) * 2018-01-25 2019-10-21 전자부품연구원 거리정보를 이용한 랩어라운드뷰 영상제공장치 및 방법
CN108873909B (zh) * 2018-07-17 2021-10-26 苏州冠卓自动化科技有限公司 智能小车控制系统及运行方法
WO2020159246A2 (ko) * 2019-01-30 2020-08-06 권도균 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템
CN110164439A (zh) * 2019-05-29 2019-08-23 姚英泽 智能服务机器人
KR102441923B1 (ko) * 2019-12-03 2022-09-08 한국로봇융합연구원 Lvc 환경의 재난 대응 로봇에 대한 훈련생 테스트 및 평가 장치
KR102441285B1 (ko) * 2019-12-03 2022-09-07 한국로봇융합연구원 Lvc 환경의 재난 대응 로봇에 대한 훈련생 훈련 및 평가 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090000186A (ko) * 2007-01-25 2009-01-07 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR100989663B1 (ko) * 2010-01-29 2010-10-26 (주)올라웍스 단말 장치의 시야에 포함되지 않는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101253644B1 (ko) * 2012-12-28 2013-04-11 주식회사 맥스트 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090000186A (ko) * 2007-01-25 2009-01-07 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR100989663B1 (ko) * 2010-01-29 2010-10-26 (주)올라웍스 단말 장치의 시야에 포함되지 않는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101253644B1 (ko) * 2012-12-28 2013-04-11 주식회사 맥스트 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9579799B2 (en) 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
EP4102470A1 (en) 2021-06-09 2022-12-14 Virnect Inc. Method and system for remote collaboration
EP4102325A1 (en) 2021-06-09 2022-12-14 Virnect Inc. Method and system for collecting field operation situation and facility information
KR20220165948A (ko) 2021-06-09 2022-12-16 주식회사 버넥트 원격 협업 방법 및 그 시스템
KR20220165944A (ko) 2021-06-09 2022-12-16 주식회사 버넥트 현장 운전상황 및 설비 정보 수집 방법 및 그 시스템
KR20240071359A (ko) 2021-06-09 2024-05-22 주식회사 버넥트 원격 협업 방법 및 그 시스템
KR20230087691A (ko) 2021-12-09 2023-06-19 한국전자기술연구원 가상 공간의 다양한 작업 콘텐츠를 이용하여 원격에서 로봇을 제어하는 원격제어장치 및 시스템

Also Published As

Publication number Publication date
KR20140134469A (ko) 2014-11-24

Similar Documents

Publication Publication Date Title
KR101478908B1 (ko) 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템
EP3967972A1 (en) Positioning method, apparatus, and device, and computer-readable storage medium
US11657604B2 (en) Systems and methods for estimating future paths
CN107836012B (zh) 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
JP7334881B2 (ja) 自動運転車両システム用交差視野
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
US10888998B2 (en) Method and device for verifying one or more safety volumes for a movable mechanical unit
US9888215B2 (en) Indoor scene capture system
US20180192035A1 (en) Systems and methods for object location
US20170337743A1 (en) System and method for referencing a displaying device relative to a surveying instrument
CN108846867A (zh) 一种基于多目全景惯导的slam系统
US11668577B1 (en) Methods and systems for response vehicle deployment
JPWO2015145543A1 (ja) 物体検出装置、物体検出方法、および移動ロボット
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
JP2020126612A (ja) スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置
CN108629842B (zh) 一种无人驾驶设备运动信息提供及运动控制方法与设备
CN114240769A (zh) 一种图像处理方法以及装置
JP7138856B2 (ja) 俯瞰映像提示システム
US20180122145A1 (en) Display apparatus, display system, and control method for display apparatus
CN107848460A (zh) 用于车辆的系统、方法和设备以及计算机可读介质
JP2016219980A (ja) 対象物情報表示装置
JP4673861B2 (ja) 情報表示システム及び情報表示方法
US12033388B2 (en) Positioning method, apparatus, device, and computer-readable storage medium
TWM486116U (zh) 以機率方式計算爲基礎之３ｄ環車影像系統
JP7265269B2 (ja) マップデータの修正方法及び修正プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 5