KR20140134469A - Remote navigation system of mobile robot using augmented reality technology - Google Patents

Remote navigation system of mobile robot using augmented reality technology Download PDF

Info

Publication number
KR20140134469A
KR20140134469A KR1020130054392A KR20130054392A KR20140134469A KR 20140134469 A KR20140134469 A KR 20140134469A KR 1020130054392 A KR1020130054392 A KR 1020130054392A KR 20130054392 A KR20130054392 A KR 20130054392A KR 20140134469 A KR20140134469 A KR 20140134469A
Authority
KR
South Korea
Prior art keywords
camera
mobile robot
robot
coordinate
unit
Prior art date
Application number
KR1020130054392A
Other languages
Korean (ko)
Other versions
KR101478908B1 (en
Inventor
박신석
봉재환
정수훈
정재호
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR20130054392A priority Critical patent/KR101478908B1/en
Publication of KR20140134469A publication Critical patent/KR20140134469A/en
Application granted granted Critical
Publication of KR101478908B1 publication Critical patent/KR101478908B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/002—Manipulators for defensive or military tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

The present invention relates to a remote navigation system for a mobile robot using an augmented reality technology. The remote navigation system for a mobile robot comprises: a 3D map storage part that a traveling space in which a mobile robot travels is modeled; a camera installed in the mobile robot to acquire a photographed image of the traveling space; a photographing coordinate calculation part for calculating an absolute camera coordinate and a camera gazing direction in the traveling space of the camera; an AR extraction part for extracting a virtual image of surroundings of the photographed image in a 3D map based on the absolute camera coordinate and the camera gazing direction; and an AR output part for editing the photographed image and the virtual image so that the surroundings of the photographed image can be extended by the extracted virtual image to be outputted to a remote control part. Thus, the present invention can expand the surroundings of the photographed image using the virtual image by applying an augmented reality technology to the photographed image photographed by the mobile robot in a remote control process of the mobile robot, thereby widening the sight of an operator.

Description

증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템{REMOTE NAVIGATION SYSTEM OF MOBILE ROBOT USING AUGMENTED REALITY TECHNOLOGY}TECHNICAL FIELD [0001] The present invention relates to a remote navigation system for mobile robots using augmented reality technology,

본 발명은 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 관한 것으로서, 보다 상세하게는 이동 로봇의 원격 제어 과정에서 이동 로봇에 의해 촬영된 촬영 영상에 증강 현실 기술을 적용하여 조정자의 시야를 넓힐 수 있는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 관한 것이다.
The present invention relates to a remote navigation system for a mobile robot using an augmented reality technology, and more particularly, to a remote control system for a mobile robot, which can broaden the field of view of an adjuster by applying augmented reality To a remote navigation system of a mobile robot using an augmented reality technology.

산불, 지진, 해일 등과 같은 재난은 그 자체 만으로 사람에게 큰 피해를 주기도 하지만, 그로 인한 산업 시설의 파손으로 인해 2차 피해가 발생할 뿐만 아니라, 2차 피해로 인한 인명 피해가 발생하는 경우가 많다.Disasters such as forest fires, earthquakes, tsunamis, etc., alone can cause serious damage to people, but they cause secondary damage due to the damage of the industrial facilities, and there are many cases where people are injured by secondary damage.

일 예로, 2011년 3월 11일에 일본의 동일본해에서 발생한 9.0 강도의 지진은 14m 이상의 쓰나미(Tsunami)를 발생시켜 많은 인명 피해를 야기시키고, 후쿠시마 원전에 손상을 입혀 방사능 누출이라는 심각한 피해를 발생시켰다.For example, an earthquake of 9.0 strength that occurred in the East Sea of Japan on March 11, 2011 caused a Tsunami of more than 14 meters, causing many casualties, damaging the Fukushima nuclear power plant, causing serious damage such as radiation leakage .

이와 같은 재난 상황에서는 후쿠시마 원전 사고에서와 같이, 원전 내부의 상태를 파악하거나 방사능 누출을 차단하기 위한 수리 등의 작업에 사람이 직접 투입되는 것 자체가 큰 위험 요소를 안고 있어 사람을 대신할 이동 로봇이 필요하게 되고, 이동 로봇이 재난 상황에서 재난의 확산을 방지하고 피해를 최소화하고 사고 처리를 수행하는 등 다양한 기능을 수행하게 된다.In such a disaster situation, as in the case of the Fukushima nuclear power plant accident, the fact that the person is directly put into the work such as grasping the state of the inside of the nuclear power plant or repairing to prevent radiation leakage has a great risk factor, And the mobile robot performs various functions such as preventing disaster from spreading, minimizing damage, performing accident processing, and the like in a disaster situation.

이동 로봇 기술 분야의 경우, 경비 로봇이나 안내 로봇 등과 같이 서비스 로봇을 중심으로 발전해왔으며, 자체 프로그램을 통해 자율 이동이 가능하도록 설계되는 등 지능형 로봇 기술 분야로 발전되어 왔다.In the field of mobile robot technology, it has been developed mainly as a service robot such as a guard robot or a guide robot, and has been developed as an intelligent robot technology field such as being designed to be able to move autonomously through its own program.

그러나 재난 상황에 투입되는 이동 로봇의 경우, 재난 상황이나 파손된 위치 등이 정해져있지 않아 이동 로봇 자체가 각 상황을 대처하여 작업을 수행할 수 없기 때문에, 대부분의 경우 사람에 의해 원격지에서 원격 제어가 이루어지는 특징이 있다.However, in the case of a mobile robot putting into a disaster situation, since the mobile robot itself can not perform a task by dealing with a situation because a disaster situation or a broken position is not determined, in most cases, .

따라서, 원격지에 위치한 조정자가 이동 로봇의 주변 환경을 확인하면서 조정이 가능하도록 이동 로봇에 카메라가 설치되고, 카메라에 의해 전송된 촬영 영상을 주시하면서 이동 로봇의 주행이나 각종 기능을 제어하게 된다.Accordingly, a camera is installed in the mobile robot so that the coordinator located at a remote location can adjust while checking the surrounding environment of the mobile robot, and controls the traveling and various functions of the mobile robot while watching the photographed image transmitted by the camera.

그런데, 카메라에 촬영된 촬영 영상은 카메라의 성능에 따라 그 사이즈가 정해져 조정자 시야가 촬영 영상의 사이즈에 제약을 받게 된다. 이를 해결하기 위해, 카메라의 성능을 높일 수 있으나 그에 따른 제조 비용과 로봇의 사이즈를 증가하는 단점이 있을 뿐 아니라 좁은 통로를 이동하여야 하는 이동 로봇의 경우 그 설치 자체가 어려운 문제점이 있다. 결과적으로 조정자는 이동 로봇에 설치된 카메라의 주시 방향을 조절하면서 이동 로봇의 주변을 확인하여야 하는 불편함이 있다.
However, the size of the photographed image photographed by the camera is determined according to the performance of the camera, and the size of the photographed image is restricted by the adjuster's view. In order to solve this problem, the performance of the camera can be improved, but the manufacturing cost and the size of the robot are increased. In addition, the mobile robot has to be installed in a narrow path. As a result, the coordinator is inconvenient to check the periphery of the mobile robot while adjusting the direction of the camera installed on the mobile robot.

이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 이동 로봇의 원격 제어 과정에서 이동 로봇에 의해 촬영된 촬영 영상에 증강 현실 기술을 적용하여 조정자의 시야를 넓힐 수 있는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템을 제공하는데 그 목적이 있다.
SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide an augmented reality technique capable of widening the view of an adjuster by applying an augmented reality technique to a captured image taken by a mobile robot in a remote control process of the mobile robot And to provide a remote navigation system of a mobile robot using the mobile robot.

상기 목적은 본 발명에 따라, 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 있어서, 상기 이동 로봇이 주행하는 주행 공간에 대해 모델링된 3D 맵이 저장되는 3D 맵 저장부와; 상기 이동 로봇에 설치되어 상기 주행 공간에 대한 촬영 영상을 획득하는 카메라와; 상기 카메라의 상기 주행 공간에서의 카메라 절대 좌표와 상기 카메라의 카메라 주시 방향을 산출하는 촬영 좌표 산출부와; 상기 카메라 절대 좌표 및 상기 카메라 주시 방향에 기초하여, 상기 3D 맵에서 상기 촬영 영상의 주변에 해당하는 가상 영상을 추출하는 AR 추출부와; 상기 추출된 가상 영상에 의해 상기 촬영 영상의 주변이 확장되어 상기 원격 제어부에 출력되도록 상기 촬영 영상과 상기 가상 영상을 합성하는 AR 출력부를 포함하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 의해서 달성된다.According to an embodiment of the present invention, there is provided a remote navigation system for a mobile robot using an augmented reality technique, the system including: a 3D map storage unit for storing a 3D map modeled for a traveling space that the mobile robot travels; A camera installed in the mobile robot to acquire an image of the running space; A photographing coordinate calculation unit for calculating a camera absolute coordinate in the driving space of the camera and a camera viewing direction of the camera; An AR extraction unit for extracting a virtual image corresponding to a periphery of the photographed image in the 3D map based on the camera absolute coordinate and the camera viewing direction; And an AR output unit for synthesizing the photographed image and the virtual image so that the periphery of the photographed image is expanded by the extracted virtual image to be output to the remote control unit. System.

여기서, 상기 AR 추출부는 상기 3D 맵 상에 가상 카메라를 등록하고, 상기 카메라 절대 좌표 및 상기 카메라 주시 방향을 상기 3D 맵 상의 상기 가상 카메라에 적용하여 상기 가상 영상을 추출할 수 있다.Here, the AR extraction unit may register a virtual camera on the 3D map, extract the virtual image by applying the camera absolute coordinate and the camera viewing direction to the virtual camera on the 3D map.

그리고, 상기 AR 추출부는 상기 카메라의 줌(Zoom) 상태에 대한 줌 정보를 상기 카메라로부터 수신하고, 상기 수신된 줌 정보가 반영된 가상 영상을 추출할 수 있다.The AR extraction unit may receive zoom information on the zoom state of the camera from the camera, and may extract a virtual image reflecting the received zoom information.

또한, 상기 촬영 좌표 산출부는 상기 이동 로봇의 상기 주행 공간에서의 로봇 절대 좌표를 산출하는 로봇 좌표 산출부와; 상기 로봇 절대 좌표에 기초하여, 상기 카메라 절대 좌표와 상기 카메라 주시 방향을 산출하는 카메라 좌표 산출부를 포함할 수 있다.The photographing coordinate calculation unit may include a robot coordinate calculation unit for calculating absolute coordinates of the robot in the traveling space of the mobile robot; And a camera coordinate calculator for calculating the camera absolute coordinate and the camera viewing direction on the basis of the robot absolute coordinates.

여기서, 상기 카메라 좌표 산출부는 상기 이동 로봇에 대한 상기 카메라의 상대 좌표를 산출하는 상대 좌표 산출부와; 상기 로봇 절대 좌표, 상기 카메라의 상대 좌표, 및 상기 카메라의 주시 중심 좌표에 기초하여, 상기 카메라 절대 좌표 및 상기 카메라 주시 방향을 산출하는 좌표 산출 제어부를 포함할 수 있다.Here, the camera coordinate calculation unit may include: a relative coordinate calculation unit for calculating relative coordinates of the camera with respect to the mobile robot; And a coordinate calculation control unit for calculating the camera absolute coordinate and the camera viewing direction based on the robot absolute coordinate, the relative coordinate of the camera, and the viewing center coordinate of the camera.

그리고, 상기 로봇 좌표 산출부는 상기 주행 공간 상에 분산 설치된 복수의 인식표식을 감지하여 상기 로봇 절대 좌표를 산출하는 근적외선 위치 센서와; GPS 신호에 기초하여 상기 로봇 절대 좌표를 산출하는 GPS 모듈과; 상기 이동 로봇의 오도메트리 정보에 기초하여 상기 로봇 절대 좌표를 산출하는 오도메트리 산출부 중 어느 하나를 포함할 수 있다.
The robot coordinate calculation unit may include a near-infrared ray position sensor for detecting the plurality of recognition marks distributed on the travel space and calculating the robot absolute coordinates; A GPS module for calculating the robot absolute coordinates based on a GPS signal; And an odometry calculating unit for calculating the robot absolute coordinate based on the odometry information of the mobile robot.

상기와 같은 구성에 따라 본 발명에 따르면, 이동 로봇의 원격 제어 과정에서 이동 로봇에 의해 촬영된 촬영 영상에 증강 현실 기술을 적용하여 가상 영상에 의해 촬영 영상의 주변이 확장됨으로써, 조정자의 시야를 넓힐 수 있는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템이 제공된다.
According to the present invention, in the remote control process of the mobile robot, the augmented reality technique is applied to the photographed image taken by the mobile robot, and the periphery of the photographed image is expanded by the virtual image, A remote navigation system of a mobile robot using an augmented reality technology is provided.

도 1은 본 발명에 따른 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템의 구성을 도시한 도면이고,
도 2는 본 발명에 따른 이동 로봇의 원격 내비게이션 시스템의 제어 블록도이고,
도 3은 본 발명에 따른 이동 로봇의 원격 내비게이션 시스템에서 촬영 영상과 가상 영상이 합성되어 출력된 예를 도시한 도면이고,
도 4는 본 발명에 따른 이동 로봇의 원격 내비게이션 시스템에서 이동 로봇 내의 각 좌표계를 설명하기 위한 도면이고,
도 5 내지 도 7은 본 발명에 따른 이동 로봇의 원격 내비게이션 시스템의 AR 추출부의 동작 과정을 설명하기 위한 도면이다.1 is a block diagram of a remote navigation system of a mobile robot using an augmented reality technology according to the present invention,
2 is a control block diagram of a remote navigation system of a mobile robot according to the present invention,
FIG. 3 is a view showing an example in which a photographed image and a virtual image are synthesized and output in a remote navigation system of a mobile robot according to the present invention,
4 is a view for explaining each coordinate system in the mobile robot in the remote navigation system of the mobile robot according to the present invention,
5 to 7 are views for explaining the operation of the AR extraction unit of the remote navigation system of the mobile robot according to the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. 여기서, 본 명세서에서 사용되는 표현인 '카메라 절대 좌표' 및 '카메라 주시 방향'은 카메라(110)의 주행 공간 상에서의 절대 좌표와, 해당 위치에서 카메라(110)에 의해 촬영된 촬영 영상의 방향을 검출하기 위한 필수요소로서, '카메라 절대 좌표'는 카메라(110)의 위치를 나타내며, '카메라 주시 방향'은 카메라(110)가 촬영하는 방향과 촬영 방향을 축으로하는 회전 방향을 포함하는 의미로 사용된다. 즉, '카메라 절대 좌표' 및 '카메라 주시 방향'은 카메라(110)가 촬영하는 좌표계를 표현할 수 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Here, the expressions 'camera absolute coordinate' and 'camera viewing direction', which are used in this specification, refer to the absolute coordinates on the traveling space of the camera 110 and the direction of the captured image taken by the camera 110 at the corresponding position The 'absolute camera coordinate' indicates the position of the camera 110, and the 'camera viewing direction' is a meaning including a direction in which the camera 110 photographs and a rotating direction around the photographing direction Is used. That is, 'camera absolute coordinate' and 'camera viewing direction' can express a coordinate system captured by the camera 110.

또한, 본 명세서에서 사용되는 표현인 '이동 로봇'은 도 4에 도시된 바와 같이, 2개의 바퀴로 구성된 이륜 이동 로봇 외에도 원격지에서 조정자에 의해 원격 제어되는 4륜 차량 등의 이동체를 포함하는 개념으로, 바퀴가 아닌 다른 구동 수단, 예컨대 무한궤도 방식이나 보행 방식의 이동체를 포함하는 개념으로 사용되며, 통상적으로 인식되는 '로봇'에 본 발명의 기술적 사항이 국한되지 않음은 물론이다.As shown in FIG. 4, the 'mobile robot' used herein is a concept including a moving object such as a four-wheeled vehicle that is remotely controlled by a coordinator at a remote place in addition to a two-wheeled mobile robot composed of two wheels , A driving means other than a wheel, for example, a moving body of an infinite-orbit system or a walking system, and it is needless to say that the technical subject of the present invention is not limited to a generally recognized 'robot'.

도 1은 증강 현실 기술을 이용한 이동 로봇(100)의 원격 내비게이션 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명에 따른 이동 로봇(100)의 원격 내비게이션 시스템은 이동 로봇(100)과, 원격지에서 이동 로봇(100)의 주행을 제어하는 원격 제어 장치(300)를 포함한다.1 is a diagram showing a configuration of a remote navigation system of a mobile robot 100 using an augmented reality technology. 1, the remote navigation system of the mobile robot 100 according to the present invention includes a mobile robot 100 and a remote controller 300 that controls the travel of the mobile robot 100 at a remote location .

이동 로봇(100)과 원격 제어 장치(300) 간은 통신망(500)을 통해 상호 연결되어, 원격 제어 장치(300)로부터의 주행 제어를 위한 각종 제어신호가 이동 로봇(100)으로 전송되고, 이동 로봇(100)의 주행에 대한 정보나 후술할 카메라(110)에 의해 촬영된 촬영 영상이 무선 통신망(500)을 통해 원격 제어 장치(300)로 전송된다.The mobile robot 100 and the remote controller 300 are interconnected via the communication network 500 so that various control signals for controlling the travel from the remote controller 300 are transmitted to the mobile robot 100, Information about the running of the robot 100 or an image photographed by a camera 110 to be described later is transmitted to the remote control device 300 through the wireless communication network 500. [

본 발명에서는 통신망(500)이 TCP/IP를 기반으로 하는 무선 통신망(500)을 통해 상호 연결되는 것을 예로 하며, 이동 로봇(100)과 원격 제어 장치(300) 간의 통신이 가능한 다른 형태의 통신망(500)도 적용 가능함은 물론이다.In the present invention, it is assumed that the communication networks 500 are connected to each other through a wireless communication network 500 based on TCP / IP, 500) may also be applied.

한편, 본 발명에 따른 이동 로봇(100)의 원격 내비게이션 시스템은, 도 2에 도시된 바와 같이, 카메라(110), 촬영 좌표 산출부(140), 3D 맵 저장부(320), AR 추출부(310) 및 AR 출력부(330)를 포함한다. 도 2에서는 카메라(110) 및 촬영 좌표 산출부(140)가 이동 로봇(100)에 마련되고, 3D 맵 저장부(320), AR 추출부(310) 및 AR 출력부(330)가 원격 제어 장치(300)에 마련되는 것을 예로 하고 있다.2, the remote navigation system of the mobile robot 100 according to the present invention includes a camera 110, a shooting coordinate calculation unit 140, a 3D map storage unit 320, an AR extraction unit 310 and an AR output 330. [ 2, a camera 110 and a shooting coordinate calculation unit 140 are provided in the mobile robot 100. The 3D map storage unit 320, the AR extraction unit 310, and the AR output unit 330 are connected to a remote control unit As shown in Fig.

카메라(110)는 이동 로봇(100)에 설치되어 이동 로봇(100)의 주행 중 촬영을 진행함으로써, 이동 로봇(100)이 주행하는 주행 공간에 대한 촬영 영상을 획득한다. 여기서, 카메라(110)는 이동 로봇(100)의 특정 위치에 고정된 상태로 설치될 수 있으나, 본 발명에서는 카메라(110)의 주시 방향이 이동 로봇(100)에 대해 상대적으로 변경될 수 있도록 카메라 구동부(120)에 구동되는 것을 예로 한다.The camera 110 is installed in the mobile robot 100 and proceeds to take a picture while driving the mobile robot 100 so as to acquire an image of a running space that the mobile robot 100 travels. Here, the camera 110 may be fixedly installed at a specific position of the mobile robot 100, but in the present invention, the direction of the camera 110 may be changed relative to the mobile robot 100, And is driven by the driving unit 120 as an example.

예컨대, 카메라(110)는 좌우 방향으로의 회전이나 상하 방향으로의 회전이 가능하게 설치될 수 있으며, 카메라 구동부(120)가 카메라(110)의 좌우 방향으로의 각도 또는 상하 방향으로의 각도를 조절하도록 마련될 수 있다.For example, the camera 110 may be installed to be capable of rotating in the left-right direction or in the vertical direction, and the camera driving unit 120 may adjust the angle of the camera 110 in the left- .

이동 로봇(100)의 로봇 주행부(130)는 로봇 제어부(150)의 제어에 따라 이동 로봇(100)의 주행을 담당한다. 예컨대, 본 발명에 따른 이동 로봇(100)이 2륜 이동 로봇(100)인 경우, 로봇 주행부(130)는 2개의 바퀴 각각을 독립적으로 회전시키는 모터를 포함할 수 있다.The robot driving unit 130 of the mobile robot 100 takes charge of the traveling of the mobile robot 100 under the control of the robot control unit 150. For example, when the mobile robot 100 according to the present invention is a two-wheeled mobile robot 100, the robot driving unit 130 may include a motor for independently rotating each of the two wheels.

로봇 제어부(150)는 원격 제어 장치(300)로부터의 제어 신호에 기초하여 이동 로봇(100)이 주행하도록 로봇 주행부(130)를 제어한다. 상술한 바와 같이, 통신망(500)을 통해 이동 로봇(100)의 제어를 위한 제어 신호가 원격 제어 장치(300)로부터 전송되면, 이동 로봇(100)의 로봇 통신부(160)가 이를 수신하여 로봇 제어부(150)로 전달하게 된다. 또한, 로봇 제어부(150)는 카메라(110)에 의해 촬영된 촬영 영상을 로봇 통신부(160)를 통해 원격 제어 장치(300)로 전송한다.The robot control unit 150 controls the robot driving unit 130 so that the mobile robot 100 runs on the basis of the control signal from the remote control device 300. [ As described above, when a control signal for controlling the mobile robot 100 is transmitted from the remote control device 300 through the communication network 500, the robot communication unit 160 of the mobile robot 100 receives the control signal, (150). The robot control unit 150 transmits the photographed image photographed by the camera 110 to the remote control device 300 through the robot communication unit 160. [

그리고, 촬영 좌표 산출부(140)는 카메라(110)의 주행 공간 상에서의 카메라 절대 좌표와, 카메라 주시 방향을 산출한다. 이 때, 로봇 제어부(150)는 촬영 좌표 산출부(140)에 의해 산출된 카메라(110)의 주행 공간 상에서의 카메라 절대 좌표 및 카메라 주시 방향에 대한 정보를 원격 제어 장치(300)로 전송하게 된다.The photographing coordinate calculation unit 140 calculates the camera absolute coordinates on the running space of the camera 110 and the camera viewing direction. At this time, the robot controller 150 transmits the camera absolute coordinate and the camera viewing direction on the running space of the camera 110 calculated by the shooting coordinate calculating unit 140 to the remote controller 300 .

한편, 본 발명에 따른 원격 제어 장치(300)는, 도 2에 도시된 바와 같이, 원격 제어 통신부(360), 디스플레이부(340) 및 원격 제어부(350)를 포함할 수 있다. 또한, 상술한 바와 같이, 본 발명에 따른 이동 로봇(100)의 원격 내비게이션 시스템의 3D 맵 저장부(320), AR 추출부(310) 및 AR 출력부(330)가 원격 제어 장치(300)에 마련된다. 도 1에서는 원격 제어 장치(300)가 컴퓨터(300a)의 형태로 마련되는 것을 예로 하고 있다.2, the remote control device 300 according to the present invention may include a remote control communication unit 360, a display unit 340, and a remote control unit 350. As described above, the 3D map storage unit 320, the AR extraction unit 310, and the AR output unit 330 of the remote navigation system of the mobile robot 100 according to the present invention are connected to the remote control device 300 . In FIG. 1, the remote control device 300 is provided in the form of a computer 300a.

원격 제어 통신부(360)는 통신망(500)을 통해 이동 로봇(100)의 로봇 통신부(160)와 연결되어 데이터를 교환한다. 예컨대, 원격 제어 장치(300)로부터 이동 로봇(100)으로 전달되는 제어 신호가 원격 제어 통신부(360)를 통해 이동 로봇(100)으로 전송되고, 이동 로봇(100)으로부터 전송되는 촬영 영상과, 카메라 절대 좌표 및 카메라 주시 방향에 대한 정보가 원격 제어 통신부(360)를 통해 수신된다. 여기서, 원격 제어부(350)는 사용자 입력부(370)를 통해 입력되는 이동 로봇(100)의 제어를 위한 제어 신호를 원격 제어 통신부(360)를 통해 이동 로봇(100)으로 전송하게 된다.The remote control communication unit 360 is connected to the robot communication unit 160 of the mobile robot 100 via the communication network 500 and exchanges data. A control signal transmitted from the remote control device 300 to the mobile robot 100 is transmitted to the mobile robot 100 through the remote control communication unit 360 and the captured image transmitted from the mobile robot 100, Information about the absolute coordinates and the camera viewing direction is received through the remote control communication unit 360. [ The remote control unit 350 transmits a control signal for controlling the mobile robot 100 inputted through the user input unit 370 to the mobile robot 100 through the remote control communication unit 360.

3D 맵 저장부(320)에는 이동 로봇(100)의 주행 공간에 대해 모델링된 3D 맵이 저장된다. 예컨대, 본 발명에 따른 이동 로봇(100)이 원자력 발전소에서 사용되는 경우, 원자력 발전소 내부의 전제가 3D 맵으로 저장될 수 있다.In the 3D map storage unit 320, a 3D map modeled for a running space of the mobile robot 100 is stored. For example, when the mobile robot 100 according to the present invention is used in a nuclear power plant, premises within the nuclear power plant can be stored in a 3D map.

AR 추출부(310)는 원격 제어 통신부(360)를 통해 수신되는 카메라 절대 좌표 및 카메라 주시 방향에 기초하여, 3D 맵 저장부(320)에서 촬영 영상의 주변에 해당하는 가상 영상을 추출한다. 즉, AR 추출부(310)는 이동 로봇(100)에 설치된 카메라(110)의 주행 공간 상에서의 절대 좌표를 카메라 절대 좌표로 파악하고, 현재 카메라(110)가 주시하고 있는 방향, 즉 현재 카메라(110)가 카메라 절대 좌표 위치에서 촬영하고 있는 방향을 카메라 주시 방향으로 파악하여 카메라(110)가 촬영하고 있는 주행 공간을 인식하게 된다.The AR extraction unit 310 extracts a virtual image corresponding to the periphery of the photographed image in the 3D map storage unit 320 based on the camera absolute coordinates and the camera viewing direction received through the remote control communication unit 360. [ That is, the AR extraction unit 310 grasps the absolute coordinates on the moving space of the camera 110 installed in the mobile robot 100 as the absolute coordinates of the camera, and determines the direction in which the current camera 110 is looking, 110 recognizes the direction taken by the camera at the absolute coordinate position in the direction of the camera viewing and recognizes the running space taken by the camera 110.

그리고, AR 추출부(310)는 3D 맵 저장부(320)에 저장된 주행 공간에 대한 3D 맵 상에서의 카메라 절대 좌표 및 카메라 주시 방향을 이용하여, 가상의 카메라(110)가 3맵을 촬영할 때 카메라(110)의 촬영 영상의 주변에 해당하는 가상 영상을 추출하게 된다.When the virtual camera 110 photographs three maps using the camera absolute coordinates and the camera viewing direction on the 3D map for the running space stored in the 3D map storage unit 320, The virtual image corresponding to the periphery of the photographed image of the photographed image 110 is extracted.

그리고, AR 출력부(330)는 AR 추출부(310)에 의해 추출된 가상 영상과 카메라(110)에 의해 촬영된 촬영 영상을 합성하게 된다. 즉, AR 출력부(330)는 AR 추출부(310)에 의해 추출된 가상 영상에 의해 촬영 영상의 주변이 확장되어 표시되도록 가상 영상과 촬영 영상을 합성하여 디스플레이부(340)를 통해 출력하게 된다.The AR output unit 330 synthesizes the virtual image extracted by the AR extraction unit 310 and the photographed image captured by the camera 110. That is, the AR output unit 330 synthesizes the virtual image and the photographed image so that the periphery of the photographed image is expanded by the virtual image extracted by the AR extraction unit 310, and outputs the combined image through the display unit 340 .

도 3은 본 발명에 따른 이동 로봇(100)의 원격 내비게이션 시스템에서 촬영 영상과 가상 영상이 합성되어 출력된 예를 도시한 도면으로, 화면의 중앙 측에 실제 카메라(110)에 의해 촬영된 촬영 영상이 표시되고, AR 추출부(310)에 의해 추출된 촬영 영상의 주변 영상이 가상의 이미지로 표시됨으로써, 가상 영상에 의해 촬영 영상이 그 주변으로 확장되는 효과를 가지게 된다.FIG. 3 is a diagram illustrating an example in which a photographed image and a virtual image are synthesized and output in a remote navigation system of the mobile robot 100 according to the present invention. And the peripheral image of the photographed image extracted by the AR extraction unit 310 is displayed as a virtual image, so that the photographed image is expanded to the periphery by the virtual image.

여기서, 이동 로봇(100)의 조작자는 디스플레이부(340)에 표시된 촬영 영상과 그 주변의 가상 영상을 통해, 이동 로봇(100)의 주행 공간에 대한 촬영 영상보다 넓은 시야를 확보한 상태에서 사용자 조작부의 조작을 통해 이동 로봇(100)의 주행을 원격지에서 제어할 수 있게 된다. 즉, 실제 주행 공간에서의 상황은 촬영 영상을 통해 확인하고 이동 로봇(100)의 주변 환경은 가상 영상에 의해 확장된 영역까지 확인할 수 있게 된다.Here, the operator of the mobile robot 100, while ensuring a wider field of view than the photographed image of the traveling space of the mobile robot 100, through the photographed image displayed on the display unit 340 and the virtual images around the photographed image, The traveling of the mobile robot 100 can be controlled from a remote place. That is, the situation in the actual driving space can be confirmed through the photographed image, and the surrounding environment of the mobile robot 100 can be confirmed up to the extended area by the virtual image.

이하에서는 도 2 내지 도 4를 참조하여 본 발명에 따른 이동 로봇(100)의 원격 내비게이션 시스템의 촬영 좌표 산출부(140)에 대해 상세히 설명한다. 본 발명에 따른 촬영 좌표 산출부(140)는, 도 2에 도시된 바와 같이, 로봇 좌표 산출부(141) 및 카메라 좌표 산출부(142)를 포함할 수 있다.Hereinafter, the photographing coordinate calculation unit 140 of the remote navigation system of the mobile robot 100 according to the present invention will be described in detail with reference to FIGS. 2 to 4. FIG. The photographing coordinate calculation unit 140 according to the present invention may include a robot coordinate calculation unit 141 and a camera coordinate calculation unit 142 as shown in Fig.

로봇 좌표 산출부(141)는 이동 로봇(100)의 주행 공간에서의 로봇 절대 좌표를 산출한다. 본 발명에 따른 로봇 좌표 산출부(141)는 근적외선 위치 센서, GPS 모듈 및 오도메트리 산출부 중 어느 하나의 형태로 마련되는 것을 예로 한다.The robot coordinate calculator 141 calculates the absolute coordinates of the robot in the traveling space of the mobile robot 100. The robot coordinate calculation unit 141 according to the present invention is exemplified as being provided in any one of a near-infrared ray position sensor, a GPS module, and an odometry calculation unit.

근적외선 위치 센서는 주행 공간 상에 분산 설치되는 복수의 인식표식(미도시)을 감지하여 이동 로봇(100)의 로봇 절대 좌표를 산출할 수 있다. 그리고, GPS 모듈은 GPS 신호에 기초하여 로봇의 절대 좌표를 산출할 수 있다.The near-infrared ray position sensor can detect the robot absolute coordinates of the mobile robot 100 by detecting a plurality of recognition marks (not shown) dispersedly installed in the traveling space. Then, the GPS module can calculate the absolute coordinates of the robot based on the GPS signal.

오도메트리 산출부는 이동 로봇(100)의 오도메트리 정보에 기초하여 로봇 절대 좌표를 산출한다. 예컨대, 본 발명에 따른 이동 로봇(100)이 2륜 이동 로봇(100) 형태로 마련되는 경우, 이동 로봇(100)의 각각의 바퀴의 회전량에 따라 최초 출발 위치로부터 이동 로봇(100)의 현재 위치를 인식할 수 있게 된다.The odometry calculating unit calculates the robot absolute coordinates based on the odometry information of the mobile robot (100). For example, when the mobile robot 100 according to the present invention is provided in the form of a two-wheeled mobile robot 100, the current position of the mobile robot 100 from the initial start position is determined according to the amount of rotation of each wheel of the mobile robot 100 The position can be recognized.

여기서, 로봇 좌표 산출부(141)의 상술한 예들은 이동 로봇(100)의 절대 좌표를 산출하기 위한 하나의 예로써, 본 발명에 따른 로봇 좌표 산출부(141)가 상기 예시에 국한되지 않으며, 이동 로봇(100)의 절대 좌표를 산출할 수 있는 다른 예가 적용될 수 있음은 물론이며, 2 이상의 센서의 조합으로 보다 정확한 절대 좌표를 산출하도록 마련될 수 있음은 물론이다.Here, the above-described examples of the robot coordinate calculator 141 are examples for calculating the absolute coordinates of the mobile robot 100, and the robot coordinate calculator 141 according to the present invention is not limited to the above example, It is needless to say that another example in which the absolute coordinates of the mobile robot 100 can be calculated can be applied, and it is needless to say that it is possible to calculate more accurate absolute coordinates by a combination of two or more sensors.

한편, 카메라 좌표 산출부(142)는 로봇 좌표 산출부(141)에 의해 산출된 이동 로봇(100)의 로봇 절대 좌표에 기초하여, 카메라 절대 좌표 및 카메라 주시 방향을 산출한다. 여기서, 카메라 좌표 산출부(142)는 상대 좌표 산출부 및 좌표 산출 제어부를 포함할 수 있다.On the other hand, the camera coordinate calculator 142 calculates the absolute camera coordinates and the camera viewing direction based on the absolute coordinates of the robot of the mobile robot 100 calculated by the robot coordinate calculator 141. Here, the camera coordinate calculation unit 142 may include a relative coordinate calculation unit and a coordinate calculation control unit.

도 4는 이동 로봇(100)의 구성의 예를 도시한 도면으로, 이동 로봇(100)의 주행 과정과 이동 로봇(100)에 설치된 카메라(110)의 구동에 따라 카메라(110)의 중심 좌표와 주시 방향은 변하게 되는데, 이와 같은 카메라(110)의 중심 좌표와 주시 방향이 카메라 절대 좌표 및 카메라 주시 방향이 된다.4 is a diagram showing an example of the configuration of the mobile robot 100. The center coordinates of the camera 110 and the center coordinates of the camera 110 are determined according to the traveling process of the mobile robot 100 and the driving of the camera 110 installed in the mobile robot 100 The center of gravity of the camera 110 and the viewing direction are the camera absolute coordinates and the camera viewing direction.

여기서, 이동 로봇(100)의 주행에 따른 카메라 절대 좌표 및 카메라 주시 방향의 변화는 로봇 좌표 산출부(141)에 의해 산출되는 로봇 절대 좌표에 반영되는데, 상대 좌표 산출부는 이동 로봇(100)에 대한 카메라(110)의 상대 좌표를 산출하여, 카메라(110)의 구동에 따른 중심 좌표 및 주시 방향의 변화를 반영하여 된다. 여기서, 상대 좌표 산출부는 카메라 구동부(120)의 구동을 감지하는 센서, 예컨대, 카메라(110)의 회전 각도를 감지하는 틸트 센서 형태로 마련될 수 있다.Here, the changes in the camera absolute coordinate and the camera viewing direction due to the traveling of the mobile robot 100 are reflected in the robot absolute coordinates calculated by the robot coordinate calculating unit 141, and the relative coordinate calculating unit The relative coordinates of the camera 110 may be calculated to reflect changes in the center coordinates and the viewing direction as the camera 110 is driven. Here, the relative coordinate calculation unit may be provided in the form of a tilt sensor that senses the rotation angle of the camera 110, for example, a sensor that senses the driving of the camera driver 120.

이 때, 좌표 산출 제어부는 상기와 같이 산출된 이동 로봇(100)에 대한 로봇 절대 좌표와 이동 로봇(100) 내에서의 카메라(110)의 움직임에 대한 상대 좌표, 그리고 기 등록된 카메라(110) 내에서의 카메라(110)의 주시 중심 좌표를 이용하여 카메라 절대 좌표 및 카메라 주시 방향을 산출하게 된다.At this time, the coordinate calculation control unit calculates the absolute coordinates of the robot for the mobile robot 100, the relative coordinates of the movement of the camera 110 in the mobile robot 100, The absolute coordinates of the camera and the viewing direction of the camera are calculated by using the center coordinates of the camera 110 in the camera.

도 4에서의 RC는 이동 로봇(100)의 좌표계이고, CC는 카메라(110)의 좌표계이고, CCC는 카메라(110) 중심의 좌표계이다. 도 4에 도시된 바와 같이, 이동 로봇(100)에 대한 로봇 절대 좌표, 카메라(110)의 이동 로봇(100)에 대한 상대 좌표 및 카메라(110)의 주시 중심 좌표가 산출되면, 카메라(110) 중심의 좌표계, 카메라 절대 좌표 및 카메라 주시 방향이 산출 가능하게 된다.4, RC is a coordinate system of the mobile robot 100, CC is a coordinate system of the camera 110, and CCC is a coordinate system of the center of the camera 110. [ 4, when the absolute coordinates of the robot with respect to the mobile robot 100, the relative coordinates of the camera 110 with respect to the mobile robot 100, and the center of gravity of the camera 110 are calculated, The center coordinate system, the camera absolute coordinate, and the camera viewing direction can be calculated.

한편, 본 발명에 따른 AR 추출부(310)는 3D 맵 상에 가상 카메라(110)를 등록하고, 카메라 절대 좌표 및 카메라 주시 방향을 3D 맵 상의 가상 카메라(110)에 적용하여 촬영 영상의 주변에 대한 가상 영상을 추출할 수 있다.Meanwhile, the AR extraction unit 310 according to the present invention registers the virtual camera 110 on the 3D map, applies the camera absolute coordinates and the camera viewing direction to the virtual camera 110 on the 3D map, It is possible to extract a virtual image.

도 5 내지 도 7을 참조하여 설명하면, 도 5는 카메라(110)에 의해 촬영된 촬영 상상의 예를 도시한 것으로 현재 카메라(110)의 좌표계가 도 5에 도시된 방향인 것을 예로 한다.5 to 7, FIG. 5 shows an example of a photographed image photographed by the camera 110, and it is assumed that the coordinate system of the current camera 110 is the direction shown in FIG.

도 6은 가상 카메라(110)의 현재 주시 방향에서의 3D 맵 상이 이미지인 것으로 가정하면, 가상 카메라(110)의 좌표계가 Z축을 중심으로 기울어져 있는 것을 확인할 수 있다.6, it can be confirmed that the coordinate system of the virtual camera 110 is inclined with respect to the Z axis, assuming that the 3D map image in the current viewing direction of the virtual camera 110 is an image.

상기와 같은 상태에서, AR 추출부(310)는 이동 로봇(100)으로부터 제공되는 카메라 절대 좌표 및 카메라 주시 방향에 기초하여 가상 카메라(110)의 좌표 및 주시 방향을, 도 7에 도시된 바와 같이, 촬영 영상에 일치시켜 그 주변 영상을 가상 영상으로 추출하게 된다.In this state, the AR extraction unit 310 extracts the coordinates and the viewing direction of the virtual camera 110 based on the camera absolute coordinates and the camera viewing direction provided from the mobile robot 100, as shown in FIG. 7 , And the surrounding image is extracted as a virtual image in agreement with the photographed image.

이는 이동 로봇(100)의 주행 과정에서 이동 로봇(100)의 로봇 절대 위치의 변화, 카메라 구동부(120)의 구동에 따른 카메라(110)의 상대 위치 변화 등에 따라 가상 카메라(110)의 3D 맵상의 절대 좌표 및 주시 방향이 결정됨으로써, 촬영 영상의 주변이 확장된 효과를 갖는 가상 영상이 정확하게 표시될 수 있게 된다.This is because the moving robot 100 moves along the 3D map of the virtual camera 110 in accordance with the change of the absolute position of the robot of the mobile robot 100 and the change of the relative position of the camera 110 with the driving of the camera driving unit 120, The absolute coordinates and the viewing direction are determined, so that the virtual image having the effect of expanding the periphery of the photographed image can be accurately displayed.

여기서, 본 발명에 따른 AR 추출부(310)는 카메라(110)의 줌(Zoom) 상태에 대한 줌 정보를 이동 로봇(100)에 설치된 카메라(110)로부터 수신할 수 있다. 이를 통해, AR 추출부(310)는 줌 정보가 반영된 가상 영상, 즉 카메라(110)가 줌-인(Zoom-In)되는 경우 가상 카메라(110)도 줌 정보에 대응하는 줌-인(Zoom-In) 상태가 되어 카메라(110)의 줌 상태가 반영된 가상 영상을 추출할 수 있게 된다.Here, the AR extraction unit 310 according to the present invention can receive zoom information on the zoom state of the camera 110 from the camera 110 installed in the mobile robot 100. In this case, the AR extracting unit 310 extracts a zoom-in image corresponding to the zoom information when the virtual image reflecting the zoom information, that is, when the camera 110 is zoomed-in, In state and the virtual image reflecting the zoom state of the camera 110 can be extracted.

전술한 실시예에서는 촬영 좌표 산출부(140)가 이동 로봇(100)에 마련되고, AR 추출부(310), AR 출력부(330) 및 3D 맵 저장부(320)가 원격 제어 장치(300)에 마련되는 것을 예로 하여 설명하였다. 여기서, 촬영 좌표 산출부(140), AR 추출부(310), AR 출력부(330) 및 3D 맵 저장부(320)의 설치 위치는 상술한 실시예에 국한되지 않고, 당업자가 그 기능이 구현되도록 이동 로봇(100)과 원격 제어 장치(300) 중 어느 일측에 마련할 수 있음은 물론이다.The AR coordinate extraction unit 140 is provided in the mobile robot 100 and the AR extraction unit 310, the AR output unit 330 and the 3D map storage unit 320 are connected to the remote control device 300, As shown in Fig. Here, the installation positions of the imaging coordinate calculation unit 140, the AR extraction unit 310, the AR output unit 330, and the 3D map storage unit 320 are not limited to the above-described embodiments, It is of course possible to provide the mobile robot 100 and the remote controller 300 in any one of the mobile robot 100 and the remote controller 300.

예를 들어, 촬영 좌표 산출부(140)에서 이동 로봇(100)의 절대 위치를 감지하는 센서나 카메라(110)의 상대 위치를 감지하는 센서는 이동 로봇(100)에 마련된 상태에서 해당 센싱 정보가 원격 제어 장치(300)로 전송되어 카메라 절대 좌표 및 카메라 주시 방향이 산출되도록 마련될 수 있다.For example, a sensor for sensing the absolute position of the mobile robot 100 in the shooting coordinate calculation unit 140 or a sensor for sensing the relative position of the camera 110 may be provided in the mobile robot 100, And transmitted to the remote control device 300 so as to calculate the camera absolute coordinates and the camera viewing direction.

마찬가지로, 촬영 좌표 산출부(140), 3D 맵 저장부(320), AR 출력부(330) 및 AR 추출부(310)가 모두 이동 로봇(100)에 마련된 상태에서 이동 로봇(100)으로부터 원격 제어 장치(300)로 전송되는 영상이 촬영 영상과 가상 영상이 합성된 영상이 되도록 마련될 수도 있다.Likewise, when the mobile robot 100 is provided with the imaging coordinate calculation unit 140, the 3D map storage unit 320, the AR output unit 330, and the AR extraction unit 310, The image transmitted to the device 300 may be a combined image of the photographed image and the virtual image.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
Although several embodiments of the present invention have been shown and described, those skilled in the art will appreciate that various modifications may be made without departing from the principles and spirit of the invention . The scope of the invention will be determined by the appended claims and their equivalents.

100 : 이동 로봇 110 : 카메라
120 : 카메라 구동부 130 : 로봇 주행부
140 : 촬영 좌표 산출부 141 : 로봇 좌표 산출부
142 : 카메라 좌표 산출부 150 : 로봇 제어부
160 : 로봇 통신부
300 : 원격 제어 장치 310 : AR 추출부
320 : 3D 맵 저장부 330 : AR 출력부
340 : 디스플레이부 350 : 원격 제어부
360 : 원격 제어 통신부 370 : 사용자 입력부100: mobile robot 110: camera
120: camera driving unit 130: robot driving unit
140: Shooting coordinate calculation unit 141: Robot coordinate calculation unit
142: camera coordinate calculation unit 150:
160: Robot communication section
300: remote control device 310: AR extraction unit
320: 3D map storage unit 330: AR output unit
340: display unit 350: remote control unit
360: remote control communication unit 370: user input unit

Claims (6)

증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템에 있어서,
상기 이동 로봇이 주행하는 주행 공간에 대해 모델링된 3D 맵이 저장되는 3D 맵 저장부와;
상기 이동 로봇에 설치되어 상기 주행 공간에 대한 촬영 영상을 획득하는 카메라와;
상기 카메라의 상기 주행 공간에서의 카메라 절대 좌표와 상기 카메라의 카메라 주시 방향을 산출하는 촬영 좌표 산출부와;
상기 카메라 절대 좌표 및 상기 카메라 주시 방향에 기초하여, 상기 3D 맵에서 상기 촬영 영상의 주변에 해당하는 가상 영상을 추출하는 AR 추출부와;
상기 추출된 가상 영상에 의해 상기 촬영 영상의 주변이 확장되어 상기 원격 제어부에 출력되도록 상기 촬영 영상과 상기 가상 영상을 합성하는 AR 출력부를 포함하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.1. A remote navigation system for a mobile robot using augmented reality technology,
A 3D map storage unit for storing a 3D map modeled for a traveling space in which the mobile robot travels;
A camera installed in the mobile robot to acquire an image of the running space;
A photographing coordinate calculation unit for calculating a camera absolute coordinate in the driving space of the camera and a camera viewing direction of the camera;
An AR extraction unit for extracting a virtual image corresponding to a periphery of the photographed image in the 3D map based on the camera absolute coordinate and the camera viewing direction;
And an AR output unit for synthesizing the photographed image and the virtual image so that the periphery of the photographed image is expanded by the extracted virtual image to be output to the remote control unit. system. 제1항에 있어서,
상기 AR 추출부는 상기 3D 맵 상에 가상 카메라를 등록하고, 상기 카메라 절대 좌표 및 상기 카메라 주시 방향을 상기 3D 맵 상의 상기 가상 카메라에 적용하여 상기 가상 영상을 추출하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.The method according to claim 1,
Wherein the AR extraction unit registers the virtual camera on the 3D map and applies the camera absolute coordinate and the camera viewing direction to the virtual camera on the 3D map to extract the virtual image. Remote Navigation System of Mobile Robot. 제2항에 있어서,
상기 AR 추출부는 상기 카메라의 줌(Zoom) 상태에 대한 줌 정보를 상기 카메라로부터 수신하고, 상기 수신된 줌 정보가 반영된 가상 영상을 추출하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.3. The method of claim 2,
Wherein the AR extraction unit receives zoom information on a zoom state of the camera from the camera and extracts a virtual image reflecting the received zoom information, . 제1항에 있어서,
상기 촬영 좌표 산출부는
상기 이동 로봇의 상기 주행 공간에서의 로봇 절대 좌표를 산출하는 로봇 좌표 산출부와;
상기 로봇 절대 좌표에 기초하여, 상기 카메라 절대 좌표와 상기 카메라 주시 방향을 산출하는 카메라 좌표 산출부를 포함하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.The method according to claim 1,
The photographing coordinate calculation unit
A robot coordinate calculator for calculating absolute coordinates of the robot in the traveling space of the mobile robot;
And a camera coordinate calculator for calculating the camera absolute coordinate and the camera viewing direction on the basis of the absolute coordinates of the robot. 제4항에 있어서,
상기 카메라 좌표 산출부는
상기 이동 로봇에 대한 상기 카메라의 상대 좌표를 산출하는 상대 좌표 산출부와;
상기 로봇 절대 좌표, 상기 카메라의 상대 좌표, 및 상기 카메라의 주시 중심 좌표에 기초하여, 상기 카메라 절대 좌표 및 상기 카메라 주시 방향을 산출하는 좌표 산출 제어부를 포함하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.5. The method of claim 4,
The camera coordinate calculation unit
A relative coordinate calculation unit for calculating relative coordinates of the camera with respect to the mobile robot;
And a coordinate calculation control unit for calculating the camera absolute coordinate and the camera viewing direction based on the absolute coordinates of the robot, the relative coordinates of the camera, and the viewing center coordinates of the camera. Remote navigation system of robot. 제4항에 있어서,
상기 로봇 좌표 산출부는
상기 주행 공간 상에 분산 설치된 복수의 인식표식을 감지하여 상기 로봇 절대 좌표를 산출하는 근적외선 위치 센서와;
GPS 신호에 기초하여 상기 로봇 절대 좌표를 산출하는 GPS 모듈과;
상기 이동 로봇의 오도메트리 정보에 기초하여 상기 로봇 절대 좌표를 산출하는 오도메트리 산출부 중 어느 하나를 포함하는 것을 특징으로 하는 증강 현실 기술을 이용한 이동 로봇의 원격 내비게이션 시스템.5. The method of claim 4,
The robot coordinate calculator
A near infrared ray position sensor for detecting the plurality of recognition marks distributed on the traveling space and calculating the robot absolute coordinates;
A GPS module for calculating the robot absolute coordinates based on a GPS signal;
And an odometry calculating unit for calculating the robot absolute coordinates based on the odometry information of the mobile robot. The remote navigation system of the mobile robot using the augmented reality technique.
KR20130054392A 2013-05-14 2013-05-14 Remote navigation system of mobile robot using augmented reality technology KR101478908B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130054392A KR101478908B1 (en) 2013-05-14 2013-05-14 Remote navigation system of mobile robot using augmented reality technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130054392A KR101478908B1 (en) 2013-05-14 2013-05-14 Remote navigation system of mobile robot using augmented reality technology

Publications (2)

Publication Number Publication Date
KR20140134469A true KR20140134469A (en) 2014-11-24
KR101478908B1 KR101478908B1 (en) 2015-01-02

Family

ID=52455529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130054392A KR101478908B1 (en) 2013-05-14 2013-05-14 Remote navigation system of mobile robot using augmented reality technology

Country Status (1)

Country Link
KR (1) KR101478908B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160094168A (en) 2015-01-30 2016-08-09 전자부품연구원 Apparatus of controlling observation view of robot
KR20160104953A (en) * 2015-02-27 2016-09-06 주식회사 인터컴 Mode changing robot and control method thereof
CN108873909A (en) * 2018-07-17 2018-11-23 苏州冠卓自动化科技有限公司 Intelligent carriage control system and operation method
WO2019146903A1 (en) * 2018-01-25 2019-08-01 전자부품연구원 Apparatus and method for providing image of wrap-around view by using distance information
KR20190095253A (en) * 2016-11-17 2019-08-14 인텔 코포레이션 Spherical Rotation Technique for Encoding Widefield Video
CN110164439A (en) * 2019-05-29 2019-08-23 姚英泽 Intellect service robot
WO2020159246A3 (en) * 2019-01-30 2020-10-29 권도균 Virtual reality implementation device and method for remotely controlling equipment by using augmented reality method, and management system using same
KR20210069555A (en) * 2019-12-03 2021-06-11 한국로봇융합연구원 Trainee training and evaluating system for disaster response rovot in live-virtual-constructive environment
KR20210069554A (en) * 2019-12-03 2021-06-11 한국로봇융합연구원 Trainee testing and evaluating apparatus for disaster response rovot in live-virtual-constructive environment

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9579799B2 (en) 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
KR20220165948A (en) 2021-06-09 2022-12-16 주식회사 버넥트 Method and system for remote collaboration
KR102543745B1 (en) 2021-06-09 2023-06-14 주식회사 버넥트 Method and system for collecting that field operation situation and facility information
KR102639276B1 (en) 2021-12-09 2024-02-22 한국전자기술연구원 Remote control device and system for remotely controlling robot using various work contents in virtual space

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101285360B1 (en) * 2007-01-25 2013-07-11 삼성전자주식회사 Point of interest displaying apparatus and method for using augmented reality
KR100989663B1 (en) * 2010-01-29 2010-10-26 (주)올라웍스 Method, terminal device and computer-readable recording medium for providing information on an object not included in visual field of the terminal device
KR101253644B1 (en) * 2012-12-28 2013-04-11 주식회사 맥스트 Apparatus and method for displaying augmented reality content using geographic information

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160094168A (en) 2015-01-30 2016-08-09 전자부품연구원 Apparatus of controlling observation view of robot
KR20160104953A (en) * 2015-02-27 2016-09-06 주식회사 인터컴 Mode changing robot and control method thereof
KR20190095253A (en) * 2016-11-17 2019-08-14 인텔 코포레이션 Spherical Rotation Technique for Encoding Widefield Video
KR20220029780A (en) * 2016-11-17 2022-03-08 인텔 코포레이션 Spherical rotation for encoding wide view video
US11699211B2 (en) 2016-11-17 2023-07-11 Intel Corporation Spherical rotation for encoding wide view video
WO2019146903A1 (en) * 2018-01-25 2019-08-01 전자부품연구원 Apparatus and method for providing image of wrap-around view by using distance information
CN108873909A (en) * 2018-07-17 2018-11-23 苏州冠卓自动化科技有限公司 Intelligent carriage control system and operation method
CN108873909B (en) * 2018-07-17 2021-10-26 苏州冠卓自动化科技有限公司 Intelligent trolley control system and operation method
WO2020159246A3 (en) * 2019-01-30 2020-10-29 권도균 Virtual reality implementation device and method for remotely controlling equipment by using augmented reality method, and management system using same
CN110164439A (en) * 2019-05-29 2019-08-23 姚英泽 Intellect service robot
KR20210069555A (en) * 2019-12-03 2021-06-11 한국로봇융합연구원 Trainee training and evaluating system for disaster response rovot in live-virtual-constructive environment
KR20210069554A (en) * 2019-12-03 2021-06-11 한국로봇융합연구원 Trainee testing and evaluating apparatus for disaster response rovot in live-virtual-constructive environment

Also Published As

Publication number Publication date
KR101478908B1 (en) 2015-01-02

Similar Documents

Publication Publication Date Title
KR101478908B1 (en) Remote navigation system of mobile robot using augmented reality technology
US20210350572A1 (en) Positioning method, apparatus, device, and computer-readable storage medium
CN107836012B (en) Projection image generation method and device, and mapping method between image pixel and depth value
US20210131790A1 (en) Information processing apparatus, information processing method, and recording medium
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
US10888998B2 (en) Method and device for verifying one or more safety volumes for a movable mechanical unit
EP3995782A1 (en) Systems and methods for estimating future paths
US10482659B2 (en) System and method for superimposing spatially correlated data over live real-world images
US20180192035A1 (en) Systems and methods for object location
US11668577B1 (en) Methods and systems for response vehicle deployment
KR102190743B1 (en) AUGMENTED REALITY SERVICE PROVIDING APPARATUS INTERACTING WITH ROBOT and METHOD OF THEREOF
JP2020126612A (en) Method and apparatus for providing advanced pedestrian assistance system for protecting pedestrian using smartphone
CN109618131B (en) Method and equipment for presenting decision auxiliary information
JP7138856B2 (en) Bird's eye view presentation system
JP6402266B1 (en) Robot movement control system and movement control method
CN114240769A (en) Image processing method and device
CN108629842A (en) A kind of unmanned equipment moving information provides and motion control method and equipment
US10559132B2 (en) Display apparatus, display system, and control method for display apparatus
JP6368503B2 (en) Obstacle monitoring system and program
CN107848460A (en) For the system of vehicle, method and apparatus and computer-readable medium
US20220244726A1 (en) Information processing apparatus, information processing method, and program
CN112291701B (en) Positioning verification method, positioning verification device, robot, external equipment and storage medium
JP4673861B2 (en) Information display system and information display method
JP2016219980A (en) Target information display device
US10013736B1 (en) Image perspective transformation system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 5