KR101319525B1 - 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템 - Google Patents

이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템 Download PDF

Info

Publication number
KR101319525B1
KR101319525B1 KR1020130031825A KR20130031825A KR101319525B1 KR 101319525 B1 KR101319525 B1 KR 101319525B1 KR 1020130031825 A KR1020130031825 A KR 1020130031825A KR 20130031825 A KR20130031825 A KR 20130031825A KR 101319525 B1 KR101319525 B1 KR 101319525B1
Authority
KR
South Korea
Prior art keywords
target
mobile robot
information
map
user
Prior art date
Application number
KR1020130031825A
Other languages
English (en)
Inventor
송재복
홍성호
유재관
김종원
지용훈
백주현
Original Assignee
고려대학교 산학협력단
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단, 엘아이지넥스원 주식회사 filed Critical 고려대학교 산학협력단
Priority to KR1020130031825A priority Critical patent/KR101319525B1/ko
Application granted granted Critical
Publication of KR101319525B1 publication Critical patent/KR101319525B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/06—Manipulators combined with a control cab for the operator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps

Abstract

본 발명에 의한 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템이 개시된다.
본 발명에 따른 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템은 사용자로부터의 원격 조정을 통해 실내 환경에 대한 정보가 없는 미지의 영역에 잠입하여 잠입한 미지의 영역으로부터 탐지 정보를 수집하는 이동 로봇; 및 수집된 상기 탐지 정보를 무선 통신을 통해 전달 받고 전달 받은 상기 탐지 정보를 HMD(Head Mounted Display)를 통해 증강 현실의 형태로 표시하는 착용형 장치를 포함한다.

Description

이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템{SYSTEM FOR PROVIDING LOCATION INFORMATION OF TARGET USING MOBILE ROBOT}
본 발명은 목표물의 위치 정보 제공 시스템에 관한 것으로, 특히, 이동 로봇이 사용자 또는 조종자의 조작에 따라 환경에 대한 정보가 없는 미지의 영역을 탐사하면서 목표물의 위치 정보를 포함하는 탐사 정보를 수집하여 수집된 탐사 정보를 사용자의 착용형 장치에 전송하고 사용자의 착용형 장치가 전송 받은 탐사 정보를 기반으로 목표물까지의 경로를 증강 현실의 형태로 표시하도록 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템에 관한 것이다.
임무를 수행하는 지역에 대한 지도 정보가 없고, GPS(Global Positioning System)가 수신이 되지 않는 실내지역일 경우 대체 사람이나 기타 객체의 위치 추정 기술로서 무선측위 기술이 연구 되어 왔다.
하지만, 종래의 무선측위 기술을 통한 위치 추정은 다음의 이유로 인하여 한계가 있다.
1)무선측위 기술은 정적 장애물에 대해서는 비교적 정확한 위치추정이 가능하지만 동적 물체에 대해서는 정확도가 많이 떨어진다. 따라서 이동중인 보병이나 로봇의 실시간 위치추정에는 적합하지 않다.
2)무선 측위 기술을 사용하기 위해서는 다수의 수신국이 필요하다. 임무를 수행하기 전에 수신국을 설치하지 않는다면 정확도가 많이 떨어진다. 하지만, 미지의 환경에서 임무를 수행할 경우 수신국을 새로 설치하면서 이동할 경우 구축비용이 증가하며 임무의 신속성에 악영향을 미칠 가능성이 있다.
3)무선 측위 기술은 항상 무선 통신이 이동하는 객체와 연결되어 있어야 한다. 하지만, 객체가 이동하는 지형의 복잡성과 적군의 전파 방해 등으로 인해 정보가 불안해 질 수 있으며 이로 인해 위치추정의 정확도를 현저하게 떨어뜨리게 된다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 이동 로봇이 사용자 또는 조종자의 조작에 따라 환경에 대한 정보가 없는 미지의 영역을 탐사하면서 목표물의 위치 정보를 포함하는 탐사 정보를 수집하여 수집된 탐사 정보를 사용자의 착용형 장치에 전송하고 사용자의 착용형 장치가 전송 받은 탐사 정보를 기반으로 목표물까지의 경로를 증강 현실의 형태로 표시하도록 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템은 사용자로부터의 원격 조정을 통해 실내 환경에 대한 정보가 없는 미지의 영역에 잠입하여 잠입한 미지의 영역으로부터 탐지 정보를 수집하는 이동 로봇; 및 수집된 상기 탐지 정보를 무선 통신을 통해 전달 받고 전달 받은 상기 탐지 정보를 HMD(Head Mounted Display)를 통해 증강 현실의 형태로 표시하는 착용형 장치를 포함한다.
바람직하게, 상기 탐지 정보는 상기 실내 환경에 대한 2D 격자지도 형태의 내부공간의 구조, 지도상에 등록된 목표물의 위치, 상기 이동 로봇의 위치, 및 사용자로부터 이동 로봇까지의 최적 경로를 포함하는 것을 특징으로 한다.
바람직하게, 상기 이동 로봇은 스테레오 카메라로부터 획득한 스테레오 영상 간의 변화를 통해 자신의 움직임 정보를 추정하고, 추정된 상기 움직임 정보와 2D 레이저 스캐너를 이용하여 획득한 거리 정보를 기반으로 상기 실내 환경에 대한 2D 격자지도 형태의 내부공간의 구조로 지도를 작성하는 것을 특징으로 한다.
바람직하게, 상기 이동 로봇은 목표물을 탐지하면 탐지된 상기 목표물을 상기 작성하고 있는 지도상에 등록하는 것을 특징으로 한다.
바람직하게, 상기 이동 로봇은 상기 목표물의 범위 안에서 스테레오 카메라를 이용하여 깊이 정보를 수집하여 수집된 상기 깊이 정보를 삼차원 점군 형태로 변환하고, 변환된 상기 삼차원 점군 형태의 깊이 정보 중 가장 많은 점을 소유한 점군을 최종 목표물의 형상으로 결정하며, 상기 최종 목표물의 형상으로 결정된 점군에 대한 평균 좌표값을 기준으로 상기 작성하고 있는 지도상의 해당하는 위치에 탐지된 상기 목표물을 등록하는 것을 특징으로 한다.
바람직하게, 상기 이동 로봇은 상기 삼차원 점군 형태로 표시된 깊이 정보를 voxel grid filter를 통해 균일하게 점군의 밀도를 낮추는 작업을 수행하고, K-mean cluster를 이용해 표준 편차가 1보다 큰 점군들을 제거하는 작업을 수행하며, 상기 제거하는 작업의 수행을 완료한 후에 상기 삼차원 점군 형태의 깊이 정보 중 가장 많은 점을 소유한 점군을 상기 최종 목표물의 형상으로 결정하는 것을 특징으로 한다.
바람직하게, 상기 이동 로봇은 상기 실내 환경에 대한 탐사가 완료되면, 탐사를 통해 수집한 상기 탐지 정보를 상기 사용자가 착용하는 상기 착용형 장치에 무선 통신을 통해 전송하는 것을 특징으로 한다.
바람직하게, 상기 착용형 장치는 장착된 RGB-D 카메라를 기반으로 하는 비주얼 오도메트리를 이용하여 사용자의 위치 정보를 추정하고, 상기 사용자의 위치 정보와 상기 탐지 정보를 HMD를 통해 증강 현실의 형태로 표시하는 것을 특징으로 한다.
바람직하게, 상기 착용형 장치는 상기 지도상에 등록한 목표물의 형태를 다음의 수학식
Figure 112013025833414-pat00001
,
Figure 112013025833414-pat00002
를 통해 장축 h2와 단축 w2의 길이를 갖는 타원으로 변환하여 상기 HMD에 표시하되, 여기서, h1과 w1은 각각 사람의 평균 신장과 평균 어깨 너비를 의미하고, d는 카메라 렌즈로부터 사람까지의 거리이며 f는 픽셀단위의 초점 길이를 나타내는 것을 특징으로 한다.
바람직하게, 상기 착용형 장치는 상기 지도상에 등록한 목표물의 위치를 다음의 수학식
Figure 112013025833414-pat00003
를 통해 상기 HMD에 표시되는 영상의 중심으로부터 목표물의 위치까지의 픽셀단위 거리 lp로 결정하되, 여기서, F는 RGB-D 센서의 FOV(field of view)이고, θ는 상기 목표물과 사용자 간의 각도차이이며, a는 상기 영상에서 픽셀단위의 가로길이를 나타내는 것을 특징으로 한다.
이를 통해, 본 발명은 이동 로봇이 사용자 또는 조종자의 조작에 따라 환경에 대한 정보가 없는 미지의 영역을 탐사하면서 목표물의 위치 정보를 포함하는 탐사 정보를 수집하여 수집된 탐사 정보를 사용자의 착용형 장치에 전송하고 사용자의 착용형 장치가 전송 받은 탐사 정보를 기반으로 목표물까지의 경로를 증강 현실의 형태로 표시하도록 함으로써, 실내에서 필요한 정보를 수집할 수 있는 효과가 있다.
또한, 본 발명은 실내에서 사람이 직접 위험을 감수하여 정보를 수집하는 것이 아니라 로봇을 이용하여 수집하는 것이기 때문에 안전할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 목표물의 위치 정보를 제공하기 위한 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 비주얼 오도메트리 알고리즘을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇의 SLAM 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 목표물 등록 알고리즘을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 목표물 등록 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 목표물 등록 결과의 정확도를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 HMD에 표시되는 화면을 나타내는 제1 도면이다.
도 8은 본 발명의 일 실시예에 따른 HMD에 표시되는 화면을 나타내는 제2 도면이다.
도 9는 본 발명의 일 실시예에 따른 HMD에 표시되는 화면을 나타내는 제3 도면이다.
도 10은 본 발명의 일 실시예에 따른 HMD에 표시되는 화면을 나타내는 제4 도면이다.
이하에서는, 본 발명의 실시예에 따른 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템을 첨부한 도 1 내지 도 10을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
특히, 본 발명에서는 전장 환경에서 임무를 수행하는 경우 이동 로봇이 사용자 또는 조종자의 조작에 따라 환경에 대한 정보가 없는 미지의 영역을 탐사하면서 목표물의 위치 정보를 포함하는 탐사 정보를 수집하여 수집된 탐사 정보를 사용자의 착용형 장치에 전송하고 사용자의 착용형 장치가 전송 받은 탐사 정보를 기반으로 목표물까지의 경로를 증강 현실의 형태로 표시하도록 하는 새로운 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 목표물의 위치 정보를 제공하기 위한 시스템을 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 목표물의 위치 정보를 제공하기 위한시스템은 이동 로봇(mobile robot)(110), 착용형 장치(wearable device)(120) 등을 포함하여 구성될 수 있다.
이동 로봇(110)은 사용자 또는 조종자로부터의 원격 조정을 통해 환경에 대한 정보가 없는 미지의 영역에 잠입하여 잠입한 미지의 영역으로부터 탐지 정보를 수집할 수 있다. 여기서, 탐지 정보는 환경에 대한 2D 격자지도 형태의 내부공간의 구조, 지도상에 등록된 목표물 예컨대, 적군의 위치 또는 구출하고자 하는 대상의 위치, 이동 로봇의 위치, 및 사용자 또는 조종자로부터 이동 로봇까지의 최적 경로 등을 포함할 수 있다.
이동 로봇(110)은 미지의 영역을 탐지하면서 지도를 작성하고, 탐지된 목표물을 지도에 등록할 수 있다. 이러한 탐사 작업과 목표물 등록 과정을 설명한다.
먼저, 이동 로봇(110)은 지도가 없는 환경에 대한 지도 작성을 수행할 수 있다. 이때, 미지의 환경을 탐사하기 위해 수행하는 지도 작성 작업은 2D 레이저 스캐너와 스테레오 카메라를 사용한 비주얼 오도메트리(Visual Odometry) 기반의 SLAM(Simultaneously Localization and Mapping) 기술을 이용한다.
특히, 전장 환경에서 사용되는 이동 로봇 또는 정찰 로봇은 고르지 못한 지면과 다양한 지형지물을 극복하며 주행하기 위해 궤도형 메커니즘을 주로 사용하는데 이러한 로봇의 경우 바퀴식 로봇에 비해 지면과 맞닿는 면적이 넓어서 주행 시 미끄러짐 현상이 매우 자주 발생하므로 엔코더를 사용한 휠 오도메트리 정보는 매우 부정확하다. 따라서 엔코더 정보를 대체하기 위해 본 발명에서는 스트레오 카메라 기반의 비주얼 오도메트리를 로봇의 위치추정 방법으로서 사용한다.
여기서, 비주얼 오도메트리는 스테레오 카메라로부터 얻은 스테레오 영상들 간의 변화를 통해 이동 로봇의 이동 방향과 거리를 추정할 수 있는 방법을 일컫는다.
도 2는 본 발명의 일 실시예에 따른 비주얼 오도메트리 알고리즘을 나타내는 도면이다.
도 2에 도시한 바와 같이, 본 발명에 따른 비주얼 오도메트리는 스테레오 영상의 변화를 통한 이동 로봇의 움직임 즉, 이동 방향과 거리 등을 추정할 수 있는 방법을 일컫는다.
즉, 이동 로봇은 스테레오 카메라를 통해 두 개의 시차 영상을 획득하고(S210), 획득된 두 개의 시차 영상 각각으로부터 특징점을 추출할 수 있다(S220).
다음으로, 이동 로봇은 추출된 특징점을 정합하고(S230), 정합된 특징점들로부터 외곽선(outliers)를 제거할 수 있다(S240).
다음으로, 이동 로봇은 외곽선이 제거된 특징점들로부터 reprojection error minimization 방식을 이용하여 자신의 운동 또는 움직임을 예측 또는 추정할 수 있다(S250).
이동 로봇은 이렇게 추정된 자신의 움짐임 정보 즉, 이동 방향과 거리와 2D 레이저 스캐너를 이용하여 획득한 거리 정보를 기반으로 지도를 작성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇의 SLAM 과정을 설명하기 위한 도면이다.
도 3에 도시한 바와 같이, 본 발명에 따른 이동 로봇은 2D 레이저 스캐너를 이용하여 2D 격자지도 형태의 내부공간의 구조를 보여주기 위한 지도를 작성할 수 있다. 즉, 지도 작성은 레이저 스캐너로부터 획득한 거리 정보를 통해 수행될 수 있다.
예컨대, 본 발명의 실험에 사용한 레이저 스캐너는 전방180도 방향으로 50m 의 범위 내의 장애물까지의 거리를 획득할 수 있다. 이렇게 획득한 거리 정보를 센서의 부정확성을 고려한 베이시안 확률모델을 사용하여 지도 작성을 수행할 수 있다.
이러한 지도 작성 방법은 기존의 방법을 이용하기 때문에 상세한 설명은 생략한다.
이동 로봇(110)은 목표물을 탐지하면 탐지된 목표물을 작성하고 있는 지도상에 등록할 수 있다.
도 4는 본 발명의 일 실시예에 따른 목표물 등록 알고리즘을 나타내는 도면이고, 도 5는 본 발명의 일 실시예에 따른 목표물 등록 과정을 설명하기 위한 도면이다.
도 4 내지 도 5를 참조하면, 우선 목표물이 이동 로봇에 장착되어 있는 스테레오 카메라에 탐지되면, 원격 조종을 통해 (a)와 같이 목표물이 화면의 정 중앙에 위치할 수 있도록 이동 로봇을 위치시킨 후 목표물을 지도상에 등록할 수 있다.
즉, 이동 로봇은 지정한 목표물의 범위 안에서 스테레오 카메라를 이용하여 깊이 정보를 수집하고(S410), 수집된 깊이 정보를 (b)와 같이 삼차원 점군 형태로 변환하여 표시할 수 있다(S420).
이때, 스테레오 카메라의 잡음으로 인한 오차가 산재할 수 있는데, 이것은 로봇의 진동 또는 양쪽 이미지의 조도의 차이로 인한 스테레오 정합의 불안에서 기인한다. 따라서 보다 정확한 목표물의 위치 파악을 위해 다양한 필터링이 필요하다.
다음으로, 이동 로봇은 삼차원 점군 형태로 표시된 깊이 정보를 voxel grid filter를 통해 균일하게 점군의 밀도를 낮추는 작업을 수행할 수 있는데(S430), 그 수행한 결과는 (c)와 같이 표시할 수 있다. 이를 통해 이후 필터링 작업에 수행되는 연산량을 줄일 수 있다.
다음으로, 이동 로봇은 K-mean cluster를 이용해 표준 편차가 1보다 큰 점군(cluster)들은 제거할 수 있는데(S450), 그 제거한 결과는 (d)와 같이 표시할 수 있다.
다음으로, 이동 로봇은 이전 단계에서 생성한 점군 중 가장 많은 점을 소유한 점군을 최종 목표물의 형상으로 결정할 수 있는데(S460), 그 결정한 결과는 (e)와 같이 표시할 수 있다.
따라서 이동 로봇은 이렇게 최종 목표물의 형상으로 결정된 점군에 대한 평균 좌표값을 기준으로 작성하고 있는 지도상의 해당 위치에 목표물을 등록할 수 있다.
도 6은 본 발명의 일 실시예에 따른 목표물 등록 결과의 정확도를 보여주는 도면이다.
도 6에 도시한 바와 같이, 등록한 목표물의 위치와 실제 목표물의 위치에 대한 비교가 나타나 있다. 로봇의 위치는 비주얼 오도메트리를 통해 추정되며, 3가지 목표물을 총 4번에 걸쳐 등록하였다. 로봇으로부터 약 1.5m 거리에 떨어져 있는 목표물의 위치 오차는 10cm 이내이며 2.5m와 3.5m떨어진 목표물의 위치 오차는 약 20cm 정도이다.
또한 이동 로봇(110)은 실내 환경에 대한 탐사가 완료되면 탐사를 통해 수집한 탐사 정보를 사용자 또는 조종자가 조작하는 착용형 장치(120)에 전송할 수 있다.
착용형 장치(120)는 이동 로봇을 조종하는 사용자 또는 조종자가 착용할 수 있는 장치를 일컫는데, 미지의 영역에 대한 이동 로봇(110)의 탐사 및 목표물 등록 작업이 완료되면, 수집된 탐지 정보를 무선 통신을 통해 전달 받고 전달 받은 탐지 정보를 HMD(Head Mounted Display)를 통해 증강 현실의 형태로 표시할 수 있다. 따라서 사용자는 HMD를 통해 제공되는 경로를 기반으로 로봇까지 효율적으로 이동 가능하다.
이때, 착용형 장치(120)는 이동 중인 사용자의 위치를 추정해야 하는데, 예컨대, RGB-D 카메라를 기반으로 하는 비주얼 오도메트리를 이용할 수 있다.
착용형 장치(120)는 현재 자신의 위치로부터 로봇의 위치까지 이동에 필요한 최적의 경로를 전달 받는데, 전달 받은 최적의 경로를 Kanayama 제어기를 통해 현재 위치에서 취해야 할 최적의 속도와 각속도로 변환된 후 HMD 화면상에 표시한다.
도 7은 본 발명의 일 실시예에 따른 HMD에 표시되는 화면을 나타내는 제1 도면이다.
도 7에 도시한 바와 같이, 정적인점 p1은 현재 보병의 위치를 의미하며, 다음의 [수학식 1]을 통해 HMD에 표현되는 방향벡터의 길이 lf와 방향 θ가 계산된다. 이와 같은 방향벡터를 시각적으로 인지함으써 목표지점까지 이동하게 된다.
[수학식 1]
Figure 112013025833414-pat00004
θ1,2 = wr
여기서, dinit은 사용자의 초기 위치로부터 이동 로봇까지의 거리를 나타내고, dcurr은 현재 사용자의 위치로부터 이동 로봇까지의 거리를 나타낸다. 즉, 방향벡터의 길이는 현재 사용자의 위치로부터 이동 로봇까지의 거리에 비례하도록 계산된다. l0는 방향 벡터의 초기 길이를 나타낸다. l1은 사람이 이동한 거리에 따라 변하는 방향벡터의 길이를 나타낸다.
또한 wr은 Kanayama 제어기를 통해 나온 순간 각속도 값이고, θ1,2는 화면상에 표시될 벡터의 방향이다. 즉, 추종해야할 경로의 방향과 현재 사용자가 향하는 방향이 크게 차이가 날수록 벡터는 화면상에서 더욱 기울여서 표시된다.
착용형 장치(120)는 HMD에 이동 로봇이 탐사하면서 지도상에 등록한 목표물을 표시한다.
도 8은 본 발명의 일 실시예에 따른 HMD에 표시되는 화면을 나타내는 제2 도면이다.
도 8에 도시한 바와 같이, 착용형 장치(120)는 지도상에 등록한 목표물을 다음의 [수학식 2]를 통해 타원의 장축 h2와 단축 w2의 길이로 변환하어 HMD에 표시한다.
[수학식 2]
Figure 112013025833414-pat00005
Figure 112013025833414-pat00006
여기서, h1과 w1은 각각 사람의 평균 신장과 평균 어깨 너비를 의미하는데, 본 발명에서는 각각 1.8m와 0.9m로 설정하도록 하였다. 또한 d는 카메라 렌즈로부터 사람까지의 거리이며 f는 픽셀단위의 초점 길이(focal length)를 나타낸다.
착용형 장치(120)는 현재 사용자의 위치에서 표시될 타원 형상의 크기가 결정 되었으면 타원의 위치를 결정할 수 있다.
도 9는 본 발명의 일 실시예에 따른 HMD에 표시되는 화면을 나타내는 제3 도면이다.
도 9에 도시한 바와 같이, 착용형 장치(120)는 사용자가 향한 방향과 목표물과 사용자의 현재 위치를 연결한 직선과의 각도 차 θ에 따라 화면상에서의 형상 위치를 결정한다. 즉, 착용형 장치(120)는 목표물이 RGB-D 카메라의 FOV 안에 들어올 경우에는 다음의 [수학식 3]의 관계를 이용하여 목표물의 영상내 위치를 결정한다.
[수학식 3]
Figure 112013025833414-pat00007
여기서, F는 RGB-D 카메라의 FOV(field of view)를 나타내며, θ는 목표물과 사용자 간의 각도차이를 나타낸다. lp는 화면의 중심으로부터 목표물의 위치까지의 픽셀단위 거리를 나타내며 a와 b는 HMD에 표시되는 영상의 픽셀단위의 가로길이와 세로 길이를 나타낸다.
예컨대, lp는 이동하는 사용자의 위치에 따라 l1이 되거나 l2 등으로 산출되게 된다.
또한, 착용형 장치(120)는 목표물이 현재 사용자의 위치로부터 떨어져 있는 정도를 시각적으로 빠르게 인지할 수 있게 하기 위해 가까울수록 온색 계열로 색을 나타내고 멀수록 한색계열로 나타낸다.
이때, 사용되는 방법은 빛의 파장과 RGB 간의 관계를 다음의 [수학식 4]와 같이 나타낸다.
[수학식 4]
Figure 112013025833414-pat00008
여기서, λt는 파장을 나타내고 λrange는 파장의 범위를 나타낸다. 본 발명에서는 파장의 범위 λrange를 예컨대, 대략 380에서 780으로 설정하도록 하였다.
도 10은 본 발명의 일 실시예에 따른 HMD에 표시되는 화면을 나타내는 제4 도면이다.
도 10에 도시한 바와 같이, 본 발명에 따른 HMD에 표시된 결과 화면을 나타낸다. 예컨대, (a)에서는 실험이 수행된 환경을 보여주고, (b)에서는 SLAM 결과와 사람으로부터 로봇까지의 궤적 그리고 목표물의 지도상의 위치를 보여주며, (c)~(f)에서는 사람이 해당 위치에서 HMD에 전달 받은 화면들을 각각 보여주고 있다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 이동 로봇
120: 착용형 장치

Claims (10)

  1. 사용자로부터의 원격 조정을 통해 실내 환경에 대한 정보가 없는 미지의 영역에 잠입하여 잠입한 미지의 영역으로부터 탐지 정보를 수집하는 이동 로봇; 및
    수집된 상기 탐지 정보를 무선 통신을 통해 전달 받고 전달 받은 상기 탐지 정보를 HMD(Head Mounted Display)를 통해 증강 현실의 형태로 표시하는 착용형 장치;
    를 포함하되, 상기 이동 로봇은 스테레오 카메라로부터 획득한 스테레오 영상 간의 변화를 통해 자신의 움직임 정보를 추정하고,
    추정된 상기 움직임 정보와 2D 레이저 스캐너를 이용하여 획득한 거리 정보를 기반으로 상기 실내 환경에 대한 2D 격자지도 형태의 내부공간의 구조로 지도를 작성하는 것을 특징으로 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템.
  2. 제1 항에 있어서,
    상기 탐지 정보는,
    상기 실내 환경에 대한 2D 격자지도 형태의 내부공간의 구조, 지도상에 등록된 목표물의 위치, 상기 이동 로봇의 위치, 및 사용자로부터 이동 로봇까지의 최적 경로를 포함하는 것을 특징으로 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템.
  3. 삭제
  4. 제1 항에 있어서,
    상기 이동 로봇은,
    목표물을 탐지하면 탐지된 상기 목표물을 상기 지도상에 등록하는 것을 특징으로 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템.
  5. 제4 항에 있어서,
    상기 이동 로봇은,
    상기 목표물의 범위 안에서 스테레오 카메라를 이용하여 깊이 정보를 수집하여 수집된 상기 깊이 정보를 삼차원 점군 형태로 변환하고,
    변환된 상기 삼차원 점군 형태의 깊이 정보 중 가장 많은 점을 소유한 점군을 최종 목표물의 형상으로 결정하며,
    상기 최종 목표물의 형상으로 결정된 점군에 대한 평균 좌표값을 기준으로 상기 작성하고 있는 지도상의 해당하는 위치에 탐지된 상기 목표물을 등록하는 것을 특징으로 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템.
  6. 제5 항에 있어서,
    상기 이동 로봇은,
    상기 삼차원 점군 형태로 표시된 깊이 정보를 voxel grid filter를 통해 균일하게 점군의 밀도를 낮추는 작업을 수행하고,
    K-mean cluster를 이용해 표준 편차가 1보다 큰 점군들을 제거하는 작업을 수행하며,
    상기 제거하는 작업의 수행을 완료한 후에 상기 삼차원 점군 형태의 깊이 정보 중 가장 많은 점을 소유한 점군을 상기 최종 목표물의 형상으로 결정하는 것을 특징으로 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템.
  7. 제1 항에 있어서,
    상기 이동 로봇은,
    상기 실내 환경에 대한 탐사가 완료되면, 탐사를 통해 수집한 상기 탐지 정보를 상기 사용자가 착용하는 상기 착용형 장치에 무선 통신을 통해 전송하는 것을 특징으로 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템.
  8. 제1 항에 있어서,
    상기 착용형 장치는,
    장착된 RGB-D 카메라를 기반으로 하는 비주얼 오도메트리를 이용하여 사용자의 위치 정보를 추정하고,
    상기 사용자의 위치 정보와 상기 탐지 정보를 HMD를 통해 증강 현실의 형태로 표시하는 것을 특징으로 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템.
  9. 제1 항에 있어서,
    상기 착용형 장치는,
    상기 지도상에 등록한 목표물의 형태를 다음의 수학식
    Figure 112013025833414-pat00009
    ,
    Figure 112013025833414-pat00010
    를 통해 장축 h2와 단축 w2의 길이를 갖는 타원으로 변환하여 상기 HMD에 표시하되,
    여기서, h1과 w1은 각각 사람의 평균 신장과 평균 어깨 너비를 의미하고, d는 카메라 렌즈로부터 사람까지의 거리이며 f는 픽셀단위의 초점 길이를 나타내는 것을 특징으로 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템.
  10. 제1 항에 있어서,
    상기 착용형 장치는,
    상기 지도상에 등록한 목표물의 위치를 다음의 수학식
    Figure 112013025833414-pat00011
    를 통해 상기 HMD에 표시되는 영상의 중심으로부터 목표물의 위치까지의 픽셀단위 거리 lp로 결정하되,
    여기서, F는 RGB-D 센서의 FOV(field of view)이고, θ는 상기 목표물과 사용자 간의 각도차이이며, a는 상기 영상에서 픽셀단위의 가로길이를 나타내는 것을 특징으로 하는 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템.
KR1020130031825A 2013-03-26 2013-03-26 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템 KR101319525B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130031825A KR101319525B1 (ko) 2013-03-26 2013-03-26 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130031825A KR101319525B1 (ko) 2013-03-26 2013-03-26 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템

Publications (1)

Publication Number Publication Date
KR101319525B1 true KR101319525B1 (ko) 2013-10-21

Family

ID=49638744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130031825A KR101319525B1 (ko) 2013-03-26 2013-03-26 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템

Country Status (1)

Country Link
KR (1) KR101319525B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455236B1 (ko) * 2013-04-19 2014-11-07 주식회사 제이엠랩 이동형 증강현실 제공 장치 및 그 방법
KR20180004151A (ko) * 2015-04-10 2018-01-10 더 유럽피안 애토믹 에너지 커뮤니티(이유알에이티오엠), 리프레젠티드 바이 더 유럽피안 커미션 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법
CN108394489A (zh) * 2018-02-05 2018-08-14 深圳市贝优通新能源技术开发有限公司 一种具有自动连接功能的安全型agv小车
KR20180113407A (ko) * 2017-04-06 2018-10-16 명지대학교 산학협력단 멀티센서 기반의 웨어러블 실내공간정보 구축시스템
KR20200082500A (ko) * 2018-12-28 2020-07-08 광운대학교 산학협력단 3차원 VR을 위한 2차원 LiDAR 기반 전 방향 3차원 계측 기법 및 이의 장치
WO2021040107A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
KR20210117307A (ko) * 2019-01-23 2021-09-28 누보 피그노네 테크놀로지 에스알엘 툴링 경로 생성이 개선된 산업용 로봇 장치, 및 개선된 툴링 경로에 따라 산업용 로봇 장치를 작동시키기 위한 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000036419A (ko) * 2000-03-10 2000-07-05 김경근 동영상 송수신 유닛과 음성송신 모듈을 탑재한 로봇으로웹을 실시간 영상 및 음성 전송과 원격제어가 가능한 로봇
KR20010094657A (ko) * 2000-03-31 2001-11-01 양경택 카메라가 장착된 탐사로봇을 이용한 교량결함 탐지 방법및 장치
WO2013012484A2 (en) * 2011-07-15 2013-01-24 Google Inc. Eyepiece for near-to-eye display with multi-reflectors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000036419A (ko) * 2000-03-10 2000-07-05 김경근 동영상 송수신 유닛과 음성송신 모듈을 탑재한 로봇으로웹을 실시간 영상 및 음성 전송과 원격제어가 가능한 로봇
KR20010094657A (ko) * 2000-03-31 2001-11-01 양경택 카메라가 장착된 탐사로봇을 이용한 교량결함 탐지 방법및 장치
WO2013012484A2 (en) * 2011-07-15 2013-01-24 Google Inc. Eyepiece for near-to-eye display with multi-reflectors

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455236B1 (ko) * 2013-04-19 2014-11-07 주식회사 제이엠랩 이동형 증강현실 제공 장치 및 그 방법
KR20180004151A (ko) * 2015-04-10 2018-01-10 더 유럽피안 애토믹 에너지 커뮤니티(이유알에이티오엠), 리프레젠티드 바이 더 유럽피안 커미션 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법
KR102427921B1 (ko) 2015-04-10 2022-08-02 더 유럽피안 애토믹 에너지 커뮤니티(이유알에이티오엠), 리프레젠티드 바이 더 유럽피안 커미션 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법
KR20180113407A (ko) * 2017-04-06 2018-10-16 명지대학교 산학협력단 멀티센서 기반의 웨어러블 실내공간정보 구축시스템
KR101982822B1 (ko) * 2017-04-06 2019-05-29 명지대학교 산학협력단 멀티센서 기반의 웨어러블 실내공간정보 구축시스템
CN108394489A (zh) * 2018-02-05 2018-08-14 深圳市贝优通新能源技术开发有限公司 一种具有自动连接功能的安全型agv小车
KR20200082500A (ko) * 2018-12-28 2020-07-08 광운대학교 산학협력단 3차원 VR을 위한 2차원 LiDAR 기반 전 방향 3차원 계측 기법 및 이의 장치
KR102250687B1 (ko) * 2018-12-28 2021-05-10 광운대학교 산학협력단 3차원 VR을 위한 2차원 LiDAR 기반 전 방향 3차원 계측 기법 및 이의 장치
KR20210117307A (ko) * 2019-01-23 2021-09-28 누보 피그노네 테크놀로지 에스알엘 툴링 경로 생성이 개선된 산업용 로봇 장치, 및 개선된 툴링 경로에 따라 산업용 로봇 장치를 작동시키기 위한 방법
KR102600375B1 (ko) 2019-01-23 2023-11-08 누보 피그노네 테크놀로지 에스알엘 툴링 경로 생성이 개선된 산업용 로봇 장치, 및 개선된 툴링 경로에 따라 산업용 로봇 장치를 작동시키기 위한 방법
WO2021040107A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
US11164383B2 (en) 2019-08-30 2021-11-02 Lg Electronics Inc. AR device and method for controlling the same

Similar Documents

Publication Publication Date Title
KR101319525B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템
CN112567201B (zh) 距离测量方法以及设备
KR102434580B1 (ko) 가상 경로를 디스플레이하는 방법 및 장치
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP7263630B2 (ja) 無人航空機による３次元再構成の実行
Rovira-Más et al. Stereo vision three-dimensional terrain maps for precision agriculture
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR20180079428A (ko) 자동 로컬리제이션을 위한 장치 및 방법
JP6456405B2 (ja) ３次元情報算出装置、３次元情報算出方法、および自律移動装置
CN110446159A (zh) 一种室内无人机精确定位与自主导航的系统及方法
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
JP2020021326A (ja) 情報処理方法、情報処理装置およびプログラム
KR101319526B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법
CN104714555A (zh) 一种基于边缘的三维自主探索方法
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、系统及无人机
Holz et al. Towards multimodal omnidirectional obstacle detection for autonomous unmanned aerial vehicles
US20210263533A1 (en) Mobile object and method for controlling mobile object
CN112204345A (zh) 移动设备的室内定位方法、移动设备及控制系统
EP3005238B1 (en) Method and system for coordinating between image sensors
Ericson et al. Analysis of two visual odometry systems for use in an agricultural field environment
CN114459467B (zh) 一种未知救援环境中基于vi-slam的目标定位方法
Sizintsev et al. Multi-sensor fusion for motion estimation in visually-degraded environments
KR101639264B1 (ko) 무인 단말기 제어 방법 및 장치
Rydell et al. Chameleon v2: Improved imaging-inertial indoor navigation
CN115019167B (zh) 基于移动终端的融合定位方法、系统、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180806

Year of fee payment: 6