KR20200080404A - 재난 탐사 로봇 및 이의 동작 방법 - Google Patents

재난 탐사 로봇 및 이의 동작 방법 Download PDF

Info

Publication number
KR20200080404A
KR20200080404A KR1020180164581A KR20180164581A KR20200080404A KR 20200080404 A KR20200080404 A KR 20200080404A KR 1020180164581 A KR1020180164581 A KR 1020180164581A KR 20180164581 A KR20180164581 A KR 20180164581A KR 20200080404 A KR20200080404 A KR 20200080404A
Authority
KR
South Korea
Prior art keywords
image
exploration robot
disaster
objects
disaster exploration
Prior art date
Application number
KR1020180164581A
Other languages
English (en)
Inventor
김준연
이재원
Original Assignee
김준연
이재원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김준연, 이재원 filed Critical 김준연
Priority to KR1020180164581A priority Critical patent/KR20200080404A/ko
Publication of KR20200080404A publication Critical patent/KR20200080404A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1658—Programme controls characterised by programming, planning systems for manipulators characterised by programming language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

본 발명의 일 실시 예에 의한 재난 탐사 로봇은, 상기 재난 탐사 로봇을 이동시키는 이동부; 와 탐색 지역에 대한 영상을 획득하는 측정부; 와 상기 영상으로부터 복수개의 물체를 검출하고, 상기 복수개의 물체 각각의 좌표를 인식하는 인식부; 와 상기 영상을 원격기기에 전송하는 통신부; 및 상기 통신부가 상기 원격기기로부터 상기 복수개의 물체 중 적어도 어느 하나의 물체에 대한 선택을 수신하는 경우, 상기 적어도 어느 하나의 물체를 목표 물체로 설정하고, 상기 목표 물체의 좌표로 이동하도록 상기 이동부를 제어하는 제어부를 포함한다.

Description

재난 탐사 로봇 및 이의 동작 방법{DISASTER EXPLORE ROBOT AND OPERATING METHOD OF THEREOF}
본 발명은 재난 탐사 로봇 및 이의 동작 방법에 관한 것으로서, 보다 구체적으로 비주얼 서보잉 기반 원격제어에 기초하여 재난 지역을 탐사할 수 있는 재난 탐사 로봇 및 이의 동작 방법에 관한 것이다.
최근 지진과 같은 자연재해와 원전 사고나 방사능 누출과 같은 인재가 증가하고 있다. 재해발생 지역이나 재해로 인한 피해지역에 사람이 직접 진입하는 것은 어렵다. 따라서, 사람이 직접 들어가기 어려운 지역을 대신 탐사할 수 있는 탐사 로봇의 필요성이 늘어나고 있다.
현재 영상 인식기술은 비약적으로 발전해 왔으며, 다양한 분야에 적용되고 있다. 이에 따라 탐사 로봇에도 영상을 이용한 인식기술이 적용되어 있다. 그러나, 현재 탐사 로봇에서 사용하는 대부분의 영상 인식기술은 탐사 로봇에 설치된 카메라로 촬영한 영상 또는 사진을 전송하는 것에 제한되어 있다. 따라서, 영상 정보를 탐사 로봇 제어에 직접 활용하고 있지는 않다.
이와 같이 기존의 탐사 로봇은 원격 제어를 기반으로 하고 있지만, 사용자가 카메라 모니터링만 할 수 있는 정도에 그치고 있다. 따라서, 원전 또는 방사능 유출 현장 및 재난현장을 정확하게 탐사 및 조사하기 위해서, 사용자가 현장 상황에 따라 별도의 조작을 하여 융통성 있게 탐사할 수 있는 로봇의 개발이 요구된다.
본 발명은 비주얼 서보잉 기반 원격제어를 수행하여 영상 정보를 로봇 제어에 활용함으로써 목표물에 대한 정밀한 조사를 수행할 수 있는 재난 탐사 로봇 및 이의 동작 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 탐색하고자 하는 물체의 좌표정보를 얻고 이를 직접 지정함으로써 목표물에 대한 정밀한 조사를 수행할 수 있는 재난 탐사 로봇 및 이의 동작 방법을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재에 의해 제안되는 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 의한 재난 탐사 로봇은, 상기 재난 탐사 로봇을 이동시키는 이동부; 와 탐색 지역에 대한 영상을 획득하는 측정부; 와 상기 영상으로부터 복수개의 물체를 검출하고, 상기 복수개의 물체 각각의 좌표를 인식하는 인식부; 와 상기 영상을 원격기기에 전송하는 통신부; 및 상기 통신부가 상기 원격기기로부터 상기 복수개의 물체 중 적어도 어느 하나의 물체에 대한 선택을 수신하는 경우, 상기 적어도 어느 하나의 물체를 목표 물체로 설정하고, 상기 목표 물체의 좌표로 이동하도록 상기 이동부를 제어하는 제어부를 포함한다.
본 발명의 다른 실시 예에 의한 재난 탐사 로봇의 동작 방법은, 상기 재난 탐사 로봇을 이동시키는 단계; 와 탐색 지역에 대한 영상을 획득하는 단계; 와 상기 영상으로부터 복수개의 물체를 검출하고, 상기 복수개의 물체 각각의 좌표를 인식하는 단계; 와 상기 영상을 원격기기에 전송하는 단계; 및 상기 원격기기로부터 상기 복수개의 물체 중 적어도 어느 하나의 물체에 대한 선택을 수신하는 경우, 상기 적어도 어느 하나의 물체를 목표 물체로 설정하고, 상기 목표 물체의 좌표로 이동하는 단계를 포함한다.
본 발명에 따른 실시 예들에 의하면, 탐색하고자 하는 물체의 좌표정보를 얻고 이를 직접 지정함으로써 탐사로봇을 보다 세밀하고 정확하게 조작하여 목표물에 대한 정밀한 조사를 수행할 수 있다.
또한, 본 발명에 따른 실시 예들에 의하면, 원격제어만을 통해 조작하는 일반적인 탐사 로봇들과는 달리, 사용자가 탐사 로봇에 탑재되어 있는 카메라로 현장 상황을 직접 실시간으로 보면서 영상 인식으로 탐색지역의 지정된 탐색물체를 찾아 추적하고 탐색물체로 가까이 이동하도록 조작할 수 있다.
도 1은 본 발명의 일 실시 예에 의한 재난 탐사 로봇의 외관을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 의한 재난 탐사 로봇의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시 예에 의한 재난 탐사 로봇의 대략적인 동작을 설명하기 위한 도면이다.
도 4a와 도 4b는 본 발명의 일 실시 예에 의한 재난 탐사 로봇이 사용하는 비주얼 서보잉 알고리즘을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 의한 재난 탐사 로봇이 수행하는 기능들을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 의한 재난 탐사 로봇의 동작 과정을 도시한도면이다.
이하에서는 본 발명의 구체적인 실시예를 도면을 참조하여 상세히 설명한다. 그러나 본 발명의 기술적 사상이 이하에서 기술되는 실시예들에 의하여 제한되는 것은 아니며, 또 다른 구성요소의 추가, 변경 및 삭제 등에 의해서 퇴보적인 다른 발명이나 본 발명의 기술적 사상의 범위 내에 포함되는 다른 실시예들을 용이하게 제안할 수 있다.
본 발명에서 사용되는 용어는 가능한 한 현재 해당 기술과 관련하여 널리 사용되는 일반적인 용어를 선택하였으나, 특별한 경우에는 출원인이 임의로 선정한 용어도 있으며 이 경우 해당되는 발명의 설명 부분에서 그 의미를 상세히 기재하였다. 그러므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 미리 밝혀둔다. 이하에서 기술하는 설명에 있어서, 단어 '포함하는'은 열거된 것과 다른 구성요소들 또는 단계들의 존재를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 의한 재난 탐사 로봇의 외관을 도시한 도면이다.
본 발명의 일 실시 예에 의한 재난 탐사 로봇(100)은 재난 현장에 진입하여 원격제어에 의해 주행함으로써, 재난 지역의 환경을 탐사할 수 있다.
구체적으로, 재난 탐사 로봇(100)는 보다 정밀한 탐사를 위해 카메라에서 획득하는 영상데이터를 이용하여 접근가능한 물체를 영상에서 탐지하고, 사용자가 탐지된 물체를 선택하는 경우 스스로 이동하여 물체의 주변을 정밀 탐색할 수 있다.
또한, 거리 센서로 영상에서 물체의 거리를 측정하는 것과 동시에, 온도센서와 습도센서를 통해 재난 탐사 로봇(100)이 존재하는 주변환경의 데이터를 수집할 수 있다.
도 1을 참조하면, 재난 탐사 로봇(100)은 본체(110)와 센서부(120) 및 이동 바퀴(130)를 포함하여 구성될 수 있다.
본체(110)는 소정 형태의 외관을 가지는 프레임들로 구성될 수 있다. 프레임에 의해 형성되는 내부 공간에는 재난 탐사 로봇(100)의 구성요소 및 부품들이 내장될 수 있다.
본체(110)는 재난 환경에서의 화기나 열 또는 풍력 등에 의한 외부 충격을 견딜 수 있도록, 내구성 있는 재질의 소재로 구성될 수 있다. 이를 위해, 본체(110)는 견고한 재질로 구성되어 재난 탐사 로봇(100)을 외부로부터 보호하는 보호 프레임을 포함할 수 있다.
센서부(120)는 재난 환경에 대한 데이터를 측정할 수 있다. 이를 위해, 센서부(120)는 카메라, 온도센서, 습도센서, 조도센서, 토양센서 등을 포함할 수 있다.
일 실시 예에 의하면, 카메라는 깊이(depth) 카메라일 수 있다. 이 경우, 재난 탐사 로봇(100)은 영상처리를 위한 RGB 영상 및 깊이 맵 영상을 획득하고, RGB 영상에서 물체를 인식하고 깊이 맵 영상에서 물체와의 거리를 계산할 수 있다.
이동 바퀴(130)는 재난 탐사 로봇(100)을 이동시킬 수 있다.
구체적으로, 이동 바퀴(130)는 재난 탐사 로봇(100)을 전후 방향, 좌우 방향 또는 상하 방향으로 이동시킴으로써, 재난 탐사 로봇(100)을 원격 제어에 의해 지정된 목적지까지 주행 경로에 따라 자율주행 시킬 수 있다.
일 실시 예에 의하면, 이동 바퀴(130)는 캐터필러로 구현될 수 있다. 여기서 캐터필러는 쇠로 만든 판 여러 개를 띠처럼 서로 연결하여 차의 앞뒤 바퀴에 걸어 놓은 장치일 수 있다. 캐터필러에 의해 재난 탐사 로봇(100)은 안정적으로 주행할 수 있다.
이동 바퀴(130)는 모터와 모터 드라이버를 포함할 수 있다. 여기서, 모터는 엔코더 모터일 수 있다. 엔코더 모터는 엔코더 장착형 감속기어 모터이다. 이에 의해, 재난 탐사 로봇(100)은 엔코더 값을 측정하고 엔코더값을 이용하여 모터를 정밀 제어할 수 있다.
도 2는 본 발명의 일 실시 예에 의한 재난 탐사 로봇의 구성을 도시한 블록도이다.
본 발명의 일 실시 예에 의한 재난 탐사 로봇(100)은 영상처리에 의해 물체를 검출하고, 비주얼 서보잉 기술을 사용하여 선택된 물체의 좌표를 추정한 후 해당 좌표로 이동할 수 있다. 여기서, 비주얼 서보잉(Visual Servoing)이란 카메라에 의해 획득한 영상 정보를 통해 목표물의 특징을 추출하고 이를 이용하여 로봇을 원하는 자세를 가지도록 제어하는 기술이다.
구체적으로, 재난 탐사 로봇(100)은 카메라로 탐색지역의 영상을 읽어 들여, 물체를 검출하고, 사용자가 정밀탐색 하고자 하는 물체를 선택하면 선택된 물체의 좌표로 이동할 수 있다. 이 경우, 영상에서의 물체의 거리측정과 함께 거리센서로 장애물을 인식하고, 온도센서와 습도센서를 추가하여 탐사로봇이 존재하는 주변 환경의 데이터를 수집할 수 있다.
이러한, 재난 탐사 로봇(100)은 다음과 같은 특징을 가진다.
첫째, 재난 탐사 로봇(100)에 설치된 카메라가 영상 또는 사진만을 전송하는 것이 아니라, 영상정보를 로봇 제어에 활용한다.
둘째, 재난 탐사 로봇(100)은 카메라의 영상데이터를 이용하여 물체를 탐지하고, 사용자가 탐지된 물체를 선택하는 경우 물체의 좌표를 읽어 물체 가까이로 이동한 후 물체 및 주변 환경을 정밀 탐색할 수 있다.
셋째, 재난 탐사 로봇(100)은 비교적 평탄한 지형 또는 실내에서 정밀 탐사를 수행할 수 있다.
이를 위해, 본 발명의 일 실시 예에 의한 재난 탐사 로봇(100)은 전원부(210), 측정부(220), 인식부(230), 이동부(240), 통신부(250) 및 제어부(260)를 포함하여 구성될 수 있다.
전원부(210)는 재난 탐사 로봇(100)을 동작시키기 위한 전력을 공급할 수 있다. 이를 위해, 전원부(210)는 배터리, DC 컨버터, 스위치 및 보호회로를 포함할 수 있다.
배터리는 충전된 전력을 방전한다. 이 경우, 본체(110)의 메인 보드에의 전력 공급을 위해서는 14.8V 3200mAh 리튬-폴리머 배터리가 사용되고, 센서부(120)와 이동 바퀴(130)에 포함되는 모터 및 모터 드라이버에의 전력 공급을 위해서는 14.8V 5000mAh 리튬-폴리머 배터리가 사용될 수 있다.
DC 컨버터는 과전류를 방지할 수 있다. 이를 위해, DC 컨버터는 배터리로부터 공급되는 14.8V의 전력을 5V로 감압할 수 있다.
스위치는 전력의 공급을 스위칭 할 수 있다. 이를 위해, 스위치는 트랜지스터로 구현될 수 있다.
보호회로는 배터리의 과방전을 방지하는 회로이다.
측정부(220)는 재난 탐사 로봇(100)의 주행 시 물체 및 물체 주변을 측정하고, 이에 기초하여 재난 지역의 환경을 인식할 수 있다. 이를 위해, 측정부(220)는 카메라, 라이다(Light Detection And Ranging: LiDAR) 센서, 관성센서, 거리측정센서(Position Sensitive Device: PSD), 모터 엔코더(encoder) 등을 포함하는 다양한 센서들을 포함할 수 있다.
카메라는 탐색 지역에 대한 영상 및 재난 탐사 로봇(100)의 주행 환경에 대한 영상을 획득할 수 있다. 일 실시 예에 의하면, 카메라는 깊이(depth) 카메라일 수 있다. 이 경우, 재난 탐사 로봇(100)의 인식부(230)는 영상처리를 위한 RGB 영상 및 깊이 맵 영상을 획득하고, RGB 영상에서 물체를 인식하고 깊이 맵 영상에서 물체와의 거리를 계산할 수 있다.
라이다 센서는 레이저를 목표물에 비추어 사물과의 거리 및 다양한 물성을 감지하는 센서이다. 이 경우, 라이다 센서는 적외선 센서를 기반으로 360°2D 거리 데이터를 습득할 수 있다.
관성센서는 재난 탐사 로봇(100)의 중심부에 배치되어, 재난 탐사 로봇(100)의 자세(pose) 및 각속도를 계측할 수 있다.
거리측정센서는 적외선이나 레이저, 전하결합소자(Charge Coupled Device: CCD)등을 이용하여 객체까지의 거리를 측정할 수 있다.
모터 엔코더(Rotary encoder 또는 Shaft encoder 라고도 함)는 중심축이 얼마나 회전했는지를 감지할 수 있다. 이 경우, 모터 엔코더는 모터에 부착되어 메인 보드의 MCU를 통해 모터의 회전수에 따른 펄스를 카운트할 수 있다.
인식부(230)는 물체를 검출 및 인식하고, 인식한 물체를 추적할 수 있다.
구체적으로, 인식부(230)는 탐색 지역에 대한 영상으로부터 복수개의 물체를 검출하고, 상기 복수개의 물체 각각의 좌표를 인식할 수 있다. 인식부(230)는 깊이 카메라에 의해 RGB 영상과 깊이 맵 영상을 획득하는 경우, RGB 영상으로부터 복수개의 물체를 인식하고, 깊이 맵 영상에서 상기 복수개의 물체와의 거리를 계산할 수 있다.
일 실시 예에 의하면, 인식부(230)는 OpenCV를 이용한 영상처리 알고리즘을 통해 물체를 검출할 수 있다. 이 경우, 인식부(230)는 SIFT, camShift, 칼만 필터 등의 알고리즘을 사용할 수 있다.
SIFT 알고리즘은 특징점을 구하여 점 주변의 크기 변화, 형태 변화 및 방향 변화에 대한 경향을 파악하여 물체를 구별하는 방식이다. Sift 알고리즘을 사용하여, 이미지의 크기와 회전 등의 다양한 변화에 강인한 특징점을 추출할 수 있다. 불변하는 특징점은 입력 영상의 스케일 값이 달라지더라도 이와 관계없이 해당 특징점을 찾아낼 수 있다.
camShift 알고리즘을 사용하여, 인식된 데이터의 분포비율을 알아낼 수 있다. 이 경우, 색상 히스토그램을 이용한 추적 방식으로 크기, 회전변화를 추적할 수 있다.
칼만 필터(kalman filter)를 사용하여, 잡음을 가지는 측정값으로부터 상태를 추정하고 제어할 수 있다.
이동부(240)는 재난 탐사 로봇(100)을 이동시키거나 주행 시킬 수 있다. 이를 위해, 이동부(240)는 제어부(260)가 생성한 제어 신호에 따라, 재난 탐사 로봇(100)의 주행 또는 회전 방향과 속도를 조절할 수 있다.
이동부(240)는 무게를 지탱하고 동력에 따른 이동성을 확보하기 위하여, 본체(110) 하부에 캐터필러, DC 모터, 모터 드라이브, 액츄에이터 등을 구비할 수 있다.
통신부(250)는 재난 탐사 로봇(100)을 원격 제어하는 전자장치와 통신을 수행할 수 있다.
구체적으로, 통신부(250)는 전자장치와 유무선 통신을 수행하여 제어 신호를 수신하고, 제어 신호에 기초하여 재난 탐사 로봇(100)의 동작을 제어할 수 있다. 여기서, 재난 탐사 로봇(100)의 동작은, 목표물체 설정, 목표지점 설정, 물체 인식, 목적지까지 자율주행, 재난 환경 탐사 등을 포함할 수 있다. 전자장치는 PC, 랩탑 PC, 모바일 단말, 서버 등을 포함하는 모든 형태의 기기를 포함할 수 있다.
일 실시 예에 의하면, 통신부(250)는 탐색 지역에 대한 영상을 원격기기에 전송하고, 상기 원격기기로부터 복수개의 물체 중 적어도 어느 하나의 물체에 대한 선택을 수신할 수 있다.
통신부(250)는 재난 탐사 로봇(100)의 구성요소 간의 통신을 수행할 수 있다. 이 경우, 통신부(250)는 7구 USB 허브를 포함하여, USB 허브를 이용하여 센서부(120)의 다양한 센서 및 이동 바퀴(130)의 모터 및 모터 드라이버와 시리얼 통신을 수행할 수 있다.
제어부(260)는 통신부(250)가 원격기기로부터 복수개의 물체 중 적어도 어느 하나의 물체에 대한 선택을 수신하는 경우, 적어도 어느 하나의 물체를 목표 물체로 설정하고, 목표 물체의 좌표로 이동하도록 이동부(240)를 제어할 수 있다.
제어부(260)는 PID 제어를 수행할 수 있다. 여기서, PID 제어(Proportional Integral Derivative Control)는 추정값에 대응하여 PID 제어기에 의해 엔코더를 이용하여 DC 모터의 속도를 제어하는 것을 의미한다. 이 경우, 목표치에 대한 오차를 계산하고, 오차값을 이용해 제어에 필요한 제어값을 계산하여 제어하게 된다.
구체적으로, 제어부(260)는 사용자가 탐색하고자 하는 물체를 선택하는 경우 선택된 물체를 인식하고, 인식된 물체를 비주얼 서보잉 기술을 사용하여 물체와 재난 탐사 로봇(100)과의 방향, 거리 등을 계산할 수 있다. 이 경우, 제어부(260)는 계산된 값을 PD 제어기로 모터제어 값으로 변환하여 모터를 제어할 수 있다.
제어부(260)는 재난 탐사 로봇(100)을 자율주행 시키도록 이동부(240)를 제어할 수 있다. 이 경우, 제어부(260)는 사용자가 영상에서 선택한 물체로 이동하고, 자율주행 하는 동안 장애물을 회피하며, 선택한 물체까지 최단 경로로 이동하도록, 이동부(240)를 제어할 수 있다.
제어부(260)는 측정부(220)가 측정한 탐사 지역에 대한 센서값들을 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 형태로 표시할 수 있다. 이에 의해, 재난 탐사 로봇(100)은 탐사 지역의 주변 환경정보를 수집하여 사용자에게 알려줄 수 있다.
도 3은 본 발명의 일 실시 예에 의한 재난 탐사 로봇의 대략적인 동작을 설명하기 위한 도면이다.
영상을 획득한다(S310).
재난 탐사 로봇(100)은 탐사 지역을 이동 및 자율주행 하며, 탐사 지역에 대한 영상을 획득한다. 이 경우, 재난 탐사 로봇(100)은 깊이카메라를 이용하여 탐사 지역에 대한 영상을 촬영할 수 있다.
객체를 검출한다(S320).
재난 탐사 로봇(100)은 깊이카메라로 촬영한 영상에서 Sift 알고리즘을 이용하여 필요한 객체(Object)를 검출한다. 구체적으로, 깊이카메라에서 영상이 입력되면, 데이터베이스에 존재하는 객체를 참조하여 Sift 알고리즘을 통해 물체를 인식할 수 있다. 이 경우, camShift 알고리즘을 통해 인식된 물체를 추적한다. 객체추적정보는 S330 단계에서 수행되는 비주얼 서보잉을 통해 물체 위치, 각도 정보 값으로 변환된다.
한편, 재난 탐사 로봇(100)은 sift, camshift, 칼만 필터 등의 알고리즘을 이용하여, 촬영 영상에서 필요한 객체들을 검출할 수 있다.
비주얼 서보잉을 수행한다(S330).
재난 탐사 로봇(100)은 영상을 사용자에게 전송하고, 사용자로부터 목표 객체에 대한 선택을 입력 받는다. 이 경우, 재난 탐사 로봇(100)은 선택된 목표 객체를 목표 좌표로 설정한다.
모터 제어를 한다(S340).
재난 탐사 로봇(100)은 센서 및 영상에서 얻어지는 측정값에 따른 모터 제어 또는 모터 원격 제어를 수행할 수 있다. 이 경우, 센서를 이용하여 장애물을 인식하고 회피하며, 목표 객체의 좌표로 이동하여 해당위치에 대한 정밀 탐사를 수행한다.
도 4a와 도 4b는 본 발명의 일 실시 예에 의한 재난 탐사 로봇이 사용하는 비주얼 서보잉 알고리즘을 설명하기 위한 도면이다.
비주얼 서보잉 기술은 크게 위치기반 비주얼 서보잉과 영상기반 비주얼 서보잉으로 분류될 수 있다.
구체적으로, 도 4a는 위치기반 비주얼 서보잉 시스템의 블록 다이어그램이다. 도 4a를 참조하면, 원하는 자세가 입력된다. 컨트롤러는 재난 탐사 로봇(100)의 이동을 위한 제어값을 계산하고(S411), 재난 탐사 로봇(100)은 제어값에 기초하여 이동한다(S412). 이동 과정에서 탐사 지역의 영상을 획득하고(S413), 현재 자세를 추정하고 이를 반영하여 원하는 자세를 보정한다(S411).
도 4b는 영상기반 비주얼 서보잉 시스템의 블록 다이어그램이다. 도 4b를 참조하면, 원하는 자세가 입력된다. 이 경우, 예상되는 변환을 가정하고(S421), 이로부터 원하는 특징을 추출한다. 컨트롤러는 재난 탐사 로봇(100)의 이동을 위한 제어값을 계산하고(S422), 재난 탐사 로봇(100)은 제어값에 기초하여 이동한다(S423). 이동 과정에서 탐사 지역의 영상을 획득하고(S424), 특징을 측정하여 현재 특징을 추출하고 이를 반영하여 원하는 특징을 보정한다(S425).
도 5는 본 발명의 일 실시 예에 의한 재난 탐사 로봇이 수행하는 기능들을 도시한 도면이다.
재난 탐사 로봇(100)은 카메라에 의해 영상을 획득하고, sift 알고리즘을 사용하여 물체를 인식한다. 물체를 인식하여 물체인식정보가 얻어지면, camShift 알고리즘을 이용하여 물체를 추적한다. 이로부터 얻어진 객체추적정보는 사용자에게 전송된다. 사용자가 비주얼 서보잉을 이용하여 목표 물체를 선택하면, 재난 탐사 로봇(100)은 물체위치와 각도정보 등을 계산하고, 이에 기초하여 PID 제어에 의한 모터를 제어하여 목표 물체로 이동한다.
이동 과정에서 재난 탐사 로봇(100)은 온도 센서와 습도 센서 등을 이용하여 주변 환경 정보를 수집한다.
도 6은 본 발명의 일 실시 예에 의한 재난 탐사 로봇의 동작 과정을 도시한도면이다.
본 발명에 의하면, 원격의 사용자는 재난 지역 내에서 탐색을 원하는 물체가 있는 좌표로 재난 탐사 로봇(100)을 이동시켜 탐색하게 할 수 있다. 이 경우, 사용자는 원격제어기기에 표시된 화면내에서 탐색하길 원하는 물체를 클릭하여 선택하고 네비게이션 버튼을 누른다. 이 경우, 재난 탐사 로봇(100)은 출발지부터 목적지까지의 경로데이터를 저장하고, 목적지로 이동한다. 경로가 수정될 때마다 이동한 경로의 데이터는 업데이트 되고, 목적지에 도착하면 원격제어기기에 도착 알림 팝업 창이 뜨게 된다.
재난 탐사 로봇(100)이 현장에 투입된다(S601).
현장의 영상을 사용자에게 송출한다(S602).
재난 탐사 로봇(100)은 탑재된 카메라로 탐사 지역에 대한 영상을 촬영한 후 이를 사용자에게 송출한다. 일 실시 예에 의하면, 카메라는 깊이 카메라일 수 있다. 이 경우, 재난 탐사 로봇(100)은 깊이 카메라에 의해 RGB 영상 및 깊이 맵 영상을 획득할 수 있다.
사용자가 탐색하길 원하는 물체를 클릭하여 목표 물체를 특정한다(S603).
재난 탐사 로봇(100)이 촬영한 영상은 원격지의 사용자에게 전송된다. 이 경우, 사용자는 영상 내에서 탐색하길 원하는 물체를 클릭해서 입력함으로써, 목표 물체를 특정할 수 있다.
목표 물체의 중요한 특징점을 추출하여 인식한다(S604).
재난 탐사 로봇(100)은 사용자가 특정한 목표 물체를 인식하기 위하여, SIFT 알고리즘을 사용하여 물체의 중요한 특징점을 추출하여 인식할 수 있다. 이 경우, 재난 탐사 로봇(100)은 물체의 특징점을 구하여 특징점을 코드북으로 만든다. 이후, KeyPoint Detection으로 검출된 특징점과 영상에서의 특징점을 비교하여 인식할 수 있다.
SIFT 알고리즘의 구체적인 과정은 다음과 같다.
먼저, 스케일 공간을 만든다. 스케일 공간은, 가우시안 blur를 이용하여 스케일 변환과 이미지를 축소하는 다운샘플링을 진행하여 만들 수 있다.
DoG 연산을 수행한다. 스케일 공간에서 인접한 이미지끼리 빼주며, 이는 LoG와 근사한 값을 얻기 위함이다.
이후, KeyPoint를 찾고, 불필요한 KeyPoint를 제거한다. 이 상태에서 KeyPoint 들에 방향을 할당한 후, SIFT 특징을 산출하게 된다.
인식한 물체가 움직임이 있는 경우, 물체를 추적한다(S605).
재난 탐사 로봇(100)은 Cam-Shift 알고리즘을 사용하여 물체를 추적할 수 있다. 이 경우, 인식된 물체에서 Cam-Shift 알고리즘으로 색의 분포도를 비교하여 물체를 추적할 수 있다.
인식한 물체를 검출하여, 물체의 좌표를 특정한다(S606).
특정한 좌표에 기초하여 목적지까지의 경로를 탐색한다(S607).
탐색한 경로를 저장 및 업데이트 한다(S608).
목적지 주위의 환경데이터를 수집하여 사용자에게 송출한다(S609).
한편, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하지 않는 것으로 이해되어야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디 롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위 내에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 재난 탐사 로봇 210: 전원부
220: 측정부 230: 인식부
240: 이동부 250: 통신부
260: 제어부

Claims (9)

  1. 재난 탐사 로봇에 있어서,
    상기 재난 탐사 로봇을 이동시키는 이동부;
    탐색 지역에 대한 영상을 획득하는 측정부;
    상기 영상으로부터 복수개의 물체를 검출하고, 상기 복수개의 물체 각각의 좌표를 인식하는 인식부;
    상기 영상을 원격기기에 전송하는 통신부; 및
    상기 통신부가 상기 원격기기로부터 상기 복수개의 물체 중 적어도 어느 하나의 물체에 대한 선택을 수신하는 경우, 상기 적어도 어느 하나의 물체를 목표 물체로 설정하고, 상기 목표 물체의 좌표로 이동하도록 상기 이동부를 제어하는 제어부를 포함하는 재난 탐사 로봇.
  2. 제1항에 있어서,
    상기 측정부는,
    깊이(depth) 카메라를 포함하고, 상기 깊이 카메라에 의해 RGB 영상 및 깊이 맵 영상을 획득하는 재난 탐사 로봇.
  3. 제2항에 있어서,
    상기 인식부는,
    상기 RGB 영상으로부터 상기 복수개의 물체를 인식하고, 상기 깊이 맵 영상에서 상기 복수개의 물체와의 거리를 계산하는 재난 탐사 로봇.
  4. 제1항에 있어서,
    상기 인식부는,
    SIFT 알고리즘, camShift 알고리즘 및 칼만 필터 중 적어도 하나의 알고리즘을 사용하여 상기 영상을 처리하는 재난 탐사 로봇.
  5. 재난 탐사 로봇의 동작 방법에 있어서,
    상기 재난 탐사 로봇을 이동시키는 단계;
    탐색 지역에 대한 영상을 획득하는 단계;
    상기 영상으로부터 복수개의 물체를 검출하고, 상기 복수개의 물체 각각의 좌표를 인식하는 단계;
    상기 영상을 원격기기에 전송하는 단계; 및
    상기 원격기기로부터 상기 복수개의 물체 중 적어도 어느 하나의 물체에 대한 선택을 수신하는 경우, 상기 적어도 어느 하나의 물체를 목표 물체로 설정하고, 상기 목표 물체의 좌표로 이동하는 단계를 포함하는 재난 탐사 로봇의 동작 방법.
  6. 제5항에 있어서,
    상기 재난 탐사 로봇은 깊이(depth) 카메라를 포함하고,
    상기 깊이 카메라에 의해 RGB 영상 및 깊이 맵 영상을 획득하는 재난 탐사 로봇의 동작 방법.
  7. 제6항에 있어서,
    상기 RGB 영상으로부터 상기 복수개의 물체를 인식하고, 상기 깊이 맵 영상에서 상기 복수개의 물체와의 거리를 계산하는 재난 탐사 로봇의 동작 방법.
  8. 제5항에 있어서,
    SIFT 알고리즘, camShift 알고리즘 및 칼만 필터 중 적어도 하나의 알고리즘을 사용하여 상기 영상을 처리하는 재난 탐사 로봇의 동작 방법.
  9. 제5항 내지 제8항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020180164581A 2018-12-18 2018-12-18 재난 탐사 로봇 및 이의 동작 방법 KR20200080404A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180164581A KR20200080404A (ko) 2018-12-18 2018-12-18 재난 탐사 로봇 및 이의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180164581A KR20200080404A (ko) 2018-12-18 2018-12-18 재난 탐사 로봇 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR20200080404A true KR20200080404A (ko) 2020-07-07

Family

ID=71603193

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164581A KR20200080404A (ko) 2018-12-18 2018-12-18 재난 탐사 로봇 및 이의 동작 방법

Country Status (1)

Country Link
KR (1) KR20200080404A (ko)

Similar Documents

Publication Publication Date Title
JP6705465B2 (ja) 可観測性グリッドベースの自律的環境探索
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR102608046B1 (ko) 공항용 안내 로봇 및 그의 동작 방법
JP4672175B2 (ja) 位置検出装置、位置検出方法、及び位置検出プログラム
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN108459597B (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
KR102457222B1 (ko) 이동 로봇 및 그 제어 방법
JP5148669B2 (ja) 位置検出装置、位置検出方法、及び位置検出プログラム
US8842162B2 (en) Method and system for improving surveillance of PTZ cameras
Chatterjee et al. Vision based autonomous robot navigation: algorithms and implementations
KR20120006407A (ko) 로봇 청소기 및 이의 제어 방법
CN111220148A (zh) 移动机器人的定位方法、系统、装置及移动机器人
Ye et al. 6-DOF pose estimation of a robotic navigation aid by tracking visual and geometric features
WO2019001237A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
KR102560462B1 (ko) 이동 로봇
JP2020534198A (ja) 移動可能物体の制御方法、機器およびシステム
CN108544494A (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
AU2019326321A1 (en) Mapping and tracking methods and systems principally for use in connection with swimming pools and spas
Hong et al. Performance evaluation of a pose estimation method based on the SwissRanger SR4000
KR20200080404A (ko) 재난 탐사 로봇 및 이의 동작 방법
Leung et al. Toward a large-scale multimodal event-based dataset for neuromorphic deep learning applications
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
Ghidary et al. Localization and approaching to the human by mobile home robot