KR102568565B1

KR102568565B1 - 시설물 관리 로봇 및 그 방법

Info

Publication number: KR102568565B1
Application number: KR1020210099282A
Authority: KR
Inventors: 류서현; 박준영; 박재헌; 왕세래; 김석태
Original assignee: 한국전력공사
Priority date: 2021-07-28
Filing date: 2021-07-28
Publication date: 2023-08-23
Also published as: KR20230017595A

Abstract

본 발명은 시설물 관리 로봇 및 그 방법에 관한 것으로, 자율 주행하는 관리 로봇이 카메라를 통해 전력구의 내부를 촬영하고, 촬영되는 영상과 깊이정보를 바탕으로 3차원의 포인트 클라우드를 생성하여 포인트 클라우드를 바탕으로 3차원 공간상에서 로봇이 주행하지 못하는 영역을 인식하고, 이를 기반으로 주행경로를 설정하여 본체가 이동하도록 제어함으로써, 내부 환경을 용이하게 분석하여 장애물을 효과적으로 회피하는 주행경로를 설정하여 관리 로봇을 제어할 수 있고, 협소하고 접근이 어려운 시설물을 용이하게 점검할 수 있어 사고발생을 방지하고 안전성이 향상되는 효과가 있다.

Description

시설물 관리 로봇 및 그 방법{Management Robot and Method for Underground Facility}

본 발명은 지하에 설치되는 시설물의 내부를 이동하면서 설비의 상태를 모니터링하고 관리하는 시설물 관리 로봇 및 그 방법에 관한 것이다.

전력설비 또는 송전선 등의 시설물은 지하에 매설되거나 지하에 형성된 터널에 설치되는 것이 일반적이다.

일정 규모의 전력설비인 경우 지하층의 일정 크기 이상의 공간에 설치될 수 있으나, 송전선로의 경우 폭이 좁고 천장이 낮은 전력구에 설치되는 경우가 많다.

또한, 송전선로의 경우, 특정 지점에서 다른 지점으로 전력을 전달하고 공급하기 위한 시설이므로, 전력을 공급하기 위한 거리만큼 전력구가 형성된다.

전력구 내 송전선로의 고장을 예방하기 위해서는 주기적인 점검이 필요하다.

전력구의 송전선로를 점검하기 위해 인력이 직접 전력구에 진입하여 점검을 실시하였으나, 전력구가 지하에 위치하므로 접근이 어렵고, 내부환경이 좋지 않아 인력이 일정시간 이상 체류하기 어려운 문제가 있다. 특히 전력구가 협소하므로 인력의 진입이 어려울 뿐 아니라. 전력구 내에서 이동이 어려워 송전선로를 점검하는데 한계가 있다.

이러한 문제를 해소하기 위하여, 대한민국 등록특허 제10-1480543호에는 지하시설물을 관리하기 위한 이동 감시 유닛 및 감시시스템을 개시하고 있다. 지하 시설물의 천장에 레일이 설치되고, 레일을 통해 이동하면서 지하 시설물의 상태를 감지하는 이동 감시 유닛과, 이동 감시 유닛과 연결되어 정보를 수신하고 관리하는 감시 시스템을 개시한다.

그러나 이러한 이동 감시 유닛은 시설물이 설치된 지하 공간에 레일이 설치되어야만 이동 유닛을 통한 감시가 가능하다는 점에서 초기에 설비되지 않는 경우 적용하기 어려운 문제가 있다.

또한, 이동 유닛이 천장의 레일에 연결됨에 따라, 지하 시설의 크기나 형태, 천장의 높이에 따라 시설물과의 거리가 상이하고, 바닥면에 설치되는 시설물에 접근하여 그 상태를 상세하게 확인하기는 어렵고, 천장에 설치되는 이동 감시 유닛이 시설물에 접근하여 확인할 수 없으므로 시설물의 상태를 확인하고 감시하는데 한계가 있다.

그에 따라 자율 주행 로봇을 투입하는 사례가 증가하고 있으나, 전력구 내에 형성된 수로 또는 통로에 위치하는 장애물에 의해 주행에 어려움이 있다.

대한민국 등록특허 제10-1480543호

본 발명은 상기와 같은 필요성에 의해 창출된 것으로서, 협소한 전력구에 자율 주행 로봇을 투입하고, 촬영되는 영상을 분석하여 전력구의 내부 환경을 분석하여 장애물을 회피하면서 목표지점까지 경로를 설정하여 주행하면서 송전선로를 점검하는 시설물 관리 로봇 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 전력구 내부 환경을 분석하는 데 있어서, 3차원의 데이터를 바탕으로 수로와 통로를 구분하여 장애물의 위치와 크기를 고려하여 주행을 제어하는 시설물 관리 로봇 및 그 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위하여 본 발명에 따른 시설물 관리 로봇은, 시설물 내의 영상을 촬영하며 깊이정보를 획득하는 카메라; 상기 카메라를 통해 촬영된 영상을 분석하여 영역을 분할하여, 상기 시설물 내에 위치하는 수로를 검출하는 영상처리부; 상기 영상과 상기 깊이정보를 바탕으로 3차원의 포인트 클라우드로 변환하는 포인트 클라우드부; 상기 포인트 클라우드로부터 상기 수로에 대한 경계선을 산출하여 상기 시설물 내의 통로를 검출하는 연산부; 상기 통로 상에 위치하는 장애물을 검출하여 그 위치를 산출하는 장애물인식부; 장애물 정보를 바탕으로 상기 통로 상에 주행경로를 설정하여 주행을 제어하는 주행제어부; 및 주행 중, 상기 영상을 분석하여 상기 시설물 내의 설비에 대한 상태를 점검하는 제어부;를 포함한다.

상기 포인트 클라우드부는 상기 영상과, 상기 수로에 대한 영상, 상기 깊이정보를 바탕으로, 3차원의 포인트 클라우드로 변환하여, 상기 영상에 대한 포인트 클라우드, 좌측수로 포인트 클라우드, 우측수로 포인트 클라우드를 각각 생성하고, 오인식 포인트를 제거하는 것을 특징으로 한다.

상기 포인트 클라우드부는 상기 수로의 좌표를 기준으로, 상기 수로로 인식된 포인트 중, 상기 수로보다 높은 위치의 포인트를 제거하는 것을 특징으로 한다.

상기 연산부는 상기 포인트 클라우드를 바탕으로, 상기 수로의 경계선에 대한 직선방정식을 산출하고, 상기 수로와 상기 통로의 경계선을 산출하여, 상기 통로를 검출하는 것을 특징으로 한다.

상기 연산부는 상기 수로의 외측 경계선을 산출한 후, 상기 수로의 폭을 기준으로 상기 수로의 내측 경계선을 산출하여, 상기 수로와 상기 통로의 경계선으로 설정하는 것을 특징으로 한다.

상기 장애물인식부는 상기 관리 로봇의 높이, 상기 통로의 폭, 검출하고자 하는 거리를 기준으로 장애물 인식영역을 상기 통로 상에 설정하고, 상기 장애물 인식영역 내에 위치하는 장애물을 검출하는 것을 특징으로 한다.

본 발명에 따른 시설물 관리 로봇의 제어방법은, 카메라를 통해 영상을 촬영하고 깊이정보를 획득하는 단계; 상기 영상의 영역을 분할하여 시설물 내에 위치하는 수로를 검출하는 단계; 상기 영상과 상기 깊이정보를 바탕으로 3차원의 포인트 클라우드로 변환하는 단계; 상기 포인트 클라우드로부터 상기 수로에 대한 경계선을 산출하여 상기 시설물 내의 통로를 검출하는 단계; 상기 통로 상에 위치하는 장애물을 검출하여 그 위치를 산출하는 단계; 검출된 장애물의 정보를 바탕으로 상기 통로 상에 주행경로를 설정하여 주행하는 단계; 및 주행 중, 상기 영상을 분석하여 상기 시설물 내의 설비에 대한 상태를 점검하는 단계;를 포함한다.

상기 포인트 클라우드로 변환하는 단계는, 상기 영상과, 상기 수로에 대한 영상, 상기 깊이정보를 바탕으로, 3차원의 포인트 클라우드로 변환하는 단계; 상기 영상에 대한 포인트 클라우드, 좌측수로 포인트 클라우드, 우측수로 포인트 클라우드를 각각 생성하는 단계; 상기 수로의 좌표를 기준으로, 상기 수로로 인식된 포인트 중, 상기 수로보다 높은 위치의 오인식 포인트를 제거하는 단계를 더 포함한다.

상기 장애물을 검출하는 경우, 상기 관리 로봇의 높이, 상기 통로의 폭, 검출하고자 하는 거리를 기준으로 장애물 인식영역을 상기 통로 상에 설정하여 상기 장애물 인식영역 내에 위치하는 장애물을 검출하는 단계; 및 상기 장애물 인식영역에서 검출된 장애물의 위치에 대응하여 통과 가능 여부를 판단하는 단계;를 더 포함한다.

상기 장애물을 검출하는 경우, 주행불가영역인 상기 통로 외의 영역에 위치하는 장애물은 무시하고, 상기 통로 상에 위치하는 장애물을 검출하고, 관리 로봇의 높이보다 높은 위치의 장애물은 통과 가능으로 판단하는 것을 특징으로 한다.

상기 설비에 대한 상태를 점검하는 단계는, 상기 영상을 분석하여 상기 설비를 검출하고, 상기 설비의 상태를 분석하여 상기 설비의 이상을 검출하는 단계; 및 상기 설비의 이상 발생 시, 현재 위치 및 상기 설비의 상태에 대한 점검데이터를 생성하여 전송하는 단계;를 더 포함한다.

본 발명의 일 측면에 따르면, 시설물 관리 로봇 및 그 방법은 주행 통로보다 낮은 수로를 용이하게 인식하고, 지정된 영역에 대한 장애물을 분석함으로써, 주행이 용이한 경로를 설정할 수 있다.

일 측면에 따르면, 본 발명은 바닥면에 위치하는 장애물뿐 아니라. 상부에 위치하는 장애물을 인식하여 3차원 공간에 대한 장애물 분석을 통해 로봇의 통과 가능한 최적의 경로를 설정하여 주행할 수 있다.

또한, 본 발명은 협소하고 접근이 어려운 시설물을 로봇을 통해 점검하고 관리할 수 있고, 송전선로의 관리를 통해 사고의 발생을 방지하고 안전성을 향상시키는 효과가 있다.

도 1 은 본 발명의 일 실시예에 따른 시설물 관리 로봇의 구성이 간략하게 도시된 블록도이다.
도 2 는 본 발명의 일 실시예에 따른 시설물 관리 로봇의 환경 분석을 위한 데이터 흐름을 설명하는데 참조되는 도이다.
도 3 은 본 발명의 일 실시예에 따른 시설물 관리 로봇의 환경 분석을 통한 수로 검출을 설명하는데 참조되는 도이다.
도 4 는 본 발명의 일 실시예에 따른 시설물 관리 로봇의 환경 분석을 통한 통로 검출을 설명하는데 참조되는 도이다.
도 5 는 본 발명의 일 실시예에 따른 시설물 관리 로봇의 장애물 인식영역을 설명하는데 참조되는 도이다.
도 6 은 본 발명의 일 실시예에 따른 시설물 관리 로봇의 장애물 검출을 설명하는데 참조되는 도이다.
도 7 은 본 발명의 일 실시예에 따른 시설물 관리 로봇의 장애물 분석에 따라 주행 결정을 설명하는데 참조되는 도이다.
도 8 및 도 9 는 본 발명의 일 실시예에 따른 시설물 관리 로봇의 환경 분석방법을 설명하는데 참조되는 도이다.
도 10 은 본 발명의 일 실시예에 따른 시설물 관리 로봇의 제어방법을 설명하는데 참조되는 순서도이다.

이하, 첨부된 도면들을 참조하여 본 발명을 설명하도록 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1 은 본 발명의 일 실시예에 따른 시설물 관리 로봇의 구성이 간략하게 도시된 블록도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 관리 로봇은, 카메라(170), 영상처리부(130), 포인트 클라우드부(140), 연산부(150), 주행제어부(120), 장애물인식부(160), 데이터부(190), 통신부(210), 입출력부(220), 구동부(230) 및 동작 전반을 제어하는 제어부(110)를 포함한다.

또한, 관리 로봇(100)은 배터리(미도시)를 포함하고 배터리의 충전 전원을 동력으로 주행한다. 관리 로봇(100)은 전, 후, 좌, 우로 주행하기 위한 복수의 휠(미도시)과 회전수단을 포함할 수 있다.

데이터부(190)에는 카메라를 통해 촬영되는 영상, 영상처리부에 의해 생성되는 RGB영상, 포인트 클라우드 데이터, 장애물정보, 본체의 위치정보, 전력구 내부의 구조에 대한 데이터, 주행경로에 대한 데이터, 주행기록, 송전선로의 점검데이터가 저장된다.

또한, 데이터부(190)에는 관리 로봇이 주행하는데 필요한 데이터, 고장을 판단하기 위한 기준데이터, 외부와의 통신을 위한 데이터가 저장된다.

통신부(210)는 적어도 하나의 통신모듈을 포함하여, 관리서버와 통신할 수 있다. 경우에 따라 통신부(210)는 근거리 통신을 이용하여 전력구 내부에 구비되는 설비와 통신하여 해당 설비의 데이터를 수신할 수 있다.

통신부(210)는 제어부(110)의 제어명령에 따라 영상데이터와 전력구로부터 수집된 데이터를 외부, 예를 들어 관리서버로 전송한다.

또한, 통신부(210)는 관리 로봇이 주행 중에 사고가 발생하거나, 주행불가 상태가 되는 경우 알림신호를 전송할 수 있다.

입출력부(220)는 관리 로봇(100)으로 사용자의 요구사항을 입력하기 위한 입력수단, 관리 로봇(100)의 동작상태, 설정된 모드에 대한 정보를 출력하는 출력수단을 포함한다. 입력수단은 터치패드, 버튼, 스위치 등을 포함하고, 출력수단은 디스플레이(미도시), 스피커(미도시), 램프 등을 포함할 수 있다.

입출력부(220)는 관리 로봇(100)이 주행할 수 없는 상태이거나 또는 목적지에 도달하지 못하는 경우 그에 대한 경고를 출력할 수 있다. 경고는 효과음, 경고음, 음성안내 중 적어도 하나가 스피커를 통해 출력될 수 있고, 문자, 숫자, 이미지 및 이모티콘 중 적어도 하나의 조합으로 구성되는 메시지가 디스플레이될 수 있다.

구동부(230)는 배터리로부터 인가되는 동작전원에 의해 모터를 동작시키고 구동축을 통해 구동력을 복수의 휠로 전달하여 로봇이 주행하도록 한다.

구동부(230)는 관리 로봇(100)이 전, 후, 좌, 우로 이동하기 위한 복수의 휠이 회전동작하도록 구동력을 전달한다. 구동부(230)는 적어도 하나의 모터(미도시), 모터로부터 생성되는 구동력을 휠로 전달하기 위한 구동축을 포함할 수 있고, 그 외 복수의 구동력 전달 수단, 회전수단 등이 구비되나 그에 대한 설명은 하기에서 생략하기로 한다.

카메라(170)는 주행 방향에 대한 영상을 촬영한다. 카메라(170)는 영상 촬영과 함께 깊이정보를 포함하는 RGB-D 카메라가 사용될 수 있다. 카메라(170)는 입사되는 빛을 이용하여 영상을 생성할 뿐 아니라, 빛 또는 신호를 송출하여 되돌아오는 시간을 이용하여 깊이정보(Depth)를 생성한다.

카메라(170)는 적어도 하나 구비되며, 상하좌우 각도조절이 가능하거나 또는 회전 가능하도록 조절수단을 더 포함할 수 있다.

경우에 따라 로봇(100)은 카메라(170) 외에도 본체 주변에 일정 거리 내에 위치하는 장애물을 감지하는 라이다, 레이더, 초음파센서 등을 더 포함하여 카메라와 함께 장애물을 감지하도록 구성할 수 있다. 다만 로봇(100)의 크기를 최소화하는 경우 카메라(170)만으로 장애물을 감지하는 것이 바람직하다.

영상처리부(130)는 카메라(170)의 영상을 변환하여 영상데이터를 생성한다. 영상처리부(130)는 영상으로부터 깊이정보를 추출하고, RGB영상을 생성한다.

영상처리부(130)는 각각의 카메라에 의해 촬영된 영상으로부터 노이즈를 제거하고 밝기를 조정하여 영상데이터를 생성한다. 영상처리부(130)는 자동 화이트 발란스(Auto White Balance) 기능과 자동 노출(Auto Exposure) 기능을 수행하여, 자동적으로 색온도를 조정하고 자동적으로 노출 정도를 조정하여 영상데이터를 생성한다.

또한, 영상처리부(130)는 설정에 따라 동영상데이터 또는 이미지데이터로 영상데이터를 생성할 수 있다.

영상처리부(130)는 영상으로부터 영역을 분할하여 영역라벨과 객체박스를 생성할 수 있다.

영상처리부(130)는 영역라벨과 객체박스를 바탕으로 수로를 추출한다. 영상처리부(130)는 추출된 수로에 대하여 좌측수로 영상과 우측수로 영상을 각각 생성한다.

포인트 클라우드부(140)는 깊이정보와 영상데이터(RGB영상)를 결합하여 3차원의 포인트 클라우드로 변환한다. 포인트 클라우드부(140)는 2차원 데이터인 영상데이터를 깊이정보와 결합하여 3차원의 데이터로 변환한다.

포인트 클라우드부(140)는 포인트 클라우드 변환을 통해 RGB포인트 클라우드, 좌측수로 포인트 클라우드, 우측수로 포인트 클라우드를 생성한다. 포인트 클라우드부(140)는 포인트 클라우드 변환 후, 오인식 포인트를 제거한다.

포인트 클라우드(Point Cloud)는 3D공간상의 포인트들의 집합으로, 공간에 대한 기본 구조를 포인트로 표현하는 것은 물론, 공간 내에 위치하는 오브젝트 또한 포인트로 표현된다.

포인트 클라우드는 3차원의 공간에 대한 구조와 내부의 오브젝트에 대한 정보를 포함하므로, 관리 로봇(100)은, 전력구와 같은 시설물의 구조와 내부에 위치하는 장애물을 용이하게 파악할 수 있다.

연산부(150)는 수로에 대한 직선방정식을 연산한다. 연산부(150)는 좌측수로 포인트 클라우드와 우측수로 포인트 클라우드를 바탕으로 직성방정식을 이용하여 좌측수로 직선 파라미터와 우측수로 직선 파라미터를 산출한다.

장애물인식부(160)는 로봇(100)의 본체로부터 일정 거리 내에 위치하는 객체를 감지한다. 장애물인식부(160)는 장애물의 위치, 장애물과의 거리, 장애물의 크기를 산출한다. 경우에 따라 장애물인식부(160)는 장애물의 종류를 판단할 수 있다.

장애물인식부(160)는 영상의 포인트 클라우드와, 로봇의 높이, 주행 목표거리를 바탕으로, 주행방향에 장애물이 위치하는지 여부를 판단하여 장애물을 검출한다.

또한, 장애물인식부(160)는 검출된 장애물을 상세 분석하여, 로봇이 주행 가능한지 또는 장애물에 의해 주행이 불가능한지 여부를 판단한다.

주행제어부(120)는 목표지점까지의 주행경로를 설정한다.

주행제어부(120)는 인식된 통로를 바탕으로 목표지점까지의 주행경로를 설정하되, 장애물인식부(160)를 통해 감지되는 장애물에 대응하여, 장애물을 회피하거나 통과하여 주행하도록 주행경로를 변경한다.

주행제어부(120)는 설정되는 주행경로를 바탕으로 구동부(230)를 제어하여 로봇이 목표지점까지 이동하도록 제어한다.

주행제어부(120)는 주행 중 장애물이 감지되는 경우 장애물인식부의 장애물 분석결과를 바탕으로 구동부(230)를 제어하여 장애물을 회피하거나 통과하여 주행하도록 한다.

또한 주행제어부(120)는 주행 불가능한 상황이 발생하는 경우 그에 대한 신호를 제어부(110)로 인가하고, 구동부(230)를 제어하여 본체의 이동을 정지한다.

제어부(110)는 카메라(170)의 구동을 제어하고, 입출력부(220)를 통해 입력되는 설정에 따라 본체가 주행하도록 설정하고, 주행 상태에 대한 정보를 출력한다.

제어부(110)는 촬영되는 영상에 대한 데이터, 감지되는 장애물에 대한 정보, 주행 중 촬영된 영상을 바탕으로 전력구 내의 설비에 대한 데이터를 데이터부(190)에 저장한다.

제어부(110)는 영상을 바탕으로 전력구 내의 설비를 점검하고 이상 여부를 판단한다. 제어부(110)는 영상처리부(130)를 통해 분석된 영상을 기반으로 전력구 내의 설비를 검출하고, 설비의 상태를 판단하고 기저장된 데이터와 비교하여 이상을 검출한다.

제어부(110)는 설비 이상 시, 점검데이터를 데이터부(190)에 저장하고, 통신부(210)를 통해 위치정보와 점검데이터를 전송한다.

제어부(110)는 주행 중 이상 발생 시, 예를 들어 점검이 완료되기 전 목적지까지 주행할 수 없는 경우, 통신부(210)를 통해 외부의 서버와 통신하여 전력구 내의 상황에 대한 데이터를 전송한다.

제어부(110)는 주행할 수 없는 경우, 현재 위치에 대한 정보를 통신부(210)를 통해 전송한다.

또한, 제어부(110)는 지정된 위치로 복귀하도록 주행제어부(120)로 제어신호를 인가한다.

따라서, 관리 로봇(100)은 RGB-D 카메라를 통해 촬영되는 RGB 영상정보를 활용하여, 주행 가능한 경로를 산출하고, 깊이 정보 영상과 결합하여 3차원 포인트 클라우드로 변환함으로써 주행 가능한 경로를 산출한다.

관리 로봇(100)은 포인트 클라우드를 바탕으로, 3차원 공간상에서 로봇이 주행하지 못하는 영역을 인식하고, 이를 기반으로 주행경로를 설정하고, 설정된 주행경로에 따라 본체가 이동하도록 주행을 제어한다.

그에 따라 관리 로봇(100)은 목표지점까지 이동하면서 전력구 내의 설비에 대한 상태를 확인하고, 전력구 내의 환경에 따라 지정된 지점으로 복귀한다.

도 2 는 본 발명의 일 실시예에 따른 시설물 관리 로봇의 환경 분석을 위한 데이터 흐름을 설명하는데 참조되는 도이다.

도 2에 도시된 바와 같이, 관리 로봇(100)은 영상을 촬영하여 단계별로 데이터를 처리하여 목적지까지의 경로를 설정하여 점검을 실시한다.

도 2의 (a)에 도시된 바와 같이, 관리 로봇(100)은 카메라(170)를 통해 촬영된 RGB영상으로부터 수로를 인식하는 단계, 도 2의 (b)에 도시된 바와 같이, 3차원의 포인트 클라우드로 변환하는 단계, 도 2의 (c)와 같이 장애물을 인식하고 경로를 설정하는 단계로 데이터를 처리하여 전력구 등의 시설물에서 자율 주행한다.

도 2의 (a)를 참조하면, 수로를 인식하는 단계를 다음과 같다.

관리 로봇(100)은 카메라(170)에서 촬영된 영상에서 RGB영상을 생성하고(S11), RGB영상을 바탕으로 영상처리부(130)가 영상 내의 영역을 분할한다(S12). 영상처리부(130)는 영역에서 분할된 영역을 바탕으로 영역라벨을 지정하고 객체박스를 설정한다(S13). 영상처리부(130)는 영역라벨과 객체박스를 바탕으로, 수로를 추출한다(S14). 영상처리부(130)는 추출된 수로에 대하여, 영역의 중앙점을 기준으로 좌측의 수로에 대한 좌측수로 영상과 우측의 수로에 대한 우측수로 영상을 생성한다(S15).

도 2의 (b)를 참조하면, 포인트 클라우드를 변환하는 단계는 다음과 같다.

포인트 클라우드부(140)는 RGB영상, 좌측수로 영상, 우측수로 영상, 깊이 영상을 바탕으로(S21), 3차원의 포인트 클라우드로 변환한다(S22). 변환을 통해 포인트 클라우드부(140)는 RGB포인트 클라우드, 좌측수로 포인트 클라우드, 우측수로 포인트 클라우드를 생성한다(S23). 포인트 클라우드부(140)는 생성된 포인트 클라우드 중 오인식된 포인트를 제거한다.

연산부(150)는 좌측수로 포인트 클라우드, 우측수로 포인트 클라우드를 이용하여 수로에 대한 직선방정식을 연산한다(S25). 그에 따라 연산부(150)는 좌측수로 직선 파라미터와 우측수로 직선 파라미터를 산출한다(S26).

도2의 (c)와 같이 장애물을 인식하고 경로를 설정하는 단계는 다음과 같다.

장애물인식부(160)는 포인트 클라우드부(140)에 의해 생성된 RGB 포인트 클라우드, 좌측수로 직선 파라미터, 우측수로 직선 파라미터, 로봇의 높이, 및 주행 목표거리를 바탕으로, 로봇이 주행할 영역에 위치하는 장애물을 1차 검출한다(S32). 장애물인식부(160)는 장애물의 유무를 판단한다.

장애물인식부(160)는 장애물이 존재하는 경우, RGB 포인트 클라우드, 좌측수로 직선 파라미터, 우측수로 직선 파라미터, 로봇의 모양, 및 장애물 거리를 바탕으로(S34) 장애물을 상세 분석한다(S35).

장애물인식부(160)는 장애물의 구체적인 위치를 바탕으로 로봇이 회피 또는 통과 가능한지 여부를 판단하고, 그에 대응하여 목표지점까지의 경로를 설정한다(S36).

도 3 은 본 발명의 일 실시예에 따른 시설물 관리 로봇의 환경 분석을 통한 수로 검출을 설명하는데 참조되는 도이다.

도 3의 (a)에 도시된 바와 같이, 관리 로봇(100)은 시설물에 진입하여 카메라(170)를 통해 시설물의 내부를 촬영한다. 도 2의 (a)는 RGB영상이다.

전력구 등의 시설물에는 송전선로 등의 설비가 설치되고, 시설물에는 내부를 이동할 수 있는 통로(1)가 형성된다. 통로(1)는 시설물 내의 중앙에 설치되거나 좌측 또는 우측의 어느 일측에 형성되는 것 또한 가능하다.

시설물에는 지하에 위치하므로, 물이 흐르는 수로(2, 3)가 형성될 수 있다. 수로(2,3)는 통로(1)를 중심으로 좌측 및 우측에 설치되고, 경우에 따라 어느 일측에 설치될 수 있다.

또한, 시설물에는 설비를 지지하기 위한 구조물, 설비를 설치하거나 관리하기 위한 도구 또는 장치 등이 배치된다.

도 3의 (b)에 도시된 바와 같이, 관리 로봇(100)은 RGB영상으로부터 영역을 분할한다.

관리 로봇(100)은 시설물 내를 이동하면서 송전선로 등의 설비를 점검하므로, 시설물 내에서의 통로를 주행영역으로 설정하고, 수로(2,3)는 주행불가능영역으로 설정한다.

영상처리부(130)는 RGB영상으로부터 수로(2, 3)를 검출한다. 수로(2, 3)는 통로를 따라 형성되며, 시설물의 구조에 따라 직선 또는 곡선으로 형성된다. 영상처리부(130)는 RGB영상을 분석하여 영역을 분할하고, 주행불가능영역인 좌측수로(2)와 우측수로(3)를 검출하고, 영역을 구분한다.

영상처리부(130)는 RGB영상에서 통로 및 수로를 인식하기 위해, 다양한 객체 영역 분할 알고리즘을 적용하여, 객체 영역 분할을 실시할 수 있다.

그에 따라, 도 3의 (c)에 도시된 바와 같이, 영상처리부(130)는 검출된 수로 중, 좌측수로(2)가 포함된 영상, 즉 좌측수로 영상을 생성한다. 또한, 도 3의 (d)에 도시된 바와 같이, 영상처리부(130)는 검출된 수로 중, 우측수로(3)가 포함된 영상인 우측수로 영상을 생성한다.

도 4 는 본 발명의 일 실시예에 따른 시설물 관리 로봇의 환경 분석을 통한 통로 검출을 설명하는데 참조되는 도이다.

포인트 클라우드부(140)는 좌측수로 영상, 우측수로 영상, RGB영상과, 깊이 영상(깊이 정보)을 바탕으로 3차원의 포인트 클라우드로 변환한다. 깊이 영상은 RGB-D카메라에 의해 영상촬영 시 획득되는 깊이 정보 이다.

포인트 클라우드부(140)는 핀홀 카메라 모델(pinhole camera model)을 이용하여 다음 수학식 1과 같이 RGB 영상과 깊이 영상을 3D 포인트 클라우드로 변환할 수 있다.

여기서

,

는 영상에서의 pixel 값,

,

는 영상 원점 정보와 카메라 광학축 원점과의 이동변환 값,

,

는 초점 값, depth는 깊이 영상에 기록된 값이다.

이 값은 카메라 좌표계에서의 좌표이므로, 다음 수학식 2와 같이 로봇 좌표계로 좌표 변환을 실시한다.

여기서,

는 로봇 좌표계에서 i번째 포인트 클라우드, T는 카메라 좌표계에서 로봇 좌표계로 좌표변환 행렬,

는 카메라 좌표계에서 i번째 포인트 클라우드다.

그에 따라 포인트 클라우드부(140)는 도 4와 같이 변환된 포인트 클라우드를 생성한다.

포인트 클라우드부(140)는 RGB영상에 대한 RGB포인트 클라우드, 좌측수로에 대한 좌측수로 포인트 클라우드, 우측수로에 대한 우측수로 포인트 클라우드를 각각 생성한다.

포인트 클라우드부(140)는 포인트 클라우드를 바탕으로 앞서 검출된 좌측수로(2)와 우측수로(3)를 설정한다. 포인트 클라우드부(140)는 로봇의 위치를 좌표축으로 하여, X축, Y축, Z축을 설정하고, 각 포인트를 처리한다.

포인트 클라우드부(140)는 잘못 인식된 정보를 없애기 위하여, 오인식된 포인트를 제거한다.

예를 들어, 포인트 클라우드부는 수로의 좌표를 기준으로, 상기 수로로 인식된 포인트 중, 상기 수로보다 높은 위치의 포인트를 제거한다. 포인트 클라우드부(140)는, 수로의 좌표가 Z축값이 0 미만이므로, Z축 좌표값이 0 이상인 좌측수로 포인트 클라우드와 우측수로 포인트 클라우드에서, Z축 좌표값이 0 이상인 수로 포인트 클라우드를 제거한다.

연산부(150)는 포인트 클라우드부(140)의 처리결과를 바탕으로 좌측수로(2)와 우측수로(3)에 대한 경계선을 검출한다.

연산부(150)는 좌측수로(2)와 우측수로(3)에 대하여, 좌측수로 포인트 클라우드와 우측수로 포인트 클라우드를 기반으로, 수로에 대한 직선의 방정식을 산출한다. 이때, 연산부(150)는 로봇좌표계에서 X-Y 평면에서 분석이 필요하기 때문에, Z 좌표는 무시하고 직선의 방정식을 산출할 수 있다.

연산부(150)는 좌측수로의 직선 L과 평행한 단위벡터를

, 해당 단위벡터를 지나는 한점을

, 우측수로의 직선의 R과 평행한 단위벡터를

, 해당 단위백터를 지나는 한점을

이라고 설정한다.

실제 수로는 왼쪽과 오른쪽의 직선의 기울기가 크게 차이 나지 않으나, 영상으로부터 이를 인식하는 과정과, 직선의 방정식을 추정하는 과정에서 약간의 오차가 발생할 수 있다.

연산부(150)는 이를 단순화를 위해, 왼쪽 직선 L과 평행한 단위벡터

와, 오른쪽 직선 R의 평행한 단위 벡터

의 평균단위벡터를 최종적으로 직선 L 및 R과 평행한 단위벡터로 변경한다.

평균단위벡터는 다음의 수학식3과 같다.

이때, 산출된 직선의 방정식의 경우 수로와 통로의 경계선이 아닌, 수로 바깥쪽의 외측 경계선(13, 14)를 나타낸다.

수로의 폭은 표준으로 정해져 있으므로, 연산부(150)는 구해진 직선을 아래의 수학식4를 이용하여, 직선의 방정식을 변경한다.

산출된 직선방정식은 다음과 같으며 그에 대한 그래프는 도 8의 (a)와 같다.

연산부(150)는 산출된 직선방정식을 이용하여 수로의 경계선 중, 통로측의 내측 경계선(11, 12)을 산출한다. 또한, 연산부(150)는 내측 경계선(11, 12)이 수로와 통로의 경계선이므로, 이를 기준으로 통로(1)를 설정한다.

그에 따라 연산부(150)는 경계선(11, 12)에 대한, 좌측수로 직선 파라미터와 우측수로 직선 파라미터를 산출할 수 있다.

도 5 는 본 발명의 일 실시예에 따른 시설물 관리 로봇의 장애물 인식영역을 설명하는데 참조되는 도이다.

도 5에 도시된 바와 같이, 관리 로봇(100)은 통로에 위치하는 장애물을 검출한다.

좌측수로(2)의 우측경계선(11)과, 우측수로(3)의 좌측경계선(12)을 기준으로 통로(1)가 설정되면, 관리 로봇(100)은 통로(1) 상에 위치하는 장애물(21, 22)를 검출한다.

시설물의 내부에는 송전선로를 지지하기 위한 지지대가 복수로 설치되므로, 전체 영역에 대하여 장애물을 감지하는 경우 복수의 지지대 등이 장애물로 검출될 수 있으므로, 관리 로봇(100)은 일정거리 내의 장애물을 검출한다.

또한, 관리 로봇(100)은 통로(1)를 주행하고, 그 외의 영역으로는 주행하지 않으므로, 통로 외의 영역에 위치하는 장애물은 무시한다.

장애물인식부(160)는 통로(1) 상에 본체로부터 일정 거리 내에 장애물 인식영역(15)을 설정하고, 해당 영역에 포함되는 장애물을 검출한다.

장애물 인식영역(15)은 세로는 로봇 최대 높이(b), 가로는 통로의 길이(a), 두께는 로봇으로 부터 일정거리(d)로 설정할 수 있다.

즉, 관리 로봇(100)이 통로 상에, 로봇으로부터 일정거리 d까지의 범위 내에서 로봇의 높이 내에 위치하는 장애물을 검출한다.

장애물 인식영역(15)을 X-Y 평면으로 나타내면 도 8의 (b)에 도시된 바와 같다.

장애물인식부(160)는 장애물 인식영역(15) 내에 장애물이 위치하지 않는 경우 장애물 없음에 대한 신호를 제어부(110)로 인가하고, 제어부(110)는 주행제어부(120)를 제어하여 목표점까지의 주행경로를 설정하여 주행하도록 한다.

또한, 장애물인식부(160)는 주행 중에, 도 8의 (b)의 T점, 즉 로봇으로부터 거리 d에 위치하는 통로의 중앙점을 기준으로 새로운 장애물 인식영역을 설정하여 장애물을 검출할 수 있다.

장애물인식부(160)는 주행 중에 지속적으로 장애물 인식영역을 설정하여, 통로 상에 위치하는 장애물을 검출한다.

도 6 은 본 발명의 일 실시예에 따른 시설물 관리 로봇의 장애물 검출을 설명하는데 참조되는 도이고, 도 7 은 본 발명의 일 실시예에 따른 시설물 관리 로봇의 장애물 분석에 따라 주행 결정을 설명하는데 참조되는 도이다.

장애물인식부(160)는 장애물 인식영역(15)에 장애물이 위치하는 경우, 장애물을 상세 분석하여 그 위치를 산출한다.

도 6의 (a)에 도시된 바와 같이, 장애물인식부(160)는 제 1 장애물(21)을 검출한다.

장애물인식부(160)는 제 1 장애물(21)을 상세 분석하여 그 위치와 크기를 산출한다. 장애물인식부(160)는 장애물이 위치하는 평면에 대하여 제 1 장애물에 대하여 분석을 실시한다.

도 9의 (a)와 같이 제 1 장애물(21)까지의 거리 d0에서의 평면을 기준으로 검출한다.

또한, 장애물인식부(160)는 관리 로봇(100)이 장애물을 통과하거나 회피하여 주행 가능한지 여부를 판단한다.

도 7의 (a)와 같이, 장애물인식부(160)는 제 1 장애물(21)이 위치하는 경우, 제 1 장애물(21)이 통로의 우측에 위치하므로, 장애물을 제외한 영역의 크기와 관리 로봇의 단면적(50)과 비교하여, 주행 가능여부를 판단할 수 있다.

도 6의 (b)에 도시된 바와 같이, 장애물인식부(160)는 제 2 장애물(22)을 검출한다.

장애물인식부(160)는 제 2 장애물(22)의 거리를 판단하고, 제 2 장애물(22)의 위치를 분석한 후, 통과 가능 여부를 판단한다.

도 7의 (b)에 도시된 바와 같이, 장애물인식부(160)는 제 2 장애물(22)의 통로(1)의 어느 일측에 위치하고, 관리 로봇(100)의 단면적(50)을 고려할 때, 관리 로봇(100)의 주행경로 상에 제 2 장애물(22)이 위치하여 충돌영역(31)이 발생하므로, 통과 불가능으로 판단한다.

한편, 도 7의 (c)에 도시된 바와 같이, 제 3 장애물(23)이 검출되는 경우, 장애물인식부(160)는 제 3 장애물(23)의 위치를 분석하여, 로봇의 높이(b)보다 높은 곳에 위치하는 경우 관리 로봇(100)의 제 3 장애물(23)의 하부를 통과할 수 있다고 판단한다.

장애물인식부(160)는 검출된 장애물에 대한 정보과 통과 가능 여부를 주행제어부(120)로 인가한다.

주행제어부(120)는 장애물 정보와 목표지점, 통로에 대한 정보 등을 바탕으로 목표지점까지의 주행경로를 설정한다.

주행제어부(120)는 인식된 통로(1)의 범위 내에서 주행하되, 인식된 장애물을 회피하거나 통과하는 경로를 설정한다.

또한, 주행제어부(120)는 주행 중, 장애물인식부(160)에 의해 장애물이 검출되면, 새로운 장애물에 대한 정보를 바탕으로 주행경로를 수정한다.

주행제어부(120)는 다양한 주행방정식을 적용하여 주행경로를 설정하고 그에 따라 구동부를 제어할 수 있다. 예를 들어 주행제어부(120)는 직진 신호 및 회전신호 2가지로 제어하는 차동 구동 방식으로 주행을 제어할 수 있다.

주행신호의 계산을 위한 식을 도식화하면 도 9의 (b)와 같다.

주행제어부(120)는 관리 로봇(100)의 주행 목표 지점을

라고 할 때, 차동 구동 방식에 따라, 원 운동을 실시하므로, 직진 속도를 v, 회전속도를 w라고 하면 아래의 수학식5와 같다.

여기서 r은 회전운동의 반경을 나타낸다. r값을 연산하여, 임의의 직진속도에 대해 회전속도를 계산할 수 있다.

이때,

와 r과의 관계는 다음 수학식6과 같다.

여기서 삼각함수 공식을 이용하여 정리하면 회전속도 w는 다음의 수학식7과 같다.

그에 따라, 주행제어부(120)는 주행경로를 설정하고, 산출된 회전속도에 따라 구동부(230)를 제어하여 본체가 이동하도록 한다.

도 8 및 도 9 는 본 발명의 일 실시예에 따른 시설물 관리 로봇의 환경 분석방법을 설명하는데 참조되는 도이다.

도 8의 (a)는 도 4에서 설명한 연산부(150)에 의해 설정되는 수로에 대한 직선방정식이다.

연산부(150)는 좌측수로(2)의 좌측경계선(13)과 우측수로(3)의 우측경계선(14)을 산출한 후, 이를 바탕으로, 지정된 수로의 폭을 기준으로 좌측수로(2)의 우측경계선(11)과 우측수로(3)의 좌측경계선(12)에 대한 직선방정식을 도 8의(a)와 같이 산출할 수 있다.

또한, 연산부(150)는 경계선(11, 12)을 기준으로 통로(1)를 설정한다.

도 8의 (b)는 도 5에서 설명한 장애물 인식영역(15)을 X-Y 평면으로 나타낸 것이다.

장애물 인식영역(15)의 가로는 통로의 폭(a)이고, 세로는 관리 로봇(100)의 높이이며, 두께는 관리 로봇(100)으로부터 장애물을 확인하고자 하는 거리(d)이다.

이때, 거리(d)는 카메라 또는 센서를 통해 감지할 수 있는 영역을 기준으로 설정될 수 있다.

도 9의 (a)는 장애물인식부(160)에 의해 검출되는 장애물의 위치에 X-Y평면이다.

장애물인식부(160)는 제 1 장애물(21)까지의 거리 d0에서의 평면을 기준으로 장애물을 분석한다.

도 9의 (b)는 주행제어부(120)의 목표지점까지의 주행경로를 설정하기 위하여 주행신호를 계산하는 도이다.

주행제어부(120)는 관리 로봇(100)의 주행 목표 지점을

라고 할 때, 차동 구동 방식에 따라, 원 운동을 실시하므로, 직진 속도 v, 회전속도 w를 산출하여 주행을 제어한다.

도 10 은 본 발명의 일 실시예에 따른 시설물 관리 로봇의 제어방법을 설명하는데 참조되는 순서도이다.

도 10에 도시된 바와 같이, 관리 로봇(100)은 시설물에 진입하여 카메라(170)를 통해 영상을 촬영한다(S310).

영상처리부(130)는 촬영된 영상을 분석하고, 영상영역을 분할하여(S320), 시설물 내에 위치하는 수로(2, 3)를 영상으로부터 추출한다(S330).

포인트 클라우드부(140)는 촬영된 영상(RGB영상)과, 수로영상, 깊이영상을 바탕으로 3차원의 포인트 클라우드로 변환한다(S340).

또한, 포인트 클라우드부(140)는 잘못 인식된 포인트를 제거한다(S350).

그에 따라 관리 로봇(100)은 시설물 내의 구조에 대한 3차원의 정보를 획득한다.

연산부(150)는 3차원의 포인트 클라우드를 바탕으로 수로에 대한 직선방정식을 연산하고, 이를 바탕으로 통로(1)를 검출한다.

연산부(150)는 3차원의 포인트 클라우드를 바탕으로 수로의 경계선을 검출하고, 수로의 경계선으로부터 통로와 수로의 경계선을 산출하여, 통로의 경계선에 대한 직선 파라미터를 산출한다(S360).

장애물인식부(160)는 통로 상에 장애물 인식영역(15)을 설정하고, 해당 영역 내에 위치하는 장애물을 검출한다(S370).

장애물인식부(160)는 장애물의 유무를 판단하고(S380), 장애물이 존재하는 경우 장애물을 상세 분석하여 그 위치를 산출한다(S390).

장애물인식부(160)는 장애물의 위치와 관리 로봇(100)의 크기를 고려하여 장애물 통과가 가능한지 여부를 판단한다(S400).

장애물인식부(160)는 장애물 통과가 가능한지 여부를 판단하여 장애물 정보를 주행제어부(120)로 인가한다.

주행제어부(120)는 장애물이 없거나 또는 장애물 통과가 가능한 경우, 목표지점을 산출하고(S410), 목표지점까지 장애물을 회피하거나 통과하는 주행경로를 설정한다(S420).

또한 주행제어부(120)는 설정된 주행경로를 바탕으로, 직진속도(v)와 바퀴의 회전속도(w)를 산출하여 구동부(230)를 제어한다.

그에 따라 관리 로봇(100)은 통로를 따라 주행한다(S430).

관리 로봇(100)은 주행 중에 카메라(170)를 통해 촬영되는 영상을 통해 선로의 상태를 점검한다(S440).

한편, 장애물 통과가 불가능하다고 판단되는 경우, 주행제어부(120)는 구동부(230)를 제어하여 로봇의 주행을 정지한다(S450). 주행제어부(120)는 주행불가에 대한 신호를 제어부(110)로 인가한다.

제어부(110)는 주행정지 및 장애물에 대한 경고를 출력하고, 그에 대한 정보를 통신부(210)를 통해 전송한다(S460).

제어부(110)는 관리 로봇(100)이 출발지점 또는 지정된 위치로 복구하도록 주행제어부(120)로 제어신호를 인가한다.

그에 따라 주행제어부(120)는 구동부(230)를 제어하여 관리 로봇이 복귀하도록 한다(S470).

한편, 경고 출력 후, 검출된 장애물이 이동하는 경우, 장애물인식부(160)는 장애물을 재검출하여 통과가능 여부를 재판단할 수 있다.

주행제어부(120)는 장애물의 이동에 따라 주행이 가능한 경우 주행경로를 재산출하여 주행을 제어할 수 있다.

따라서 본 발명에 따른 시설물 관리 로봇은 카메라를 통해 촬영되는 영상과 깊이정보를 바탕으로 3차원의 포인트 클라우드를 생성하고, 포인트 클라우드를 바탕으로, 3차원 공간상에서 로봇이 주행하지 못하는 영역을 인식하여, 이를 기반으로 주행경로를 설정하고 설정된 주행경로에 따라 본체가 이동하도록 주행을 제어할 수 있다.

그에 따라 본 발명은 접근이 어려고 내부 환경이 열악한 시설물에 대하여 용이하게 점검하고 이를 관리할 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.

1: 통로 1, 3: 수로
11, 12, 13, 14: 경계선 15: 장애물 인식영역
21, 22, 23: 장애물
100: 관리 로봇
110: 제어부 120: 주행제어부
130: 영상처리부 140: 포인트 클라우드부
140: 연산부 160: 장애물인식부

Claims

시설물 내의 영상을 촬영하며 깊이정보를 획득하는 카메라;
상기 카메라를 통해 촬영된 영상을 분석하여 영역을 분할하여, 상기 시설물 내에 위치하는 수로를 검출하는 영상처리부;
상기 영상과 상기 깊이정보를 바탕으로 3차원의 포인트 클라우드로 변환하는 포인트 클라우드부;
상기 포인트 클라우드로부터 상기 수로에 대한 경계선을 산출하여 상기 시설물 내의 통로를 검출하는 연산부;
상기 통로 상에 위치하는 장애물을 검출하여 그 위치를 산출하는 장애물인식부;
장애물 정보를 바탕으로 상기 통로 상에 주행경로를 설정하여 주행을 제어하는 주행제어부; 및
주행 중, 상기 영상을 분석하여 상기 시설물 내의 설비에 대한 상태를 점검하는 제어부;를 포함하고,
상기 영상처리부는, 상기 영상으로부터 영역을 분할하여 주행가능영역인 통로의 영역과 주행불가능영역인 상기 수로의 영역을 검출하고, 상기 수로에 대한 좌측수로영상과 우측수로영상을 생성하고,
상기 포인트 클라우드부는 상기 영상에 대한 포인트 클라우드, 좌측수로 포인트 클라우드, 우측수로 포인트 클라우드를 각각 생성하며, 상기 수로의 좌표를 기준으로, 상기 수로로 인식된 포인트 중, 상기 수로보다 높은 위치의 포인트를 제거하고, 오인식 포인트를 제거하는 것을 특징으로 하는 관리 로봇.
삭제
제 1 항에 있어서,
상기 포인트 클라우드부는 상기 영상과, 상기 수로에 대한 영상, 상기 깊이정보를 바탕으로, 3차원의 포인트 클라우드로 변환하는 것을 특징으로 하는 관리 로봇.
삭제
제 1 항에 있어서,
상기 연산부는 상기 포인트 클라우드를 바탕으로, 상기 수로의 경계선에 대한 직선방정식을 산출하고, 상기 수로와 상기 통로의 경계선을 산출하여, 상기 통로를 검출하는 것을 특징으로 하는 관리 로봇.
제 1 항에 있어서,
상기 연산부는 상기 수로의 외측 경계선을 산출한 후, 상기 수로의 폭을 기준으로 상기 수로의 내측 경계선을 산출하여, 상기 수로와 상기 통로의 경계선으로 설정하는 것을 특징으로 하는 관리 로봇.
제 1 항에 있어서
상기 장애물인식부는 주행불가영역인 상기 통로 외의 영역에 위치하는 장애물은 무시하고, 상기 통로 상에 위치하는 장애물을 검출하는 것을 특징으로 하는 관리 로봇.
제 1 항에 있어서,
상기 장애물인식부는 상기 관리 로봇의 높이, 상기 통로의 폭, 검출하고자 하는 거리를 기준으로 장애물 인식영역을 상기 통로 상에 설정하고, 상기 장애물 인식영역 내에 위치하는 장애물을 검출하는 것을 특징으로 하는 관리 로봇.
제 8 항에 있어서,
상기 장애물인식부는 검출된 장애물의 위치에 대응하여 통과 가능 여부를 판단하고, 상기 관리 로봇의 높이보다 높은 위치의 장애물은 통과 가능으로 판단하는 것을 특징으로 하는 관리 로봇.
제 1 항에 있어서,
상기 주행제어부는 상기 통로의 범위 내에서, 상기 장애물의 정보와 목표지점을 바탕으로 주행경로를 설정하여, 상기 주행경로에 따라 직진신호 및 회전신호를 구동부로 인가하여 차동 구동방식으로 주행을 제어하며, 주행 중 감지되는 장애물을 회피 또는 통과하도록 상기 주행경로를 수정하는 것을 특징으로 하는 관리 로봇.
제 1 항에 있어서,
상기 제어부는 상기 영상을 분석하여 상기 설비의 상태변화를 판단하고, 이상이 검출되는 경우 또는 상기 장애물에 의해 주행할 수 없는 경우, 경고를 출력하고, 관련 데이터를 전송하는 것을 특징으로 하는 관리 로봇.
카메라를 통해 영상을 촬영하고 깊이정보를 획득하는 단계;
상기 영상의 영역을 분할하여 시설물 내에 위치하는 수로를 검출하는 단계;
상기 영상과 상기 깊이정보를 바탕으로 3차원의 포인트 클라우드로 변환하는 단계;
상기 포인트 클라우드로부터 상기 수로에 대한 경계선을 산출하여 상기 시설물 내의 통로를 검출하는 단계;
상기 통로 상에 위치하는 장애물을 검출하여 그 위치를 산출하는 단계;
검출된 장애물의 정보를 바탕으로 상기 통로 상에 주행경로를 설정하여 주행하는 단계; 및
주행 중, 상기 영상을 분석하여 상기 시설물 내의 설비에 대한 상태를 점검하는 단계;를 포함하고,
상기 수로를 검출하는 단계는,
상기 영상으로부터 주행가능영역인 통로의 영역과 주행불가능영역인 상기 수로의 영역을 검출하고, 상기 수로의 영역에 대한 영상을 생성하고,
상기 포인트 클라우드로 변환하는 단계는,
상기 영상에 대한 포인트 클라우드, 좌측수로 포인트 클라우드, 우측수로 포인트 클라우드를 각각 생성하는 단계; 및
상기 수로의 좌표를 기준으로, 상기 수로로 인식된 포인트 중, 상기 수로보다 높은 위치의 오인식 포인트를 제거하는 단계; 를 포함하는 관리 로봇의 제어방법.
삭제
제 12 항에 있어서,
상기 포인트 클라우드로 변환하는 단계는,
상기 영상, 상기 수로에 대한 영상, 및 상기 깊이정보를 바탕으로, 3차원의 포인트 클라우드로 변환하는 단계; 를 더 포함하는 관리 로봇의 제어방법.
제 12 항에 있어서,
상기 장애물을 검출하는 경우,
상기 관리 로봇의 높이, 상기 통로의 폭, 검출하고자 하는 거리를 기준으로 장애물 인식영역을 상기 통로 상에 설정하여 상기 장애물 인식영역 내에 위치하는 장애물을 검출하는 단계; 및
상기 장애물 인식영역에서 검출된 장애물의 위치에 대응하여 통과 가능 여부를 판단하는 단계;를 더 포함하는 관리 로봇의 제어방법.
제 12 항에 있어서,
상기 장애물을 검출하는 경우,
주행불가영역인 상기 통로 외의 영역에 위치하는 장애물은 무시하고, 상기 통로 상에 위치하는 장애물을 검출하고, 관리 로봇의 높이보다 높은 위치의 장애물은 통과 가능으로 판단하는 것을 특징으로 하는 관리 로봇의 제어방법.
제 12 항에 있어서,
상기 주행하는 단계는,
상기 통로의 범위 내에서, 상기 장애물의 정보와 목표지점의 위치를 바탕으로 상기 주행경로를 설정하고, 상기 주행경로에 따라 직진신호 및 회전신호를 구동부로 인가하여 차동 구동방식으로 주행을 제어하며, 주행 중 감지되는 장애물을 회피 또는 통과하도록 상기 주행경로를 수정하는 것을 특징으로 하는 관리 로봇의 제어방법.
제 12 항에 있어서,
상기 주행하는 단계는,
상기 장애물을 통과할 수 없는 경우, 경고를 출력하는 단계;
상기 장애물의 위치 및 주행상태에 대한 데이터를 전송하는 단계; 및
출발지점 또는 지정된 위치로 복귀하는 단계를 더 포함하는 관리 로봇의 제어방법.
제 12 항에 있어서,
상기 설비에 대한 상태를 점검하는 단계는,
상기 영상을 분석하여 상기 설비를 검출하고, 상기 설비의 상태를 분석하여 상기 설비의 이상을 검출하는 단계; 및
상기 설비의 이상 발생 시, 현재 위치 및 상기 설비의 상태에 대한 점검데이터를 생성하여 전송하는 단계;를 더 포함하는 관리 로봇의 제어방법.