KR102572336B1 - 주행 계획 장치 및 방법, 이를 적용한 이동 로봇 - Google Patents

Abstract

본 발명은 도시환경에서 자율주행 이동 로봇의 주행 계획을 생성하기 위한 주행 계획 장치 및 방법, 이를 적용한 이동 로봇에 관한 것이다. 본 발명에 따른 이동 로봇의 주행 계획 방법은 지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득하는 단계, 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하는 단계, 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하는 단계, 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택하는 단계를 포함한다.

Description

주행 계획 장치 및 방법, 이를 적용한 이동 로봇{Travel planning device and method, mobile robot applying the same }

본 발명은 이동 로봇의 주행 계획 방법에 관한 것으로, 더욱 상세하게는 도시환경에서 자율주행 이동 로봇의 주행 계획을 생성하기 위한 주행 계획 장치 및 방법, 이를 적용한 이동 로봇에 관한 것이다.

이동 로봇은 어떤 작업이나 조작을 자동으로 수행하는 장치로서, 다양한 분야에서 인간을 대신하거나 보조하는데 활용된다.

이동 로봇에 주어진 임무 또는 서비스를 수행하기 위해서 로봇의 동작을 제어하는 것은 중요하다. 이동 로봇에 대한 연구 중 가장 기본적인 과제는 동적인 환경에서의 안전한 주행이다.

동적으로 움직이는 장애물이 존재하거나 로봇의 목표 지점이 변화하는 동적인 환경에서의 자율이동 로봇의 안전한 주행을 보장하는 만족스러운 제어 알고리즘에 관한 연구는 여전히 진행 중이다.

이러한 자율이동 로봇의 안전한 주행을 목적으로 하는 기본적인 연구 중 하나는 시작 지점부터 목표 지점까지의 연결된 경로를 생성해주는 경로계획(path planning)이다. 이 경로를 따라서 자율이동 로봇은 장애물 같은 주어진 금지된 지역과 교차하지 않아야 한다.

종래의 이동로봇의 경로계획 방법은 주행 가능 영역에 대하여, 주행 가능 또는 주행 불가능의 이분법적인 접근을 바탕으로 하고 있다.

한국공개특허 제10-2014-0114650호에는 "이동 로봇의 경로계획 생성 장치 및 방법"을 개시하고 있다.

개시된 경로계획 생성 장치는 다양한 장애물 대해 임의의 특징을 분류하여 저장하는 데이터베이스 구축 단계, 기설정된 경로계획계획에 따른 주행 중에 이동 로봇 전방에 위치한 장애물을 검색하고 장애물의 이미지와 데이터베이스 비교를 통해 장애물의 방향정보에 따른 크기정보를 검색하는 장애물 탐지 단계 및 장애물의 크기정보를 고려하여 이동 로봇이 이동할 다음 경로계획을 재 생성하는 경로계획 생성 단계를 포함한다.

즉 개시된 경로계획 생성 장치는 장애물의 크기에 따라 주행 가능 또는 주행 불가능의 이분법적인 접근을 바탕으로 있다.

최근에 자율주행자동차의 경우, 도로 및 주변에 대해서 딥러닝 기술을 활용하여 경로계획을 생성하는 방법등이 제시되고 있으나, 주변 상황을 인식하는데 국한되고, 차선을 추종하는 것으로 한정되어 있다.

따라서 본 발명의 목적은 딥러닝 기술을 활용하여, 자율 주행 이동 로봇의 주행 가능 영역에 대해 보다 다양한 정보를 인식하여, 최적의 이동 로봇의 주행 계획을 생성하기 위한 주행 계획 장치 및 방법, 이를 적용한 이동 로봇를 제공하는 데 있다.

본 발명에 따른 이동 로봇의 주행 계획 방법은 지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득하는 단계, 상기 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하는 단계, 상기 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하는 단계, 상기 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 이동 로봇의 주행 계획 방법에 있어서, 상기 세그먼테이션 정보를 획득하는 단계는 상기 지도 영상을 입력받는 단계, 상기 입력받은 지도 영상을 영역 검출을 위한 데이터 셋에 의해 학습된 세그먼테이션 신경망에 입력하여, 세그먼테이션 정보를 획득하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 이동 로봇의 주행 계획 방법에 있어서, 상기 영역 검출을 위한 데이터 셋은, 상기 지도 영상을 픽셀 단위로 복수의 클래스로 분류한 데이터 셋인 것을 특징으로 한다.

본 발명에 따른 이동 로봇의 주행 계획 방법에 있어서, 상기 복수의 클래스는, 배경, 차도, 횡단보도, 인도, 우레탄, 실내바닥, 점자블럭, 보행자우선도로, 초목길, 흙길, 실내주차장바닥, 평평한 연석, 올라가는 연석, 내려가는 연석 중 적어도 하나를 포함하는 것을 특징으로 한다.

본 발명에 따른 이동 로봇의 주행 계획 방법에 있어서, 상기 영역 지도는 상기 지도 영상에서 상기 복수의 클래스 별로 색상을 달리한 지도인 것을 특징으로 한다.

본 발명에 따른 이동 로봇의 주행 계획 방법에 있어서, 상기 복수의 경로를 생성하는 단계는, RRT(Rapidly Exploring Random Trees) 알고리즘을 통해 상기 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하는 것을 특징으로 한다.

본 발명에 따른 이동 로봇의 주행 계획 방법에 있어서, 상기 비용 함수는 주행 거리, 인도 경계석을 등판하는 횟수, 인도 경계석을 하강하는 횟수, 주행 위험 지역 개수를 비용(Cost)으로 적용하는 것을 특징으로 한다.

본 발명에 따른 이동 로봇의 주행 계획 장치는 지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득하는 세그먼테이션 정보 획득부, 상기 세그먼테이션 정보 획득부로부터 획득한 상기 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하는 영역 지도 생성부, 상기 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하고, 상기 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택하는 경로 생성부를 포함하는 것을 특징으로 한다.

본 발명에 따른 이동 로봇은 이동체, 상기 이동체의 주행 계획을 생성하기 위하여, 지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득하는 세그먼테이션 정보 획득부, 상기 세그먼테이션 정보 획득부로부터 획득한 상기 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하는 영역 지도 생성부, 상기 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하고, 상기 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택하는 경로 생성부를 포함하는 주행 계획 장치를 포함하는 것을 특징으로 한다.

본 발명에 따른 이동 로봇의 주행 계획 방법은 지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득하고, 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하고, 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하고, 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택함으로써, 자율 주행 이동 로봇의 주행 가능 영역에 대해 보다 다양한 정보를 인식함으로써, 최적의 이동 로봇의 주행 계획을 생성할 수 있다.

도 1은 본 발명의 실시예에 따른 이동 로봇의 주행 계획 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 제어부의 구성을 상세히 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 이동 로봇의 주행 계획 방법을 나타낸 순서도이다.
도 4 내지 도 7은 본 발명의 실시예에 따른 이동 로봇의 주행 계획 방법을 설명하기 위한 도면이다.
도 8 내지 도 10은 본 발명의 실시예에 따른 이동 로봇의 구성을 설명하기 위한 도면이다.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.

한편 본 발명의 실시예에 따른 이동 로봇은 도심 환경과 같은 공간의 실내외 이동에 있어서 일정 범위내의 장애물을 극복할 수 있으며, 방향 전환과 같은 민첩한 수평이동이 가능한 것을 전제로 한다.

이러한 이동 로봇은 이동체 및 주행 계획 장치를 포함하며, 이동체의 구성은 하기와 같으나, 이에 한정된 것은 아니고 동심 환경에서 일정 범위내의 장애물을 극복하고, 방향 전환 수행이 가능한 다양한 형태로 구성될 수 있다.

도 8 내지 도 10은 본 발명의 실시예에 따른 이동 로봇의 구성을 설명하기 위한 도면이다.

도 8 내지 도 10을 참조하면, 본 발명의 실시예에 따른 이동체(100)는 메인 바디(10), 보기형 바퀴체(20) 및 스티어링 바퀴체(30)를 포함하는 바퀴 구조체 및 제어부(미도시)를 포함한다.

메인 바디(10)는 바퀴 구조체가 탑재되는 몸체가 될 수 있다. 이러한 메인 바디(10)의 전방부에 보기형 바퀴체(20)가 탑재될 수 있고, 후방부에 스티어링 바퀴체(30)가 탑재될 수 있다. 여기서 전방부와 후방부는 메인 바디(10)의 이동 방향을 설명한 것으로, 메인 바디(10)가 이동하는 방향이 전방부가 되며, 이동하는 반대 방향이 후방부가 될 수 있다. 이러한 메인 바디(10)는 육면체로 형성된 것을 도시하지만 이에 한정된 것은 아니다.

한 쌍의 보기형 바퀴체(20)는 메인 바디(10)의 양측부에 각각 배치되고, 서로 개별적으로 각각 회동할 수 있다. 또한 보기형 바퀴체(20)는 메인 바디(10)를 중심으로 지면을 향해 전방과 후방으로 각각 연장 형성되며 메인 바디(10)를 중심으로 회동하는 조인트와, 조인트의 전방측 일단부에 설치되는 제1 바퀴(24) 및 조인트의 타단부에 설치되는 제2 바퀴(25)를 포함할 수 있다.

여기서 조인트는 메인 바디(10)에 측면에 결합되는 결합부(21)와, 결합부(21)를 중심으로 지면을 향해 전방으로 연장 형성되는 제1 연장부(22) 및 결합부(21)를 중심으로 지면을 향해 후방으로 연장 형성되는 제2 연장부(23)를 포함할 수 있다. 여기서 제1 연장부(22)와 제2 연장부(23)는 서로 일체로 결합부(21)를 중심으로 회동할 수 있다. 이러한 제1 연장부(22)의 끝단에는 제1 바퀴(24)가 설치되고, 제2 연장부(23)의 끝단에는 제2 바퀴(25)가 설치될 수 있다. 예컨데 조인트는 'ㅅ'형태가 될 수 있다.

이러한 보기형 바퀴체(20)는 메인 바디(10)의 양측면에 배치되되 전방에 배치되어, 장애물 극복을 지원할 수 있다. 또한 한 쌍의 보기형 바퀴체(20)는 장애물에 따라 각각 독립적으로 동작할 수 있다.

스티어링 바퀴체(30)는 중심축(31)과, 중심축(31)의 단부에 각각 결합되는 한 쌍의 제3 바퀴(32)를 포함할 수 있다.

여기서 스티어링 바퀴체(30)는 제3 바퀴(32)가 중심축(31)을 기준으로 각각 방향이 전환되도록 구성되거나, 중심축(31)이 회전하여 제3 바퀴(32)의 방향이 전환되도록 구성될 수 있다.

제어부는 상술한 바퀴 구조체를 제어할 수 있다.

이러한 제어부는 한 쌍의 보기형 바퀴체(20)를 각각 개별적으로 제어하거나, 일체로 제어할 수 있다.

한편 도 2의 (a)는 장애물 극복의 준비 상태를 나타낸 도면이다.

예를 들어, 도 2의 (a)에 도시된 바와 같이, 제어부는 전방에 장애물이 존재할 경우, 한 쌍의 보기형 바퀴체(20)를 일체로 제어하여 제1 바퀴(24)가 지면으로부터 이격되도록 제어할 수 있다. 이에 따라 장애물을 극복하기 용이한 자세가 될 수 있다.

한편 도 2의 (b)는 평지 이동 상태를 나타낸 도면이다. 즉 제어부는 도 2의 (b)와 같이, 평지를 주행할 경우 한 쌍의 보기형 바퀴체(20)를 일체로 제어하여 제2 바퀴(25)가 지면으로부터 이격되도록 제어할 수 있다. 이에 따라 민첩성을 극대화시킬 수 있다. 즉 회전하는 과정에서 제2 바퀴(25)가 지면에 닿지 않기 때문에 민첩한 이동이 가능하다.

또한 제어부는 고정된 중심축(31)을 기준으로 제3 바퀴(32)의 방향을 제어하거나, 중심축(31)을 회전시켜 제3 바퀴(32)의 방향을 제어할 수 있다.

한편 도 3의 (a)는 직진시 상태를 나타내고, (b) 및 (c)는 방향 전환시 상태를 나타낸 도면이다.

제어부는 도 3의 (a)에 도시된 바와 같이, 직진시 제1 바퀴(24), 제2 바퀴(25) 및 제3 바퀴(32)를 일렬로 배열하되, 제2 바퀴(25)는 지면과 비접촉 시킬 수 있다.

또한 제어부는 도 3의 (b)에 도시된 바와 같이 중심축(31)을 고정시킨 상태에서 제3 바퀴(32)의 방향을 개별적으로 제어하여 방향 전환을 수행시킬 수 있다. 이때 제2 바퀴(25)는 지면으로부터 이격되도록하여, 순간적인 방향 전환이 용이하도록할 수 있다.

또한 제어부는 도 3의 (c)에 도시된 바와 같이 중심축(31)을 회전시켜 제3 바퀴(32)가 일체로 방향 전환이 수행되도록 하여, 방향 전환을 수행시킬 수 있다. 이때 제2 바퀴(25)는 지면으로부터 이격되도록 할 수 있다.

이와 같이, 본 발명의 실시예에 따른 이동체(100)는 상황에 맞게 다양한 방향 전환 기능을 수행함으로써 민첩한 움직임이 가능하도록 할 수 있다.

이하 본 발명의 실시예에 따른 주행 계획 장치(200)에 대하여 상세히 설명하도록 한다.

도 1은 본 발명의 실시예에 따른 이동 로봇의 주행 계획 장치의 구성을 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 제어부의 구성을 상세히 나타낸 블록도이다.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 주행 계획 장치(200)는 통신부(210), 입력부(220), 표시부(230), 저장부(240) 및 제어부(250)를 포함한다.

통신부(210)는 이동체(100)와 데이터를 송수신하기 위한 구성이다. 이러한 통신부(210)는 무선통신 모듈 및 유선통신 모듈 중 적어도 하나를 포함할 수 있다. 즉 통신부(210)는 주행 계획 장치(200)가 이동체(100)와 일체로 형성될 경우 유선으로 이동체(100)와 연결될 수 있으며, 이동체(100)와 별도로 구비될 경우 무선으로 이동체(100)와 연결될 수 있다. 특히 통신부(210)는 생성된 주행 계획을 이동체(100)로 전송할 수 있다.

입력부(220)는 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 주행 계획 장치(200)의 기능 제어와 관련하여 입력되는 신호를 제어부(250)로 전달한다. 특히 입력부(220)는 지도 영상을 입력받거나, 비용 함수(Cost function)에 적용할 비용(Cost) 정보 등을 입력받을 수 있다. 또한 입력부(220)는 출발점과 도착점을 입력받을 수 있다.

표시부(130)는 지도 영상을 출력하거나, 지도 영상에 포함된 시멘틱 객체에 대한 세그먼테이션 정보를 출력하거나, 세그먼테이션 정보를 기반으로 생성된 영역 지도를 출력하거나, 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 출력하거나, 선택된 경로를 출력할 수 있다. 이러한 표시부(130)는 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다.

저장부(140)는 데이터를 저장하기 위한 장치로, 경로 계획 장치(200)의 기능 동작에 필요한 응용 프로그램을 저장한다. 특히 저장부(140)는 지도 영상에 포함된 시멘틱 객체에 대한 세그먼테이션 정보를 획득하기 위하기 위한 프로그램, 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하기 위한 프로그램, 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하기 위한 프로그램, 생성된 복수의 경로에 비용 함수를 적용하여, 최적의 경로를 선택하기 위한 프로그램 등을 저장할 수 있다.

제어부(150)는 지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득하고, 획득한 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하고, 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하고, 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택한다.

이러한 제어부(150)는 세그먼테이션 정보 획득부(151), 영역 지도 생성부(152) 및 경로 생성부(153)을 포함한다.

한편 시맨틱 세그먼테이션(semantic segmentation)은 이미지를 구성하는 모든 픽셀들을 미리 정의된 시맨틱 객체의 클래스로 분류하는 태스크를 의미한다. 시맨틱 세그먼테이션은 픽셀 단위 예측(pixel-wise prediction)을 하는 것이기 때문에, 조밀한 예측(dense prediction)이란 용어로 불리우기도 한다. 통상적으로, 시맨틱 세그먼테이션은 심층 신경망(deep neural network)에 기반하여 수행되는데, 심층 신경망을 학습시키기 위해서는 상당한 양의 이미지와 시맨틱 객체의 클래스, 위치 및 형태 정보가 담긴 정교한 레이블(eg 픽셀 단위의 클래스 정보)이 요구된다.

세그먼테이션 신경망(segmentation neural network)이란, 시맨틱 세그먼테이션을 위해 이용되는 신경망을 의미할 수 있다. 세그먼테이션 신경망은 다양한 형태 또는 구조를 갖는 신경망으로 구현될 수 있을 것이므로, 세그먼테이션 신경망의 구현 방식에 의해 본 개시의 기술적 범위가 한정되는 것은 아니다.

본 발명의 실시예에 따른 세그먼테이션 정보 획득부(151)는 지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득할 수 있다. 여기서 세그먼테이션 정보 획득부(151)는 입력부(120)를 통해 지도 영상을 입력받고, 입력받은 지도 영상을 영역 검출을 위한 데이터 셋에 의해 학습된 세그먼테이션 신경망에 입력하여, 세그먼테이션 정보를 획득할 수 있다. 이때 세그먼테이션 정보는 픽셀 단위의 클래스 정보가 될 수 있다.

여기서 시맨틱 객체(semantic object)란, 시맨틱 세그먼테이션의 대상이 되는 객체를 의미할 수 있다. 시맨틱 객체의 클래스는 사전에 정의되어 있을 수 있으며, 배경(background) 또한 하나의 시맨틱 객체로 정의될 수 있다.

여기서 영역 검출을 위한 데이터 셋은 지도 영상을 픽셀 단위로 복수의 클래스로 분류한 데이터 셋이 될 수 있다. 이때 복수의 클래스는 배경, 차도, 횡단보도, 인도, 우레탄, 실내바닥, 점자블럭, 보행자우선도로, 초목길, 흙길, 실내주차장바닥, 평평한 연석, 올라가는 연석, 내려가는 연석 중 적어도 하나를 포함할 수 있다.

영역 지도 생성부(152)는 세그먼테이션 정보 획득부(151)로부터 획득한 세그먼테이션 정보를 기반으로 한 영역 지도를 생성한다. 여기서 영역 지도는 지도 영상에서 픽셀 단위로 복수의 클래스 별로 색상을 달리한 지도가 될 수 있다.

경로 생성부(153)는 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하고, 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택할 수 있다.

여기서 경로 생성부(153)는 RRT(Rapidly Exploring Random Trees) 알고리즘을 통해 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성할 수 있다.

즉 경로 생성부(153)는 상태 공간 내에서 무작위로 정점(node)를 추출하여 상태 공간을 탐색하고 새로 추출한 정점 방향으로 트리를 확장하며 도착점까지의 경로를 생성한다.

또한 경로 생성부(153)는 출발점과 도착점 사이의 경로가 하나라도 생성이 되면 알고리즘을 종료하는 것이 아니고, 다양한 가능성을 검토하기 위해 모든 경우의 경로를 생성할 수 있다.

이후 경로 생성부(153)는 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택할 수 있다.

이때 비용 함수는 주행 거리, 인도 경계석을 등판하는 횟수, 인도 경계석을 하강하는 횟수, 주행 위험 지역 개수를 비용(Cost)으로 적용할 수 있다.

즉 비용 함수는 하기의 수학식 1이 될 수 있다.

[수학식 1]

여기서 Term 1은 Weighted Euclidean distance를 의미한다. 즉 이동 로봇이 주행하는 것이기 때문에 주행거리가 멀수록 패널티(Penalty)를 부가한다.

Term 2는 이동 로봇이 인도 경계석을 등판하는 횟수를 의미한다.

Term 3은 이동 로봇이 인도 경계석을 하강하는 획수를 의미한다.

Term 4는 주행 위험 지역 개수를 의미한다. 즉 세그먼테이션 정보를 기반으로 한 영역지도를 활용하면, 인도가 없는 차도나 아파트 단지 또는 캠퍼스 내 차도 같이 이동 로봇이 주행가능한 차도를 구분할 수 있다. 이에 따라 주행 위험 지역에 대한 패널티를 추가해서 해당 구간을 최소화할 수 있다.

은 튜닝 파라미터로, Term 1 ~ Term 4들 간의 비중이나 물리량의 차이 등을 반영할 수 있다.

이하 본 발명의 실시예에 따른 이동 로봇의 주행 계획 방법에 대하여 상세히 설명하도록 한다.

도 3은 본 발명의 실시예에 따른 이동 로봇의 주행 계획 방법을 나타낸 순서도이고, 도 4 내지 도 7은 본 발명의 실시예에 따른 이동 로봇의 주행 계획 방법을 설명하기 위한 도면이다.

도 3 내지 도 7을 참조하면, 먼저 S10 단계에서, 주행 계획 장치는 세그먼테이션 정보를 획득한다. 즉 주행 계획 장치는 지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득할 수 있다. 여기서 주행 계획 장치는 지도 영상을 입력받고, 입력받은 지도 영상을 영역 검출을 위한 데이터 셋에 의해 학습된 세그먼테이션 신경망에 입력하여, 세그먼테이션 정보를 획득할 수 있다. 이때 세그먼테이션 정보는 픽셀 단위의 클래스 정보가 될 수 있다. 여기서 영역 검출을 위한 데이터 셋은 지도 영상을 픽셀 단위로 복수의 클래스로 분류한 데이터 셋이 될 수 있다. 이때 복수의 클래스는 배경, 차도, 횡단보도, 인도, 우레탄, 실내바닥, 점자블럭, 보행자우선도로, 초목길, 흙길, 실내주차장바닥, 평평한 연석, 올라가는 연석, 내려가는 연석 중 적어도 하나를 포함할 수 있다.

다음으로 S20 단계에서 주행 계획 장치는 영역 지도를 생성한다. 즉 주행 계획 장치는 세그먼테이션 정보를 기반으로 한 영역 지도를 생성한다. 여기서 영역 지도는 지도 영상에서 픽셀 단위로 복수의 클래스 별로 색상을 달리한 지도가 될 수 있다. 즉 주행 계획 장치는 도 4의 항공 지도를 바탕으로 도 5와 같이 세그먼테이션 정보를 기반으로 한 영역 지도를 생성할 수 있다.

다음으로 S30 단계에서 주행 계획 장치는 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하고, 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택할 수 있다.

여기서 주행 계획 장치는 RRT(Rapidly Exploring Random Trees) 알고리즘을 통해 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성할 수 있다.

즉 주행 계획 장치는 상태 공간 내에서 무작위로 정점(node)를 추출하여 상태 공간을 탐색하고 새로 추출한 정점 방향으로 트리를 확장하며 도착점까지의 경로를 생성한다.

또한 주행 계획 장치는 출발점과 도착점 사이의 경로가 하나라도 생성이 되면 알고리즘을 종료하는 것이 아니고, 다양한 가능성을 검토하기 위해 모든 경우의 경로를 생성할 수 있다.

그리고 S40 단계에서 복수의 경로 중 최적의 경로를 선택할 수 있다.

즉 경로 계획 장치는 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택할 수 있다.

이때 비용 함수는 주행 거리, 인도 경계석을 등판하는 횟수, 인도 경계석을 하강하는 횟수, 주행 위험 지역 개수를 비용(Cost)으로 적용할 수 있다.

즉 비용 함수는 하기의 수학식 1이 될 수 있다.

[수학식 1]

여기서 Term 1은 Weighted Euclidean distance를 의미한다. 즉 이동 로봇이 주행하는 것이기 때문에 주행거리가 멀수록 패널티(Penalty)를 부가한다.

Term 2는 이동 로봇이 인도 경계석을 등판하는 횟수를 의미한다.

Term 3은 이동 로봇이 인도 경계석을 하강하는 획수를 의미한다.

Term 4는 주행 위험 지역 개수를 의미한다. 즉 세그먼테이션 정보를 기반으로 한 영역지도를 활용하면, 인도가 없는 차도나 아파트 단지 또는 캠퍼스 내 차도 같이 이동 로봇이 주행가능한 차도를 구분할 수 있다. 이에 따라 주행 위험 지역에 대한 패널티를 추가해서 해당 구간을 최소화할 수 있다.

은 튜닝 파라미터로, Term 1 ~ Term 4들 간의 비중이나 물리량의 차이 등을 반영할 수 있다.

본 발명의 실시예에 따른 이동 로봇의 주행 계획 방법은 지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득하고, 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하고, 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하고, 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택함으로써, 자율 주행 이동 로봇의 주행 가능 영역에 대해 보다 다양한 정보를 인식함으로써, 최적의 이동 로봇의 주행 계획을 생성할 수 있다.

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.

10 : 메인 바디 20 : 보기형 바퀴체
21 : 결합부 22 : 제1 연장부
23 : 제2 연장부 24 : 제1 바퀴
25 : 제2 바퀴 30 : 스티어링 바퀴체
31 : 중심축 32 : 제3 바퀴
100 : 이동체 110 : 통신부
120 : 입력부 130 : 표시부
140 : 저장부 150 : 제어부
151 : 세그먼테이션 정보 획득부 152 : 영역 지도 생성부
153 : 경로 생성부 200 : 경로 생성 장치

Claims (9)

1. 장애물 극복이 가능한 이동 로봇의 주행 계획 방법에 있어서,
   지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득하는 단계;
   상기 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하는 단계;
   상기 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하는 단계;
   상기 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택하는 단계;를 포함하며,
   상기 복수의 경로를 생성하는 단계는,
   RRT(Rapidly Exploring Random Trees) 알고리즘을 통해 상기 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하며,
   상기 비용 함수는,
   주행 거리, 인도 경계석을 등판하는 횟수, 인도 경계석을 하강하는 횟수 및 주행 위험 지역 개수를 비용(Cost)으로 적용하는 것을 특징으로 하는 이동 로봇의 주행 계획 방법.
2. 제1항에 있어서,
   상기 세그먼테이션 정보를 획득하는 단계는,
   상기 지도 영상을 입력받는 단계;
   상기 입력받은 지도 영상을 영역 검출을 위한 데이터 셋에 의해 학습된 세그먼테이션 신경망에 입력하여, 세그먼테이션 정보를 획득하는 단계;
   를 포함하는 것을 특징으로 하는 이동 로봇의 주행 계획 방법.
3. 제2항에 있어서,
   상기 영역 검출을 위한 데이터 셋은,
   상기 지도 영상을 픽셀 단위로 복수의 클래스로 분류한 데이터 셋인 것을 특징으로 하는 이동 로봇의 주행 계획 방법.
4. 제3항에 있어서,
   상기 복수의 클래스는,
   배경, 차도, 횡단보도, 인도, 우레탄, 실내바닥, 점자블럭, 보행자우선도로, 초목길, 흙길, 실내주차장바닥, 평평한 연석, 올라가는 연석, 내려가는 연석 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 로봇의 주행 계획 방법.
5. 제4항에 있어서,
   상기 영역 지도는,
   상기 지도 영상에서 상기 복수의 클래스 별로 색상을 달리한 지도인 것을 특징으로 하는 이동 로봇의 주행 계획 방법.
6. 삭제
7. 삭제
8. 장애물 극복이 가능한 이동 로봇의 주행 계획 장치에 있어서,
   지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득하는 세그먼테이션 정보 획득부;
   상기 세그먼테이션 정보 획득부로부터 획득한 상기 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하는 영역 지도 생성부;
   상기 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하고, 상기 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여, 최적의 경로를 선택하는 경로 생성부;를 포함하며,
   상기 경로 생성부는,
   RRT(Rapidly Exploring Random Trees) 알고리즘을 통해 상기 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하며,
   상기 비용 함수는,
   주행 거리, 인도 경계석을 등판하는 횟수, 인도 경계석을 하강하는 횟수 및 주행 위험 지역 개수를 비용(Cost)으로 적용하는 것을 특징으로 하는 이동 로봇의 주행 계획 장치.
9. 장애물 극복이 가능한 이동체;
   상기 이동체의 주행 계획을 생성하기 위하여, 지도 영상에 포함된 시맨틱 객체에 대한 세그먼테이션 정보를 획득하는 세그먼테이션 정보 획득부, 상기 세그먼테이션 정보 획득부로부터 획득한 상기 세그먼테이션 정보를 기반으로 한 영역 지도를 생성하는 영역 지도 생성부, 상기 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하고 상기 생성된 복수의 경로에 비용 함수(Cost function)를 적용하여 최적의 경로를 선택하는 경로 생성부를 포함하는 주행 계획 장치;를 포함하며,
   상기 경로 생성부는,
   RRT(Rapidly Exploring Random Trees) 알고리즘을 통해 상기 영역 지도에서 출발점과 도착점 사이의 복수의 경로를 생성하며,
   상기 비용 함수는,
   주행 거리, 인도 경계석을 등판하는 횟수, 인도 경계석을 하강하는 횟수 및 주행 위험 지역 개수를 비용(Cost)으로 적용하는 것을 특징으로 하는 이동 로봇.

Images