KR20220129218A

KR20220129218A - 장애물에 관한 비행 상황을 인지하여 무인 이동체의 속도 제어 방법 및 무인 이동체

Info

Publication number: KR20220129218A
Application number: KR1020210033815A
Authority: KR
Inventors: 김유경
Original assignee: 한국전자통신연구원
Priority date: 2021-03-16
Filing date: 2021-03-16
Publication date: 2022-09-23

Abstract

본 발명은 장애물에 관한 비행 상황을 인지하여 무인 이동체의 속도 제어 방법 및 무인 이동체에 관한 것으로, 구체적으로는, 무인 이동체의 FOV 내 비행 방향에 대한 장애물의 밀집도, 장애물의 유무와 종류에 대한 신뢰도를 결합하여 무인 이동체의 자율 비행 시 안전한 비행과 동시에 효율적인 기동을 위한 효율적인 의사 결정을 내림으로써, 무인 이동체의 비행 속도를 제어한다.

Description

장애물에 관한 비행 상황을 인지하여 무인 이동체의 속도 제어 방법 및 무인 이동체{SPEED CONTROL METHOD OF UNMANNED VEHICLE TO AWARENESS THE FLIGHT SITUATION ABOUT AN OBSTACLE, AND, UNMANNED VEHICLE THE PERFORMED THE METHOD}

본 발명은 장애물에 관한 비행 상황을 인지하여 무인 이동체의 속도 제어 방법 및 무인 이동체에 관한 것으로, 보다 구체적으로는 센서를 이용해 탐지된 장애물에 의한 비행 상황을 고려하여 보다 안전하게 무인 이동체를 제어하는 방법 및 장치에 관한 것이다.

무인 이동체는 실내 또는, 실외 자율 비행을 기초로 인해 인간을 대신해 광범위한 임무의 수행이 가능한 이동체이다. 무인 이동체는 다양한 산업과 레저 분야에서 활용되며, 조작의 편의성과 경제성으로 인해 현재 방송 및 영화 촬영, 사람의 접근이 어려운 산업현장의 진단, 측량, 재난, 재해, 구호 등 다양한 분야에서 활용도가 높아지고 있다. 이를 위해, 무인 이동체는 무인 이동체에 장착된 외부 센서를 이용하여 장애물 탐지하고, 탐지된 장애물에 기초한 환경 지도를 생성한 후, 환경 지도를 기반으로 비행 경로를 계획 및 이동한다.

무인 이동체는 보다 안전한 비행 또는, 임무 수행을 위해 상시 저속 비행을 하는 것이 충돌 방지 및 장애물 회피에 유리하다. 이는 공중에서 자연 지형이나 건물, 혹은 다른 드론들과의 충돌로 인한 크고 작은 사고가 발생할 가능성이 존재함에 따라, 무인 이동체는 장애물이 밀집되어 있거나 또는, 비행 가능 영역이 제한된 경우에 저속 비행을 수행해야 한다.

하지만, 무인 이동체가 고도의 상공에서 비행 중이거나, 주위의 장애물이 희박하고 비행 가능 영역이 충분히 확보된 경우는 이동 속도를 현저히 저하시킨 상태로 기동하는 것은 사용자 입장에서 바람직하지 않으며 못하다.

본 발명은 무인 이동체의 자율 비행시 비행 방향으로 무인 이동체의 일정 반경으로 탐색된 장애물의 밀집도 및 종류에 따른 무인 이동체의 자율 비행에 관한 위험도를 판단함으로써, 거시적인 관점에서 비행 속도 제어에 대한 의사결정을 내릴 수 있도록 무인 이동체의 비행 상황을 추론할 수 있는 방법을 제안한다.

본 발명은 무인 이동체에 설정된 비행 경로를 기반으로 장애물의 밀집도 및 장애물의 종류를 이용하여 무인 이동체의 비행 상황을 추론함으로써, 무인 이동체가 현재 위치하는 지역을 기준으로 장애물을 적응적으로 회피하기 위한 무인 이동체의 적정 속도를 결정할 수 있는 방법을 제안한다.

본 발명의 일실시예에 따른 속도 제어 방법은 무인 이동체에 설치된 센서를 이용하여 상기 무인 이동체의 일정 반경 내 존재하는 장애물을 탐색하는 단계; 상기 장애물의 유무에 따른 상기 무인 이동체와 장애물에 대해 격자 좌표로 표현된 밀집 지도를 생성하는 단계; 상기 밀집 지도에 표현된 장애물의 종류를 구분하여, 상기 구분된 장애물의 종류로부터 무인 이동체의 비행 상황을 추론하는 단계; 및 상기 무인 이동체의 비행 상황을 고려하여 상기 무인 이동체의 적정 속도를 결정하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따른 장애물을 탐색하는 단계는, 무인 이동체의 비행 방향으로 이동하면서, 센서의 화각 내 무인 이동체로 접근하는 장애물을 검출할 수 있다.

본 발명의 실시예에 따른 장애물을 탐색하는 단계는, 센서와 장애물과의 거리 정보, 깊이 정보 중 적어도 하나를 이용하여 상기 무인 이동체의 일정 반경 내 복셀 단위의 장애물을 탐색할 수 있다.

본 발명의 실시예에 따른 무인 이동체의 비행 상황을 추론하는 단계는, 상기 밀집 지도에 표현된 장애물의 외형 정보, 이동 유무 중 적어도 하나를 고려하여 장애물의 특징에 따라 일정한 종류로 구분할 수 있다.

본 발명의 실시예에 따른 무인 이동체의 비행 상황을 추론하는 단계는, 상기 밀집 지도에 표현된 장애물의 밀집도를 고려하여 상기 무인 이동체의 비행 지형을 판단하는 단계; 및 상기 비행 지형에 따른 상기 무인 이동체와 장애물 간에 충돌 위험에 관한 비행 상황을 추론하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따른 무인 이동체의 적정 속도를 결정하는 단계는, 상기 비행 상황에 따른 무인 이동체의 비행 가능 영역을 판단하는 단계; 상기 비행 가능 영역을 기반으로 무인 이동체의 광역적 경로 및 국소적 경로를 계획하여 상기 무인 이동체의 적정 속도를 결정할 수 있다.

본 발명의 실시예에 따른 무인 이동체의 적정 속도를 결정하는 단계는, 상기 광역적 경로 및 국소적 경로를 기반으로 무인 이동체의 위치 및 자세를 제어하기 위한 상기 무인 이동체의 적정 속도를 결정할 수 있다.

본 발명의 다른 실시예에 따른 속도 제어 방법은 무인 이동체에 설치된 센서를 통해 탐지된 장애물의 위치를 고려하여 상기 무인 이동체의 비행 가능 영역을 판단하는 단계; 상기 무인 이동체의 비행 가능 영역을 기반으로 상기 무인 이동체의 경로를 결정하는 단계; 및 상기 무인 이동체의 경로에 대응하여 상기 무인 이동체의 위치 및 자세를 제어하기 위한 상기 무인 이동체의 적정 속도를 결정하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따른 무인 이동체의 비행 가능 영역을 판단하는 단계는, 상기 무인 이동체의 비행 방향으로 이동하면서, 센서의 화각(FOV) 내 무인 이동체로 접근하는 장애물을 검출하는 단계; 상기 검출된 장애물의 위치에 따른 밀집 지도를 생성하고, 상기 밀집 지도를 기반으로 밀집 지도에 표현된 장애물의 종류를 구분하는 단계; 및 상기 구분된 장애물의 종류로부터 무인 이동체의 비행 상황을 추론하여 무인 이동체의 비행 가능 영역을 판단하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따른 무인 이동체의 비행 가능 영역을 판단하는 단계는, 상기 밀집 지도에 표현된 장애물의 밀집도에 따른 상기 무인 이동체의 비행 지형을 판단하여 상기 무인 이동체와 장애물 간에 충돌 위험에 관한 비행 상황을 추론할 수 있다.

본 발명의 실시예에 따른 무인 이동체의 경로를 결정하는 단계는, 상기 비행 가능 영역을 기반으로 무인 이동체와 장애물과의 충돌이 발생하지 않는 복수의 경로점으로 이루어진 광역적 경로를 결정하는 단계; 및 상기 광역적 경로를 구성하는 복수의 경로점을 서로 연결한 국소적 경로를 결정하여 상기 무인 이동체의 경로를 결정하는 단계;를 포함할 수 있다.

본 발명의 실시예에 따른 무인 이동체의 적정 속도를 결정하는 단계는, 상기 국소적 경로에 따른 장애물과의 충돌 회피가 가능한 궤적에 대응하여 상기 무인 이동체의 위치 및 자세를 제어하기 위한 무인 이동체의 적정 속도를 결정할 수 있다.

본 발명의 일실시예에 따른 프로세서를 포함하는 무인 이동체에 있어서, 상기 프로세서는, 무인 이동체에 설치된 센서를 이용하여 상기 무인 이동체의 일정 반경 내 존재하는 장애물을 탐색하고, 상기 장애물의 유무에 따른 상기 무인 이동체와 장애물에 대해 격자 좌표로 표현된 밀집 지도를 생성하고, 상기 밀집 지도에 표현된 장애물의 종류를 구분하여, 상기 구분된 장애물의 종류로부터 무인 이동체의 비행 상황을 추론하고, 상기 무인 이동체의 비행 상황을 고려하여 상기 무인 이동체의 적정 속도를 결정할 수 있다.

본 발명의 실시예에 따른 프로세서는, 상기 밀집 지도에 표현된 장애물의 밀집도를 고려하여 상기 무인 이동체의 비행 지형을 판단하고, 상기 비행 지형에 따른 상기 무인 이동체와 장애물 간에 충돌 위험에 관한 비행 상황을 추론할 수 있다.

본 발명의 실시예에 따른 프로세서는, 상기 비행 상황에 따른 무인 이동체의 비행 가능 영역을 판단하고, 상기 비행 가능 영역을 기반으로 무인 이동체의 광역적 경로 및 국소적 경로를 계획하여 상기 무인 이동체의 적정 속도를 결정할 수 있다.

본 발명의 실시예에 따른 프로세서는, 상기 광역적 경로 및 국소적 경로를 기반으로 무인 이동체의 위치 및 자세를 제어하기 위한 상기 무인 이동체의 적정 속도를 결정할 수 있다.

본 발명의 다른 실시예에 따른 프로세서를 포함하는 무인 이동체에 있어서, 상기 프로세서는, 무인 이동체에 설치된 센서를 통해 탐지된 장애물의 위치를 고려하여 상기 무인 이동체의 비행 가능 영역을 판단하고, 상기 무인 이동체의 비행 가능 영역을 기반으로 상기 무인 이동체의 경로를 결정하고, 상기 무인 이동체의 경로에 대응하여 상기 무인 이동체의 위치 및 자세를 제어하기 위한 상기 무인 이동체의 적정 속도를 결정할 수 있다.

본 발명의 실시예에 따른 프로세서는, 상기 무인 이동체의 비행 방향으로 이동하면서, 센서의 화각(FOV) 내 무인 이동체로 접근하는 장애물을 검출하고, 상기 검출된 장애물의 위치에 따른 밀집 지도를 생성하고, 상기 밀집 지도를 기반으로 밀집 지도에 표현된 장애물의 종류를 구분하고, 상기 구분된 장애물의 종류로부터 무인 이동체의 비행 상황을 추론하여 무인 이동체의 비행 가능 영역을 판단할 수 있다.

본 발명의 실시예에 따른 프로세서는, 상기 비행 가능 영역을 기반으로 무인 이동체와 장애물과의 충돌이 발생하지 않는 복수의 경로점으로 이루어진 광역적 경로를 결정하고, 상기 광역적 경로를 구성하는 복수의 경로점을 서로 연결한 국소적 경로를 결정하여 상기 무인 이동체의 경로를 결정할 수 있다.

본 발명의 실시예에 따른 프로세서는, 상기 국소적 경로에 따른 장애물과의 충돌 회피가 가능한 궤적에 대응하여 상기 무인 이동체의 위치 및 자세를 제어하기 위한 무인 이동체의 적정 속도를 결정할 수 있다.

본 발명의 일실시예에 따른 속도 제어 방법은 무인 이동체의 자율 비행시 비행 방향으로 무인 이동체의 일정 반경으로 탐색된 장애물의 밀집도 및 종류에 따른 무인 이동체의 자율 비행에 관한 위험도를 판단함으로써, 거시적인 관점에서 비행 속도 제어에 대한 의사결정을 내릴 수 있도록 무인 이동체의 비행 상황을 추론할 수 있다.

본 발명의 일실시예에 따른 속도 제어 방법은 무인 이동체에 설정된 기존 경로를 기반으로 장애물의 밀집도 및 장애물의 종류를 이용하여 무인 이동체의 비행 상황을 추론함으로써, 무인 이동체가 현재 위치하는 지역을 기준으로 장애물을 적응적으로 회피하기 위한 무인 이동체의 적정 속도를 결정할 수 있다.

본 발명의 일실시예에 따른 속도 제어 방법은 무인 이동체의 비행 상황에 따른 무인 이동체의 비행 속도를 적응적으로 변화시킴으로써, 무인 이동체의 자율 비행 시, 보다 안전한 비행과 동시에 효율적인 기동으로 이동 시간을 단축할 수 있다.

도 1은 본 발명의 일실시예에 따른 상황 인지를 통해 무인 이동체의 속도를 제어하는 전반적인 동작을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 무인 이동체의 비행 상황을 인지하는 세부적인 동작을 설명하기 위해 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 무인 이동체의 경로를 계획하는 세부적인 동작을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 광역적 경로 및 국소적 경로를 설명하기 위해 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 무인 이동체의 비행을 제어하는 세부적인 동작을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 속도 제어 방법을 설명하기 위해 도시한 도면이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 상황 인지를 통해 무인 이동체의 속도를 제어하는 전반적인 동작을 설명하기 위해 도시한 도면이다.

본 발명은 무인 이동체(101)가 별도의 오퍼레이터의 도움 없이 보다 안전한 자율 비행을 하기 위한 방법을 제안할 수 있다.

도 1을 참고하면, 무인 이동체(101)는 센서로 비행 방향 내 장애물의 종류를 구분하여 현재의 무인 이동체(101)의 비행 상황을 인지할 수 있다. 무인 이동체(101)는 비행 상황을 기반으로 장애물의 밀집도 및 상기 밀집도와 장애물의 종류에 대한 신뢰도를 계산하여 무인 이동체(101)의 비행 속도를 결정하도록 거시적인 관점에서 의사 결정을 내릴 수 있다.

구체적으로, 무인 이동체(101)는 무인 이동체(101)에 장착된 센서를 이용하여 무인 이동체(101)가 비행하는 지역의 주변 환경에 관한 정보를 수집할 수 있다. 센서는, 장애물과의 거리를 예측 및 주변 환경을 인지하기 위한 센서일 수 있다. 일례로, 센서는 GPS, 카메라, 2D LiDAR(Light Detection and Ranging), 3D LiDAR, 스테레오 카메라, RGB-D 카메라, 초음파 센서 등을 포함할 수 있다.

① 무인 이동체(101)는 LiDAR, RGB-D 카메라 또는, 초음파 센서가 정착된 경우, 해당 센서를 통해 수집된 측정값으로부터 거리 정보를 획득할 수 있다. 또한, 무인 이동체(101)는 LiDAR를 포함한 대표적인 센서들의 센서 값을 통해 일반화된 포인트 클라우드 데이터로 획득 및 처리될 수 있다.

② 무인 이동체(101)는 스테레오 카메라의 경우, 스테레오 매칭을 통한 변이값 계산을 통해 3차원 깊이값을 예측할 수 있으며, 무인 이동체(101)는 단안 카메라의 경우 학습된 깊이 맵 예측 알고리즘을 통해 3차원 깊이 맵을 예측할 수 있다.

무인 이동체(101)는 센서를 통해 수집된 정보로부터 무인 이동체(101)의 비행 경로 상에 존재하는 장애물을 탐색할 수 있다. 무인 이동체(101)는 무인 이동체의 비행 방향으로 이동하면서, 센서의 화각(FOV) 내 무인 이동체로 접근하는 장애물을 검출할 수 있다. 또한, 무인 이동체(101)는 센서와 장애물과의 거리 정보, 깊이 정보 중 적어도 하나를 이용하여 무인 이동체의 일정 반경 내 복셀 단위의 장애물을 탐색할 수 있다.

무인 이동체(101)는 장애물의 유무에 따른 무인 이동체(101)와 장애물에 대해 격자 좌표로 표현된 밀집 지도를 생성할 수 있다. 자세하게, 무인 이동체(101)는 무인 이동체(101)의 주변 환경을 표현하기 위해 주변 환경을 격자 좌표로 나누어진 밀집 지도를 생성할 수 있다. 또한, 무인 이동체(101)는 예측된 3차원 깊이 맵을 이용하는 경우, 3차원 깊이 맵과 포인트 클라우드 변환을 통해 포인트 클라우드 데이터를 이용할 수 있다. 이후, 무인 이동체(101)는 거리 기반의 밀집 지도를 통해 무인 이동체(101)와 인접한 장애물의 밀집도를 계산할 수 있다.

무인 이동체(101)는 3차원 공간인 복셀(voxel) 단위의 탐지된 장애물의 유무를 업데이트하는 점유 지도 기반 프레임워크를 구축함으로써, 실시간으로 장애물의 진입 및 진출을 확인할 수 있다.

무인 이동체(101)는 센서를 통해 감지된 객체의 종류를 인식하여 실제 존재하는 장애물의 종류를 구분할 수 있다. 무인 이동체(101)는 무인 이동체의 비행 상황을 추론할 수 있다. 상세하게, 무인 이동체(101)는 밀집 지도에 표현된 장애물의 밀집도를 고려하여 무인 이동체의 비행 지형을 판단할 수 있다. 무인 이동체(101)는 비행 지형에 따른 상기 무인 이동체와 장애물 간에 충돌 위험에 관한 비행 상황을 추론할 수 있다.

무인 이동체(101)는 비행 상황을 추론하기 위한 적응적 의사 결정 과정을 수행할 수 있으며, 비행 상황에 따른 적응적 의사 결정에 따라 속도를 제어하도록 비행 경로(광역적 경로 및 국소적 경로)를 계획할 수 있다. 이때, 무인 이동체(101)는 비행 경로상에 장애물이 탐지될 경우 무인 이동체(101)의 상태 정보를 이용하여 장애물을 회피하기 위한 새로운 비행 경로를 생성할 수 있다. 무인 이동체(101)의 상태 정보는 무인 이동체의 위치, 자세, 속도, 각속도 등을 포함할 수 있다.

무인 이동체(101)는 새롭게 생성된 비행 경로를 정확하게 따라가게 하기 위한 위치 제어와 비행 시 안정된 자세를 유지하기 위한 자세 제어를 수행할 수 있다. 이에, 무인 이동체(101)는 안전하면서 효율적으로 기동하도록 의사 결정을 할 수 있으며, 자율 비행 기반의 무인 이동체의 임무 수행 능력을 높이고 효율적으로 운용하도록 한다.

도 2는 본 발명의 일실시예에 따른 무인 이동체의 비행 상황을 인지하는 세부적인 동작을 설명하기 위해 도시한 도면이다.

도 2를 참고하면, 무인 이동체(101)는 자율 비행을 위한 비행 환경을 인지하기 위한 프로세서(201)를 포함할 수 있다. 비행 환경이란, 무인 이동체(101)가 비행하는 위치를 기준으로 무인 이동체(101)에게 직접 또는 간접적으로 영향을 미치는 자연적, 사회적 조건 또는 상황을 의미할 수 있다. 일례로, 무인 이동체(101)는 센서(202)로부터 비행 환경을 인식하기 위한 정보를 수집하고, 수집된 정보로부터 공중, 지면, 해양과 같은 자연 환경 또는, 실내, 도심과 같은 인공 환경에서의 자율 비행을 위한 비행 환경을 인지할 수 있다.

S1(203)에서 무인 이동체(101)는 무인 이동체(101)에 장착된 센서들로부터 수집한 정보를 이용하여 자율 비행 중인 자신의 정확한 위치를 파악하고, 장애물을 포함한 주변의 비행 환경을 인식할 수 있다. 무인 이동체(101)는 자율 비행을 위해, 자신의 절대적 위치를 추정하고 비행 환경의 변화를 감지할 수 있다. 무인 이동체(101)는 무인 이동체(101)의 절대적 위치를 측정하기 위해 기본적인 항법 센서들을 이용할 수 있다. 그리고, 무인 이동체(101)는 항법 센서를 기반으로 절대적 위치를 추정하기 위해, GNSS(Global Navigation Satellite System) 측위 방법과 영상 정합 방법을 활용할 수 있다.

① GNSS 측위 방법

무인 이동체(101)는 GNSS를 기반으로 무인 이동체(101)가 관측된 지점에서의 경위도와 높이를 측위할 수 있다. GNSS는 인공 위성을 이용하여 지상물의 위치 · 고도 · 속도에 관한 정보를 제공하는 시스템으로, 무인 이동체(101)는 GNSS로부터 제공되는 정보를 기반으로 다수의 위성이 발신하는 전파를 이용해 물체의 위치를 측정할 수 있다. 무인 이동체(101)는 위성의 위치 정보와 전파를 이용한 거리 측정을 통해 지구상에서 3차원의 위치를 계산함으로써, 무인 이동체(101)의 절대적 위치를 측정할 수 있다.

② 영상 정합 방법

무인 이동체(101)는 GNSS 측정 방법을 통한 추정이 불가능한 경우, 또는, 추정된 결과가 부정확할 때, 사용 가능한 절대 위치를 추정하기 위한 영상 정합 방법을 활용할 수 있다. 영상 정합 방법은 2차원 지도 또는, 3차원 지도와 무인 이동체(101)에 부착된 카메라를 통해 촬영된 입력 영상을 비교하여 현재의 위치와 고도를 파악하는 방법일 수 있다. 영상 정합 방법은 입력 영상을 보정하는 전처리 과정 및 입력 영상과 지도(2차원/3차원) 간 영상을 매칭하는 영상 처리 과정을 수행할 수 있다.

여기서, 입력 영상이 촬영된 카메라와 지도(2차원/3차원)를 촬영한 카메라는 서로 다른 카메라일 수 있으며, 전처리 과정에서는 다른 카메라로 찍힌 입력 영상과 지도(2차원/3차원)를 동일한 카메라 시점으로 옮기고, 해당 입력 영상과 지도의 라인을 일대일로 일치시킬 수 있다. 무인 이동체(101)는 카메라 파라미터를 계산하는 캘리브레이션(Calibration)과 영상 왜곡을 보정하도록 영상을 변환하는 렉티피케이션(Rectification)을 적용하여 전처리 과정을 수행할 수 있다.

이후, 무인 이동체(101)는 딥러닝 기반의 영상 특정 정보 추출을 통한 엣지(Edge)와 세그멘테이션(Segmentation)의 외형 정보를 이용해 두 영상(입력 영상과 지도)을 매칭할 수 있다.

무인 이동체(101)의 절대적 위치가 결정되면, 무인 이동체(101)는 자율 비행을 하기 위해 이동 경로 상의 존재하는 장애물을 탐지할 수 있다. 무인 이동체(101)는 탐지된 장애물을 기반으로 이동 이동체(101)의 임무 수행 지역 내 비행 환경을 인지할 수 있다.

무인 이동체(101)는 자율 비행 시, 무인 이동체(101)의 절대적 위치를 기준으로 일정 반경 내 진입 또는, 진출하는 장애물을 탐지할 수 있다. 무인 이동체(101)는 초음파 센서, LiDAR(Light Detection and Ranging), 레이다, 카메라(단일 카메라, 스테레오 카메라, RGB-D 카메라) 중 적어도 하나를 포함하는 센서(202)를 사용할 수 있다. 무인 이동체(101)는 상황에 따라 센서(202)를 선택적으로 사용할 수 있다.

무인 이동체(101)는 센서(202)를 이용하여 스테레오 카메라(Stereo camera)를 통한 장애물 탐지 기술, optical -ow 기술, 그리고 특징점 추적 기술 등을 통해 장애물을 탐지할 수 있다. 이러한 기술들은 SLAM 기술에 비해 연산량이 적기 때문에 실시간 처리가 가능하며, 복잡한 장애물이 없는 단순한 환경에서의 비행 환경과 비행체 간의 상대적인 위치 파악이 가능할 수 있다.

① 정적 환경에서의 장애물 탐지

무인 이동체(101)는 무인 이동체(101)의 움직임이 없거나 또는, 미세한 상태로 정적 환경에서 무인 이동체(101)의 일정 반경 내 존재하는 장애물을 탐색할 수 있다. 이를 위해, 무인 이동체(101)는 스테레오 카메라를 이용할 수 있다. 여기서, 스테레오 카메라는 인간이 두 눈을 이용해 물체의 깊이 정보를 파악하듯 일정 거리가 떨어진 두 대의 카메라로, 무인 이동체(101)는 스테레오 카메라를 사용하여 주변 환경의 깊이 정보를 획득할 하다. 이때, 스테레오 카메라의 두 카메라에서 동시에 획득된 두 영상은 좌측 영상과 우측 영상에서 동일하게 나타나는 점들의 위치가 다를 수 있다. 이러한, 위치 차를 시차(Disparity)라고 하며, 가까운 거리에 있는 물체는 시차가 크고, 먼 거리에 있는 물체는 시차가 작게 나타날 수 있다.

이에, 무인 이동체(101)는 시차를 계산하여 무인 이동체(101)의 주변에 비행 환경의 깊이 정보를 얻고, 장애물의 근접 여부를 판단할 수 있다. 또한, 무인 이동체(101)는 별도의 센서 없이 두 대의 카메라만으로 높은 정밀도의 환경 맵(Map)을 구성할 수 있다.

② 동적 환경에서 장애물 탐지

무인 이동체(101)는 무인 이동체(101)의 움직임과 모든 움직이는 장애물의 움직임에 따른 동적 환경에서 무인 이동체(101)의 일정 반경 내 존재하는 장애물을 탐색할 수 있다. 이를 위해, 무인 이동체(101)는 Optical flow 기술을 이용할 수 있다. 여기서, Optical flow 기술은 연속하는 두 영상의 차이를 비교하여 자신의 움직임과 장면 변화를 감지할 수 있다. 이때, 같은 물체라면 영상의 밝기가 보존된다고 가정한다.

본 발명은 인접한 두 영상 간 눈에 띄는 밝기 변화가 발생한다면 물체가 움직였다는 사실을 인지하고, 인지된 물체에 대한 움직임의 속도를 계산할 수 있다. 무인 이동체(101)는 Optical flow 기술로 장애물과의 거리를 파악하기 위한 크기의 변화를 파악할 수 있다. 일례로, 무인 이동체(101)는 멀리 있던 장애물의 크기가 점점 커진다면 장애물과의 거리가 점점 가까워지는 것으로 감지할 수 있다. 이러한, 무인 이동체(101)는 영상 정보를 이용해 optical flow 방법으로 물체의 깊이 정보를 계산하고, 이를 장애물 회피를 위한 장애물을 탐지할 수 있다.

③ 특징점 추적을 통한 장애물 탐지

무인 이동체(101)는 연속하는 두 영상을 비교하여 무인 이동체(101)와 장애물의 상대적인 위치를 파악할 수 있다. 무인 이동체(101)는 두 영상 간 변화를 측정하기 위해 쉽게 변하지 않는 특징점을 영상에서 추출할 수 있다. 여기서, 특징점은 코너 점과 같이 눈에 잘 띄고 카메라나 물체의 움직임에도 쉽게 변하지 않는 특성일 수 있다. 이후, 무인 이동체(101)는 두 영상 간의 특징점을 매칭해 무인 이동체(101)와 외부 물체의 상대적인 움직임을 계산할 수 있다.

무인 이동체(101)는 탐지된 장애물의 위치에 따른 무인 이동체(101)의 상대적 위치 및 무인 이동체(101)의 절대적 위치를 고려하여 비행 환경에 관한 3차원 기반의 장애물을 회피하기 위한 밀집 지도를 생성할 수 있다.

무인 이동체(101)는 장애물의 유무에 따른 무인 이동체(101)와 장애물에 대해 격자 좌표로 표현된 밀집 지도를 생성할 수 있다. 무인 이동체(101)는 SLAM 기술을 이용하여 탐지된 장애물을 기반으로 장애물 간의 거리 정보를 포함하는 밀집 지도를 점진적으로 생성할 수 있다. 여기서, SLAM 기술은 무인 이동체(101)의 위치를 계산하면서 동시에 정적인 외부 환경과 움직이는 물체를 파악할 수 있다. 밀집 지도는 장애물 탐지 및 회피를 위한 외부 환경에 대한 풍부한 정보를 포함할 수 있다.

무인 이동체(101)는 탐지된 장애물을 수집한 카메라의 움직임을 추적하고, 추적된 카메라의 연속한 두 영상 간 특징점을 매핑하여 3차원의 밀집 지도를 생성할 수 있다. 무인 이동체(101)는 장애물의 배치(또는, 위치)를 최적화하기 위해 수천 개의 특징점을 매핑할 수 있다. 일례로, 무인 이동체(101)는 단일 카메라 기반 PTAM(Parallel Tracking and Mapping) 알고리즘을 이용하여 추적과 매핑(Mapping)을 독립적으로 분리하고 각각을 추적 스레드(카메라의 움직임을 추적)와 매핑 스레드(특징점 매핑)로 병렬 스레드(read)로 처리할 수 있다.

무인 이동체(101)는 밀집 지도의 스케일 값을 계산하기 위한 초음파 센서와 전방의 카메라를 사용해 실내 자율 비행을 위해 수집된 입력 영상으로부터 무인 이동체(101)의 위치를 계산하고 포인트 클라우드(Point cloud) 형태의 환경에 대한 3차원의 밀집 지도를 생성할 수 있다. 일례로, 무인 이동체(101)는 ORB-SLAM(Oriented Fast and Rotated Brief SLAM) 알고리즘을 이용할 수 있다.

또한, 무인 이동체(101)는 센서를 통해 감지된 객체의 종류를 인식하여 실제 존재하는 장애물의 종류를 구분할 수 있다. 일례로, 무인 이동체(101)는 센서를 통해 수집된 입력 영상에 대해 의미론적 분할을 수행하여 각 물체를 인식하고, 인식된 각 물체에 대응하는 장애물의 종류를 구분할 수 있다. 무인 이동체(101)는 사람이 있는지, 주위에 어떤 사물이 있는지, 이동 가능한 물체가 있는지를 장애물의 종류로 분류할 수 있다.

인지된 장애물의 종류에 근거해서 무인 이동체(101)는 무인 이동체의 비행 상황을 추론할 수 있다. 나무나 호수와 같은 자연물이 있는 실외 공간과 책상, 창문과 같은 실내 공간을 구별할 수 있고, 주위에 사람이 있는지 여부에 따라 조심스러운 비행 여부를 결정할 수 있다. 상세하게, 무인 이동체(101)는 밀집 지도에 표현된 장애물의 밀집도를 고려하여 무인 이동체의 비행 지형을 판단할 수 있다. 장애물의 밀집도는 현재 비행 중인 고도 상 이동가능 영역 대비 장애물의 점유율을 통해 계산한다. 비행 고도에 따라 높은 공중을 비행하는 경우 해당 고도의 비어 있는 영역 대비 장애물의 점유율은 현저히 낮을 것이고, 저고도 비행 시에는 상대적으로 장애물의 점유율이 높을 것이다. 무인 이동체(101)는 비행 지형에 따른 상기 무인 이동체와 장애물 간에 충돌 위험에 관한 비행 상황을 추론할 수 있다.

일례로, 개활지에 인접한 장애물이 없고, 비행 가능 영역이 확보된 곳이라고 인지되면, 무인 이동체(101)는 적응적 의사 결정 과정을 거쳐, 최대 속도를10m/s 수준으로 높여도 된다는 비행 상황을 추론할 수 있다. 반대로, 비행 가능 영역이 제한적이고 장애물이 많아 충돌 위험이 크다고 인지되면, 무인 이동체(101)는 안전하게 비행하도록 적응적 의사 결정 과정을 거쳐, 최대 속도를 1m/s 수준으로 낮춘다는 비행 상황을 추론할 수 있다.

무인 이동체(101)는 추론된 비행 상황을 기반으로 적응적 의사 결정을 수행할 수 있다. 다시 말해, 무인 이동체(101)는 비행 상황에 따라 필요에 따라 일시적(Tentativeness)으로 진로를 수정하는 적응적 의사 결정을 수행할 수 있다. 적응적 의사 결정은 임무 수행을 위한 목표 지점까지 도달하기 위한 비행 환경과의 상호 작용을 통한 안전한 선택으로써, 진로의 수정을 결정할 수 있다.

도 3은 본 발명의 일실시예에 따른 무인 이동체의 경로를 계획하는 세부적인 동작을 설명하기 위해 도시한 도면이다.

도 3을 참고하면, 무인 이동체(101)는 딥러닝 기반의 영상 인식 기술 및 객체 추적 기술을 통해 무인 이동체(101)의 자율 비행을 위한 다양한 시나리오를 설정할 수 있다. 무인 이동체(101)는 특정한 경로를 지정하지 않더라도, 카메라를 통해 촬영된 영상으로부터 비행 가능 영역을 결정하고, 비행 가능 영역에 따라 자율 비행을 수행할 수 있다. 비행 가능 영역은 라이다나 카메라와 같은 센서를 통해 3차원 공간 상의 정보를 획득을 통해 계산될 수 있다. 무인 이동체(101)는 센서의 감지 거리 내 장애물이 없는 영역에 대해 모두 비어 있다고 판단할 수 있다. 무인 이동체(101)는 이에 대해 2차원이나 3차원 지도로 나타낼 수 있으며, 무인 이동체와 장애물 간의 이격 거리는 무인 이동체의 너비(수십cm~ 1m)를 고려해 그 이하일 경우 충돌 위험이 있다고 판단할 수 있다.

또한, 무인 이동체(101)는 일정 범위에 존재하는 장애물에 대한 구분이 가능하므로 지면에 이동하는 사람에게 위협이 가지 않도록 비행 환경을 충분히 고려한 후, 보다 안전한 자율 비행을 하도록 무인 이동체의 경로를 계획할 수 있다.

자세하게, 무인 이동체(101)는 무인 이동체(101)의 동특성을 고려하여 무인 이동체(101)가 추종하기에 적합한 경로를 생성하는 운동 계획(motion planning)을 수립할 수 있다. 운동 계획은 무인 이동체(101)가 무인 이동체(101)의 특성에 맞게 기동하기 위해, 동적인 제약 조건이 더이상 무시될 수 없는 조건에서의 경로를 계획하는 것을 의미할 수 있다. 무인 이동체(101)는 운동 계획에 따른 계층적 구조로, 광역적 경로 및 국소적 경로를 계획할 수 있다.

① 광역적 경로 계획

무인 이동체(101)는 무인 이동체(101)의 비행 경로를 결정함에 있어, 기하학적으로 장애물과 충돌하지 않는 경로점들의 집합을 생성하는 광역적 경로를 생성할 수 있다. 무인 이동체(101)는 크게 탐색 기반(Search-based) 알고리즘과 샘플링 기반(Sampling-based) 알고리즘으로 구분하여 광역적 경로를 생성할 수 있다.

ⓐ 탐색 기반 알고리즘

탐색 기반 알고리즘은 지도상의 장애물 정보를 그래프(graph)로 변환한 후, 출발 꼭짓점에서 목표 꼭짓점까지 최적 경로를 탐색하는 알고리즘일 수 있다. 여기서, 그래프는 꼭짓점(vertice)과 꼭짓점과 꼭짓점 사이를 잇는 엣지로 구성될 수 있다. 최적 경로를 결정하기 위해서는 각 꼭짓점에 대한 비용 함수를 정의하며, 비용 함수는 출발 꼭짓점에서 현재 꼭짓점까지의 경로 가중치와 현재 꼭짓점에서 목표 꼭짓점까지의 추정 경로 가중치의 합으로 표현될 수 있다.

무인 이동체(101)는 장애물에 대한 정보가 사전에 공개되거나 또는, 탐색 중간에 돌발 장애물이 나타날 경우를 고려하여 그래프화 된 기존의 밀집 지도를 업데이트하여 새로운 최적 경로를 효율적으로 재계산을 수행함으로써, 광역적 경로를 결정할 수 있다.

일례로, 무인 이동체(101)는 시작점에서부터 목표점을 향해 점진적으로 비용 함수의 총합이 작은 방향으로 다음 경로점을 찾아가거나, 또는, 목표점에서의 비용 함수가 0으로 정의되며 목표점에서부터 시작점을 향해 탐색을 수행하는 광역적 경로를 생성할 수 있다.

ⓑ 샘플링 기반 알고리즘

무인 이동체(101)는 샘플링 기반 알고리즘을 기반으로 복잡한 고차원 공간에서도 빠른 시간 안에 적절한 경로를 효율적으로 검색하여 광역적 경로를 생성할 수 있다. 샘플링 기반 알고리즘 중 가장 보편적으로 사용되는 알고리즘은 RRT(Randomly-exploring Random Tree) 알고리즘이며, RRT 알고리즘은 경로 계획을 위해 시작점에서부터 목표점까지 점진적으로 트리(Tree)를 구축하는 방식을 사용할 수 있다. 이를 위해, 무인 이동체(101)는 우선적으로 장애물과의 충돌이 없는 공간에서 무작위 샘플(Sample)을 추출하고, 샘플이 추출되면 그 샘플과 현재까지 구축된 트리에서 가장 가까운 노드 사이에 연결이 시도될 수 있다. 여기서, 연결은 동역학적 구속 조건과 같은 제한조건을 만족하면서도 장애물과의 충돌이 없을 때만 가능하며, 연결이 가능한 경우에만 해당 샘플은 트리의 새 노드로 추가될 수 있다.

무인 이동체(101)는 이러한 과정을 반복해 나가면서 시작점에서 목표점까지 하나의 연결된 궤적이 만들어질 때까지 트리를 아직 탐색되지 않는 공간으로 확장함으로써, 광역적 경로를 생성할 수 있다.

또한, 무인 이동체(101)는 샘플링 기반 알고리즘을 기반으로 재연결(Rewiring) 연산을 추가 수행하여 현재까지 구축된 트리의 구조를 수정함으로써 점근적 최적성(Asymptotic optimality)을 보장함으로써, 광역적 경로를 생성할 수 있다. 여기서, 점근적 최적성이란 알고리즘의 반복 횟수가 무한대에 가까워짐에 따라 최적 해를 포함할 확률이 1에 접근하는 것을 의미할 수 있다. 그리고, 재연결 연산은 현재 샘플이 연결되어 있는 노드의 비용과 일정 반경 이내에 위치한 주변 노드와 재연결되었을 때의 비용을 비교하여, 후자의 비용이 더 낮을 경우 기존의 노드와의 연결을 끊고 새로운 노드와 연결하는 것을 의미할 수 있다. 무인 이동체(101)는 상술한 재연결 연산을 통해 비행 경로의 수정을 반복해 나감에 따라 계획된 비행 경로가 점근적으로 최적 해에 수렴하게 됨으로써, 광역적 경로를 생성할 수 있다.

② 국소적 경로 계획

무인 이동체(101)는 광역적 경로가 생성된 이후에 단계로, 광역적 경로에 포함된 임의의 두 경로점 사이에 동적으로 실현 가능한 부드러운 궤적을 생성하여 국소적 경로를 계획할 수 있다. 국소적 경로를 계획함에 있어, 가장 간단하게는 경로점과 경로점을 직선으로 연결할 수 있다. 다만, 경로점을 직선으로 연결하는 경우, 무인 이동체(101)의 기동을 요구하는 구간에서의 제어 명령이 실제 구동기가 작용할 수 있는 값의 한계보다 커서 구동기의 포화(Satu-ration)가 발생할 수 있다. 이에, 무인 이동체(101)는 무인 이동체(101)가 보다 쉽게 추종할 수 있도록 무인 이동체의 동특성을 반영한 궤적을 만들기 위해 다양한 방법들이 제안될 수 있다.

무인 이동체(101)는 minimum snap trajectory를 이용하여 동역학적으로 실현 가능한 곡선 궤적을 통한 국소적 경로를 계획할 수 있다. Minimum snap trajectory은 대표적인 최적화 문제에 해당하는 2점 경계치 문제(Two-point boundary value problem)의 해를 결정하는 기술일 수 있다. 여기서, 2점 경계치 문제의 성능 지수는 snap의 크기를 단위 시간 동안 적분한 것이며, 성능 지수를 최소화하는 동안 각 경로점에서 요구되는 경계치 조건과 경로점과 경로점 사이에서 요구되는 동역학과 관련된 구속 조건을 만족시켜야 한다. 특히, minimum snap trajectory는 성능 지수를 최소화함에 따라 모터에 요구되는 토크(Torque) 명령의 크기가 최소화된다는 장점을 가질 수 있으며, snap을 최소화함에 따라 제어에 필요한 노력도 감소하는 효과를 얻을 수 있다.

Minimum snap trajectory는 B-spline, 베지어 곡선(Bezier curve)과 같은 대표적인 기하학적 곡선뿐만 아니라 시간에 대한 n차 다항식으로 모델링될 수 있다. 경로점과 경로점을 연결하는 궤적을 시간에 대한 n차 다항식으로 모델링한다면, 2점 경계치 문제의 결정 변수는 n차 다항식의 계수이다.

도 4는 본 발명의 일실시예에 따른 광역적 경로 및 국소적 경로를 설명하기 위해 도시한 도면이다.

무인 이동체(101)는 비행 경로를 계획함에 있어, 광역적(Global) 경로 계획과 국소적(Local) 경로 계획으로 구성된 2단계 계층구조를 가질 수 있다.

도 4의 (a)를 참고하면 상위 단계에 해당하는 광역적 경로 계획에서는 장애물과의 충돌이 발생하지 않기 위해 기하학적 조건만 만족하는 경로를 계획할 수 있다. 광역적 경로 계획의 결과물은 수 개의 경로점으로 이루어진 경로점들의 집합이며, 경로점을 생성하는 과정에서 무인 이동체의 동역학은 고려되지 않는다.

무인 이동체(101)는 딥러닝 기반의 운동 계획을 수행하며, 오프라인에서 장애물이 없는 공간을 가정하고 무인 이동체의 동특성을 고려한 경로점을 생성할 수 있다. 또한, 무인 이동체(101)는 경로점 간의 비용을 저장하는 탐색표(Look-up table)를 구축하고, 탐색표를 SVM(Support Vector Machine) 기법을 이용하여 학습을 수행할 수 있다. 이후, 무인 이동체(101)는 온라인 상에서 학습된 탐색표를 바탕으로 현재 경로점에서 가장 적절한 다음 경로점을 판별함으로써, 광역적 경로를 계획할 수 있다.

도 4의 (b)를 참고하면 하위 단계에 해당하는 국소적 경로 계획에서는 상위 단계에서 결정된 임의의 인접한 두 경로점 사이에 동적으로 실현 가능한 부드러운 궤적(Trajectory)을 생성할 수 있다. 즉, 상위 단계에서는 경로점을 추종할 수 있는 무인 이동체의 능력을 고려하지 않았지만, 하위 단계에서는 무인 이동체의 동특성을 반영하여 무인 이동체가 보다 쉽게 추종 가능한 궤적을 생성함으로써 주어진 궤적을 정확하게 추종하기 위한 제어 입력 생성을 용이하게 한다.

무인 이동체(101)는 기하학적으로 충돌 없는 경우 또는, 궤적이 돌발 장애물에 의해 충돌 가능성이 있을 경우에는 중간(Intermediate) 경로점을 추가하여 원래의 궤적을 보다 안전한 경로점에 더 가깝게 끌어 올리기 위한 국소적 경로를 계획할 수 있다. 또한, 무인 이동체(101)는 센서로부터 제공된 포인트 클라우드 정보에서 바로 장애물과의 충돌 없이 안전하게 비행 가능한 궤적을 생성할 수 있다. 포인트 클라우드는 3차원 좌표를 가지고 있는 점들로 불규칙하게 구성된 자료를 말하며, 다양한 센서 유형에 적용할 수 있는 가장 낮은 수준의 거리 측정 방식이다.

도 5는 본 발명의 일실시예에 따른 무인 이동체의 비행을 제어하는 세부적인 동작을 설명하기 위해 도시한 도면이다.

도 5를 참고하면, 무인 이동체(101)는 무인 이동체(101)의 비행 상황을 고려하여 무인 이동체(101)의 적정 속도를 결정할 수 있다. 무인 이동체(101)는 광역적 경로 및 국소적 경로를 기반으로 무인 이동체의 위치 및 자세를 제어하기 위한 무인 이동체의 적정 속도를 결정할 수 있다. 무인 이동체(101)는 주어진 경로를 정확하게 따라가게 하기 위한 위치 제어와 비행 시 안정된 자세를 유지하기 위한 자세 제어를 수행할 수 있다. 일례로, 무인 이동체(101)는 이동 중 자세 제어함에 있어, 전진하는 방향을 헤드 방향으로 두도록 방향을 전환할 수 있다. 또한, 무인 이동체(101)는 일반적으로 안정적인 자세 유지를 위해 좌우 기울임을 최소로 유지하며 수평을 유지하도록 각 로터 별로 가속도를 조절할 수 있다.

도 6은 본 발명의 일실시예에 따른 속도 제어 방법을 설명하기 위해 도시한 도면이다.

본 발명은 무인 이동체의 자율 비행에 대한 수요가 증가함에 있어, 무인 이동체의 자율 비행의 수준을 높이고, 무인 이동체 뿐만 아니라, 인간의 안전을 확보하기 위한 무인 이동체의 속도 제어 방법을 제안할 수 있다.

단계(601)에서 무인 이동체는 무인 이동체에 설치된 센서를 이용하여 상기 무인 이동체의 일정 반경 내 존재하는 장애물을 탐색할 수 있다. 자세하게, 무인 이동체는 무인 이동체의 비행 방향으로 이동하면서, 센서의 화각(FOV) 내 무인 이동체로 접근하는 장애물을 검출할 수 있다. 무인 이동체는 센서와 장애물과의 거리 정보, 깊이 정보 중 적어도 하나를 이용하여 무인 이동체의 일정 반경 내 복셀 단위(voxel)의 장애물을 탐색할 수 있다.

무인 이동체는 장애물의 유무에 따른 무인 이동체와 장애물 간의 이격 거리를 기반으로 격자 좌표로 표현된 장애물에 관한 밀집 지도를 생성할 수 있다. 무인 이동체는 밀집 지도를 통해 무인 이동체와 인접한 장애물의 밀집도를 계산할 수 있다. 여기서, 장애물의 밀집도는 센서의 화각 내 비행 방향에서의 좌표 단위에 따른 장애물가 배치된 집중 정도를 의미할 수 있다. 자세하게, 격자 좌표로 표현된 밀집 지도는 각 격자별 위치에 장애물의 유무에 따라 점유, 또는 비어있는 공간으로 표기될 수 있다. 따라서, 본 발명은 격자가 10개이고 이 중 센서를 통해 점유된 영역으로 파악된 격자가 2개이면 장애물의 밀집도는 20% 를 나타낼 수 있으며, 밀집도를 계산할 때 무인 이동체의 현재 위치를 기준으로 일정 범위만을 판단 기준으로 삼을 수 있다. 또는, 무인 이동체는 무인 이동체의 예상 경로를 기준으로 주위의 장애물 밀집도를 계산할 수 있다.

그리고, 무인 이동체는 탐지된 장애물의 종류를 결정할 수 있다. 무인 이동체는 센서를 통해 수집된 입력 영상에 대해 의미론적 분할을 수행하여 입력 영상에 포함된 장애물의 종류를 구분할 수 있다. 무인 이동체는 밀집 지도에 표현된 장애물의 외형 정보, 이동 유무 중 적어도 하나를 고려하여 장애물의 종류로 구분할 수 있다.

무인 이동체는 무인 이동체에 설치된 센서를 통해 탐지된 장애물의 위치를 고려하여 무인 이동체의 비행 가능 영역을 판단할 수 있다. 무인 이동체는 밀집 지도에 표현된 장애물의 밀집도를 고려하여 무인 이동체의 비행 지형을 판단할 수 있다. 무인 이동체는 무인 이동체의 비행 지형에 따른 비행 가능 영역을 판단할 수 있다.

단계(602)에서 무인 이동체는 무인 이동체에 설정된 기존 경로를 이용하여 밀집 지도 및 장애물의 종류로부터 무인 이동체의 비행 상황을 추론할 수 있다. 무인 이동체는 비행 지형에 따른 비행 가능 영역을 고려하여 무인 이동체와 장애물 간에 충돌 위험에 관한 비행 상황을 추론할 수 있다. 무인 이동체는 충돌 위험에 관한 비행 상황에 대응하여 기하학적으로 장애물과의 충돌이 없는 안전한 경로를 탐색하기 위한 광역적 경로 및 기체의 동역학적 움직임을 고려한 국소적 경로를 결정할 수 있다.

단계(603)에서 무인 이동체는 무인 이동체는 무인 이동체의 FOV 내 비행 방향에 대한 장애물의 밀집도 및 장애물의 종류에 대한 신뢰도를 계산할 수 있다. 여기서, 신뢰도는 장애물의 밀집도와 판단된 장애물의 종류에 대해 오차율을 나타낼 수 있다. 여기서, 장애물 종류에 대한 신뢰도는 학습된 데이터를 통해 영상 내 물체를 보고 판단하는 신뢰 수준을 표현하는 확률 값으로, 1이 최댓값이다. 수십가지의 장애물 카테고리 중 해당 장애물일 확률을 각각 나타내며 그 수가 클수록 신뢰할 만하다고 판단할 수 있다.

이에, 신뢰도가 높을수록 장애물의 밀집도에 대한 결정과 판단된 장애물의 종류에 대한 구분의 정확도가 높다는 것을 의미하며, 측정의 오차가 낮을 수 있다. 반대로, 신뢰도가 낮을수록 장애물의 밀집도와 장애물의 종류에 대한 정확도가 낮은 것으로, 측정의 오차가 높을 수 있다.

단계(604)에서 무인 이동체는 충돌 위험에 관한 비행 상황에 대한 계산된 신뢰도를 결합하여 무인 이동체의 비행 속도를 제어하기 위한 효율적인 의사 결정을 내림으로써, 장애물을 적응적으로 회피하면서 자율 비행을 수행할 수 있다.

일례로, 무인 이동체는 충돌 위험이 높은 비행 상황에 대한 신뢰도가 높게 나타난 경우, 비행 속도를 안전한 수준으로 낮추도록 제어할 수 있다. 반대로, 무인 이동체는 충돌 위험이 높은 비행 상황에 대한 신뢰도가 낮게 나타난 경우, 비행 속도를 일부로 떨어뜨리는 의사결정이 이루어 지지 않을 것이다.

한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

101: 무인 이동체

Claims

무인 이동체에 설치된 센서를 이용하여 상기 무인 이동체의 일정 반경 내 존재하는 장애물을 탐색하는 단계;
상기 장애물의 유무에 따른 상기 무인 이동체와 장애물에 대해 격자 좌표로 표현된 밀집 지도를 생성하는 단계;
상기 밀집 지도에 표현된 장애물의 종류를 구분하여, 상기 구분된 장애물의 종류로부터 무인 이동체의 비행 상황을 추론하는 단계; 및
상기 무인 이동체의 비행 상황을 고려하여 상기 무인 이동체의 적정 속도를 결정하는 단계;
를 포함하는 속도 제어 방법.
제1항에 있어서,
상기 장애물을 탐색하는 단계는,
상기 무인 이동체의 비행 방향으로 이동하면서, 센서의 화각(FOV) 내 무인 이동체로 접근하는 장애물을 검출하는 속도 제어 방법.
제1항에 있어서,
상기 장애물을 탐색하는 단계는,
상기 센서와 장애물과의 거리 정보, 깊이 정보 중 적어도 하나를 이용하여 상기 무인 이동체의 일정 반경 내 복셀 단위(voxel)의 장애물을 탐색하는 속도 제어 방법.
제1항에 있어서,
상기 무인 이동체의 비행 상황을 추론하는 단계는,
상기 밀집 지도에 표현된 장애물의 외형 정보, 이동 유무 중 적어도 하나를 고려하여 장애물의 종류로 구분하는 속도 제어 방법.
제1항에 있어서,
상기 무인 이동체의 비행 상황을 추론하는 단계는,
상기 밀집 지도에 표현된 장애물의 밀집도를 고려하여 상기 무인 이동체의 비행 지형을 판단하는 단계; 및
상기 비행 지형에 따른 상기 무인 이동체와 장애물 간에 충돌 위험에 관한 비행 상황을 추론하는 단계;
를 포함하는 속도 제어 방법.
제1항에 있어서,
상기 무인 이동체의 적정 속도를 결정하는 단계는,
상기 비행 상황에 따른 무인 이동체의 비행 가능 영역을 판단하는 단계; 및
상기 비행 가능 영역을 기반으로 무인 이동체의 광역적 경로 및 국소적 경로를 계획하여 상기 무인 이동체의 적정 속도를 결정하는 단계;
를 포함하는 속도 제어 방법.
제6항에 있어서,
상기 무인 이동체의 적정 속도를 결정하는 단계는,
상기 광역적 경로 및 국소적 경로를 기반으로 무인 이동체의 위치 및 자세를 제어하기 위한 상기 무인 이동체의 적정 속도를 결정하는 속도 제어 방법.
무인 이동체에 설치된 센서를 통해 탐지된 장애물의 위치를 고려하여 상기 무인 이동체의 비행 가능 영역을 판단하는 단계;
상기 무인 이동체의 비행 가능 영역을 기반으로 상기 무인 이동체의 경로를 결정하는 단계; 및
상기 무인 이동체의 경로에 대응하여 상기 무인 이동체의 위치 및 자세를 제어하기 위한 상기 무인 이동체의 적정 속도를 결정하는 단계;
를 포함하는 속도 제어 방법.
제8항에 있어서,
상기 무인 이동체의 비행 가능 영역을 판단하는 단계는,
상기 무인 이동체의 비행 방향으로 이동하면서, 센서의 화각(FOV) 내 무인 이동체로 접근하는 장애물을 검출하는 단계;
상기 검출된 장애물의 위치에 따른 밀집 지도를 생성하고, 상기 밀집 지도를 기반으로 밀집 지도에 표현된 장애물의 종류를 구분하는 단계; 및
상기 구분된 장애물의 종류로부터 무인 이동체의 비행 상황을 추론하여 무인 이동체의 비행 가능 영역을 판단하는 단계
를 포함하는 속도 제어 방법.
제9항에 있어서,
상기 무인 이동체의 비행 가능 영역을 판단하는 단계는,
상기 밀집 지도에 표현된 장애물의 밀집도에 따른 상기 무인 이동체의 비행 지형을 판단하여 상기 무인 이동체와 장애물 간에 충돌 위험에 관한 비행 상황을 추론하는 속도 제어 방법.
제8항에 있어서,
상기 무인 이동체의 경로를 결정하는 단계는,
상기 비행 가능 영역을 기반으로 무인 이동체와 장애물과의 충돌이 발생하지 않는 복수의 경로점으로 이루어진 광역적 경로를 결정하는 단계; 및
상기 광역적 경로를 구성하는 복수의 경로점을 서로 연결한 국소적 경로를 결정하여 상기 무인 이동체의 경로를 결정하는 단계;
를 포함하는 속도 제어 방법.
제11항에 있어서,
상기 무인 이동체의 적정 속도를 결정하는 단계는,
상기 국소적 경로에 따른 장애물과의 충돌 회피가 가능한 궤적에 대응하여 상기 무인 이동체의 위치 및 자세를 제어하기 위한 무인 이동체의 적정 속도를 결정하는 속도 제어 방법.
프로세서를 포함하는 무인 이동체에 있어서,
상기 프로세서는,
무인 이동체에 설치된 센서를 이용하여 상기 무인 이동체의 일정 반경 내 존재하는 장애물을 탐색하고,
상기 장애물의 유무에 따른 상기 무인 이동체와 장애물에 대해 격자 좌표로 표현된 밀집 지도를 생성하고,
상기 밀집 지도에 표현된 장애물의 종류를 구분하여, 상기 구분된 장애물의 종류로부터 무인 이동체의 비행 상황을 추론하고,
상기 무인 이동체의 비행 상황을 고려하여 상기 무인 이동체의 적정 속도를 결정하는 무인 이동체.
제13항에 있어서,
상기 프로세서는,
상기 밀집 지도에 표현된 장애물의 밀집도를 고려하여 상기 무인 이동체의 비행 지형을 판단하고,
상기 비행 지형에 따른 상기 무인 이동체와 장애물 간에 충돌 위험에 관한 비행 상황을 추론하는 무인 이동체.
제13항에 있어서,
상기 프로세서는,
상기 비행 상황에 따른 무인 이동체의 비행 가능 영역을 판단하고,
상기 비행 가능 영역을 기반으로 무인 이동체의 광역적 경로 및 국소적 경로를 계획하여 상기 무인 이동체의 적정 속도를 결정하는 무인 이동체.
제15항에 있어서,
상기 프로세서는,
상기 광역적 경로 및 국소적 경로를 기반으로 무인 이동체의 위치 및 자세를 제어하기 위한 상기 무인 이동체의 적정 속도를 결정하는 무인 이동체.
프로세서를 포함하는 무인 이동체에 있어서,
상기 프로세서는,
무인 이동체에 설치된 센서를 통해 탐지된 장애물의 위치를 고려하여 상기 무인 이동체의 비행 가능 영역을 판단하고,
상기 무인 이동체의 비행 가능 영역을 기반으로 상기 무인 이동체의 경로를 결정하고,
상기 무인 이동체의 경로에 대응하여 상기 무인 이동체의 위치 및 자세를 제어하기 위한 상기 무인 이동체의 적정 속도를 결정하는 무인 이동체.
제17항에 있어서,
상기 프로세서는,
상기 무인 이동체의 비행 방향으로 이동하면서, 센서의 화각(FOV) 내 무인 이동체로 접근하는 장애물을 검출하고,
상기 검출된 장애물의 위치에 따른 밀집 지도를 생성하고, 상기 밀집 지도를 기반으로 밀집 지도에 표현된 장애물의 종류를 구분하고,
상기 구분된 장애물의 종류로부터 무인 이동체의 비행 상황을 추론하여 무인 이동체의 비행 가능 영역을 판단하는 무인 이동체.
제17항에 있어서,
상기 프로세서는,
상기 비행 가능 영역을 기반으로 무인 이동체와 장애물과의 충돌이 발생하지 않는 복수의 경로점으로 이루어진 광역적 경로를 결정하고,
상기 광역적 경로를 구성하는 복수의 경로점을 서로 연결한 국소적 경로를 결정하여 상기 무인 이동체의 경로를 결정하는 무인 이동체.
제19항에 있어서,
상기 프로세서는,
상기 국소적 경로에 따른 장애물과의 충돌 회피가 가능한 궤적에 대응하여 상기 무인 이동체의 위치 및 자세를 제어하기 위한 무인 이동체의 적정 속도를 결정하는 무인 이동체.