KR20210115985A - 정밀 지도를 이용한 로봇 반자율주행 시스템 - Google Patents

Abstract

본 발명은 정밀 지도를 이용한 로봇 반자율주행 시스템에 관한 것으로서, 상세하게는 정밀지도, 영상 처리 기법 및 주행 이력 통계를 활용하는 것으로서, 상기 정밀지도를 통해서는 자율 주행 엔진이 생성한 경로 상에서 앞으로 진행할 경로의 턱, 기울기, 노면 상태, 계단, 고정 시설물 등 주행에 어려움을 주는 정보를 수집하고, 수집된 장애물의 종류에 따라 가중치 및 갯수를 고려한 결과값이 특정한 임의의 값 이상이면 직접 조종이 필요한 상황으로 판단하고, 상기 주행 이력 통계를 통하여, 주행할 경로 상에서 기존의 주행 로봇들이 주행한 이력을 확인하여, 막힘, 충돌, 멈춤 또는 전복을 포함하는 비정상 주행이 일어난 경우 직접 조종이 lfdy한 상황으로 판단하고, 카메라 기반의 오브젝트 디텍션 알고리즘을 활용하여, 주행 방향의 영상 내 인식된 사람, 차량을 포함하는 주행 장애 요소가 특정 갯수 이상 발견될 경우 직접 조종이 필요한 상황으로 판단하는 것을 특징으로 하는 정밀 지도를 이용한 로봇 반자율주행 시스템에 관한 것이다.

Description

정밀 지도를 이용한 로봇 반자율주행 시스템{ROBOT SEMI-AUTONOMOUS DRIVING SYSTEM UNSING A DETAILED MAP}

본 발명은 정밀 지도를 이용한 로봇 반자율주행 시스템에 관한 것이다.

현재 주행 로봇의 자율주행 기술은 완벽하지 않다. 여러 알고리즘 또는 AI 기술, 고성능 센서 등이 주행 로봇에 적용되어 사용되고 있으나 현재 기술 및 제도 상, 온전한 자율주행은 어려운 상황이다.

이를 해결하기 위해 현재 자율주행 로봇을 운용할 때, 주행 보조를 위한 인력을 두어 해당 인력이 수 대의 주행 로봇으로부터 제공되는 카메라 영상을 확인하고, 조종 및 조작이 필요한 경우 제어장치를 해당 로봇에 연결하여 직접 조작을 실행한다.

그러나, 이와 같은 경우에도 다수의 주행 로봇으로부터 들어오는 영상을 항상 실시간으로 모니터링해야 하기 때문에 비효율적이며 인건비가 많이 발생한다. 또한 다수의 로봇을 모니터링하기 때문에 자율주행이 어려운 구간이 발생하더라도 이를 인지하지 못할 수 있다.

해당 상황에 실제 사람의 제어가 필요한지 확실하지 않다. 모호한 판단기준으로 인간이 판단할 수 밖에 없으며 이는 불필요한 제어 및 제어가 필요함에도 직접 제어를 하지 않는 상황을 만들어 비효율적이고 불안정한 반자율주행의 원인이 된다.

또한 원격 조종 방식은 네트워크를 통해 영상을 전송해야 하기 때문에, 사람이 판단하여 로봇의 제어권을 얻기까지 네트워크 상에서의 지연 시간이 생긴다. 때문에 관리자가 제어의 필요성을 판단한 순간에 이미 로봇은 해당 구간을 주행하는 경우가 발생한다.

본 발명은 상기 서술한 바와 같이, 다수의 주행 로봇으로부터 들어오는 영상을 항상 실시간으로 모니터링 하여야 하므로 비효율적이고 비용이 더 발생한다는 점, 자율주행이 어려운 구간에도 인지하지 못한다는 점, 사람의 판단이 관여될 수 밖에 없고, 사람과 장치 간 원격지 간 연결에 Efkms 지연 시간이 발생된다는 점을 해결하고자 한다.

정밀지도, 영상 처리 기법 및 주행 이력 통계를 활용하는 것으로서, 상기 정밀지도를 통해서는 자율 주행 엔진이 생성한 경로 상에서 앞으로 진행할 경로의 턱, 기울기, 노면 상태, 계단, 고정 시설물 등 주행에 어려움을 주는 정보를 수집하고, 수집된 장애물의 종류에 따라 가중치 및 갯수를 고려한 결과값이 특정한 임의의 값 이상이면 직접 조종이 필요한 상황으로 판단하고, 상기 주행 이력 통계를 통하여, 주행할 경로 상에서 기존의 주행 로봇들이 주행한 이력을 확인하여, 막힘, 충돌, 멈춤 또는 전복을 포함하는 비정상 주행이 일어난 경우 직접 조종이 필요한 상황으로 판단하고, 카메라 기반의 오브젝트 디텍션 알고리즘을 활용하여, 주행 방향의 영상 내 인식된 사람, 차량을 포함하는 주행 장애 요소가 특정 갯수 이상 발견될 경우 직접 조종이 필요한 상황으로 판단하는 것을 특징으로 하는 정밀 지도를 이용한 로봇 반자율주행 시스템을 일 수단으로 한다.

또한 알고리즘의 판단 결과에 따라 관리자에게 제어권을 넘김. 관리자는 영상 및 센서 데이터로부터 상황을 판단하여 직접 주행 또는 자율주행 여부를 결정하고, 관리자가 결정한 주행 방식에 따라 판단에 사용되는 가중치 및 threshold 값을 조정할 뿐더러, 관리자의 주행 결과는 별도 DB에 저장되어 자율 주행 AI의 학습용 데이터로 사용한다.

사람이 직접 로봇을 조종해야 하는 상황이 발생할지를 사전에 예측하여 제어권을 넘기기 때문에 기존보다 신속하게 대응할 수 있으며 안정적이다.

로봇의 주행 이력, 주변 상황들을 시스템 적으로 계산하여 자율주행 여부를 관리자에게 요청하기 때문에 기존 방식에 비해 효율적이면서도 정확하다.

관리자가 한번에 모니터링할 수 있는 로봇의 수가 증가하여, 운용시 인건비 절감(가격 절감)이 가능하다.

도 1은 수동 조작 여부 판단 모듈의 순서도이다.
도 2는 관리자 수동 조작 및 데이터 업데이트 순서도이다.
도 3은 주행로봇과 관제서버, 사용자와 주행 기록 DB의 관계를 도시한 것이다.

정밀지도, 영상 처리 기법 및 주행 이력 통계를 활용하는 것으로서, 상기 정밀지도를 통해서는 자율 주행 엔진이 생성한 경로 상에서 앞으로 진행할 경로의 턱, 기울기, 노면 상태, 계단, 고정 시설물 등 주행에 어려움을 주는 정보를 수집하고, 수집된 장애물의 종류에 따라 가중치 및 갯수를 고려한 결과값이 특정한 임의의 값 이상이면 직접 조종이 필요한 상황으로 판단하고, 상기 주행 이력 통계를 통하여, 주행할 경로 상에서 기존의 주행 로봇들이 주행한 이력을 확ㅇ니하여, 막힘, 충돌, 멈춤 또는 전복을 포함하는 비정상 주행이 일어난 경우 직접 조종이 lfdy한 상황으로 판단하고, 카메라 기반의 오브젝트 디텍션 알고리즘을 활용하여, 주행 방향의 영상 내 인식된 사람, 차량을 포함하는 주행 장애 요소가 특정 갯수 이상 발견될 경우 직접 조종이 필요한 상황으로 판단하는 것을 특징으로 하는 정밀 지도를 이용한 로봇 반자율주행 시스템을 일 수단으로 한다.

또한 알고리즘의 판단 결과에 따라 관리자에게 제어권을 넘김. 관리자는 영상 및 센서 데이터로부터 상황을 판단하여 직접 주행 또는 자율주행 여부를 결정하고, 관리자가 결정한 주행 방식에 따라 판단에 사용되는 가중치 및 threshold 값을 조정할 뿐더러, 관리자의 주행 결과는 별도 DB에 저장되어 자율 주행 AI의 학습용 데이터로 사용한다.

보다 상세하게 살펴보면, 주행로봇 센서 박스는 카메라를 포함하며 로봇에 따라 자율주행에 사용하는 GPS, IMU, laser 센서, depth camera 등을 포함한다. 그리고 주행 환경에 따라 영상에 Blur가 발생할 수 있으므로 image stabilization이 적용된 카메라를 사용하거나 filter, deep-learning 기반의 deblurring 기법을 사용하여 이미지를 가공하여 사용한다.

자율주행 모듈은 주행 구역의 정밀지도, 센서 박스에서 수집한 데이터를 기반으로 주행 경로를 생성한다. 센서 데이터 처리 모듈, Object detection, 정밀 지도에서의 Localization 모듈을 포함하며, 각 모듈들에서 얻어진 값을 바탕으로 주행 경로를 생성하고, 기계학습 또는 딥러닝을 통해 주행 데이터를 학습하여 성능을 향상시킨다. 또한, 그 성능은 주행 소요 시간, 충돌 및 전복 등의 횟수, 로봇 진동 및 충격 정도 등을 포함한다.

한편 수동 조작 여부 판단 모듈과 관련하여, 센서 박스에서 얻어진 데이터 및 자율 주행 모듈에서 가공된 데이터 (object detection 결과, localization 결과)를 사용하여 수동 조작 필요 여부를 판단하는데, 정밀 지도를 활용하여 자율주행 엔진이 생성한 경로 상에서 (앞으로 진행할 경로) 정밀 지도를 활용하여 턱, 기울기, 노면 상태, 계단, 고정 시설물 등 주행에 어려움을 주는 장애물의 정보를 수집한다. 그리고 수집한 장애물의 종류에 따른 가중치 X 개수 결과값이 특정값 이상이면 직접 조종이 필요한 상황으로 판단하고, 주행 통계를 활용하여, 주행할 경로 상에서 기존의 주행 로봇들의 주행 이력을 확인하여, 최근 막힘, 충돌, 멈춤 또는 전복 등 비정상 주행이 일어난 구간인 경우, 직접 조종이 필요한 상황으로 판단한다. 또한, Object Detection 알고리즘 활용하는데, 카메라 기반의 Object Detection 알고리즘을 사용하여, 주행 방향의 영상 내에 인식된 사람, 차량 등의 주행 장애 요소가 특정 개수 이상 발견되는 경우, 직접 조종이 필요한 상황으로 판단한다.

관제서버에서는 정밀 지도, 주행 기록 등. 자율주행 모듈, 수동 조작 여부 판단 모듈에 필요한 데이터를 제공하고, 센서 데이터, 영상 및 수동 조작 여부 판단 결과를 관리자에게 중계하며, 센서 데이터, 영상, 관리자의 판단 결과 및 수동 조작 로그를 DB에 저장하도록 한다.

관리자는 한 명의 관리자가 다수의 로봇을 관리하되, 로봇에서 수동 조작을 요청하면 데이터, 영상을 보고 수동 조작 필요 여부를 판단하여 수동으로 조작하도록 한다.

Claims (1)

1. 정밀지도, 영상 처리 기법 및 주행 이력 통계를 활용하는 것으로서,
   상기 정밀지도를 통해서는 자율 주행 엔진이 생성한 경로 상에서 앞으로 진행할 경로의 턱, 기울기, 노면 상태, 계단, 고정 시설물 등 주행에 어려움을 주는 정보를 수집하고,
   수집된 장애물의 종류에 따라 가중치 및 갯수를 고려한 결과값이 특정한 임의의 값 이상이면 직접 조종이 필요한 상황으로 판단하고,
   상기 주행 이력 통계를 통하여, 주행할 경로 상에서 기존의 주행 로봇들이 주행한 이력을 확인하여, 막힘, 충돌, 멈춤 또는 전복을 포함하는 비정상 주행이 일어난 경우 직접 조종이 lfdy한 상황으로 판단하고,
   카메라 기반의 오브젝트 디텍션 알고리즘을 활용하여, 주행 방향의 영상 내 인식된 사람, 차량을 포함하는 주행 장애 요소가 특정 갯수 이상 발견될 경우 직접 조종이 필요한 상황으로 판단하는 것을 특징으로 하는 정밀 지도를 이용한 로봇 반자율주행 시스템.
   

Images