KR102281588B1 - 운송 로봇의 실내자율주행 시스템 - Google Patents

Abstract

본 발명의 일 실시 예에 따른 자율 주행 제어 서버가 운송 로봇의 자율 주행을 보조하는 방법으로서, 상기 운송 로봇으로부터 상기 운송 로봇이 촬영한 실내 공간의 이미지를 획득하는 단계 및 상기 획득한 이미지에서 주행 가능 영역을 추출하여, 상기 실내 공간에 대한 주행 가능 영역을 학습하는 단계를 포함한다.

Description

운송 로봇의 실내자율주행 시스템{INDOOR AUTONOMOUSDRIVING SYSTEM OF TRANSPOTATION ROBOT}

본 발명은 운송 로봇의 실내 주행 시스템에 관한 것으로, 보다 자세하게는 운송 로봇이 촬영한 실내 공간 이미지를 이용하여 주행 가능 영역을 딥러닝(Deep Learning)의 기계 학습 알고리즘을 통해 학습하고, 주행 영역 내에서 장애물의 존재를 확인하여, 운송 로봇이 기 설정된 경로에 따라 정확하게 주행할 수 있는 방법 및 이를 수행하는 실내 주행 시스템에 관한 것이다.

최근 물류량이 급증함에 따라, 물류 서비스 산업에서 물류 자동화에 대한 니즈(needs)가 증가하고 있다. 이 중 물류 자동화의 일환으로, 물류 피킹(picking) 작업을 수행하는 운송 로봇이 시범적으로 도입되고 있으며, 운송 로봇은 공장이나 물류 창고 등의 대형 실내 공간에서 이동 또는 전달되는 각종 물품의 배송을 수행할 수 있다.

한편, 기존 프로세스에 대한 변화를 최소화하면서 24시간 작업이 가능한 운송 로봇의 도입을 위해서는, 실시간으로 변화하는 대형 실내 공간의 환경을 정확하게 인식하는 것이 운송 로봇의 자율 주행 동작의 핵심이라고 할 수 있다.

그에 따라, 운송 로봇은 실내 환경 변화에 대응하기 위한 다양한 기술들이 개발되어 왔으며, 대표적으로 운송 로봇에 엔코더, 적외선, 초음파 등의 센서를 장착하여 운송 로봇의 위치 변화를 측정하는 오도메트리(Odometry)자율 주행기술을 들 수 있다.

그러나 외부로부터 수신되는 정보 없이 운송 로봇이 자율 주행하는 경우, 주행 경로면 재질에 따라 운송 로봇의 밀림이 발생하거나, 운송 로봇에 부착된 센서의 오작동, 고장, 새로운 장애물의 배치 등 다양한 이유로 인해, 주행 경로의 오차가 필연적으로 발생하게 된다.

따라서 운송 로봇에 장착된 카메라로 획득한 실내 공간의 이미지를 이용하여 주행 가능 영역을 학습하고, 장애물을 인식하여 운송 로봇이 설정한 계획 경로 대로 주행할 수 있는 새로운 기술 및 시스템의 개발이 요구되며, 본 발명은 이에 관한 것이다.

한국등록특허공보 제10-1944497호(2019.01.25.)

본 발명이 해결하고자 하는 기술적 과제는 GPS를 사용할 수 없는 실내 환경에 놓여진 운송 로봇에 카메라를 부착하고, 실내 공간의 이미지를 획득하여 이를 딥 러닝의 기계 학습 알고리즘을 통해 학습함으로써, 장애물의 존재를 판단하고 및 주행 가능 영역을 추론할 수 있는 방법 및 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는 학습된 주행 가능 영역과 운송 로봇에 부착된 카메라, 센서를 활용하여 운송 로봇이 기 설정된 경로에서 벗어났는지 감지하고, 그 위치를 보정할 수 있는 방법 및 시스템을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시 예에 따른 자율 주행 제어 서버가 운송 로봇의 자율 주행을 보조하는 방법으로서, 상기 운송 로봇으로부터 상기 운송 로봇이 촬영한 실내 공간의 이미지를 획득하는 단계, 상기 획득한 이미지에서 주행 가능 영역을 추출하여, 상기 실내 공간에 대한 주행 가능 영역을 학습하는 단계, 상기 학습된 주행 가능 영역을 기초로 상기 실내 공간에 배치된 운송 로봇의 주행 현황에 따라 확정되는 주행 경로를 생성하여 상기 운송 로봇으로 송신하는 단계를 포함한다.

일 실시 예에 따르면, 상기 운송 로봇이 주행 중인 경우, 상기 주행 경로를 상기 운송 로봇으로 송신하는 단계는, 상기 운송 로봇으로부터 이미지를 획득하고, 상기 획득한 이미지를 상기 학습된 주행 가능 영역에 입력하여, 주행 가능 영역을 추론하는 단계, 상기 추론된 주행 가능 영역에서 장애물의 존재 여부를 확인하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 확인하는 단계에서 장애물이 존재하는 것으로 확인되었다면, 상기 운송 로봇과 상기 장애물 간의 상대 거리를 산출하고, 상기 상대 거리를 기초로 상기 추론된 주행 가능 영역에서의 주행 경로를 보정하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 운송 로봇과 상기 장애물과의 상대 거리는, 상기 학습된 주행 가능 영역의 치수 또는 상기 운송 로봇의 주행 정보를 기초로 산출될 수 있다.

일 실시 예에 따르면, 상기 장애물이 다른 운송 로봇인 경우,인접한 운송 로봇 각각의 주행 정보를 기초로 충돌 가능성을 판단하고, 상기 인접한 운송 로봇 각각에 기 설정된 주행 경로를 보정하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 확인하는 단계에서 장애물이 존재하지 않는 것으로 확인되었다면, 상기 이미지 및 상기 학습된 주행 가능 영역을 기초로 상기 운송 로봇의 현재 위치 좌표를 계산하고, 상기 계산된 위치 좌표와 주행 경로 확정 신호를 상기 운송 로봇으로 송신하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 주행 경로를 상기 운송 로봇으로 송신하는 단계 이후에, 상기 운송 로봇으로부터 상기 운송 로봇이 촬영한 이미지 데이터와 함께 상기 운송 로봇이 계산한 상대 위치 좌표를 수신하는 단계, 상기 수신한 이미지 데이터와 상기 학습된 주행 가능 영역을 기초로 상기 운송 로봇의 절대 위치 좌표를 계산하는 단계, 상기 상대 위치 좌표와 절대 위치 좌표 간의 차이가 오차 범위를 벗어나는지 판단하는 단계 및 상기 오차 범위를 벗어나는 것으로 판단될 경우, 상기 운송 로봇의 위치 보정 값을 산출하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 주행 경로를 상기 운송 로봇으로 송신하는 단계는, 상기 운송 로봇으로부터 경로 계획을 수신하는 단계 및 상기 수신한 경로 계획을 상기 학습된 주행 가능 영역에 입력하여, 주행 불가 영역을 확인하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 주행 불가 영역이 존재하는 것으로 확인될 경우, 상기 학습된 주행 가능 영역 내 중심선을 따라 이동하는 새로운 경로 계획을 생성하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 주행 불가 영역이 존재하는 것으로 확인될 경우, 상기 학습된 주행 가능 영역 중 상기 경로 계획과 유사도가 높은 주행 가능 영역을 탐색하여, 새로운 경로 계획을 생성하는 단계를 더 포함하고, 상기 유사도는, 상기 운송 로봇의 이동 방향 또는 상기 경로 계획에 따른 이동 거리를 기초로 산출될 수 있다.

본 발명에 의하면, GPS를 사용할 수 없는 실내 환경에서 운송 로봇에 부착된 카메라를 통해 획득한 실내 공간 이미지 정보를 이용하여 주행 가능 영역을 기계 학습 알고리즘을 통해 학습함으로써, 운송 로봇과 장애물의 상대적인 거리, 실내 공간에서 운송 로봇의 상대적인 위치를 정확하게 추론할 수 있다는 효과가 있다.

또한, 딥 러닝의 기계 학습 알고리즘을 사용하여 실내 공간에서 주행 가능 영역을 추론하는 바, 실내 공간에 변화가 생기더라도 주행 가능 영역을 정확하게 인식할 수 있다는 효과가 있다.

또한, 운송 로봇에 설치된 부수적인 센서들(예. 관성 센서, 엔코더, 라이다)을 활용하여 운송 로봇의 위치를 추정하고, 기 설정된 경로를 벗어날 경우, 학습된 주행 가능 영역을 기초로 오차를 보정하여 현재 시점에서의 최적 주행 경로를 산출할 수 있어, 운송 로봇이 효율적으로 주행할 수 있다는 효과가 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

도 1은 본 발명의 일 실시 예에 따른 실내 자율 주행 시스템의 개략적인 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 실내 자율 주행 보조 방법의 흐름을 나타낸 순서도이다.
도 3은 도 2에 도시된 S210 및 S220 단계를 구체화한 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 자율 주행 제어 서버가 주행 가능 영역을 학습하는 방식을 설명하기 위한 도면이다.
도 5는 도 2에 도시된 S230 단계를 구체화한 순서도이다.
도 6은 도 5에 도시된 S2304 단계를 구체화한 순서도이다.
도 7은 본 발명의 일 실시 에에 따른 자율 주행 제어 서버가 주행 경로를 보정하는 방식을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 자율 주행 제어 서버가 주행 경로를 보정하는 방식을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 자율 주행 제어 서버의 경로 계획 판단 방식을 설명하기 위한 순서도이다.
도 10은 본 발명의 일 실시 예에 따른 자율 주행 제어 서버가 운송 로봇의 위치를 보정하는 방식을 설명하기 위한 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

도 1은 본 발명의 일 실시 예에 따른 실내 자율 주행 시스템(1000)의 개략적인 구성을 나타낸 도면이며, 각 구성 요소들이 수행하는 기능 별로 구분한 도면이다.

도 1을 참조하면, 실내 자율 주행 시스템(1000)은 실내 공간 내 주행 가능 영역을 학습하는 자율 주행 제어 서버(100) 및 실내 공간을 주행하는 운송 로봇(200)을 포함하는 것을 확인할 수 있으며, 자율 주행 제어 서버(100)는 학습 모듈(110), 추론 모듈(120) 및 통신 모듈(130)을 포함하고, 운송 로봇(200)은 카메라 모듈(210), 주행 모듈(220) 및 통신 모듈(230)을 포함할 수 있다.

자율 주행 제어 서버(100)의 학습 모듈(110)은 실내 공간을 촬영한 이미지를 기초로 실내 공간 내 운송 로봇(200)이 주행 가능한 주행 가능 영역을 학습할 수 있다. 여기서, 실내 공간을 촬영한 이미지는 운송 로봇(200)으로부터 수신할 수 있으며, 이미지 내에서 실내 공간의 바닥면을 추론한 후 바닥면에 대한 폭과 길이, 그리드를 학습하여, 실내 공간에 대한 주행 가능 영역 모델을 획득할 수 있다.

자율 주행 제어 서버(100)의 추론 모듈(120)은 운송 로봇(200)의 현재 위치, 운송 로봇(200)이 주행하는 경로에서의 장애물의 존재, 운송 로봇(200)이 설정한 경로 계획의 유효성, 운송 로봇(200) 간의 충돌 등 실내 공간을 주행하는 적어도 하나 이상의 운송 로봇(200)이 자율 주행하는 동안 필요한 다양한 정보들을 학습된 주행 가능 영역 모델을 통해 추론할 수 있다.

예를 들어, 추론 모듈(120)은 운송 로봇(200)으로부터 경로 계획(path planning)을 수신하고, 이를 학습된 주행 가능 영역 모델에 적용하여, 막혀있는 경로는 없는지, 또 다른 운송 로봇(200)과 충돌할 가능성은 없는지, 보다 효율적인 경로가 존재하는 지 등 운송 로봇(200)이 생성한 경로 계획에 대한 유효성을 추론할 수 있다.

자율 주행 제어 서버(100)의 통신 모듈(130)은 운송 로봇(200) 또는 관리자 단말(미도시)로부터 실내 공간의 주행 가능 영역을 학습 및 추론하기 위한 다양한 정보들을 수신할 수 있다. 예를 들어, 통신 모듈(130)은 운송 로봇(200)의 식별 정보, 운송 로봇(200)으로부터 실내 공간에 대한 이미지, 운송 로봇(200)이 계산한 운송 로봇(200)의 위치 좌표, 운송 로봇(200)의 주행 정보 등을 수신할 수 있으며, 관리자 단말로부터 실내 공간에 배치된 설비의 식별 정보, 실내 공간에 배치된 새로운 설비(예. 물품을 적재하는 랙(Rack)) 정보, 새롭게 재배치된 실내 공간의 지도 정보, 실내 공간을 주행하는 운송 로봇(200)의 개수, 식별 정보 등을 수신할 수 있다.

한편, 운송 로봇(200)은 공간을 주행하는 지능형 로봇(Intelligent service robot)으로서, 외부 환경을 인식하고 스스로 상황을 판단하여 자율적으로 동작할 수 있다.

운송 로봇(200)의 카메라 모듈(210)은 운송 로봇(200)의 전후방에 배치되어, 운송 로봇(200)이 주행하는 경로를 따라 지속적으로 실내 공간의 이미지를 획득할 수 있다. 이를 위해, 카메라 모듈(210)은 일반적인 아날로그 카메라, 네트워크 카메라, 줌 카메라, 스피드 돔 카메라 중 어느 하나 이상일 수 있으며, 전후방뿐만 아니라 좌우/상하에 배치되어 실내 공간의 이미지를 획득할 수 있다.

운송 로봇(200)의 주행 모듈(220)은 실내 공간 내 운송 로봇(200)을 주행시키는 하드웨어적 구성 요소와 실내 공간을 주행하기 위한 경로 계획을 생성하는 소프트웨어적 구성 요소를 포함할 수 있다. 여기서, 주행 모듈(220)이 생성하는 경로 계획이란 전역 경로 계획(Global Path Planning), 지역 경로 계획(Local Path Planning)을 포함할 수 있다. 이때, 전역 경로 계획은 운송 로봇(200)이 출발 지점에서 목표 지점까지 자체적으로 생성한 최적의 경로 계획을 의미하고, 지역 경로 계획은 운송 로봇(200)에 구비된 센서들을 이용하여 장애물을 감지하고, 장애물의 회피를 위해 실시간으로 생성하는 경로 계획을 의미한다.

이를 위해, 운송 로봇(200)은 엔코더(Encoder), 관성센서(IMU, Inertia Measurement Unit), 적외선 센서, 초음파 센서, 라이다(LADAR) 등과 같은 센서들을 포함할 수 있으며, 상술한 센서들을 통해 운송 로봇(200)의 x좌표, y좌표, 이동 각도 등을 계산할 수 있다.

운송 로봇(200)의 통신 모듈(230)은 자율 주행 제어 서버(100)와 통신하여 실내 공간의 이미지, 주행 정보, 위치 좌표, 장애물의 존재, 경로 계획 등 운송 로봇의 주행에 관한 다양한 정보들을 주고받을 수 있다. 이를 위해, 통신부(110)는 2G/3G, LTE(Long Term Evolution), LTE-A(LTE-Advance) 및 5G 등과 같은 셀룰러 통신 네트워크를 지원할 수 있으며, Wi-Fi와 같은 무선 네트워크를 지원할 수 있다.

한편, 운송 로봇(200)이 자체적으로 인식한 위치 좌표, 경로 계획은 센서들을 통해 계산한 상대적인 위치 좌표이기 때문에, 운송 로봇(200)이 생성한 정보들은 실내 공간의 주행 경로면 재질의 변화나 마찰력의 발생, 운송 로봇(200)에 구비된 센서의 오작동 등 예측 불가능한 다양한 돌발 상황에서 정확도가 떨어지게 된다. 그에 따라, 운송 로봇(200)은 자율 주행 제어 서버(100)가 실내 공간의 이미지를 이용하여 학습한 주행 가능 영역 모델을 기초로 주행 경로에 대한 정보를 제공받을 수 있다.

이하에서는 자율 주행 제어 서버(100)가 운송 로봇(200)으로 실내 공간에 대한 정보를 제공하기 위해 주행 가능 영역을 학습하고, 주행 경로에 대한 정보를 제공하는 방식에 대하여 설명하도록 한다.

이하, 본 발명의 일 실시 예에 따른 운송 로봇의 실내 자율 주행 보조 방법에 대하여 도 2 내지 도 10을 참조하여 설명하도록 한다.

도 2 는 본 발명의 일 실시 예에 따른 실내 자율 주행 보조 방법의 흐름을 나타낸 순서도이고, 도 3은 도 2에 도시된 S210 및 S220 단계를 구체화한 순서도이다.

이는 본 발명의 목적을 달성하기 위한 바람직한 실시 예일 뿐이며, 필요에 따라 일부 단계가 삭제 또는 추가되거나, 어느 한 단계가 다른 단계에 포함되어 수행될 수 있음은 물론이다.

자율 주행 제어 서버(100)는 운송 로봇(200)으로부터 운송 로봇(200)이 촬영한 실내 공간의 이미지를 획득한다(S210). 이를 위해, 실내 공간을 주행하는 운송 로봇(200)은 전방 또는 후방에 배치된 카메라를 이용하여 주기적으로 실내 공간에 대한 이미지를 획득하고, 이를 운송 로봇(200)의 주행 정보와 함께 자율 주행 제어 서버(100)로 송신할 수 있다. 여기서, 주행 정보란 운송 로봇(200)의 식별 정보와 속력, 위치 등의 주행 정보를 포함하며, 이미지에는 이미지의 촬영 시점이 포함될 수 있다.

즉, 자율 주행 제어 서버(100)는 운송 로봇(200)으로부터 실내 공간에 대한 이미지를 주기적으로 수신하고, 이를 취합하여 실내 공간의 이미지를 획득할 수 있다.

S210 단계 이후, 자율 주행 제어 서버(100)는 사전에 획득한 이미지에서 주행 가능 영역을 추출에 대한 라벨링을 진행하고, 실내 공간 에 대한 주행 가능 영역을 학습한다(S220). 여기서, 실내 공간의 이미지는 전체 공간에 대한 이미지가 될 수도 있고, 일부 공간에 대한 이미지가 될 수도 있다.

도 3은 자율 주행 제어 서버(100)의 실내 공간 이미지 학습 방법을 구체화한 순서도이며, 이하 도 3을 참조하여 S220 단계를 보다 구체적으로 설명하도록 한다.

도 3을 참조하면, 자율 주행 제어 서버(100)는 운송 로봇(200)으로부터 이미지를 획득하고(S2201), 획득한 이미지를 전처리한다(S2202). 여기서, 이미지 전처리(pre-processing)란 운송 로봇(200)이 촬영한 실내 공간의 이미지에서 불필요한 정보는 제외하고 유의미한 데이터를 정제하는 과정으로서, 다양한 방식을 통해 수행될 수 있다. 예를 들어, 이미지 전처리는 그레이 스케일, 이진화, 확대/축소, 회전/변환 등의 방식이 사용될 수 있다.

즉, 자율 주행 제어 서버(100)는 획득한 이미지를 전처리하여, 학습에 사용될 수 있도록 이미지를 변환한다.

S2202 단계 이후, 자율 주행 제어 서버(100)는 확인된 주행 가능 영역이 라벨링(labeling)되어 있는지 확인한다(S2203). 다시 말해서, 자율 주행 제어 서버(100)는 라벨링 데이터의 존재를 판단할 수 있으며, 라벨링 데이터가 존재하지 않은 경우, 확인된 주행 가능 영역을 라벨링한다(S2203-1, NO).

이와 관련하여, 도 4는 본 발명의 일 실시 예에 따른 자율 주행 제어 서버(100)가 주행 가능 영역을 학습하는 방식을 설명하기 위한 도면인바, 도 5를 참조하면, 자율 주행 제어 서버(100)는 운송 로봇(200)으로부터 (a)와 같은 실내 공간 이미지를 수신하고, 주행 가능 영역(빗금 표시)에 대한 라벨링을 수행한다.

다시 도 3을 참조하면, S2203 단계에서 주행 가능 영역이 라벨링되어 있는 것으로 확인되었다면, 자율 주행 제어 서버(100)는 현재 수집한 데이터가 충분한지 확인한다(S2204, YES).

S2204 단계에서 데이터가 충분하지 않은 것으로 확인되는 경우, 자율 주행 제어 서버(100)는 사전에 학습한 내용을 기반으로, 데이터를 보강할 수 있으며(S2204-1, NO), 반대로 S2204 단계에서 데이터가 충분한 것으로 확인되는 경우, 자율 주행 제어 서버(100)는 획득한 데이터를 이용하여 딥러닝의 기계 학습 알고리즘을 활용하여, 실내 공간에 대한 주행 가능 영역을 학습한다(S2205, YES). 즉, 자율 주행 제어 서버(100)는 사전에 학습된 모델에 기반하여 주행 가능 영역을 확인할 수 있으며, 이미지에 대응되는 실내 공간에서 장애물의 존재 여부를 판단할 수 있다.

한편, 상술한 항목들을 학습하기 위해 자율 주행 제어 서버(100)는 지도 학습(Supervised Learning) 등 다양한 기계 학습 알고리즘을 활용할 수 있다.

S2205 단계 이후, 자율 주행 제어 서버(100)는 실내 공간에 대한 주행 가능 영역을 확인하는 모델이 학습되었는지 검증하며(S2206), 학습이 완료되었다면, 이를 저장할 수 있다(S2207, YES). 보다 구체적으로, 자율 주행 제어 서버(100)는 학습 데이터와 검증 데이터의 손실(Loss) 값을 기초로 모델의 학습이 완료되었지 판단할 수 있다. 즉, 자율 주행 제어 서버(100)는 학습 완료된 모델을 이용하여 운송 로봇(200)으로부터 새롭게 수신하는 실내 공간의 이미지에서 장애물의 존재 여부를 확인할 수 있다.

한편, S2205 단계에서 학습이 완료되지 않은 것으로 판단된다면, 자율 주행 제어 서버(100)는 역전파 알고리즘(Back-propagation)을 활용하여 모델 내부의 가중치를 지속적으로 업데이트할 수 있다(S2206-1, NO). 다만, 이에 제한되지 않는 다양한 알고리즘이 활용될 수 있다.

이와 같이, 자율 주행 제어 서버(100)는 운송 로봇(200)이 송신한 실내 공간의 이미지를 이용하여, 운송 로봇(200)의 주행에 있어 핵심이 되는 주행 가능 영역을 학습할 수 있으며, 실제로 운송 로봇(200)이 실내 공간을 주행하는 과정에서 필요로 하는 정보들을 제공해 줄 수 있다.

다시 도 2에 대한 설명으로 돌아가도록 한다.

도 2를 참조하면, S220 단계를 통해 자율 주행 제어 서버(100)는 실내 공간에 대한 주행 가능 영역을 학습 완료할 수 있으며, 자율 주행 제어 서버(100)는 학습된 주행 가능 영역을 기초로 실내 공간에 배치된 운송 로봇(200)의 주행 현황에 따라 확정되는 주행 경로를 생성하여 운송 로봇(200)으로 송신한다(S230). 예를 들어, 운송 로봇(200)의 주행 현황은 운송 로봇(200)이 현재 실내 공간을 주행 중인 상황, 스스로 설정한 경로 계획을 따라 이동하고자 하는 상황 등이 존재할 수 있으며, 이외에 실내 공간에 배치된 운송 로봇(200)의 주행과 관련된 모든 상황을 포함할 수 있다.

도 5는 도 2에 도시된 S230 단계를 구체화한 순서도로서, 도 5는 운송 로봇(200)이 현재 실내 공간을 주행 중이며, 실내 공간에 대한 이미지를 획득하고, 자율 주행 제어 서버(100)로 송신한 경우를 설명하고 있다.

도 5를 참조하면, 자율 주행 제어 서버(100)는 운송 로봇(200)으로부터 이미지를 획득한다(S2301). 이를 통해 자율 주행 제어 서버(100)는 운송 로봇(200)의 식별 정보를 획득할 수 있으며, 식별 정보를 획득함과 동시에 운송 로봇(200)의 이전 주행 경로를 로드하여, 운송 로봇(200)의 현재 위치 좌표를 추론할 수 있는 정보를 획득할 수 있다.

S2301 단계 이후, 자율 주행 제어 서버(100)는 이미지를 전처리 하며(S2302), 운송 로봇(200)이 송신한 이미지에서 주행 가능 영역에 대한 데이터를 추출할 수 있다.

S2302 단계 이후, 자율 주행 제어 서버(100)는 전처리된 이미지 데이터를 학습된 모델에 입력하고(S2303), 주행 가능 영역을 추론한다(S2304). 즉, 주행 가능 영역의 추론이란 자율 주행 제어 서버(100)가 운송 로봇(200)의 현재 위치를 기준으로 촬영된 실내 공간의 이미지 내에서 장애물의 존재 여부를 확인하고, 주행 가능/불가능한 영역을 판단하는 것이며, 이는 픽셀 단위로 구분되는 주행 가능 영역을 이용하여 수행될 수 있다.

또한, 주행 불가능한 영역은 예를 들어, 창고 선반이 배치된 영역, 영역 내 물품이나 또 다른 운송 로봇(200)이 배치된 영역일 수 있으며, 자율 주행 서버(100)는 불가능한 사유에 대한 분류도 가능할 수 있다.

이와 관련하여 도 6 및 도 7을 첨부한바, 도 6은 도 5에 도시된 S2304 단계를 구체화한 순서도이며, 도 7은 본 발명의 일 실시 에에 따른 자율 주행 제어 서버(100)가 주행 경로를 보정하는 방식을 설명하기 위한 도면이다.

도 6을 참조하면, 자율 주행 제어 서버(100)는 이미지 데이터를 학습된 모델에 입력함으로써, 장애물의 존재 여부를 확인할 수 있다(S2304-1).

즉, 도 7의 (a)와 같이, 자율 주행 제어 서버(100)는 운송 로봇(200)이 송신한 이미지를 이용해 주행 가능 영역을 추론함으로써, 학습 과정에서 존재하지 않았던 장애물의 존재를 확인할 수 있다.

S2304-1 단계에 장애물이 존재하는 것으로 확인될 경우, 자율 주행 제어 서버(100)는 운송 로봇(200)과 장애물 간의 상대적인 거리를 계산하고, 상대 거리를 기초로, 추론된 주행 가능 영역에서의 주행 경로를 보정할 수 있다(S230-4-2, YES). 구체적으로, 자율 주행 제어 서버(100)는 학습된 주행 가능 영역의 치수와 운송 로봇(200)의 주행 정보를 이용하여 주행 좌표를 계산할 수 있으며, 여기서 주행 가능 영역의 치수란 실내 공간에 배치되어 물품을 적재하는 랙(Rack) 간의 거리(D1), 주행 가능 영역의 거리(D2), 주행 가능 영역의 중심선(L)을 기준으로 하는 위치 좌표 등을 의미할 수 있다.

이와 관련하여, 도 7의 (b)를 참조하면, 현재 운송 로봇(200)의 위치 및 주행 정보가 주행 가능 영역의 중심선(L)을 기준으로 우측으로 기울어진 경우, 자율 주행 제어 서버(100)는 운송 로봇(200)이 중심선(L)을 향하는 우측 방향으로 주행할 수 있도록 주행 경로를 보정할 수 있다.

즉, 자율 주행 제어 서버(100)는 점선과 같이 이동하고자 하는 운송 로봇(200)이 실선을 따라 이동할 수 있도록 주행 경로를 보정할 수 있다.

아울러, 보다 구체적인 보정을 위해 자율 주행 제어 서버(100)는 운송 로봇(200)이 송신한 이미지를 이용하여 현재 운송 로봇(200)의 위치 좌표를 산출하고, 주행 가능 영역의 중심선(L)을 기준으로 하는 그리드를 통해 장애물의 좌표를 확인하여, 운송 로봇(200)의 바퀴 각도, 속력/바퀴 회전 수 등을 포함하는 주행 경로 보정 값을 생성할 수 있다.

반면, S2304-1 단계에서 장애물이 존재하지 않는 것으로 확인될 경우, 자율 주행 제어 서버(100)는 운송 로봇(200)이 송신한 이미지 및 학습된 주행 가능 영역을 기초로 운송 로봇(200)의 현재 위치 좌표를 계산하고, 계산된 위치 좌표와 주행 경로를 확정하는 신호를 생성할 수 있다(S2304-3).

한편, 실내 공간에는 복수 개의 운송 로봇(200)이 배치되어 각각이 경로 계획에 따라 주행하게 되며, 그에 따라 움직이지 않는 물품뿐만 아니라, 주행 중인 또 다른 운송 로봇(200)이 어느 하나의 운송 로봇(200)에게 장애물로 간주될 수 있다.

도 8은 본 발명의 또 다른 실시 예에 따른 자율 주행 제어 서버(100)가 주행 경로를 보정하는 방식을 설명하기 위한 도면이다.

도 8의 (a) 및 (b)를 참조하면, 자율 주행 제어 서버(100)는 이미지 데이터에서 주행 가능 영역 상에서의 운송 로봇(200)을 식별할 수 있다. 즉, 도 8에 도시된 도면에서 A는 현재 자율 주행 제어 서버(100)가 주행 경로의 보정 유무를 판단하는 운송 로봇(200)이며, B와 C는 A 운송 로봇(200)이 촬영한 이미지 내에 존재하는 운송 로봇(200)일 수 있다.

자율 주행 제어 서버(100)는 A 운송 로봇(200)이 촬영한 이미지 내에 존재하는 운송 로봇(200)을 식별하고, 두 개의 인접한 운송 로봇(200)으로부터 주행 정보를 수신할 수 있다. 이를 통해, 자율 주행 제어 서버(100)는 현재 두 개의 인접한 운송 로봇(200)의 경로 계획과 주행 속도를 고려하여, 운송 로봇(200)의 충돌 가능성을 판단할 수 있다.

예를 들어, 자율 주행 제어 서버(300)는 (a), (b)에서 B, C 운송 로봇(200)이 실선을 따라 이동할 경우, 인접한 운송 로봇(200)이 충돌하지 않을 것으로 판단할 수 있으며, B, C 운송 로봇(200)이 점선을 따라 이동할 경우, 인접한 운송 로봇(200)이 충돌할 것으로 판단하고, 각각에 기 설정된 주행 경로를 보정할 수 있다.

다시 도 5에 대한 설명으로 돌아가도록 한다.

S2304 단계 이후, 자율 주행 제어 서버(100)는 상술한 추론 결과 출력하여, 운송 로봇(200)으로 송신할 수 있다(S2305). 그에 따라, 운송 로봇(200)는 본래 설정한 경로 계획에 맞게 이동하거나, 자율 주행 제어 서버(100)가 송신한 주행 경로에 맞게 이동하여, 장애물과 충돌하지 않고 안전한 주행을 할 수 있다. 즉, 운송 로봇(200)에 구비된 센서들을 통해 장애물을 식별하는 것보다 빠르게 장애물의 존재를 인식할 수 있어, 충돌 확률을 최소화할 수 있다.

한편, 자율 주행 제어 서버(100)는 운송 로봇(200)으로부터 운송 로봇(200)이 촬영한 실내 공간에 대한 이미지와 함께 운송 로봇(200)이 자체적으로 수립한 경로 계획을 수신할 수도 있으며, 이를 평가할 수 있다. 이는 도 9에 대한 설명이며, 이하 설명하도록 한다.

도 9는 본 발명의 일 실시 예에 따른 자율 주행 제어 서버(100)의 경로 계획 판단 방식을 설명하기 위한 순서도이다.

도 9를 참조하면, 자율 주행 제어 서버(100)는 운송 로봇(200)으로부터 자체적으로 설정한 전역 경로 또는 경로 계획을 수신 받아 획득할 수 있으며(S2310), 획득한 경로에서 주행 불가능한 영역이 존재하는지 확인한다(S2320). 즉, 자율 주행 제어 서버(100)는 수신한 경로 계획을 학습된 주행 가능 영역에 입력하여, 주행이 불가능한 영역을 확인할 수 있다. 여기서, 전역 경로란 운송 로봇(200)이 가지고 있는 정보를 기초로 생성한 실내 공간에 대한 주행 가능 영역이며, 경로 계획은 현재 위치에서 기 설정된 도착 지점까지 가기 위해 운송 로봇(200)이 설정한 주행 경로 계획을 의미한다.

S2320 단계에서 주행 불가능한 영역이 존재하는 것으로 확인되었다면, 자율 주행 제어 서버(100)는 학습된 주행 가능 영역을 탐색하여(S2320-1), 새로운 경로 계획 또는 지역 경로를 생성한다(S2320-2). 여기서, 새로운 경로 계획이란 주행 가능 영역 내 중심선을 이동하는 경로 계획일 수 있다. 아울러 중심선이 아니더라도 주행 가능 영역을 이동하는 경로라면 어떠한 경로도 가능할 수 있다. 예를 들어, 주행 가능 영역 내 중심선을 기준으로, 현재 운송 로봇(200)의 위치가 주행 가능 영역 내 중심선에 배치되어 있지 않은 것으로 판단될 경우, 자율 주행 제어 서버(100)는 새로운 경로 계획에서 운송 로봇(200)이 주행 가능 영역의 중심선을 따라 이동할 수 있도록 위치, 방향을 보정하는 정보를 포함시킬 수 있다.

한편, 새로운 경로 계획은 주행 가능 영역 내 중심선을 따르는 것 외에도, 운송 로봇(200)이 설정한 이동 방향, 흐름 또는 경로 계획에 따른 이동 거리를 기초로 산출될 수 있다. 즉, 자율 주행 제어 서버(100)는 주행이 불가능한 영역을 기준으로 적어도 하나 이상의 주행 가능 영역을 탐색하고, 그 중 본래의 이동 방향에서 크게 틀어지지 않거나, 이동 거리가 비슷한 영역을 유사도가 높은 영역으로 선정하고, 해당 영역을 경유하는 새로운 경로 계획 또는 지역 경로를 생성할 수도 있다.

상술한 바와 같이, 자율 주행 제어 서버(100)는 새롭게 설정하거나 확정된 경로를 운송 로봇(200)으로 송신함으로써, 추론을 종료할 수 있으며, 운송 로봇(200)은 수신한 정보(예. 새로운 주행 경로, 경로 계획 확인 신호)에 따라 실내 공간을 안전하게 주행할 수 있다.

또 다른 한편, 자율 주행 제어 서버(100)는 실내 공간에 대한 이미지를 지속적으로 송신하는 운송 로봇(200)으로부터 운송 로봇(200)이 자체적으로 판단한 위치 정보를 함께 수신할 수 있는데, 운송 로봇(200)이 자체적으로 판단한 위치 정보는 실내 공간의 마찰이나, 운송 로봇(200)이 적재하고 있는 물품의 무게, 실내 공간 바닥면의 재질에 따라 오차가 발생할 수 있으므로, 이를 주기적으로 확인하고, 보정 정보를 생성하여야 한다. 이는 도 11에 관한 설명이며, 이하 설명하도록 한다.

도 10은 본 발명의 일 실시 예에 따른 자율 주행 제어 서버(100)가 운송 로봇(200)의 위치를 보정하는 방식을 설명하기 위한 순서도이다.

도 10을 참조하면, 도시된 S310 ~ S330 단계는 운송 로봇(200)에 의해 수행되는 단계로서, 운송 로봇(200)은 초기 위치를 설정하고(S310), 실내 공간의 촬영을 수행하며 주행하는 동안 센서를 통해 주행량, 즉 주행 정보를 기록한 후(S320), 자체적으로 위치 좌표를 계산하여, 자율 주행 제어 서버(100)로 송신할 수 있다. 여기서, 운송 로봇(200)이 계산한 위치 좌표는 상대적인 위치 좌표인 것으로 이해될 수 있다.

이와 같이, 운송 로봇(200)이 위치 좌표를 계산함과 동시에 자율 주행 제어 서버(100)는 운송 로봇(200)으로부터 실내 공간에 대한 이미지를 획득하고(S410), 이미지를 이용하여 주행 가능 영역을 추론한 후(S420), 학습된 주행 가능 영역을 기초로 운송 로봇(200)의 절대 위치 좌표를 계산할 수 있다(S430).

S430 단계 이후, 자율 주행 제어 서버(100)는 상대 위치 좌표와 절대 위치 좌표 간의 차이가 오차 범위 내인지 판단할 수 있다(S440). 여기서, 오차 범위는 현재 운송 로봇(200)에 설정된 경로 계획에 따른 시간 또는 거리를 기준으로 설정할 수 있다.

S430 단계에서 좌표 간의 차이가 오차 범위를 벗어나는 것으로 판단될 경우, 자율 주행 제어 서버(100)는 운송 로봇(200)의 위치 보정 값을 산출하고(S440-1, NO), 이를 운송 로봇(200)에게 송신하여 위치를 확정할 수 있으며(S450), 반대의 경우에는 자율 주행 제어 서버(100)가 계산한 절대 위치 좌표와 함께 위치 확정 신호를 운송 로봇(200)으로 송신할 수 있다(S450, YES).

지금까지 본 발명의 일 실시 에에 따른 자율 주행 제어 서버(100)가 운송 로봇(200)이 촬영한 실내 공간에 대한 이미지를 기초로 운송 로봇(200)의 주행과 관련된 다양한 정보를 제공하는 방법에 대하여 설명하였다. 본 발명에 따르면, 자율 주행 제어 서버(100)는 단순히 운송 로봇(200)의 위치를 식별하는 것에서 더 나아가 실내 공간의 주행 가능 영역을 추론하고, 상대적인 거리를 가늠하여, 운송 로봇(200)이 기 설정된 경로나 위치를 벗어났을 경우 이를 보정하기 위한 정보를 제공할 수 있어, 실내 자율 주행 시스템(1000)의 운영 과정에서 주행의 정확성과 그에 따른 운송의 효율성이 상승할 수 있다.

한편, 본 발명은 또한 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 마그네틱 저장매체, 광학적 판독 매체 등 모든 저장매체를 포함한다. 또한, 본 발명에서 사용되는 메시지의 데이터 포맷을 기록 매체에 기록하는 것이 가능하다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

1000: 실내 자율 주행 시스템
100: 자율 주행 제어 서버
110: 학습 모듈
120: 추론 모듈
130: 통신 모듈
200: 운송 로봇
210: 카메라 모듈
220: 주행 모듈
230: 통신 모듈

Claims (11)

1. 자율 주행 제어 서버가 운송 로봇의 자율 주행을 보조하는 방법으로서,
   상기 운송 로봇으로부터 상기 운송 로봇이 촬영한 실내 공간의 이미지를 획득하는 단계;
   획득한 이미지에서 주행 가능 영역을 추출하여, 상기 실내 공간에 대한 주행 가능 영역을 학습하는 단계; 및
   상기 학습된 주행 가능 영역을 기초로 상기 실내 공간에 배치된 운송 로봇의 주행 현황에 따라, 확정되는 주행 경로를 생성하여 상기 운송 로봇으로 송신하는 단계;
   를 포함하고,
   상기 운송 로봇이 주행 중인 경우,
   상기 주행 경로를 생성하여 상기 운송 로봇으로 송신하는 단계는,
   상기 운송 로봇으로부터 이미지를 획득하고, 획득한 이미지를 상기 학습된 주행 가능 영역에 입력하여, 주행 가능 영역을 추론하는 단계;
   상기 추론된 주행 가능 영역에서 장애물의 존재 여부를 확인하는 단계; 및
   상기 확인하는 단계에서 장애물이 존재하는 것으로 확인되었다면,
   상기 운송 로봇과 상기 장애물 간의 상대 거리를 산출하고, 상기 상대 거리를 기초로 상기 추론된 주행 가능 영역에서의 주행 경로를 보정하는 단계;
   를 포함하며,
   상기 장애물이 다른 운송 로봇인 경우,
   인접한 운송 로봇 각각의 주행 정보를 기초로 충돌 가능성을 판단하고, 상기 인접한 운송 로봇 각각에 기 설정된 주행 경로를 보정하는 단계를 더 포함하는, 운송 로봇의 실내 자율 주행 보조 방법.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 운송 로봇과 상기 장애물 간의 상대 거리는,
   상기 학습된 주행 가능 영역의 치수 또는 상기 운송 로봇의 주행 정보를 기초로 산출되는,
   운송 로봇의 실내 자율 주행 보조 방법.
6. 삭제
7. 제1항에 있어서,
   상기 확인하는 단계에서 장애물이 존재하지 않는 것으로 확인되었다면,
   상기 이미지 및 상기 학습된 주행 가능 영역을 기초로 상기 운송 로봇의 현재 위치 좌표를 계산하고, 상기 계산된 위치 좌표와 주행 경로 확정 신호를 상기 운송 로봇으로 송신하는 단계;
   를 더 포함하는 운송 로봇의 실내 자율 주행 보조 방법.
8. 제1항에 있어서,
   상기 주행 경로를 상기 운송 로봇으로 송신하는 단계 이후에,
   상기 운송 로봇으로부터 상기 운송 로봇이 촬영한 이미지 데이터와 함께 상기 운송 로봇이 계산한 상대 위치 좌표를 수신하는 단계;
   수신한 이미지 데이터와 상기 학습된 주행 가능 영역을 기초로 상기 운송 로봇의 절대 위치 좌표를 계산하는 단계;
   상기 상대 위치 좌표와 절대 위치 좌표 간의 차이가 오차 범위를 벗어나는지 판단하는 단계; 및
   상기 오차 범위를 벗어나는 것으로 판단될 경우, 상기 운송 로봇의 위치 보정 값을 산출하는 단계;
   를 더 포함하는 운송 로봇의 실내 자율 주행 보조 방법.
9. 제1항에 있어서,
   상기 주행 경로를 상기 운송 로봇으로 송신하는 단계는,
   상기 운송 로봇으로부터 경로 계획을 수신하는 단계; 및
   수신한 경로 계획을 상기 학습된 주행 가능 영역에 입력하여, 주행 불가 영역을 확인하는 단계;
   를 더 포함하는 운송 로봇의 실내 자율 주행 보조 방법.
10. 제9항에 있어서,
    상기 주행 불가 영역이 존재하는 것으로 확인될 경우, 상기 학습된 주행 가능 영역 내 중심선을 따라 이동하는 새로운 경로 계획을 생성하는 단계;
    를 더 포함하는 운송 로봇의 실시 자율 주행 보조 방법.
11. 제9항에 있어서,
    상기 주행 불가 영역이 존재하는 것으로 확인될 경우, 상기 학습된 주행 가능 영역 중 상기 경로 계획과 유사도가 높은 주행 가능 영역을 탐색하여, 새로운 경로 계획을 생성하는 단계; 를 더 포함하고,
    상기 유사도는,
    상기 운송 로봇의 이동 방향 또는 상기 경로 계획에 따른 이동 거리를 기초로 산출되는,
    운송 로봇의 실내 자율 주행 보조 방법.

Images