KR20220094569A - 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇 - Google Patents

Abstract

본 발명은 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇에 관한 것으로, 점군 데이터에 이용하여 격자 기반의 고도지도를 생성하는 고도지도 생성부와; 상기 고도지도로부터 상기 격자별로 복수 유형의 특징값을 추출하는 특징값 추출부와; 복수 유형의 상기 특징값 중 적어도 2 이상의 유형에 대해 설정된 레이블용 특징값에 기반하여, 학습을 위해 레이블링된 레이블 데이터 세트와, 레이블링되지 않은 언레이블 데이터 세트를 생성하는 데이터 세트 생성부와; 상기 레이블 데이터 세트와 언레이블 데이터 세트를 이용한 자가 학습을 통해 주행 가능성 평가를 위한 AI 모델을 생성하는 자가 학습부를 포함하는 것을 특징으로 한다. 이에 따라, 학습 성능을 향상시킬 수 있는 훈련 데이터를 생성하고, 이를 자가 학습에 도입하여 주행의 안정성 및 효율성을 동시에 만족하는 주행 가능성을 평가할 수 있다.

Description

자가 학습 기반의 주행 가능성을 평가하는 이동 로봇{MOBILE ROBOT CAPABLE OF EVALUATING SELF-TRAINING BASED TRAVERSABILITY}

본 발명은 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇에 관한 것으로서, 보다 상세하게는 자가 학습 기반의 학습을 통해 AI 모델을 생성하여 주행 가능성을 평가하는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇에 관한 것이다.

최근 로봇과 인간이 공존하는 도시 환경에서 자율 주행 기능을 갖춘 서비스용 이동 로봇이 상용화되고 있다. 이러한 환경에서 이동 로봇의 안전한 주행을 달성하기 위해 많은 노력을 기울여져왔다.

수평 2D 라이다(LiDAR) 센서가 장착된 자율 내비게이션 시스템은 구조화된 실내 환경에서 성공적으로 작동했다. 그러나 도시 환경은 3D 지형 구조로 구성되어 있기 때문에 이러한 환경이 평면이라고 가정하는 것은 자율주행 시스템의 이동성과 안전성을 보장하지 못한다.

도시 환경은 대부분이 포장된 지면으로 구성된 구조화된 환경이지만 지면 단차, 계단 또는 구덩이와 같은 이동 로봇에게 위험한 지형이 포함되어 있다. 이러한 지형을 피하지 못하면 로봇이 도로 중간에 갇히거나 전복될 위험이 있다. 또한 간판, 주차된 차량 또는 건설 현장과 같은 변화하는 환경이 존재한다. 따라서 주변 지형을 주행 가능 및 주행 불가능으로 분류하는 주행 가능성 분석은 도시 환경에서 자율 주행을 위한 필수 전제 조건이다.

카메라, LiDAR, 또는 카메라와 LiDAR의 융합을 기반으로 주행 가능성 분석에 대한 많은 연구가 수행되었다. 비전 기반 방법은 조밀한 포인트 클라우드(Piont cloud), 즉 점군을 제공한다는 장점이 있지만, 조명 변화에 민감하다는 잘 알려진 문제가 있다.

한편, LiDAR 센서는 조명 변화에 관계없이 정확하고 긴 거리의 측정을 제공한다. 최근 3D LiDAR 센서의 가격이 점차 낮아지면서 3D LiDAR 센서를 탑재한 자율 주행 시스템의 수가 증가하고 있다. 이러한 맥락에서 3D 점군을 기반으로 한 주행가능성 분석 방법이 중요하다.

무인 지상 차량의 지형 주행 가능성 분석 조사에서 P. Papadakis는 논문 "Terrain traversability analysis methods for unmanned ground vehicles: A survey(Engineering Applications of Artificial Intelligence, vol. 26, no. 4, pp. 1373-1385, 2013.)에서, DEM( 디지털 고도지도) 또는 2.5D 고도지도가 점군 기반 주행가능성 분석 방법을 제시하였다.

고도지도는 전체 점군을 사용하는 것에 비해 정보의 양이 줄어든다는 한계가 있다. 그러나 구조가 간단하고 많은 양의 점군을 처리 할 수 있는 등 확장성이 뛰어나다.

고도지도를 기반으로 한 최초의 주행가능성 분석 중 하나로서, D. Langer, J. K. Rosenblatt, 및 M. Hebert의 논문 "A behavior-based system for off-road navigation(IEEE Transactions on Robotics and Automation, vol. 10, no. 6, pp. 776-783, 1994.)은 고도지도의 격자의 단차, 경사 및 높이의 편차의 특징을 계산했다.

이 특징값들이 차량 사양을 고려한 특정 임계값을 초과하면 해당 격자는 주행할 수 없는 것으로 분류된다. 마찬가지로 많은 연구에서 동일한 특징을 사용하여 주행 가능성 분석을 수행했다.

D. Joho, C. Stachniss, P. Pfaff, 및 W. Burgard의 논문 "Autonomous exploration for 3D map learning(Berlin, Heidelberg: Springer, 2007.)에서는 자율주행 이동 로봇을 이용한 탐사를 위해 주행 가능성 분석을 수행하였다. 여기서, 격자의 주행 가능 여부는 특징들의 선형 곱으로 계산되었다. 이외에도, 특징값들의 가중치 합을 사용하여 사족보행로봇에 대한 주행 가능영역 지도를 생성했다.

한편, 지도 학습은 주행 가능성 분석에 널리 활용되었다. 격자 유형 지도의 각 격자는 학습된 분류기를 통해 주행 가능 또는 주행 불가능으로 분류된다. 일 예로, J. Larson와 M. Trivedi의 논문 "Lidar based off-road negative obstacle detection and analysis(Proceedings, International IEEE Conference on Intelligent Transportation Systems, 2011, pp. 192-197.)에서는 오프로드 환경에서 주행 가능성 분석을 위한 SVM(Support Vector Machine) 기반 분류기와 함몰형 지형 감지 기법이 개시되었다. 다른 예로, Markov Random Field, Bayesian classifier, SVM, random forest와 같은 기계 학습 알고리즘을 적용한 주행 가능성 분석 방법이 제안된 바 있다. 그리고, 신경망 도입에 따른 기계 학습의 획기적인 발전 이후 MLP(Multi-layer perceptron) 및 CNN(Convolutional neural network) 등이 이동 로봇의 이동성 분석에 활용되었다.

일반적으로 지도학습은 훈련 데이터를 구성하기 위해 수작업 라벨링 과정을 포함한다. 수작업 라벨링 과정을 완화하는 대안은 시뮬레이터로 얻은 가상 데이터를 사용하는 것이다. 그러나 실환경 사용을 위해 실제 환경에서 얻은 데이터에 대해 훈련을 병행해야 한다. 수동으로 조종된 로봇의 자취에서 수집된 주행 가능 영역에 대한 양성 샘플만으로 분류기를 학습하는 것은 수작업 라벨링 과정에 대한 또 다른 대안이 될 수 있다.

이러한 의미에서 위험 지역 감지는 이상 감지 문제로 간주되며 통계 테스트, Positive Naive Bayes 분류기, Gaussian process 또는 Support vector data description에 기반한 방법이 존재한다. 그러나 상대적으로 평평한 지형에서만 데이터를 수집하는 경우 분류기가 보수적으로 훈련될 수 있다.

J. Ahtiainen, T. Stoyanov, 그리고 J. Saarinen의 논문 "Normal Distributions Transform Traversability Maps LIDAR-Only Approach for Traversability Mapping in Outdoor Environments(Journal of Field Robotics, vol. 34, no. 3, pp. 600-621, 2017.)에서 지면을 검출하고 지면 영역 이외의 격자들로부터 장애물에 해당하는 음성 샘플을 생성하였다. 그런 다음 양성 샘플과 함께 SVM에 적용하였다. 그러나 음성으로 레이블이 지정된 격자가 모두 주행 불가능한 영역이 아니기 때문에, 부정확한 훈련 데이터를 통한 학습은 분류기의 성능 저하를 유발한다.

상술한 방법들이 제안되었음에도 불구하고, 도시 환경에서 실환경 주행을 위한 주행 가능성 분석을 적용하는 것은 여전히 중요한 문제이다. 배송, 순찰 등의 업무를 수행하는 서비스 로봇은 안전과 주행의 효율성을 동시에 추구하기 때문에 불필요한 정지 및 우회를 최소화하는 경향이 있다. 또한 연석이나 가드레일은 내비게이션 방향을 제한하기 때문에 도로 중앙에 갇히지 않도록 횡단 가능한 지역을 감지하는 신뢰할 수 있는 방법이 필요하다.

이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 학습 성능을 향상시킬 수 있는 훈련 데이터를 생성하고, 이를 자가 학습에 도입하여 주행의 안정성 및 효율성을 동시에 만족하는 주행 가능성을 평가할 수 있는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇을 제공하는데 그 목적이 있다.

상기 목적은 본 발명에 따라, 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇에 있어서, 점군 데이터에 이용하여 격자 기반의 고도지도를 생성하는 고도지도 생성부와; 상기 고도지도로부터 상기 격자별로 복수 유형의 특징값을 추출하는 특징값 추출부와; 복수 유형의 상기 특징값 중 적어도 2 이상의 유형에 대해 설정된 레이블용 특징값에 기반하여, 학습을 위해 레이블링된 레이블 데이터 세트와, 레이블링되지 않은 언레이블 데이터 세트를 생성하는 데이터 세트 생성부와; 상기 레이블 데이터 세트와 언레이블 데이터 세트를 이용한 자가 학습을 통해 주행 가능성 평가를 위한 AI 모델을 생성하는 자가 학습부를 포함하는 것을 특징으로 하는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇에 의해서 달성된다.

여기서, 상기 데이터 세트 생성부는 상기 레이블용 특징값이 기 등록된 임계값을 초과하는 격자를 주행 불가능으로 판단하여 해당 격자의 복수의 상기 특징값을 음성으로 레이블링하고, 상기 레이블용 특징값이 상기 임계값 이하인 격자를 주행 가능으로 판단하여 해당 격자의 복수의 상기 특징값을 양성으로 레이블링하여 상기 레이블 데이터 세트를 생성하되, 양성으로 레이블링되는 격자는 상기 이동 로봇의 기 주행 궤적 상에서만 추출하며; 상기 레이블 데이터 세트에 포함되지 않는 나머지 격자들의 상기 복수의 특징값을 상기 언레이블 데이터 세트로 생성할 수 있다.

또한, 상기 특징값은 상기 격자의 절대 높이 차이값, 상기 격자의 기울기값, 상기 격자의 곡률값, 상기 격자의 거칠기값 및 상기 격자의 모서리 특징값을 포함하며; 상기 레이블용 특징값은 상기 절대 높이 차이값 및 상기 기울기값을 포함할 수 있다.

그리고, 상기 데이터 세트 생성부는 상기 절대 높이 차이값과 상기 기울기값이 모두 상기 임계값을 초과하는 경우, 해당 격자를 주행 불가능으로 평가할 수 있다.

그리고, 상기 자가 학습부는 (a) 상기 레이블 데이터 세트를 학습 데이터로 하여 AI 기반의 분류기를 학습시키는 단계와, (b) 상기 (a) 단계에서 학습된 분류기에 상기 언레이블 데이터 세트를 입력 데이터로 입력시켜 상기 언레이블 데이터 세트를 구성하는 격자의 주행 가능 여부를 추론하는 단계와, (c) 상기 (b) 단계의 추론 결과에 기초하여, 상기 언레이블 데이터 세트를 구성하는 격자를 주행 가능 격자, 주행 불가능 격자 및 보류 격자로 분류하는 단계와, (d) 상기 주행 가능 격자의 복수의 상기 특징값을 양성으로 레이블링하고, 상기 주행 불가능 격자의 복수의 상기 특징값을 음성으로 레이블링하여 상기 레이블 데이터 세트에 추가시키는 단계와, (e) 상기 보류 격자의 복수의 상기 특징값으로 상기 언레이블 데이터 세트를 재생성하는 단계를 순차적으로 수행하되; 상기 (a) 단계 내지 상기 (e) 단계를 기 설정된 종료 조건이 만족할 때까지 반속 수행하여 상기 (a) 단계에서 학습된 분류기를 상기 AI 모델로 생성할 수 있다.

그리고, 상기 자가 학습부는 상기 (c) 단계에서 상기 (b) 단계의 추론 결과에 따른 확률값에 따라 상기 언레이블 데이터 세트를 구성하는 격자를 상기 주행 가능 격자, 상기 주행 불가능 격자 및 상기 보류 격자로 분류할 수 있다.

또한, 상기 자가 학습부는 상기 (e) 단계에서 상기 언레이블 데이터 세트로 재생성되는 상기 보류 격자의 개수가 기 설정된 기준 개수 이하인 경우 상기 종료 조건이 만족하는 것으로 평가할 수 있다.

그리고, 상기 이동 로봇의 새로운 주행 중에 상기 고도지도 생성부가 새로이 획득한 점군 데이터로 새로운 고도 지도를 생성하도록 제어하고, 상기 새로운 고도지도로부터 복수 유형의 새로운 특징값을 추출하도록 상기 특징값 추출부를 제어하고, 상기 새로운 특징값을 상기 AI 모델의 입력 데이터로 하여 각 격자의 주행 가능 여부가 추론되도록 상기 AI 모델을 제어하는 로봇 제어부와, 상기 AI 모델에 의해 추론되는 각 격자의 주행 가능 여부에 기초하여, 주행 가능 지도를 생성하는 주행 가능 지도 생성부를 더 포함할 수 있다.

상기와 같은 구성에 따라, 본 발명에 따르면 학습 성능을 향상시킬 수 있는 훈련 데이터를 생성하고, 이를 자가 학습에 도입하여 주행의 안정성 및 효율성을 동시에 만족하는 주행 가능성을 평가할 수 있는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇이 제공된다.

도 1은 본 발명의 실시예에 따른 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇의 구성을 나타낸 도면이고,
도 2의 (a)는 본 발명의 실시예에서 실제 주행 환경으로 실외 환경의 예를 나타낸 도면이고,
도 2의 (b)는 본 발명의 실시예에서 3D 라이다(LiDAR) 센서를 이용하여 획득한 점군 데이터의 예를 나타낸 도면이고,
도 3은 본 발명의 실시예에 따른 이동 로봇의 고도지도 생성부가 도 2의 (b)에 도시된 점군 데이터를 이용하여 생성한 고도지도의 예를 나타낸 도면이고,
도 4는 본 발명의 실시예에서 레이블용 특징값을 설명하기 위한 도면이고,
도 5는 본 발명의 실시예에서 레이블 데이터 세트 및 언레이블 데이터 세트를 설명하기 위한 도면이고,
도 6은 본 발명의 실시예에 따른 자가 학습부가 자가 학습을 통해 AI 모델을 생성하는 과정을 개념적으로 도시한 도면이고,
도 7은 본 발명의 실시예에서 도 2 및 도 3에 도시된 주행 환경에 대해 작성된 주행 가능 지도의 예를 나타낸 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇(100)의 구성을 나타낸 도면이다.

도 1을 참조하여 설명하면, 본 발명의 실시예에 따른 이동 로봇(100)은 고도지도 생성부(120), 특징값 추출부(130), 데이터 세트 생성부(140) 및 자가 학습부(150)를 포함할 수 있다. 또한, 본 발명의 실시예에 따른 이동 로봇(100)은 점군 센서(110) 및 로봇 제어부(180)를 포함할 수 있다.

점군 센서(110)는 이동 로봇(100)의 주행 중에 주행 환경을 센싱하여, 점군 데이터를 획득한다. 본 발명의 실시예에서는 점군 센서(110)가 3D 라이다(LiDAR) 센서 또는 스테레오 카메라 형태로 마련되어, 각 점군의 3차원 정보를 획득하는 것을 예로 한다.

도 2의 (a)는 실제 주행 환경으로 실외 환경의 예를 나타낸 도면이고, 도 2의 (b)는 3D 라이다(LiDAR) 센서를 이용하여 획득한 점군 데이터의 예를 나타낸 도면이다.

고도지도 생성부(120)는 점군 센서(110)에 의해 획득된 점군 데이터를 이용하여 격자 기반의 고도 지도를 생성한다. 도 3은 본 발명의 실시예에 따른 이동 로봇(100)의 고도지도 생성부(120)가 도 2의 (b)에 도시된 점군 데이터를 이용하여 생성한 고도지도의 예를 나타낸 도면이다.

본 발명의 실시예에 따른 고도지도의 각 격자에는 높이의 평균 및 분산, 최대 및 최소 높이와 같은 높이 정보가 포함될 수 있다.

특징값 추출부(130)는 고도지도 생성부(120)에 의해 생성된 고도지도로부터 각 격자별로 복수 유형의 특징값을 추출한다. 본 발명의 실시예에서는 특징값이 격자의 절대 높이 차이값, 격자의 기울기값, 격자의 곡률값, 격자의 거칠기값 및 격자의 모서리 특징값을 포함하는 것을 예로 한다.

여기서, 절대 높이 차이(Absolute height difference)는 격자의 최대 높이와 최소 높이의 차이로 계산될 수 있다. 절대 높이 차이는 이동 로봇(100)의 최대 허용 단차를 반영하게 된다.

기울기, 거칠기 및 곡률은 인접한 점(Point)의 공분산 행렬의 고유값으로부터 산출될 수 있다. 정렬된 고유값 λ₂≥λ₁≥λ₀≥0에서 가장 작은 고유값 λ₀는 거칠기 특징이며, 이는 해당 고유 벡터 방향의 분산을 의미한다. 가장 작은 고유값에 해당하는 고유 벡터는 격자의 법선 벡터이다. 기울기는 내적에 의해 산출되는데 월드 좌표계의 z축과 법선 벡터 사이의 각도로 나타내진다. 여기서, 절대 높이 차이, 거칠기 및 기울기는 [수학식 1]을 통해 산출될 수 있다.

[수학식 1]

곡면의 2차 도함수인 곡률은 [수학식 2]를 통해 산출될 수 있다.

[수학식 2]

모서리 특징은 관심 격자와 인접한 격자 사이의 높이 차이로 나타낼 수 있다. 이미지 처리에서 모서리 감지에 사용되는 커널과 유사한 커널이 적용될 수 있다. 차이점은 컨볼루션이 데이터가 유효한 격자에만 적용되는 점에 있다.

유효하지 않은 격자에 해당하는 커널 요소는 0이고, 유효한 인접 격자에 대해서는 -1이다. 현재 격자에 대한 커널의 중심값은 유효한 인접 격자의 수로 설정될 수 있다. 이는 [수학식 3]과 같이 정의될 수 있다.

[수학식 3]

한편, 본 발명의 실시예에 따른 데이터 세트 생성부(140)는 상술한 복수 유형의 특징값 중 적어도 2 이상의 유형에 대해 설정된 레이블용 특징값을 이용하여, 학습을 위해 레이블링된 레이블 데이터 세트를 생성한다.

본 발명의 실시예에서는 상술한 5개 유형의 특징값들 중 절대 높이 차이값 및 기울기값을 레이블용 특징값으로 설정하는 것을 예로 한다. 절대 높이 차이값, 즉 단차와, 기울기값은 이동 로봇(100)의 사양에 따라 허용 가능한 임계값이 정해지는데, 이는 사람이 직관적으로 그 값이 갖는 의미를 이해할 수 있어, 레이블용 특징값으로 설정되는 것이 바람직하기 때문이다.

즉, 이동 로봇(100)의 사양을 확인하고, 작업자가 후술할 임계값을 등록하는데 단차와 기울기에 대한 이동 로봇(100)의 사용을 확인하고, 직관적으로 임계값의 설정이 가능하게 된다. 이는 도 4를 통해 쉽게 확인할 수 있다.

여기서, 본 발명의 실시예에 따른 데이터 세트 생성부(140)는 레이블용 특징값, 즉 절대 높이 차이값과 기울기가 시 설정된 임계값을 초과하는 격자를 주행 불가능으로 판단하고, 해당 격자의 복수의 특징값, 즉 격자의 절대 높이 차이값, 격자의 기울기값, 격자의 곡률값, 격자의 거칠기값 및 격자의 모서리 특징값을 음성으로 레이블링하게 된다.

마찬가지로, 본 발명의 실시예에 따른 데이터 세트 생성부(140)는 레이블용 특징값이 임계값 이하인 격자를 주행 가능으로 판단하고, 해당 격자의 복수의 특징값을 양성으로 레이블링하게 된다.

여기서, 본 발명의 실시예에서는 양성으로 레이블링되는 격자는 이동 로봇(100)의 기 주행 궤적 상에서만 추출하는 것을 예로 한다. 도 5를 참조하여 설명하면, 이동 로봇(100)이 기 주행 궤적은 이동 로봇(100)이 이미 주행해온 경로이기 때문에, 명확한 주행 가능 영역에 해당한다.

이에, 본 발명에서는 단순히 레이블용 특징값이 임계값 이하인 격자를 모두 주행 가능 격자로 분류하지 않고, 명확한 주행 가능 영역인 이동 로봇(100)의 기 주행 궤적 상의 격자에서만 주행 가능 격자를 추출하여, 이를 양성으로 레이블링하게 된다.

예를 들어, 도 5에 도시된 회색 영역의 경우, 임계값을 기준으로 할 때 주행 가능으로 판단될 수 있으나, 본 발명에서는 이동 로봇(100)의 기 주행 궤적에서만 주행 가능 영역을 찾는 것을 예로 하게 된다. 따라서, 임계값을 초과하는 영역이 주행 불가능 영역(ND_A)으로, 이동 로봇(100)의 궤적 상의 영역이 주행 가능 영역(PD_A)으로, 그리고 나머지 영역이 레이블링되지 않은 보류 영역(UD_A)으로 분류된다.

그리고, 데이터 세트 생성부(140)는 음성으로 레이블링 된 특징값의 조합과, 양성으로 레이블링된 특징값의 조합들로 레이블 데이터 세트를 생성하고, 레이블 데이터 세트에 포함되지 않은 나머지 격자들의 특징값, 즉 레이블링되지 않은 특징값들로 언레이블 데이터 세트를 생성하게 된다.

여기서, 레이블 데이터 세트와 언레이블 데이터 세트는 특징값들로 구성된 특징 벡터

를 포함하는데, 레이블 데이터 세트에 포함된 특징 벡터는 앞서 설명한 바와 같이, 레이블용 특징값에 의해 음성 또는 양성으로 레이블링되어 있고, 언레이블 데이터 세트 내의 특징 벡터들은 레이블링되어 있지 않게 된다.

여기서, 본 발명의 실시예에서는 레이블용 특징값인 절대 높이 차이값과 기울기값이 모두 임계값을 초과하는 경우에만 해당 격자를 주행 불가능으로 평가하여, 주행 불가능이 보다 명확한 격자만을 음성으로 등록하는 것을 예로 한다.

이하에서는 설명의 편의를 위해, 음성으로 레이블링된 특징 벡터를 ND, 양성으로 레이블링된 특징 벡터를 PD, 그리고, 레이블링되지 않는 특징 벡터를 UD라 정의하여 설명한다.

상기와 같이 레이블 데이터 세트 및 언레이블 데이터 세트가 생성되면, 자가 학습부(150)는 레이블 데이터 세트와 언레이블 데이터 세트를 이용한 자가 학습을 통해 주행 가능성 평가를 위한 AI 모델(151)을 생성한다.

도 6은 본 발명의 실시예에 따른 자가 학습부(150)가 자가 학습을 통해 AI 모델(151)을 생성하는 과정을 개념적으로 도시한 도면이다.

도 6을 참조하여 설명하면, 자가 학습부(150)는 앞서 설명한 바와 같이, PD와 ND로 구성된 레이블 데이터 세트(LD)를 기 등록된 AI 기반의 분류기의 학습 데이터로 하여 분류기를 학습시킨다. 본 발명에서는 분류기로 신경망 기반의 MLP(Multi-layer perceptron)가 적용되는 것을 예로 하는데, 본 발명의 기술적 사상이 이에 국한되지 않으며, 데이터 세트의 분류에 적합한 다른 분류 모델이 적용될 수 있음은 물론이다.

여기서, 도 6에 도시된 바와 같이, 학습 과정과 이후의 추론 과정(S62)에서는 복수의 특징값 모두가 적용되어 학습 및 추론 과정이 진행된다. 즉 초기 학습 데이터로 사용되는 PD와 ND의 레이블링에만 레이블용 특징값을 이용하고, 분류기에 의한 학습 및 추론 과정에서는 모든 특징값이 입력되는 것을 예로 한다.

상기와 같이 분류기의 학습이 완료되면, 언레이블 데이터 세트(UD)를 분류기의 입력 데데이터로 입력시켜 언레이블 데이터 세트를 구성하는 격자의 주행 가능 여부가 추론되어, 언레이블 데이터 세트를 구성하는 격자가 주행 가능 격자, 주행 불가능 격자 및 보류 격자로 분류된다(S62).

여기서, 분류기의 추론 결과는 확률값으로 출력되는데, 이와 같은 확률값에 따라 언레이블 데이터 세트를 구성하는 데이터의 평가 과정이 진행된다(S63).

보다 구체적으로 설명하면, 언레이블 데이터 세트를 구성하는 격자는 확률값이 기 등록된 상한값 이상이면 주행 가능 격자로, 기 등록된 하한값 이하이면 주행 불가능 격자로, 그리고 하한값과 상한값 사이이면 보류 격자로 분류될 수 있다.

상기와 같이, 언레이블 데이터 세트를 구성하는 격자가 주행 가능 격자, 주행 불가능 격자 및 보류 격자로 분류되면, 자가 학습부(150)는 주행 가능 격자의 특징값을 양성으로 레이블링하고, 주행 불가능 격자를 음성으로 레이블링하여 추가적인 레이블 데이터 세트(PD^*, ND^*)를 생성하고, 이를 기존의 레이블 데이터 세트에 추가시킨다.

그리고, 자가 학습부(150)는 레이블 데이터 세트에 포함되지 않은 나머지, 즉 보류 격자를 새로운 언레이블 데이터 세트(UD^*)로 재생성하게 된다.

상기와 같은 자가 학습 과정은 새로이 갱신된 레이블 데이터 세트를 이용한 학습 과정(S61), 학습이 완료된 분류기를 이용하여 재생성된 언레이블 데이터 세트의 분류 과정(S62), 분류 결과에 대한 데이터 평가 과정(S63)을 통한 레이블 데이터 세트의 갱신과 언레이블 데이터 세트의 재생성 과정이, 기 설정된 종료 조건이 만족될 때까지 반복 수행되고, 종료 조건이 만족할 때까지 학습된 분류기가 최종적인 AI 모델(151)로 생성된다.

본 발명에서는 언레이블 데이터 세트로 재생성되는 보류 격자의 개수가 기 설정된 기준 개수 이하인 경우를 종료 조건이 만족하는 것으로 평가하는 것을 예로 한다. 즉, 자가 학습 과정에서 분류기에 의해 추론되어 출력된 확률값이 앞서 설명한 하한값과 상한값 사이로 출력되는 격자의 개수가 일정 개수 이하로 수렴될 때까지 자가 학습 과정이 반복 수행된다.

상기와 같은 과정을 통해, 최종적인 AI 모델(151)이 생성되면, 이동 로봇(100)의 주행 과정에서 AI 모델(151)을 통해 주행 환경의 주행 가능성이 평가된다.

보다 구체적으로 설명하면, 로봇 제어부(180)는 로봇 주행부(170)의 제어를 통한 새로운 주행 과정에서, 고도지도 생성부(120)가 점군 센서(110)로부터 획득된 점군 데이터로 새로운 고도 지도를 생성하도록 제어하게 된다.

그리고, 로봇 제어부(180)는 새로 생성된 고도지도로부터 복수 유형의 특징값이 추출되도록 특징값 추출부(130)를 제어하게 된다. 이 때, 로봇 제어부(180)는 특징값 추출부(130)를 통해 추출된 특징값, 즉 절대 높이 차이값, 기울기값, 격자의 곡률값, 거칠기값 및 모서리 특징값을 AI 모델(151)의 입력 데이터로 하여 입력하고, AI 모델(151)이 각 격자의 주행 가능 여부를 추론하도록 AI 모델(151)을 제어하게 된다.

여기서, 본 발명의 실시예에서는, 도 1에 도시된 바와 같이, AI 모델(151)에 의해 추론되는 각 격자의 주행 가능 여부에 기초하여 주행 가능 지도를 생성하는 주행 가능 지도 생성부(160)를 더 포함할 수 있다. 도 7은 도 2 및 도 3에 도시된 주행 환경에 대해 작성된 주행 가능 지도의 예를 나타낸 도면이다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

100 : 이동 로봇 110 : 점군 센서
120 : 고도지도 생성부 130 : 특징값 추출부
140 : 데이터 세트 생성부 150 : 자가 학습부
151 : AI 모델 160 : 주행 가능 지도 생성부
170 : 로봇 주행부 180 : 로봇 제어부

Claims (8)

1. 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇에 있어서,
   점군 데이터에 이용하여 격자 기반의 고도지도를 생성하는 고도지도 생성부와;
   상기 고도지도로부터 상기 격자별로 복수 유형의 특징값을 추출하는 특징값 추출부와;
   복수 유형의 상기 특징값 중 적어도 2 이상의 유형에 대해 설정된 레이블용 특징값에 기반하여, 학습을 위해 레이블링된 레이블 데이터 세트와, 레이블링되지 않은 언레이블 데이터 세트를 생성하는 데이터 세트 생성부와;
   상기 레이블 데이터 세트와 언레이블 데이터 세트를 이용한 자가 학습을 통해 주행 가능성 평가를 위한 AI 모델을 생성하는 자가 학습부를 포함하는 것을 특징으로 하는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇.
2. 제1항에 있어서,
   상기 데이터 세트 생성부는
   상기 레이블용 특징값이 기 등록된 임계값을 초과하는 격자를 주행 불가능으로 판단하여 해당 격자의 복수의 상기 특징값을 음성으로 레이블링하고, 상기 레이블용 특징값이 상기 임계값 이하인 격자를 주행 가능으로 판단하여 해당 격자의 복수의 상기 특징값을 양성으로 레이블링하여 상기 레이블 데이터 세트를 생성하되,
   양성으로 레이블링되는 격자는 상기 이동 로봇의 기 주행 궤적 상에서만 추출하며;
   상기 레이블 데이터 세트에 포함되지 않는 나머지 격자들의 상기 복수의 특징값을 상기 언레이블 데이터 세트로 생성하는 것을 특징으로 하는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇.
3. 제2항에 있어서,
   상기 특징값은 상기 격자의 절대 높이 차이값, 상기 격자의 기울기값, 상기 격자의 곡률값, 상기 격자의 거칠기값 및 상기 격자의 모서리 특징값을 포함하며;
   상기 레이블용 특징값은 상기 절대 높이 차이값 및 상기 기울기값을 포함하는 것을 특징으로 하는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇.
4. 제2항에 있어서,
   상기 데이터 세트 생성부는 상기 절대 높이 차이값과 상기 기울기값이 모두 상기 임계값을 초과하는 경우, 해당 격자를 주행 불가능으로 평가하는 것을 특징으로 하는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇.
5. 제2항에 있어서,
   상기 자가 학습부는
   (a) 상기 레이블 데이터 세트를 학습 데이터로 하여 AI 기반의 분류기를 학습시키는 단계와,
   (b) 상기 (a) 단계에서 학습된 분류기에 상기 언레이블 데이터 세트를 입력 데이터로 입력시켜 상기 언레이블 데이터 세트를 구성하는 격자의 주행 가능 여부를 추론하는 단계와,
   (c) 상기 (b) 단계의 추론 결과에 기초하여, 상기 언레이블 데이터 세트를 구성하는 격자를 주행 가능 격자, 주행 불가능 격자 및 보류 격자로 분류하는 단계와,
   (d) 상기 주행 가능 격자의 복수의 상기 특징값을 양성으로 레이블링하고, 상기 주행 불가능 격자의 복수의 상기 특징값을 음성으로 레이블링하여 상기 레이블 데이터 세트에 추가시키는 단계와,
   (e) 상기 보류 격자의 복수의 상기 특징값으로 상기 언레이블 데이터 세트를 재생성하는 단계를 순차적으로 수행하되;
   상기 (a) 단계 내지 상기 (e) 단계를 기 설정된 종료 조건이 만족할 때까지 반속 수행하여 상기 (a) 단계에서 학습된 분류기를 상기 AI 모델로 생성하는 것을 특징으로 하는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇.
6. 제5항에 있어서,
   상기 자가 학습부는 상기 (c) 단계에서 상기 (b) 단계의 추론 결과에 따른 확률값에 따라 상기 언레이블 데이터 세트를 구성하는 격자를 상기 주행 가능 격자, 상기 주행 불가능 격자 및 상기 보류 격자로 분류하는 것을 특징으로 하는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇.
7. 제5항에 있어서,
   상기 자가 학습부는 상기 (e) 단계에서 상기 언레이블 데이터 세트로 재생성되는 상기 보류 격자의 개수가 기 설정된 기준 개수 이하인 경우 상기 종료 조건이 만족하는 것으로 평가하는 것을 특징으로 하는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 이동 로봇의 새로운 주행 중에 상기 고도지도 생성부가 새로이 획득한 점군 데이터로 새로운 고도 지도를 생성하도록 제어하고, 상기 새로운 고도지도로부터 복수 유형의 새로운 특징값을 추출하도록 상기 특징값 추출부를 제어하고, 상기 새로운 특징값을 상기 AI 모델의 입력 데이터로 하여 각 격자의 주행 가능 여부가 추론되도록 상기 AI 모델을 제어하는 로봇 제어부와,
   상기 AI 모델에 의해 추론되는 각 격자의 주행 가능 여부에 기초하여, 주행 가능 지도를 생성하는 주행 가능 지도 생성부를 더 포함하는 것을 특징으로 하는 자가 학습 기반의 주행 가능성을 평가하는 이동 로봇.

Images