KR20210074488A

KR20210074488A - 비정형 환경 자율주행을 위한 추종선 생성 방법 및 시스템

Info

Publication number: KR20210074488A
Application number: KR1020190165215A
Authority: KR
Inventors: 조용우; 최두섭; 민경욱; 박재혁; 최정단
Original assignee: 한국전자통신연구원
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2021-06-22

Abstract

본 발명은 차선 인식이 불가능하거나 강우/강설 등의 비정형 환경에서도 신뢰도 높은 자율주행용 추종선을 생성할 수 있도록, 영상 정보 및 주행상태 데이터에 기초하여 심층인공신경망을 이용해 복수의 추종선 후보를 도출하는 단계와, 영상 정보 및 주행환경 데이터에 기초하여 자차의 주행환경을 분석하는 단계와, 상기 분석된 주행환경을 고려하여 상기 복수의 추종선 후보 각각에 대하여 적합성을 평가하는 단계와, 상기 평가된 각 추종선 후보별 평가값을 토대로 추종선을 추적하는 단계를 포함하는 자율주행용 추종선 생성 방법을 제공한다.

Description

비정형 환경 자율주행을 위한 추종선 생성 방법 및 시스템{Method for generating guide lane for autonomous driving under atypical environment and system thereof}

본 발명은 자율주행에 관한 것으로서, 구체적으로는 자율주행용 추종선을 생성하는 방법 및 시스템에 관한 것이다.

자율주행은 기본적으로 도로의 차선 및/또는 도로 주변의 연석을 인식하고 이로부터 차량이 경로 설정시 이용할 추종선(예컨대, 양 차선의 중심에 위치한 가상의 선)을 도출하여 그 추종선을 따라 주행하는 방식으로 수행된다.

예컨대, 차선유지를 적용한 주행 보조 시스템 (LKAS, Lane Keeping Assist System), 정밀지도 기반 자율주행 (HD-Map based autonomous driving), 머신러닝 기반 자율주행 (Machine learning based autonomous driving) 등과 같은 현존하는 자율주행 방법들은 모두 공통적으로 차량 부착 카메라를 이용한 차선/연석 인식, 고정및 측위 시스템과 지도(고정밀맵)를 이용한 차선/연석 추정, 기계학습 기반 추론 등을 통한 차선/연석 추정과정을 거쳐 추종선을 구하고 있다.

그런데, 종래의 방식으로는 비정형 환경, 즉 차선이 없는 구간(예컨대, 교차로 또는 비포장 도로, 차선이 지워진 도로 등)이나, 비/눈/야간 조건 등 차선 인식성능이 저하되는 상황에서는 적정 추종선을 구하지 못하는 경우가 많아서 자율주행이 어렵다. 예컨대 도 1에서와 같이 교차로에서 차선이 있는 경우(파란색 경로)는 자율주행이 가능하지만, 차선이 없는 경우(붉은색 경로)로는 자율주행이 불가능하다.

또한 머신러닝 방식에서는 학습 데이터의 질과 양에 따라 자율주행 성능의 차이가 크게 나타날 수 있다.

본 발명은 머신러닝 기술과 기하학적 주행환경 분석 기술을 융합하여, 기존 방식이 해결하지 못한 비정형 환경에서의 자율주행을 위한 추종선을 생성하는 방법 및 시스템을 제공하고자 한다.

또한, 머신러닝 학습 데이터의 질과 양을 지속적으로 자가 개선하여 심층인공신경망의 추종선 후보 도출이 점차 정확해지고, 그 결과 전반적으로 더 자율주행에 적합한 추종선을 얻을 수 있는 추종성 생성 방법 및 시스템을 제공하고자 한다.

전술한 과제를 이루기 위하여 본 발명은, 영상 정보 및 주행상태 데이터에 기초하여 심층인공신경망을 이용해 복수의 추종선 후보를 도출하는 단계와, 영상 정보 및 주행환경 데이터에 기초하여 자차의 주행환경을 분석하는 단계와, 상기 분석된 주행환경을 고려하여 상기 복수의 추종선 후보 각각에 대하여 적합성을 평가하는 단계와, 상기 평가된 각 추종선 후보별 평가값을 토대로 추종선을 추적하는 단계를 포함하는, 비정형 환경에서도 자율주행용 추종선 생성이 가능한 방법을 제공한다.

추종선 후보를 도출하는 단계는, 영상 정보, 주행상태 데이터 및 자차의 목표 동작을 입력받아 복수의 추종선 후보 및 각 후보별 가중치를 출력하며, 생성적 적대 신경망을 채택하여 학습하는 단계를 포함한다.

주행환경을 분석하는 단계는, 영상 센서를 통해 영상 정보를 획득하는 단계와, 주행환경 감지 센서를 통해 주행환경 데이터를 획득하는 단계와, 상기 영상 정보 및 상기 주행환경 데이터를 토대로 차선, 연석, 주행가능영역, 장애물 중 적어도 하나를 검출하는 단계를 포함한다.

평가하는 단계는, 상기 복수의 추종선 후보별로 주행환경 분석 결과를 정합하는 단계와, 상기 정합 결과를 기초로 각 후보별 차선 평가, 주행가능영역 평가, 장애물 평가 중 적어도 하나를 수행하고, 이를 토대로 상기 복수의 추종선 후보별로 평가값을 도출하는 단계를 포함한다.

추적하는 단계에서, 상기 복수의 추종선 후보별 평가값을 기초로 상기 복수의 추종선 후보 중에서 최적 추종선을 선택하여 추종선을 확정하거나, 또는 상기 복수의 추종선 후보별 평가값을 기초로 상기 복수의 추종선 후보를 융합하여 최적 추종선을 생성 및 확정한다.

본 발명의 다른 면에 따라, 비정형 환경에서 자율주행용 추종선을 생성하기 위한 방법으로서, 심층인공신경망을 이용해 복수의 추종선 후보 및 각 후보별 가중치를 도출하는 단계와, 자차의 주행환경을 분석하는 단계와, 상기 주행환경 분석 결과, 검출된 주행환경이 있을 경우 이를 토대로 상기 복수의 추종선 후보 각각에 대하여 적합성을 평가하는 단계와, 상기 복수의 추종선 후보별 가중치 및 상기 적합성 평가 결과 중 적어도 하에 기초하여 최적 추종선을 확정하는 단계를 포함하는 자율주행용 추종선 생성 방법이 제공된다.

평가하는 단계에서, 상기 복수의 추종선 후보별로 차선 평가, 주행가능영역 평가, 장애물 평가 중에서 가능한 평가를 수행한다.

최적 추종선을 확정하는 단계는, 주행환경 검출 가능 여부를 판단하는 단계와, 판단 결과, 주행환경 검출이 가능한 경우에는 상기 복수의 추종선 후보별 평가값에 기초하여 최적 추종선을 확정하고, 주행환경 검출이 불가능한 경우에는 상기 복수의 추종선 후보별 가중치에 기초하여 최적 추종선을 확정하는 단계를 포함한다.

본 발명의 또 다른 면에 따라, 자차의 진행 방향 영상, 주행상태 및 주행환경을 감지하는 센서부와, 상기 센서부로부터 감지 데이터를 전달받아 복수의 추종선 후보를 도출하는 심층인공신경망과, 상기 센서부로터 감지 데이터를 전달받아 주행환경을 분석하는 주행환경 분석부와, 상기 복수의 추종선 후보와 주행환경 분석결과를 전달받아 각 추종선 후보를 평가하는 평가부와 상기 평가부의 결과를 토대로 최종 후보값을 확정하는 추적부를 포함하는 자율주행용 추종선 생성 시스템이 제공된다.

심층인공신경망은, 생성적 적대 신경망으로서 진행 방향 영상, 차속 및 자차의 목표 동작을 입력으로 받고 복수의 추종선 후보를 출력하며 상기 평가부 및 추적부 중 적어도 하나의 결과를 피드백 받아 지속적인 자가 학습에 이용한다.

본 발명에 따르면 머신러닝 기술과 기하학적 주행환경 분석 기술을 융합하여 기존 기술이 해결하지 못한 비정형구간 자율주행이 가능하다.

차선 검출이 가능한 경우에 차선을 평가하고, 주행가능영역 검출이 가능한 경우에 주행가능영역을 평가하고, 장애물이 검출되는 경우에 장애물 평가를 하기 때문에 차선 인식이 불가능한 도로를 주행중이거나 악천후 등의 비정형 환경에서도 적정한 추종선을 확정할 수 있고, 이럼으로써 비정형 환경에서의 자율주행이 가능하다.

도 1은 종래의 자율주행 방식의 문제점을 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 자율주행용 추종선 도출 방법의 흐름도.
도 3은 본 발명의 일 실시예에 따른 심층인공신경망의 입력 파라미터와 출력값을 도시한 도면.
도 4는 본 발명의 일 실시예에 따라 영상 센서가 획득한 전방 영상 예시도.
도 5는 도 4의 전방 영상을 입력받아 심층인공신경만이 도출한 복수의 후보선을 도시한 예시도.
도 6a 및 6b는 본 발명의 일 실시예에 따라 주변환경 분석부가 입력받은 전방 영상 및 이로부터 검출한 주행가능영역을 나타낸 예시도.
도 7은 본 발명에 따른 추종선 후보 평가 절차의 상세 흐름도.
도 8은 본 발명에 따라 인식된 차선과 도출한 추종선 후보들을 정합한 예시도.
도 9는 본 발명에 따라 검출한 주행가능영역 및 동적/정적 장애물과 추종선 후보들을 정합한 예시도.
도 10은 본 발명에 따른 차선 평가 과정을 설명하기 위한 예시도.
도 11은 본 발명에 따른 주행가능영역 평가 및 동적/정적 장애물 평가 과정을 설명하기 위한 예시도.
도 12는 본 발명에 따라 산출한 각 추종선 후보별 평가값 분포를 도시한 그래프.
도 13은 본 발명에 따른 베이시안 추정 기법에 기반한 추종선 도출 과정을 설명하기 위한 흐름도.
도 14는 본 발명에 따른 추종선 생성 시스템의 구성도.

본 발명의 목적 및 효과는 이상에서 언급한 것으로 제한되지 않으며, 본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 이하의 각 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며 본 발명의 범위를 제한하고자 하는 것이 아니다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...장치", "...디바이스", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

한편, 본 발명의 각 실시예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.

본 발명의 주요 기술적 사상은 머신러닝 기술과 기하학적 주행환경 분석 기술을 융합하고, 생성적 적대 신경망(GAN: Generative Adversarial Network)을 사용함으로써 각각의 가중치를 가지는 다수의 추종선 후보를 생성, 이를 베이지안 추종에 접목하여 추종선을 추출하는 것이다.

도 2를 참조하여 보다 구체적으로 살펴보면 1) 카메라 영상기반 심층인공신경망을 이용한 추종선 후보 추출(S120, S130, S150), 2) 카메라 영상 및 라이다 데이터 기반 주행 환경 분석(S130, S140, S160), 3) 주행환경 분석 결과에 따른 추종선 후보 평가(S170), 4) 베이지안(Bayesian) 추정을 통한 추종선 추적(S180)을 통해 최적의 추종선을 도출한다.

이하, 첨부도면을 참조하여 각 단계별로 상세하게 설명한다.

[카메라 영상기반 심층인공신경망을 이용한 추종선 후보 추출]

가시광 카메라 및/또는 적외선 카메라 등의 영상 센서를 통하여 자차의 주행 방향 영상(전방, 후방 등)을 획득하고(S130), 아울러 속도 센서(측위에 기초한 속도 센서, 차량 바퀴 회전 감지에 기초한 속도 센서 등 포함)를 통하여 자차의 속도를 감지하여(S120), 주행 방향 영상 및 차속 데이터를 심층인공신경망(140)으로 전달한다.

심층인공신경망(140)은 도 3과 같이 주행 방향 영상, 자차의 차속, 자차의 목표 동작(직진, 좌회전, 우회전 등)을 입력으로 받아 N(= 2 이상의 자연수)개의 추종선 후보와 각 추종선 후보들의 가중치(검출 정확도)를 출력한다(S150).

예컨대, 도 4와 같은 전방영상과 차속, 목표 동작을 입력받아 도 5에 나타난 바와 같이 복수 개의 추종선 후보(파란색 궤적) 및 각 후보별 가충치를 출력한다. 참고로 도 5의 붉은 색 궤적은 가장 바람직한 추종선(정답)의 궤적이다.

본 발명의 일 실시예에서, 심층인공신경망(140)은 생성적 적대 신경망(GAN: Generative Adversarial Network)으로 구현될 수 있다. GAN은 비지도 학습에 사용되는 인공지능 알고리즘으로서, 제로섬 게임 틀 안에서 서로 경쟁하는 두 개의 신경망, 즉 생성 네트워크(G : Generation Network)와 감별 네트워크(D: Discrimination Nework)으로 이루어진다. 본 실시예에서 G는 생성된 궤적과 실제 궤적(정답 궤적) 사이의 오차가 감소하도록 학습하며, D는 생성된 궤적과 실제 궤적을 입력받고 입력된 궤적이 실제 궤적(real)인지 그렇지 않은 궤적인지(fake)를 감별할 수 있도록 학습한다. G는 자신이 생성한 생성 궤적을 입력받은 D가 1을 출력하도록(즉, 실제 궤적으로 감별한 결과가 나오도록) 계속 학습하면서 점차 적합한 추종선 후보를 생성할 수 있도록 학습한다. 목표 동작에 대해서도 같은 방식으로 G와 D의 학습이 수행될 수 있다.

[주행환경 분석]

주행환경 분석(S160)은 영상 센서가 획득한 주행 방향 영상 및 라이다 데이터를 기반으로 이루어지는데, 레이더, 초음파 등 다른 센서 데이터를 이용하거나 융합하여 수행할 수 있다.

주행환경 분석 단계(S160)에서는 차선/연석 검출, 주행가능영역 검출, 자차 주변의 동적/정적 장애물 검출을 수행한다. 예컨대, 라이다 센서를 이용하여 자차 주변의 도로 상태 및 장애물의 존재와 위치 데이터를 획득한다.

주행가능영역 검출의 예로서, 도 6에서 보이는 바와 같이, 영상 센서가 획득한 영상(도 6a)로부터 주행가능영역(도 6b의 녹색 영역)을 검출한다.

주행환경 분석 방법은 종래에도 많이 연구/개발되었으므로 구체적인 설명은 생략한다.

[주행환경 분석 결과에 따른 추종선 후보 평가]

추종선 후보 평가 단계(S170)에서는, 도 7에서와 같이, 심층인공신경망(140)을 통해 추종선 후보 도출 단계(S150)에서 도출한 복수 개의 추종선 후보와 주행환경 분석 단계(S160)에 얻어진 차선/연석, 주행가능영역, 동적/정적 장애물을 정합하고(S171), 각 추종선 후보에 대하여 차선 평가(S173), 주행가능영역 평가(S175), 장애물 평가(S177)를 수행하여 추종선 후보의 주변 환경에의 적합성 또는 신뢰도를 평가한다.

도 8은 복수의 추종선(본 실시예에서는 50개)과 차선을 정합한 결과를 예시한 도면이고, 도 9는 복수의 추종선과 주행가능영역 및 동적/정적 장애물을 정합한 결과를 예시한 도면이다. 도 9의 노란색 영역이 주행가능영역이고 3차원 직육면체가 장애물이다.

차선 평가(S173)는, 1) 도 10과 같이 추종선으로부터 차로 폭만큼 좌측 차로 및 우측 차로 모델을 생성하고, 2) 평면격자도(Top-view grid map)에서 차로 모델과 검출 차선과의 중복 영역 계산한다. 3) 그 다음 중복 영역을 평가값으로 반영하여 이루어진다.

주행가능영역 평가(S175)는, 도 11에서 보는 바와 같이 1) 추종선으로부터 주행가능영역 모델(도 11의 녹색 영역)을 생성하고, 2) 평면격자도에서 주행가능영역 모델과 검출 주행가능영역과 중복 영역 계산한 후, 3) 중복 영역을 평가 값으로 반영한다.

동적/정적 장애물 평가(S177)는, 도 11에서 보는 바와 같이 1) 동적/정적 장애물(도 11의 주황색 차량)의 위험도를 평가하고, 2) TTC (Time to collision)을 고려한 장애물 위치 예측하고, 3) 주행가능영역 모델 범위에 동적/정적 장애물이 위치할 때 장애물의 위험도에 따른 평가값을 차감한다.

즉, 위 차선 평가값(W_lane), 주행가능영역 평가값(W_free), 및 동적/정적 장애물 평가값(W_obstacle)은 아래의 수식에 따라 도출될 수 있다.

도 12에 50개의 추종선 후보에 대하여 위 평가를 거쳐 도출한 평가값의 분포를 예시하였다.

본 발명의 바람직한 일 실시예에 따른 차선 평가(S173), 주행가능영역 평가(S175), 장애물 평가(S177)는 시계열적으로 이루어질 수도 있고, 또는 동시에 병행적으로 이루어질 수도 있다.

특히 본 발명이 목적하는 비정형 환경에서 최적 추종선을 도출하기 위해서, 차선 평가, 주행가능영역 평가, 장애물 평가의 일부만 수행할 수 있다. 즉, 차선이 없는 구간에서는 주행가능영역 평가 및 장애물 평가만 수행되며, 장애물이 없는 곳에서는 차선 평가, 주행가능영역 평가만 수행한다.

추종선 평가 단계(S170)의 최종 평가값은 비정형 환경에서 가능한 평가 방법에 의한 각 평가값의 산술합, 산술평균, 가중산술평균 또는 그 외의 방식 중 어느 하나일 수 있고, 또는 이를 규준화(nomalization)한 값일 수 있다. 최종 평가값의 산출시 주행환경에 따라 각 평가값에 가중치를 달리 부여하여 산출하는 것이 더욱 바람직하다. 예컨대, 차선인식이 잘 안되는 상황에서는 차선 평가값의 가중치를 낮추고 다른 평가값의 가중치를 높이는 방식으로 최종 평가값을 도출한다.

또는, 추종선 후보 검출 단계에서 도출된 각 후보별 가중치를 반영하여 각 후보별 최종 평가값을 도출할 수 있다.

[베이지안 추정을 통한 추종선 추적]

베이지안 추정이란 통계적 추론의 한 방법으로, 추론 대상의 사전 확률과 추가적인 정보를 통해 해당 대상의 사후 확률을 추론하는 방법이다. 다중/다종 센서의 효과적인 융합 방법으로 센서 입력과 추종하는 값들의 정확도를 확률 값으로 모델링하고 예측/관측 단계에서 업데이트 한다. 대표적으로 Kalman filter, Extended Kalman filter, particle filter 와 같은 방법이 있다.

본 실시예에서 생성적 적대 신경망(GAN)을 사용하여 각각의 가중치를 가지는 다수의 추종선 후보를 생성하므로, 베이지안 추정 기법에 따른 예측 모델 설계가 가능하다. 각각의 추종선 후보들이 다양한 평가 방법 (차선, 주행가능영역, 동/정적장애물)에 의해서 검출 정확도가 산출되므로 관측 모델 설계에 적합하다.

본 발명의 일 실시예에 따른 베이지안 추정을 통한 추종선 추적은 도 13에서 보는 바와 같이 추종선 예측과 차선 평가, 주행가능영역 평가, 장애물 평가를 거치면서 자율주행을 하는 동안 추종선을 매 단위시간 마다 계속 확정해 나간다.

추종선의 확정은 각 평가값을 가지는 복수의 추종선 후보 중에서 선택하여 확정하는 방식도 가능하지만, 복수의 추종선 후보의 평가값과 가중치에 기초하여 복수의 추종선 후보를 융합하여 최적의 추종선을 확정하는 것이 더 바람직하다.

즉, 본 발명에 따른 바람직한 실시예에서는 주변환경을 고려한 후보선 평가 결과에 따라 심층인공신경망을 이용한 복수의 추종선 후보 중 어느 것과도 상이한 추종선을 생성하여 이를 자율주행 차량이 추종할 추종선으로 확정하는 것이 가능하다. 이와 같이, 머신러닝 결과와 기하학적 분석결과를 융합하여 보다 신뢰도 높은 추종선을 비정형 환경에서도 도출할 수 있다.

또한, 전술한 바와 같이, 차선 검출이 가능한 경우에 차선을 평가하고, 주행가능영역 검출이 가능한 경우에 주행가능영역을 평가하고, 장애물이 검출되는 경우에 장애물 평가를 하기 때문에 차선 인식이 불가능한 구간 주행이나 악천후 등의 비정형 환경에서도 적정한 추종선을 확정할 수 있고 이럼으로써 비정형 환경에서의 자율주행이 가능하다.

이상 본 발명의 바람직한 일 실시예에 따른 추종선 확정 과정을 살펴보았는데, 다른 실시예로서, 평가 결과 및/또는 추적 결과를 심층인공신경망(140)에 피드백시키고 이를 토대로 학습을 지속하여 사람의 개입이 전혀없는 비지도학습 기반으로 심층인공신경망(140)의 추종선 후보 도출결과가 점진적으로 더 적정하게 되도록 구현할 수 있다.

즉, 평가 결과 및/또는 추적 결과를 심층인공신경망(140)에 피드백시켜서 학습하게 함으로써, 머신러닝 학습 데이터의 질과 양을 지속적으로 개선하여 심층인공신경망(140)의 추종선 후보 도출이 점차 정확해지고, 그 결과 전반적으로 더 자율주행에 적합한 추종선을 얻을 수 있다.

또 다른 실시예로서, 열악한 주변 환경이라서 차선, 주행가능영역, 장애물 등이 검출되는 않는 경우에는 평가 단계를 수행하지 않고 심층인공신경망(140)이 도출한 추종선 후보 중에서 가장 적합한 추종선을 선택하여 확정하는 것도 가능하다. 이 경우, 각 추종선 후보별 가중치를 고려하여 가장 높은 가중치(검출 정확도)를 가지는 추종선 후보를 최종 추종선으로 정할 수 있다.

이하, 도 14를 참조하여 본 발명에 따른 추종선 생성 시스템의 구조에 대하여 설명한다.

추종선 생성 시스템(100)은, 자차의 속도 등 자차주행상태를 인식하는 주행상태 센서부(110), 자차의 주행 방향 영상을 획득하는 영상 센서부(120), 자차 주변의 환경을 인식하는 주행환경 센서부(130), 주행상태 센서부(110) 및 영상 센서부(120)로부터 감지 데이터를 전달받아 복수의 추종선 후보를 도출하는 심층인공신경망(140), 영상 센서부(120) 및 주행환경 센서부(130)로부터 감지 데이터를 전달받아 주행환경을 분석하는 주행환경 분석부(150), 복수의 추종선 후보와 주행환경 분석결과를 전달받아 각 추종선 후보를 평가하는 평가부(160) 및 평가부의 결과를 토대로 최종 후보값을 확정하는 추적부(170)을 포함한다.

주행상태 센서부(110)는 자차의 속도를 감지하는 속도 센서(측위에 기초한 속도 센서, 차량 바퀴 회전 감지에 기초한 속도 센서 등)를 포함하며, 그 외에 가속도 센서, 슬립양 센서, 회전각 센서, 기울기 센서 등 자차의 주행상태에 관한 데이터를 감지하는 센서들을 더 포함할 수 있다.

영상 센서부(120)는 가시광 카메라 및/또는 적외선 카메라 등으로 구성되어 자차의 주행 방향 영상을 획득한다.

주행환경 센서부(130)는 라이다, 레이더, 초음파 등과 같이 자차 주변의 도로 환경과 동적/정적 장애물을 감지하는 센서이다.

심층인공신경망(140)은 주행상태 센서(110) 및 영상 센서(120)으로부터 전달된 자차의 속도, 주행 방향 영상 및 자율주행 제어부(미도시)로부터 자차의 목표 동작(직진, 좌회전, 우회전 등)을 입력으로 하여 N개의 추종선 후보와 각 추종선 후보들의 가중치(검출 정확도)를 출력한다.

또한 전술한 실시예에서 심층인공신경망(140)은 주행상태 감지 데이터로서 차속을 입력받아 추종선 후보를 구하였으나, 차속 이외에 가속도, 회전량 등 다른 감지 데이터를 입력받거나, 또는 둘 이상의 주행상태 감지 데이터를 입력받아 추종선 후보를 도출하도록 구성될 수 있음은 물론이다.

주행환경 분석부(150)는 영상 센서(120)가 획득한 영상 및 주행환경 감지센서(130)가 획득한 감지 데이터를 기반으로, 차선/연석 검출, 주행가능영역 검출, 자차 주변의 동적/정적 장애물 검출을 수행한다.

평가부(160)는 심층인공신경망(140)이 도출한 복수 개의 추종선 후보와 주행환경 분석부(130)가 검출한 차선/연석, 주행가능영역, 동적/정적 장애물을 정합하고, 각 추종선 후보에 대하여 차선 평가, 주행가능영역 평가, 장애물 평가를 수행하여 각 추종선 후보의 주변 환경에의 적합성을 평가한다.

차선 평가는, 1) 도 10과 같이 추종선으로부터 차로 폭만큼 좌측 차로 및 우측 차로 모델을 생성하고, 2) 평면격자도(Top-view grid map)에서 차로 모델과 검출 차선과의 중복 영역 계산한다. 3) 그 다음 중복 영역을 평가값으로 반영하여 이루어진다.

주행가능영역 평가는, 도 11에서 보는 바와 같이 1) 추종선으로부터 주행가능영역 모델(도 11의 녹색 영역)을 생성하고, 2) 평면격자도에서 주행가능영역 모델과 검출 주행가능영역과 중복 영역 계산한 후, 3) 중복 영역을 평가 값으로 반영한다.

동적/정적 장애물 평가는, 도 11에서 보는 바와 같이 1) 동적/정적 장애물(도 11의 주황색 차량)의 위험도를 평가하고, 2) TTC (Time to collision)을 고려한 장애물 위치 예측하고, 3) 주행가능영역 모델 범위에 동적/정적 장애물이 위치할 때 장애물의 위험도에 따른 평가값을 차감한다.

차선 평가, 주행가능영역 평가, 장애물 평가는 시계열적으로 이루어질 수도 있고, 또는 동시에 병행적으로 이루어질 수도 있다.

특히 본 발명이 목적하는 비정형 환경에서 최적 추종선을 도출하기 위해서, 평가부(160)는 차선 평가, 주행가능영역 평가, 장애물 평가의 일부만 수행할 수 있다. 즉, 차선이 없는 구간에서는 주행가능영역 평가 및 장애물 평가만 수행되며, 장애물이 없는 곳에서는 차선 평가, 주행가능영역 평가만 수행한다. 물론 3가지 평가가 모두 가능한 환경에서는 3가지 평가를 수행한다.

평가부(160)는 각 추종선 후보별로 차선 평가, 주행가능영역 평가 및 장애물 평가의 일부 또는 전부에 대한 평가를 거친 후 각 추종선 후보별로 최종 평가값을 도출한다.

최종 평가값은 비정형 환경에서 가능한 평가 방법에 의한 각 평가값의 산술합, 산술평균, 가중산술평균 중 어느 하나일 수 있고, 이를 규준화(nomalization)한 값일 수 있다. 최종 평가값의 산출시 주행환경에 따라 각 평가값에 가중치를 달리 부여하여 산출하면 더욱 바람직하다. 예컨대, 차선인식이 잘 안되는 상황에서는 차선 평가값의 가중치를 낮추고 다른 평가값의 가중치를 높이는 방식으로 최종 평가값을 도출한다.

추적부(170)는 베이지안 추정 기법을 적용하여 최적 추종선을 확정한다.

구체적으로, 추적부(170)는 추종선 예측(복수의 추종선 후보 도출)과 각 추종선 후보들에 대한 차선 평가, 주행가능영역 평가, 장애물 평가를 거치면서 자율주행을 하는 동안 추종선을 매 단위시간 마다 계속 확정해 나간다.

추종선의 확정은 각 평가값을 가지는 복수의 추종선 후보 중에서 선택하여 확정하는 방식도 가능하지만, 복수의 추종선 후보의 평가값과 후보별 가중치에 기초하여 복수의 추종선 후보를 융합하여 최적의 추종선을 확정하는 것이 더 바람직하다.

한편, 평가부(160) 및/또는 추적부(170의 평가 결과 및/또는 추적 결과를 심층인공신경망(140)에 피드백시키고 이를 토대로 학습을 지속하여 사람의 개입이 전혀없는 비지도학습 기반으로 심층인공신경망(140)의 추종선 후보 도출결과가 점진적으로 더 적정하게 되도록 함이 바람직하다.

전술한 바와 같이, 차선 검출이 가능한 경우에 차선을 평가하고, 주행가능영역 검출이 가능한 경우에 주행가능영역을 평가하고, 장애물이 검출되는 경우에 장애물 평가를 하기 때문에 차선이 안보이거나 악천후 등의 비정형 환경에서도 적정한 추종선을 확정할 수 있고 이럼으로써 비정형 환경에서의 자율주행이 가능하다.

즉, 본 발명에 따른 바람직한 실시예에서는 주변환경을 고려한 후보선 평가 결과에 따라 심층인공신경망을 이용한 복수의 추종선 후보 중 어느 것과도 상이한 추종선을 생성하여 이를 자율주행 차량이 추종할 추종선으로 확정하는 것이 가능하다.

이럼으로써, 머신러닝과 기하학적 분석결과를 융합하여 보다 신뢰도 높은 추종선을 비정형 환경에서도 도출할 수 있다.

또한, 평가 결과 및/또는 추적 결과를 심층인공신경망(140)에 피드백시켜서 학습하게 함으로써, 머신러닝 학습 데이터의 질과 양을 지속적으로 개선하여 심층인공신경망(140)의 추종선 후보 도출이 점차 정확해지고, 그 결과 전반적으로 더 자율주행에 적합한 추종선을 얻을 수 있다.

이상 바람직한 몇 실시예를 통하여 본 발명의 구성에 대하여 상세히 설명하였으나, 각 실시에는 본 발명의 설명을 위한 예시일 뿐, 각 실시예로부터 다양한 변경과 변형이 가능함은 물론이다. 즉, 본 발명의 기술적 사상은 전술한 실시예들에 한정되지 않으며, 본 발명의 보호범위는 이하의 특허청구범위의 기재에 의하여 정하여져야 할 것이다.

Claims

비정형 환경에서 자율주행용 추종선을 생성하기 위한 방법으로서,
영상 정보 및 주행상태 데이터에 기초하여 심층인공신경망을 이용해 복수의 추종선 후보를 도출하는 단계와,
영상 정보 및 주행환경 데이터에 기초하여 자차의 주행환경을 분석하는 단계와,
상기 분석된 주행환경을 고려하여 상기 복수의 추종선 후보 각각에 대하여 적합성을 평가하는 단계와,
상기 평가된 각 추종선 후보별 평가값을 토대로 추종선을 추적하는 단계
를 포함하는 자율주행용 추종선 생성 방법.
제1항에 있어서, 상기 추종선 후보를 도출하는 단계는,
영상 정보, 주행상태 데이터 및 자차의 목표 동작을 입력받아 복수의 추종선 후보 및 각 후보별 가중치를 출력하는 것인 자율주행용 추종선 생성 방법.
제1항에 있어서, 상기 추종선 후보를 도출하는 단계는,
상기 심층인공신경망으로서 생성적 적대 신경망을 채택하여 학습하는 단계를 포함하는 것인 자율주행용 추종선 생성 방법.
제1항에 있어서, 상기 주행환경을 분석하는 단계는,
영상 센서를 통해 영상 정보를 획득하는 단계와,
주행환경 감지 센서를 통해 주행환경 데이터를 획득하는 단계와,
상기 영상 정보 및 상기 주행환경 데이터를 토대로 차선, 연석, 주행가능영역, 장애물 중 적어도 하나를 검출하는 단계
를 포함하는 것인 자율주행용 추종성 생성 방법.
제4항에 있어서, 상기 주행환경 데이터를 획득하는 단계는,
라이다 센서를 이용하여 자차 주변의 도로 상태 및 장애물의 존재와 위치 데이터를 획득하는 것인 자율주행용 추종성 생성 방법.
제1항에 있어서, 상기 평가하는 단계는,
상기 복수의 추종선 후보별로 주행환경 분석 결과를 정합하는 단계와,
상기 정합 결과를 기초로 각 후보별 차선 평가, 주행가능영역 평가, 장애물 평가 중 적어도 하나를 수행하고, 이를 토대로 상기 복수의 추종선 후보별로 평가값을 도출하는 단계
를 포함하는 것인 자율주행용 추종선 생성 방법.
제1항에 있어서, 상기 추적하는 단계는,
상기 복수의 추종선 후보별 평가값을 기초로 상기 복수의 추종선 후보 중에서 최적 추종선을 선택하여 추종선을 확정하는 것인 자율주행용 추종선 생성 방법.
제1항에 있어서, 상기 추적하는 단계는,
상기 복수의 추종선 후보별 평가값을 기초로 상기 복수의 추종선 후보를 융합하여 최적 추종선을 생성 및 확정하는 것인 자율주행용 추종선 생성 방법.
비정형 환경에서 자율주행용 추종선을 생성하기 위한 방법으로서,
심층인공신경망을 이용해 복수의 추종선 후보 및 각 후보별 가중치를 도출하는 단계와,
자차의 주행환경을 분석하는 단계와,
상기 주행환경 분석 결과, 검출된 주행환경이 있을 경우 이를 토대로 상기 복수의 추종선 후보 각각에 대하여 적합성을 평가하는 단계와,
상기 복수의 추종선 후보별 가중치 및 상기 적합성 평가 결과 중 적어도 하에 기초하여 최적 추종선을 확정하는 단계
를 포함하는 자율주행용 추종선 생성 방법.
제9항에 있어서, 상기 평가하는 단계는,
상기 복수의 추종선 후보별로 차선 평가, 주행가능영역 평가, 장애물 평가 중에서 가능한 평가를 수행하는 것인 자율주행용 추종선 생성 방법.
제9항에 있어서, 상기 최적 추종선을 확정하는 단계는,
주행환경 검출 가능 여부를 판단하는 단계와,
판단 결과, 주행환경 검출이 가능한 경우에는 상기 복수의 추종선 후보별 평가값에 기초하여 최적 추종선을 확정하고, 주행환경 검출이 불가능한 경우에는 상기 복수의 추종선 후보별 가중치에 기초하여 최적 추종선을 확정하는 단계
를 포함하는 것인 자율주행용 추종선 생성 방법.
자차의 진행 방향 영상, 주행상태 및 주행환경을 감지하는 센서부와,
상기 센서부로부터 감지 데이터를 전달받아 복수의 추종선 후보를 도출하는 심층인공신경망과,
상기 센서부로터 감지 데이터를 전달받아 주행환경을 분석하는 주행환경 분석부와,
상기 복수의 추종선 후보와 주행환경 분석결과를 전달받아 각 추종선 후보를 평가하는 평가부와
상기 평가부의 결과를 토대로 최종 후보값을 확정하는 추적부
를 포함하는 자율주행용 추종선 생성 시스템.
제12항에 있어서, 상기 센서부는,
자차의 주행상태를 인식하는 주행상태 센서부와,
주행 방향 영상을 획득하는 영상 센서부와,
자차 주변의 환경을 인식하는 주행환경 센서부
를 포함하는 것인 자율주행용 추종선 생성 시스템.
제12항에 있어서, 상기 심층인공신경망은,
생성적 적대 신경망으로서 진행 방향 영상, 차속 및 자차의 목표 동작을 입력으로 받고 복수의 추종선 후보를 출력하는 것인 자율주행용 추종선 생성 시스템.
제12항에 있어서, 상기 심층인공신경망은,
상기 평가부 및 추적부 중 적어도 하나의 결과를 피드백 받아 지속적인 자가 학습에 이용하는 것인 자율주행용 추정선 생성 시스템.