KR102139513B1 - 인공지능 vils 기반의 자율주행 제어 장치 및 방법 - Google Patents

Abstract

본 발명은, 인공지능 VILS 기반의 자율주행 제어 장치 및 방법에 관한 것으로, 특히 생산적 적대 학습(GAN: Generative Adversarial Network) 모델을 통해 실제와 같은 주행 환경을 생성하여 실도로의 운행을 통해 자율주행차의 도로 운행을 검증하는 기술에 관한 것이다. 본 발명은, 가상 환경에서 자율주행차를 자율 주행시키기 위해, 검증이 필요한 모델링된 도로 환경을 나타내는 상태 정보와 상기 자율주행차의 주변 차량에 대한 정보를 포함하는 주행 정보를 통해 상기 가상 환경을 생성하는 주행환경 생성부; 상기 주행환경 생성부에서 획득된 상태 정보 및 주행 정보를 3차원 OGM(Occupancy Grid Map)을 통해 레이어 분류를 이용하여 데이터화를 진행하는 결과물 생성부; 및 상기 결과물 생성부에서 생성된 데이터로부터 산출된 자율주행 알고리즘을 작동시켜 상기 자율주행차를 제어하고 상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하여 상기 가상 환경에 입력하는 자율주행 검증부를 포함하는 인공지능 VILS 기반의 자율주행 제어 장치를 제공한다.
본 발명에 의해, 실제 다양한 운전자들의 주행을 학습한 고도화된 인공지능 운전자 모사 모델을 VILS 검증에 활용함으로써, 자율주행 평가의 신뢰성을 높일 수 있을 것이다.

Description

인공지능 VILS 기반의 자율주행 제어 장치 및 방법{AUTONOMOUS DRIVING CONTROL APPARATUS AND METHOD BASED ON AI VEHICLE IN THE LOOP SIMULATION}

본 발명은 인공지능 VILS 기반의 자율주행 제어 장치 및 방법에 관한 것으로, 특히 생산적 적대 학습(GAN: Generative Adversarial Network) 모델을 통해 실제와 같은 주행 환경을 생성하여 실도로의 운행을 통해 자율주행차의 도로 운행을 검증하는 기술에 관한 것이다.

차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다. 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세인데, 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(Advanced Driver Assistance System, ADAS)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 차량(Autonomous Vehicle)에 대한 개발이 활발하게 이루어지고 있다.

한편, 차량에 구비되는 센서를 이용하여 차량의 외부 환경에 대한 정밀 지도를 생성하는 기술 분야에 대한 개발이 이뤄지고 있으며, 특히 실 도로를 주행하여 상황 판단이나 대응 등의 모든 데이터를 분석 또는 처리하기는 어려운 상황이기 때문에 가상의 환경에서 주행을 분석하기 위한 여러 시뮬레이션 환경에 대한 연구가 활발히 진행되고 있다.

이와 관련, 종래의 한국등록특허 제10-1996230호는 차량에 탑재되는 각종 센서로부터 획득된 일정 시간의 센싱정보로부터 고정 물체와 이동 물체를 포함하는 주변 물체들을 추출하는 주변 물체 추출부; 상기 추출된 주변 물체들에 대하여 하나 이상의 체크포인트(check point)가 설정되면, 상기 체크포인트에 대한 설정 정보를 상기 센싱정보와 결합하여 테스트정보를 생성하는 테스트정보 생성부; 및 상기 테스트정보를 자율주행을 위한 제어명령을 출력하는 제어모듈로 제공하는 테스트정보 제공부;를 포함하는 테스트정보 제공 방법 및 장치를 개시하고 있다.

다만, 종래 기술은 주변 차량의 센싱 정보를 바탕으로 테스트를 수행하기 때문에 다양한 주행환경을 검증할 수 없으며, 실제 도로 상의 주행을 테스트 환경에 반영 시킬 수 없는 문제점이 있다.

한국공개등록특허 제10-1996230호

본 발명은 주변 차량의 센싱 정보에 한정되지 않고 다양한 환경에서 테스트를 수행할 수 검증 모델을 제공하는 것을 일 목적으로 한다.

또한, 본 발명은 주행 상태에 대응하여, 실 도로 상의 주행을 테스트 환경에 반영할 수 있는 검증 모델을 제공하는 것을 다른 목적으로 한다.

상기 목적을 달성하기 위하여 본 발명은, 가상 환경에서 자율주행차를 자율 주행시키기 위해, 검증이 필요한 모델링된 도로 환경을 나타내는 상태 정보와 상기 자율주행차의 주변 차량에 대한 정보를 포함하는 주행 정보를 통해 상기 가상 환경을 생성하는 주행환경 생성부; 상기 주행환경 생성부에서 획득된 상태 정보 및 주행 정보를 3차원 OGM(Occupancy Grid Map)을 통해 레이어 분류를 이용하여 데이터화를 진행하는 결과물 생성부; 및 상기 결과물 생성부에서 생성된 데이터로부터 산출된 자율주행 알고리즘을 작동시켜 상기 자율주행차를 제어하고 상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하여 상기 가상 환경에 입력하는 자율주행 검증부를 포함하는 인공지능 VILS 기반의 자율주행 제어 장치를 제공한다.

상기 주행환경 생성부는, 상기 상태 정보를 생성하는 시나리오 생성 모듈; 및 상기 주행 정보를 생성하는 주변 차량 생성 모듈을 포함할 수 있다.

상기 주변 차량 생성 모듈은, 생산적 적대 학습(Generative Adversarial Network, GAN)을 이용하여 검증에 필요한 주변 차량을 생성시킬 수 있다.

실시 예에 따라, 상기 생산적 적대 학습은, 상기 자율주행차의 학습용 주행상황과 학습용 운전상황에 대한 동기화 및 학습용 운전상황에 관한 정규화를 수행하는 전처리 과정을 적용한 후 수행될 수 있다.

상기 결과물 생성부는, 상기 3차원 OGM을 이용하여 3차원 공간에 물체가 차지하는 영역을 표시하여 상기 영역에 ID를 부여하여 데이터화하는 데이터 변환 모듈을 포함할 수 있다.

실시 예에 따라, 상기 데이터 변환 모듈은, 상기 3차원 공간을 상기 OGM을 이용하여 자동차와 보행자를 포함하는 객체를 표시하는 제1레이어와 교통정보를 표시하는 제2레이어로 구분할 수 있다.

상기 자율주행 검증부는, 상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하는 궤적 추적 모듈을 포함하고, 상기 궤적 추적 모듈은 상기 검증이 필요한 모델링된 가상 환경에 상기 궤적을 입력하여 정상 주행 여부를 테스트할 수 있다.

또한 본 발명은, 자율주행차가 주행할 도로 환경에 대한 상태 정보와 상기 자율주행차의 주변 차량에 대한 정보를 포함하는 주행 정보를 통해 가상 환경을 생성하는 단계; 상기 상태 정보 및 주행 정보를 3차원 OGM(Occupancy Grid Map)을 통해 레이어 분류를 이용하여 데이터화를 진행하는 단계; 및 상기 데이터로부터 산출된 자율주행 알고리즘을 작동시켜 상기 자율주행차를 제어하고 상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하여 상기 가상 환경에 입력하는 단계를 포함할 수 있다.

실시 예에 따라, 생산적 적대 학습(Generative Adversarial Network, GAN)을 이용하여 상기 주행 정보를 생성하는 단계를 포함할 수 있다.

실시 예에 따라, 상기 생산적 적대 학습을 위해 상기 자율주행차의 학습용 주행상황과 학습용 운전상황에 대한 동기화하는 단계; 및 상기 학습용 운전상황에 관한 정규화를 수행하는 전처리 과정을 적용하는 단계를 포함할 수 있다.

실시 예에 따라, 상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하는 단계; 및 상기 가상 환경에 상기 궤적을 입력하여 정상 주행 여부를 테스트하는 단계를 포함할 수 있다.

전술한 바와 같은 구성을 갖는 본 발명에 따르면, 실제 다양한 운전자들의 주행을 학습한 고도화된 인공지능 운전자 모사 모델을 VILS 검증에 활용함으로써, 자율주행 평가의 신뢰성을 높일 수 있다.

또한 본 발명은, 기존의 Rule-based 방식에 비하여, 고도화된 자율주행 평가와 이에 대한 신뢰성 확보를 기대할 수 있다.

도 1은 본 발명의 자율주행 차량의 제어로직을 VILS(Vehicle In the Loop System)로 검증하는 인공지능 VILS 기반의 자율주행 제어 장치이다.
도 2는 본 발명의 실시 예에 따른 OGM(Occupancy Grid Map)을 2차원 및 3차원에 적용하는 모습을 나타낸다.
도 3은 본 발명의 실시 예에 따른 결과물 생성부의 데이터 변환 모듈을 통해 3차원 공간에서 2개의 레이어를 구성하는 모습을 나타낸다.
도 4는 본 발명의 실시 예에 따른 인공지능 VILS 기반의 자율주행 제어 방법에 대한 순서도를 나타낸다.
도 5는 본 발명의 실시 예에 따른 주변 차량 생성 모듈에서 생산적 적대 학습(Generative Adversarial Network, GAN)을 이용하여 검증에 필요한 주변 차량을 생성하는 순서도를 나타낸다.
도 6은 본 발명의 실시 예에 따라 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하여 가상 환경에 입력하는 모습을 나타낸다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 자율주행 차량의 제어로직을 VILS(Vehicle In the Loop System)로 검증하는 인공지능 VILS 기반의 자율주행 제어 장치이다.

도 1을 참조하면, 본 발명의 자율주행 제어 장치는, 주행환경 생성부(10), 결과물 생성부(20) 및 자율주행 검증부(30)를 포함할 수 있다.

주행환경 생성부(10)는, 가상 환경에서 자율주행차를 자율 주행시키기 위해, 검증이 필요한 모델링된 도로 환경을 나타내는 상태 정보와 상기 자율주행차의 주변 차량에 대한 정보를 포함하는 주행 정보를 통해 상기 가상 환경을 생성할 수 있다.

주행환경 생성부(10)는, 상태 정보를 생성하는 시나리오 생성 모듈(11); 및 주행 정보를 생성하는 주변 차량 생성 모듈(12)을 포함할 수 있다.

먼저 주변 차량 생성 모듈(12)은, 자율 주행할 도로를 3차원 영상으로 생성하기 위하여 도로의 폭, 차선 수, 차선 종류 중 적어도 하나를 포함하는 도로 정보를 입력받을 수 있고, 이들을 편집하여 도로를 생성할 수 있으며, 입력 또는 편집된 도로의 폭, 차선 수, 차선 종류 중 적어도 하나를 포함하는 도로 정보를 이용하여 가상의 도로를 생성할 수 있다.

주변 차량 생성 모듈(12)은 생성된 가상의 도로를 배치하고, 생성된 도로를 자율 주행할 자동차, 도로에 포함된 다른 자동차, 사람 또는 이동하는 객체 각각의 위치와 이동 경로를 특정할 수 있는 객체 정보를 생성할 수 있다.

주변 차량 생성 모듈(12)은, 생산적 적대 학습(Generative Adversarial Network, GAN)을 이용하여 검증에 필요한 주변 차량을 생성시킬 수 있으며, 생산적 적대 학습은 자율주행차의 학습용 주행상황과 학습용 운전상황에 대한 동기화 및 학습용 운전상황에 관한 정규화를 수행하는 전처리 과정을 적용한 후 수행될 수 있다. 생산적 적대 학습과 관련된 내용은 도 4 이하 방법 발명에서 후술하기로 한다.

시나리오 생성 모듈(11)은, 생성된 적어도 하나의 객체의 종류, 위치, 이동 경로를 이용하여 가상의 객체를 생성할 수 있으며 자율주행 차 주변의 가상의 객체를 가상의 전체 도로 상에 배치할 수 있다.

실시 예에 따라 시나리오 생성 모듈(11)은, 생성된 도로 상에서 위치하거나 이동하는 객체에 따라 자율 주행할 자동차의 주행 조건을 입력 또는 편집할 수 있으며, 모델링된 가상의 자동차의 출발점 정보, 도착점 정보를 입력받아 자율 주행을 위한 주행 경로를 설정하고, 적어도 하나의 장애물 정보와 교통 상황을 입력받아 주행 경로에 적용할 수 있다.

시나리오 생성 모듈(11)은 실시 예에 따라 테스크 단위와 룰 단위를 구분하여, 테스크 단위 하위에 상기 룰 단위를 설정하고, 테스크 단위로 조건을 체크하여 이벤트 발생 여부를 결정하도록 설정할 수 있다.

결과물 생성부(20)는, 상기 주행환경 생성부(10)에서 획득된 상태 정보 및 주행 정보를 3차원 OGM(Occupancy Grid Map)을 통해 레이어 분류를 이용하여 데이터화를 진행할 수 있다.

자율주행 검증부(30)는, 결과물 생성부(20)에서 생성된 데이터로부터 산출된 자율주행 알고리즘을 작동시켜 자율주행차를 제어하고 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하여 가상 환경에 입력할 수 있다.

자율주행 검증부(30)는, 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하는 궤적 추적 모듈을 포함하고, 궤적 추적 모듈은 상기 검증이 필요한 모델링된 가상 환경에 궤적을 입력하여 정상 주행 여부를 테스트할 수 있다.

자율주행 검증부(30)는, 주행환경 생성부(10)와 결과물 생성부(20)에서 생성된 모델링된 가상 환경에 대한 정보를 자율주행 차량에 입력하여 제어 신호 산출할 수 있다. 그 후 실 도로에서 자율주행 차가 움직이는 궤적을 ECU의 Actuator 모델을 통해 피드백 받아 다시 가상환경에 궤적을 입력하여 실질적으로 가상 환경에 대응하여 자율주행 차가 대응할 수 있는지 테스트 할 수 있다.

상술한 각 구성요소에 대하여 이하 도 2 및 도 3을 통해 자세히 설명한다.

도 2는 본 발명의 실시 예에 따른 OGM(Occupancy Grid Map)을 2차원 및 3차원에 적용하는 모습을 나타낸다.

도 2를 참조하면, OGM은 Occupancy Grid Map(이하, ‘OGM’)의 약자로 로보틱스 분야에서 위치를 파악하는데 사용되는 방법이 적용될 수 있다.

도 2의 (a)의 경우 2차원에 OGM이 적용되는 예시로서, 2차원에서 간단하게 occupied space를 표시 할 수 있음을 나타내며, 도 2의 (b)의 경우, 3차원에 OGM이 적용되는 예시를 나타낸다. OGM이 적용을 통해 가상 환경에서의 결과물 들은 3차원으로 표현될 수 있으며, 각각 공간상 occupied space의 id를 구분하여 데이터화 될 수 있다.

결과물 생성부(20)의 데이터 변환 모듈(21)은, 3차원 공간 상에서 OGM을 이용하여 자동차와 보행자를 포함하는 객체를 표시하는 제1레이어와 교통정보를 표시하는 제2레이어로 구분하여 데이터화를 수행한다.

3D Physical object layer의 경우, occupied 객체에 따라 id를 구분 할 수 있으며 색상으로 구분될 수 있다. 즉, 자동차, 보행자, 사물 등 주행에 필요한 객체를 표시할 수 있다.

2D Transportation layer의 경우, Transportation layer는 교통 정보를 OGM 형식으로 표현하며, 차선, 신호, 주행 방향 등 교통 정보를 표시할 수 있다.

도 3은 본 발명의 실시 예에 따른 결과물 생성부(20)의 데이터 변환 모듈(21)을 통해 3차원 공간에서 2개의 레이어를 구성하는 모습을 나타낸다.

도 3을 참조하면, 결과물 생성부(20)는, 3차원 OGM을 이용하여 3차원 공간에 물체가 차지하는 영역을 표시하여 상기 영역에 ID를 부여하여 데이터화하는 데이터 변환 모듈(21)을 포함할 수 있다.

가상 환경은, 자율주행 차량을 검증하기 위한 시뮬레이터로, 주행 환경을 가상으로 생성하는 역할을 수행하며, 상술한 바와 같이 검증이 필요한 시나리오를 시나리오 생성 모듈(11)로부터 입력 받고, 주행 환경에 필요한 주변 차량을 주변 차량 생성 모듈(12)로부터 입력 받아 생성될 수 있다.

여기서 결과물 생성부(20)는, 각 입력 받은 상태 정보와 주행 정보를 바탕으로 3차원 OGM이 이용될 수 있으며, 3차원 공간에 물체가 차지하는 영역을 표시하고, 각 객체 표시하는 영역은 객체의 ID를 가져 구분이 가능하도록 설정하는 것이다.

구체적으로 결과물 생성부(20)의 데이터 변환 모듈(21)에서, 상술한 OGM이 총 2개의 layer를 구성하며, 자동차와 보행자 등의 객체를 표시하는 3D Physical object layer와 교통 정보를 표시하는 Transportation layer로 구성될 수 있다.

이하 상술한 인공지능 VILS 기반의 자율주행 제어 장치를 이용하여, 자율주행 로직을 검증하는 방법에 대하 설명한다.

도 4는 본 발명의 실시 예에 따른 인공지능 VILS 기반의 자율주행 제어 방법에 대한 순서도를 나타낸다.

도 4를 참조하면, 본 발명의 인공지능 VILS 기반의 자율주행 제어 방법은, 2개의 레이어로 구성된 정보, 즉 상태정보와 주행정보를 통해 가상 환경을 생성하는 단계(S10), OGM을 통해 레이어 분류를 이용하여 데이터화를 진행하는 단계(S20) 및 궤적을 추적 및 기록하여 가상 환경에 입력하는 단계(S30)를 포함할 수 있다.

상태정보와 주행정보를 통해 가상 환경을 생성하는 단계(S10)는, 자율주행차가 주행할 도로 환경에 대한 상태 정보와 상기 자율주행차의 주변 차량에 대한 정보를 포함하는 주행 정보를 통해 가상 환경을 생성하는 과정이다.

가상 환경을 생성하는 과정은, GAN을 활용한 실제 운전자 모사 모델 생성 모듈에서, 가상 환경에서 자율주행차 검증을 위해 필요한 주변 차량 즉, 운전자 모델을 GAN을 통해 생성시켜, 가상 환경에서 주행하게 한다.

가상 환경은, 자율주행 차량을 검증하기 위한 시뮬레이터로, 주행 환경을 가상으로 생성하는 것으로 검증이 필요한 시나리오를 시나리오 생성 모듈(11)에서 가져오고, 주행 환경에 필요한 주변 차량을 주변 차량 생성 모듈(12)에서 가져와 생성할 수 있다.

OGM을 통해 레이어 분류를 이용하여 데이터화를 진행하는 단계(S20)는, 상기 상태 정보 및 주행 정보를 3차원 OGM(Occupancy Grid Map)을 통해 구현하는 과정이다.

데이터화를 진행하는 단계(S20)은, 결과물 생성부(20)에서 가상 환경을 통해 나온 주변 환경 결과물을 자율주행차에 적용하기 위한 데이터 양식으로 변환하는 과정으로, 데이터 변환 모듈(21)이 관여하며, 가상 결과물의 형식은 3차원 OGM을 이용한다.

궤적을 추적 및 기록하여 가상 환경에 입력하는 단계(S30)는, 상기 데이터로부터 산출된 자율주행 알고리즘을 작동시켜 상기 자율주행차를 제어하고, 상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하여 상기 가상 환경에서의 움직임을 입력하는 과정이다.

도 5는 본 발명의 실시 예에 따른 주변 차량 생성 모듈(12)에서 생산적 적대 학습(Generative Adversarial Network, GAN)을 이용하여 검증에 필요한 주변 차량을 생성하는 순서도를 나타낸다.

도 5를 참조하면, 생산적 적대 학습을 위해 사용되는 학습용 모집단은 차량에 관한 주행상황과 운전상황으로 구성될 수 있다.

실시 예에 따라, 주행환경 생성부(10)는 생산적 적대 학습(GAN: Generative Adversarial Network)을 이용하여 상기 주행 정보를 생성하는 단계를 포함할 수 있다.

주행상황은 상술한 상태 정보와 관련된 내용으로써 차량의 외부 상태에 관한 레이더를 통해 측정되는 센서 데이터에 해당할 수 있고, 운전상황은 상술한 주행 정보와 관련된 내용으로써 실제 운전자가 운전한 주행을 통해 측정되는 제어 데이터에 해당할 수 있다.

생산적 적대 학습의 경우, 제1 학습과정으로서 상기 학습용 주행상황에 대한 후보 운전상황을 생성하는 과정과, 제2 학습과정으로서 상기 후보 운전상황에 대한 판별 확률을 생성하는 과정을 포함할 수 있다.

주행환경 생성부(10)는 생산적 적대 학습을 이용하여 상기 주행 정보를 생성하는 단계 외에도, 실시 예에 따라 생산적 적대 학습을 위해 상기 자율주행차의 학습용 주행상황과 학습용 운전상황에 대한 동기화하는 단계; 및 상기 학습용 운전상황에 관한 정규화를 수행하는 전처리 과정을 적용하는 단계를 포함할 수 있다.

본 발명의 실시 예에서, 학습용 모집단은 전처리 과정이 적용될 수 있으며, 전처리 과정은 주행상황과 운전상황에 대한 동기화와 운전상황에 대한 정규화로 구분되어 처리될 수 있다.

실시 예에 따라 생산적 적대 학습은 생성자 모델을 생성하는 제1 학습과정과 판별자 모델을 생성하는 제2 학습과정이 상호작용을 통해 반복적으로 수행될 수 있다. 특히, 생산적 적대 학습은 판별자 모델에 의한 판별 성공 확률이 특정 기준을 충족할 때까지 피드백 손실이 최소화되는 방향으로 반복 진행될 수 있다.

판별자 모델에 의한 판별 성공 확률이 특정 기준을 충족하여 학습이 완료된 경우 제1 학습과정의 결과로서 생성자 모델에 적용된 가중치가 생산적 적대 학습의 결과로서 저장될 수 있고, 운전자 모사 모델에 그대로 적용되어 차량의 자율주행 제어를 위해 활용될 수 있다.

도 6은 본 발명의 실시 예에 따라 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하여 가상 환경에 입력하는 모습을 나타낸다.

도 6을 참조하면, 자율주행 검증부(30)는 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하는 단계 및 상기 가상 환경에 상기 궤적을 입력하여 정상 주행 여부를 테스트하는 단계를 포함할 수 있다.

자율주행 검증부(30)는, 상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하는 궤적 추적 모듈을 포함하고, 상기 궤적 추적 모듈은 검증이 필요한 모델링된 가상 환경에 상기 궤적을 입력하여 정상 주행 여부를 테스트할 수 있다.

자율주행 검증부(30)는, 검증하고자 하는 실제 센서를 부착하지 않고 가상 환경과 연결된 자율주행 차와 연결하여 테스트를 진행할 수 있다.

주행환경 생성부(10)의 결과물을 통해 자율주행 알고리즘이 작동하고, 이에 따라 실제 차량이 제어되어 움직이게 할 수 있다. 차량이 제어되어 움직이는 경로는 차량 궤적 추적 장치(31)를 통해 가상 환경으로 입력될 수 있으며, 차량 궤적 추적 장치(31)는 실시 예에 따라 DGPS, IMU 등이 이용될 수 있다.

주행환경 생성부에서는 학습부에서 저장한 가중치와 GAN 알고리즘의 생성자 모델만을 사용하여 cut-in 상황에 대한 컨트롤 데이터를 생성하는 작업을 실시할 수 있으며, 상술한 학습과 마찬가지로 이전 3초 동안의 주행 영상을 input으로 넣게 되면, 다음 3초에 대한 컨트롤 데이터를 생성해내는 작업을 추가적으로 실시할 수 있다. 또한 실시간성(real-time)을 고려하여 일정 시간 간격을 지정하여 time window sliding 방식을 적용하여 생성 데이터의 부자연적 흐름을 해결할 수 있다.

차량 궤적 추적 장치(31)는, 자율주행 차량이 자율주행 알고리즘을 통해 이동한 궤적을 추적 및 기록하고, 추적 및 기록된 데이터를 가상환경에 입력하는 과정을 포함할 수 있다.

본 발명은 실제 다양한 운전자들의 주행을 학습한 고도화된 인공지능 운전자 모사 모델을 VILS 검증에 활용함으로써, 자율주행 평가의 신뢰성을 높일 수 있을 것이다.

특히, 기존의 Rule-based 운전자 모델이 다양한 상황에 대처하는 과정에서 문제점이 있었기 때문에, 본 발명을 통해 더욱 고도화된 자율주행 평가와 이에 대한 신뢰성 확보를 기대할 수 있다.

이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

10 : 주행환경 생성부 11: 시나리오 생성 모듈
12: 주변 차량 생성 모듈
20: 결과물 생성부 21: 데이터 변환 모듈
30: 자율주행 검증부 31: 차량 궤적 추적 장치

Claims (11)

1. 가상 환경에서 자율주행차를 자율 주행시키기 위해, 검증이 필요한 모델링된 도로 환경을 나타내는 상태 정보와 상기 자율주행차의 주변 차량에 대한 정보를 포함하는 주행 정보를 통해 상기 가상 환경을 생성하는 주행환경 생성부;
   상기 주행환경 생성부에서 획득된 상태 정보 및 주행 정보를 3차원 OGM(Occupancy Grid Map)을 통해 레이어 분류를 이용하여 데이터화를 진행하는 결과물 생성부; 및
   상기 결과물 생성부에서 생성된 데이터로부터 산출된 자율주행 알고리즘을 작동시켜 상기 자율주행차를 제어하고 상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하여 상기 가상 환경에 입력하는 자율주행 검증부를 포함하고,
   상기 결과물 생성부는,
   상기 3차원 OGM을 이용하여 3차원 공간에 물체가 차지하는 영역을 표시하여 상기 영역에 ID를 부여하여 데이터화하는 데이터 변환 모듈을 더 포함하고,
   상기 데이터 변환 모듈은,
   상기 3차원 공간을 상기 OGM을 이용하여 자동차와 보행자를 포함하는 주행에 필요한 객체를 표시하는 제1레이어와 차선, 신호, 주행 방향을 포함하는 교통정보를 표시하는 제2레이어로 구분하며,
   상기 제1레이어 및 상기 제2레이어를 통해 주행 중 주변 차량 및 교통 정보를 동시에 인식 가능한 것을 특징으로 하는 인공지능 VILS 기반의 자율주행 제어 장치.
   
2. 제 1 항에 있어서,
   상기 주행환경 생성부는,
   상기 상태 정보를 생성하는 시나리오 생성 모듈; 및
   상기 주행 정보를 생성하는 주변 차량 생성 모듈을 포함하는 인공지능 VILS 기반의 자율주행 제어 장치.
   
3. 제 2 항에 있어서,
   상기 주변 차량 생성 모듈은,
   생산적 적대 학습(Generative Adversarial Network, GAN)을 이용하여 검증에 필요한 주변 차량을 생성시키는 것을 특징으로 하는 인공지능 VILS 기반의 자율주행 제어 장치.
   
4. 제 3 항에 있어서,
   상기 생산적 적대 학습은,
   상기 자율주행차의 학습용 주행상황과 학습용 운전상황에 대한 동기화 및 학습용 운전상황에 관한 정규화를 수행하는 전처리 과정을 적용한 후 수행되는 것을 특징으로 하는 인공지능 VILS 기반의 자율주행 제어 장치.
   
5. 삭제
6. 삭제
7. 제 1 항에 있어서,
   상기 자율주행 검증부는,
   상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하는 궤적 추적 모듈을 포함하고,
   상기 궤적 추적 모듈은 상기 검증이 필요한 모델링된 가상 환경에 상기 궤적을 입력하여 정상 주행 여부를 테스트할 수 있는 것을 특징으로 하는 인공지능 VILS 기반의 자율주행 제어 장치.
   
8. 자율주행차가 주행할 도로 환경에 대한 상태 정보와 상기 자율주행차의 주변 차량에 대한 정보를 포함하는 주행 정보를 통해 가상 환경을 생성하는 단계;
   상기 상태 정보 및 주행 정보를 3차원 OGM(Occupancy Grid Map)을 통해 레이어 분류를 이용하여 데이터화를 진행하는 단계; 및
   상기 데이터로부터 산출된 자율주행 알고리즘을 작동시켜 상기 자율주행차를 제어하고 상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하여 상기 가상 환경에 입력하는 단계를 포함하고,
   상기 데이터화를 진행하는 단계는,
   결과물 생성부에서 상기 3차원 OGM을 이용하여 3차원 공간에 물체가 차지하는 영역을 표시하여 상기 영역에 ID를 부여하여 데이터화하는 단계; 및
   상기 3차원 공간을 상기 OGM을 이용하여 자동차와 보행자를 포함하는 주행에 필요한 객체를 표시하는 제1레이어와 차선, 신호, 주행 방향을 포함하는 교통 정보를 표시하는 제2레이어로 구분하는 단계를 더 포함하고,
   상기 제1레이어 및 상기 제2레이어를 통해 주행 중 주변 차량 및 교통 정보를 동시에 인식 가능한 것을 특징으로 하는 인공지능 VILS 기반의 자율주행 제어 방법.
   
9. 제 8 항에 있어서,
   생산적 적대 학습(Generative Adversarial Network, GAN)을 이용하여 상기 주행 정보를 생성하는 단계를 포함하는 인공지능 VILS 기반의 자율주행 제어 방법.
   
10. 제 9 항에 있어서,
    상기 생산적 적대 학습을 위해 상기 자율주행차의 학습용 주행상황과 학습용 운전상황에 대한 동기화하는 단계; 및
    상기 학습용 운전상황에 관한 정규화를 수행하는 전처리 과정을 적용하는 단계를 포함하는 인공지능 VILS 기반의 자율주행 제어 방법.
    
11. 제 8 항에 있어서,
    상기 자율주행차의 실제의 움직이는 궤적을 추적 및 기록하는 단계; 및
    상기 가상 환경에 상기 궤적을 입력하여 정상 주행 여부를 테스트하는 단계를 포함하는 인공지능 VILS 기반의 자율주행 제어 방법.

Images