KR20210090386A - 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법 및 그 장치 - Google Patents
자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법 및 그 장치 Download PDFInfo
- Publication number
- KR20210090386A KR20210090386A KR1020200003557A KR20200003557A KR20210090386A KR 20210090386 A KR20210090386 A KR 20210090386A KR 1020200003557 A KR1020200003557 A KR 1020200003557A KR 20200003557 A KR20200003557 A KR 20200003557A KR 20210090386 A KR20210090386 A KR 20210090386A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- vehicle
- predicting
- driving data
- driving
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000001133 acceleration Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000002787 reinforcement Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명의 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법은, 가상 차량 학습부가, 실제 자율 주행 차량으로부터 수집된 차량 주행 데이터를 이용하여 가상 차량 모델을 생성하는 단계; 가상 환경 에이전트가, 상기 가상 차량 학습부로부터 입력된 상기 생성된 가상 차량 모델을 이용하여 상기 가상 환경에서 주행하는 상기 가상 차량 모델의 주행 데이터를 예측하여 출력하는 단계; 및 컨트롤러 에이전트가, 상기 가상 환경 에이전트로부터 입력된 상기 가상 차량 모델의 주행 데이터를 이용하여 목표 속도값들을 포인트 단위로 연결한 속도 궤적을 예측하는 단계;를 포함한다.
Description
본 발명은 인공신경망을 통해 자율 주행 차량의 특성이 반영된 가상 환경에서 주행 경로에 대해 강화학습 에이전트가 최적의 속도를 학습하고, 학습된 강화학습 에이전트를 기반으로 최적의 속도에 대한 궤적을 예측하는 기술에 관한 것이다.
자율주행차량의 개발에 있어서 주행 경로에 대한 최적의 속도 예측은 차량 거동의 안정성, 탑승자의 승차감을 위한 중요한 기술 중에 하나이다. 종래의 자율 주행 차량에서 경로를 주행하기 위한 속도 계획은 도로 정보에 기반하거나, 주행 경로를 수학적으로 분석하거나, 차량에 탑재된 감지 장치를 이용하여 주행 속도를 예측한다. 그러나 종래 기술은 차량의 특성을 정확히 설계하기 어려우며, 실제 도로 환경의 다양한 특성을 반영하기 어렵다는 문제점이 있다. 또한, 종래에는 테스트용 전용 도로에서 자율 주행 차량의 주행 테스트를 실시하지만, 이러한 테스트용 전용 도로는 실제 도로 환경을 반영하는데 한계가 있다. 물론 실제 도로 환경에서 자율 주행 차량의 주행 테스트를 실시할 수 있지만, 이 경우, 사고의 위험이 높다.
본 발명은 전술한 문제점을 해결하기 위하여, 차량 주행 데이터를 인공 신경망으로 학습하여 자율 주행 차량의 특성을 반영한 가상 환경을 설계하고, 강화 학습을 통해 차량의 특성이 반영된 가상 환경 상에서 주행 경로를 학습하여, 차량 및 도로의 특성을 반영한 효율적 차량의 거동 및 안정된 승차감을 고려한 최적의 속도 궤적 예측 장치 및 그 방법을 제공하는 데 목적이 있다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법은, 가상 차량 학습부가, 실제 자율 주행 차량으로부터 수집된 차량 주행 데이터를 이용하여 가상 차량 모델을 생성하는 단계;
가상 환경 에이전트가, 상기 가상 차량 학습부로부터 입력된 상기 생성된 가상 차량 모델을 이용하여 상기 가상 환경에서 주행하는 상기 가상 차량 모델의 주행 데이터를 예측하여 출력하는 단계; 및 컨트롤러 에이전트가, 상기 가상 환경 에이전트로부터 입력된 상기 가상 차량 모델의 주행 데이터를 이용하여 목표 속도값들을 포인트 단위로 연결한 속도 궤적을 예측하는 단계;를 포함한다.
본 발명의 다른 일면에 따른 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 장치는, 소프트웨어 모듈이 저장된 메모리 및 상기 소프트웨어 모듈을 실행하는 프로세서를 포함하는 장치로서, 상기 프로세서에 의해 실행되는 소프트웨어 모듈은, 실제 자율 주행 차량으로부터 수집된 차량 주행 데이터를 이용하여 가상 차량 모델을 생성하는 가상 차량 학습부; 상기 가상 차량 학습부로부터 입력된 상기 생성된 가상 차량 모델을 이용하여 상기 가상 환경에서 주행하는 상기 가상 차량 모델의 주행 데이터를 예측하여 출력하는 가상 환경 에이전트; 및 상기 가상 환경 에이전트로부터 입력된 상기 가상 차량 모델의 주행 데이터를 이용하여 목표 속도값들을 포인트 단위로 연결한 속도 궤적을 예측하는 컨트롤러 에이전트;를 포함한다.
본 발명에 의하면, 인공 신경망과 강화 학습으로 생성된 두 에이전트(가상 환경 에이전트 및 컨트롤러 에이전트)의 학습을 통해 자율 주행 차량의 동적 특성을 학습하고, 경로에 대한 경험적 요소와 추론적 요소가 반영된 속도를 출력한다.
이에 따라, 자율 주행 차량의 속도 궤적을 계획함에 있어서 경로에 대해 차량의 거동이 급격히 변화하는 구간에 대한 대처가 가능하고, 학습 데이터와 유사한 주행 경로들에 대해서도 안정된 자율 주행이 가능하다. 또한, 보상값의 간단한 파라미터의 변화를 통해 다양한 모드의 학습 및 주행이 가능한 장점이 있다.
도 1은 본 발명의 실시 예에 따른 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 장치의 블록도.
도 2는 도 1에 도시한 시뮬레이션 장치의 내부 구성을 나타내는 블록도.
도 3은 도 1에 도시한 속도 계획 장치의 내부 구성을 나타내는 블록도.
도 4는 본 발명의 실시 예에 따른 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법을 나타내는 흐름도.
도 5는 본 발명의 실시 예에 따른 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법이 적용될 수 있는 컴퓨팅 장치의 구성도.
도 2는 도 1에 도시한 시뮬레이션 장치의 내부 구성을 나타내는 블록도.
도 3은 도 1에 도시한 속도 계획 장치의 내부 구성을 나타내는 블록도.
도 4는 본 발명의 실시 예에 따른 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법을 나타내는 흐름도.
도 5는 본 발명의 실시 예에 따른 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법이 적용될 수 있는 컴퓨팅 장치의 구성도.
이하, 본 발명의 다양한 실시 예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시 예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 다양한 실시 예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 장치의 블록도 이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 자율 주행 차량의 최적 속도 궤적(velocity trajectory)을 예측하기 위한 장치(300, 이하, 속도 궤적 예측 장치)는 자율 주행 차량에 탑재된다. 여기서, 속도 궤적은 자율 주행 차량의 시간별 속도 변화량을 의미한다.
본 발명의 실시 예에 따른 속도 궤적 예측 장치(300)는 시뮬레이션 장치(100) 및 속도 계획 장치(200)를 포함하며. 이들(100, 200)은 분리 가능하며, 속도 계획 장치(200)만이 자율 주행 차량에 탑재될 수도 있다.
시뮬레이션 장치(100)는 차량 주행 데이터와 학습 경로 데이터를 이용하여 가상 환경 에이전트와 컨트롤러 에이전트를 생성하고, 또한, 지속적으로 수집된 차량 주행 데이터와 학습 경로 데이터를 이용하여 가상환경 에이전트(114)와 컨트롤러 에이전트(132)를 학습시킨다.
가상 환경 에이전트와 컨트롤러 에이전트는 시뮬레이션 장치(100)에 의해 학습된 '인공 신경망' 또는 '인공 신경망 모델'로 지칭될 수 있으며, 인공 신경망을 포함하는 '소프트웨어 모듈'일 수 있다.
가상 환경 에이전트는 실제 자율 주행 차량의 동적 특성이 반영된 가상 환경을 제공하고, 동시에, 실제 자율 주행 차량을 모사한 상기 가상 차량(가상 차량 모델)의 주행 상태 정보(차량 주행 데이터) 및 보상값을 출력하도록 학습된다.
시뮬레이션 장치(100)에 의해 학습된 컨트롤러 에이전트는 시간대별 최적의 속도값을 예측하고, 시간대별로 예측된 최적의 속도값들(목표 속도값들)을 포인트 단위로 연결한 속도 궤적을 출력하도록 학습된다.
이하, 시뮬레이션 장치(100) 및 속도 계획 장치(200) 각각에 대해 보다 상세히 설명하기로 한다.
시뮬레이션 장치(100)
도 2는 도 1에 도시한 시뮬레이션 장치의 내부 구성을 나타내는 블록도이다.
도 2를 참조하면, 시뮬레이션 장치(100)는 가상 환경 학습 모듈(110) 및 컨트롤러 학습 모듈(130)을 포함한다.
가상 환경 학습 모듈(110)은 가상 차량 학습부(112) 및 가상 환경 에이전트(114)를 포함한다.
가상 차량 학습부(112)는 실제 자율 주행 차량으로부터 수집된 차량 주행 데이터를 훈련 데이터로 이용하여 상기 실제 자율 주행 차량의 동적 특성을 갖도록 학습된 가상 차량(또는 가상 차량 모델)을 생성한다.
여기서, 차량 주행 데이터는 실제 자율 주행 차량으로부터 시계열적으로 수집된 데이터로서, 예를 들면, 시간대별로 수집된 위치값, 속도, 가속도, 조향각, 각가속도 등을 포함한다.
가상 차량 학습부(112)에 의해 생성된 가상 차량(또는 가상 차량 모델)은 과거의 차량 주행 데이터로부터 현재의 차량 주행 데이터를 예측하는 인공 신경망(인공 신경망 모델)으로 구현될 수 있다.
가상 차량 학습부(112)에 의해 가상 차량(또는 가상 차량 모델)에 대한 학습이 완료되면, 학습이 완료된 가상 차량은 가상 환경 에이전트(114)로 입력된다.
가상 환경 에이전트(114)는 가상 환경을 모델링하여 가상 환경 모델을 생성하고, 동시에 상기 생성된 가상 환경 모델에 가상 차량 학습부(112)로부터 입력된 가상 차량(또는 가상 차량 모델)을 적용한다.
가상 환경은 상기 가상 차량(또는 가상 차량 모델)의 자율 주행 테스트를 위한 가상의 자율 주행 공간을 의미한다. 가상 환경은, 예를 들면, 가상 차량(또는 가상 차량 모델)이 주행하는 가상의 주행 경로, 가상의 주행 경로 주변에 배치되는 가상의 오브젝트 등을 포함한다. 여기서, 가상의 오브젝트는, 가상의 보행자, 상기 가상의 주행 경로를 주행하는 가상의 주변 차량 및 가상의 장애물 등을 포함한다.
가상 환경 에이전트(114)는 가상 환경에서 주행하는 가상 차량(또는 가상 차량 모델)의 과거 주행 데이터에 대한 상기 가상 차량(또는 가상 차량 모델)의 현재 주행 데이터를 예측하여, 상기 가상 차량(또는 가상 차량 모델)의 현재 주행 데이터를 출력한다.
상기 과거 주행 데이터는 상기 가상 환경(가상의 자율 주행 공간) 내에서 가상 차량(또는 가상 차량 모델)의 과거의 위치값, 속도, 가속도, 조향각, 각가속도 등을 포함하고, 상기 예측된 현재 주행 데이터는 상기 가상 환경 내에서 상기 가상 차량(또는 가상 차량 모델)의 현재의 위치값, 속도, 가속도, 조향각, 각가속도 등을 포함한다.
또한 가상 환경 에이전트(114)는 상기 가상 차량(또는 가상 차량 모델)의 과거 주행 데이터로부터 예측된 상기 가상 차량(또는 가상 차량 모델)의 현재 주행 데이터와 실제 자율 주행 차량으로부터 수집된 현재 주행 데이터 간의 비교를 통해 보상값을 계산한다.
여기서 보상값은 아래에서 설명될 컨트롤러 학습 모듈(130)에서 컨트롤러 에이전트(132)를 학습시키기 위한 값으로 사용된다. 보상값(R)은, 아래의 수식으로 계산될 수 있다.
여기서, α, β는 가중치이고, 
는 가상 차량(또는 가상 차량 모델)의 속도이고, 
는 가상 차량(또는 가상 차량 모델)의 횡방향 가속도이고, 
는 가상 차량(또는 가상 차량 모델)의 종방향 가속도이다.
컨트롤러 학습 모듈(130)은 컨트롤러 에이전트(132)와 컨트롤러 학습부(134)를 포함한다.
컨트롤러 에이전트(132)는 학습 경로 데이터, 가상 환경 에이전트(114)로부터 입력되는 가상 차량(또는 가상 차량 모델)의 주행 데이터와 보상값(R)을 이용하여 목표 속도값들을 포인트 단위로 연결한 속도 궤적을 출력한다. 컨트롤러 에이전트(132)는 강화 학습 알고리즘으로 구현될 수 있다.
컨트롤러 학습부(134)은 가상 환경 에이전트로부터 입력되는 가상 차량(또는 가상 차량 모델)의 주행 데이터 및 보상값(R)과 컨트롤러 에이전트(132)로부터 출력되는 목표 속도값을 이용하여 컨트롤러 에이전트(132)를 학습시키기 위한 파라미터를 계산하고, 계산된 파라미터를 이용하여 컨트롤러 에이전트(132)를 학습시킨다.
속도 계획 장치(200)
도 3은 도 1에 도시한 속도 계획 장치(200)의 내부 구성을 나타내는 블록도이다.
도 3을 참조하면, 시뮬레이션 장치에(100)에 의해 생성된 가상 환경 에이전트(114)와 컨트롤러 에이전트(132)는 속도 계획 장치(200)에 포함되도록 모듈화된다. 즉, 속도 계획 장치(200)는 시뮬레이션 장치(100)에 의해 학습이 완료된 가상 환경 에이전트(114)와 컨트롤러 에이전트(132)를 포함하도록 구성된다.
속도 계획 장치(200)는 데이터 처리 기능을 갖는 컴퓨팅 장치일 수 있으며, 시뮬레이션 장치(100)로부터 전달된 가상 환경 에이전트(114)와 컨트롤러 에이전트(132)를 저장하는 저장소와, 저장소에 저장된 가상 환경 에이전트(114)와 컨트롤러 에이전트(132)를 실행시키는 프로세서를 포함하도록 구성될 수 있다.
이러한 속도 계획 장치(200)는 시뮬레이션 장치(100)와 물리적으로 분리되어 실제 자율 주행 차량 내에 설계된 자율 주행 시스템에 탑재될 수 있다.
물론, 속도 계획 장치(200)가 시뮬레이션 장치(100)로부터 분리되지 않고, 시뮬레이션 장치(100)와 함께 실제 자율 주행 차량 내의 자율 주행 시스템에 탑재될 수 있음은 당연하다. 이 경우, 실제 자율 주행 차량이 주행하는 동안 가상 환경 에이전트(114)와 컨트롤러 에이전트(132)는 실시간으로 업데이트될 수 있다.
속도 계획 장치(200)는 도 2의 시뮬레이션 장치(100)에서 학습이 완료된 가상 환경 에이전트(114)와 컨트롤러 에이전트(132)를 통해 실제 자율 주행 차량의 실제 차량 주행 상태 데이터와 실제 주행 경로를 입력받아 목표 속도를 계획한다.
가상환경 에이전트(114)는 실제 자율 주행 차량의 실제 차량 주행 상태 데이터와 실제 주행 경로를 가공하여 획득한 정보를 입력 정보로서 컨트롤러 에이전트(132)에 입력한다. 여기서, 상기 입력 정보는 실제 자율 주행 차량의 과거의 주행 데이터로부터 예측된 현재의 주행 데이터와 보상값(R)를 포함한다.
상기 입력 정보를 통해 컨트롤러 에이전트는 속도값을 출력하고, 이를 다시 가상환경 에이전트(114)의 입력으로 피드백한다.
가상환경 에이전트는 컨트롤러 에이전트로부터 피드백된 속도값을 이용하여 차량의 다음 주행 상태를 예측하고, 예측된 정보와 주행 경로를 결합하여 다시 컨트롤러 에이전트로 전달한다. 이 과정을 수 차례 반복하여 속도 계획 장치는 목표 속도의 궤적을 출력한다.
도 4는 본 발명의 실시 예에 따른 자율 주행 차량의 최적 속도 궤적을 예측(시뮬레이션)하기 위한 방법을 나타내는 흐름도이다.
도 4를 참조하면, 먼저, 단계 S410에서, 가상차량 학습부(112)에 의해, 실제 자율 주행 차량으로부터 수집된 차량 주행 데이터를 이용하여 가상 차량 모델을 생성하는 과정이 수행된다.
일 예에서, 가상 차량 모델의 생성은 상기 차량 주행 데이터를 훈련 데이터로 이용하여 상기 실제 자율 주행 차량의 동적 특성을 갖도록 학습된 가상 차량 모델을 생성하는 것일 수 있다. 여기서, 차량 주행 데이터는 시계열적으로 수집된 데이터로서, 상기 실제 자율 주행 차량의 위치값, 속도, 가속도, 조향각 및 각가속도를 포함한다.
다른 예에서, 상기 가상 차량 모델은, 상기 실제 자율 주행 차량으로부터 수집된 차량 주행 데이터 중에서 과거의 차량 주행 데이터로부터 현재의 차량 주행 데이터를 예측하는 인공 신경망 모델로 구현될 수 있다.
이어, 단계 S420에서, 가상 환경 에이전트(114)에 의해, 상기 가상 차량 학습부로부터 입력된 상기 생성된 가상 차량 모델을 이용하여 상기 가상 환경에서 주행하는 상기 가상 차량 모델의 주행 데이터를 예측하여 출력하는 과정이 수행된다.
상기 가상 차량 모델의 주행 데이터를 예측하는 과정은, 상기 가상 환경을 모델링 하여 가상 환경 모델을 생성하는 과정, 상기 생성된 가상 환경 모델에 상기 가상 차량 모델을 적용하는(또는 입력하는) 과정 및 상기 가상 환경 모델에서 주행하는 상기 가상 차량 모델의 주행 데이터를 예측하는 과정을 포함한다.
상기 가상 환경 모델의 생성은 상기 가상 차량 모델의 자율 주행 테스트를 위해 상기 가상 환경을 모델링 하여 생성하는 것일 수 있다. 여기서, 상기 가상 환경 모델은, 상기 가상 차량 모델이 주행하는 가상의 주행 경로, 상기 가상의 주행 경로의 주변에 존재하는 가상의 장애물 및 상기 가상의 주행 경로를 주행하는 가상의 주변 차량을 포함하도록 생성된 것일 수 있다.
상기 가상 차량 모델의 주행 데이터의 예측은, 상기 가상 환경에서 주행하는 상기 가상 차량 모델의 과거 주행 데이터에 대한 상기 가상 차량 모델의 현재 주행 데이터를 예측하고, 상기 예측된 상기 가상 차량 모델의 현재 주행 데이터를 상기 가상 차량 모델의 주행 데이터로서 출력하는 것일 수 있다.
이어, 단계 S430에서, 컨트롤러 에이전트(132)에 의해, 상기 가상 환경 에이전트로부터 입력된 상기 가상 차량 모델의 주행 데이터를 이용하여 목표 속도값들을 포인트 단위로 연결한 속도 궤적을 예측하는 과정이 수행된다.
이어, 단계 S440에서, 컨트롤러 학습부(134)에 의해,
상기 가상 환경 에이전트(114)로부터 출력되는 상기 가상 차량 모델의 주행 데이터와 상기 컨트롤러 에이전트(132)로부터 출력되는 상기 목표 속도값들을 이용하여 파라미터를 계산하는 과정이 수행된다.
이어, 단계 S450에서, 컨트롤러 학습부(134)에 의해, 상기 계산된 파라미터를 이용하여 상기 컨트롤러 에이전트를 학습시키는 과정이 수행된다.
이상의 단계들에 의해, 가상 환경 에이전트(114)와 컨트롤러 에이전트(132)의 학습이 완료되면, 학습이 완료된 가상 환경 에이전트(114)와 컨트롤러 에이전트(132)는 속도 계획 장치(200)로 지칭될 수 있는 하나의 모듈에 탑재되어, 실제 자율 주행 차량의 자율 주행 시스템에 적용된다.
도5는 본 발명의 실시 예에 따른 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법이 적용될 수 있는 컴퓨팅 장치의 구성도이다.
도 5를 참조하면, 컴퓨팅 장치는, 본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(610)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다.
예를 들면, 실제 자율 주행 차량으로부터 수집된 차량 주행 데이터를 이용하여 가상 차량 모델을 생성하는 가상 차량 학습부(112), 상기 가상 차량 학습부로부터 입력된 상기 생성된 가상 차량 모델을 이용하여 상기 가상 환경에서 주행하는 상기 가상 차량 모델의 주행 데이터를 예측하여 출력하는 가상 환경 에이전트(114), 상기 가상 환경 에이전트로부터 입력된 상기 가상 차량 모델의 주행 데이터를 이용하여 목표 속도값들을 포인트 단위로 연결한 속도 궤적을 예측하는 컨트롤러 에이전트(132) 및 상기 가상 환경 에이전트로부터 출력되는 상기 가상 차량 모델의 주행 데이터와 상기 컨트롤러 에이전트로부터 출력되는 상기 목표 속도값들을 이용하여 상기 컨트롤러 에이전트를 학습시키기 위한 파라미터를 계산하는 컨트롤러 학습부(134)는 각각 프로세서(610)에 의해 실행되는 소프트웨어 모듈로 구현될 수 있으며,
소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(630) 및/또는 스토리지(660))에 상주할 수도 있다.
예시적인 저장 매체는 프로세서(610)에 연결되며, 그 프로세서(610)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(610)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다.
본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행 가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다.
따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (18)
- 가상 차량 학습부가, 실제 자율 주행 차량으로부터 수집된 차량 주행 데이터를 이용하여 가상 차량 모델을 생성하는 단계;
가상 환경 에이전트가, 상기 가상 차량 학습부로부터 입력된 상기 생성된 가상 차량 모델을 이용하여 상기 가상 환경에서 주행하는 상기 가상 차량 모델의 주행 데이터를 예측하여 출력하는 단계; 및
컨트롤러 에이전트가, 상기 가상 환경 에이전트로부터 입력된 상기 가상 차량 모델의 주행 데이터를 이용하여 목표 속도값들을 포인트 단위로 연결한 속도 궤적을 예측하는 단계;
를 포함하는 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제1항에서,
상기 가상 차량 모델을 생성하는 단계는,
상기 차량 주행 데이터를 훈련 데이터로 이용하여 상기 실제 자율 주행 차량의 동적 특성을 갖도록 학습된 가상 차량 모델을 생성하는 단계인 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제1항에서,
상기 가상 차량 모델은,
상기 실제 자율 주행 차량으로부터 수집된 차량 주행 데이터 중에서 과거의 차량 주행 데이터로부터 현재의 차량 주행 데이터를 예측하는 인공 신경망 모델인 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제1항에서,
상기 차량 주행 데이터는 시계열적으로 수집된 데이터로서, 상기 실제 자율 주행 차량의 위치값, 속도, 가속도, 조향각 및 각가속도를 포함하는 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제1항에서,
상기 가상 차량 모델의 주행 데이터를 예측하여 출력하는 단계는,
상기 가상 환경을 모델링 하여 가상 환경 모델을 생성하는 단계;
상기 생성된 가상 환경 모델에 상기 가상 차량 모델을 적용하는 단계; 및
상기 가상 환경 모델에서 주행하는 상기 가상 차량 모델의 주행 데이터를 예측하는 단계
를 포함하는 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제5항에서,
상기 가상 환경 모델을 생성하는 단계는,
상기 가상 차량 모델의 자율 주행 테스트를 위해 상기 가상 환경을 모델링 하여 생성하는 단계인 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제5항에서,
상기 가상 환경 모델은,
상기 가상 차량 모델이 주행하는 가상의 주행 경로, 상기 가상의 주행 경로의 주변에 존재하는 가상의 장애물 및 상기 가상의 주행 경로를 주행하는 가상의 주변 차량을 포함하도록 모델링 된 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제5항에서,
상기 가상 차량 모델의 주행 데이터를 예측하는 단계는,
상기 가상 환경에서 주행하는 상기 가상 차량 모델의 과거 주행 데이터에 대해 상기 가상 차량 모델의 현재 주행 데이터를 예측하는 단계; 및
상기 예측된 상기 가상 차량 모델의 현재 주행 데이터를 상기 가상 차량 모델의 주행 데이터로서 출력하는 단계
를 포함하는 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제1항에서,
상기 가상 차량 모델의 주행 데이터를 예측하여 출력하는 단계는,
상기 가상 차량 모델의 과거 주행 데이터로부터 예측된 상기 가상 차량 모델의 현재 주행 데이터와 상기 실제 자율 주행 차량으로부터 수집된 현재 주행 데이터를 비교하여 생성된 보상값을 더 출력하는 단계이고,
상기 보상값은 상기 컨트롤러 에이전트를 학습시키기 위한 값으로 사용되는 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제9항에서,
상기 속도 궤적을 예측하는 단계는,
상기 가상 차량 모델의 주행 데이터와 상기 보상값을 이용하여 목표 속도값들을 포인트 단위로 연결한 속도 궤적을 예측하는 단계인 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제1항에서,
컨트롤러 학습부가, 상기 가상 환경 에이전트로부터 출력되는 상기 가상 차량 모델의 주행 데이터와 상기 컨트롤러 에이전트로부터 출력되는 상기 목표 속도값들을 이용하여 상기 컨트롤러 에이전트를 학습시키기 위한 파라미터를 계산하는 단계를 더 포함하는 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법. - 제1항에서,
상기 컨트롤러 에이전트는 강화 학습 알고리즘으로 구현된 것인 자율 주행 차량의 최적 속도 궤적을 시뮬레이션 하기 위한 방법. - 소프트웨어 모듈이 저장된 메모리 및 상기 소프트웨어 모듈을 실행하는 프로세서를 포함하는 장치로서,
상기 프로세서에 의해 실행되는 소프트웨어 모듈은,
실제 자율 주행 차량으로부터 수집된 차량 주행 데이터를 이용하여 가상 차량 모델을 생성하는 가상 차량 학습부;
상기 가상 차량 학습부로부터 입력된 상기 생성된 가상 차량 모델을 이용하여 상기 가상 환경에서 주행하는 상기 가상 차량 모델의 주행 데이터를 예측하여 출력하는 가상 환경 에이전트; 및
상기 가상 환경 에이전트로부터 입력된 상기 가상 차량 모델의 주행 데이터를 이용하여 목표 속도값들을 포인트 단위로 연결한 속도 궤적을 예측하는 컨트롤러 에이전트;
를 포함하는 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 장치. - 제13항에서,
상기 소프트웨어 모듈은,
상기 가상 환경 에이전트로부터 출력되는 상기 가상 차량 모델의 주행 데이터와 상기 컨트롤러 에이전트로부터 출력되는 상기 목표 속도값들을 이용하여 상기 컨트롤러 에이전트를 학습시키기 위한 파라미터를 계산하는 컨트롤러 학습부를 더 포함하는 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 장치. - 제13항에서,
상기 가상 차량 학습부는,
상기 프로세서의 실행에 따라, 상기 차량 주행 데이터를 훈련 데이터로 이용하여 상기 실제 자율 주행 차량의 동적 특성을 갖도록 학습된 가상 차량 모델을 생성하는 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 장치. - 제13항에서,
상기 가상 환경 에이전트는,
상기 프로세서의 실행에 따라, 가상 환경 모델에 상기 가상 차량 모델을 적용하여, 상기 가상 환경 모델에서 주행하는 상기 가상 차량 모델의 주행 데이터를 예측하는 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 장치. - 제13항에서,
상기 가상 환경 에이전트는,
상기 가상 차량 모델의 과거 주행 데이터로부터 예측된 상기 가상 차량 모델의 현재 주행 데이터와 상기 실제 자율 주행 차량으로부터 수집된 현재 주행 데이터를 비교하여 생성된 보상값을 더 출력하고,
상기 가상 차량 모델의 주행 데이터, 상기 컨트롤러 에이전트로부터 출력되는 상기 목표 속도값들 및 상기 보상값을 이용하여 상기 컨트롤러 에이전트를 학습시키는 컨트롤러 학습부를 더 포함하는 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 장치. - 제13항에서,
상기 컨트롤러 에이전트는 강화 학습 알고리즘으로 구현된 것인 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200003557A KR20210090386A (ko) | 2020-01-10 | 2020-01-10 | 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법 및 그 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200003557A KR20210090386A (ko) | 2020-01-10 | 2020-01-10 | 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법 및 그 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210090386A true KR20210090386A (ko) | 2021-07-20 |
Family
ID=77127447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200003557A KR20210090386A (ko) | 2020-01-10 | 2020-01-10 | 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법 및 그 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210090386A (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102497716B1 (ko) * | 2021-12-28 | 2023-02-08 | 한국교통연구원 | 자율주행협력 차량의 권장 제한 속도를 제공하는 관제 서버 |
| KR20240032250A (ko) | 2022-09-01 | 2024-03-12 | 현대자동차주식회사 | 머신러닝을 이용한 차량 제어 방법 및 시스템 |
-
2020
- 2020-01-10 KR KR1020200003557A patent/KR20210090386A/ko unknown
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102497716B1 (ko) * | 2021-12-28 | 2023-02-08 | 한국교통연구원 | 자율주행협력 차량의 권장 제한 속도를 제공하는 관제 서버 |
| KR20240032250A (ko) | 2022-09-01 | 2024-03-12 | 현대자동차주식회사 | 머신러닝을 이용한 차량 제어 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11513523B1 (en) | Automated vehicle artificial intelligence training based on simulations | |
| Tuncali et al. | Utilizing S-TaLiRo as an automatic test generation framework for autonomous vehicles | |
| Bühler et al. | Evolutionary functional testing | |
| Koren et al. | Efficient autonomy validation in simulation with adaptive stress testing | |
| US10671077B2 (en) | System and method for full-stack verification of autonomous agents | |
| JP2022511333A (ja) | 自律自動車の制御ユニットを修正するための方法およびシステム | |
| CN112997128B (zh) | 一种自动驾驶场景的生成方法、装置及系统 | |
| Batkovic et al. | A computationally efficient model for pedestrian motion prediction | |
| US20230350399A1 (en) | Operational testing of autonomous vehicles | |
| US10839112B2 (en) | Wind simulation device | |
| O'Kelly et al. | Computer-aided design for safe autonomous vehicles | |
| KR20210090386A (ko) | 자율 주행 차량의 최적 속도 궤적을 예측하기 위한 방법 및 그 장치 | |
| Koren et al. | Finding failures in high-fidelity simulation using adaptive stress testing and the backward algorithm | |
| Song et al. | Critical scenario identification for realistic testing of autonomous driving systems | |
| JP2023540613A (ja) | 運転者支援システムを試験するための方法およびシステム | |
| Wissing et al. | Environment simulation for the development, evaluation and verification of underlying algorithms for automated driving | |
| CN114987498A (zh) | 自动驾驶车辆的拟人化轨迹规划方法、装置、车辆及介质 | |
| Queiroz et al. | A driver-vehicle model for ADS scenario-based testing | |
| Nezami et al. | A safe control architecture based on a model predictive control supervisor for autonomous driving | |
| Peng et al. | RTA-IR: A runtime assurance framework for behavior planning based on imitation learning and responsibility-sensitive safety model | |
| Arbabi et al. | Planning for autonomous driving via interaction-aware probabilistic action policies | |
| CN114616157A (zh) | 用于通过强化学习检查自动化的行驶功能的方法和系统 | |
| Wang et al. | Enhancing safety in mixed traffic: Learning-based modeling and efficient control of autonomous and human-driven vehicles | |
| Sreedhar et al. | Deep Learning for Hardware-Constrained Driverless Cars | |
| Phan et al. | Model-Based Design Approach for Validation of Vehicle Sensor Fusion Algorithm |