KR102440938B1 - 자율 주행 차량을 학습, 테스팅 및 검증하기 위해 가상 주행 환경에 대한 도메인 적응된 교통 시나리오를 생성하기 위한 방법 및 장치 - Google Patents

자율 주행 차량을 학습, 테스팅 및 검증하기 위해 가상 주행 환경에 대한 도메인 적응된 교통 시나리오를 생성하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102440938B1
KR102440938B1 KR1020200004510A KR20200004510A KR102440938B1 KR 102440938 B1 KR102440938 B1 KR 102440938B1 KR 1020200004510 A KR1020200004510 A KR 1020200004510A KR 20200004510 A KR20200004510 A KR 20200004510A KR 102440938 B1 KR102440938 B1 KR 102440938B1
Authority
KR
South Korea
Prior art keywords
traffic
scenario
driving
data
sequential
Prior art date
Application number
KR1020200004510A
Other languages
English (en)
Other versions
KR20200094650A (ko
Inventor
김용중
김인수
김학경
남운현
부석훈
성명철
유우주
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200094650A publication Critical patent/KR20200094650A/ko
Application granted granted Critical
Publication of KR102440938B1 publication Critical patent/KR102440938B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

가상 주행 환경에서의 교통 시나리오를 생성하기 위한 방법으로서, 교통 시나리오 생성 장치가, (a) 영상 기반 ADAS(Vision-based Advanced Driver Assistance System)에 의해 기존 주행 영상으로부터 추출된 이산(discrete) 교통 데이터에 대응하는 이전 교통 데이터 및 실제 주행 환경에서 주행되는 데이터 수집 차량의 센서로부터 수집된 순차적 교통 데이터에 대응하는 상세 교통 데이터를 이용하여 생성된 주행 데이터가 획득된 상태에서, 상기 주행 데이터를 상황 분석기로 입력하여 주행 환경 정보를 추출하도록 하고, 상기 주행 데이터를 차량 정보 추출기로 입력하여 자차량(ego-vehicle)에 대한 차량 상태 정보를 추출하도록 하며, 주행 시퀀스(sequence)에 따른 순차적 교통 로그(log)를 생성하는 단계; 및 (b) 상기 순차적 교통 로그를 시나리오 증강 네트워크로 입력하여, 상기 시나리오 증강 네트워크로 하여금, 크리티컬 이벤트를 이용하여 상기 순차적 교통 로그를 증강하도록 하여, 상기 교통 시나리오를 생성하고, 상기 교통 시나리오를 검증하며, 상기 교통 시나리오를 교통 시뮬레이터에 매핑(mapping)하는 단계;를 포함하는 방법이 제공된다.

Description

자율 주행 차량을 학습, 테스팅 및 검증하기 위해 가상 주행 환경에 대한 도메인 적응된 교통 시나리오를 생성하기 위한 방법 및 장치{METHOD AND DEVICE FOR CREATING TRAFFIC SCENARIO WITH DOMAIN ADAPTATION ON VIRTUAL DRIVING ENVIRONMENT FOR TESTING, VALIDATING, AND TRAINING AUTONOMOUS VEHICLE}
본 발명은 자율 주행 차량의 학습을 위한 가상 주행 환경에 관한 것으로; 보다 상세하게는, 상기 자율 주행 차량을 학습, 테스팅 및 검증하기 위한 가상 주행 환경에서의 교통 시나리오를 생성하는 방법 및 장치 관한 것이다.
현대의 차량, 특히 자동차는 자율 주행, 및 블라인드 스팟 모니터, 자동 주차 및 자동 네비게이션과 같은 주행 보조 시스템을 점점 더 많이 제공하고 있다. 그러나, 자율 주행 및 자율 보조 시스템을 테스팅하고 검증하는 것은 매우 복잡하며, 장기적인 도로 주행 테스팅(예를 들어, 수백만 시간과 마일)이 필요할 수 있다. 자율 주행 및 주행 보조 시스템의 업데이트는 재검증을 필요로 하며, 차종에 따라 개별적인 검증이 요구된다는 것을 감안할 때, 테스팅 및 검증의 노력이 배가 될 수 있다.
또한, 자율 주행 자동차의 자율 주행 시스템 및 주행 보조 시스템을 학습시키기 위한 학습 데이터를 충분히 확보하는 데에도 어려움이 있다.
따라서, 실제 주행 상황을 가상화한 가상 주행 환경에서 주행하는 자율 주행 자동차의 자율 주행 시스템 및 주행 보조 시스템을 학습, 테스팅, 및 검증하는 방법이 제안되고 있다.
가상 주행 환경에서의 자율 주행 자동차의 자율 주행 시스템 및 주행 보조 시스템을 학습, 테스팅, 및 검증하기 위해서, 가상 주행 환경에서의 주변 정보에 대한 시나리오가 제공되어야 한다.
하지만, 종래의 가상 주행 환경에서, 특정 교통 상황에 대한 시나리오만을 제공하여 주므로, 실제 주행 환경에서와 같은 다양하고 정교한 시나리오를 제공하지 못하는 문제점이 있다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 가상 주행 환경에서, 실제 주행 환경에서와 같은 다양하고 정교한 시나리오를 생성할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명은 데이터 증강을 통해 가상 주행 환경에서 다양하고 정교한 교통 시나리오를 생성할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 적어도 하나의 가상 주행 환경에서의 적어도 하나의 교통 시나리오를 생성하는 방법에 있어서, (a) 이전 교통 데이터 - 상기 이전 교통 데이터는, 영상 기반(Vision-based) ADAS(Advanced Driver Assistance System)에 의해 적어도 하나의 주행 이벤트를 포함하는 적어도 하나의 기존 주행 영상으로부터 추출된 이산(discrete) 교통 데이터에 대응되는 메타데이터임 - 와 상세 교통 데이터 - 상기 상세 교통 데이터는, 실제 주행 환경에서 주행되는 하나 이상의 데이터 수집 차량의 하나 이상의 센서로부터 수집된 순차적(sequential) 교통 데이터에 대응되는 메타데이터임 - 를 참조하여 생성된 주행 데이터가 획득된 상태에서, 교통 시나리오 생성 장치가, 상기 주행 데이터를 상황 분석기로 입력하여, 상기 상황 분석기로 하여금 상기 주행 데이터로부터 주행 환경 정보를 추출하도록 하는 프로세스, 상기 주행 데이터를 차량 정보 추출기로 입력하여, 상기 차량 정보 추출기로 하여금 상기 주행 데이터로부터 자차량(ego-vehicle)에 대한 차량 상태 정보를 추출하도록 하는 프로세스, 및 상기 주행 환경 정보와 상기 차량 상태 정보를 참조하여, 상기 주행 이벤트를 포함하는 주행 시퀀스(sequence)에 따른 순차적 교통 로그(log)를 생성하는 프로세스를 수행하는 단계; 및 (b) 상기 교통 시나리오 생성 장치가, 상기 순차적 교통 로그를 시나리오 증강 네트워크로 입력하여, 상기 시나리오 증강 네트워크로 하여금, 적어도 하나의 크리티컬 이벤트를 적어도 하나의 조건으로서 이용하여, 상기 순차적 교통 로그를 상기 크리티컬 이벤트의 이벤트 주행 환경에 대응되도록 상기 순차적 교통 로그를 증강하도록 함으로써, 상기 교통 시나리오를 생성하는 프로세스, 기설정된 참조 교통 정보를 참조하여 상기 교통 시나리오를 검증하는 프로세스, 및 상기 교통 시나리오가 유효한 것으로 결정되면, 상기 교통 시나리오를 가상 주행 환경의 교통 시뮬레이터에 매핑(mapping)하는 프로세스를 수행하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, LSTM(long short-term memory)을 포함하는 생성기가, 상기 순차적 교통 로그 중 초기 교통 로그를, 상기 LSTM 중 초기 LSTM의 다음 동작을 획득하기 위해 이용될 상기 생성기의 상태로 설정한 상태에서, 상기 교통 시나리오 생성 장치는, 상기 시나리오 증강 네트워크로 하여금, 상기 생성기를 통해 예측 교통 로그를 그에 대응하는 다음 동작으로서 생성함으로써 상기 생성기를 통해 상기 교통 시나리오를 생성하도록 하되, 상기 초기 교통 로그 이후의 상기 예측 교통 로그가 상기 이벤트 주행 환경에 대응되도록 증강된다.
일 실시예에서, 상기 교통 시나리오 생성 장치는, 판별기가 상기 순차적 교통 로그와 상기 예측 교통 로그 간을 구별하도록 상기 판별기를 학습시키는 프로세스, 및 상기 순차적 교통 로그, 상기 예측 교통 로그, 및 상기 조건을 참조하여 생성된 상기 판별기의 적어도 하나의 리워드(reward)를 이용한 정책 그래디언트(policy gradient)를 통해 상기 생성기의 적어도 하나의 파라미터를 최적화시키는 프로세스를 수행한다.
일 실시예에서, 상기 (b) 단계에서, 상기 교통 시나리오가 유효하지 않은 것으로 결정되면, 상기 교통 시나리오 생성 장치는, 상기 검증하는 프로세스를 참조하여 상기 조건을 변경함으로써 적어도 하나의 변경된 조건을 생성하고, 상기 시나리오 증강 네트워크로 하여금, 상기 변경된 조건을 이용하여 상기 순차적 교통 로그를 증강함으로써 새로운 교통 시나리오를 생성하도록 한다.
일 실시예에서, 상기 교통 시나리오 생성 장치는, 순차적 데이터로부터 상기 크리티컬 이벤트를 추출하거나, 크리티컬 이벤트 데이터베이스로부터 상기 크리티컬 이벤트를 추출한다.
일 실시예에서, 상기 순차적 교통 로그 각각은 적어도 하나의 객체의 개수, 상기 객체의 위치, 적어도 하나의 보행자의 수, 상기 보행자의 위치, 상기 객체의 적어도 하나의 궤적, 및 교통 신호 변화 정보를 포함한다.
일 실시예에서, 상기 영상 기반 ADAS는, 상기 기존 주행 영상을 이용하는, 객체 검출, 거리 예측, TSR(Traffic-sign Recognition), 차로 검출, 차선 검출, TTC(time-to-collision) 예측, 및 상대 속도 예측 중 적어도 하나를 수행한다.
일 실시예에서, 상기 차량 상태 정보는 상기 자차량의 속도, 상기 자차량의 가속도, 상기 자차량의 스티어링 휠 상태, 상기 자차량의 가속 페달 위치 및 상기 자차량의 브레이크 상태 중 적어도 하나를 포함한다.
본 발명의 다른 태양에 따르면, 적어도 하나의 가상 주행 환경에서의 적어도 하나의 교통 시나리오를 생성하는 교통 시나리오 생성 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 이전 교통 데이터 - 상기 이전 교통 데이터는, 영상 기반 ADAS에 의해 적어도 하나의 주행 이벤트를 포함하는 적어도 하나의 기존 주행 영상으로부터 추출된 이산 교통 데이터에 대응되는 메타데이터임 - 와 상세 교통 데이터 - 상기 상세 교통 데이터는, 실제 주행 환경에서 주행되는 하나 이상의 데이터 수집 차량의 하나 이상의 센서로부터 수집된 순차적 교통 데이터에 대응되는 메타데이터임 - 를 참조하여 생성된 주행 데이터가 획득된 상태에서, 상기 주행 데이터를 상황 분석기로 입력하여, 상기 상황 분석기로 하여금 상기 주행 데이터로부터 주행 환경 정보를 추출하도록 하는 프로세스, 상기 주행 데이터를 차량 정보 추출기로 입력하여, 상기 차량 정보 추출기로 하여금 상기 주행 데이터로부터 자차량에 대한 차량 상태 정보를 추출하도록 하는 프로세스, 및 상기 주행 환경 정보와 상기 차량 상태 정보를 참조하여, 상기 주행 이벤트를 포함하는 주행 시퀀스(sequence)에 따른 순차적 교통 로그를 생성하는 프로세스, 및 (II) 상기 순차적 교통 로그를 시나리오 증강 네트워크로 입력하여, 상기 시나리오 증강 네트워크로 하여금, 적어도 하나의 크리티컬 이벤트를 적어도 하나의 조건으로서 이용하여, 상기 순차적 교통 로그를 상기 크리티컬 이벤트의 이벤트 주행 환경에 대응되도록 상기 순차적 교통 로그를 증강하도록 함으로써, 상기 교통 시나리오를 생성하는 프로세스, 기설정된 참조 교통 정보를 참조하여 상기 교통 시나리오를 검증하는 프로세스, 및 상기 교통 시나리오가 유효한 것으로 결정되면, 상기 교통 시나리오를 가상 주행 환경의 교통 시뮬레이터에 매핑하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 교통 시나리오 생성 장치가 제공된다.
일 실시예에서, LSTM을 포함하는 생성기가, 상기 순차적 교통 로그 중 초기 교통 로그를, 상기 LSTM 중 초기 LSTM의 다음 동작을 획득하기 위해 이용될 상기 생성기의 상태로 설정한 상태에서, 상기 프로세서는, 상기 시나리오 증강 네트워크로 하여금, 상기 생성기를 통해 예측 교통 로그를 그에 대응하는 다음 동작으로서 생성함으로써 상기 생성기를 통해 상기 교통 시나리오를 생성하도록 하되, 상기 초기 교통 로그 이후의 상기 예측 교통 로그가 상기 이벤트 주행 환경에 대응되도록 증강된다.
일 실시예에서, 상기 프로세서는, 판별기가 상기 순차적 교통 로그와 상기 예측 교통 로그 간을 구별하도록 상기 판별기를 학습시키는 프로세스, 및 상기 순차적 교통 로그, 상기 예측 교통 로그, 및 상기 조건을 참조하여 생성된 상기 판별기의 적어도 하나의 리워드를 이용한 정책 그래디언트를 통해 상기 생성기의 적어도 하나의 파라미터를 최적화시키는 프로세스를 수행한다.
일 실시예에서, 상기 (II) 프로세스에서, 상기 교통 시나리오가 유효하지 않은 것으로 결정되면, 상기 프로세서는, 상기 검증하는 프로세스를 참조하여 상기 조건을 변경함으로써 적어도 하나의 변경된 조건을 생성하고, 상기 시나리오 증강 네트워크로 하여금, 상기 변경된 조건을 이용하여 상기 순차적 교통 로그를 증강함으로써 새로운 교통 시나리오를 생성하도록 한다.
일 실시예에서, 상기 프로세서는, 순차적 데이터로부터 상기 크리티컬 이벤트를 추출하거나, 크리티컬 이벤트 데이터베이스로부터 상기 크리티컬 이벤트를 추출한다.
일 실시예에서, 상기 순차적 교통 로그 각각은 적어도 하나의 객체의 개수, 상기 객체의 위치, 적어도 하나의 보행자의 수, 상기 보행자의 위치, 상기 객체의 적어도 하나의 궤적, 및 교통 신호 변화 정보를 포함한다.
일 실시예에서, 상기 영상 기반 ADAS는, 상기 기존 주행 영상을 이용하는, 객체 검출, 거리 예측, TSR(Traffic-sign Recognition), 차로 검출, 차선 검출, TTC(time-to-collision) 예측, 및 상대 속도 예측 중 적어도 하나를 수행한다.
일 실시예에서, 상기 차량 상태 정보는 상기 자차량의 속도, 상기 자차량의 가속도, 상기 자차량의 스티어링 휠 상태, 상기 자차량의 가속 페달 위치 및 상기 자차량의 브레이크 상태 중 적어도 하나를 포함한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 실제 주행 데이터를 기반으로 가상 주행 환경에서의 정교한 교통 시나리오를 생성할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 특정 교통 상황에 대한 이산 및 순차적 데이터의 증강을 통해 가상 주행 환경에서 다양한 교통 시나리오를 생성할 수 있는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 주행 환경에서의 적어도 하나의 교통 시나리오를 생성하는 교통 시나리오 생성 장치를 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 상기 가상 주행 환경에서의 상기 교통 시나리오를 생성하는 시나리오 생성 방법을 개략적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 상기 가상 주행 환경에서의 상기 교통 시나리오를 생성하는 상기 방법에서 적어도 하나의 조건을 추가하는 프로세스를 개략적으로 도시한 것이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 상기 가상 주행 환경에서의 상기 교통 시나리오를 생성하는 상기 방법에서 시나리오 증강 네트워크를 학습하는 프로세스를 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
본 원 명세서에 제공된 본 발명의 제목 및 요약은 편의를 위한 것으로, 실시예의 범위를 한정하거나 실시예의 의미를 해석하는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가상 주행 환경에서의 적어도 하나의 교통 시나리오를 생성하는 교통 시나리오 생성 장치를 개략적으로 도시한 것이다. 도 1을 참조하면, 상기 교통 시나리오 생성 장치(100)는 상기 가상 주행 환경에서의 상기 교통 시나리오를 생성하기 위한 인스트럭션을 저장하는 메모리(110) 및 상기 메모리(110)에 저장된 상기 인스트럭션에 대응하여 가상 주행 환경에서의 상기 교통 시나리오를 생성하는 프로세스를 수행하는 프로세서(120)를 포함할 수 있다.
구체적으로, 상기 교통 시나리오 생성 장치(100)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치, 출력 장치, 또는 기타 기존의 컴퓨팅 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
상기 컴퓨팅 장치의 상기 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등을 포함할 수 있다. 또한, 상기 컴퓨팅 장치는 운영체제 및 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 상기 컴퓨팅 장치(100)가 본 발명을 실시하기 위한 미디엄(medium), 프로세서, 메모리, 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이와 같이 구성된 본 발명의 일 실시예에 따른 교통 시나리오 생성 장치(100)를 이용하여 상기 가상 주행 환경에서의 상기 교통 시나리오를 생성하는 방법을 도 2를 참조하여 설명하면 다음과 같다.
먼저, 상기 교통 시나리오 생성 장치(100)는, 이전 교통 데이터와 상세 교통 데이터를 획득하거나 타 장치로 하여금 획득하도록 지원할 수 있다.
이때, 상기 이전 교통 데이터는, 차량 사고와 같이 실제 주행 환경에서 획득하기 힘든 데이터일 수 있고, 현재의 컴퓨터 영상 기술 기반의 ADAS(Advanced Driver Assistance System)을 활용하여, 적어도 하나의 주행 이벤트를 포함하는 적어도 하나의 기존 주행 영상으로부터 추출된 메타 데이터 일 수 있다. 한편 상기 ADAS는, 상기 기존 주행 영상을 이용하는, 객체 검출, 거리 예측, TSR(Traffic-sign Recognition), 차로 검출, 차선 검출, TTC(time-to-collision) 예측, 및 상대 속도 예측 중 적어도 하나를 수행할 수 있다.
그리고, 상기 상세 교통 데이터는, 실제 주행 환경에서 주행되는 차량의 하나 이상의 센서, 예를 들면 라이다(LiDAR), 레이더(Radar), 카메라, GPS 장치 등으로부터 수집된 메타 데이터 일 수 있다.
한편, 상기 이전 교통 데이터는 이산(discrete) 교통 데이터일 수 있고, 상기 상세 교통 데이터는 순차적(sequential) 교통 데이터일 수 있다.
다음으로, 상기 교통 시나리오 생성 장치(100)는 상기 이전 교통 데이터 및 상기 상세 교통 데이터를 참조하여 주행 데이터를 획득할 수 있다. 일 예로, 상기 주행 데이터는, 상기 차량의 입력 센서에 대응하는, 상기 GPS 장치, 상기 라이다, 상기 레이더, 상기 카메라 등으로부터 획득된 정보와 같은, 상기 차량과 관련된 상기 주행 데이터일 수 있다.
그리고, 상기 교통 시나리오 생성 장치(100)는, 상기 주행 데이터를 상황 분석기(130)로 입력하여, 상기 상황 분석기(130)로 하여금 상기 주행 데이터로부터 주행 환경 정보를 추출하도록 하는 프로세스, 및 상기 주행 데이터를 차량 정보 추출기(140)로 입력하여, 상기 차량 정보 추출기(140)로 하여금 상기 주행 데이터로부터 자차량(ego-vehicle)에 대한 차량 상태 정보를 추출하도록 하는 프로세스를 수행할 수 있다. 이때, 통상의 기술자에게 널리 알려진 것과 같이, 상기 자차량은 대상 차량, 예를 들어 본 발명에 따른 상기 가상 주행 환경에서 주행되는 차량을 의미할 수 있다.
일 예로, 상기 상황 분석기(130)는, 객체 검출 정보, 거리 예측 정보, TSR(Traffic-sign Recognition) 정보, 차로 검출 정보, 차선 검출 정보, TTC(time-to-collision) 예측 정보, 상대 속도 예측 정보 등 중에서 적어도 일부를 상기 주행 데이터로부터 획득할 수 있다.
또한, 상기 차량 정보 추출기(140)는, 상기 자차량의 속도, 상기 자차량의 가속도, 상기 자차량의 스티어링 휠 상태, 상기 자차량의 가속 페달 위치, 상기 자차량의 브레이크 상태 등 중에서 적어도 하나를 추출할 수 있다.
다음으로, 상기 교통 시나리오 생성 장치(100)는, 상기 상황 분석기(130)로부터의 상기 주행 환경 정보와 상기 차량 정보 추출기(140)로부터의 상기 차량 상태 정보를 참조하여, 상기 주행 이벤트를 포함하는 주행 시퀀스(sequence)에 따른 순차적 교통 로그(log)를 생성할 수 있다.
일 예로, 상기 교통 시나리오 생성 장치(100)는, 상기 상황 분석기(130)에 의해 획득된 상기 주행 환경 정보를 상기 차량 정보 추출기(140)로부터 획득된 상기 차량 상태 정보에 매칭시킴으로써, 이미지 프레임을 생성할 수 있다. 이때, 상기 이미지 프레임은 이산 및 순차적 데이터일 수 있으며, 이는 터널 또는 교량 진입 이벤트, 차로 변경 이벤트, 터널 또는 교량 통과 이벤트 등과 같은 특정 이벤트들이 발생하기 전후의 상기 주행 데이터일 수 있다.
그리고, 상기 교통 시나리오 생성 장치(100)는, 상기 이산 및 순차적 데이터에 포함된 상기 주행 이벤트를 후처리(post-processing)함으로써, 이산적 및 순차적인 2차 가공 데이터인 하나 이상의 순차적 교통 로그를 생성할 수 있다
이때, 상기 순차적 교통 로그 각각은, 적어도 하나의 객체의 개수, 상기 객체의 위치, 적어도 하나의 보행자의 수, 상기 보행자의 위치, 상기 객체의 적어도 하나의 궤적, 교통 신호 변화 정보 등을 포함할 수 있다.
그 후, 상기 교통 시나리오 생성 장치(100)는 상기 순차적 교통 로그를 순차적 메타 데이터로 변환할 수 있다.
즉, 상기 교통 시나리오 생성 장치(100)는 적어도 하나의 순차적 메타 컨버터로 하여금, 상기 순차적 교통 로그에 포함된, 상기 상황 분석기(130) 및 상기 차량 정보 추출기(140)에 의해 추출된 데이터를 인코딩하도록 하여, 적어도 하나의 교통 시뮬레이터가 상기 인코딩된 데이터를 식별하도록 할 수 있다.
다음으로, 상기 교통 시나리오 생성 장치(100)는, 상기 순차적 교통 로그를 시나리오 증강 네트워크(150)로 입력하여, 상기 시나리오 증강 네트워크(150)로 하여금, 적어도 하나의 크리티컬 이벤트를 적어도 하나의 조건으로서 이용하여, 상기 순차적 교통 로그를 상기 크리티컬 이벤트의 이벤트 주행 환경에 대응되도록 상기 순차적 교통 로그를 증강하도록 함으로써, 상기 교통 시나리오를 생성하는 프로세스를 수행할 수 있다.
일 예로, LSTM(long short-term memory)을 포함하는 생성기(151)가, 상기 순차적 교통 로그 중 초기 교통 로그를, 상기 LSTM 중 초기 LSTM의 다음 동작을 획득하기 위해 이용될 상기 생성기(151)의 상태로 설정한 상태에서, 상기 시나리오 증강 네트워크(150)는, 상기 생성기(151)를 통해 하나 이상의 예측 교통 로그를 그에 대응하는 다음 동작으로서 생성함으로써 상기 생성기(151)를 통해 상기 교통 시나리오를 생성하도록 하되, 상기 초기 교통 로그 이후의 상기 예측 교통 로그는 상기 이벤트 주행 환경에 대응되도록 증강될 수 있다.
도 3을 참조하면, 상기 시나리오 증강 네트워크(150)는, 적어도 하나의 레이튼트 코드(latent code) z와 적어도 하나의 크리티컬 이벤트 y를 상기 생성기(151)로 입력함으로써, 상기 생성기(151)로 하여금, 상기 초기 교통 로그에 대응하는 상기 예측 교통 로그를 생성하도록 하여, 상기 예측 교통 로그가 상기 주행 환경 내의 상기 크리티컬 이벤트에 대응되도록 할 수 있다.
이때, 순차적 데이터로부터 상기 크리티컬 이벤트가 추출될 수도 있고, 또는 다양한 크리티컬 이벤트를 저장하는 크리티컬 이벤트 데이터베이스(160)로부터 특정 크리티컬 이벤트가 검색될 수도 있다.
일 예로, 상기 크리티컬 이벤트는 긴급 상황에서의 급정거, 교차로에서의 교통 신호 변화 등과 같은 주행 이벤트 중에서의 특정 주행 이벤트일 수 있으며, 상기 교차로에서 녹색 신호가 적색 신호로 변경되는 것과 같이 다양한 조건이 설정될 수 있으며, 이와 같은 크리티컬 이벤트 및 상기 다양한 조건에 따라, 상기 생성기(151)는 상기 실제 주행 상황에서와 같이 다양한 교통 시나리오를 생성할 수 있다.
한편, 상기 시나리오 증강 네트워크(150)는, 상기 교통 시나리오를 생성하는 상기 생성기(151)와 상기 교통 시나리오를 평가하는 판별기(152)가 서로 병렬로, 경쟁적으로 학습하여, 상기 생성기가 상기 판별기를 속일 수 있을 정도로 정교한 데이터를 생성하도록 하는 구성을 가질 수 있다.
상기 시나리오 증강 네트워크(150)는, 적어도 하나의 상태와 적어도 하나의 동작으로 구성되어 상기 이산 데이터를 모델링하기 용이하고, 리워드(reward)를 기반으로 하여 부분적으로 확률적 정책(stochastic policy)을 획득할 수 있는 정책 기반 강화 학습 기법인 정책 그래디언트(policy gradient)를 이용함으로써, 상기 생성기(151)를 학습시킬 수 있다. 또한, 정책 그래디언트 기법 중 몬테 카를로 정책 그래디언트(Monte Carlo policy gradient)가 이용될 수 있다. 이때, 상기 몬테 카를로 정책 그래디언트는, (i) 현재 상태로부터 다음 상태를 예측할 수 있는 네트워크 중 하나인 롤 아웃(roll-out) 정책 및 (ii) 효율적 비전면(non-exhaustive) 탐색 알고리즘 중의 하나인 MCTS(Monte Carlo Tree Search)를 이용하여, 상기 확률적 정책을 생성하는 학습 기법일 수 있다. 일 예로, 상기 상태는 토큰(token)으로서 설정될 수 있고, 상기 동작은 다음 토큰을 부여하는 행동으로서 설정될 수 있고, 에이전트(agent)는 상기 생성기(151)로서 설정될 수 있다. 상기 판별기(152)에 의해 결정되는 라벨은 상기 리워드로서 모델링 됨으로써, 상기 생성기(151)를 학습시킬 수 있다. 이때, 상기 생성기(151)는, RNN(Recurrent Neural Network) 내, 그래디언트 소실(vanishing gradient) 문제가 없는 적어도 하나의 LSTM을 이용할 수 있으며, 상기 판별기(152)는 CNN을 이용할 수 있다.
즉, 도 4 및 도 5를 참조하면, 상기 시나리오 증강 네트워크(150)는, 상기 생성기(151)에 의해 생성된 상기 예측 교통 로그 및 상기 순차적 교통 로그를 상기 판별기(152)로 입력함으로써, 상기 판별기(152)로 하여금 이의 입력 데이터가 실제 데이터인지 가짜 데이터인지 여부를 결정하도록 할 수 있고, 상기 판별기(152)의 하나 이상의 출력을 이용하여 상기 판별기(152)를 학습시켜 상기 판별기(152)가 상기 순차적 교통 로그와 상기 예측 교통 로그를 구별하도록 할 수 있다.
또한, 상기 판별기(152)를 학습시킨 후, 상기 LSTM을 포함하는 상기 생성기(151)가, 상기 순차적 교통 로그 중 상기 초기 교통 로그를, 상기 LSTM 중 초기 LSTM의 다음 동작을 획득하기 위해 이용될 상기 생성기(151)의 상태로 설정한 상태에서, 상기 시나리오 증강 네트워크(150)는, 상기 생성기(151)를 통해 상기 예측 교통 로그를 그에 대응하는 다음 동작으로서 생성하며, 상기 순차적 교통 로그, 상기 예측 교통 로그, 및 상기 조건을 상기 판별기(152)로 입력함으로써, 상기 판별기(152)로 하여금, 상기 예측 교통 로그가 상기 순차적 교통 로그 및 상기 조건에 맞게 생성되었는지에 대한 여부를 나타내는 적어도 하나의 리워드를 출력하도록 할 수 있다. 그리고, 상기 시나리오 증강 네트워크(150)는, 상기 리워드를 이용하는 상기 정책 그래디언트를 참조하여 상기 생성기(151)를 학습시킬 수 있다.
다음으로, 상기 교통 시나리오 생성 장치(100)가, 기설정된 참조 교통 정보를 참조하여 상기 교통 시나리오를 검증하는 프로세스를 수행할 수 있다.
이때, 상기 교통 시나리오 생성 장치(100)는, 최소한의 기설정된 교통 규칙 정보와 상기 교통 시나리오를 비교하여 상기 교통 시나리오가 유효한지를 결정할 수 있다. 일 예로, 상기 교통 시나리오가 고속도로 진입 이벤트를 포함하며, 상기 교통 시나리오 내의 모든 이벤트가 상기 고속도로 상의 주행 중에 발생한다고 상정하고, 교통 법규 데이터베이스를 참조로 했을 때 상기 고속도로 상에서 교통 신호가 허용되지 않는 상기 교통 규칙 정보가 존재하는 경우, 상기 교통 신호와 관련된 이벤트는 유효하지 않은 것일 수 있다.
그리고, 상기 생성된 교통 시나리오가 유효한 것으로 결정되면, 상기 교통 시나리오 생성 장치(100)가 상기 교통 시나리오를 상기 가상 주행 환경의 상기 교통 시뮬레이터에 매칭시킬 수 있다.
한편, 상기 교통 시나리오가 유효하지 않은 것으로 결정되면, 상기 교통 시나리오 생성 장치(100)는, 위와 같은 검증 프로세스를 참조하여 상기 조건을 변경함으로써 적어도 하나의 변경된 조건을 생성하는 프로세스를 수행하고, 상기 시나리오 증강 네트워크(150)로 하여금, 상기 변경된 조건을 이용하여 상기 순차적 교통 로그를 증강시킴으로써 새로운 교통 시나리오를 생성할 수 있다.
상기에서 설명한 바와 같이, 본 발명은, 특정 교통 상황에 대한 정적인 데이터와 상기 순차적 데이터를 생성하고, 상기 가상 주행 환경 내의 주변 정보인 타겟 차량 및 보행자 등에 대한 상기 교통 시나리오를 생성하며, 상기 생성된 교통 시나리오를 상기 가상 주행 환경의 상기 교통 시뮬레이터로 매핑(mapping)하고, 가상 주행의 상기 생성된 교통 시나리오를 활용할 수 있게 된다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (16)

  1. 적어도 하나의 가상 주행 환경에서의 적어도 하나의 교통 시나리오를 생성하는 방법에 있어서,
    (a) 이전 교통 데이터 - 상기 이전 교통 데이터는, 영상 기반(Vision-based) ADAS(Advanced Driver Assistance System)에 의해 적어도 하나의 주행 이벤트를 포함하는 적어도 하나의 기존 주행 영상으로부터 추출된 이산(discrete) 교통 데이터에 대응되는 메타데이터임 - 와 상세 교통 데이터 - 상기 상세 교통 데이터는, 실제 주행 환경에서 주행되는 하나 이상의 데이터 수집 차량의 하나 이상의 센서로부터 수집된 순차적(sequential) 교통 데이터에 대응되는 메타데이터임 - 를 참조하여 생성된 주행 데이터가 획득된 상태에서, 교통 시나리오 생성 장치가, 상기 주행 데이터를 상황 분석기로 입력하여, 상기 상황 분석기로 하여금 상기 주행 데이터로부터 주행 환경 정보를 추출하도록 하는 프로세스, 상기 주행 데이터를 차량 정보 추출기로 입력하여, 상기 차량 정보 추출기로 하여금 상기 주행 데이터로부터 자차량(ego-vehicle)에 대한 차량 상태 정보를 추출하도록 하는 프로세스, 및 상기 주행 환경 정보와 상기 차량 상태 정보를 참조하여, 상기 주행 이벤트를 포함하는 주행 시퀀스(sequence)에 따른 순차적 교통 로그(log)를 생성하는 프로세스를 수행하는 단계; 및
    (b) 상기 교통 시나리오 생성 장치가, 상기 순차적 교통 로그를 시나리오 증강 네트워크로 입력하여, 상기 시나리오 증강 네트워크로 하여금, 긴급 상황에 따른 급정거 및 교통 신호 변화 정보 중 적어도 일부에 따른 적어도 하나의 크리티컬 이벤트를 적어도 하나의 조건으로서 이용하여, 상기 순차적 교통 로그를 상기 크리티컬 이벤트의 이벤트 주행 환경에 대응되도록 상기 순차적 교통 로그를 증강하도록 함으로써, 상기 교통 시나리오를 생성하는 프로세스, 상기 자차량이 주행하는 특정 도로에 대한 정보 및 상기 특정 도로에 대응되는 특정 교통 규칙 정보를 기설정된 참조 교통 정보로서 참조하여 상기 교통 시나리오가 상기 특정 도로에 유효한지 여부를 검증하는 프로세스, 및 상기 교통 시나리오가 유효한 것으로 결정되면, 상기 교통 시나리오를 가상 주행 환경의 교통 시뮬레이터에 매핑(mapping)하는 프로세스를 수행하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 시나리오 증강 네트워크의 하위 구성으로서의 LSTM(long short-term memory)을 포함하는 생성기가, 상기 순차적 교통 로그 중 초기 교통 로그를, 상기 LSTM 중 초기 LSTM의 다음 동작을 획득하기 위해 이용될 상기 생성기의 상태로 설정한 상태에서, 상기 교통 시나리오 생성 장치는, 상기 시나리오 증강 네트워크로 하여금, 상기 생성기를 통해 예측 교통 로그를 그에 대응하는 다음 동작으로서 생성함으로써 상기 생성기를 통해 상기 교통 시나리오를 생성하도록 하되, 상기 초기 교통 로그 이후의 상기 예측 교통 로그가 상기 이벤트 주행 환경에 대응되도록 증강되는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 교통 시나리오 생성 장치는, 상기 시나리오 증강 네트워크의 하위 구성으로서의 판별기가 상기 순차적 교통 로그와 상기 예측 교통 로그 간을 구별하도록 상기 판별기를 학습시키는 프로세스, 및 상기 순차적 교통 로그, 상기 예측 교통 로그, 및 상기 조건을 참조하여 생성된 상기 판별기의 적어도 하나의 리워드(reward)를 기반으로 하여 부분적으로 확률적 정책(stochastic policy)을 획득할 수 있는 정책 기반 강화 학습(reinforcement learning) 기법인 정책 그래디언트(policy gradient)를 통해 상기 생성기의 적어도 하나의 파라미터를 최적화시키는 프로세스를 수행하여, 상기 교통 시나리오를 생성하는 상기 생성기와 상기 교통 시나리오를 평가하는 상기 판별기가 서로 병렬적으로 경쟁적으로 학습하도록 하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 (b) 단계에서,
    상기 교통 시나리오가 유효하지 않은 것으로 결정되면, 상기 교통 시나리오 생성 장치는, 상기 검증하는 프로세스를 참조하여 상기 조건을 변경함으로써 적어도 하나의 변경된 크리티컬 이벤트를 다른 조건으로서 생성하고, 상기 시나리오 증강 네트워크로 하여금, 상기 변경된 크리티컬 이벤트를 이용하여 상기 순차적 교통 로그를 증강함으로써 새로운 교통 시나리오를 생성하며,
    상기 생성된 새로운 교통 시나리오가, 상기 자차량이 주행하는 특정 도로에 대한 정보 및 상기 특정 도로에 대응되는 특정 교통 규칙 정보를 상기 기설정된 참조 교통 정보로서 참조할 때 상기 특정 도로에 유효하도록, 상기 다른 조건을 결정하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 교통 시나리오 생성 장치는, 순차적 데이터로부터 상기 크리티컬 이벤트를 추출하거나, 크리티컬 이벤트 데이터베이스로부터 상기 크리티컬 이벤트를 추출하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 순차적 교통 로그 각각은 적어도 하나의 객체의 개수, 상기 객체의 위치, 적어도 하나의 보행자의 수, 상기 보행자의 위치, 상기 객체의 적어도 하나의 궤적, 및 교통 신호 변화 정보를 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 영상 기반 ADAS는, 상기 기존 주행 영상을 이용하는, 객체 검출, 거리 예측, TSR(Traffic-sign Recognition), 차로 검출, 차선 검출, TTC(time-to-collision) 예측, 및 상대 속도 예측 중 적어도 하나를 수행하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 차량 상태 정보는 상기 자차량의 속도, 상기 자차량의 가속도, 상기 자차량의 스티어링 휠 상태, 상기 자차량의 가속 페달 위치 및 상기 자차량의 브레이크 상태 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  9. 적어도 하나의 가상 주행 환경에서의 적어도 하나의 교통 시나리오를 생성하는 교통 시나리오 생성 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) 이전 교통 데이터 - 상기 이전 교통 데이터는, 영상 기반 ADAS에 의해 적어도 하나의 주행 이벤트를 포함하는 적어도 하나의 기존 주행 영상으로부터 추출된 이산 교통 데이터에 대응되는 메타데이터임 - 와 상세 교통 데이터 - 상기 상세 교통 데이터는, 실제 주행 환경에서 주행되는 하나 이상의 데이터 수집 차량의 하나 이상의 센서로부터 수집된 순차적 교통 데이터에 대응되는 메타데이터임 - 를 참조하여 생성된 주행 데이터가 획득된 상태에서, 상기 주행 데이터를 상황 분석기로 입력하여, 상기 상황 분석기로 하여금 상기 주행 데이터로부터 주행 환경 정보를 추출하도록 하는 프로세스, 상기 주행 데이터를 차량 정보 추출기로 입력하여, 상기 차량 정보 추출기로 하여금 상기 주행 데이터로부터 자차량에 대한 차량 상태 정보를 추출하도록 하는 프로세스, 및 상기 주행 환경 정보와 상기 차량 상태 정보를 참조하여, 상기 주행 이벤트를 포함하는 주행 시퀀스(sequence)에 따른 순차적 교통 로그를 생성하는 프로세스, 및 (II) 상기 순차적 교통 로그를 시나리오 증강 네트워크로 입력하여, 상기 시나리오 증강 네트워크로 하여금, 긴급 상황에 따른 급정거 및 교통 신호 변화 정보 중 적어도 일부에 따른 적어도 하나의 크리티컬 이벤트를 적어도 하나의 조건으로서 이용하여, 상기 순차적 교통 로그를 상기 크리티컬 이벤트의 이벤트 주행 환경에 대응되도록 상기 순차적 교통 로그를 증강하도록 함으로써, 상기 교통 시나리오를 생성하는 프로세스, 상기 자차량이 주행하는 특정 도로에 대한 정보 및 상기 특정 도로에 대응되는 특정 교통 규칙 정보를 기설정된 참조 교통 정보로서 참조하여 상기 교통 시나리오가 상기 특정 도로에 유효한지 여부를 검증하는 프로세스, 및 상기 교통 시나리오가 유효한 것으로 결정되면, 상기 교통 시나리오를 가상 주행 환경의 교통 시뮬레이터에 매핑하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 교통 시나리오 생성 장치.
  10. 제9항에 있어서,
    상기 시나리오 증강 네트워크의 하위 구성으로서의 LSTM을 포함하는 생성기가, 상기 순차적 교통 로그 중 초기 교통 로그를, 상기 LSTM 중 초기 LSTM의 다음 동작을 획득하기 위해 이용될 상기 생성기의 상태로 설정한 상태에서, 상기 프로세서는, 상기 시나리오 증강 네트워크로 하여금, 상기 생성기를 통해 예측 교통 로그를 그에 대응하는 다음 동작으로서 생성함으로써 상기 생성기를 통해 상기 교통 시나리오를 생성하도록 하되, 상기 초기 교통 로그 이후의 상기 예측 교통 로그가 상기 이벤트 주행 환경에 대응되도록 증강되는 것을 특징으로 하는 교통 시나리오 생성 장치.
  11. 제10항에 있어서,
    상기 프로세서는, 상기 시나리오 증강 네트워크의 하위 구성으로서의 판별기가 상기 순차적 교통 로그와 상기 예측 교통 로그 간을 구별하도록 상기 판별기를 학습시키는 프로세스, 및 상기 순차적 교통 로그, 상기 예측 교통 로그, 및 상기 조건을 참조하여 생성된 상기 판별기의 적어도 하나의 리워드를 기반으로 하여 부분적으로 확률적 정책을 획득할 수 있는 정책 기반 강화 학습 기법인 정책 그래디언트를 통해 상기 생성기의 적어도 하나의 파라미터를 최적화시키는 프로세스를 수행하여, 상기 교통 시나리오를 생성하는 상기 생성기와 상기 교통 시나리오를 평가하는 상기 판별기가 서로 병렬적으로 경쟁적으로 학습하도록 하는 것을 특징으로 하는 교통 시나리오 생성 장치.
  12. 제9항에 있어서,
    상기 (II) 프로세스에서,
    상기 교통 시나리오가 유효하지 않은 것으로 결정되면, 상기 프로세서는, 상기 검증하는 프로세스를 참조하여 상기 조건을 변경함으로써 적어도 하나의 변경된 크리티컬 이벤트를 다른 조건으로서 생성하고, 상기 시나리오 증강 네트워크로 하여금, 상기 변경된 크리티컬 이벤트를 이용하여 상기 순차적 교통 로그를 증강함으로써 새로운 교통 시나리오를 생성하며,
    상기 생성된 새로운 교통 시나리오가, 상기 자차량이 주행하는 특정 도로에 대한 정보 및 상기 특정 도로에 대응되는 특정 교통 규칙 정보를 상기 기설정된 참조 교통 정보로서 참조할 때 상기 특정 도로에 유효하도록, 상기 다른 조건을 결정하는 것을 특징으로 하는 교통 시나리오 생성 장치.
  13. 제9항에 있어서,
    상기 프로세서는, 순차적 데이터로부터 상기 크리티컬 이벤트를 추출하거나, 크리티컬 이벤트 데이터베이스로부터 상기 크리티컬 이벤트를 추출하는 것을 특징으로 하는 교통 시나리오 생성 장치.
  14. 제9항에 있어서,
    상기 순차적 교통 로그 각각은 적어도 하나의 객체의 개수, 상기 객체의 위치, 적어도 하나의 보행자의 수, 상기 보행자의 위치, 상기 객체의 적어도 하나의 궤적, 및 교통 신호 변화 정보를 포함하는 것을 특징으로 하는 교통 시나리오 생성 장치.
  15. 제9항에 있어서,
    상기 영상 기반 ADAS는, 상기 기존 주행 영상을 이용하는, 객체 검출, 거리 예측, TSR(Traffic-sign Recognition), 차로 검출, 차선 검출, TTC(time-to-collision) 예측, 및 상대 속도 예측 중 적어도 하나를 수행하는 것을 특징으로 하는 교통 시나리오 생성 장치.
  16. 제9항에 있어서,
    상기 차량 상태 정보는 상기 자차량의 속도, 상기 자차량의 가속도, 상기 자차량의 스티어링 휠 상태, 상기 자차량의 가속 페달 위치 및 상기 자차량의 브레이크 상태 중 적어도 하나를 포함하는 것을 특징으로 하는 교통 시나리오 생성 장치.
KR1020200004510A 2019-01-30 2020-01-13 자율 주행 차량을 학습, 테스팅 및 검증하기 위해 가상 주행 환경에 대한 도메인 적응된 교통 시나리오를 생성하기 위한 방법 및 장치 KR102440938B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798705P 2019-01-30 2019-01-30
US62/798,705 2019-01-30
US16/731,066 2019-12-31
US16/731,066 US10636295B1 (en) 2019-01-30 2019-12-31 Method and device for creating traffic scenario with domain adaptation on virtual driving environment for testing, validating, and training autonomous vehicle

Publications (2)

Publication Number Publication Date
KR20200094650A KR20200094650A (ko) 2020-08-07
KR102440938B1 true KR102440938B1 (ko) 2022-09-06

Family

ID=70332697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200004510A KR102440938B1 (ko) 2019-01-30 2020-01-13 자율 주행 차량을 학습, 테스팅 및 검증하기 위해 가상 주행 환경에 대한 도메인 적응된 교통 시나리오를 생성하기 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US10636295B1 (ko)
EP (1) EP3690754A1 (ko)
JP (1) JP6935948B2 (ko)
KR (1) KR102440938B1 (ko)
CN (1) CN111506980B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102579590B1 (ko) * 2022-12-28 2023-09-18 도로교통공단 도로교통법 기반 자율주행차 운전능력 평가시나리오 생성 시스템
KR20240043971A (ko) 2022-09-28 2024-04-04 (주)이노시뮬레이션 육상 이동체 자율 주행 시뮬레이션을 위한 가상 환경 자동 생성 장치 및 이의 실행 방법

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT521607B1 (de) * 2018-10-24 2020-03-15 Avl List Gmbh Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
JP7192709B2 (ja) * 2019-08-09 2022-12-20 トヨタ自動車株式会社 車両遠隔指示訓練装置
KR102306085B1 (ko) * 2019-10-28 2021-09-28 고려대학교 세종산학협력단 도로교통 운행환경정보 기반 교통사고 영상을 활용한 자율주행 테스트 시나리오 도출 방법 및 절차
CN111932869A (zh) * 2020-06-25 2020-11-13 厦门迅优通信科技有限公司 一种基于交通流粒子性特征的三参数分析法
CN111983934B (zh) * 2020-06-28 2021-06-01 中国科学院软件研究所 一种无人车仿真测试用例生成方法及系统
CN111967124A (zh) * 2020-06-30 2020-11-20 中汽数据有限公司 一种用于智能汽车重组场景通用扩增的生成方法
CN111599181B (zh) * 2020-07-22 2020-10-27 中汽院汽车技术有限公司 用于智能驾驶系统测试的典型自然驾驶场景识别提取方法
KR20220039903A (ko) * 2020-09-21 2022-03-30 현대자동차주식회사 자율주행 제어 장치 및 방법
US11755469B2 (en) * 2020-09-24 2023-09-12 Argo AI, LLC System for executing structured tests across a fleet of autonomous vehicles
CN112053433A (zh) * 2020-09-30 2020-12-08 中国汽车技术研究中心有限公司 民航机场动态场景的构建方法及机场特种车辆培训方法
CN112462759B (zh) * 2020-11-12 2024-02-27 浙江吉利控股集团有限公司 规控算法的评估方法、系统及计算机存储介质
CN114694449B (zh) * 2020-12-25 2023-04-18 华为技术有限公司 一种生成车辆交通场景的方法和装置、训练方法和装置
WO2022145506A1 (ko) * 2020-12-28 2022-07-07 한국전자기술연구원 데이터 취득 상황 정보를 포함하는 인공지능 학습용 계층적 데이터셋 생성 방법 및 시스템
DE102021201177A1 (de) 2021-02-09 2022-08-11 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Computerprogramm zur Generierung von Fahrstrecken für ein automatisiertes Fahrsystem
DE102021104077B3 (de) 2021-02-22 2022-05-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur automatisierten Generierung von Verkehrsdaten
CN113139644B (zh) * 2021-03-24 2024-02-09 北京科技大学顺德研究生院 一种基于深度蒙特卡洛树搜索的信源导航方法及装置
JP2022157321A (ja) * 2021-03-31 2022-10-14 トヨタ自動車株式会社 交通管制システム、交通管制方法及びプログラム
KR102568969B1 (ko) 2021-03-31 2023-08-23 주식회사 한국디지털트윈연구소 디지털트윈 기술을 이용한 자율주행시험용 주행환경 시나리오 발생장치
CN113254336B (zh) * 2021-05-24 2022-11-08 公安部道路交通安全研究中心 自动驾驶汽车交通法规符合性仿真测试方法及系统
WO2022246853A1 (zh) * 2021-05-28 2022-12-01 深圳市大疆创新科技有限公司 一种车辆系统的安全测试方法和测试用车辆
DE102021206737A1 (de) 2021-06-29 2022-12-29 Psa Automobiles Sa Auslegen eines Automatisierungsalgorithmus eines Fahrzeugs
CN113361144B (zh) * 2021-07-15 2022-05-20 中交第二公路勘察设计研究院有限公司 一种基于bim的道路驾驶模拟环境建立方法
CN113642108B (zh) * 2021-08-11 2023-11-10 北京航空航天大学 一种无人车十字路口通行场景关键测试案例生成方法
CN113836701A (zh) * 2021-09-03 2021-12-24 东风小康汽车有限公司重庆分公司 一种仿真场景构建方法、装置、计算机设备和存储介质
CN113532888B (zh) * 2021-09-17 2022-03-18 北京智能车联产业创新中心有限公司 纯视觉自动驾驶车辆测试方法及装置
KR102580532B1 (ko) 2021-11-22 2023-09-20 오토아이티(주) 자율주행차량의 성능 검증을 위한 실내 테스트 시스템
KR20230075300A (ko) 2021-11-22 2023-05-31 오토아이티(주) 자율주행차량을 위한 실내 학습 시스템
CN114913620A (zh) * 2022-05-18 2022-08-16 一汽解放汽车有限公司 数据提取方法、装置、计算机设备和存储介质
US20240096232A1 (en) * 2022-08-31 2024-03-21 Zoox, Inc. Safety framework with calibration error injection
KR102598898B1 (ko) * 2022-10-07 2023-11-06 주식회사 자동차공학연구소 가상 도로주행 공간의 설계 방법 및 가상 도로주행 공간의 설계 시스템
KR102489534B1 (ko) * 2022-11-14 2023-01-18 주식회사 마키나락스 수집이 필요한 정보의 영역을 예측하는 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010002714A (ja) * 2008-06-20 2010-01-07 Toyota Motor Corp シミュレータ装置、運転課題提供方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3316919B2 (ja) * 1993-03-09 2002-08-19 三菱電機株式会社 道路交通管制シミュレーション装置
JP3475240B2 (ja) * 2000-11-22 2003-12-08 国土交通省国土技術政策総合研究所長 道路交通評価システム
JP3472818B2 (ja) * 2000-11-24 2003-12-02 国土交通省国土技術政策総合研究所長 交通シミュレーション方法
WO2014024264A1 (ja) * 2012-08-08 2014-02-13 株式会社 日立製作所 交通量予測装置および方法
US8874301B1 (en) * 2013-07-09 2014-10-28 Ford Global Technologies, Llc Autonomous vehicle with driver presence and physiological monitoring
CN105718065B (zh) * 2016-01-27 2018-08-21 北京交通大学 车路协同环境下的交互式视景仿真系统
CN105807922B (zh) * 2016-03-07 2018-10-02 湖南大学 一种虚拟现实娱乐驾驶的实现方法、装置及系统
KR101902824B1 (ko) * 2016-04-12 2018-10-02 자동차부품연구원 V2x 통신 기반 드라이빙 통합 시뮬레이션 장치
KR101850038B1 (ko) * 2016-05-24 2018-06-07 (주)이노시뮬레이션 자동차 시뮬레이터 장치 및 그 방법
KR102057532B1 (ko) * 2016-10-12 2019-12-20 한국전자통신연구원 자율주행 차량의 판단 지능 향상을 위한 주행상황 데이터 공유 및 학습 장치 및 그 동작 방법
CN106777747A (zh) * 2016-12-29 2017-05-31 广西航程威特科技有限公司 一种三维交通仿真模拟系统
US10118628B2 (en) * 2017-02-21 2018-11-06 Allstate Insurance Company Data processing system for guidance, control, and testing autonomous vehicle features and driver response
US10229590B2 (en) * 2017-08-14 2019-03-12 GM Global Technology Operations LLC System and method for improved obstable awareness in using a V2X communications system
CN108091203A (zh) * 2017-12-07 2018-05-29 中国航空工业集团公司西安航空计算技术研究所 一种基于虚拟现实技术的应激交通场景驾驶培训系统
EP3543985A1 (de) * 2018-03-21 2019-09-25 dSPACE digital signal processing and control engineering GmbH Simulieren verschiedener verkehrssituationen für ein testfahrzeug

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010002714A (ja) * 2008-06-20 2010-01-07 Toyota Motor Corp シミュレータ装置、運転課題提供方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240043971A (ko) 2022-09-28 2024-04-04 (주)이노시뮬레이션 육상 이동체 자율 주행 시뮬레이션을 위한 가상 환경 자동 생성 장치 및 이의 실행 방법
KR102579590B1 (ko) * 2022-12-28 2023-09-18 도로교통공단 도로교통법 기반 자율주행차 운전능력 평가시나리오 생성 시스템

Also Published As

Publication number Publication date
EP3690754A1 (en) 2020-08-05
CN111506980B (zh) 2023-09-08
KR20200094650A (ko) 2020-08-07
JP2020123351A (ja) 2020-08-13
CN111506980A (zh) 2020-08-07
US10636295B1 (en) 2020-04-28
JP6935948B2 (ja) 2021-09-15

Similar Documents

Publication Publication Date Title
KR102440938B1 (ko) 자율 주행 차량을 학습, 테스팅 및 검증하기 위해 가상 주행 환경에 대한 도메인 적응된 교통 시나리오를 생성하기 위한 방법 및 장치
CN112703459B (zh) 对抗场景的迭代生成
US20220121550A1 (en) Autonomous Vehicle Testing Systems and Methods
CN110597086B (zh) 仿真场景生成方法、无人驾驶系统测试方法以及装置
CN111508101B (zh) 通过检测驾驶场景来评估驾驶员的驾驶习惯的方法和装置
US11693409B2 (en) Systems and methods for a scenario tagger for autonomous vehicles
US10919543B2 (en) Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
CN114077541A (zh) 验证用于自动驾驶车辆的自动控制软件的方法和系统
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
KR102301631B1 (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
KR20200091319A (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN112163446B (zh) 一种障碍物检测方法、装置、电子设备及存储介质
US20230331250A1 (en) Method and apparatus for configuring deep learning algorithm for autonomous driving
KR20210118995A (ko) 딥러닝 기반 자율주행차량의 유턴 경로 생성 방법 및 장치
KR20200082672A (ko) 게임서버 연계 자율주행 시뮬레이션 방법
CN115270381A (zh) 仿真场景生成方法、装置、自动驾驶设备及可读存储介质
Li A scenario-based development framework for autonomous driving
CN116547187A (zh) 为至少部分自动化驾驶的车辆选择驾驶机动
US11834070B2 (en) Probabilistic simulation sampling from agent data
US20200310458A1 (en) Estimating a movement of a hybrid-behavior vehicle
WO2023123130A1 (zh) 用于自动驾驶系统的方法、装置、电子设备和介质
Bossert et al. A modular test strategy for highly autonomous driving based on autonomous parking pilot and highway pilot
CN116522574A (zh) 场景数据生成方法及装置、电子设备和存储介质
CN117610400A (zh) 车辆测试方法、装置、电子设备及存储介质
CN116997890A (zh) 生成未知不安全场景、改进自动交通工具、计算机系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant