KR20210038792A - 드라이빙 시뮬레이션 평가 시스템 및 그 방법 - Google Patents

드라이빙 시뮬레이션 평가 시스템 및 그 방법 Download PDF

Info

Publication number
KR20210038792A
KR20210038792A KR1020190121062A KR20190121062A KR20210038792A KR 20210038792 A KR20210038792 A KR 20210038792A KR 1020190121062 A KR1020190121062 A KR 1020190121062A KR 20190121062 A KR20190121062 A KR 20190121062A KR 20210038792 A KR20210038792 A KR 20210038792A
Authority
KR
South Korea
Prior art keywords
data
module
driving
autonomous driving
simulator
Prior art date
Application number
KR1020190121062A
Other languages
English (en)
Other versions
KR102340120B1 (ko
Inventor
박현배
전재석
곽수진
송문형
김용은
성광모
Original Assignee
한국자동차연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국자동차연구원 filed Critical 한국자동차연구원
Priority to KR1020190121062A priority Critical patent/KR102340120B1/ko
Publication of KR20210038792A publication Critical patent/KR20210038792A/ko
Application granted granted Critical
Publication of KR102340120B1 publication Critical patent/KR102340120B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3604—Software analysis for verifying properties of programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Debugging And Monitoring (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 다양한 실시 예들은, 드라이빙 시뮬레이션 평가 시스템 및 그 방법에 관한 것으로서, 평가 시스템은 드라이빙 시뮬레이션을 수행하고, 드라이빙 시뮬레이션의 데이터를 생성하는 시뮬레이터, 상기 드라이빙 시뮬레이션의 데이터에 기반하여 자율주행 모듈을 학습시키기 위한 학습 데이터 및 평가 데이터를 생성하고, 상기 학습 데이터 및 상기 평가 데이터를 상기 자율주행 모듈로 제공하는 데이터 생성 모듈, 및 상기 자율주행 모듈을 검증하는 검증 모듈을 포함할 수 있다. 다른 실시 예들도 가능하다.

Description

드라이빙 시뮬레이션 평가 시스템 및 그 방법{EVALUATION SYSTEM FOR DRIVING SIMULATION AND METHOD THEREOF}
본 발명의 다양한 실시 예들은 드라이빙 시뮬레이션 평가 시스템 및 그 방법에 관한 것이다.
차량은 빠른 이동성을 제공하는 수단으로 사용자의 편의를 증대시키기 위해 전자 장치가 결합되는 방향으로 발전되어 왔다. 이러한 차량의 발전과 함께 도로와 연계된 ITS(intelligent transport system) 기술이 발전되고 있으며 최근에는 차량과 도로 인프라가 융합된 협력형 ITS 기술이 활발하게 연구되고 있다.
본 발명의 배경기술은 대한민국 공개특허 제10-2017-0117270호(2017.10.23. 공개, V2X 통신 기반 드라이빙 통합 시뮬레이션 장치)에 개시되어 있다.
최근에는 차량과 AI(artificial intelligence) 기술이 접목되면서, 차량의 자율주행을 지원하기 위한 자율주행 모듈(예: AI 플랫폼, AI 자율주행 모듈)이 개발되고 있으며, 이를 평가하는 SILS(software in the loop system) 및 HILS(hardware in the loop system) 등의 기술에 대한 관심도 증가하고 있다. 따라서, SILS 및 HILS를 이용하여 자율주행 모듈을 평가하기 위한 방안이 요구될 수 있다.
본 발명의 다양한 실시 예들은, SILS 및 HILS를 이용하여 자율주행 모듈을 평가하는 평가 시스템 및 평가 방법에 관하여 개시한다.
본 발명의 다양한 실시 예들에 따른 평가 시스템은, 드라이빙 시뮬레이션을 수행하고, 드라이빙 시뮬레이션의 데이터를 생성하는 시뮬레이터, 상기 드라이빙 시뮬레이션의 데이터에 기반하여 자율주행 모듈을 학습시키기 위한 학습 데이터 및 평가 데이터를 생성하고, 상기 학습 데이터 및 상기 평가 데이터를 상기 자율주행 모듈로 제공하는 데이터 생성 모듈, 및 상기 자율주행 모듈을 검증하는 검증 모듈을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 평가 시스템의 동작 방법은, 평가 시스템의 시뮬레이터가 드라이빙 시뮬레이션을 수행하는 동안 상기 드라이빙 시뮬레이션의 데이터를 생성하는 단계, 상기 평가 시스템의 데이터 생성 모듈이 상기 드라이빙 시뮬레이션의 데이터에 기반하여 자율주행 모듈을 학습시키기 위한 학습 데이터 및 평가 데이터를 생성하는 단계, 상기 데이터 생성 모듈이 상기 학습 데이터 및 상기 평가 데이터를 상기 자율주행 모듈로 제공하는 단계, 및 상기 평가 시스템의 검증 모듈이 상기 자율주행 모듈을 검증하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예들은, AI 및 빅데이터를 활용할 수 있는 SILS 및 HILS를 이용하여 자율주행 모듈을 평가할 수 있는 환경을 제공함으로써, 보다 효과적으로 자율주행 모듈을 평가할 수 있다.
도 1은 다양한 실시 예들에 따른 자율주행 모듈을 평가하기 위한 시험 환경을 도시하는 블록도이다.
도 2는 다양한 실시 예들에 따른 평가 시스템에서 자율주행 모듈을 평가하는 방법을 설명하기 위한 흐름도이다.
도 3은 다양한 실시 예들에 따른 평가 시스템에서 자율주행 모듈의 평가를 위해 자율주행 모듈로 데이터를 송신하는 방법을 설명하기 위한 흐름도이다.
도 4는 다양한 실시 예들에 따른 자율주행 모듈의 동작을 설명하기 위한 흐름도이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다. 실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째", 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들어, 하드웨어적 또는 소프트웨어적으로 "~에 적합한", "~하는 능력을 가지는", "~하도록 변경된", "~하도록 만들어진", "~를 할 수 있는", 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들어, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
도 1은 다양한 실시 예들에 따른 자율주행 모듈을 평가하기 위한 시험 환경을 도시하는 블록도이다.
도 1을 참조하면, 자율주행 모듈을 평가하기 위한 시험 환경(100)은, 평가 시스템(101), 자율주행 소프트웨어 모듈(150), 및 자율주행 하드웨어 모듈(160)을 포함하도록 구성될 수 있다. 다만 이에 제한되지 않는다. 예를 들어, 시험 환경(100)은 평가 시스템(101) 및 자율주행 소프트웨어 모듈(150)만 포함하거나 또는 평가 시스템(101) 및 자율주행 하드웨어 모듈(160)만 포함하도록 구성될 수도 있다.
다양한 실시 예들에 따르면, 평가 시스템(101)은 자율주행 소프트웨어 모듈(150) 및 자율주행 하드웨어 모듈(160)과 연결되며, 드라이빙 시뮬레이션과 연관된 정보를 자율주행 소프트웨어 모듈(150) 및 자율주행 하드웨어 모듈(160)로 제공하고, 자율주행 소프트웨어 모듈(150) 및 자율주행 하드웨어 모듈(160)로부터 출력되는 정보를 이용하여 자율주행 소프트웨어 모듈(150) 및 자율주행 하드웨어 모듈(160)에 대한 평가 및 검증을 수행할 수 있다. 일 실시 예에 따르면, 평가 시스템(101)은 시뮬레이터(110), 데이터 생성 모듈(120), 검증 모듈(130), 및 인터페이스(140)를 포함할 수 있다.
다양한 실시 예들에 따르면, 시뮬레이터(110)는 가상의 지도 상에서 실세계 주행 환경과 주행 시나리오를 재현하고, 재현된 주행 환경 및 주행 시나리오에 따라 가상 차량에 대한 드라이빙 시뮬레이션 수행할 수 있다. 일 실시 예에 따르면, 주행 환경은 날씨, 교통량, 주변 사물 위치, 보행자 위치 및 보행자 이동 경로 등과 같이, 가상 차량의 주변 환경에 대한 정보를 포함할 수 있다. 일 실시 예에 따르면, 주행 시나리오는 가상 차량의 위치, 주행 방향, 주행 속도, 및/또는 주행 경로 등과 같이, 가상 차량의 움직임과 연관된 정보를 포함할 수 있다. 일 실시 예에 따르면, 가상의 지도는 3차원 지도로 구축될 수 있다. 일 실시 예에 따르면, 시뮬레이터(110)는 가상 차량에 대한 드라이빙 시뮬레이션을 수행하는 동안, 가상 차량에 포함된 적어도 하나의 가상 센서(예: 라이다 센서, 레이더 센서, 휠 센서, 또는 이미지 센서 등)의 데이터 및 가상 차량의 상태와 연관된 데이터를 생성하고, 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경 데이터를 데이터 생성 모듈(120), 자율주행 소프트웨어 모듈(150), 및 자율주행 하드웨어 모듈(160)로 제공할 수 있다. 일 실시 예에 따르면, 시뮬레이터(110)는 자율주행 소프트웨어 모듈(150) 또는 자율주행 하드웨어 모듈(160)로부터 수신된 제어 명령이 수신된 경우, 수신된 제어 명령에 따라 드라이빙 시뮬레이션 상의 가상 차량을 제어할 수 있다. 예를 들어, 시뮬레이터(110)는 드라이빙 시뮬레이션 상에서 가상 차량이 주행하는 동안, 자율주행 소프트웨어 모듈(150) 또는 자율주행 하드웨어 모듈(160)로부터 차량을 정지시키기 위한 제어 명령이 수신된 경우, 드라이빙 시뮬레이션 상의 가상 차량을 정지시킬 수 있다. 일 실시 예에 따르면, 시뮬레이터(110)는 디스플레이를 포함하며, 드라이빙 시뮬레이션을 수행하는 동안, 디스플레이를 통해 드라이빙 시뮬레이션 화면을 표시할 수 있다.
다양한 실시 예들에 따르면, 데이터 생성 모듈(120)은 시뮬레이터(110)가 드라이빙 시뮬레이션을 수행하는 동안, 시뮬레이터(110)로부터 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경 데이터를 수신하고, 수신된 데이터에 기반하여 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)을 학습시키기 위한 학습 데이터와 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)의 학습 상태를 평가하기 위한 평가 데이터를 생성할 수 있다. 일 실시 예에 따르면, 평가 데이터는 인지 평가 데이터, 판단 평가 데이터, 및 제어 평가 데이터와 같이, 다양한 카테고리로 생성될 수 있다. 일 실시 예에 따르면, 인지 평가 데이터는 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)이 드라이빙 시뮬레이션 상에서 재현된 주행 환경(예: 보행자 또는 사물 등)을 정확히 인식하는지 여부를 평가하는 평가 데이터를 나타낼 수 있다. 일 실시 예에 따르면, 판단 평가 데이터는 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)이 드라이빙 시뮬레이션 상에서 재현된 주행 환경 및 주행 시나리오에 따라 적절한 상황 판단을 하고 있는지 여부를 평가하는 데이터를 나타낼 수 있다. 일 실시 예들에 따르면, 제어 평가 데이터는 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)이 드라이빙 시뮬레이션 상에서 재현된 주행 환경 및 주행 시나리오에 따라 적절한 제어 명령을 생성하는지 여부를 평가하는 데이터를 나타낼 수 있다. 데이터 생성 모듈(120)은 학습 데이터 및 평가 데이터가 생성되면, 생성된 학습 데이터 및 평가 데이터를 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)로 제공할 수 있다.
다양한 실시 예들에 따르면, 검증 모듈(130)은, 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)이 시뮬레이터(110)로부터 제공된 데이터에 기반하여 수행하는 제어 명령이 적절한 제어 명령인지 여부를 검증할 수 있다. 예를 들어, 검증 모듈(130)은 드라이빙 시뮬레이션 상에서 가상 차량 전방에 장애물(예: 보행자 또는 다른 차량)이 위치하는 경우, 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)의 제어 명령에 따라 드라이빙 시뮬레이션 상의 가상 차량이 장애물과 충돌하지 않도록 정지했는지(또는 회피했는지) 여부를 판단함으로써, 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)로부터 제공된 제어 명령이 적절한 제어 명령인지 여부를 판단할 수 있다. 다른 예를 들어, 검증 모듈(130)은 드라이빙 시뮬레이션 상에서 가상 차량이 주행하는 도로의 신호등에 적색등이 점등된 경우, 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)이 제어 명령에 따라 드라이빙 시뮬레이션 상의 가상 차량이 정지했는지 여부를 판단함으로써, 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)로부터 제공된 제어 명령이 적절한 제어 명령인지 여부를 판단할 수 있다.
다양한 실시 예들에 따르면, 인터페이스(140)는 시뮬레이터(110), 자율주행 하드웨어 모듈(160), 및 검증 모듈(130) 간의 유선 및/또는 무선 데이터 통신을 지원하기 위한 인터페이스를 포함할 수 있다. 일 실시 예에 따르면, 인터페이스(140)는 시뮬레이터(110)로부터 생성되는 데이터를 자율주행 하드웨어 모듈(160) 또는 검증 모듈(130)에서 지원하는 통신 프로토콜에 대응하도록 변환하여 자율주행 하드웨어 모듈(160) 또는 검증 모듈(130)로 제공할 수 있다. 일 실시 예에 따르면, 인터페이스(140)는 자율주행 하드웨어 모듈(160)로부터 생성되는 데이터를 시뮬레이터(110)에서 지원하는 통신 프로토콜에 대응하도록 변환하여 시뮬레이터(110)로 제공할 수 있다.
다양한 실시 예들에 따르면, 자율주행 소프트웨어 모듈(150)은 차량의 자율주행을 수행할 수 있는 하드웨어 장치(예: ECU(electronic control unit)) 상에 프로그래밍되는 소프트웨어를 포함하고, 필요에 따라 다른 소프트웨어를 포함하도록 변경될 수 있다. 일 실시 예에 따르면, 자율주행 소프트웨어 모듈(150)은 시뮬레이터(110)로부터 제공되는 데이터(예: 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경 데이터)에 기반하여 제어 명령을 생성하고, 생성된 제어 명령을 시뮬레이터(110)로 제공할 수 있다. 일 실시 예에 따르면, 자율주행 소프트웨어 모듈(150)은 데이터 생성 모듈(120)로부터 제공되는 학습 데이터 및 평가 데이터에 기반하여 학습을 수행하고, 학습 결과를 고려하여 제어 명령을 생성함으로써, 신뢰도가 높은 제어 명령을 생성할 수 있다.
다양한 실시 예들에 따르면, 자율주행 하드웨어 모듈(160)은 차량의 자율주행을 수행할 수 있는 하드웨어 장치(예: ECU(electronic control unit))를 포함하고, 필요에 따라 다른 자율주행 하드웨어 장치를 포함하도록 변경될 수 있다. 일 실시 예에 따르면, 자율주행 하드웨어 모듈(160)은 시뮬레이터(110)로부터 제공되는 데이터(예: 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경 데이터)를 인터페이스(140)를 통해 수신하고, 수신된 데이터에 기반하여 제어 명령을 생성하고, 생성된 제어 명령을 시뮬레이터(110)로 제공할 수 있다. 일 실시 예에 따르면, 자율주행 하드웨어 모듈(160)은 데이터 생성 모듈(120)로부터 제공되는 학습 데이터 및 평가 데이터에 기반하여 학습을 수행하고, 학습 결과를 고려하여 제어 명령을 생성함으로써, 신뢰도가 높은 제어 명령을 생성할 수 있다.
도 2는 다양한 실시 예들에 따른 평가 시스템에서 자율주행 모듈을 평가하는 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 동작 201에서, 평가 시스템(예: 도 1의 평가 시스템(101))은 드라이빙 시뮬레이션을 수행할 수 있다. 예를 들어, 평가 시스템(101)은 시뮬레이터(110)를 통해 가상의 지도 상에서 실세계(real-world) 주행 환경과 주행 시나리오를 재현하고, 재현된 주행 환경 및 주행 시나리오에 따라 가상 차량에 대한 드라이빙 시뮬레이션 수행할 수 있다. 일 실시 예에 따르면, 드라이빙 시뮬레이션을 위한 지도, 주행 환경, 및 주행 시나리오는 평가 시스템의 사용자에 의해 설정되며, 필요에 따라 다른 값으로 변경될 수 있다.
동작 203에서, 평가 시스템(101)은 드라이빙 시뮬레이션을 수행하는 동안 드라이빙 시뮬레이션의 데이터에 기반하여 생성된 학습 데이터 및 평가 데이터를 자율주행 모듈(예: 도 1의 자율주행 소프트웨어 모듈(150) 및/또는 도 1의 자율주행 하드웨어 모듈(160))로 송신할 수 있다. 예를 들어, 평가 시스템(101)의 데이터 생성 모듈(120)은 시뮬레이터(110)가 드라이빙 시뮬레이션을 수행하는 동안, 시뮬레이터(110)로부터 드라이빙 시뮬레이션 상의 가상 차량에 포함된 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경과 연관된 데이터를 수신하고, 수신된 데이터에 기반하여 자율주행 모듈을 학습시키기 위한 학습 데이터와 학습 상태를 평가하기 위한 평가 데이터를 생성하고, 생성된 학습 데이터와 평가 데이터를 자율주행 모듈로 송신할 수 있다. 일 실시 예에 따르면, 평가 시스템(101)은 드라이빙 시뮬레이션이 수행되는 동안, 학습 데이터 및 평가 데이터를 생성하는 동작과 병렬적으로(또는 순차적으로) 드라이빙 시뮬레이션의 데이터를 자율주행 모듈로 제공할 수 있다. 예를 들어, 평가 시스템(101)의 시뮬레이터(110)는 드라이빙 시뮬레이션이 수행되는 동안, 드라이빙 시뮬레이션 상의 가상 차량에 포함된 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경과 연관된 데이터를 자율주행 모듈로 송신할 수 있다.
동작 205에서, 평가 시스템(101)은 자율주행 모듈을 검증할 수 있다. 구체적으로, 평가 시스템(101)의 검증 모듈(130)은 시뮬레이터(110)를 통해 재현되는 드라이빙 시뮬레이션을 모니터링함으로써, 자율주행 모듈이 시뮬레이터(110) 및/또는 데이터 생성 모듈(120)로부터 제공된 데이터에 기반하여 생성된 제어 명령이 드라이빙 시뮬레이션 상의 가상 차량에 적합한 명령인지 여부를 판단할 수 있다. 예를 들어, 검증 모듈(130)은 드라이빙 시뮬레이션 상에서 가상 차량 전방에 장애물(예: 보행자 또는 다른 차량)이 위치하는 경우, 자율주행 모듈의 제어 명령에 따라 드라이빙 시뮬레이션 상의 가상 차량이 장애물과 충돌하지 않도록 정지했는지(또는 회피했는지) 여부를 판단함으로써, 자율주행 소프트웨어 모듈(150) 및/또는 자율주행 하드웨어 모듈(160)로부터 제공된 제어 명령이 적절한 제어 명령인지 여부를 판단할 수 있다.
상술한 바와 같이, 평가 시스템(101)은 드라이빙 시뮬레이션을 통해 생성되는 데이터에 기반하여 자율주행 모듈이 학습을 수행할 수 있는 데이터(예: 학습 데이터 및 평가 데이터)를 생성하고, 생성된 데이터를 자율주행 모듈로 제공함으로써, AI 기반의 자율주행 모듈(예: 하드웨어 모듈 또는 소프트웨어 모듈)을 학습시킬 수 있으며, 드라이빙 시뮬레이션을 통해 차량의 자율주행을 지원하는 AI 기반의 자율주행 모듈에 대한 평가와 검증을 수행할 수 있다.
도 3은 다양한 실시 예들에 따른 전자 장치에서 자율주행 모듈의 평가를 위해 자율주행 모듈로 데이터를 송신하는 방법을 설명하기 위한 흐름도이다. 이하 설명은 도 2의 동작 203에서, 학습 데이터 및 평가 데이터를 자율주행 모듈로 송신하는 동작의 상세 동작일 수 있다.
도 3을 참조하면, 동작 301에서, 평가 시스템(예: 도 1의 평가 시스템(101))은 드라이빙 시뮬레이션의 데이터를 자율주행 모듈로 송신할 수 있다. 예를 들어, 평가 시스템(101)은 시뮬레이터(110)에서 드라이빙 시뮬레이션을 수행하는 동안 드라이빙 시뮬레이션 상의 가상 차량에 포함된 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경과 연관된 데이터를 자율주행 모듈(예: 도 1의 자율주행 소프트웨어 모듈(150) 및/또는 도 1의 자율주행 하드웨어 모듈(160))로 송신할 수 있다. 일 실시 예에 따르면, 자율주행 모듈은 시뮬레이터(110)로부터 제공되는 데이터(예: 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경 데이터)에 기반하여 제어 명령을 생성하고, 생성된 제어 명령을 시뮬레이터(110)로 제공함으로써, 드라이빙 시뮬레이션 상의 가상 차량의 움직임을 제어할 수 있다.
동작 303에서, 평가 시스템(101)은 드라이빙 시뮬레이션의 데이터에 기반하여 학습 데이터 및 평가 데이터를 생성할 수 있다. 예를 들어, 평가 시스템(101)의 데이터 생성 모듈(120)은 시뮬레이터(110)에서 드라이빙 시뮬레이션을 수행하는 동안 시뮬레이터(110)로부터 드라이빙 시뮬레이션 상의 가상 차량에 포함된 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경과 연관된 데이터를 수신하고, 수신된 데이터에 기반하여 자율주행 모듈을 학습시키기 위한 학습 데이터와 학습 상태를 평가하기 위한 평가 데이터를 생성할 수 있다.
동작 305에서, 평가 시스템(101)은 학습 데이터 및 평가 데이터가 생성된 것에 응답하여, 학습 데이터 및 평가 데이터를 자율주행 모듈로 송신할 수 있다. 예를 들어, 평가 시스템(101)의 데이터 생성 모듈(120)은 학습 데이터 및 평가 데이터를 자율주행 소프트웨어 모듈(150)로 직접(direct) 제공할 수 있다. 다른 예를 들어, 평가 시스템(101)의 데이터 생성 모듈(120)은 인터페이스(140)를 통해 학습 데이터 및 평가 데이터를 자율주행 하드웨어 모듈(160)로 제공할 수 있다.
상술한 바와 같이, 평가 시스템(101)은 드라이빙 시뮬레이션의 데이터를 자율주행 모듈로 송신하는 과정과 학습 데이터 및 평가 데이터를 자율주행 모듈로 송신하는 과정을 병렬적으로 수행할 수 있다. 또한, 평가 시스템(101)은 자율주행 모듈이 하드웨어로 구현된 경우, 하드웨어의 통신 프로토콜을 지원할 수 있는 인터페이스(140)를 통해 자율주행 모듈과의 데이터 통신을 지원할 수 있다.
도 4는 다양한 실시 예들에 따른 자율주행 모듈의 동작을 설명하기 위한 흐름도이다.
도 4를 참조하면, 동작 401에서, 자율주행 모듈(예: 도 1의 자율주행 소프트웨어 모듈(150) 또는 도 1의 자율주행 하드웨어 모듈(160))은 평가 시스템(예: 도 1의 평가 시스템(101))로부터 제공된 학습 데이터 및 평가 데이터에 기반하여 학습을 수행할 수 있다. 예를 들어, 자율주행 소프트웨어 모듈(150)은 데이터 생성 모듈(120)로부터 생성된 학습 데이터 및 평가 데이터를 데이터 생성 모듈(120)로부터 직접 제공받고, 제공된 학습 데이터 및 평가 데이터를 학습할 수 있다. 다른 예를 들어, 자율주행 하드웨어 모듈(160)은 데이터 생성 모듈(120)로부터 생성된 학습 데이터 및 평가 데이터를 인터페이스(140)를 통해 제공받고, 제공된 학습 데이터 및 평가 데이터를 학습할 수 있다.
동작 403에서, 자율주행 모듈은 드라이빙 시뮬레이션의 데이터를 수신할 수 있다. 예를 들어, 자율주행 소프트웨어 모듈(150)은 드라이빙 시뮬레이션 상의 가상 차량에 포함된 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경 데이터를 시뮬레이터(110)로부터 직접 수신할 수 있다. 다른 예를 들어, 자율주행 하드웨어 모듈(160)은 드라이빙 시뮬레이션 상의 가상 차량에 포함된 가상 센서의 데이터, 가상 차량의 상태와 연관된 데이터, 및 주행 환경 데이터를 인터페이스(140)를 통해 수신할 수 있다.
동작 403에서, 자율주행 모듈은 학습에 기반하여 드라이빙 시뮬레이션의 데이터에 대응하는 제어 명령을 송신할 수 있다. 예를 들어, 자율주행 소프트웨어 모듈(150)은 학습에 기반하여 드라이빙 시뮬레이터에 대응하는 제어 명령을 생성하고, 생성된 제어 명령을 시뮬레이터(110)에 직접 제공함으로써, 드라이빙 시뮬레이션 상의 가상의 차량에 제어 명령을 반영시킬 수 있다. 다른 예를 들어, 자율주행 하드웨어 모듈(160)은 학습에 기반하여 드라이빙 시뮬레이터에 대응하는 제어 명령을 생성하고, 생성된 제어 명령을 인터페이스(140)를 통해 시뮬레이터(110)에 제공함으로써, 드라이빙 시뮬레이션 상의 가상의 차량에 제어 명령을 반영시킬 수 있다.
이상에서는, 자율주행 모듈이 학습 데이터 및 평가 데이터를 이용하여 학습을 수행한 이후, 드라이빙 시뮬레이션의 데이터에 대응하는 제어 명령 생성하는 것으로 설명하였으나, 자율주행 모듈은, 학습 데이터 및 평가 데이터를 이용한 학습 과정과, 드라이빙 시뮬레이션의 데이터에 대응하는 제어 명령을 생성하는 과정을 병렬 적으로 수행할 수도 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
101 : 평가 시스템 150 : 인터페이스
120 : 시뮬레이터 160 : 자율주행 소프트웨어 모듈
130 : 데이터 생성 모듈 170 : 자율주행 하드웨어 모듈
140 : 검증 모듈

Claims (12)

  1. 드라이빙 시뮬레이션을 수행하고, 드라이빙 시뮬레이션의 데이터를 생성하는 시뮬레이터;
    상기 드라이빙 시뮬레이션의 데이터에 기반하여 자율주행 모듈을 학습시키기 위한 학습 데이터 및 평가 데이터를 생성하고, 상기 학습 데이터 및 상기 평가 데이터를 상기 자율주행 모듈로 제공하는 데이터 생성 모듈; 및
    상기 자율주행 모듈을 검증하는 검증 모듈을 포함하는 평가 시스템.
  2. 제1항에 있어서,
    상기 시뮬레이터는, 상기 드라이빙 시뮬레이션의 데이터를 생성하는 동작의 적어도 일부로서,
    상기 드라이빙 시뮬레이션이 수행되는 동안, 상기 드라이빙 시뮬레이션 상의 가상 차량에 포함된 가상 센서의 데이터, 상기 가상 차량의 상태와 연관된 데이터, 및 주행 환경과 연관된 데이터를 생성하는 평가 시스템.
  3. 제2항에 있어서,
    상기 시뮬레이터는,
    상기 가상 센서의 데이터, 상기 가상 차량의 상태와 연관된 데이터, 및 주행 환경과 연관된 데이터를 상기 데이터 생성 모듈 및 상기 자율주행 모듈로 제공하는 평가 시스템.
  4. 제1항에 있어서,
    상기 시뮬레이터는, 디스플레이를 포함하고,
    상기 자율주행 모듈로부터 제어 명령이 수신되면, 상기 드라이빙 시뮬레이션 상의 가상 차량에 상기 수신된 제어 명령을 반영하는 평가 시스템.
  5. 제4항에 있어서,
    평가 모듈은, 상기 자율주행 모듈을 검증하는 동작의 적어도 일부로서,
    상기 시뮬레이터에서 수행되는 상기 드라이빙 시뮬레이션을 모니터링하고,
    상기 모니터링을 통해, 상기 제어 명령이 상기 가상 차량에 적합한 제어 명령인지 여부를 판단하고, 및
    상기 판단 결과에 기반하여 상기 자율주행 모듈을 검증하는 평가 시스템.
  6. 제1항에 있어서,
    상기 시뮬레이터는,
    상기 드라이빙 시뮬레이션이 수행되는 동안, 디스플레이를 통해 드라이빙 시뮬레이션 화면을 표시하는 평가 시스템.
  7. 평가 시스템의 시뮬레이터가 드라이빙 시뮬레이션을 수행하는 동안 상기 드라이빙 시뮬레이션의 데이터를 생성하는 단계;
    상기 평가 시스템의 데이터 생성 모듈이 상기 드라이빙 시뮬레이션의 데이터에 기반하여 자율주행 모듈을 학습시키기 위한 학습 데이터 및 평가 데이터를 생성하는 단계;
    상기 데이터 생성 모듈이 상기 학습 데이터 및 상기 평가 데이터를 상기 자율주행 모듈로 제공하는 단계; 및
    상기 평가 시스템의 검증 모듈이 상기 자율주행 모듈을 검증하는 단계를 포함하는 평가 시스템의 동작 방법.
  8. 제7항에 있어서,
    상기 드라이빙 시뮬레이션의 데이터를 생성하는 단계는,
    상기 드라이빙 시뮬레이션이 수행되는 동안, 상기 시뮬레이터가 상기 드라이빙 시뮬레이션 상의 가상 차량에 포함된 가상 센서의 데이터, 상기 가상 차량의 상태와 연관된 데이터, 및 주행 환경과 연관된 데이터를 생성하는 단계를 포함하는 평가 시스템의 동작 방법.
  9. 제8항에 있어서,
    상기 시뮬레이터가 상기 가상 센서의 데이터, 상기 가상 차량의 상태와 연관된 데이터, 및 주행 환경과 연관된 데이터를 상기 데이터 생성 모듈 및 상기 자율주행 모듈로 제공하는 단계를 더 포함하는 평가 시스템의 동작 방법.
  10. 제7항에 있어서,
    상기 시뮬레이터가 상기 자율주행 모듈로부터 제어 명령이 수신되면, 상기 드라이빙 시뮬레이션 상의 가상 차량에 상기 수신된 제어 명령을 반영하는 단계를 더 포함하는 평가 시스템의 동작 방법.
  11. 제10항에 있어서,
    상기 자율주행 모듈을 검증하는 단계는,
    상기 검증 모듈이 상기 시뮬레이터에서 수행되는 상기 드라이빙 시뮬레이션을 모니터링하는 단계;
    상기 검증 모듈이 상기 모니터링을 통해, 상기 제어 명령이 상기 가상 차량에 적합한 제어 명령인지 여부를 판단하는 단계; 및
    상기 검증 모듈이 상기 판단 결과에 기반하여 상기 자율주행 모듈을 검증하는 단계를 포함하는 평가 시스템의 동작 방법.
  12. 제7항에 있어서,
    상기 시뮬레이터가 상기 드라이빙 시뮬레이션이 수행되는 동안, 상기 시뮬레이터에 포함된 디스플레이를 통해 드라이빙 시뮬레이션 화면을 표시하는 단계를 더 포함하는 평가 시스템의 동작 방법.
KR1020190121062A 2019-09-30 2019-09-30 드라이빙 시뮬레이션 평가 시스템 및 그 방법 KR102340120B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190121062A KR102340120B1 (ko) 2019-09-30 2019-09-30 드라이빙 시뮬레이션 평가 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190121062A KR102340120B1 (ko) 2019-09-30 2019-09-30 드라이빙 시뮬레이션 평가 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210038792A true KR20210038792A (ko) 2021-04-08
KR102340120B1 KR102340120B1 (ko) 2021-12-17

Family

ID=75480431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190121062A KR102340120B1 (ko) 2019-09-30 2019-09-30 드라이빙 시뮬레이션 평가 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102340120B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102528362B1 (ko) 2021-10-27 2023-05-03 재단법인 지능형자동차부품진흥원 자율주행 평가방법 및 평가시스템
KR20230079771A (ko) * 2021-11-29 2023-06-07 주식회사 와이즈오토모티브 자율주행차량의 충돌 회피 기능 검사 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144921A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20170057084A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
KR20170132515A (ko) * 2016-05-24 2017-12-04 (주)이노시뮬레이션 자동차 시뮬레이터 장치 및 그 방법
KR101996230B1 (ko) * 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144921A (ko) * 2013-06-12 2014-12-22 국민대학교산학협력단 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템
KR20170057084A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
KR20170132515A (ko) * 2016-05-24 2017-12-04 (주)이노시뮬레이션 자동차 시뮬레이터 장치 및 그 방법
KR101996230B1 (ko) * 2018-02-26 2019-07-04 (주)에스더블유엠 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1(2018.12.31)* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102528362B1 (ko) 2021-10-27 2023-05-03 재단법인 지능형자동차부품진흥원 자율주행 평가방법 및 평가시스템
KR20230079771A (ko) * 2021-11-29 2023-06-07 주식회사 와이즈오토모티브 자율주행차량의 충돌 회피 기능 검사 장치 및 방법

Also Published As

Publication number Publication date
KR102340120B1 (ko) 2021-12-17

Similar Documents

Publication Publication Date Title
JP7428988B2 (ja) 自律自動車の制御ユニットを修正するための方法およびシステム
CN108319259B (zh) 一种测试系统及测试方法
CN110412374B (zh) 一种基于多传感器的adas hil测试系统
US20070271079A1 (en) Simulator for Vehicle Radio Propagation Including Shadowing Effects
CN109801534A (zh) 基于自动驾驶模拟器的驾驶行为硬件在环仿真测试系统
US11198444B2 (en) Automated factory testflow of processing unit with sensor integration for driving platform
CN112115600A (zh) 一种自动驾驶车辆的仿真系统
US20230350399A1 (en) Operational testing of autonomous vehicles
CN211236045U (zh) 一种基于多传感器的adas hil测试系统
KR101996230B1 (ko) 자율주행 차량의 시뮬레이션을 위한 테스트정보 제공 방법 및 장치
CN113515105A (zh) 用于车辆预期功能安全仿真测试的平台、方法及存储介质
Druml et al. Prystine-programmable systems for intelligence in automobiles
KR102340120B1 (ko) 드라이빙 시뮬레이션 평가 시스템 및 그 방법
US20230406331A1 (en) Vehicle operation safety model test system
KR102139172B1 (ko) 가상환경에서의 자율주행차량 시뮬레이션 방법
JP2021131894A (ja) シミュレーション車両を制御するための方法、装置、電子機器及び記憶媒体
WO2020220248A1 (zh) 自动驾驶车辆的仿真测试方法、系统、存储介质和车辆
CN112698582A (zh) Adas ecu仿真测试方法和测试系统
CN113532884B (zh) 智能驾驶及adas系统测试平台和测试方法
CN112671487A (zh) 一种车辆测试的方法、服务器以及测试车辆
Kyriakopoulos et al. DigiCAV project: Exploring a test-driven approach in the development of connected and autonomous vehicles
WO2020194589A1 (ja) 車両制御用演算装置、車両制御装置、及び、車両制御用演算方法
Jezierska-Krupa et al. Design method of ADAS for urban electric vehicle based on virtual prototyping
US20240157974A1 (en) Simulation device for outputting image data from a virtual environment of a vehicle to a control unit, test setup having such a simulation device, and method for outputting image data from a virtual environment of a vehicle to a control unit
WO2018198770A1 (ja) 演算装置、ログ記録方法、ログ記録システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant