KR20230116880A - 시뮬레이션 테스트 방법, 장치 및 시스템 - Google Patents

시뮬레이션 테스트 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20230116880A
KR20230116880A KR1020237022187A KR20237022187A KR20230116880A KR 20230116880 A KR20230116880 A KR 20230116880A KR 1020237022187 A KR1020237022187 A KR 1020237022187A KR 20237022187 A KR20237022187 A KR 20237022187A KR 20230116880 A KR20230116880 A KR 20230116880A
Authority
KR
South Korea
Prior art keywords
virtual
emulator
sensor
input signal
driving state
Prior art date
Application number
KR1020237022187A
Other languages
English (en)
Inventor
홍웨이 공
창훌 첸
웬지에 왕
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20230116880A publication Critical patent/KR20230116880A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/02—Catoptric systems, e.g. image erecting and reversing system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23446—HIL hardware in the loop, simulates equipment to which a control module is fixed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 출원의 실시예는 시뮬레이션 테스트 방법, 장치 및 시스템을 제공하고, 시뮬레이션 테스트 분야에 관한 것이다. 이 방법은, 각각의 가상 센서의 처리 지연을 획득하는 단계와, 각각의 처리 지연이 미리 설정된 조건을 만족시키는지 여부를 판정하는 단계와, 임의의 처리 지연이 미리 설정된 조건을 만족시키는 경우, 처리 지연에 기초하여 제1 주행 상태를 예측하여 제2 주행 상태를 획득하는 단계와, 처리 지연에 대응하는 가상 센서를 사용하여 각각의 제2 주행 상태에 기초한 에뮬레이션을 수행하여 하나 이상의 제1 입력 신호를 획득하는 단계 ― 각각의 제1 입력 신호는 각각의 가상 센서와 일대일 대응 관계에 있음 ― 와, 하나 이상의 제1 입력 신호를 센서 에뮬레이터에 전송하는 단계를 포함한다. 본 출원의 실시예에서 제공된 방법에 따르면, 센서의 거동 및 성능이 정확하게 시뮬레이션될 수 있고, 센서 시뮬레이션의 정확도가 향상될 수 있으며, 시뮬레이션 테스트 효율성이 향상될 수 있다.

Description

시뮬레이션 테스트 방법, 장치 및 시스템
본 출원은 2020년 12월 3일에 중국 특허청에 제출되고 발명의 명칭이 "SIMULATION TEST METHOD, APPARATUS, AND SYSTEM"인 중국 특허 출원 제202011408608.X호에 대한 우선권을 주장하는데, 이 중국 특허 출원은 그 전체가 참조에 의해 본원에 통합된다.
본 출원의 실시예는 시뮬레이션 테스트 분야에 관한 것으로, 특히 시뮬레이션 테스트 방법, 장치 및 시스템에 관한 것이다.
보조 주행 및 자율 주행 기술은 빠르게 발전하고 있고 상용화되고 있다. 보조 주행 및 자율 주행 기술의 사용은 사람들의 운송 방식을 크게 변화시키고 사람들의 일과 삶의 라이프스타일에 큰 영향을 미칠 것이다. 보조 주행 및 자율 주행을 사용함으로써, 차량 상의 센서의 감지 능력 및 차량의 자율 주행 능력은 다양한 시나리오에서의 안전 주행에 매우 중요하다. 관련된 능력들은 다양한 시나리오에서 그 능력이 신뢰될 수 있음을 보장하기 위해 테스트되어야 한다. 현재의 테스트 방식은 일반적으로 개방형 도로 주행 테스트, 폐쇄형 필드 주행 테스트 및 시뮬레이션 테스트를 포함한다. 도로 주행 테스트 방식에 기초하여 다양한 테스트 시나리오를 거치는 것은 어려운 일이다. 분석에 따르면 다양한 시나리오의 커버리지를 보장하기 위해서는 1억 킬로미터 초과의 도로 테스트가 필요하지만 효율성은 상대적으로 낮은 것으로 나타났다. 또한, 안전을 고려해야 하므로, 필드 테스트에서 극한의 위험 시나리오 테스트를 재현하기는 어렵다. 그러나, Waymo의 Carcraft와 같은 순수한 시뮬레이션 테스트는, 센서의 감지 능력, 프레임 및 전력 시스템의 능력, 프레임 및 전력 시스템의 능력과 자율 주행 알고리즘 간의 협업을 테스트할 수 없다. 따라서, 시뮬레이션 테스트와 도로 테스트 간의 일관성이 효과적으로 보장될 수 없다.
본 출원의 실시예는, 가상 시나리오에서 시뮬레이션 테스트를 수행하는 방식을 제공하는, 시뮬레이션 테스트 방법, 장치 및 시스템을 제공한다.
제1 양태에 따르면, 본 출원의 실시예는 입력 신호 에뮬레이터(emulator)에 적용되는 시뮬레이션 테스트 방법을 제공한다. 입력 신호 에뮬레이터는 자율 주행 테스트 아키텍처 내에 위치하며, 자율 주행 테스트 아키텍처는 가상 시나리오 에뮬레이터 및 센서 에뮬레이터를 더 포함하고, 가상 시나리오 에뮬레이터는 가상 시나리오를 에뮬레이트하도록 구성되며, 가상 시나리오는 테스트 대상 가상 객체를 포함하고, 테스트 대상 가상 객체는 제1 주행 상태 및 복수의 가상 센서를 포함하고, 방법은 다음을 포함한다:
각각의 가상 센서의 처리 지연이 획득된다. 구체적으로, 처리 지연은 에뮬레이터에서의 가상 센서의 처리 시간과 실제 환경에서의 실제 센서의 처리 시간 사이의 차이일 수 있다.
각각의 처리 지연이 미리 설정된 조건을 만족시키는지 여부가 판정된다. 구체적으로, 처리 지연은 양의 값일 수도 있고 음의 값일 수도 있다. 예를 들어, 에뮬레이터에서의 가상 센서의 처리 시간이 실제 환경에서의 실제 센서의 처리 시간보다 크면 처리 지연은 양의 값이고, 또는 에뮬레이터에서의 가상 센서의 처리 시간이 실제 환경에서의 실제 센서의 처리 시간보다 작으면 처리 지연은 음의 값이다. 따라서, 처리 지연이 미리 설정된 조건을 만족시키는지 여부는 처리 지연이 양수인지 음수인지를 판정함으로써 판정될 수 있다. 각각의 가상 센서는 가상 센서의 미리 설정된 프론트엔드 모델 및 미리 설정된 알고리즘에 대응한다. 따라서, 가상 센서는 가상 센서의 처리 지연을 포함한다. 즉, 각각의 가상 센서의 처리 지연이 미리 설정된 조건을 만족시키는지 여부를 판정하는 것이 필요하다.
임의의 처리 지연이 미리 설정된 조건을 만족시키는 경우, 처리 지연에 기초하여 제1 주행 상태가 예측되어 제2 주행 상태를 획득한다. 구체적으로, 제1 주행 상태는 테스트 대상 가상 객체의 위치, 속도 및 가속도를 포함할 수 있다. 따라서, 임의의 가상 센서의 처리 지연이 미리 설정된 조건을 만족시키는 경우, 예를 들어 가상 센서의 처리 지연이 양의 값인 경우, 가상 센서의 처리 지연에 기초하여 예측이 수행되어 제2 주행 상태를 획득할 수 있다. 제2 주행 상태는 가상 센서의 예측 상태이며, 제2 주행 상태는 미래 순간에서의 위치, 속도, 가속도를 포함한다.
처리 지연에 대응하는 가상 센서를 사용하여 각각의 제2 주행 상태에 기초한 에뮬레이션이 수행되어 하나 이상의 제1 입력 신호를 획득한다. 각각의 제1 입력 신호는 각각의 가상 센서와 일대일 대응 관계에 있다. 구체적으로, 입력 신호 에뮬레이터는 각각의 가상 센서의 제2 주행 상태에 기초한 에뮬레이션을 수행하여 제1 입력 신호를 획득할 수 있다.
하나 이상의 제1 입력 신호는 센서 에뮬레이터에 전송된다.
이 실시예에서는, 가상 센서의 처리 지연이 결정되고 처리 지연에 대해 지연 보상이 수행되어, 센서의 거동 및 성능이 정확하게 시뮬레이션될 수 있고, 센서 시뮬레이션의 정확도가 향상되며, 시뮬레이션 테스트 효율성이 향상된다.
가능한 구현에서, 처리 지연에 대응하는 가상 센서를 사용하여 에뮬레이션이 수행되어 하나 이상의 제1 입력 신호를 획득하는 것은 다음을 포함한다:
처리 지연에 개별적으로 대응하는 복수의 가상 센서를 사용하여 동기식 에뮬레이션이 수행되어 복수의 제1 입력 신호를 획득한다. 구체적으로, 복수의 가상 센서가 동시에 에뮬레이션을 수행하여 제1 입력 신호를 획득하는 경우, 각 가상 센서에 의해 에뮬레이션을 통해 획득된 신호가 동기화되어 복수의 동기화된 제1 입력 신호를 획득할 수 있다. 이러한 방식으로, 신호가 동기화되어 시뮬레이션 테스트 정확도를 향상시킬 수 있다.
이 실시예에서는, 제1 입력 신호를 동기화함으로써, 시뮬레이션 테스트 정확도가 향상될 수 있다.
가능한 구현에서, 처리 지연은 제1 처리 시간과 제2 처리 시간 사이의 차이에 의해 결정된다. 제1 처리 시간은 센서 에뮬레이터에서의 가상 센서의 처리 시간이고, 제2 처리 시간은 가상 센서에 대응하는 실제 센서의 미리 설정된 실제 처리 시간이다.
이 실시예에서는, 센서 에뮬레이터에서의 가상 센서의 처리 시간과 실제 센서의 미리 설정된 실제 처리 시간 사이의 차이가 처리 지연으로 사용되어, 실제 센서의 성능이 정확하게 시뮬레이션될 수 있다.
가능한 구현에서, 방법은 다음을 포함한다:
임의의 처리 지연이 미리 설정된 조건을 만족시키지 않는 경우, 제1 주행 상태에 기초하여 처리 지연에 대응하는 가상 센서를 사용하여 에뮬레이션이 수행되어 제2 입력 신호를 획득하고, 처리 지연에 기초하여 하나 이상의 제2 입력 신호를 센서 에뮬레이터에 전송하는 것이 지연된다. 구체적으로, 가상 센서의 처리 지연이 미리 설정된 조건을 만족시키지 않는 경우, 예를 들어 처리 지연이 음의 값인 경우, 즉, 가상 센서가 제2 예측 상태를 획득하지 못한 경우, 입력 신호 에뮬레이터는 제1 주행 상태에 기초한 에뮬레이션을 수행하여 제2 입력 신호를 획득하고, 처리 지연에 기초하여 제2 입력 신호의 전송이 지연되어 처리 지연을 보상한다.
이 실시예에서는, 제2 입력 신호의 전송을 지연함으로써 처리 지연이 보상되어, 실제 센서의 성능이 정확하게 시뮬레이션될 수 있다.
가능한 구현에서, 센서 에뮬레이터는 제1 입력 신호 또는 제2 입력 신호를 수신하고, 가상 센서의 미리 설정된 프론트엔드 모델 및 미리 설정된 알고리즘에 기초한 계산을 수행하여 출력 신호를 획득하도록 구성된다. 가상 센서의 미리 설정된 프론트엔드 모델은 Y=G*X+N+I로서, 여기서 Y는 프론트엔드 모델의 출력 신호이고, X는 제1 입력 신호 또는 제2 입력 신호이고, G는 프론트엔드의 이득이고, N은 가상 센서의 프론트엔드의 잡음이며, I는 가상 센서의 프론트엔드에 의해 도입된 간섭이다.
이 실시예에서는, 미리 설정된 프론트엔드 모델 및 미리 설정된 알고리즘이 가상 센서 내에 설정되어, 실제 센서에 대한 에뮬레이션이 수행되고 실제 센서의 성능이 보다 정확하게 시뮬레이션될 수 있다.
가능한 구현에서, 가상 시나리오는 적어도 하나의 CPU 및/또는 적어도 하나의 GPU를 사용하여 가상 시나리오 에뮬레이터에 의한 에뮬레이션을 통해 획득되고, 제1 입력 신호 또는 제2 입력 신호는 광선 추적 알고리즘에 따라 적어도 하나의 GPU를 사용하여 입력 신호 에뮬레이터에 의한 에뮬레이션을 통해 획득된다.
이 실시예에서는, 적어도 하나의 CPU 및/또는 적어도 하나의 GPU와 같은 하드웨어 유닛을 사용하여 신호에 대해 에뮬레이션을 수행하여 신호 에뮬레이션의 속도를 증가시킴으로써 시뮬레이션 테스트 효율을 향상시킨다.
가능한 구현에서, 제1 주행 상태는 순간 t에서의 테스트 대상 가상 객체의 제1 위치, 제1 속도 및 제1 가속도를 포함하고, 처리 지연에 기초하여 제1 주행 상태가 예측되어 제2 주행 상태를 획득하는 것은 다음을 포함한다:
테스트 대상 가상 객체의 제1 주행 상태는 칼만(Kalman) 필터링 방법을 사용하여 처리 지연에 기초하여 예측되어 제2 주행 상태를 획득한다. 제2 주행 상태는 t+T에서의 테스트 대상 가상 객체의 제2 위치, 제2 속도 및 제2 가속도를 포함하고, T는 처리 지연이다.
이 실시예에서는, 미래 순간에서의 위치, 속도 및 가속도에 대한 예측을 수행함으로써 처리 지연이 효과적으로 보상될 수 있으므로, 시뮬레이션 테스트 정확도가 향상될 수 있다.
가능한 구현에서, 자율 주행 테스트 아키텍처는 디지털 에뮬레이터, 주행 시스템, 및 전력 시스템 에뮬레이터를 더 포함한다. 디지털 에뮬레이터는 센서 에뮬레이터에 의해 전송된 출력 신호를 수신하고 출력 신호를 주행 시스템에 전송하도록 구성되고, 주행 시스템은 출력 신호에 기초하여 주행 결정을 내리도록 구성되고, 전력 시스템 에뮬레이터는 주행 결정에 대한 에뮬레이션을 수행하여 제3 주행 상태를 획득하고 제3 주행 상태를 가상 시나리오 에뮬레이터에 피드백하여, 테스트 대상 가상 객체가 제3 주행 상태에 기초하여 제1 주행 상태를 업데이트하게 하도록 구성된다.
이 실시예에서는, 디지털 에뮬레이터, 주행 시스템, 및 전력 시스템 에뮬레이터를 도입함으로써 출력 신호에 기초하여 주행 결정이 획득될 수 있고, 주행 결정에 기초하여 테스트 대상 가상 객체의 주행 상태가 업데이트될 수 있다. 따라서 시뮬레이션 테스트의 폐쇄 루프가 형성되고 시뮬레이션 테스트 효율성이 향상될 수 있다.
가능한 구현에서, 가상 센서는 밀리미터파 레이더 가상 센서, 레이저 레이더 가상 센서, 적외선 가상 센서, 또는 카메라 가상 센서 중 적어도 하나를 포함한다.
이 실시예에서는, 복수의 가상 센서를 도입함으로써 상이한 센서 상에서 시뮬레이션 테스트가 수행될 수 있어서, 테스트 유연성이 향상될 수 있고 시뮬레이션 테스트 효율성이 더욱 향상될 수 있다.
제2 양태에 따르면, 본 출원의 실시예는 입력 신호 에뮬레이터에 적용되는 시뮬레이션 테스트 장치를 제공한다. 입력 신호 에뮬레이터는 자율 주행 테스트 아키텍처 내에 위치하며, 자율 주행 테스트 아키텍처는 가상 시나리오 에뮬레이터 및 센서 에뮬레이터를 더 포함하고, 가상 시나리오 에뮬레이터는 가상 시나리오를 에뮬레이트하도록 구성되며, 가상 시나리오는 테스트 대상 가상 객체를 포함하고, 테스트 대상 가상 객체는 제1 주행 상태 및 복수의 가상 센서를 포함하고, 장치는,
각각의 가상 센서의 처리 지연을 획득하도록 구성된 수신 회로와,
각각의 처리 지연이 미리 설정된 조건을 만족시키는지 여부를 판정하고, 임의의 처리 지연이 미리 설정된 조건을 만족시키는 경우, 처리 지연에 기초하여 제1 주행 상태를 예측하여 제2 주행 상태를 획득하도록 구성된 예측 회로와,
처리 지연에 대응하는 가상 센서를 사용하여 각각의 제2 주행 상태에 기초한 에뮬레이션을 수행하여 하나 이상의 제1 입력 신호를 획득하도록 구성된 제1 에뮬레이션 회로 ― 각각의 제1 입력 신호는 각각의 가상 센서와 일대일 대응 관계에 있음 ― 와,
하나 이상의 제1 입력 신호를 센서 에뮬레이터에 전송하도록 구성된 제1 전송 회로를 포함한다.
가능한 구현에서, 제1 에뮬레이션 회로는 또한 처리 지연에 개별적으로 대응하는 복수의 가상 센서를 사용하여 동기식 에뮬레이션을 수행하여 복수의 제1 입력 신호를 획득하도록 구성된다.
가능한 구현에서, 처리 지연은 제1 처리 시간과 제2 처리 시간 사이의 차이에 의해 결정된다. 제1 처리 시간은 센서 에뮬레이터에서의 가상 센서의 처리 시간이고, 제2 처리 시간은 가상 센서에 대응하는 실제 센서의 미리 설정된 실제 처리 시간이다.
가능한 구현에서, 장치는,
임의의 처리 지연이 미리 설정된 조건을 만족시키지 않는 경우, 처리 지연에 대응하는 가상 센서를 사용하여 제1 주행 상태에 기초한 에뮬레이션을 수행하여 제2 입력 신호를 획득하도록 구성된 제2 에뮬레이션 회로와,
처리 지연에 기초하여 하나 이상의 제2 입력 신호를 센서 에뮬레이터에 전송하는 것을 지연시키도록 구성된 제2 전송 회로를 더 포함한다.
가능한 구현에서, 제1 입력 신호 또는 제2 입력 신호는 광선 추적 알고리즘에 따라 적어도 하나의 GPU를 사용하여 입력 신호 에뮬레이터에 의한 에뮬레이션을 통해 획득된다.
가능한 구현에서, 제1 주행 상태는 순간 t에서의 테스트 대상 가상 객체의 제1 위치, 제1 속도 및 제1 가속도를 포함하고, 예측 회로는 또한 칼만(Kalman) 필터링 방법을 사용하여 처리 지연에 기초하여 테스트 대상 가상 객체의 제1 주행 상태를 예측하여 제2 주행 상태를 획득하도록 구성된다. 제2 주행 상태는 t+T에서의 테스트 대상 가상 객체의 제2 위치, 제2 속도 및 제2 가속도를 포함하고, T는 처리 지연이다.
제3 양태에 따르면, 본 출원의 실시예는 가상 시나리오 에뮬레이터, 입력 신호 에뮬레이터, 센서 에뮬레이터, 디지털 에뮬레이터 및 시스템 동기화 모듈을 포함하는 시뮬레이션 테스트 시스템을 제공한다.
가상 시나리오 에뮬레이터는 가상 시나리오를 에뮬레이트하도록 구성되고, 가상 시나리오는 테스트 대상 가상 객체를 포함하고, 테스트 대상 가상 객체는 제1 주행 상태 및 복수의 가상 센서를 포함한다.
입력 신호 에뮬레이터는, 각각의 가상 센서의 처리 지연을 획득하고, 각각의 처리 지연이 미리 설정된 조건을 만족시키는지 여부를 판정하고, 임의의 처리 지연이 미리 설정된 조건을 만족시키는 경우, 처리 지연에 기초하여 제1 주행 상태를 예측하여 제2 주행 상태를 획득하고, 처리 지연에 대응하는 가상 센서를 사용하여 각각의 제2 주행 상태에 기초한 에뮬레이션을 수행하여 하나 이상의 제1 입력 신호를 획득하고 ― 각각의 제1 입력 신호는 각각의 가상 센서와 일대일 대응 관계에 있음 ―, 하나 이상의 제1 입력 신호를 센서 에뮬레이터에 전송하도록 구성된다.
센서 에뮬레이터는, 제1 입력 신호를 수신하고, 가상 센서의 미리 설정된 프론트엔드 모델 및 미리 설정된 알고리즘에 기초한 계산을 수행하여 출력 신호를 획득하도록 구성된다.
디지털 에뮬레이터는 센서 에뮬레이터에 의해 전송된 출력 신호를 수신하도록 구성된다.
시스템 동기화 모듈은 가상 시나리오 에뮬레이터, 입력 신호 에뮬레이터, 센서 에뮬레이터, 및 디지털 에뮬레이터의 각각에 동기화 클록을 제공하도록 구성된다.
가능한 구현에서, 입력 신호 에뮬레이터는 또한 처리 지연에 개별적으로 대응하는 복수의 가상 센서를 사용하여 동기식 에뮬레이션을 수행하여 복수의 제1 입력 신호를 획득하도록 구성된다.
가능한 구현에서, 처리 지연은 제1 처리 시간과 제2 처리 시간 사이의 차이에 의해 판정된다. 제1 처리 시간은 센서 에뮬레이터에서의 가상 센서의 처리 시간이고, 제2 처리 시간은 가상 센서에 대응하는 실제 센서의 미리 설정된 실제 처리 시간이다.
가능한 구현에서, 입력 신호 에뮬레이터는 또한, 임의의 처리 지연이 미리 설정된 조건을 만족시키지 않는 경우, 처리 지연에 대응하는 가상 센서를 사용하여 제1 주행 상태에 기초한 에뮬레이션을 수행하여 제2 입력 신호를 획득하고, 처리 지연에 기초하여 하나 이상의 제2 입력 신호를 센서 에뮬레이터에 전송하는 것을 지연시키도록 구성된다.
가능한 구현에서, 센서 에뮬레이터는 또한 제2 입력 신호를 수신하도록 구성된다. 미리 설정된 가상 센서의 프론트엔드 모델은 Y=G*X+N+I로서, 여기서 Y는 프론트엔드 모델의 출력 신호이고, X는 제1 입력 신호 또는 제2 입력 신호이고, G는 프론트엔드의 이득이고, N은 가상 센서의 프론트엔드 잡음이며, I는 가상 센서의 프론트엔드에 의해 도입된 간섭이다.
가능한 구현에서, 가상 시나리오는 적어도 하나의 CPU 및/또는 적어도 하나의 GPU를 사용하여 가상 시나리오 에뮬레이터에 의한 에뮬레이션을 통해 획득되고, 제1 입력 신호 또는 제2 입력 신호는 광선 추적 알고리즘에 따라 적어도 하나의 GPU를 사용하여 입력 신호 에뮬레이터에 의한 에뮬레이션을 통해 획득된다.
가능한 구현에서, 제1 주행 상태는 순간 t에서의 테스트 대상 가상 객체의 제1 위치, 제1 속도 및 제1 가속도를 포함하고, 입력 신호 에뮬레이터는 또한, 칼만(Kalman) 필터링 방법을 사용하여 처리 지연에 기초하여 테스트 대상 가상 객체의 제1 주행 상태를 예측하여 제2 주행 상태를 획득하도록 구성된다. 제2 주행 상태는 t+T에서의 테스트 대상 가상 객체의 제2 위치, 제2 속도 및 제2 가속도를 포함하고, T는 처리 지연이다.
가능한 구현에서, 시스템은 주행 시스템 및 전력 시스템 에뮬레이터를 더 포함한다.
디지털 에뮬레이터는 또한 출력 신호를 주행 시스템에 전송하도록 구성된다.
주행 시스템은 출력 신호에 기초하여 주행 결정을 내리도록 구성된다.
전력 시스템 에뮬레이터는, 주행 결정에 대한 에뮬레이션을 수행하여 제3 주행 상태를 획득하고 제3 주행 상태를 가상 시나리오 에뮬레이터로 피드백하여, 테스트 대상 가상 객체가 제3 주행 상태에 기초하여 제1 주행 상태를 업데이트하게 하도록 구성된다.
가능한 구현에서, 가상 센서는 밀리미터파 레이더 가상 센서, 레이저 레이더 가상 센서, 적외선 가상 센서, 또는 카메라 가상 센서 중 적어도 하나를 포함한다.
제4 양태에 따르면, 본 출원의 실시예는 컴퓨터 판독가능 저장 매체를 제공한다. 컴퓨터 판독가능 저장 매체는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램이 컴퓨터에서 실행될 때 컴퓨터는 제1 양태에 따른 방법을 수행할 수 있게 된다.
제5 양태에 따르면, 본 출원의 실시예는 컴퓨터 프로그램을 제공한다. 컴퓨터 프로그램이 컴퓨터에 의해 실행될 때, 컴퓨터 프로그램은 제1 양태에 따른 방법을 수행하는 데 사용된다.
가능한 설계에서, 제5 양태의 프로그램의 전부 또는 일부는 프로세서로 캡슐화되는 저장 매체에 저장될 수 있거나, 프로그램의 일부 또는 전부는 프로세서로 캡슐화되지 않는 메모리에 저장될 수 있다.
도 1은 본 출원의 실시예에 따른 시스템 아키텍처의 개략도이다.
도 2는 본 출원의 실시예에 따른 시뮬레이션 테스트 방법의 개략적 흐름도이다.
도 3은 본 출원의 실시예에 따른 상태 예측의 개략도이다.
도 4는 본 출원의 실시예에 따른 시뮬레이션 테스트 장치의 구조의 개략도이다.
도 5는 본 출원의 실시예에 따른 전자 디바이스의 구조의 개략도이다.
다음은 본 출원의 실시예에서 첨부된 도면을 참조하여 본 출원의 실시예의 기술 솔루션을 설명한다. 본 출원의 실시예의 설명에서, "/"는 달리 명시되지 않는 한 "또는"을 의미한다. 예를 들어, A/B는 A 또는 B를 나타낼 수 있다. 본 명세서에서, "및/또는"은 연관된 객체를 설명하기 위한 연관 관계만을 설명하고, 세 가지 관계가 존재할 수 있음을 나타낸다. 예를 들어 A 및/또는 B는 다음과 같은 세 가지 경우, 즉, A만 존재하는 경우, A와 B가 모두 존재하는 경우, B만 존재하는 경우를 나타낼 수 있다.
이하에서 언급되는 "제1" 및 "제2"라는 용어는 단지 설명의 목적을 위한 것일 뿐, 상대적 중요성의 표시 또는 암시로 이해되거나, 표시된 기술적 특징의 양에 대한 암시적 표시로 이해되어서는 안 된다. 따라서 "제1" 또는 "제2"에 의해 한정된 특징은 명시적으로 또는 암시적으로 하나 이상의 특징을 포함할 수 있다. 본 출원의 실시예의 설명에 있어서, "복수의"는 달리 명시되지 않는 한 2개 이상을 의미한다.
현재, 보조 주행 테스트 및 자율 주행 테스트의 효율성을 향상시키고 시뮬레이션 테스트와 도로 테스트 간의 일관성을 향상시키기 위해서는, 실험실에서 다양한 시나리오를 에뮬레이트할 수 있고, 자율 주행 소프트웨어 및 알고리즘을 사용하여 테스트 차량의 프레임 및 전력 시스템의 능력과 센서 능력에 대한 공동 테스트를 수행할 수 있는 하드웨어 폐쇄 루프 솔루션이 요구된다. 실험실에서의 시나리오 에뮬레이션은 에뮬레이션 인터페이스 기반 방식 및 디지털 인터페이스 기반 방식으로 수행될 수 있다. 에뮬레이션 인터페이스 기반 방식에서는 시나리오 에뮬레이션을 통해 각 센서에 의해 수신되는 에뮬레이션 신호가 생성되고, 신호는 에뮬레이션 인터페이스를 통해 각 센서에 전송된다. 에뮬레이션 인터페이스 방식이 사용될 경우 시스템이 복잡하고 솔루션이 미숙하다는 문제가 존재한다. 예를 들어, 에뮬레이트된 시나리오에서, 복수의 타겟 레이더 에코는 소수의 타겟만을 에뮬레이트할 수 있다. 이것은 요구사항을 만족시킬 수 없다. 그러나, 수십 개의 타겟 에코를 에뮬레이트하기 위해 탐침 벽 솔루션(probe wall solution)을 사용하는 시스템은 비용이 많이 들고 복잡하며 성숙된 솔루션이 없다. 또한, 에뮬레이트된 시나리오에서는 복수의 타겟의 LiDAR 에코 신호에 대한 솔루션이 없다. 따라서, 디지털 인터페이스의 시나리오 에뮬레이션 방식이 일반적으로 사용된다. 이 에뮬레이션 방식에서는 생성된 시나리오 에뮬레이션 신호가 실제 센서를 거치지 않고 디지털 인터페이스를 통해 보조 주행 및 자율 주행의 처리 시스템으로 직접 전송된다. 일반적인 솔루션은 각 센서의 거동 모델 또는 통계 모델을 수립하여 센서의 성능 영향을 에뮬레이트하는 것이다. 이 방식에서는 동일한 시나리오에서의 다중 센서 거동의 동기식 에뮬레이션이 구현될 수 없다. 또한, 특정 시나리오에서의 센서의 성능은 거동 또는 통계 모델에 기초하여 정확하게 설명될 수 없다. 특정 시나리오에서의 센서 성능을 에뮬레이트하기 위해 센서 알고리즘과 함께 물리적 모델의 사용을 제안하는 솔루션도 있다. 그러나, 이 솔루션은 센서의 에뮬레이션 프론트엔드의 성능 영향을 고려하지 않는다. 또한, 복수의 센서 에뮬레이션 신호 사이의 동기화 및 지연도 고려되지 않는다. 자율 주행에서 복수의 센서를 융합하려면 시나리오 에뮬레이션 중에 동일한 시나리오에 대한 서로 다른 센서의 인식이 동시에 에뮬레이트될 수 있어야 한다. 또한, 하드웨어 폐쇄 루프 시스템이 실제 도로 테스트 거동과 일치하는 것을 보장하기 위해서는 시나리오 에뮬레이션에서 생성된 추가 지연이 시나리오 에뮬레이션 시스템에서 보상될 수 있어야 한다.
전술한 문제를 고려하여, 본 출원의 실시예는 시뮬레이션 테스트 방법을 제공한다. 이 방법은 디지털 시나리오 시뮬레이션 테스트에서 시뮬레이션 센서로 인한 지연 문제를 효과적으로 해결할 수 있으므로, 디지털 시나리오 에뮬레이터에서 복수의 센서의 거동 및 성능이 정확하게 동기식으로 시뮬레이션될 수 있다.
도 1 내지 도 3을 참조하면, 본 출원의 실시예에서 제공되는 시뮬레이션 테스트 방법이 설명된다. 도 1은 본 출원의 이 실시예에서 제공되는 시스템 아키텍처를 도시한다. 도 1을 참조한다. 시스템 구조는 가상 시나리오 에뮬레이터(100), 입력 신호 에뮬레이터(200), 센서 에뮬레이터(300), 디지털 에뮬레이터(400), 보조 주행 및 자율 주행 시스템(500)(설명의 편의상, "보조 주행 및 자율 주행 시스템"는 이하 "주행 시스템"으로 지칭됨), 전력 시스템 에뮬레이터(600) 및 시스템 동기화 모듈(700)을 포함한다.
가상 시나리오 에뮬레이터(100)는 가상 시나리오를 구성하고, 가상 시나리오 정보를 입력 신호 에뮬레이터(200)에 전송하도록 구성된다. 특정 구현 동안, 가상 시나리오 에뮬레이터(100)는 컴퓨터일 수 있거나, 또는 다른 유형의 컴퓨팅 디바이스일 수 있다. 이것은 본 출원에서 제한되지 않는다. 가상 시나리오 에뮬레이터(100)는 IEEE 1588 프로토콜을 지원하는 고속 이더넷 네트워크 어댑터, 하나 이상의 중앙 처리 장치(CPU) 또는 그래픽 처리 장치(GPU)를 포함하여 실시간 에뮬레이션 성능을 보장할 수 있다. 가상 시나리오의 구축은 가상 시나리오 에뮬레이터(100)에 설치된 시나리오 에뮬레이션 소프트웨어를 사용하여 구현될 수 있다. 시나리오 에뮬레이션 소프트웨어는 상용 3D 에뮬레이션 소프트웨어일 수도 있고, 오픈 소스 3D 에뮬레이션 소프트웨어일 수도 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다.
가상 시나리오는 가상 3차원 모델을 사용하여 수립된 가상 시나리오를 포함할 수 있다. 가상 3차원 모델은 현실 세계의 실제 객체를 에뮬레이트한다. 예를 들어, 실제 객체는 차량, 사람, 동물, 나무, 도로, 건물 등을 포함하거나, 다른 실제 객체를 포함할 수 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다. 3차원 모델은 가상 객체로 간주될 수 있음을 이해할 수 있다. 특정 구현 동안, 사용자는 일반적으로 가상 시나리오에서 가상 객체를 생성하고, 그 가상 객체를 테스트를 위한 테스트 객체로서 사용한다. 따라서, 테스트 객체는 제1 가상 객체일 수 있고, 가상 시나리오에서 제1 가상 객체를 제외한 모든 가상 객체는 제2 가상 객체로 간주될 수 있다. 예를 들어, 제1 가상 객체는 차량일 수 있고, 따라서 차량의 자율 주행 및 보조 주행 성능이 테스트될 수 있다. 예를 들어, 차량의 주행 과정에서, 차량 주변의 제2 가상 객체는 차량에 장애물이 되어 결과적으로 차량의 주행에 영향을 미치고, 나아가 차량의 주행 결정, 예를 들어, 가속, 감속, 회전, 및 정지에 영향을 미친다. 전술한 시나리오 에뮬레이션 소프트웨어를 사용함으로써, 가상 시나리오 에뮬레이터(100)는 가상 시나리오 내의 가상 객체에 대한 정보를 입력 신호 에뮬레이터(200)에 전송할 수 있다. 가상 객체에 대한 정보는 가상 객체의 좌표, 재료 및 조명과 같은 정보를 포함할 수 있다. 전술한 시스템 아키텍처가 특정 시나리오 에뮬레이션 소프트웨어에 의존하지 않는 것을 보장하기 위해, 가상 시나리오 에뮬레이터(100)와 입력 신호 에뮬레이터(200) 사이의 정보 전송에 표준화된 인터페이스가 사용된다.
대안적으로 제1 가상 객체는 무인 항공기 또는 다른 유형의 자율 주행 디바이스일 수 있음을 이해할 수 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다.
또한, 각각의 실제 객체에 대해, 실제 객체의 표면에 가시광선, 밀리미터파 레이더, 레이저 레이더, 및 적외선 레이더와 같은 신호가 조사될 경우, 반사, 산란, 회절과 같은 물리적 현상이 발생한다. 따라서, 가상 시나리오 에뮬레이터(100)는 물리적 현상에 기초하여 가상 객체에 대해 대응하는 물리적 모델을 수립할 수 있다. 또한, 가상 시나리오 에뮬레이터(100)는 또한 가상 객체의 재료에 대응하는 모델 파라미터를 수립할 수 있다. 가상 객체의 재료는 실제 객체에 의해 사용된 재료와 일치한다.
제1 가상 객체를 테스트하기 위해, 가상 시나리오 에뮬레이터(100)는 또한 제1 가상 객체 상에 가상 센서를 배치할 수 있다. 가상 센서는 가상 환경에서 입력 신호를 획득하는 것을 에뮬레이트하도록 구성된다. 가상 환경 내의 다양한 가상 센서에 의해 획득된 입력 신호는 물리적 모델 및 모델 파라미터를 사용하여 에뮬레이트될 수 있다.
입력 신호 에뮬레이터(200)는 가상 환경 내의 다양한 가상 센서에 의해 획득된 입력 신호를 에뮬레이트하고 입력 신호를 처리를 위해 센서 에뮬레이터(300)에 전송하도록 구성된다. 입력 신호는 제1 가상 객체의 주행 상태 및 가상 시나리오 정보에 기초하여 에뮬레이트될 수 있다. 가상 센서는 밀리미터파 레이더 가상 센서, 레이저 레이더 가상 센서, 적외선 가상 센서, 카메라 가상 센서를 포함하거나 다른 형태의 가상 센서를 포함할 수 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다. 특정 구현 동안, 입력 신호 에뮬레이터(200)는 컴퓨터일 수 있거나 다른 유형의 컴퓨팅 디바이스일 수 있다. 이는 본 출원에서 특별히 제한되지 않는다. 입력 신호 에뮬레이터(200)는 IEEE1588 프로토콜을 지원하는 고속 이더넷 네트워크 어댑터 및 하나 이상의 GPU를 포함할 수 있다. 또한, 입력 신호를 획득하는 에뮬레이션 프로세스는 입력 신호 에뮬레이션 소프트웨어를 사용하여 구현될 수 있다. 입력 신호 에뮬레이션 소프트웨어에서는 가상 센서의 포맷, 유형 및 관련 파라미터가 구성될 수 있으며, 가상 시나리오 에뮬레이터(100)로부터 전송된 가상 객체에 대한 정보 및 관련 가상 객체의 재료 파라미터가 수신되고, 광선 추적 알고리즘에 따라 제1 가상 객체의 주행 상태(예를 들어, 제1 가상 객체의 위치, 속도, 가속도), 물리적 모델 및 모델 파라미터에 기초하여 상이한 유형의 가상 센서에 대해 에뮬레이션이 수행된다. 예를 들어, 각각의 실제 센서에 의해 가상 객체의 표면에서 발생하는 물리적 효과에 대해 에뮬레이션 계산(예를 들어, 반사, 산란, 및 회절과 같은 효과를 포함하지만 이에 제한되지는 않음)이 수행되어, 가상 환경 내의 입력 신호가 에뮬레이션을 통해 획득될 수 있다. 예를 들어, 가상 센서의 송신기는 신호를 송신하고, 송신된 신호와 가상 물체의 표면 사이에 물리적 효과가 발생한 후, 송신된 신호가 가상 센서의 수신기로 반환되어 가상 센서의 입력 신호를 획득한다. 또한, 전술한 GPU는 전술한 입력 신호의 에뮬레이션을 처리하여 실시간 에뮬레이션을 보장할 수 있다. 예를 들어, 입력 신호 에뮬레이터(200)는 가상 카메라를 사용하여 가상 환경에서 이미지를 촬영하는 것을 에뮬레이트하거나, 밀리미터파 레이더를 사용하여 가상 환경에서 가상 객체를 검출하는 것을 에뮬레이트할 수 있다.
센서 에뮬레이터(300)는 각각의 가상 센서의 거동 및 성능을 에뮬레이트하도록 구성된다. 예를 들어, 센서 에뮬레이터(300)는 입력 신호 에뮬레이터(200)에 의해 획득된 입력 신호를 수신하고, 실제 센서를 에뮬레이트하는 처리 방식으로 입력 신호를 처리하여 출력 신호를 획득할 수 있으며, 출력 신호는 처리를 위해 디지털 에뮬레이터(400)에 전송된다. 특정 구현 동안, 센서 에뮬레이터(300)는 컴퓨터일 수 있거나 다른 유형의 컴퓨팅 디바이스일 수 있다. 이는 본 출원에서 특별히 제한되지 않는다. 센서 에뮬레이터(300)는 IEEE 1588 프로토콜을 지원하는 고속 이더넷 네트워크 어댑터, 하나 이상의 FPGA(Field Programmable Gate Array) 가속 카드, 또는 GPU를 포함할 수 있다. 예를 들어, 센서 에뮬레이터(300)는 각 가상 센서의 프론트엔드의 성능 및 각 가상 센서의 알고리즘을 에뮬레이트할 수 있다. 각 가상 센서의 프론트엔드의 성능의 에뮬레이션은 모델링 방식으로 수행될 수 있다. 예를 들어, 각 가상 센서의 프론트엔드의 모델은 Y=G*X+N+I로 미리 구성될 수 있고, 여기서 X는 센서의 입력 신호이고, Y는 센서의 프론트엔드의 출력 신호이고, G는 센서의 프론트엔드의 이득이고, N은 센서의 프론트엔드의 잡음이며, I는 센서의 프론트엔드에 의해 도입된 간섭이다. 출력 신호 Y는 가상 센서의 미리 설정된 알고리즘을 사용하여 처리를 통해 획득될 수 있다.
가상 센서의 프론트엔드의 모델은 실제 센서에 기초하여 구성되는 것으로 이해될 수 있다. 따라서, 모델링 방식으로 가상 센서를 사용하여 실제 센서의 프론트엔드에 대한 에뮬레이션을 수행함으로써, 통계적 특성의 측면에서 가상 센서의 프론트엔드의 성능이 실제 센서의 프론트엔드의 성능과 일치함을 보장할 수 있다.
또한, 가상 센서의 알고리즘은 실제 센서의 알고리즘을 직접 사용하여 수행될 수 있다. 이것은 여기에서 다시 설명되지 않는다. 상이한 실제 센서의 알고리즘에 대해, 센서 에뮬레이터(300)는 대응하는 FPGA 가속 카드 또는 GPU 카드를 사용하여 에뮬레이션을 수행하여 에뮬레이션의 실시간 요구사항 및 컴퓨팅 능력 요구사항을 보장할 수 있다.
디지털 에뮬레이터(400)는 센서 에뮬레이터(300)에 의해 전송된 출력 신호를 수신하도록 구성되고, 출력 신호를 주행 시스템(500)에 전송할 수 있다. 특정 구현 동안, 디지털 에뮬레이터(400)는 컴퓨터일 수도 있거나, 다른 유형의 컴퓨팅 디바이스일 수 있다. 이는 본 출원에서 특별히 제한되지 않는다. 디지털 에뮬레이터(400)는 IEEE1588 프로토콜을 지원하는 고속 이더넷 네트워크 어댑터, 하나 이상의 FPGA 가속 카드, 및 복수의 인터페이스를 포함할 수 있다.
인터페이스는 디지털 에뮬레이터(400)와 실제 센서 사이의 물리적 인터페이스 및 디지털 인터페이스를 포함한다. 디지털 에뮬레이터(400)는 물리적 인터페이스 및 디지털 인터페이스를 사용하여 상이한 실제 센서에 의해 수집된 실제 데이터를 수신하고, 실제 수집된 데이터를 재생하여 테스트를 수행할 수 있다. 물리적 인터페이스는 제어기 영역 네트워크(Controller Area Network, CAN) 인터페이스, MIPI(Mobile Industry Processor Interface), 이더넷(Ethernet) 인터페이스, GSML(Gigabit Multimedia Serial Link) 인터페이스, FPLINK(FPDLink-Flat Panel Display Link) 인터페이스, LIN(Local Interconnect Network) 인터페이스, 100M-T1 인터페이스 등를 포함할 수 있지만 이에 제한되지는 않는다. 디지털 인터페이스는 PCIE(Peripheral Component Interconnect Express) 인터페이스, SATA(Serial Advanced Technology Attachment) 인터페이스, 고속 이더넷 인터페이스, 디지털 광섬유 인터페이스 등을 포함할 수 있지만 이에 제한되지는 않는다.
또한, 인터페이스는 디지털 에뮬레이터(400)와 주행 시스템(500) 사이의 물리적 인터페이스, 및 디지털 에뮬레이터(400)와 전력 시스템 에뮬레이터(600) 사이의 디지털 인터페이스를 더 포함할 수 있다. 물리적 인터페이스는 CAN 인터페이스를 포함할 수 있다. 예를 들어, 디지털 에뮬레이터(400)는 CAN 인터페이스를 통해 주행 시스템(500)의 CAN 버스에 접속되어, 디지털 에뮬레이터(400)는 주행 시스템(500)에 출력 신호를 전송할 수 있고, 주행 시스템(500)은 출력 신호에 기초하여 주행 결정을 수행할 수 있다. 디지털 인터페이스는 이더넷 인터페이스를 포함할 수 있으며, 이더넷 인터페이스는 전력 시스템 에뮬레이터(600)에 의해 출력되는 테스트 대상 객체(예를 들어, 차량)의 주행 상태를 송신하도록 구성된다.
주행 시스템(500)은 디지털 에뮬레이터(400)로부터 전송된 출력 신호를 수신하고, 출력 신호에 기초하여 주행 결정을 수행하도록 구성된다. 주행 시스템(500)은 실제 테스트 대상 객체에 위치할 수 있다. 예를 들어, 주행 시스템(500)은 실제 테스트 대상 차량의 내부에 위치할 수 있다. 이 경우, 차량은 테스트 대상 객체로 사용된다. 주행 시스템(500)은 또한 별도로 테스트될 수 있음을 이해할 수 있다. 예를 들어, 주행 시스템(500)은 실제 차량에서 분리되어 테스트 대상 객체로 사용될 수 있다. 또한, 주행 결정은 가속, 제동, 감속, 회전과 같은 동작을 포함할 수 있거나, 다른 동작을 포함할 수 있다. 이는 이 실시예에서 특별히 제한되지 않는다. 그런 다음, 주행 시스템(500)이 주행 결정을 전력 시스템 에뮬레이터(600)에 전송하여, 전력 시스템 에뮬레이터(600)는 주행 결정에 기초한 에뮬레이션을 수행하여 실제 테스트 대상 객체 및 가상 객체의 주행 상태를 업데이트할 수 있다.
전력 시스템 에뮬레이터(600)는 주행 시스템(500)에 의해 전송된 주행 결정을 수신하고, 주행 결정에 기초하여 실제 차량의 동적 특성을 에뮬레이트하고, 실제 차량에 대응하는 주행 상태를 출력하고, 주행 상태를 가상 시나리오 내의 제1 가상 객체에 피드백하도록 구성되어, 제1 가상 객체는 주행 상태에 기초하여 업데이트될 수 있고, 에뮬레이션 테스트는 완료될 수 있다. 특정 구현 동안, 전력 시스템 에뮬레이터(600)는 컴퓨터일 수 있거나 다른 유형의 컴퓨팅 디바이스일 수 있다. 이는 본 출원에서 특별히 제한되지 않는다. 전력 시스템 에뮬레이터(600)는 복수의 인터페이스를 포함할 수 있다. 인터페이스는 전력 시스템 에뮬레이터(600)와 주행 시스템(500) 사이의 물리적 인터페이스(예를 들어, CAN 인터페이스)와 전력 시스템 에뮬레이터(600)와 가상 시나리오 시뮬레이터 사이의 디지털 인터페이스(예를 들어, 이더넷 인터페이스)를 포함할 수 있다. 전력 시스템 에뮬레이터(600)는 주행 시스템(500)에 의해 전송된 주행 결정을 물리적 인터페이스를 통해 수신할 수 있고, 전력 시스템 에뮬레이터(600)는 실제 차량 상태를 디지털 인터페이스를 통해 가상 시나리오 내의 제1 가상 객체에 전송할 수 있다.
시스템 동기화 모듈(700)은 가상 시나리오 에뮬레이터(100), 입력 신호 에뮬레이터(200), 센서 에뮬레이터(300), 및 디지털 에뮬레이터(400)의 각각에 동기화 클럭을 제공하여, 가상 시나리오 에뮬레이터(100), 입력 신호 에뮬레이터(200), 센서 에뮬레이터(300), 및 디지털 에뮬레이터(400) 사이의 클럭 동기화를 보장하도록 구성된다. 특정 구현 동안, 시스템 동기화 모듈(700)은 예를 들어 1588 동기화 프로토콜을 지원하는 고속 이더넷 스위치이거나, 또는 특수 목적의 동기화 모듈일 수 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다.
가상 시나리오 에뮬레이터(100), 입력 신호 에뮬레이터(200), 센서 에뮬레이터(300), 및 디지털 에뮬레이터(400)는 고속 이더넷 스위치 또는 다른 고속 데이터 접속 디바이스를 사용하여 서로 데이터를 교환할 수 있음을 이해할 수 있다.
도 2는 본 출원의 실시예에 따른 시뮬레이션 테스트 방법의 실시예의 개략적 흐름도이다. 이 방법은 다음과 같은 단계들을 포함한다.
단계 101: 가상 시나리오 에뮬레이터(100)를 사용하여 가상 시나리오를 구성한다.
구체적으로, 가상 시나리오는 가상 시나리오 에뮬레이터(100)를 사용하여 구성될 수 있다. 가상 시나리오는 테스트 대상 시나리오를 포함할 수 있고, 테스트 대상 시나리오는 가상 객체 및 가상 객체에 대응하는 재료를 포함할 수 있다. 예를 들어, 가상 객체는 차량, 사람, 동물, 나무, 도로, 건물 등을 포함하거나 다른 객체를 포함할 수 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다. 또한, 테스트 대상 가상 객체는 가상 시나리오 내에서 추가로 결정될 수 있다. 예를 들어, 테스트 대상 가상 객체는 차량일 수 있다.
가상 객체에 대한 에뮬레이션 테스트를 수행하기 위해, 가상 객체 상에 복수의 가상 센서가 추가로 구성될 수 있다. 따라서, 가상 센서의 제1 파라미터는 입력 신호 에뮬레이터(200)를 사용하여 가상 센서에 의한 입력 신호의 획득을 에뮬레이트하도록 구성될 수 있다. 복수의 가상 센서의 제1 파라미터가 구성되면, 구성된 제1 파라미터 정보는 센서의 수량, 센서의 유형, 실제 차량 상의 센서의 조립 파라미터(예를 들어, 실제 차량 상의 센서의 설치 높이 및 각도), 센서의 물리적 파라미터(예를 들어, 밀리미터파 레이더에 의해 송신 및 수신되는 안테나의 수량, 위치 및 방향과, 레이저 레이더의 주파수, 작동 방식 및 라인 수량과, 카메라의 시야 및 초점 거리)를 포함할 수 있다.
구성된 가상 시나리오에서, 테스트 대상 가상 객체는 제1 가상 객체로 간주될 수 있고, 가상 시나리오 내의 제1 가상 객체를 제외한 모든 가상 객체는 제2 가상 객체로 간주되는 것으로 이해될 수 있다. 예를 들어, 가상 시나리오 내의 차량이 제1 가상 객체, 즉, 테스트 대상 가상 객체로 사용될 경우, 다른 가상 객체(예를 들어, 차량, 사람, 동물, 나무, 도로 또는 건물)는 제2 가상 객체로 사용될 수 있다.
가상 시나리오 및 가상 객체에 관련된 파라미터를 구성하는 것 외에, 센서 에뮬레이터(300)에서는 가상 센서의 제2 파라미터가 또한 구성될 수 있음에 유의해야 한다. 복수의 가상 센서의 제2 파라미터가 구성될 경우, 구성된 제2 파라미터 정보는 센서의 수량, 센서의 유형, 센서의 프론트엔드 파라미터(예를 들어, 프론트엔드 이득 G, 프론트엔드 잡음 N, 및 프론트엔드에 의해 도입된 간섭 I), 센서 처리 지연, 센서 알고리즘 등을 포함할 수 있다.
단계 102: 가상 시나리오 에뮬레이터(100)는 가상 시나리오 정보를 입력 신호 에뮬레이터(200)에 전송한다.
구체적으로, 가상 시나리오 정보는 가상 시나리오 내의 모든 가상 객체의 관련 정보를 포함할 수 있으며, 관련 정보는 좌표 위치, 재료 정보(예를 들어, 플라스틱 또는 금속), 조명 조건 등을 포함할 수 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다.
단계 103: 입력 신호 에뮬레이터(200)는 제1 가상 객체의 복수의 입력 신호를 획득하는 것을 에뮬레이트한다.
구체적으로, 가상 시나리오에서 제1 가상 객체가 움직일 때, 가상 센서를 사용하여 입력 신호 에뮬레이터(200)에서의 에뮬레이션을 통해 제1 가상 객체 주변의 복수의 입력 신호가 획득될 수 있다. 가상 센서는 밀리미터파 레이더 가상 센서, 레이저 레이더 가상 센서, 적외선 가상 센서, 및 카메라 가상 센서 중 하나 이상을 포함할 수 있다. 입력 신호는 에코 신호 및/또는 이미지를 포함할 수 있다. 예를 들어, 밀리미터파 레이더 가상 센서, 레이저 레이더 가상 센서, 또는 적외선 가상 센서를 사용하여 에코 신호가 획득되거나, 카메라 가상 센서를 사용하여 샷 이미지(shot image)가 획득될 수 있다. 입력 신호는 광선 추적 알고리즘에 따라 제1 가상 객체의 주행 상태(St) 및 가상 시나리오 정보에 기초한 연산을 통해 획득될 수 있다. 입력 신호는 또한 다른 알고리즘을 사용하여 계산을 통해 획득될 수 있음을 이해할 수 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다.
이다.
Xi는 제1 가상 객체의 위치이고, Vi는 제1 가상 객체의 속도이며, Ai는 제1 가상 객체의 가속도이다. 제1 가상 객체의 상태는 다른 변수를 더 포함할 수 있음을 이해할 수 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다.
각각의 입력 신호는 각각의 가상 센서와 일대일 대응 관계에 있음을 이해할 수 있다. 예를 들어, 밀리미터파 레이더 가상 센서를 사용하여 에코 입력 신호 A가 획득될 수 있고, 레이저 레이더 가상 센서를 사용하여 에코 입력 신호 B가 획득될 수 있으며, 카메라 가상 센서를 사용하여 이미지 입력 신호 C가 획득될 수 있다.
또한, 입력 신호 에뮬레이터(200)를 사용하여 복수의 입력 신호가 획득될 경우, 입력 신호 에뮬레이터(200)가 동일한 시나리오에 대해 복수의 가상 센서에 의해 획득된 입력 신호를 동시에 획득할 수 있는 것을 보장하기 위해 복수의 입력 신호는 또한 동기화될 수 있다.
또한, 센서 에뮬레이터(300)가 복수의 입력 신호를 처리할 경우, 시뮬레이션 처리 시간(Tf)이 발생된다. 실제 센서가 입력 신호를 처리할 경우, 실제 처리 시간(Tz)이 생성된다. 가상 센서는 실제 센서에 대한 에뮬레이션을 수행하고 실제 센서와 다르기 때문에, 가상 센서에 의해 생성된 시뮬레이션 처리 시간(Tf)은 실제 센서에 의해 생성된 실제 처리 시간(Tz)과 상이함을 이해할 수 있다. 예를 들어, 시뮬레이션 처리 시간(Tf)은 실제 처리 시간(Tz)보다 크거나 같을 수 있고, 또는 시뮬레이션 처리 시간(Tf)은 실제 처리 시간(Tz)보다 작거나 같을 수도 있다. 시뮬레이션 처리 시간(Tf)이 실제 처리 시간(Tz)과 일치하지 않는 경우, 입력 신호 에뮬레이터(200)에서 입력 신호에 대해 지연 보상이 수행될 수 있어서, 시뮬레이션 테스트는 실제 시나리오를 더 잘 시뮬레이션할 수 있다. 지연은 시뮬레이션 처리 시간(Tf)과 실제 처리 시간(Tz) 사이의 차이를 지칭한다.
따라서, 입력 신호 에뮬레이터(200)는 또한 센서 에뮬레이터(300) 내의 각 가상 센서의 시뮬레이션 처리 시간(Tf)을 획득할 수 있다. 시뮬레이션 처리 시간(Tf)은 가상 센서와 일대일 대응된다. 예를 들어, 밀리미터파 레이더 가상 센서의 시뮬레이션 처리 시간(Tf1), 레이저 레이더 가상 센서의 시뮬레이션 처리 시간(Tf2), 카메라 가상 센서의 시뮬레이션 처리 시간(Tf3) 등이 획득될 수 있다. 그런 다음, 가상 센서에 대응하는 실제 센서의 실제 처리 시간(Tz)이 추가로 획득될 수 있다. 실제 처리 시간(Tz)은 실제 센서와 일대일 대응 관계에 있다. 예를 들어, 밀리미터파 레이더 실제 센서의 실제 처리 시간(Tz1), 레이저 레이더 실제 센서의 실제 처리 시간(Tz2), 카메라 실제 센서의 실제 처리 시간(Tz3) 등이 획득될 수 있다.
그런 다음, 입력 신호 에뮬레이터(200)는 각 가상 센서의 시뮬레이션 처리 시간(Tf)과 대응하는 실제 처리 시간(Tz)을 비교할 수 있다.
시뮬레이션 처리 시간(Tf) < 실제 처리 시간(Tz)인 경우, 제1 가상 객체의 현재 상태(St)에 기초한 에뮬레이션을 통해 제1 입력 신호가 획득될 수 있으며, 가상 센서에 대응하는 제1 입력 신호의 전송이 지연되는데, 여기서, 지연=Tz-Tf이다. 예를 들어, 레이저 레이더 가상 센서의 시뮬레이션 처리 시간(Tf)은 5ms이고, 레이저 레이더 실제 센서의 실제 처리 시간(Tz)은 10ms라고 가정한다. 이 경우, 레이저 레이더 가상 센서에 대응하는 제1 입력 신호는 Tz-Tf=10-5=5ms의 지연 후에 전송될 수 있다. 따라서, 시뮬레이션 처리 시간이 실제 센서의 처리 시간과 일치됨으로써 시뮬레이션 테스트 정확도를 향상시킬 수 있다.
시뮬레이션 처리 시간(Tf) > 실제 처리 시간(Tz)인 경우, 즉, 가상 센서의 처리 시간이 실제 센서의 처리 시간보다 긴 경우, 지연이 발생한다. 따라서, 지연이 보상되어야 한다. 특정 구현 동안, 제1 가상 객체의 주행 상태에 대한 예측이 수행되어, 입력 신호 에뮬레이터(200)는 예측 주행 상태에 기초하여 에뮬레이션을 수행하여 제2 입력 신호를 획득할 수 있다. 제2 입력 신호는 Tf-Tz의 기간 이후에 획득된 예측 입력 신호일 수 있다. 예측은 칼만(Kalman) 필터링 방법을 사용하여 수행될 수도 있고, 다른 예측 방법을 사용하여 수행될 수도 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다.
예를 들어, 시점 t에서의 제1 가상 객체의 주행 상태를 St라고 가정하면,
이다.
Xi는 제1 가상 객체의 위치이고, Vi는 제1 가상 객체의 속도이며, Ai는 제1 가상 객체의 가속도이다. 제1 가상 객체의 상태는 다른 변수를 더 포함할 수 있음을 이해할 수 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다. 이 경우, 시점 t+T에서의 제1 가상 객체의 예측 주행 상태는 St+T=Fi*St+Bi*Ui+Ni이고, 여기서,
이다.
Ni는 상태 예측 잡음이다. 이런 식으로, 미래 시점에서의 제1 가상 객체의 주행 상태가 예측될 수 있다. 그런 다음, 입력 신호 에뮬레이터(200)는 미래 시점에서의 제1 가상 객체의 주행 상태에 기초하여 입력 신호에 대한 에뮬레이션을 수행하여 제2 입력 신호를 획득할 수 있다.
예를 들어, 밀리미터파 레이더 가상 센서의 시뮬레이션 처리 시간이 Tf1=10ms이고, 즉, 밀리미터파 레이더 가상 센서는 입력 신호를 10ms 동안 처리하여 밀리미터파 레이더의 제1 입력 신호를 획득하거나, 또는 밀리미터파 레이더 실제 센서의 실제 처리 시간이 Tz1=5ms이고, 즉, 밀리미터파 레이더 실제 센서는 입력 신호를 5ms 동안 처리하여 밀리미터파 레이더의 제1 입력 신호를 획득한다고 가정한다. 레이저 레이더 가상 센서의 시뮬레이션 처리 시간은 Tf2=12ms이고, 즉, 레이저 레이더 가상 센서는 입력 신호를 12ms 동안 처리하여 레이저 레이더의 제1 입력 신호를 획득하거나, 또는 레이저 레이더 실제 센서의 실제 처리 시간은 Tz2=8ms이고, 즉, 레이저 레이더 실제 센서는 입력 신호를 8ms 동안 처리하여 레이저 레이더의 제1 입력 신호를 획득한다. 밀리미터파 레이더 가상 센서의 시뮬레이션 지연은 Ty1=Tf1-Tz1=10-5=5 ms이고, 레이저 레이더 가상 센서의 시뮬레이션 지연은 Ty2=시뮬레이션 처리 시간 Tf2-Tz2=12-8=4ms이므로, 즉, Ty1>Ty2이므로, 최대 시뮬레이션 지연(예를 들어, Ty1)에 기초하여 제1 가상 객체의 주행 상태에 대한 예측이 수행될 수 있다. 예측된 주행 상태에 기초하여, 밀리미터파 레이더 가상 센서 및 레이저 레이더 가상 센서를 사용하여 에뮬레이션이 별도로 수행되어, 밀리미터파 레이더의 제2 입력 신호 및 레이저 레이더의 제2 입력 신호를 획득한다. 이러한 방식으로, 모든 제1 입력 신호에 대해 효과적인 지연 보상이 획득될 수 있는 것이 보장될 수 있다.
밀리미터파 레이더 가상 센서가 설명을 위한 예로서 사용된다. 도 3은 제2 입력 신호를 예측하는 개략도이다. 도 3에 도시된 바와 같이, 시점 t에서의 제1 가상 객체의 주행 상태는 S1이고, 제1 가상 객체 상의 밀리미터파 레이더 가상 센서는 주행 상태 S1에 기초하여 시점 t에서의 에뮬레이션을 통해 입력 신호(101)를 획득할 수 있다. 그런 다음, 시점 t+T1에서의 제1 가상 객체의 주행 상태에 대한 예측이 수행되어, 시점 t+T1에서의 제1 가상 객체의 주행 상태는 S2가 되는데, 여기서 T1은 지연, 즉, 밀리미터파 레이더 가상 센서의 시뮬레이션 처리 시간(Tf1)과 밀리미터파 레이더 실제 센서의 실제 처리 시간(Tz1) 사이의 차이이다. 밀리미터파 레이더 가상 센서는 주행 상태(S2)에 기초하여 시점 t+T1에서의 에뮬레이션을 통해 제2 입력 신호(102)를 획득할 수 있으므로, 제2 입력 신호(102)의 예측이 완료될 수 있고, 입력 신호에 대한 지연 보상이 완료될 수 있다.
레이저 레이더 가상 센서는 또한 도 3에서의 방식으로 레이저 레이더의 입력 신호를 예측하여 레이저 레이더의 제2 입력 신호를 획득할 수 있음을 이해할 수 있다. 자세한 내용은 여기서 다시 설명되지 않는다.
선택적으로, 입력 신호에 대한 지연 보상을 완료한 후, 입력 신호 에뮬레이터(200)는 각각의 가상 센서의 시뮬레이션 지연을 추가로 정정할 수 있다. 밀리미터파 레이더 가상 센서 및 레이저 레이더 가상 센서가 예로서 사용된다. 밀리미터파 레이더 가상 센서 및 레이저 레이더 가상 센서의 지연이 보상된 후, 레이저 레이더 가상 센서의 지연 보상 시간은 밀리미터파 레이더 가상 센서의 지연 보상 시간이므로, 예를 들어 레이저 레이더 가상 센서의 시뮬레이션 지연 Ty2=Tf2-Tz2=12-8=4ms이지만 레이저 레이더 가상 센서의 지연 보상 시간은 5ms이므로, 레이저 레이더 가상 센서의 지연 보상 시간은 레이저 레이더 가상 센서의 시뮬레이션 지연(Ty2)과 일치하지 않는다. 이 경우, 입력 신호 에뮬레이터(200)는 지연(T2) 후에 레이저 레이더에 의해 예측된 제2 입력 신호를 전송하여, 지연(T2)과 시뮬레이션 처리 시간의 누적 시간이 예측된 제2 입력 신호에 대응하게 함으로써, 실제 센서의 성능을 에뮬레이트한다. T2는 지연 보상 시간과 시뮬레이션 지연 사이의 차이이다. 예를 들어, 레이저 레이더 가상 센서의 지연 보상 시간은 5ms이고, 레이저 레이더 가상 센서의 시뮬레이션 지연은 4ms라고 가정한다. 이 경우, T2=지연 보상 시간-시뮬레이션 지연=5-4=1ms이다. 즉, 레이저 레이더의 제2 출력 신호는 1ms의 지연 후에 전송된다. 레이저 레이더 실제 센서의 실제 처리 시간은 Tz2=8ms이고, 레이저 레이더 가상 센서의 지연 보상 시간은 5ms이며, 즉, Tz2+5=8+5=13ms 이후에 획득된 제2 입력 신호가 예측된다. 그러나, 레이저 레이더 가상 센서의 시뮬레이션 처리 시간은 Tf2=12ms이다. 따라서, 제2 입력 신호는 13-12=1ms의 지연 후에 전송될 수 있으므로, 예측된 제2 입력 신호가 센서 에뮬레이터(300)의 시뮬레이션 처리 시간과 일치하는 것이 보장될 수 있다.
단계 104: 입력 신호 에뮬레이터(200)는 복수의 입력 신호를 센서 에뮬레이터(300)에 전송한다.
구체적으로, 제1 가상 객체의 복수의 입력 신호를 획득한 후, 입력 신호 에뮬레이터(200)는 복수의 입력 신호를 센서 에뮬레이터(300)에 전송할 수 있다. 입력 신호는 제1 입력 신호 및/또는 제2 입력 신호를 포함할 수 있다.
단계 105: 센서 에뮬레이터(300)는 복수의 입력 신호를 처리하고, 복수의 출력 신호를 출력한다.
구체적으로, 입력 신호 에뮬레이터(200)에 의해 전송된 복수의 입력 신호를 수신한 후, 센서 에뮬레이터(300)는 복수의 입력 신호를 처리하여 복수의 출력 신호를 획득할 수 있다. 처리 프로세스는 가상 센서의 프론트엔드 모델(예를 들어, Y=G*X+N+I) 및 가상 센서의 미리 설정된 알고리즘에 기초하여 수행될 수 있다.
각각의 가상 센서는 상이한 미리 설정된 프론트엔드 모델을 사용할 수 있다는 점에 유의해야 한다. 프론트엔드 모델의 특정 구현은 본 출원의 이 실시예에서 특별히 제한되지 않는다.
각각의 입력 신호는 각각의 출력 신호와 일대일 대응 관계에 있음을 이해할 수 있다. 예를 들어, 밀리미터파 레이더 가상 센서에 의해 획득된 에코 입력 신호 A는 미리 설정된 밀리미터파 레이더 센서 알고리즘을 사용한 처리를 위해 밀리미터파 레이더 가상 센서의 프론트엔드 모델에 입력되어 에코 출력 신호 A를 획득할 수 있다. 대안적으로, 레이저 레이더 가상 센서에서 획득한 에코 입력 신호 B는 미리 설정된 레이저 레이더 센서 알고리즘을 사용한 처리를 위해 레이저 레이더 가상 센서의 프론트엔드 모델에 입력되어 에코 출력 신호 B를 획득할 수 있다. 대안적으로, 카메라 가상 센서에 의해 획득된 이미지 입력 신호 C는 미리 설정된 카메라 센서 알고리즘을 사용한 처리를 위해 카메라 가상 센서의 프론트엔드 모델에 입력되어 이미지 출력 신호 C를 획득한다.
단계 106: 복수의 출력 신호를 디지털 에뮬레이터(400)에 전송한다.
구체적으로, 복수의 입력 신호를 처리하여 복수의 출력 신호를 획득한 후, 센서 에뮬레이터(300)는 복수의 출력 신호를 디지털 에뮬레이터(400)에 전송할 수 있다.
단계 107: 디지털 에뮬레이터(400)는 처리를 위한 복수의 출력 신호를 수신하고, 복수의 출력 신호를 주행 시스템(500)에 전송한다.
구체적으로, 디지털 에뮬레이터(400)는 센서 에뮬레이터(300)에 의해 전송된 각각의 가상 센서에 대응하는 출력 신호를 수신할 수 있다. 실제 차량의 주행 성능을 테스트 하기 위해, 디지털 에뮬레이터(400)는 또한 전술한 복수의 출력 신호를 실제 차량의 주행 시스템(500)에 전송할 수 있다.
단계 108: 주행 시스템(500)은 복수의 출력 신호에 기초하여 주행 결정을 내린다.
구체적으로, 디지털 에뮬레이터(400)에 의해 전송된 복수의 출력 신호를 수신한 후, 주행 시스템(500)은 주행 결정을 한다. 주행 결정은 가속, 감속, 제동, 회전과 같은 동작을 포함할 수 있거나, 다른 주행 결정을 포함할 수 있다. 이는 본 출원의 이 실시예에서 특별히 제한되지 않는다.
단계 109: 주행 결정을 전력 시스템 에뮬레이터(600)에 전송한다.
단계 110: 전력 시스템 에뮬레이터(600)는 주행 결정에 기초하여 실제 차량의 주행 상태(St')를 에뮬레이트한다.
구체적으로, 주행 상태(St')는 주행 결정에 대응하는 것이다. 예를 들어, 주행 결정이 가속인 경우, 전력 시스템 에뮬레이터(600)에 의해 에뮬레이트된 실제 차량의 주행 상태는 가속 주행이고, 또는 주행 결정이 제동인 경우, 전력 시스템 에뮬레이터(600)에 의해 에뮬레이트된 실제 차량의 주행 상태는 제동 후 정지 상태이다.
단계 111: 주행 상태(St')를 가상 시나리오 에뮬레이터(100)에 피드백하여, 가상 시나리오 에뮬레이터(100)로 하여금 St'에 기초하여 제1 가상 객체의 주행 상태(St)를 업데이트하게 한다.
구체적으로, 주행 상태(St')를 획득한 후, 전력 시스템 에뮬레이터(600)는 주행 상태(St')를 가상 시나리오 에뮬레이터(100)에 피드백하여 가상 시나리오 에뮬레이터(100)가 St'에 기초하여 제1 가상 객체의 주행 상태(St)를 업데이트하게 할 수 있다. 예를 들어, 이하에서는 차량이 예로서 사용된다. 테스트 차량(제1 가상 객체)은 제1 가상 객체의 자율 주행 성능을 테스트하기 위해 다른 차량(제2 가상 객체)을 따라가는 것으로 가정한다. 제2 가상 객체가 제동된 후, 제1 가상 객체와 제2 가상 객체 사이의 거리가 가까워진다. 제1 가상 객체에 상의 가상 센서에 의해 획득된 센서 데이터(예를 들어, 제2 출력 신호)를 분석함으로써, 주행 결정(예를 들어, 주행 시스템(500)은 제동하도록 결정함)이 내려지고, 제동 판정이 제1 가상 객체에 피드백됨으로써 전체 시스템의 에뮬레이션 테스트를 완료할 수 있다.
단계 112: 가상 시나리오 에뮬레이터(100)는 주행 상태(St')에 기초하여 제1 가상 객체의 주행 상태를 업데이트한다.
본 출원의 이 실시예에서, 시뮬레이션 센서와 실제 센서 사이의 지연에 기초하여 테스트 대상 객체의 주행 상태에 대한 예측이 수행된다. 따라서, 지연이 보상된다. 이는 디지털 시나리오 시뮬레이션 테스트에서 시뮬레이션 센서로 인한 지연 문제를 효과적으로 해결할 수 있으며, 복수의 센서의 거동 및 성능이 디지털 시나리오 에뮬레이터에서 정확하게 동기식으로 시뮬레이션될 수 있다.
도 4는 본 출원에 따른 시뮬레이션 테스트 장치의 실시예의 구조의 개략도이다. 도 4에 도시된 바와 같이, 시뮬레이션 테스트 장치(40)는 입력 신호 에뮬레이터에 적용된다. 입력 신호 에뮬레이터는 자율 주행 테스트 아키텍처 내에 위치하며, 자율 주행 테스트 아키텍처는 가상 시나리오 에뮬레이터 및 센서 에뮬레이터를 더 포함하고, 가상 시나리오 에뮬레이터는 가상 시나리오를 에뮬레이트하도록 구성되고, 가상 시나리오는 테스트 대상 가상 객체를 포함하고, 테스트 대상 가상 객체는 제1 주행 상태 및 복수의 가상 센서를 포함하고, 장치는 수신 회로(41), 예측 회로(42), 제1 에뮬레이션 회로(43) 및 제1 전송 회로(44)를 포함할 수 있다.
수신 회로(41)는 각각의 가상 센서의 처리 지연을 획득하도록 구성된다.
예측 회로(42)는 각각의 처리 지연이 미리 설정된 조건을 만족시키는지 여부를 판정하고, 임의의 처리 지연이 미리 설정된 조건을 만족시키는 경우, 처리 지연에 기초하여 제1 주행 상태를 예측하여 제2 주행 상태를 획득하도록 구성된다.
제1 에뮬레이션 회로(43)는 처리 지연에 대응하는 가상 센서를 사용하여 각각의 제2 주행 상태에 기초한 에뮬레이션을 수행하여 하나 이상의 제1 입력 신호를 획득하도록 구성된다. 각각의 제1 입력 신호는 각각의 가상 센서와 일대일 대응 관계에 있다.
제1 전송 회로(44)는 하나 이상의 제1 입력 신호를 센서 에뮬레이터에 전송하도록 구성된다.
가능한 구현에서, 제1 에뮬레이션 회로(43)는 또한 처리 지연에 개별적으로 대응하는 복수의 가상 센서를 사용하여 동기식 에뮬레이션을 수행하여 복수의 제1 입력 신호를 획득하도록 구성된다.
가능한 구현에서, 처리 지연은 제1 처리 시간과 제2 처리 시간 사이의 차이에 의해 결정된다. 제1 처리 시간은 센서 에뮬레이터에서의 가상 센서의 처리 시간이고, 제2 처리 시간은 가상 센서에 대응하는 실제 센서의 미리 설정된 실제 처리 시간이다.
가능한 구현에서, 장치(40)는 제2 에뮬레이션 회로(45) 및 제2 전송 회로(46)를 더 포함한다.
제2 에뮬레이션 회로(45)는 처리 지연이 미리 설정된 조건을 만족시키지 않는 경우, 처리 지연에 대응하는 가상 센서를 사용하여 제1 주행 상태에 기초한 에뮬레이션을 수행하여 제2 입력 신호를 획득하도록 구성된다.
제2 전송 회로(46)는 처리 지연에 기초하여 하나 이상의 제2 입력 신호를 센서 에뮬레이터에 전송하는 것을 지연시키도록 구성된다.
가능한 구현에서, 제1 입력 신호 또는 제2 입력 신호는 광선 추적 알고리즘에 따라 적어도 하나의 GPU를 사용하여 입력 신호 에뮬레이터에 의한 에뮬레이션을 통해 획득된다.
가능한 구현에서, 제1 주행 상태는 순간 t에서의 테스트 대상 가상 객체의 제1 위치, 제1 속도, 및 제1 가속도를 포함하고, 예측 회로는 또한 칼만(Kalman) 필터링 방법을 사용하여 처리 지연에 기초하여 테스트 대상 가상 객체의 제1 주행 상태를 예측하여 제2 주행 상태를 획득하도록 구성된다. 제2 주행 상태는 t+T에서의 테스트 대상 가상 객체의 제2 위치, 제2 속도 및 제2 가속도를 포함하고, T는 처리 지연이다.
도 4에 도시된 시뮬레이션 테스트 장치의 모듈의 분할은 단지 논리적 기능 분할임이 이해되어야 한다. 실제 구현 중에, 모듈은 전체적으로 또는 부분적으로 물리적 엔티티에 통합되거나 물리적으로 분리될 수 있다. 또한, 모듈은 모두 처리 요소에 의해 호출되는 소프트웨어의 형태로 구현될 수 있거나, 하드웨어의 형태로 구현될 수 있다. 대안적으로, 모듈의 일부는 처리 요소에 의해 호출되는 소프트웨어의 형태로 구현될 수 있고, 모듈의 다른 일부는 하드웨어의 형태로 구현될 수 있다. 예를 들어, 검출 모듈은 별도로 배치된 처리 요소이거나, 구현을 위해 전자 디바이스의 칩에 통합될 수 있다. 다른 모듈의 구현은 검출 모듈의 구현과 유사하다. 또한, 모듈의 전부 또는 일부는 함께 통합될 수 있거나, 독립적으로 구현될 수 있다. 구현 프로세스에서, 전술한 방법의 단계 또는 전술한 모듈은 처리 요소 내의 하드웨어 집적 논리 회로를 사용하거나 소프트웨어 형태의 명령어를 사용하여 구현될 수 있다.
예를 들어, 전술한 모듈은 전술한 방법을 구현하도록 구성된 하나 이상의 집적 회로, 예를 들어 하나 이상의 주문형 집적 회로(ASIC), 하나 이상의 디지털 마이크로프로세서(Digital Signal Processors, DSP), 또는 하나 이상의 필드 프로그래머블 게이트 어레이(field programmable gate arrays, FPGA)일 수 있다. 또 다른 예로서, 모듈들은 함께 통합되고 시스템 온 칩(SOC)의 형태로 구현될 수 있다.
도 5는 본 출원에 따른 전자 디바이스(50)의 실시예의 구조의 개략도이다. 전자 디바이스(50)는 전술한 입력 신호 에뮬레이터(200)일 수 있다. 도 5에 도시된 바와 같이, 전자 디바이스(50)는 데이터 처리 디바이스일 수 있거나, 데이터 처리 디바이스에 내장된 회로 디바이스일 수 있다. 전자 디바이스(50)는 본 출원의 도 1 내지 도 3에 도시된 실시예에서 제공된 방법의 기능/단계를 수행하도록 구성될 수 있다.
도 5에 도시된 바와 같이, 전자 디바이스(50)는 범용 컴퓨팅 디바이스의 형태로 표현된다.
전자 디바이스(50)는 하나 이상의 프로세서(510), 통신 인터페이스(520), 메모리(530), 상이한 시스템 구성요소들(메모리(530) 및 프로세서(510) 포함함)을 접속하는 통신 버스(540), 데이터베이스(550) 및 하나 이상의 컴퓨터 프로그램을 포함할 수 있다.
전술한 하나 이상의 컴퓨터 프로그램은 전술한 메모리에 저장되고, 전술한 하나 이상의 컴퓨터 프로그램은 명령어를 포함하며, 전술한 명령어가 전술한 전자 디바이스에 의해 실행될 때, 전술한 전자 디바이스는,
각각의 가상 센서의 처리 지연을 획득하는 단계와,
각각의 처리 지연이 미리 설정된 조건을 만족시키는지 여부를 판정하는 단계와,
임의의 처리 지연이 미리 설정된 조건을 만족시키는 경우, 처리 지연에 기초하여 제1 주행 상태를 예측하여 제2 주행 상태를 획득하는 단계와,
처리 지연에 대응하는 가상 센서를 사용하여 각각의 제2 주행 상태에 기초한 에뮬레이션을 수행하여 하나 이상의 제1 입력 신호를 획득하는 단계 ― 각각의 제1 입력 신호는 각각의 가상 센서와 일대일 대응 관계에 있음 ― 와,
하나 이상의 제1 입력 신호를 센서 에뮬레이터에 전송하는 단계를 수행할 수 있게 된다.
가능한 구현에서, 명령어가 전자 디바이스에 의해 실행될 때, 전자 디바이스가 처리 지연에 대응하는 가상 센서를 사용하여 에뮬레이션을 수행하여 하나 이상의 제1 입력 신호를 획득하는 것은, 처리 지연에 개별적으로 대응하는 복수의 가상 센서를 사용하여 동기식 에뮬레이션을 수행하여 복수의 입력 신호를 획득하는 것을 포함한다.
가능한 구현에서, 처리 지연은 제1 처리 시간과 제2 처리 시간 사이의 차이에 의해 결정된다. 제1 처리 시간은 센서 에뮬레이터에서의 가상 센서의 처리 시간이고, 제2 처리 시간은 가상 센서에 대응하는 실제 센서의 미리 설정된 실제 처리 시간이다.
가능한 구현에서, 명령어가 전자 디바이스에 의해 실행될 때 전자 디바이스는 또한,
임의의 처리 지연이 미리 설정된 조건을 만족시키지 않는 경우, 처리 지연에 대응하는 가상 센서를 사용하여 제1 주행 상태에 기초한 에뮬레이션을 수행하여 제2 입력 신호를 획득하는 단계와,
처리 지연에 기초하여 하나 이상의 제2 입력 신호를 센서 에뮬레이터에 전송하는 것을 지연시키는 단계를 수행할 수 있게 된다.
가능한 구현에서, 센서 에뮬레이터는 제1 입력 신호 또는 제2 입력 신호를 수신하고, 가상 센서의 미리 설정된 프론트엔드 모델 및 미리 설정된 알고리즘에 기초한 계산을 수행하여 출력 신호를 획득하도록 구성된다. 가상 센서의 미리 설정된 프론트엔드 모델은 Y=G*X+N+I이며, 여기서 Y는 프론트엔드 모델의 출력 신호이고, X는 제1 입력 신호 또는 제2 입력 신호이고, G는 프론트엔드의 이득이고, N은 가상 센서의 프론트엔드의 잡음이며, I는 가상 센서의 프론트엔드에 의해 도입된 간섭이다.
가능한 구현에서, 가상 시나리오는 적어도 하나의 CPU 및/또는 적어도 하나의 GPU를 사용하여 가상 시나리오 에뮬레이터에 의한 에뮬레이션을 통해 획득되고, 제1 입력 신호 또는 제2 입력 신호는 광선 추적 알고리즘에 따라 적어도 하나의 GPU를 사용하여 입력 신호 에뮬레이터에 의한 에뮬레이션을 통해 획득된다.
가능한 구현에서, 제1 주행 상태는 순간 t에서의 테스트 대상 가상 객체의 제1 위치, 제1 속도 및 제1 가속도를 포함하고, 명령어가 전자 디바이스에 의해 실행될 때, 전자 디바이스가 처리 지연에 기초하여 제1 주행 상태를 예측하여 제2 주행 상태를 획득하는 단계를 수행할 수 있게 되는 것은, 칼만(Kalman) 필터링 방법을 사용하여 처리 지연에 기초하여 테스트 대상 가상 객체의 제1 주행 상태를 예측하여 제2 주행 상태를 획득하는 것을 포함하는데, 제2 주행 상태는 t+T에서의 테스트 대상 가상 객체의 제2 위치, 제2 속도 및 제2 가속도이고, T는 처리 지연이다.
가능한 구현에서, 자율 주행 테스트 아키텍처는 디지털 에뮬레이터, 주행 시스템, 및 전력 시스템 에뮬레이터를 더 포함한다. 디지털 에뮬레이터는 센서 에뮬레이터에 의해 전송된 출력 신호를 수신하고 출력 신호를 주행 시스템에 전송하도록 구성되고, 주행 시스템은 출력 신호에 기초하여 주행 결정을 내리도록 구성되며, 전력 시스템 에뮬레이터는 주행 결정에 대한 에뮬레이션을 수행하여 제3 주행 상태를 획득하고, 제3 주행 상태를 가상 시나리오 에뮬레이터에 피드백하여 테스트 대상 가상 객체가 제3 주행 상태에 기초하여 제1 주행 상태를 업데이트하게 하도록 구성된다.
가능한 구현에서, 가상 센서는 밀리미터파 레이더 가상 센서, 레이저 레이더 가상 센서, 적외선 가상 센서, 또는 카메라 가상 센서 중 적어도 하나를 포함한다.
본 발명의 이 실시예에 도시된 모듈들 간의 인터페이스 접속 관계는 단지 설명을 위한 예일 뿐이며, 전자 디바이스(50)의 구조에 대한 제한을 구성하지 않는다는 것이 이해될 수 있다. 본 출원의 일부 다른 실시예에서, 전자 디바이스(50)는 전술한 실시예와 상이한 인터페이스 접속 방식 또는 복수의 인터페이스 접속 방식의 조합을 대신 사용할 수 있다.
전술한 기능을 구현하기 위해 전자 디바이스(50)는 해당 기능을 수행하기 위한 대응하는 하드웨어 구조 및/또는 소프트웨어 모듈을 포함한다는 것을 이해할 수 있다. 당업자는, 본 명세서에 개시된 실시예에 설명된 예와 함께, 유닛, 알고리즘 및 단계가 본 출원의 실시예의 하드웨어 또는 하드웨어와 컴퓨터 소프트웨어의 조합에 의해 구현될 수 있음을 쉽게 인식할 것이다. 기능이 하드웨어에 의해 수행되는지 또는 하드웨어를 구동하는 컴퓨터 소프트웨어에 의해 수행되는지는 기술 솔루션의 특정 애플리케이션 및 설계 제약 조건에 따라 다르다. 당업자는 각각의 특정 응용에 대해 설명된 기능을 구현하기 위해 상이한 방법을 사용할 수 있지만, 해당 구현은 본 발명의 실시예의 범위를 벗어나는 것으로 간주되어서는 안 된다.
본 출원의 실시예의 전술한 방법 예에 기초하여 전자 디바이스에 대해 기능 모듈 분할이 수행될 수 있다. 예를 들어, 기능 모듈은 대응하는 기능에 대한 분할을 통해 획득될 수 있거나, 둘 이상의 기능이 하나의 처리 모듈로 통합될 수도 있다. 통합된 모듈은 하드웨어 형태로 구현될 수 있거나, 소프트웨어 기능 모듈 형태로 구현될 수 있다. 본 발명의 실시예에서 모듈 분할은 예이고 단지 논리적 기능 분할이라는 점에 유의해야 한다. 실제 구현 동안, 다른 분할 방식이 사용될 수 있다.
구현에 대한 전술한 설명은 편리하고 간략한 설명을 위해 전술한 기능 모듈의 분할이 예시를 위한 예로서 취해졌음을 당업자가 이해할 수 있게 한다. 실제 응용 동안, 전술한 기능들은 요구사항에 기초하여 서로 다른 모듈에 할당되어 구현될 수 있고, 즉, 장치의 내부 구조는 서로 다른 기능 모듈로 분할되어 전술한 기능들의 전부 또는 일부를 구현한다. 전술한 시스템, 장치 및 유닛의 상세한 작동 프로세스에 대해서는 전술한 방법 실시예의 대응하는 프로세스를 참조한다. 자세한 내용은 여기서 다시 설명되지 않는다.
본 출원의 실시예의 기능 유닛들은 하나의 처리 유닛으로 통합될 수 있거나, 각각의 유닛이 물리적으로 단독으로 존재할 수 있거나, 둘 이상의 유닛이 하나의 유닛으로 통합될 수 있다. 통합된 유닛은 하드웨어의 형태로 구현될 수도 있고, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
통합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되어 독립된 제품으로 판매 또는 사용되는 경우, 통합된 유닛은 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본질적으로 본 출원의 실시예의 기술 솔루션, 또는 선행 기술에 기여하는 부분, 또는 기술 솔루션의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되며, 컴퓨터 디바이스(개인용 컴퓨터, 서버, 네트워크 디바이스 등일 수 있음) 또는 프로세서에 본 출원의 실시예에 설명된 방법의 단계들의 전부 또는 일부를 수행할 것을 지시하는 수 개의 명령어를 포함한다. 전술한 저장 매체는 플래시 메모리, 착탈식 하드 디스크, 판독 전용 메모리, 랜덤 액세스 메모리, 자기 디스크 또는 광 디스크와 같이 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
전술한 설명은 본 출원의 특정 구현일 뿐이며, 본 출원의 보호 범위를 제한하려는 의도는 아니다. 본 출원에 개시된 기술 범위 내에서의 임의의 변형 또는 교체는 본 출원의 보호 범위에 속한다. 따라서, 본 출원의 보호 범위는 청구범위의 보호 범위에 따른다.

Claims (24)

  1. 입력 신호 에뮬레이터(emulator)에 적용되는 시뮬레이션 테스트 방법으로서,
    상기 입력 신호 에뮬레이터는 자율 주행 테스트 아키텍처 내에 위치하고, 상기 자율 주행 테스트 아키텍처는 가상 시나리오 에뮬레이터 및 센서 에뮬레이터를 더 포함하고, 상기 가상 시나리오 에뮬레이터는 가상 시나리오를 에뮬레이트하도록 구성되고, 상기 가상 시나리오는 테스트 대상 가상 객체(to-be-tested virtual object)를 포함하고, 상기 테스트 대상 가상 객체는 제1 주행 상태 및 복수의 가상 센서를 포함하고, 상기 시뮬레이션 테스트 방법은,
    각각의 가상 센서의 처리 지연을 획득하는 단계와,
    각각의 처리 지연이 미리 설정된 조건을 만족시키는지 여부를 판정하는 단계와,
    임의의 처리 지연이 상기 미리 설정된 조건을 만족시키는 경우, 상기 처리 지연에 기초하여 상기 제1 주행 상태를 예측하여 제2 주행 상태를 획득하는 단계와,
    상기 처리 지연에 대응하는 가상 센서를 사용하여 각각의 제2 주행 상태에 기초한 에뮬레이션을 수행하여 하나 이상의 제1 입력 신호를 획득하는 단계 ― 각각의 제1 입력 신호는 각각의 가상 센서와 일대일 대응 관계에 있음 ― 와,
    상기 하나 이상의 제1 입력 신호를 상기 센서 에뮬레이터에 전송하는 단계를 포함하는,
    시뮬레이션 테스트 방법.
  2. 제1항에 있어서,
    상기 처리 지연에 대응하는 가상 센서를 사용하여 에뮬레이션을 수행하여 하나 이상의 제1 입력 신호를 획득하는 것은, 상기 처리 지연에 개별적으로 대응하는 상기 복수의 가상 센서를 사용하여 동기식 에뮬레이션을 수행하여 상기 복수의 제1 입력 신호를 획득하는 것을 포함하는,
    시뮬레이션 테스트 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 처리 지연은 제1 처리 시간과 제2 처리 시간 사이의 차이에 의해 결정되고, 상기 제1 처리 시간은 상기 센서 에뮬레이터에서의 상기 가상 센서의 처리 시간이고, 상기 제2 처리 시간은 상기 가상 센서에 대응하는 실제 센서의 미리 설정된 실제 처리 시간인,
    시뮬레이션 테스트 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    임의의 처리 지연이 상기 미리 설정된 조건을 만족시키지 않는 경우, 상기 처리 지연에 대응하는 상기 가상 센서를 사용하여 상기 제1 주행 상태에 기초한 에뮬레이션을 수행하여 제2 입력 신호를 획득하는 단계와,
    상기 처리 지연에 기초하여 하나 이상의 제2 입력 신호를 상기 센서 에뮬레이터에 전송하는 것을 지연시키는 단계를 더 포함하는,
    시뮬레이션 테스트 방법.
  5. 제4항에 있어서,
    상기 센서 에뮬레이터는 상기 제1 입력 신호 또는 상기 제2 입력 신호를 수신하고, 상기 가상 센서의 미리 설정된 프론트엔드 모델 및 미리 설정된 알고리즘에 기초한 계산을 수행하여 출력 신호를 획득하도록 구성되고, 상기 가상 센서의 상기 미리 설정된 프론트엔드 모델은 Y=G*X+N+I이고, Y는 상기 프론트엔드 모델의 출력 신호이고, X는 상기 제1 입력 신호 또는 상기 제2 입력 신호이고, G는 상기 가상 센서의 프론트엔드의 이득이고, N은 상기 가상 센서의 상기 프론트엔드의 잡음이며, I는 상기 가상 센서의 상기 프론트엔드에 의해 도입된 간섭인,
    시뮬레이션 테스트 방법.
  6. 제4항에 있어서,
    상기 가상 시나리오는 적어도 하나의 CPU 및/또는 적어도 하나의 GPU를 사용하여 상기 가상 시나리오 에뮬레이터에 의한 에뮬레이션을 통해 획득되고, 상기 제1 입력 신호 또는 상기 제2 입력 신호는 광선 추적 알고리즘에 따라 적어도 하나의 GPU를 사용하여 상기 입력 신호 에뮬레이터에 의한 에뮬레이션을 통해 획득되는,
    시뮬레이션 테스트 방법.
  7. 제1항에 있어서,
    상기 제1 주행 상태는 시점 t에서의 상기 테스트 대상 가상 객체의 제1 위치, 제1 속도 및 제1 가속도를 포함하고,
    상기 처리 지연에 기초하여 상기 제1 주행 상태를 예측하여 제2 주행 상태를 획득하는 것은, 칼만(Kalman) 필터링 방법을 사용하여 상기 처리 지연에 기초하여 상기 테스트 대상 가상 객체의 상기 제1 주행 상태를 예측하여 상기 제2 주행 상태를 획득하는 것을 포함하고, 상기 제2 주행 상태는 t+T에서의 상기 테스트 대상 가상 객체의 제2 위치, 제2 속도 및 제2 가속도를 포함하며, T는 상기 처리 지연인,
    시뮬레이션 테스트 방법.
  8. 제1항에 있어서,
    상기 자율 주행 테스트 아키텍처는 디지털 에뮬레이터, 주행 시스템 및 전력 시스템 에뮬레이터를 더 포함하고, 상기 디지털 에뮬레이터는 상기 센서 에뮬레이터에 의해 전송된 출력 신호를 수신하고 상기 출력 신호를 상기 주행 시스템에 전송하도록 구성되고, 상기 주행 시스템은 상기 출력 신호에 기초하여 주행 결정을 내리도록 구성되고, 상기 전력 시스템 에뮬레이터는 상기 주행 결정에 대한 에뮬레이션을 수행하여 제3 주행 상태를 획득하고 상기 제3 주행 상태를 상기 가상 시나리오 에뮬레이터에 피드백하여 상기 테스트 대상 가상 객체가 상기 제3 주행 상태에 기초하여 상기 제1 주행 상태를 업데이트하게 하도록 구성되는,
    시뮬레이션 테스트 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 가상 센서는 밀리미터파 레이더 가상 센서, 레이저 레이더 가상 센서, 적외선 가상 센서, 또는 카메라 가상 센서 중 적어도 하나를 포함하는,
    시뮬레이션 테스트 방법.
  10. 입력 신호 에뮬레이터에 적용되는 시뮬레이션 테스트 장치로서,
    상기 입력 신호 에뮬레이터는 자율 주행 테스트 아키텍처 내에 위치하고, 상기 자율 주행 테스트 아키텍처는 가상 시나리오 에뮬레이터 및 센서 에뮬레이터를 더 포함하고, 상기 가상 시나리오 에뮬레이터는 가상 시나리오를 에뮬레이트하도록 구성되고, 상기 가상 시나리오는 테스트 대상 가상 객체를 포함하고, 상기 테스트 대상 가상 객체는 제1 주행 상태 및 복수의 가상 센서를 포함하고, 상기 시뮬레이션 테스트 장치는,
    각각의 가상 센서의 처리 지연을 획득하도록 구성된 수신 회로와,
    각각의 처리 지연이 미리 설정된 조건을 만족시키는지 여부를 판정하고, 임의의 처리 지연이 상기 미리 설정된 조건을 만족시키는 경우, 상기 처리 지연에 기초하여 상기 제1 주행 상태를 예측하여 제2 주행 상태를 획득하도록 구성된 예측 회로와,
    상기 처리 지연에 대응하는 가상 센서를 사용하여 각각의 제2 주행 상태에 기초한 에뮬레이션을 수행하여 하나 이상의 제1 입력 신호를 획득하도록 구성된 제1 에뮬레이션 회로 ― 각각의 제1 입력 신호는 각각의 가상 센서와 일대일 대응 관계에 있음 ― 와,
    상기 하나 이상의 제1 입력 신호를 상기 센서 에뮬레이터에 전송하도록 구성된 제1 전송 회로를 포함하는,
    시뮬레이션 테스트 장치.
  11. 제10항에 있어서,
    상기 제1 에뮬레이션 회로는 또한, 상기 처리 지연에 개별적으로 대응하는 상기 복수의 가상 센서를 사용하여 동기식 에뮬레이션을 수행하여 상기 복수의 제1 입력 신호를 획득하도록 구성되는,
    시뮬레이션 테스트 장치.
  12. 제10항 또는 제11항에 있어서,
    상기 처리 지연은 제1 처리 시간과 제2 처리 시간 사이의 차이에 의해 결정되고, 상기 제1 처리 시간은 상기 센서 에뮬레이터에서의 상기 가상 센서의 처리 시간이고, 상기 제2 처리 시간은 상기 가상 센서에 대응하는 실제 센서의 미리 설정된 실제 처리 시간인,
    시뮬레이션 테스트 장치.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    임의의 처리 지연이 상기 미리 설정된 조건을 만족시키지 않는 경우, 상기 처리 지연에 대응하는 상기 가상 센서를 사용하여 상기 제1 주행 상태에 기초한 에뮬레이션을 수행하여 제2 입력 신호를 획득하도록 구성된 제2 에뮬레이션 회로와,
    상기 처리 지연에 기초하여 하나 이상의 제2 입력 신호를 상기 센서 에뮬레이터에 전송하는 것을 지연시키도록 구성된 제2 전송 회로를 더 포함하는,
    시뮬레이션 테스트 장치.
  14. 제13항에 있어서,
    상기 제1 입력 신호 또는 상기 제2 입력 신호는 광선 추적 알고리즘에 따라 적어도 하나의 GPU를 사용하여 상기 입력 신호 에뮬레이터에 의한 에뮬레이션을 통해 획득되는,
    시뮬레이션 테스트 장치.
  15. 제10항에 있어서,
    상기 제1 주행 상태는 시점 t에서의 상기 테스트 대상 가상 객체의 제1 위치, 제1 속도 및 제1 가속도를 포함하고,
    상기 예측 회로는 또한, 칼만(Kalman) 필터링 방법을 사용하여 상기 처리 지연에 기초하여 상기 테스트 대상 가상 객체의 상기 제1 주행 상태를 예측하여 상기 제2 주행 상태를 획득하도록 구성되고, 상기 제2 주행 상태는 t+T에서의 상기 테스트 대상 가상 객체의 제2 위치, 제2 속도 및 제2 가속도를 포함하며, T는 상기 처리 지연인,
    시뮬레이션 테스트 장치.
  16. 시뮬레이션 테스트 시스템으로서,
    가상 시나리오 에뮬레이터, 입력 신호 에뮬레이터, 센서 에뮬레이터, 디지털 에뮬레이터, 및 시스템 동기화 모듈을 포함하되,
    상기 가상 시나리오 에뮬레이터는 가상 시나리오를 에뮬레이트하도록 구성되고, 상기 가상 시나리오는 테스트 대상 가상 객체를 포함하고, 상기 테스트 대상 가상 객체는 제1 주행 상태 및 복수의 가상 센서를 포함하고,
    상기 입력 신호 에뮬레이터는, 각각의 가상 센서의 처리 지연을 획득하고, 각각의 처리 지연이 미리 설정된 조건을 만족시키는지 여부를 판정하고, 임의의 처리 지연이 상기 미리 설정된 조건을 만족시키는 경우, 상기 처리 지연에 기초하여 상기 제1 주행 상태를 예측하여 제2 주행 상태를 획득하고, 상기 처리 지연에 대응하는 가상 센서를 사용하여 각각의 제2 주행 상태에 기초한 에뮬레이션을 수행하여 하나 이상의 제1 입력 신호를 획득하고 ― 각각의 제1 입력 신호는 각각의 가상 센서와 일대일 대응 관계에 있음 ―, 상기 하나 이상의 제1 입력 신호를 상기 센서 에뮬레이터에 전송하도록 구성되고,
    상기 센서 에뮬레이터는 상기 제1 입력 신호를 수신하고, 상기 가상 센서의 미리 설정된 프론트엔드 모델 및 미리 설정된 알고리즘에 기초한 계산을 수행하여 출력 신호를 획득하도록 구성되고,
    상기 디지털 에뮬레이터는 상기 센서 에뮬레이터에 의해 전송된 상기 출력 신호를 수신하도록 구성되고,
    상기 시스템 동기화 모듈은 상기 가상 시나리오 에뮬레이터, 상기 입력 신호 에뮬레이터, 상기 센서 에뮬레이터, 및 상기 디지털 에뮬레이터의 각각에 동기화 클록을 제공하도록 구성되는,
    시뮬레이션 테스트 시스템.
  17. 제16항에 있어서,
    상기 입력 신호 에뮬레이터는 또한, 상기 처리 지연에 개별적으로 대응하는 상기 복수의 가상 센서를 사용하여 동기식 에뮬레이션을 수행하여 상기 복수의 제1 입력 신호를 획득하도록 구성되는,
    시뮬레이션 테스트 시스템.
  18. 제16항 또는 제17항에 있어서,
    상기 처리 지연은 제1 처리 시간과 제2 처리 시간 사이의 차이에 의해 결정되고, 상기 제1 처리 시간은 상기 센서 에뮬레이터에서의 상기 가상 센서의 처리 시간이고, 상기 제2 처리 시간은 상기 가상 센서에 대응하는 실제 센서의 미리 설정된 실제 처리 시간인,
    시뮬레이션 테스트 시스템.
  19. 제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 입력 신호 에뮬레이터는 또한, 임의의 처리 지연이 상기 미리 설정된 조건을 만족시키지 않는 경우, 상기 처리 지연에 대응하는 상기 가상 센서를 사용하여 상기 제1 주행 상태에 기초한 에뮬레이션을 수행하여 제2 입력 신호를 획득하고, 상기 처리 지연에 기초하여 하나 이상의 제2 입력 신호를 상기 센서 에뮬레이터에 전송하는 것을 지연시키도록 구성되는,
    시뮬레이션 테스트 시스템.
  20. 제19항에 있어서,
    상기 센서 에뮬레이터는 또한 상기 제2 입력 신호를 수신하도록 구성되고, 상기 가상 센서의 미리 설정된 프론트엔드 모델은 Y=G*X+N+I이고, Y는 상기 프론트엔드 모델의 출력 신호이고, X는 상기 제1 입력 신호 또는 상기 제2 입력 신호이고, G는 상기 가상 센서의 프론트엔드의 이득이고, N은 상기 가상 센서의 상기 프론트엔드의 잡음이며, I는 상기 가상 센서의 상기 프론트엔드에 의해 도입된 간섭인,
    시뮬레이션 테스트 시스템.
  21. 제19항에 있어서,
    상기 가상 시나리오는 적어도 하나의 CPU 및/또는 적어도 하나의 GPU를 사용하여 상기 가상 시나리오 에뮬레이터에 의한 에뮬레이션을 통해 획득되고, 상기 제1 입력 신호 또는 상기 제2 입력 신호는 광선 추적 알고리즘에 따라 적어도 하나의 GPU를 사용하여 상기 입력 신호 에뮬레이터에 의한 에뮬레이션을 통해 획득되는,
    시뮬레이션 테스트 시스템.
  22. 제16항에 있어서,
    상기 제1 주행 상태는 시점 t에서의 상기 테스트 대상 가상 객체의 제1 위치, 제1 속도 및 제1 가속도를 포함하고, 상기 입력 신호 에뮬레이터는 또한, 칼만(Kalman) 필터링 방법을 사용하여 상기 처리 지연에 기초하여 상기 테스트 대상 가상 객체의 상기 제1 주행 상태를 예측하여 상기 제2 주행 상태를 획득하도록 구성되고, 상기 제2 주행 상태는 t+T에서의 상기 테스트 대상 가상 객체의 제2 위치, 제2 속도 및 제2 가속도를 포함하며, T는 상기 처리 지연인,
    시뮬레이션 테스트 시스템.
  23. 제16항에 있어서,
    주행 시스템 및 전력 시스템 에뮬레이터를 더 포함하되,
    상기 디지털 에뮬레이터는 또한 상기 출력 신호를 상기 주행 시스템에 전송하도록 구성되고,
    상기 주행 시스템은 상기 출력 신호에 기초하여 주행 결정을 내리도록 구성되고,
    상기 전력 시스템 에뮬레이터는 상기 주행 결정에 대한 에뮬레이션을 수행하여 제3 주행 상태를 획득하고 상기 제3 주행 상태를 상기 가상 시나리오 에뮬레이터에 피드백하여 상기 테스트 대상 가상 객체가 상기 제3 주행 상태에 기초하여 상기 제1 주행 상태를 업데이트하게 하도록 구성되는,
    시뮬레이션 테스트 시스템.
  24. 제16항 내지 제23항 중 어느 한 항에 있어서,
    상기 가상 센서는 밀리미터파 레이더 가상 센서, 레이저 레이더 가상 센서, 적외선 가상 센서, 또는 카메라 가상 센서 중 적어도 하나를 포함하는,
    시뮬레이션 테스트 시스템.
KR1020237022187A 2020-12-03 2021-11-24 시뮬레이션 테스트 방법, 장치 및 시스템 KR20230116880A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011408608.X 2020-12-03
CN202011408608.XA CN114609923A (zh) 2020-12-03 2020-12-03 仿真测试方法、装置及系统
PCT/CN2021/132662 WO2022116873A1 (zh) 2020-12-03 2021-11-24 仿真测试方法、装置及系统

Publications (1)

Publication Number Publication Date
KR20230116880A true KR20230116880A (ko) 2023-08-04

Family

ID=81853801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237022187A KR20230116880A (ko) 2020-12-03 2021-11-24 시뮬레이션 테스트 방법, 장치 및 시스템

Country Status (6)

Country Link
US (1) US20230306159A1 (ko)
EP (1) EP4250023A4 (ko)
JP (1) JP2023551939A (ko)
KR (1) KR20230116880A (ko)
CN (1) CN114609923A (ko)
WO (1) WO2022116873A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115364B (zh) * 2023-10-24 2024-01-19 芯火微测(成都)科技有限公司 微处理器sip电路测试状态监控方法、系统及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635761B2 (en) * 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
CN107807542A (zh) * 2017-11-16 2018-03-16 北京北汽德奔汽车技术中心有限公司 自动驾驶仿真系统
CN108877374B (zh) * 2018-07-24 2021-03-30 长安大学 基于虚拟现实与驾驶模拟器的车辆队列仿真系统和方法
CN108681264A (zh) * 2018-08-10 2018-10-19 成都合纵连横数字科技有限公司 一种智能车辆数字化仿真测试装置
CN109213126B (zh) * 2018-09-17 2020-05-19 安徽江淮汽车集团股份有限公司 自动驾驶汽车测试系统和方法
US11087049B2 (en) * 2018-11-27 2021-08-10 Hitachi, Ltd. Online self-driving car virtual test and development system
CN110779730A (zh) * 2019-08-29 2020-02-11 浙江零跑科技有限公司 基于虚拟驾驶场景车辆在环的l3级自动驾驶系统测试方法
CN110794712A (zh) * 2019-12-03 2020-02-14 清华大学苏州汽车研究院（吴江） 一种自动驾驶虚景在环测试系统和方法
CN111505965B (zh) * 2020-06-17 2020-09-29 深圳裹动智驾科技有限公司 自动驾驶车辆仿真测试的方法、装置、计算机设备及存储介质
CN111881520B (zh) * 2020-07-31 2022-01-11 广州文远知行科技有限公司 一种自动驾驶测试的异常检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US20230306159A1 (en) 2023-09-28
EP4250023A1 (en) 2023-09-27
CN114609923A (zh) 2022-06-10
WO2022116873A1 (zh) 2022-06-09
JP2023551939A (ja) 2023-12-13
EP4250023A4 (en) 2024-05-29

Similar Documents

Publication Publication Date Title
US20210406562A1 (en) Autonomous drive emulation methods and devices
CN110967064B (zh) 用于车辆的环境检测的方法、设备和传感器系统
US10885240B2 (en) Deterministic simulation framework for autonomous vehicle testing
US11789119B2 (en) Time synchronization and latency compensation for emulation test system
US11282397B2 (en) System and method for fusing asynchronous sensor tracks in a track fusion application
US11941888B2 (en) Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating
US20220229759A1 (en) Method, device, and system for simulation test
US20230306159A1 (en) Simulation test method, apparatus, and system
CN112311773B (zh) 用于智能汽车传感器接口系统的实现方法
US20200025875A1 (en) Method and system for simulation-assisted determination of echo points, and emulation method and emulation apparatus
CN115879323B (zh) 自动驾驶仿真测试方法、电子设备及计算机可读存储介质
CN112286079A (zh) 一种高拟真度无人机航电半实物实景仿真系统
CN116601612A (zh) 用于测试车辆的控制器的方法和系统
CN114280562A (zh) 雷达仿真测试方法和实施该方法的计算机可读存储介质
CN115384526A (zh) 调试系统和调试方法
CN117193041A (zh) 一种基于数字孪生的无人集卡在环测试平台
US20190152486A1 (en) Low-latency test bed for an image- processing system
JP7467489B2 (ja) データ処理方法および対応する装置
JP6548708B2 (ja) 画像処理システムのための低レイテンシの試験機
US20240157974A1 (en) Simulation device for outputting image data from a virtual environment of a vehicle to a control unit, test setup having such a simulation device, and method for outputting image data from a virtual environment of a vehicle to a control unit
CN111897241A (zh) 传感器融合多目标模拟硬件在环仿真系统
CN116594659B (zh) 一种车载域控制器程序优化系统、方法、装置及车辆
US20230215277A1 (en) System and method for fusing asynchronous sensor tracks in a track fusion application
Gunneström Exploring an extension of the operational design domain of a connected autonomous vehicle using a camera based positioning system
US20220317301A1 (en) Modeling foliage in a synthetic environment

Legal Events

Date Code Title Description
A201 Request for examination