KR20230157514A

KR20230157514A - 차량의 제어 장치용 소프트웨어의 평가 방법

Info

Publication number: KR20230157514A
Application number: KR1020237036532A
Authority: KR
Inventors: 도라 윌메스; 마리나 울만; 마티아스 버크
Original assignee: 로베르트 보쉬 게엠베하
Priority date: 2021-03-24
Filing date: 2022-02-03
Publication date: 2023-11-16
Also published as: JP2024512563A; DE102021202903A1; EP4315069A1; CN117099085A; WO2022199916A1

Abstract

본 발명은 차량(100)의 제어 장치(102)용 소프트웨어(111)를 평가하기 위한 방법에 관한 것으로, 제어 장치(102)는 소프트웨어(111)의 제1 버전(111a) 및 제2 버전(111b)이 저장되어 있는 메모리(110)와, 제1 버전(111a) 및 제2 버전(111b)을 실행하기 위한 프로세서(112)를 포함한다. 상기 방법은, 제어 장치(102)에서, 차량(100)의 주변을 감지하기 위한 센서 시스템(104)에 의해 생성된 센서 데이터(108)를 수신하는 단계; 제1 버전(111a) 및 제2 버전(111b)에 센서 데이터(108)를 입력하는 단계; 제1 버전(111a)에 의해 센서 데이터(108)를 토대로 제1 객체 데이터(206, 206')를 생성하는 단계; - 제1 객체 데이터(206, 206')는 차량(100)의 주변에서 제1 버전(111a)에 의해 인식된 제1 객체(116, 116')의 위치 및/또는 방향을 포함함 -; 제2 버전(111b)에 의해 센서 데이터(108)를 토대로 제2 객체 데이터(208, 208')를 생성하는 단계; - 제2 객체 데이터(208, 208')는 차량(100)의 주변에서 제2 버전(111b)에 의해 인식된 제2 객체(118, 118')의 위치 및/또는 방향을 포함함- ; 제1 객체 데이터(206, 206')를 제2 객체 데이터(208, 208')와 비교함으로써 인식 품질과 관련하여 제2 버전(111b)을 평가하는 단계; - 여기서, 평가 결과(212)가 생성됨 -; 및 상기 평가 결과(212)를 제어 장치(102)로부터 중앙 데이터 처리 장치(214)로 송신하는 단계;를 포함한다.

Description

차량의 제어 장치용 소프트웨어의 평가 방법

본 발명은 차량 제어 장치용 소프트웨어를 평가하기 위한 방법에 관한 것이다. 또한, 본 발명은 전술한 방법을 실행하기 위한 제어 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능 매체에 관한 것이다.

예컨대 승용차 또는 화물차와 같은 차량은 차량의 부분 또는 완전 자동화된 제어를 가능하게 하는 운전자 지원 시스템을 갖추고 있을 수 있다. 이를 위해, 운전자 지원 시스템은, 예컨대 적합한 센서 시스템을 이용하여 차량 주변에 있는 객체들의 위치, 방향 및/또는 객체 유형을 인식하고, 상기 객체의 고려하에 차량을 조향하고, 제동하고 그리고/또는 가속할 수 있다.

이러한 운전자 지원 시스템에는 일반적으로 엄격한 안전 요건이 적용된다. 예컨대 운전자 지원 시스템의 개선 또는 확장을 위한 운전자 지원 시스템의 업데이트는 매우 복잡할 수 있는데, 그 이유는 매번 개별 구성요소를 업데이트할 때마다 전체 시스템이 출시되어야 하기 때문이다.

이러한 배경에서, 본원에 제시된 접근법에 의해, 독립 청구항들에 따른 차량 제어 장치용 소프트웨어의 평가 방법, 상응하는 제어 장치, 상응하는 컴퓨터 프로그램 및 상응하는 컴퓨터 판독 가능 매체가 제시된다. 본원에 제시된 접근법의 유리한 개선예들은 설명부에 명시되고 종속항들에 기술된다.

본 발명의 실시예들은, 제어 장치에서 이미 출시된 버전의 객체 인식 소프트웨어에 병행하여 차량의 제어 장치를 위한 아직 출시되지 않은 버전의 객체 인식 소프트웨어를 실행할 수 있게 하고, 상기 두 버전의 인식 결과의 비교를 통해 아직 출시되지 않은 버전을 그 인식 품질과 관련하여 평가할 수 있게 하며, 추가적인 평가를 위해 상응하는 평가 결과를 중앙 데이터 처리 장치로 송신할 수 있게 한다.

그에 따라, 상응하게 많은 수의 양산 차량의 평가 결과, 즉, 실제 데이터의 고려하에, 아직 출시되지 않은 버전, 예컨대 신버전의 객체 인식 모듈 또는 센서 데이터 융합 모듈의 매우 신속하고 비용 효율적인 검증(validation)이 보장될 수 있다.

본 발명의 제1 양태는 차량의 제어 장치를 위한 소프트웨어를 평가하기 위한 컴퓨터 구현 방법(computer implemented method)에 관한 것이다. 이 경우, 제어 장치는 소프트웨어의 제1 버전 및 제2 버전이 저장되어 있는 메모리와, 제1 버전 및 제2 버전을 실행하기 위한 프로세서를 포함한다. 상기 방법은 적어도 하기 단계: 차량의 주변을 감지하기 위한 센서 시스템에 의해 생성된 센서 데이터를 제어 장치에서 수신하는 단계; 상기 제1 버전 및 제2 버전에 센서 데이터를 입력하는 단계; 상기 제1 버전을 통해 센서 데이터를 토대로 제1 객체 데이터를 생성하는 생성 단계; - 제1 객체 데이터는 차량의 주변에서 제1 버전에 의해 인식된 제1 객체의 위치 및/또는 방향을 포함함 -; 상기 제2 버전을 통해 센서 데이터를 토대로 제2 객체 데이터를 생성하는 단계; - 제2 객체 데이터는 차량의 주변에서 제2 버전에 의해 인식된 제2 객체의 위치 및/또는 방향을 포함함- ; 제1 객체 데이터를 제2 객체 데이터와 비교함으로써 인식 품질과 관련하여 제2 버전을 평가하는 단계; - 여기서, 평가 결과가 생성됨 -; 및 제어 장치로부터 중앙 데이터 처리 장치로 상기 평가 결과를 송신하는 단계;를 포함한다.

본원 방법은 예컨대 제어 장치의 프로세서에 의해 자동으로 실행될 수 있다. 예를 들면, 본원 방법은, 중앙 데이터 처리 장치를 통해 생성되는, 상기 방법을 실행하기 위한 명령어가 제어 장치에서 수신될 때 실행될 수 있다.

차량은 예컨대 승용차, 화물차, 버스 또는 오토바이 형태의 자동차일 수 있다. 또 다른 의미에서, 차량은 자율 이동 로봇을 의미할 수도 있다.

센서 시스템은 예컨대 카메라, 레이더 센서, 라이다 센서 또는 초음파 센서와 같은 적어도 하나의 환경 센서를 포함할 수 있다. 또한, 센서 시스템은, GPS, GLONASS 등과 같은 글로벌 위성 항법 시스템을 이용하여 차량의 지리적 좌표를 결정하기 위한 위치 확인 센서(positioning sensor)를 포함할 수 있다. 추가로, 센서 시스템은 차량의 주행 상태를 감지하기 위해 예컨대 가속도 센서, 휠 속도 센서, 스티어링 휠 각도 센서, 조향 토크 센서, 제동압 센서 또는 브레이크 페달 트래블 센서와 같은 적어도 하나의 주행 동역학 센서를 포함할 수 있다.

제어 장치에서 센서 데이터를 처리함으로써, 예컨대 다른 도로 사용자, 차선 표시, 교통 표지판, 신호 시스템, 건물 또는 초목과 같은, 차량 주변에 있는 객체가 인식될 수 있다. 이 경우, 차량에 상대적인 객체의 위치 및/또는 방향은 복수의 연속적인 시간 단계에서 결정되어 객체 목록의 형태로 환경 모델에 저장될 수 있다. 또한, 각각의 현재 시간 단계에서 객체의 향후 위치 및/또는 방향이 하나 이상의 과거 시간 단계에서의 객체의 위치 및/또는 방향을 토대로 추정될 수 있다.

센서 데이터는 복수의 연속적인 시간 단계에서 수신될 수 있으며, 이 경우 각각의 시간 단계에서의 센서 데이터는 제1 버전뿐만 아니라 제2 버전에도 입력될 수 있다.

제어 장치의 소프트웨어는, 센서 데이터를 기반으로 차량을 조향하고, 가속하고, 그리고/또는 제동하도록 구성될 수 있다. 이를 위해, 차량은, 예컨대 조향 액추에이터, 브레이크 액추에이터, 엔진 제어 장치, 전기 구동 모터 또는 언급한 예시들 중 적어도 2개로 구성된 조합체 형태의 상응하는 액추에이터 시스템을 포함할 수 있다. 제어 장치의 소프트웨어는 운전자 지원 시스템의 하나 이상의 구성요소를 포함할 수 있다.

중앙 데이터 처리 장치는 예컨대 서버, PC, 랩톱, 태블릿 또는 스마트폰일 수 있다.

제어 장치 및 중앙 데이터 처리 장치는, 예컨대 WLAN, 블루투스 및/또는 이동 통신과 같은 무선 데이터 통신 연결을 통해 서로 연결될 수 있다. 그러나 제어 장치와 중앙 데이터 처리 장치 간의 유선 데이터 통신 연결도 가능하다.

본원 방법은 추가로 다음 단계를 포함할 수 있다: 제어 장치에서 제2 버전을 수신하는 단계; 및 제어 장치의 메모리에 제2 버전을 저장하는 단계. 이 경우, 제2 버전은 중앙 데이터 처리 장치를 통해 생성되었을 수 있고, 그리고/또는 중앙 데이터 처리 장치로부터 제어 장치로 송신되었을 수 있다. 제2 버전은 예컨대 프로세서를 통해 실행될 수 있는 파일의 형태로 제어 장치에서 수신되어 거기에 저장될 수 있다.

제1 버전은 더 이전의 이미 출시된 소프트웨어 버전일 수 있다. 제2 버전은 아직 출시되지 않은 새로운 소프트웨어 버전일 수 있다.

예를 들면, 제2 버전은, 예컨대 센서 데이터에서 객체를 인식하기 위한 인식 모듈 또는 센서 데이터 융합 모듈, 또는 차량에 대한 객체의 연관성과 관련하여 객체를 해석하기 위한 해석 모듈과 같은, 제1 버전의 하나 이상의 소프트웨어 모듈의 업데이트된 버전을 포함할 수 있다.

제1 버전은, 센서 데이터를 제1 객체 데이터로 변환하기 위한 제1 인식 모듈; 및/또는 제1 객체 데이터 및/또는 센서 데이터를 기반으로 차량에 연관된 객체를 결정하기 위한 제1 해석 모듈;을 포함할 수 있다. 제1 인식 모듈 또는 제1 해석 모듈은 소프트웨어의 이미 출시된 소프트웨어 모듈일 수 있다.

이와 유사하게, 제2 버전은, 센서 데이터를 제2 객체 데이터로 변환하기 위한 제2 인식 모듈; 및/또는 제2 객체 데이터 및/또는 센서 데이터를 기반으로 차량에 연관된 객체를 결정하기 위한 제2 해석 모듈;을 포함할 수 있다. 제2 인식 모듈 또는 제2 해석 모듈은 소프트웨어의 아직 출시되지 않은 소프트웨어 모듈일 수 있다.

제1 버전 및 제2 버전은 제어 장치의 프로세서에 의해 예컨대 병렬 프로세스로 실행될 수 있다.

이 경우, 제2 버전은 격리된 영역(isolated region)에서 실행될 수 있으며, 이 격리된 영역의 내부에서 제2 버전은, 상기 영역의 외부에 위치하는 차량의 하드웨어 및 소프트웨어 구성요소, 예컨대 제1 버전 또는 차량의 액추에이터 시스템에 안전과 관련한 영향을 미치지 않으면서 실행될 수 있다. 상기 격리 영역 내에서 실행되는 소프트웨어를 복원 모드(shadow-mode) 소프트웨어라고도 지칭할 수 있다.

달리 표현하면, 제1 버전과 제2 버전은 상이한 작동 환경에서 실행될 수 있다. 이 경우, 제2 버전은 제1 버전의 작동 환경에 비해 제한된 작동 환경에서 실행될 수 있다.

예를 들면, 제1 객체 데이터는 제1 객체의 위치 및/또는 방향에 추가로 제1 객체의 객체 클래스도 포함할 수 있다. 대안적으로 또는 추가로, 제2 객체 데이터는 제2 객체의 위치 및/또는 방향에 추가로 제2 객체의 객체 클래스를 포함할 수 있다. 객체 클래스는 예를 들면 "마주 오는 차량", "선행 차량", "차선 표시", "보행자" 등과 같은 객체 유형일 수 있다. 객체 클래스는 하나 이상의 분류기(classifier)를 이용한 센서 데이터의 평가를 통해 제1 또는 제2 객체에 할당될 수 있다. 하나의 동일한 객체에 하나보다 많은 객체 클래스가 할당될 수도 있다.

인식 품질과 관련하여 제2 버전을 평가하기 위해, 예컨대 제1 객체의 위치 및/또는 방향이 제2 객체의 위치 및/또는 방향과 비교됨으로써, 그리고/또는 제1 객체가 인식되었던 인식 시점이 제2 객체가 인식되었던 인식 시점과 비교됨으로써, 제1 객체 데이터와 제2 객체 데이터가 서로 비교될 수 있다. 그러나 다른 비교 방법도 가능하다.

이를 위해, 각각 하나의 제1 객체와 하나의 제2 객체로 이루어진 연관이 결정될 수 있다. 이 경우, 서로 연관된 객체들의 위치 및/또는 방향 및/또는 인식 시점이 서로 비교될 수 있다. 서로 연관된 객체들은, 차량 주변에 있는 하나의 동일한 실제 객체를 묘사하는 객체 모델일 수 있다.

제2 버전의 평가를 통해, 제2 버전의 인식 품질, 즉, 제2 버전에 의해 객체가 인식되는 인식 정확도 및 인식 신뢰도가 제1 버전의 인식 품질보다 더 안 좋은지 또는 적어도 그와 동일한지의 여부가 판단될 수 있다.

평가 결과는 예컨대, 절대적으로 그리고/또는 제1 버전을 기준으로 볼 때, 제2 버전의 인식 정확도 및 인식 신뢰도에 대한 통계적 추정값을 포함할 수 있다. 추가로 또는 대안적으로, 평가 결과는, 제1 및/또는 제2 객체 데이터 및/또는 센서 데이터로 구성되고 인식 품질과 관련한 제2 버전의 평가에 연관된 데이터 시퀀스를 포함할 수 있다. 예컨대 무선 데이터 통신 연결을 통해 데이터 시퀀스가 중앙 데이터 처리 장치로 송신됨으로써, 데이터 시퀀스는 차량 주차 위치와 무관하게 중앙에서 평가될 수 있다.

그러한 데이터 시퀀스는 예컨대 인식 품질과 관련한 제2 버전의 평가에 연관된 객체들을 갖는 객체 목록 및/또는 상기 객체의 기반이 되는 센서 (미가공) 데이터를 포함할 수 있다.

예를 들면, 제1 버전에 의해 인식된 객체가 제2 버전에 의해서는 인식되지 않은 것으로 확인될 경우, 제2 버전은 제1 버전보다 인식 품질이 안 좋은 것으로 평가될 수 있다.

그와 반대로, 제2 버전에 의해 인식된 객체가 제1 버전에 의해서는 인식되지 않은 것으로 확인될 경우, 제2 버전이 제1 버전보다 인식 품질이 더 좋은 것으로 평가될 수 있다.

이 경우, 차량에 연관된 객체와 차량에 연관되지 않은 객체가 서로 구별되는 것이 바람직하다. 예를 들면, 객체는 차량에 대한 상대적 거리 및/또는 상대 속도에 따라서, 그리고/또는 그 객체 클래스에 따라서 차량에 연관된 것으로서 또는 연관되지 않은 것으로서 인식될 수 있다.

이하에서 기술되는 접근법은, 운전자 지원 시스템의 개발 시 지원을 위해 소프트웨어가 양산 차량에서 이른바 복원 모드로 실행될 수 있다는 점에 기반한다. 이 경우, 소프트웨어 또는 개별 소프트웨어 모듈은 격리된 영역에서 차량 내 능동 구성요소에 영향을 주지 않으면서 수동적으로 실행된다. 이 영역 내에서는 예를 들어 빠른 반복(iteration)을 통해 새로 개발된 소프트웨어 버전이 설치되고 평가될 수 있다. 이를 위해 예컨대, 정의된 트리거 로직(trigger logic)을 기반으로 데이터 시퀀스의 기록을 트리거하고 클라우드로의 무선 데이터 전송을 보장하는 평가 체계(assessment framework)가 사용될 수 있다. 이로써, 새로 개발된 소프트웨어 버전은, 실제 현장 이벤트(field event)에 상응하는 대량의 데이터로 매우 빠르게 조정되고 평가될 수 있다.

본 발명의 제1 양태의 실시예에 따른 방법에서는 이제, 차량의 제어 장치를 위한 소프트웨어의 업데이트된 버전이 차량에서 활성화되어 있는 상기 소프트웨어의 이미 출시된 버전과 동일한 정도로 또는 그보다 더 양호하게, 특정 목표 매개변수를 달성하는지의 여부를 확인하기 위해, 상기 복원 모드가 사용될 수 있다. 이를 위해, 복원 모드로 실행되는 업데이트된 버전의 결과가 차량에서 직접 이미 출시된 버전의 결과와 비교될 수 있다. 이는, 소프트웨어 모듈, 예컨대 운전자 지원 시스템의 업데이트가 종래 출시 방법들에 비해 훨씬 덜 번거롭게 출시되고, 그에 따라 훨씬 더 자주 공급될 수 있다는 장점이 있다.

여기서 주지할 점은, 전술한 또는 후술되는 방법을 실행하기 위해 소프트웨어의 제1 및 제2 버전을 반드시 동일한 제어 장치에서 실행할 필요가 없다는 것이다. 그 대신, 두 버전은, 하기에서 설명되듯이, 서로 상이한, 경우에 따라 서로 네트워팅되는 제어 장치들에서도 실행될 수 있다.

제1 버전은 제1 제어 장치를 통해 실행되고 제2 버전은 제2 제어 장치를 통해 실행되는 것이 가능하다. 제2 제어 장치는 제2 버전에 추가로, 소프트웨어의 (출시된) 제1 버전 또는 그 밖의 출시된 버전을 실행할 수 있다.

제1 제어 장치는 예컨대 제1 차량의 제어 장치일 수 있다. 제2 제어 장치는 예컨대 제2 차량의 제어 장치일 수 있다. 제1 제어 장치와 제2 제어 장치는 데이터 통신을 위해, 예컨대 무선 데이터 통신 연결을 통해 서로 연결될 수 있다.

제1 객체 데이터는 예컨대 제1 센서 데이터를 토대로 제1 제어 장치를 통해 생성될 수 있고, 여기서 제1 센서 데이터는 제1 차량의 주변을 감지하기 위한 제1 센서 시스템을 통해 생성되었을 수 있다.

제2 객체 데이터는 예컨대 제2 센서 데이터를 토대로 제2 제어 장치를 통해 생성될 수 있고, 여기서 제2 센서 데이터는 제2 차량의 주변을 감지하기 위한 제2 센서 시스템을 통해 생성되었을 수 있다.

제1 제어 장치는 제2 제어 장치로부터 제2 객체 데이터를 수신할 수 있다.

그에 상응하게, 예컨대 평가 결과는, 제1 제어 장치를 통해, 제2 제어 장치에 의해 수신된 제2 객체 데이터와 제1 객체 데이터를 비교함으로써 생성될 수 있다. 이 경우, 평가 결과는 제1 제어 장치로부터 중앙 데이터 처리 장치로, 그리고 추가로 제2 제어 장치로 송신될 수 있다.

본 발명의 제2 양태는, 본 발명의 제1 양태의 일 실시예에 따른 방법을 실행하도록 구성된 프로세서를 포함하는 제어 장치에 관한 것이다. 본 발명의 제1 양태의 일 실시예에 따른 방법의 특징은 제어 장치의 특징일 수도 있고, 그 반대도 마찬가지다.

제어 장치는 하드웨어 모듈 및/또는 소프트웨어 모듈을 포함할 수 있다. 제어 장치는 프로세서에 추가로, 주변 장치와의 데이터 통신을 위한 데이터 통신 인터페이스 및 메모리를 포함할 수 있다.

본 발명의 제3 양태는 컴퓨터 프로그램에 관한 것이다. 컴퓨터 프로그램은, 프로세서를 통해 컴퓨터 프로그램이 실행될 때, 프로세스로 하여금 본 발명의 제1 양태의 일 실시예에 따른 방법을 실행하게 하는 명령을 포함한다.

본 발명의 제4 양태는, 본 발명의 제3 양태의 일 실시예에 따른 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 매체에 관한 것이다. 컴퓨터 판독 가능 매체는 휘발성 또는 비휘발성 데이터 메모리일 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 하드디스크, USB 메모리 장치, RAM, ROM, EPROM 또는 플래시 메모리일 수 있다. 컴퓨터 판독 가능 매체는, 예컨대 인터넷 또는 클라우드(Cloud)처럼 프로그램 코드의 다운로드를 가능하게 하는 데이터 통신 네트워크일 수도 있다.

본 발명의 제1 양태의 일 실시예에 따른 방법의 특징들은 컴퓨터 프로그램 및/또는 컴퓨터 판독 가능 매체의 특징들일 수 있고, 그 반대도 마찬가지다.

본 발명의 실시예들에 대한 사상은 특히 하기에 기술되는 사상 및 인식에 근거하는 것으로 간주될 수 있다.

일 실시예에 따라, 각각의 제1 객체에 대해, 이 제1 객체가 제1 버전을 통해 얼마나 잘 인식되었는지를 지시하는 적어도 하나의 제1 평가 매개변수가 결정된다. 각각의 제2 객체에 대해서는, 제2 객체가 제2 버전을 통해 얼마나 잘 인식되었는지를 지시하는 적어도 하나의 제2 평가 매개변수가 결정된다. 그런 다음, 제2 버전은 제2 평가 매개변수와 제1 평가 매개변수의 비교를 통해 평가된다. 제1 또는 제2 평가 매개변수는 예컨대 인식 시점 또는 통계값, 예컨대 인식된 위치 및/또는 방향과 관련한 신뢰도일 수 있다. 제2 버전은 동일한 객체의 제1 평가 매개변수와 제2 평가 매개변수의 비교를 통해 평가될 수 있다. 달리 표현하면, 제1 객체는, 이 제1 객체와 일치하는 제2 객체와 함께, 제1 객체에 할당된 제1 평가 매개변수(들)와 제2 객체에 할당된 제2 평가 매개변수(들)의 비교를 통해 평가될 수 있다. 예를 들면, 제1 버전을 제2 버전과 비교하기 위해, 제1 평가 매개변수(들)와 상응하는 제2 평가 매개변수(들)의 차를 구할 수 있고, 이때 제2 버전은 상기 차를 기반으로 평가될 수 있다. 이로써, 인식된 개별 객체에 기반하는 소프트웨어의 평가가 가능해진다.

일 실시예에 따라, 제1 평가 매개변수는, 제1 객체가 제1 버전에 의해 인식된 인식 시점이다. 추가로 또는 대안적으로, 제2 평가 매개변수는, 제2 객체가 제2 버전에 의해 인식된 인식 시점일 수 있다. 예를 들면, 객체가 제2 버전에 의해 인식되었던 인식 시점이 동일 객체가 제1 버전에 의해 인식되었던 인식 시점보다 더 이른 시점이라면, 제2 버전의 인식 품질이 제1 버전보다 더 나은 것으로 평가될 수 있으며, 그 반대도 마찬가지다. 인식 시점들의 이러한 비교는 간단히 수행될 수 있으며, 충분히 정확한 평가 결과를 제공한다.

일 실시예에 따라, 제1 평가 매개변수는 제1 객체의 위치 및/또는 방향과 관련한 확률이다. 추가로 또는 대안적으로, 제2 평가 매개변수는 제2 객체의 위치 및/또는 방향과 관련한 확률일 수 있다. 확률에 의해, 예컨대 위치 및/또는 방향의 정밀도, 더 정확하게는 위치 및/또는 방향의 확률 분포와 관련한 위치 매개변수의 정밀도가 명시될 수 있다. 제1 또는 제2 평가 매개변수는 예컨대 확률 분포의 위치 매개변수 및/또는 분산 매개변수(dispersion parameter)일 수 있다. 제1 또는 제2 평가 매개변수가 신뢰 구간(confidence interval)을 나타낼 수도 있다. 그에 따라, 본원 방법의 정확도 및 신뢰도가 증대될 수 있다.

일 실시예에 따라, 제1 버전을 통해 제1 객체들 중에서 차량에 연관된 제1 객체가 선택된다. 이때, 상기 연관된 제1 객체를 제2 객체와 비교함으로써 서로 일치하는 객체들이 결정된다. 그런 다음, 서로 일치하는 객체들의 평가 매개변수들이 서로 비교된다. 앞서 이미 계속 언급한 것처럼, 제1 객체들 중 연관성 있는 제1 객체는, 예컨대 차량에 대한 객체의 상대 거리 및/또는 상대 속도에 따라 그리고/또는 객체 클래스에 따라 선택될 수 있다. 이는, 상황 및/또는 기능에 따라, 예컨대 제1 객체를 다양한 연관성 카테고리(relevance category)로, 가장 단순한 경우 예컨대 "연관성 있음" 및 "연관성 없음"이라는 연관성 카테고리로 분류함으로써, 제1 객체의 연관성을 결정하도록 구성될 수 있는, 제1 버전의 제1 해석 모듈에 의해 수행될 수 있다. 이를 통해, (검증되거나 출시된) 제1 버전을 통해 연관성 있는 것으로 인식된 객체를 제2 버전이 인식하는지의 여부가 확인될 수 있다. 이 점이 확인되면, 이는, 제2 버전의 인식 품질이 적어도 제1 버전의 인식 품질보다 더 나쁘지 않다는 것에 대한 강력한 지표(strong indication)로서 인정될 수 있다.

일 실시예에 따라, 제2 버전을 통해, 연관성 있는 제1 객체와 일치하지 않는 제2 객체들 중에서 차량에 연관된 제2 객체가 선택된다. 이 경우, 각각의 연관성 있는 제2 객체에 대해, 제2 버전을 통한 연관성 있는 제2 객체의 인식이 제1 버전에 비해 제2 버전의 인식 품질의 향상 및 저하 중 어느 것에 상응하는지의 여부를 지시하는 개별 평가가 생성된다. 그런 다음, 제2 버전은 계속하여 개별 평가들을 기반으로 평가된다. 이를 위해, 우선, 제2 객체 데이터가, 연관성 있는 제1 객체들 중 어느 것과도 일치하지 않는 제2 객체, 다시 말해 제1 버전에 의해 인식되지 않았거나 적어도 연관성 있는 것으로서 인식되지 않았던 제2 객체를 포함하는지의 여부가 확인될 수 있다. 또한, 연관성 있는 제1 객체들 중 어느 것과도 일치하지 않는 제2 객체가 차량과 연관성이 있는지의 여부가 확인될 수 있다. 이는, 이미 앞서 계속 언급한 것처럼, -제1 해석 모듈과 유사하게- 상황 및/또는 기능에 따라, 예컨대 제2 객체들을 다양한 연관성 카테고리로, 가장 단순한 경우 예컨대 "연관성 있음" 및 "연관성 없음"이라는 연관성 카테고리로 분류함으로써, 제2 객체의 연관성을 결정하도록 구성될 수 있는, 제2 버전의 제2 해석 모듈에 의해 수행될 수 있다.

개별 평가들은 예컨대 평가 결과의 부분으로서 중앙 데이터 처리 장치로 송신될 수 있다. 추가로 또는 대안적으로, 평가 결과는 각각의 개별 평가의 기초가 되는 객체 데이터 및/또는 센서 데이터를 포함할 수 있다. 객체 데이터 및/또는 센서 데이터는, 이들 데이터를 기초로 하는 개별 평가가 제1 버전을 기준으로 제2 버전의 인식 품질 저하를 나타내는 경우에만 평가 결과의 부분으로서 송신될 수 있다.

이 실시예를 통해 제2 버전은, 이 제2 버전이 이미 제1 버전에 의해 인식된 연관성 있는 객체를 인식하는지의 여부에 따라 평가될 수 있다. 제2 버전의 평가는 예컨대 각각의 개별 평가에 의해 다시 계산될 수 있다.

일 실시예에 따라, 센서 데이터를 기반으로, 그리고/또는 차량의 적어도 하나의 주행 동역학 센서를 통해 생성된 주행 동역학 데이터를 기반으로, 연관성 있는 제2 객체가 제2 버전에 의해 인식된 인식 시점과 시간상 상관관계가 있는 차량의 주행 상태의 변화가 결정된다. 이 경우, 각각의 개별 평가는, 각각의 연관성 있는 제2 객체와 시간상 상관관계가 있는 차량 상태 변화의 평가를 통해 생성된다. 제1 버전을 통해 (연관성 있는 것으로) 인식되지 않았던 연관성 있는 제2 객체의 인식이 실제로 제1 버전에 비해 제2 버전의 인식 품질의 향상에 상응하는지의 여부를 확인하기 위해, 센서 데이터 및/또는 주행 동역학 데이터는 예컨대, 해당 객체의 인식 시점에서의 차량 운전자의 반응을 결정하고 이를 해석하기 위해 평가될 수 있다. 예를 들면, 운전자의 연관 반응이 전혀 확인될 수 없거나, 적어도 전혀 확인될 수 없다면, 이는 해당 객체의 인식에 의해 인식 품질이 명목상 향상되지 않았다는 점에 대한 강력한 지표로서 인정될 수 있고, 그 반대도 마찬가지다.

일 실시예에 따라, 제2 객체 데이터는 복수의 연속하는 시간 단계에서 생성된다. 이 경우, 제2 객체는 상이한 시간 단계에서의 제2 객체 데이터 간의 비교를 통해 그 타당성이 검사된다. 그런 다음 제2 버전은 제2 객체의 타당성에 따라 추가로 평가된다. 예를 들어, 상이한 시간 단계들에서 하나의 동일한 객체의 위치 및/또는 방향은, 비일관성, 다시 말해 객체의 위치 및/또는 방향의 타당하지 않은 변화를 결정하기 위해, 서로 비교될 수 있다. 이로써, 제2 버전이 시간에 따라 일관되고 타당한 객체 데이터를 공급하는지의 여부가 확인될 수 있다. 객체 데이터는 타당하지 않은 개별 객체와 관련하여, 예컨대 복수의 연속하는 시간 단계에 걸친 상기 객체들의 위치 및/또는 방향과 관련하여 평가 결과의 부분으로서 중앙 데이터 처리 장치로 송신될 수 있다.

일 실시예에 따라, 평가 결과는, 센서 데이터, 제1 객체 데이터 및/또는 제2 객체 데이터로 구성된 데이터 시퀀스를 포함한다. 제2 버전의 평가는 상기 데이터 시퀀스를 기반으로 할 수 있다. 달리 표현하면, 데이터 시퀀스는 제1 버전 대비 제2 버전의 인식 품질의 향상 또는 저하를 나타낼 수 있다. 이러한 데이터 시퀀스의 송신을 통해, 인식 품질과 관련하여 제2 버전의 목표 외부 평가가 가능해진다.

일 실시예에 따라, 데이터 시퀀스는, 제2 버전이 인식 품질과 관련하여 제1 버전보다 좋지 못한 것으로 평가된 경우에만 송신된다. 이를 통해, 제어 장치와 중앙 데이터 처리 장치 간의 데이터 통신의 효율이 개선될 수 있다.

하기에서는 첨부 도면을 참조하여 본 발명의 실시예들을 설명하며, 이때 도면과 설명 중 어느 것도 본 발명을 제한하는 것으로서 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 제어 장치를 구비한 차량을 도시한 도면이다.
도 2는 도 1의 제어 장치에서 실행되는 소프트웨어의 다양한 모듈을 도시한 도면이다.
도면들은 개략적으로 도시되었을 뿐 실제와 일치하지 않는다. 도면들에서 동일한 도면부호는 동일한 기능 또는 동일한 효과를 갖는 기능을 나타낸다.

도 1에는, 제어 장치(102), 차량(100)의 주변을 감지하기 위한 센서 시스템(104), 및 액추에이터 시스템(106)이 구비된 차량(100)이 도시되어 있다.

센서 시스템(104)은 예컨대 카메라, 레이더 센서, 라이다 센서 및/또는 초음파 센서를 포함할 수 있다. 추가로, 센서 시스템(104)은 적어도 하나의 주행 동역학 센서, 예컨대 가속도 센서 또는 요레이트 센서(yaw rate sensor)를 포함할 수 있다. 센서 시스템(104)은 복수의 연속하는 시간 단계에서 센서 데이터(108)를 생성하고, 이 센서 데이터는 제어 장치(102)에서 수신되어 거기서 객체 인식의 범주에서 평가된다. 제어 장치(102)는, 상응하는 소프트웨어(111)가 저장되어 있는 메모리(110) 및 상기 소프트웨어(111)를 실행하기 위한 프로세서(112)를 포함한다.

제어 장치(102)는 센서 데이터(108)를 기반으로, 다시 말해 이로써 수행된 객체 인식의 결과를 기반으로, 액추에이터 시스템(106)을 자동 제어하기 위한 제어 신호(114)를 생성할 수 있다. 액추에이터 시스템(106)은 예컨대 차량(100)의 조향 또는 제동을 위한 하나 이상의 조향- 및/또는 브레이크 액추에이터를 포함할 수 있다.

제어 장치(102)에서는 소프트웨어(111)의 2개의 버전(111a, 111b)이 동시에 실행되며, 이들 버전 내로 각각 센서 데이터(108)가 입력된다. 이 경우, 소프트웨어(111)의 제1 버전(111a)을 통한 센서 데이터(108)의 평가를 통해서는 차량(100)의 주변에 있는 제1 객체(116)가 인식되는 반면, 소프트웨어(111)의 제2 버전(111b)을 통한 센서 데이터(108)의 평가를 통해서는 차량(100)의 주변에 있는 제2 객체(118)가 인식된다. 제1 객체(116) 및 제2 객체(118), 여기서는 예를 들어 선행 차량들은 동일하거나 상이한 객체일 수 있다. 제2 객체(118)와 제1 객체(116)의 비교를 통해, 제어 장치(102)는 제1 버전(111a) 대비 제2 버전(111b)의 인식 품질을 평가할 수 있다. 이는 하기에서 도 2를 참조하여 더 상세하게 설명된다.

도 2에는, 제어 장치(102)에서 실행되는 소프트웨어(111)의 블록선도가 도시되어 있다. 본 예시에서, 제1 버전(111a)은 소프트웨어(111)의 이미 검증되거나 출시된 버전, 다시 말해 활성 버전인 반면, 제2 버전(111b)은 소프트웨어(111)의 아직 검증되지 않았거나 아직 출시되지 않은 버전이며, 이 버전은 제1 버전(111a)과 달리 제어 장치(102)의 제한된 작동 환경(200)에서 실행될 수 있고, 다시 말해 제한된 작동 환경(200)의 외부에 있는 구성요소로부터 차폐된 시험 영역에서 제1 버전(111a)과 함께 수동적으로(passive) 실행될 수 있다. 제2 버전(111b)은 제1 버전(111a)의 업데이트 버전일 수 있으며, 예컨대 제1 버전(111a)에 비해 개선되고 그리고/또는 확장된 소프트웨어(111)의 버전이다. 제2 버전(111b)은 섀도우 소프트웨어(Shadow Software)라고도 지칭될 수 있다.

그 대안으로, 제2 버전(111b)이 별도의 제어 장치에서 동일한 방식으로 할당될 수 있다.

본 예시에서, 센서 데이터(108)는 제1 버전(111a)의 제1 인식 모듈(202)뿐만 아니라 제2 버전(111b)의 제2 인식 모듈(204)에도 입력된다. 이 경우, 제1 인식 모듈(202)은 센서 데이터(108)를 토대로, 차량(100)에 대한 제1 객체(116)의 상대 위치 및/또는 상대 방향을 포함하는 제1 객체 데이터(206)를 생성한다. 제2 인식 모듈(204)은 센서 데이터(108)를 토대로, 차량(100)에 대한 제2 객체(118)의 상대 위치 및/또는 상대 방향을 포함하는 제2 객체 데이터(208)를 생성한다.

인식된 객체(116, 118)는 이들의 각각의 위치 및/또는 방향과 함께 예컨대 객체 목록의 형태로 차량(100) 주변의 환경 모델에 저장되고, 거기서 연속적으로 센서 데이터(108)를 기반으로 업데이트될 수 있다. 이러한 맥락에서, 제1 객체(116)와 제2 객체(118)는 환경 모델에 저장된, 차량(100) 주변에 실제로 존재하는 객체의 객체 모델로 이해될 수 있다.

각각의 위치 및/또는 방향에 추가로, 제1 객체 데이터(206) 및/또는 제2 객체 데이터(208)는 예컨대 "차량", "보행자" 또는 "차선 표시"와 같은, 각각의 인식된 객체(116 또는 118)에 대한 하나 이상의 객체 유형을 명시할 수 있다.

제1 객체 데이터(206)와 제2 객체 데이터(208)는 소프트웨어(111)의 평가 모델(210)로 입력되며, 이 평가 모델은 본 예시에서 제2 버전(111b)처럼 안전상의 이유로 제한된 작동 환경(200)에서 실행된다. 평가 모듈(210)은, 제1 객체 데이터(206)를 적합한 방식으로 제2 객체 데이터(208)와 비교함으로써, 제1 버전(111a)과 관련하여 제2 버전(111b)의 인식 품질을 평가한다. 이 경우, 평가 모듈(210)은 상응하는 평가 결과(212)를 생성하고, 이를 추가 평가를 위해, 예컨대 WLAN 연결, 블루투스 연결 및/또는 이동 무선 연결을 통해, 차량(100) 외부의 중앙 데이터 처리 장치(214)로 송신한다.

이러한 평가의 범주에서 제1 객체(116)는, 하나 이상의 적합한 평가 매개변수에 기반하여, 예컨대 각각의 인식 시점에 기초하여, 또는 각각의 위치 및/또는 방향의 정확도 및/또는 신뢰도와 관련한 하나 이상의 추정값에 기반하여 상응하는 제2 객체(118)와 비교될 수 있다.

제1 객체 데이터(206)는 제1 버전(111a)의 제1 해석 모듈(216)을 통해 해석될 수 있으며, 다시 말해 차량(100)에 대한 연관성의 관점에서 평가될 수 있다. 이 경우, 제1 해석 모듈(216)은 차량(100)의 현재 상황에 따라, 제1 객체(116)로부터 하나 이상의 연관성 있는 제1 객체(116'), 도 1에서는 예컨대 차량(100)의 왼쪽 옆에서 선행하는 차량을 선택할 수 있고, 그에 상응하게 필터링된 제1 객체 데이터(206')를 평가 모듈(210)로 송신할 수 있다.

그런 다음, 평가 모듈(210)은 예컨대 각각의 위치 및/또는 방향 및/또는 각각의 인식 시점을 기반으로, 상기 연관성 있는 제1 객체(116')를 상응하는 제2 객체(118)와 연관시킬 수 있다. 이어서, 제2 버전(111b)을 평가하기 위해, 서로 연관된 객체들의 평가 매개변수가 서로 비교될 수 있다. 서로 연관된 객체들은, 차량(100)의 주변에 실제로 존재하는 하나의 동일한 객체의 객체 모델인 점에 한해 서로 일치하는 객체들일 수 있다.

또한, 제2 객체 데이터(208)는 제2 버전(111b)의 제2 해석 모듈(218)을 통해 해석될 수 있으며, 다시 말해 차량(100)에 대한 연관성과 관련하여 평가될 수 있다. 이 경우, 제2 해석 모듈(218)은 차량(100)의 현재 상황에 따라 제2 객체들(118) 중에서 하나 이상의 연관성 있는 제2 객체(118'), 도 1에서는 예를 들어 차량(100)의 오른쪽 옆에서 선행하는 차량을 선택할 수 있고, 그에 상응하게 필터링된 제2 객체 데이터(208')를 평가 모듈(210)로 송신할 수 있다.

이 경우, 평가 모듈(210)은, 연관성 있는 제1 객체들(206') 및 연관성 있는 제2 객체들(208') 중에서 명백히 서로 일치하는 객체들이 존재하는지의 여부를 판단할 수 있다. 연관성 있는 제2 객체들(208') 중 하나가 연관성 있는 제1 객체들(206') 중 하나와 일치하지 않으면, 평가 모듈(210)은 상기 제2 객체에 대해 상기 제2 객체의 인식이 제1 버전(111a) 대비 제2 버전(111b)의 인식 품질의 향상을 나타내는지 또는 저하를 나타내는지의 여부를 지시하는 개별 평가를 생성할 수 있다. 그런 다음, 상기 개별 평가를 기반으로 평가 결과(212)가 생성될 수 있다.

개별 평가의 생성은 센서 데이터(108)를 기반으로 수행될 수 있다. 이 경우, 센서 데이터(108)는, 차량(100)의 하나 이상의 환경 센서를 통해 생성되었던 환경 데이터에 추가로, 차량(100)의 하나 이상의 주행 동역학 센서를 통해 생성되었던 주행 동역학 데이터를 포함할 수 있다.

평가 모듈(210)을 통한 센서 데이터(108)의 평가 시, 제2 객체(118')의 인식과 시간적으로 상관관계가 있는, 예컨대 차량 운전자의 상응하는 반응을 통해 트리거되는, 차량(100)의 주행 다이내믹 상태의 변화가 결정될 수 있다. 이 변화에 기반하여 최종적으로, 관련 객체의 인식이 제2 버전(111b)의 인식 품질의 향상과 저하 중 어느 쪽에 해당하는지의 여부가 확인될 수 있다.

그 대안으로, 제2 해석 모듈(218)은, 우선 제2 객체들(118) 중에서, 연관성 있는 제1 객체들(116') 중 어느 것과도 명백히 일치하지 않는 제2 객체들을 결정한 다음, 이들 중 연관성 있는 제2 객체(118')를 선택하도록 구성될 수 있다.

추가로, 평가 모듈(210)은 제2 객체(118)의 타당성을 검사하도록 구성될 수 있다. 이를 위해, 평가 모듈(210)은 복수의 연속하는 시간 단계의 제2 객체 데이터(208)에 근거하여 제2 객체(118)를 평가할 수 있다. 이 경우, 평가 결과(212)는 추가로 제2 객체(118)의 타당성의 고려하에 결정될 수 있다. 타당하지 않거나 일관성이 없는 제2 객체(118)에 대한 예시가 도 1에 파선 프레임으로 표시되어 있다.

제2 버전(111b)의 평가는 제2 인식 모듈(204) 및/또는 제2 해석 모듈(218)에 의해 해결되어야 하는 인식 작업의 검증의 의미에서 예컨대 하기 단계들을 포함할 수 있다.

제1 단계로서, 제1 버전(111a)에 의해 인식된 연관성 있는 제1 객체(116')가 복원 모드로 실행되는 제2 버전(111b)을 통해서도 동일하거나 개선된 유형 및 방식으로 인식되었는지의 여부가 검사된다. 이 경우, 제1 객체(116)의 연관성은 제1 인식 모듈(202) 자체를 통해서가 아니라, 제1 해석 모듈(216)을 통해, 다시 말해 하나 이상의 후속 해석 소프트웨어 요소를 통해 일종의 상황 분석으로 결정된다. 제2 객체들(118) 중 어느 것이 연관성 있는 제1 객체(116')에 상응하는지를 확인하기 위해, 평가 모듈(210)에서는 연관이 수행된다. 그런 다음, 예컨대 각각의 위치 및/또는 방향과 관련한 인식 시점 또는 신뢰도를 포함할 수 있는 정의된 계량법(metrics)에 기반하여, 두 버전(111a, 111b)의 인식 품질이 서로 비교된다. 제2 버전(111b)의 인식 품질의 저하가 확인되면, 상응하는 데이터 시퀀스가 즉각 중앙 데이터 처리 장치(214)로 송신될 수 있다. 데이터 시퀀스는 상응하는 센서 데이터(108) 및/또는 상응하는 객체 데이터(116 또는 118)를 토대로 생성될 수 있다. 반대로, 인식 품질의 향상은 중앙 데이터 처리 장치(214)에 상기 데이터 시퀀스가 도착하지 않는 것으로써 확인될 수 있다. 추가로 또는 대안적으로, 인식 품질의 향상 또는 저하는 제어 장치(102)로부터 중앙 데이터 처리 장치(214)로의 번들링된 통계의 정기적인 송신을 통해 기록될 수 있다.

제2 단계로서, 제2 버전(111b)에 의해 인식되었으나 연관성 있는 제1 객체들(116') 중 어느 것과도 연관될 수 없는 각각의 제2 객체(118)에 대해, 차량(100)에 대한 그의 연관성이 확인되며, 상기 제2 객체의 인식을 통해 인식 품질이 저하되었는지 또는 향상되었는지의 여부를 지시하는 평가가 수행된다. 제2 해석 모듈(218)이 일종의 상황 분석으로, 연관성 있는 제1 객체들(116') 중 어느 것과도 연관될 수 없는 제2 연관 객체(118')를 결정하였다면, 우선 정의된 로직에 의해, 예컨대 상기 객체에 대한 운전자의 반응에 기반하여, 상기 객체의 인식이 인식 품질의 향상을 나타내는지 또는 저하를 나타내는지의 여부가 결정된다. 로직에 따라 이 프로세스가 통계로 기록될 수 있다. 추가로 또는 대안적으로, 중앙 데이터 처리 장치(214)에서의 외부 평가를 위해 상응하는 데이터 시퀀스의 직접 송신이 트리거될 수 있다.

제3 단계로서, 제2 객체(118) 및/또는 연관성 있는 제2 객체(118')가 시간에 걸쳐 일관되고 타당한지의 여부가 검사된다. 이를 위해, 평가 모듈(210)은 시간별 거동에 근거하여 센서 데이터(108) 및/또는 제2 객체 데이터(208 또는 208')를 토대로 예컨대 차량(100)의 더 가까운 주변에서 제2 객체(118)가 갑자기 나타나거나 갑자기 사라지는 등의 비일관성을 검출한다. 이러한 객체들에 대한 정보는 직접 상응하는 데이터 시퀀스의 형태로 또는 번들링되어 통계의 형태로 제어 장치(102)로부터 데이터 처리 장치(214)로 송신될 수 있다.

분류 작업의 검증이 유사한 방식으로 수행될 수 있다.

마지막으로, "구비하는", "포함하는" 등과 같은 용어는 다른 요소 또는 단계를 배제하지 않으며, "하나"와 같은 용어는 복수를 배제하지 않는다는 점에 유의한다. 청구 범위 내 도면부호는 제한으로 간주되어서는 안 된다.

Claims

차량(100)의 제어 장치(102)용 소프트웨어(111)를 평가하는 방법이며,
제어 장치(102)는, 소프트웨어(111)의 제1 버전(111a) 및 제2 버전(111b)이 저장되어 있는 메모리(110)와, 제1 버전(111a) 및 제2 버전(111b)을 실행하기 위한 프로세서(112)를 포함하고,
상기 방법은:
제어 장치(102)에서, 차량(100)의 주변을 감지하기 위한 센서 시스템(104)을 통해 생성된 센서 데이터(108)를 수신하는 단계;
제1 버전(111a) 및 제2 버전(111b)에 센서 데이터(108)를 입력하는 단계;
제1 버전(111a)에 의해 센서 데이터(108)를 토대로 제1 객체 데이터(206, 206')를 생성하는 단계; - 제1 객체 데이터(206, 206')는 차량(100)의 주변에서 제1 버전(111a)에 의해 인식된 제1 객체(116, 116')의 위치 및/또는 방향을 포함함 -;
제2 버전(111b)에 의해 센서 데이터(108)를 토대로 제2 객체 데이터(208, 208')를 생성하는 단계; - 제2 객체 데이터(208, 208')는 차량(100)의 주변에서 제2 버전(111b)에 의해 인식된 제2 객체(118, 118')의 위치 및/또는 방향을 포함함- ;
제1 객체 데이터(206, 206')를 제2 객체 데이터(208, 208')와 비교함으로써 인식 품질과 관련하여 제2 버전(111b)을 평가하는 단계; - 여기서, 평가 결과(212)가 생성됨 -; 및
상기 평가 결과(212)를 제어 장치(102)로부터 중앙 데이터 처리 장치(214)로 송신하는 단계;를 포함하는, 차량 제어 장치용 소프트웨어의 평가 방법.
제1항에 있어서, 각각의 제1 객체(116, 116')에 대해, 상기 제1 객체(116, 116')가 제1 버전(111a)을 통해 얼마나 잘 인식되었는지를 지시하는 적어도 하나의 제1 평가 매개변수가 결정되고;
각각의 제2 객체(118, 118')에 대해, 상기 제2 객체(118, 118')가 제2 버전(111b)을 통해 얼마나 잘 인식되었는지를 지시하는 적어도 하나의 제2 평가 매개변수가 결정되며;
제2 버전(111b)은 제2 평가 매개변수와 제1 평가 매개변수의 비교를 통해 평가되는; 차량 제어 장치용 소프트웨어의 평가 방법.
제2항에 있어서, 제1 평가 매개변수는, 제1 객체(116, 116')가 제1 버전(111a)에 의해 인식된 인식 시점이고; 그리고/또는
제2 평가 매개변수는, 제2 객체(118, 118')가 제2 버전(111b)에 의해 인식된 인식 시점인; 차량 제어 장치용 소프트웨어의 평가 방법.
제2항 또는 제3항에 있어서, 제1 평가 매개변수는 제1 객체(116, 116')의 위치 및/또는 방향과 관련한 확률이고; 그리고/또는
제2 평가 매개변수는 제2 객체(118, 118')의 위치 및/또는 방향과 관련한 확률인; 차량 제어 장치용 소프트웨어의 평가 방법.
제2항 내지 제4항 중 어느 한 항에 있어서, 제1 버전(111a)에 의해 제1 객체들(116) 중에서 차량(100)에 관련된 제1 객체(116')가 선택되고;
연관성이 있는 제1 객체(116')를 제2 객체(118, 118')와 비교함으로써, 서로 일치하는 객체들(116', 118, 118')이 결정되며;
서로 일치하는 객체들(116', 118, 118')의 평가 매개변수들이 서로 비교되는; 차량 제어 장치용 소프트웨어의 평가 방법.
제5항에 있어서, 제2 버전(111b)에 의해, 연관성 있는 제1 객체(116')와 일치하지 않는 제2 객체들(118) 중에서 차량(100)과 연관성이 있는 제2 객체(118')가 선택되고;
각각의 연관성 있는 제2 객체(118')에 대해, 제2 버전(111b)에 의한 상기 연관성 있는 제2 객체(118')의 인식이 제1 버전(111a) 대비 제2 버전(111b)의 인식 품질의 향상 및 저하 중 어느 것에 상응하는지 여부를 지시하는 개별 평가가 생성되며;
제2 버전(111b)은 추가로 상기 개별 평가들을 기반으로 평가되는; 차량 제어 장치용 소프트웨어의 평가 방법.
제6항에 있어서, 센서 데이터(108)를 기반으로, 그리고/또는 차량(100)의 적어도 하나의 주행 동역학 센서를 통해 생성된 주행 동역학 데이터를 기반으로, 연관성 있는 제2 객체(118')가 제2 버전(111b)에 의해 인식된 인식 시점과 시간상 상관관계가 있는 차량(100)의 주행 상태의 변화가 결정되며;
각각의 개별 평가는, 각각의 연관성 있는 제2 객체(118')와 시간상 상관관계가 있는 차량 상태 변화의 평가를 통해 생성되는; 차량 제어 장치용 소프트웨어의 평가 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 제2 객체 데이터(208, 208')는 복수의 연속하는 시간 단계에서 생성되고;
제2 객체(118, 118')는 상이한 시간 단계에서의 제2 객체 데이터(208, 208') 간의 비교를 통해 그 타당성이 검사되며;
제2 버전(111b)은 상기 제2 객체(118, 118')의 타당성에 따라 추가로 평가되는; 차량 제어 장치용 소프트웨어의 평가 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 평가 결과(212)는 센서 데이터(108), 제1 객체 데이터(206, 206') 및/또는 제2 객체 데이터(208, 208')로 구성된 데이터 시퀀스를 포함하는, 차량 제어 장치용 소프트웨어의 평가 방법.
제9항에 있어서, 상기 데이터 시퀀스는, 제2 버전(111b)이 인식 품질과 관련하여 제1 버전(111a)보다 좋지 못한 것으로 평가된 경우에만 송신되는, 차량 제어 장치용 소프트웨어의 평가 방법.
제1항 내지 제10항 중 어느 한 항에 따른 방법을 실행하도록 구성된 프로세서(112)를 포함하는 제어 장치(102).
프로세서(112)를 통해 컴퓨터 프로그램이 실행될 때, 프로세서(112)로 하여금 제1항 내지 제10항 중 어느 한 항에 따른 방법을 실행하게 하는 명령을 포함하는 컴퓨터 프로그램.
제12항에 따른 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 매체.