KR20220150212A

KR20220150212A - 자동차의 운전 동작을 지원하기 위한 방법 및 보조 장치 그리고 자동차

Info

Publication number: KR20220150212A
Application number: KR1020220053799A
Authority: KR
Inventors: 마르쿠스 호프바우어; 크리스토퍼 쿤; 고란 페트로빅; 에크하르트 슈타인바흐
Original assignee: 바이에리쉐 모토렌 베르케 악티엔게젤샤프트
Priority date: 2021-05-03
Filing date: 2022-04-29
Publication date: 2022-11-10
Also published as: US20220348211A1; JP7461399B2; DE102021111325A1; JP2022172444A; CN115366885A

Abstract

본 발명은, 자동차(12)의 자동 운전 동작을 지원하기 위한 방법 및 보조 장치(16)에 관한 것이다. 여기에서, 자동차(12)의 주변 환경 센서 시스템(24)에 의해 기록된 주변 환경 미가공 데이터는 의미론적 주변 환경 데이터를 생성하기 위한 보조 장치(16)에 의해서 처리된다. 이 목적을 위해, 의미론적 물체 인식이 실시된다. 계속해서, 의미론적 주석이 붙은 미리 정의된 맵 데이터(32)와 의미론적 주변 환경 데이터의 비교가 실행된다. 이때에는, 맵 데이터(32) 내에 명시된 정적 물체(18)가 의미론적 주변 환경 데이터 내에서 최대한 식별된다. 이때 검출된 불일치를 참조하여, 보조 장치(16)의 지각 오류가 인식된다. 마지막으로, 이와 같은 인식된 지각 오류에 대한 응답으로 미리 정의된 안전 조치가 취해진다. 본 발명은, 또한 상응하게 설계된 자동차(12)에 관한 것이다.

Description

자동차의 운전 동작을 지원하기 위한 방법 및 보조 장치 그리고 자동차{METHOD AND ASSISTANCE DEVICE FOR SUPPORTING DRIVING OPERATION OF A MOTOR VEHICLE AND MOTOR VEHICLE}

본 발명은, 자동차의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위한 방법과 관련이 있다. 본 발명은, 또한 이와 같은 방법을 위해 설계된 자동차용 보조 장치 그리고 이와 같은 보조 장치가 장착되어 있고 적어도 부분적으로 자동화된 운전 동작을 위해 설계된 자동차와도 관련이 있다.

최근 몇 년 동안 자동화된 자동차의 개발이 상당한 진전을 이루었지만, 현재 아직까지 끝나지 않았다. 자동차의 자동화된 운전 또는 자동화된 동작과는 수많은 개별적인 문제점 및 도전이 결부되어 있다. 이와 같은 문제점 및 도전은, 예를 들어 자동차의 개별 주변 환경의 인식 및 해석, 자동차에 대한 자동 궤적 계획 또는 경로 찾기 및/또는 또 다른 유사한 것들과 관련이 있다.

접근 방식으로서, 예를 들어 WO 2018/104 563 A2호에는 도로 네트워크를 통과해서 이동하는 차량의 지리적 위치 및 방위를 결정하기 위한 방법이 설명되어 있다. 이 방법에서는, 도로 네트워크의 주변 환경을 반영하는 일련의 이미지가 차량과 연관된 카메라에 의해서 획득되어야만 한다. 이때, 각각의 이미지는 그 이미지가 촬영된 연관 카메라 위치를 갖고 있다. 이미지 및 연관 카메라 위치 중 적어도 몇몇을 토대로 하여, 차량이 이동하는 도로 네트워크 영역을 나타내는 로컬 맵 표현이 발생된다. 이와 같은 로컬 맵 표현은 기준 맵의 해당 섹션과 비교된다. 그 다음에는 이 비교를 토대로 하여, 도로 네트워크 내부에서 차량의 지리적 위치 및 방위가 결정되어야만 한다. 이와 같은 방식으로, 자율 주행 차량은 안전한 접근 방식을 결정하기 위하여 심지어 세계 안에서도 자동으로 위치를 파악할 수 있어야만 한다.

또 다른 접근 방식은 US 2019/0 220 011 A1호에 설명되어 있다. 이 간행물에서는 차량의 운전 파라미터가 계산되어야만 하며, 이 운전 파라미터를 이용해서는 자율 주행 차량의 무인 운송이 주행 경로와 동일한 공간에 걸쳐서(coextensively) 가능하게 되어야만 한다. 또한, 차량의 제어 장치로부터의 제어 신호를 나타내는 데이터가 관찰되고, 이벤트가 검출된다. 그 후에, 이벤트 데이터의 저장이 트리거링 되고 전송 제어 기준이 결정된다. 그 다음에, 이벤트 데이터가 통신 네트워크를 경유하여 논리 적응 컴퓨팅 플랫폼으로 전송된다. 이로써, 무인 차량의 제어와 연관된 이상(abnormality)을 해결하기 위해 자율 제어 기능을 구현하기 위한 솔루션이 종래 기술을 제한하지 않으면서 제공되어야만 한다.

본 발명의 과제는, 적어도 부분적으로 자동화된 자동차의 특히 안전한 작동을 가능하게 하는 것이다.

상기 과제는, 본 발명에 따라 독립 특허 청구항들의 대상들에 의해서 해결된다. 본 발명의 가능한 실시예들 및 개선예들은 종속 특허 청구항들에, 상세한 설명 부분에 그리고 도면에 개시되어 있다.

본 발명에 따른 방법은, 자동차의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위해 이용된다. 따라서, 자동차의 운전자는 자동차를 운전할 때 곧바로 지원을 받을 수 있고, 자동차의 각각 현재의 자동화된 운전 동작이 개선될 수 있으며 그리고/또는 그 자동차의 또는 일 자동차의 미래의 적어도 부분적으로 자동화된 운전 동작이 지원될 수 있거나 개선될 수 있다. 본 발명에 따른 방법은 다수의 방법 단계, 특히 자동으로 실시되거나 실시될 수 있는 방법 단계를 포함한다.

본 발명에 따른 방법의 일 방법 단계에서는, 자동차의 각각 현재의 주변 환경을 묘사하거나 특성화하는 주변 환경 미가공 데이터가 자동차의 주변 환경 센서 시스템을 이용해서 기록된다. 주변 환경 센서 시스템은 예를 들어 하나 이상의 카메라, 라이더 장치, 레이더 장치 및/또는 초음파 장치 및/또는 그와 유사한 장치 등일 수 있거나 이와 같은 장치를 포함할 수 있다. 그에 상응하게, 주변 환경 미가공 데이터는 주변 환경 센서 시스템에 의해 직접 제공되는 상응하는 측정 데이터일 수 있거나 이와 같은 특정 데이터를 포함할 수 있다. 마찬가지로, 주변 환경 미가공 데이터는 이미 부분적으로 처리될 수 있거나 전처리 될 수 있다. 자동차의 각각 현재의 주변 환경은 특히 적어도 이론적으로 자동차의 주변 환경 센서 시스템의 감지 유효 범위 또는 검출 유효 범위 내부에 있는 영역일 수 있다.

본 발명에 따른 방법의 또 다른 일 방법 단계에서는, 자동차의 보조 장치를 이용해서 주변 환경 미가공 데이터로부터 의미론적 주변 환경 데이터가 생성된다. 이 목적을 위해, 의미론적 물체 인식이 주변 환경 미가공 데이터 상에서 실시되거나 주변 환경 미가공 데이터에 적용된다. 본 의미에서, 이와 같은 의미론적 물체 인식은, 예를 들어 다른 교통 참여자, 도로 장비, 장애물, 건물 및/또는 이와 유사한 것들을 인식하기 위한 종래의 물체 검출일 수 있거나 종래의 물체 검출을 포함할 수 있다. 마찬가지로, 의미론적 물체 인식은 의미론적 분할일 수 있거나 의미론적 분할을 포함할 수 있다. 다시 말해, 본 의미에서의 물체는 예를 들어 또한 차선, 자전거 도로, 횡단 보도와 같은 주변 환경 영역 및/또는 이와 유사한 것일 수 있다. 마찬가지로, 의미론적 물체 인식은 물체 트랙킹, 다시 말해 물체 추적일 수 있거나 물체 추적을 포함할 수 있거나, 적어도 이와 같은 물체 추적의 일 부분 단계를 나타낼 수 있다. 따라서, 의미론적 주변 환경 데이터는, 어떤 물체가, 즉 어떤 유형의 물체 또는 어떤 타입의 물체가 자동차의 주변 환경에서 보조 장치에 의해 인식 또는 검출되었는지를 지시할 수 있다.

본 발명에 따른 방법의 또 다른 일 방법 단계에서는, 사전 정의된 의미론적으로 주석이 붙은 자동차 주변 환경의 맵 데이터가 수집되거나 제공된다. 의미론적으로 주석이 붙은 이와 같은 맵 데이터 내에는 주변 환경의 정적 물체가 명시되어 있다. 다른 말로 표현하자면, 맵 데이터 내에는 주변 환경의 영구적인 구성 요소를 형성하는 물체, 특히 움직일 수 없는 물체의 위치가 파악되어 있는데, 다시 말해 장소가 확인되어 있고, 의미론적으로, 다시 말해 물체의 타입 또는 물체의 유형이 표시되어 있다. 맵 데이터는 또한 좌표 또는 위치 정보 및 주변 환경에 있는 이와 같은 정적 물체의 의미론적 라벨 또는 주석도 포함할 수 있다.

본 의미에서의 정적 물체는 예를 들어 교통 경로, 차선 경계, 차선 표시, 예컨대 신호등 장비와 같은 도로 장비, 교통 표지판, 충돌 장벽 및/또는 이와 유사한 것들, 건물 또는 건축 구조물, 녹색 스트립 및/또는 이와 유사한 것들일 수 있거나 이와 유사한 것들을 포함할 수 있다. 맵 데이터는 특히 이와 같은 정적 물체만 명시할 수 있고 동적 물체는 명시할 수 없다. 이와 같은 의미에서의 동적 물체는 예를 들어 다른 교통 참여자와 같이 주변 환경에 다만 일시적으로만 존재하는 움직일 수 있는 물체일 수 있다. 맵 데이터는 특히 소위 HD 맵, 다시 말해 고정밀 맵일 수 있거나 이와 같은 고정밀 맵을 포함할 수 있다. 본 발명에 따른 방법은, 맵 데이터가 더 정확할수록, 더 고해상도일수록, 더 상세할수록, 본 발명의 적용 또는 적용 가능성에 대한 특정의 엄격한 제한 없이 그만큼 더 우수하게 기능을 할 수 있다. 바람직하게, 맵 데이터는 센티미터 범위 내지 미터 범위 안에 있는 해상도를 가질 수 있으며 그리고/또는 완전히 주석이 붙을 수 있는데, 다시 말하자면 전체 영역에 의미론적 주석 또는 분류가 할당할 수 있다.

맵 데이터의 수집은 예를 들어 데이터 메모리로부터, 인터페이스를 거쳐서 또는 예를 들어 차량 외부의 서버 장치에 의해서 맵 데이터를 호출하거나 로딩하는 것을 의미할 수 있거나 포함할 수 있다. 맵 데이터의 이와 같은 수집은 주변 환경 미가공 데이터의 기록 전에, 기록 동안에 또는 기록 직후에 실행될 수 있다.

본 발명에 따른 방법의 또 다른 일 방법 단계에서는, 수집되었고 의미론적으로 주석이 붙은 맵 데이터를 개별적인 의미론적 주변 환경 데이터와 비교하는 작업이 실행된다. 이때, 맵 데이터의 정적 물체는 가능한 한, 다시 말해 정적 물체가 의미론적 주변 환경 데이터 내에 명시되어 있는 정도까지, 의미론적 주변 환경 데이터 내에서 식별된다. 다른 말로 다시 표현하자면, 맵 데이터 내에 또는 맵 데이터에 의해서 명시된 물체를 의미론적 주변 환경 데이터의 부분, 영역 또는 물체에 할당하는 작업이 실행되거나 시도된다. 따라서, 맵 데이터를 또는 맵 데이터 내에 명시된 물체를 의미론적 주변 환경 데이터로 이미지화하거나 매핑하는 작업, 즉 보조 장치의 인식 작업 또는 장면 이해 작업이 실행될 수 있다. 이 목적을 위해 각각 사용될 맵 데이터는 예를 들어 - 예컨대 위성 지원 위치 결정 시스템을 이용해서 자동으로 결정된 - 전역 좌표 시스템 내에서의 자동차의 각각 현재의 위치를 참조해서 그리고/또는 특징 기반의 또는 세부 사항 기반의 할당{영어: feature mapping(특징 매핑)}을 이용해서 결정될 수 있거나 선택될 수 있다.

이와 같은 의미론적 주변 환경 데이터와 맵 데이터의 비교에서는, 맵 데이터 또는 맵 데이터 내에 명시된 물체와 의미론적 주변 환경 데이터, 다시 말해 주변 환경 미가공 데이터를 참조하여 보조 장치에 의해서 인식된 물체 간의 불일치, 다시 말해 편차 또는 차이가 결정될 수 있다. 맵 데이터와 의미론적 주변 환경 데이터 간의 하나 또는 복수의 이와 같은 검출된 불일치를 참조해서는, 본 발명에 따른 방법의 또 다른 일 방법 단계에서 필요에 따라 보조 장치의 지각 오류가 인식된다. 다시 말해, 의미론적 물체 인식 또는 보조 장치의 상응하는 장면 이해가 특히 하나 이상의 정적 물체와 관련하여, 예를 들어 이 정적 물체의 위치 및/또는 의미론적 할당 또는 분류, 다시 말해 그 정적 물체의 타입 또는 유형과 관련하여, 맵 데이터와 모순이 되거나 맵 데이터로부터 편차를 생성하는 경우에는 지각 오류가 존재할 수 있다. 이와 같은 지각 오류는, 예를 들어 보조 장치가 주변 환경의 하나 이상의 물체를 인식하지 못하거나 의미론적으로 잘못 해석하거나 라벨이 붙은 경우에 또는 이와 유사한 경우에 존재할 수 있다.

본 발명에 따른 방법의 또 다른 일 방법 단계에서는, 인식된 이와 같은 지각 오류에 대한 응답으로서 미리 결정된 안전 조치가 자동으로 실시된다. 이 안전 조치는, 예를 들어 자동차의 보조 기능이 전혀 기능을 하지 않거나 다만 제한된 범위 안에서만 기능을 하거나 이용 가능하다는 것을 보여주기 위해 경고 메시지를 발행하는 것, 운전자에 의해서 자동차의 수동 제어를 인수하기 위해 인수 요청을 발행하는 것, 안전 운전 모드로의 전환, 하나 이상의 안전하고 특히 충돌없는 자동차의 정지를 가능하게 하는 안전 궤적으로의 교체, 기본이 되는 주변 환경 미가공 데이터 및/또는 의미론적 주변 환경 데이터의 개별적인 또는 영구적인 저장 및/또는 이와 유사한 것들을 의미할 수 있거나 포함할 수 있다.

종합적으로 말하자면, 본 발명에 따른 방법은 차량 측 지원 시스템의 자동적인 장면 이해의 오류를 자동으로 검출하거나 인식하기 위한 방법으로서 파악될 수 있다. 이때, 본 발명은, 적어도 오늘날 이용 가능한 자동차용 지원 시스템이 결코 완벽하게 또는 100% 신뢰성을 갖고 동작하지 않으며 오히려 항상 반복해서 오류를 범한다는 지식에, 그리고 개별 주변 환경을 위해 이용할 수 있고 의미론적으로 주석이 붙은 맵 데이터가 소위 기본 진리(Ground Truth)로서, 다시 말해 이와 같은 오류 또는 잘못된 해석을 인식하기 위한 신뢰할 만한 기준으로서 이용될 수 있다는 지식에 기초하고 있다. 이와 같은 지식은, 예를 들어 차량 측에서 실행된 물체 인식 또는 주변 환경 인식에 기초해서 상응하는 맵 데이터가 생성되거나 업데이트 되는 반대 접근 방식과 대조를 이루는 것으로 간주 될 수 있다. 후자의 접근 방식은, 상응하는 차량 측 지원 시스템의 오류를 맵 데이터 내에 통합시키며, 이와 같은 오류에 대한 지원 시스템의 신뢰할 만한 인식을 불가능하게 한다.

그와 달리, 본 발명은, 장면에 대한 차량 측 이해를 통상적으로 더 신뢰할 만한, 다시 말해 특히 오류가 적거나 심지어 오류가 없는 의미론적으로 주석이 붙은 맵 데이터와 비교함으로써, 그 자동차 또는 일 자동차의 적어도 부분적으로 자동화된 특히 신뢰할 만하고 안전한 운전 동작을 가능하게 한다. 이 목적을 위해, 차량 측에서 실행된 의미론적 물체 인식의 불일치, 즉 차이 또는 오류가 곧바로 인식될 수 있으며, 이와 같은 상황은 적어도 실질적으로 실시간으로, 다시 말해 진행 중인 운전 동작 동안에 즉각적이고 상응하게 조정된 반응을 가능하게 한다. 추가로 또는 대안적으로, 불일치 또는 지각 오류에 대한 전술된 인식은 보조 장치 또는 의미론적 물체 인식에 대해 특히 문제가 되는 데이터, 소위 에지 케이스(영어: edge case)의 특히 효과적이고 효율적인 수집을 가능하게 할 수 있다. 이와 같은 데이터, 다시 말해 예를 들어 관련이 있거나 기본이 되는 주변 환경 미가공 데이터 및/또는 의미론적 주변 환경 데이터는 오류 분석을 위한, 보조 장치 또는 의미론적 물체 인식을 추후에 개선하기 위한 그리고/또는 상응하게 개선된 바로 그 또는 일 보조 장치용 훈련 데이터를 생성하기 위한 토대로서 사용될 수 있다. 따라서, 후자는 안전성이 향상된 바로 그 또는 일 자동차의 적어도 부분적으로 자동화된 미래의 운전 동작을 가능하게 하는데, 그 이유는 과거에 불일치 또는 지각 오류를 야기했던 수집된 데이터를 참조해서 상응하는 보조 장치가 훈련될 수 있기 때문이다.

본 발명의 가능한 일 실시예에서는, 비교를 위해 맵 데이터의 적어도 일 부분이 개별적인 주변 환경 데이터에 또는 이와 같은 개별적인 주변 환경 데이터로부터 생성된 개별 주변 환경의 주변 환경 모델에 투영된다. 이를 토대로 하여, 다시 말하자면 맵 데이터 및 의미론적 주변 환경 데이터의 조합을 참조하여, 결과적으로 나타나는 물체 방식의 중첩이 결정된다. 여기에서는 예를 들어, 개별적인 의미론적 주변 환경 데이터 내에 있는 맵 데이터에 따라, 예상되는 물체 또는 맵 데이터 내에 명시된 물체의 위치를 파악하는 공간 좌표를 갖는 상응하는 물체 데이터가 사용될 수 있다. 다시 말해, 만일 맵 데이터가 의미론적 주변 환경 데이터에 의해서 기술된 영역을 넘어서는 일 영역을 기술한다면, 의미론적 주변 환경 데이터에 의해서 실제로 기술된 공간 영역과 관련이 있는 맵 데이터만 사용됨으로써, 데이터 처리 노력이 줄어들 수 있다.

의미론적 주변 환경 데이터 또는 주변 환경 모델로 맵 데이터 또는 맵 데이터의 상응하는 부분을 투영하는 것은 예를 들어 상응하는 좌표 변환, 회전, 다시 말해 시야각의 조정, 원근 왜곡, 크기 조정 또는 스케일링 및/또는 적어도 이와 같은 관점에서 맵 데이터와 주변 환경 데이터의 일관성에 도달하기 위한 등등의 작업들을 포함할 수 있다. 따라서, 맵 데이터 또는 맵 데이터 내에 명시된 물체는 의미론적 주변 환경 데이터 또는 주변 환경 모델과 중첩될 수 있다. 이 경우, 이상적으로는 맵 데이터 내에 명시된 물체와 의미론적 물체 인식에 의해서 식별되어 의미론적 주변 환경 데이터 내에 또는 상응하게 주변 환경 모델 내에 명시된 물체가 정확하게 겹치게 될 것이다. 하지만, 보조 장치의 불일치 또는 지각 오류는 의미적 주변 환경 데이터 또는 주변 환경 모델 내에 명시된 물체와 맵 데이터 내에 명시된 물체의 다만 부분적인 겹침 또는 중첩만을 야기할 수 있다. 의미론적 물체 인식에 의해서 특정 물체가 인식되지 못한 경우에는, 중첩이 완전히 없는 상태, 다시 말해 0의 중첩이 결과로서 나타날 수 있는데, 그 이유는 맵 데이터에 의해 명시된 물체 대신에 의미론적 주변 환경 데이터 또는 주변 환경 모델 내에서는 그 어떤 물체 또는 차이가 있다는 의미론적 주석이 붙은 또는 차이가 있는 것으로 분류된 그 어떤 물체도 명시되어 있지 않거나 그 위치가 확인되어 있지 않기 때문이다. 중첩은, 불일치를 인식하기 위하여 물체별로, 다시 말하자면 맵 데이터 내에 명시된 각각의 물체에 대해 개별적으로 결정될 수 있다. 비교를 위해 본 출원서에서 제안된 방법은 불일치의 특히 강력한 인식 및 불일치 장소의 특히 올바른 위치 확인을 가능하게 할 수 있다.

본 발명의 가능한 일 개선예에서는, 맵 데이터의 물체와 - 만일 존재한다면 - 상응하는 지점에 위치한 의미론적 주변 환경 데이터의 물체 또는 이 데이터로부터 생성된 모델의 물체 사이의 중첩이 사전 설정된 임계값보다 작은 경우에 불일치 및/또는 지각 오류가 각각 인식된다. 이때, 이 임계값은 절대적으로 또는 상대적으로 지시될 수 있다. 다시 말해, 여기에서 제안된 임계값에 의해서는 상응하게 더 작은 불일치가 무시될 수 있다. 이와 같은 상황은, 데이터 처리 노력을 줄일 수 있고, 자동차의 안전을 크게 저하시키지 않으면서 자동차의 보다 사용자 친화적이고 보다 편안한 운전 동작을 유도할 수 있다. 여기에서 제안된 본 발명의 실시예는, 개별 물체가 적어도 실질적으로 의미론적으로 정확하게 그리고 올바른 지점에서 인식되는 한, 상응하게 적은 불일치는 궁극적으로 자동차의 안전한 운전 또는 작동에 통상적으로 영향을 미치지 않는다는 인식을 기반으로 한다. 예를 들어, 물체가 의미론적으로 올바르게 인식된 경우, 다시 말해 의미론적으로 올바르게 분류되었거나 어떠한 상황에서도 수 미터의 안전 거리가 제공되어 있는 경우에는, 물체의 픽셀 또는 표면의 몇몇 퍼센트의 잘못된 의미론적 할당 또는 물체의 몇몇 센티미터만큼 잘못 결정된 위치는 실제로 무관할 수 있다. 다시 말해, 상응하게 더 작은 불일치를 무시하거나 걸러냄으로써, 궁극적으로 불필요하게 실시된 소수의 안전 조치가 줄어들 수 있다.

이미 지적된 바와 같이, 중첩은 위치 또는 공간 좌표를 참조해서 결정될 수 있을 뿐만 아니라 의미론까지도 고려할 수 있다. 예를 들어 의미론적 물체 인식에 의해서 물체가 공간적으로, 다시 말해 공간적 위치 또는 치수와 관련하여 올바르게 인식되었거나 위치 확인되었지만 의미론적으로 잘못 분류된 경우에는, 그럼에도 0의 중첩이 결정될 수 있는데, 그 이유는 이 경우에는 상응하게 영역별로 의미론적 불일치가 존재하기 때문이다.

본 발명의 또 다른 가능한 일 실시예에서는, 비교를 토대로 해서, 다시 말하자면 비교 결과 및/또는 필요에 따라 인식된 불일치를 토대로 해서, 의미론적 주변 환경 데이터에 물체별로 신뢰도 값이 할당된다. 다른 말로 표현하자면, 의미론적 주변 환경 데이터 또는 이 데이터 내에 명시된 물체 또는 상응하는 물체 인식에 상응하는 주석이 붙거나 또는 라벨링이 첨부된다. "올바른", "잘못된", "안전하지 않은" 또는 예를 들어 백분율로 나타낸 개별적인 신뢰도 값 또는 신뢰도 간격이 신뢰 값으로서 또는 라벨 또는 주석으로서 사용될 수 있다. 후자는 예를 들어 다른 지점에 기록된, 예를 들어 백분율로 나타낸 특정 중첩에 상응하게 결정될 수 있다. 여기에서 제안된 신뢰도 값은, 추후에 보조 장치 및/또는 다른 차량 내부 장치 또는 차량 외부 장치의 추가적인 또는 후속적인 처리 또는 결정 파이프 라인에서 고려될 수 있다. 예를 들면 신뢰도 값에 따라 상응하는 가중치가 할당될 수 있고/있거나 결정이 내려질 수 있다. 예를 들어 자동차를 제어할 수 있거나 안내할 수 있는 복수의 옵션이 존재하는 경우에는, 적어도 대부분 "올바른" 라벨이 부착된 물체 또는 영역을 기반으로 하는 옵션이 선택될 수 있다. 이와 같은 상황도 마찬가지로 자동차의 더 신뢰할 수 있는 그리고/또는 더 안전한, 적어도 부분적으로 자동화된 운전 동작을 가능하게 할 수 있다.

본 발명의 또 다른 가능한 일 실시예에서는, 맵 데이터가 의미론적 식별, 다시 말해 의미론적 명칭 또는 유형 사양을 넘어서 그리고 정적 물체의 공간적 위치 또는 위치 확인을 넘어서 정적 물체에 대한 추가 정보를 포함한다. 이로써, 맵 데이터는 예를 들어 물체의 개별적인 크기를 지시할 수 있다. 정적 물체에 대한 이와 같은 추가 정보는 추후 비교시에 그리고/또는 자동차의 적어도 부분적으로 자동화된 운전 동작에서 고려된다. 이와 같은 추가 정보도 마찬가지로 예를 들면 교통 표지판 또는 방향 표지판 등과 같은 물체의 재료 또는 반사성, 경우에 따라서는 예상할 수 있는 존재의 기간, 관련성 또는 유효성의 기간, 및/또는 이와 유사한 그 이상의 것들을 포함할 수 있거나 이들과 관련될 수 있다. 이것은 불일치 또는 지각 오류의 특히 신뢰할 수 있고 강력하며 관련이 있는 인식을 가능하게 할 수 있다.

예를 들어 제한된 시간 동안 유효한 교통 표지판이 보조 장치에 의해서 올바르게 인식되지 않으면, 맵 데이터 내에 명시된 유효 기간 밖에서 상응하는 불일치 또는 상응하는 지각 오류가 폐기될 수 있는데, 다시 말하자면 상응하는 안전 조치의 실시가 생략될 수 있다. 다른 일 예에서, 맵 데이터가 개별 물체의 특히 높은 반사율을 나타내는 경우, 예를 들어 불일치가 인식되었거나 지각 오류가 인식되었다면, 먼저 블라인드 효과로부터 출발할 수 있는데, 이 블라인드 효과는 경우에 따라 다른 시야각으로부터는, 다시 말해 자동차의 다른 위치로부터는 발생하지 않을 수 있다. 이와 같은 경우에는, 자동차의 다른 위치로부터 상황에 따라 발생 가능한 올바른 물체 인식을 기다리기 위하여 예를 들어 안전 조치의 트리거링이 지연될 수 있다. 또한, 반사율이 특히 높은 것으로 또는 특히 낮은 것으로 명시된 경우에는, 예를 들어 그럼에도 불구하고 상황에 따라 발생 가능한 정확한 물체 인식을 가능하게 하기 위하여, 개별 물체 또는 주변 환경 영역을 기록하기 위한 다른 또는 추가의 주변 환경 센서 시스템이 자동으로 사용될 수 있다. 따라서, 전체적으로 볼 때, 이와 같은 추가 정보는 적어도 부분적으로 자동화된 자동차의 훨씬 더 강력하고, 더 신뢰할 수 있으며 그리고/또는 더 안전한 작동을 가능하게 할 수 있는 물체의 추가 데이터 또는 정보 혹은 메타 데이터를 지시할 수 있다.

본 발명의 또 다른 가능한 일 실시예에서는, 상응하는 불일치가 자동차의 상이한 시간에 그리고/또는 상이한 위치로부터 기록된 주변 환경 미가공 데이터를 토대로 해서 여러 번, 적어도 미리 결정된 기간에 걸쳐 그리고/또는 자동차가 주행한 미리 결정된 거리에 걸쳐 인식된 경우에 비로소 지각 오류가 인식된다. 따라서, 다른 말로 표현하자면, 지각 오류는 불일치의 단 한 번의 관찰 또는 단일 사례 혹은 주변 환경의 스냅 샷을 토대로 해서는 인식되지 않는다. 오히려, 지각 오류는, 불일치가 여러 번, 소정의 시간에 걸쳐, 상이한 시야각으로부터 또는 상이한 위치로부터 존재하거나 확인된 경우에 비로소 그 자체로 인식된다 - 그리고 그 경우에 비로소 상응하는 안전 조치가 실행되거나 트리거링 된다. 이로 인해서는, 예를 들어 개별적인 정적 물체가 동적 물체에 의해 다만 단시간 동안만 덮이기 때문에, 다만 특정 시야각 또는 특정 위치로부터만 발생하는 물체 인식 오류 때문에, 말하자면 블라인드 효과, 미러링 또는 바람직하지 않은 반사 특성으로 인해 안전 조치의 궁극적으로 불필요한 실행이 피해지거나 감소할 수 있다. 따라서, 여기에서 제안된 본 발명의 실시예는 또한 지각 오류의 보다 강력한 인식을 가능하게 하며, 이에 따라 상응하게 견고하고 안락하며 적어도 부분적으로 자동화된 자동차의 운전 동작을 가능하게 한다.

본 발명의 또 다른 가능한 일 실시예에서는, 인식된 불일치 및/또는 지각 오류를 토대로 해서 개별적인 주변 환경에 대한 장면 복잡성이 자동으로 추정되거나 결정된다. 더 높은 장면 복잡성은 예를 들어 더 큰 수의 그리고/또는 더 큰 양의 또는 더 큰 심각도의 불일치 및/또는 지각 오류에서 결정될 수 있다. 추정되거나 결정된 장면 복잡성, 다시 말해 예를 들어 상응하는 수치 또는 평가는 추후에 또 다른 목적을 위해 제공될 수 있다. 예를 들어, 장면 복잡성은 자동차의 적어도 부분적으로 자동화된 운전 동작에 대한 추가 결정을 위한 토대로서 사용될 수 있다.

추가로 또는 대안적으로, 장면의 복잡성을 기초로 해서는 관련 데이터, 예를 들어 관련이 있거나 기본이 되는 주변 환경 미가공 데이터 또는 의미론적 주변 환경 데이터 및/또는 해당 시점에 주어진 자동차의 상태를 설명하는, 특별히 복잡한 것으로서 분류된 장면 또는 상황에 대한 상태 데이터, 즉 사전 설정된 임계값 위에 있는 장면 복잡성이 추정되었거나 결정된 장면 또는 상황에 대한 상태 데이터가 수집될 수 있는데, 다시 말해 저장될 수 있다. 이들 데이터는 이후에 보조 장치의 추후 오류 분석, 개선을 위한 그리고/또는 기계 학습 장치를 위한 훈련 데이터를 생성하기 위한 또는 이와 유사한 목적을 위한 토대로서 사용될 수 있다. 이 경우, 불일치 및/또는 지각 오류에 대하여 이와 같은 데이터를 수집하거나 저장하기 위한 가이드 라인 또는 기준으로서 추정되거나 결정된 장면 복잡성은 특별히 관련이 있는 데이터, 예를 들어 상대적으로 드문 에지 케이스 등의 특히 효과적이고 효율적인 수집 또는 저장을 가능하게 한다. 이와 같은 데이터는 종래 방식에 따라 신뢰할 수 없거나 엄청난 노력으로써만 얻을 수 있다. 따라서, 여기에서 제안된 본 발명의 실시예는 그 자동차 또는 일 자동차의 적어도 부분적으로 자동화된 운전 동작의 안전성을 궁극적으로 개선할 수 있는 특히 효과적이고 효율적인 한 가지 옵션을 제공한다.

본 발명의 또 다른 가능한 일 실시예에서는, 자동차의 운전 동작 동안, 다시 말해 자동차가 이동하는 동안, 현재의 또는 연이어지는 또는 앞에 놓여 있는 주행 섹션과 관련된 맵 데이터가 각각 차량 외부의 서버 장치에 의해서 자동으로 차례로 호출되는데, 다시 말하자면 자동차 내에 로딩된다. 이와 같은 차량 외부 서버 장치는 예를 들어 백엔드, 클라우드 서버 등일 수 있으며, 이들 서버 장치 내에는 의미론적 주석이 붙은 모든 이용 가능한 맵 데이터가 저장되어 있다.

이때, 각각의 경우와 관련된 맵 데이터는, 주변 환경 미가공 데이터를 기록하도록 설계된 주변 환경 센서 시스템의 범위를 넘어서 미리 결정되고 제한된 양만큼 자동차의 주변 환경을 설명해준다. 특히, 이때 맵 데이터는, 이 맵 데이터가 현재 또는 미래에, 특히 자동차의 현재의 운전 동작 동안, 다시 말해 현재의 주행 동안 주변 환경 센서 시스템의 범위 내에 있거나 앞으로 이 범위 내에 있게 될 주변 환경 또는 영역을 설명하는 경우에 관련이 있는 것으로서 간주된다. 다시 말해, 관련 맵 데이터는 예를 들어 자동차의 각각 현재의 위치 주변의 미리 결정된 반경 안에 있는 주변 환경 또는 일 영역을 설명할 수 있는데, 자동차의 주행 방향으로 볼 때 앞에 놓여 있는 미리 결정된 거리 또는 통행로 내에서 미리 결정된 폭에 이르기까지 현재의 또는 계획된 자동차의 주행 경로를 따라 주변 환경 또는 일 영역을 설명할 수 있다. 다른 말로 표현하자면, 현재의 운전 동작 동안 관련이 있거나 앞으로 관련이 있게 될, 차량 외부 서버 장치 내에 저장된, 의미론적으로 주석이 붙은 모든 맵 데이터의 부분 집합(subset)이 수요에 적합하게 자동차 내에 로딩될 수 있다.

이와 같은 상황은, 자동차에 대한 하드웨어 복잡성이 제한적이고 실제로 관리 가능한 상태에서 맵 데이터의 실제적인 이용을 가능하게 한다. 이와 같은 가능성은, 의미론적으로 주석이 붙은 맵 데이터가 상당한 양의 메모리 공간을 필요로 할 수 있다는 인식 때문인데, 이와 같은 상당한 양의 메모리 공간은 맵 데이터에 상응하게 상세한 주석이 붙고 상응하게 높은 수준의 세밀도(level of detail)가 요구되는 경우에는 종래의 맵 데이터의 메모리 공간 수요를 훨씬 초과할 수 있다. 그러나 상응하는 데이터 메모리 용량은 경우에 따라서는 모든 자동차에 실용적이고 경제적으로 제공될 수 있다. 맵 데이터는 케이블이 없는 또는 무선 데이터 연결부, 예를 들어 이동 무선 연결부 등을 통해서 호출되거나 전송될 수 있다.

각각 통과한 주행 섹션과 관련이 있는 맵 데이터, 다시 말해 현재의 운전 동작 동안에는 적어도 더 이상 필요치 않을 것 같은 맵 데이터는 이 목적을 위해 운전 동작 동안 자동차 내에서 또는 자동차로부터 혹은 자동차의 데이터 메모리 내에서 또는 데이터 메모리로부터 차례로 삭제될 수 있다. 그러나 이 경우에는 맵 데이터가 서버 장치 내에 남아 있음으로써, 결과적으로 예를 들어 동일한 공간 영역에서 자동차의 차후 운전 동작 동안 추후의 일 시점에 필요한 경우에는 이 맵 데이터가 새로이 호출될 수 있다.

본 발명의 또 다른 일 양태는 자동차용 보조 장치이다. 본 발명에 따른 보조 장치는 주변 환경 미가공 데이터 및 의미론적으로 주석이 붙은 맵 데이터를 수집하기 위한 하나 이상의 입력 인터페이스, 주변 환경 미가공 데이터 및 맵 데이터를 처리하기 위한 데이터 처리 장치, 및 결과적으로 나타나는 결과 신호를 출력하기 위한 출력 인터페이스를 구비한다. 이 경우, 본 발명에 따른 보조 장치는 본 발명에 따른 방법의 하나 이상의 변형예 또는 실시예를 특히 자동으로 실시하도록 설계되어 있다. 이 목적을 위해, 데이터 처리 장치는 데이터 메모리 장치 내에 저장된 프로그램 코드를 실행하기 위해, 예를 들어 컴퓨터 판독 가능한 데이터 메모리 및 이 데이터 메모리와 연결된 프로세서 장치, 예를 들어 마이크로 프로세서, 마이크로 칩 또는 마이크로 컨트롤러를 포함할 수 있다. 이와 같은 프로그램 코드로서는 예를 들어 작동 프로그램 또는 컴퓨터 프로그램이 데이터 메모리 장치 내에 저장될 수 있는데, 이와 같은 작동 프로그램 또는 컴퓨터 프로그램은 본 발명에 따른 방법의 시퀀스, 방법 단계 또는 조치를 표현, 인코딩 또는 구현하며, 상응하는 방법의 실시를 야기하기 위해 프로세서 장치에 의해서 실행될 수 있다.

본 발명의 또 다른 일 양태는, 주변 환경 미가공 데이터를 기록하기 위한 주변 환경 센서 시스템 및 이 시스템과 연결된 본 발명에 따른 보조 장치를 구비하는 자동차이다. 따라서, 본 발명에 따른 자동차는 본 발명에 따른 방법의 하나 이상의 변형예 또는 실시예를 특히 자동으로 실시하도록 설계될 수 있다. 본 발명에 따른 자동차는 특히 본 발명에 따른 방법과 관련하여 언급된 그리고/또는 본 발명에 따른 보조 장치와 관련하여 언급된 자동차일 수 있다.

본 발명의 또 다른 특징부는 청구범위, 각각의 도면 및 도면 설명부로부터 나타날 수 있다. 본 출원서의 상세한 설명부에 언급된 특징부 및 특징부 조합 그리고 이하의 도면 설명부 및/또는 각각의 도면에서 단독으로 나타나는 특징부 및 특징부 조합은, 각각 명시된 조합의 형태로 사용될 수 있을 뿐만 아니라 본 발명의 범위를 벗어나지 않는 다른 조합 형태로도 또는 독자적으로도 사용될 수 있다.

도면부는, 단 하나의 도면에서, 자동차의 자동화된 운전 동작을 맵 기반으로 지원하는 방식을 설명하기 위한 개략적인 개관 도면을 도시한다.

도 1은, 자동차(12)가 지원을 받고 있는 운전 동작으로 또는 적어도 부분적으로 자동화된 운전 동작으로 이동하고 있는 도로(10)에 대한 개략적인 개관 도면을 보여준다. 자동차(12)는 운전자(14)에 의해 적어도 일시적으로 제어될 수 있지만, 적어도 부분적으로 자동화된 운전 동작을 위해 설계되어 있다. 이 목적을 위해, 자동차(12)는 여기에서 보조 장치(16)를 구비한다.

자동차(12)의 주변 환경에는 다양한 물체가 있으며, 이들 물체는 본 도면에서 정적 주변 환경 물체(18) 및 동적 주변 환경 물체(20)로 세분되어 있다. 본 도면에서 정적 주변 환경 물체(18)는 예를 들어 도로 장비의 일부, 차선 표시 및 건물이다. 동적 주변 환경 물체(20)는 예를 들어 이동할 수 있는 보행자 등일 수 있는데, 다시 말하자면 개별 주변 환경의 비-영구적인 부분이다.

추가로, 본 도면에는 차량 외부 서버 장치(22)가 도시되어 있으며, 이 장치와 관련해서는 다른 곳에서 논의될 것이다.

자동차(12)의 개별 주변 환경에 대한 정확한 인식 또는 감지 및 해석은 안전한 자동 운전을 위해 본질적으로 중요하다. 이 목적을 위해, 자동차(12)는 주변 환경 센서 시스템(24)을 포함한다. 이 주변 환경 센서 시스템(24)에 의해서는, 자동차(12)의 개별 주변 환경을 - 이상적으로는 정적 주변 환경 물체(18) 그리고 필요한 경우에는 동적 주변 환경 물체(20)를 포함함 - 이미지화하거나 특징화하는 주변 환경 미가공 데이터가 기록될 수 있다. 이와 같은 주변 환경 미가공 데이터는 입력 인터페이스(26)를 통해서 보조 장치(16)에 의해 수집된 후에 처리될 수 있다. 이 목적을 위해, 보조 장치(16)는 본 도면에 개략적으로 표시되어 있는 컴퓨터 판독 가능 데이터 메모리(28) 및 이 메모리와 연결된 프로세서(30)를 포함한다. 따라서, 보조 장치(16)는 소위 컴퓨터 시각(computer vision)을, 다시 말해 주변 환경 미가공 데이터의 의미론적 데이터 처리를 실행할 수 있거나 수집된 주변 환경 미가공 데이터에 적용할 수 있다. 예를 들어, 이 목적을 위해서는 인공 신경망 등과 같은 상응하게 훈련된 모델이 데이터 메모리(28) 내에 저장될 수 있다. 따라서, 수집된 주변 환경 미가공 데이터로부터 개별 주변 환경의 의미론적 인식 또는 장면 이해를 생성하기 위하여, 물체 인식, 물체 추적 및/또는 의미론적 분할 등이 실행될 수 있다.

하지만, 오늘날 사용 가능한 이와 같은 모델이 때때로 오류를 야기할 수 있다는 사실, 다시 말해, 예를 들어 물체를 전혀 인식 또는 분류할 수 없거나, 불완전하게 혹은 잘못 인식할 수 있거나 분류할 수 있다는 사실도 관찰될 수 있다. 이와 같은 문제점을 해결하기 위하여, 본 발명의 경우에는 미리 결정된 HD-맵, 다시 말해 개별 주변 환경의 의미론적으로 주석이 붙은 매우 상세한 맵이 사용된다. 이와 같은 맵은 예를 들어 데이터 메모리(28) 내에 저장될 수 있으며 그리고/또는 보조 장치(16)를 통해서 서버 장치(22)에 의해 호출될 수 있다. 후자는 서버 장치(22)로부터 자동차(12)로 맵 데이터(32)의 상응하는 신호를 전송하는 부재로서 본 도면에 개략적으로 표시되어 있다.

상기 맵 데이터(32)는 개별 주변 환경에 대해 신뢰할 수 있는 설명, 다시 말해 참인 것으로 가정된 설명을 명시하지만, 적어도 그 안에 포함되어 있는 정적 주변 환경 물체(18)를 명시한다. 따라서, 맵 데이터(32)는, 수집된 주변 환경 미가공 데이터를 토대로 하는 보조 장치(16)의 장면 이해가 정확한지의 여부 또는 맵 데이터(32) 내에 명시된 개별 주변 환경에 관한 데이터 또는 정보와 일치하는지의 여부를 결정하기 위한 기준으로서 사용될 수 있다. 맵 데이터(32)는 여기에서 통상적으로는 동적 주변 환경 물체(20)를 설명할 수는 없지만, 정적 주변 환경 물체(18), 다시 말해 예를 들어 자동차(12)의 운전 동작 또는 안내와 관련된 영역 또는 세부 사항, 예컨대 차선, 교통 표지판, 장애물, 건물 및/또는 이와 유사한 것들은 설명할 수 있다. 주변 환경 센서 시스템(24)에 의해 수집된 주변 환경 미가공 데이터를 참조하여 보조 장치(16)에 의해서 이루어지는 이와 같은 영역 또는 세부 사항 혹은 물체의 분류 오류는 추후에 맵 데이터(32)와의 비교를 참조해서 검출될 수 있다.

이때, 맵 데이터(32)에 의해 설명된 정적 주변 환경 물체(18)는 변경 불가능한 세부 사항이거나, 예를 들어 적어도 매일 또는 매주 단위로는 변하지 않고 다만 비교적 느리게만 변할 수 있는 세부 사항이다. 그와 달리, 의미론적 주변 환경 수집 또는 물체 인식을 위해 지금까지 사용 가능한 모델은 훨씬 더 자주 오류를 범할 수 있다. 그렇기 때문에, 수집된 주변 환경 미가공 데이터를 토대로 하는 보조 장치(16)의 장면 이해와 맵 데이터(32) 간의 비교 또는 일관성 검사는 보조 장치(16)의 상기 오류들 중 적어도 몇몇에 대한 자동 인식 또는 의미론적 주변 환경 인식을 목적으로 설계된 상기 장치의 모델에 대한 자동 인식을 가능하게 한다.

상기와 같은 오류 인식이 여기에서는 특히 신뢰할 수 있는데, 그 이유는 설명된 방법이 보조 장치(16) 또는 이 장치의 모델 또는 주변 환경 센서 시스템(24) 또는 이 시스템을 이용해서 수집된 주변 환경 미가공 데이터, 다시 말해 이용 가능한 개별적인 센서 입력에만 전적으로 의존하지 않으며, 오히려 상황과 무관하게 이용 가능한 견고하고 특히 신뢰할 수 있는 기준 데이터가 맵 데이터(32)의 형태로 사용되기 때문이다. 따라서, 오류 인식은 말하자면 오로지 동적 예측, 다시 말해 자동차(12)의 운전 동작 동안 자동으로 생성된 예측만을 사용하는 대신에 예를 들어 수동으로 주석이 붙은 참 데이터(영어: ground truth data)에 의존할 수 있게 된다.

장면 이해, 다시 말해 보조 장치(16)의 의미론적 주변 환경 인식 또는 지각과 맵 데이터(32)의 비교는 예를 들어 상응하는 미리 결정된 모델에 의해서 자동으로 실행될 수 있다. 이와 같은 모델은 예를 들어 인공 심층 신경망, 점유 그리드(영어: occupancy grid)일 수 있거나, 이들을 포함할 수 있거나, 이들을 사용할 수 있다.

맵 데이터(32) 내에 특정의 정적 주변 환경 물체(18)가 명시되어 있으면, 이 물체는 해당 주변 환경 미가공 데이터 또는 이 데이터로부터 생성된 의미론적 주변 환경 데이터 또는 이 데이터로부터 생성된 주변 환경 모델에, 최종적으로는 또한 예를 들어 상응하는 카메라 이미지, 라이더 사진, 레이더 사진 등에도 적어도 간접적으로 매핑될 수 있다. 예를 들어, 맵 데이터(32) 내에 명시된 정적 주변 환경 물체(18)는 상응하는 RGB-카메라 이미지 또는 라이더-포인트 클라우드에 투영된 다음 수집된 주변 환경 미가공 데이터를 토대로 해서 보조 장치(16)에 의해 검출되었거나 인식된 물체와 비교될 수 있다. 이 경우에는, 예를 들어 물체별로 개별적인 중첩이 결정될 수 있다. 이와 같은 중첩이 하나 이상의 물체에 대해 사전 설정된 임계값 아래에 놓여 있는 경우, 개별 물체는 잘못 분류된 것으로 또는 잘못 인식된 것으로 간주될 수 있는데, 다시 말하자면 예를 들어 그에 상응하게 라벨이 부착될 수 있다.

수집된 주변 환경 미가공 데이터를 토대로 하면, 보조 장치(16)는 예를 들어 동적 주변 환경 물체(20)에 의한 은폐로 인해서 또는 사용된 인식 모델 혹은 검출 모델의 오류로 인해서 정적 주변 환경 물체(18)를 전혀 인식할 수 없거나 잘못 분류할 수 있다. 두 가지 경우에 모두, 본원에서 제안된 방법은, 수집된 주변 환경 미가공 데이터를 토대로 할 때에는 의미론적 인식, 다시 말해 보조 장치(16)의 장면 이해가 제한될 수 있다는 사실, 다시 말하자면 개별적인 주변 환경 또는 장면에 대한 포괄적이고 정확한 인식 또는 이해를 반드시 나타내거나 가능하게 하는 것은 아니라는 사실을 자동으로 인식할 수 있게 한다.

추가로 또는 대안적으로, 수집된 주변 환경 미가공 데이터를 토대로 하는 보조 장치(16)의 의미론적 장면 이해와 맵 데이터(32)의 비교를 참조해서는, 보조 장치(16)의 성능 또는 이 보조 장치의 인식 모듈, 검출 모듈 또는 지각 모듈 혹은 인식 모델, 검출 모델 또는 지각 모델의 성능이 결정될 수 있거나 평가될 수 있다. 특히, 이로써는 - 비록 맵 데이터(32) 내에는 다만 주변 환경 물체(18)의 정적 주변 환경 물체만이 명시되어 있지만 - 성능은 맵 데이터(32) 내에 명시된 정적 주변 환경 물체(18)의 정확한 검출 또는 인식을 능가해서 평가될 수 있다. 맵 데이터(32) 내에 명시되어 있는 이와 같은 정적 주변 물체(18)가 수집된 주변 환경 미가공 데이터를 토대로 하여 보조 장치(16)에 의해서 전혀 인식되지 않거나, 불완전하게 또는 오류가 있는 상태로 인식되는 경우에는, 센서 은폐, 다시 말해 주변 환경 센서 시스템(24)의 손상, 불리한 주변 환경 조건 또는 기상 조건, 소위 out-of-Distribution-Input의 존재 등에 대하여 증가된 가능성이 고려되어야만 한다. 후자는, 보조 장치(16)가 그 목적으로 설계되어 있거나 훈련되어 있는 대역폭 또는 스펙트럼 밖에 놓여 있는 입력, 데이터 또는 상황을 지칭한다. 이 경우에는, 그에 상응하게 또한 동적 주변 환경 물체(20)의 인식 성능의 악화까지도 고려되어야만 한다. 이와 같은 상황은, 예를 들어 이와 같은 물체 인식을 토대로 하는 자동차(12)의 상응하는 자동 운전 기능 또는 동작 기능이 더 이상 제공되지 않거나, 운전자(14)에게 인수 요청이 출력되며 그리고/또는 이와 유사한 작업이 이루어짐으로써, 추후에 그에 상응하게 고려될 수 있다.

수집된 주변 환경 미가공 데이터를 토대로 하는 보조 장치(16)의 의미론적 장면 이해와 맵 데이터(32) 간의 불일치는 또한 장면 복잡성을 추정하기 위한 척도 또는 토대로서도 사용될 수 있다. 이와 같은 장면 복잡성에 따라, 예를 들어 이와 같은 장면 복잡성이 사전 설정된 임계값 위에 놓여 있으면, 예컨대 안전 운전 모드로의 자동 교체 등과 같은 상응하는 미리 결정된 대응 조치 또는 안전 조치가 자동으로 취해지거나 실시될 수 있다.

상황에 따라, 보조 장치(16)는 결과적으로 나타나는 결과 신호 또는 제어 신호를 생성할 수 있고, 예를 들어 차량 시스템(36)을 제어하기 위한 출력 인터페이스(34)를 통해 이 신호를 출력할 수 있다. 차량 시스템(36)은 - 보조 장치(16)의 사전 설정된 기능에 따라 - 궁극적으로는 자동차(12)의 거의 임의의 장치일 수 있는데, 예를 들면 구동 트레인의 일 부분 또는 신호 혹은 경고를 운전자(14)에게 출력하기 위한 출력 장치 또는 그와 유사한 장치일 수 있다.

전체적으로 볼 때, 설명된 예들은, 적어도 부분적으로 자동화된 차량의 특히 안전한 작동을 가능하게 하기 위하여, 차량 보조 시스템의 인식 오류의 자동 검출 또는 장면 이해 오류의 자동 검출이 미리 결정된 HD-맵과의 차이 또는 불일치의 관찰 또는 인식에 의해서 어떻게 실현될 수 있는지를 보여준다.

10: 도로
12: 자동차
14: 운전자
16: 보조 장치
18: 정적 주변 환경 물체
20: 동적 주변 환경 물체
22: 서버 장치
24: 주변 환경 센서 시스템
26: 입력 인터페이스
28: 데이터 메모리
30: 프로세서
32: 맵 데이터
34: 출력 인터페이스
36: 차량 시스템

Claims

자동차(12)의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위한 방법으로서,
- 자동차(12)의 주변 환경 센서 시스템(24)을 이용해서, 상기 자동차(12)의 각각 현재의 주변 환경을 이미지화하는 주변 환경 미가공 데이터가 기록되며,
- 상기 주변 환경 미가공 데이터를 토대로 해서 의미론적 물체 인식이 실행됨으로써, 자동차(12)의 보조 장치(16)를 이용하여 상기 주변 환경 미가공 데이터로부터 의미론적 주변 환경 데이터가 생성되며,
- 상기 자동차(12)의 주변 환경의 미리 결정된 그리고 의미론적으로 주석이 붙은 맵 데이터(32)가 수집되고, 상기 맵 데이터 내에는 주변 환경의 정적 물체(18)가 명시되어 있으며,
- 의미론적 주변 환경 데이터와 맵 데이터(32)의 비교가 실행되며, 이 경우 상기 맵 데이터(32)의 정적 물체(18)는 최대한 의미론적 주변 환경 데이터 내에서 식별되며,
- 검출된 맵 데이터(32)와 의미론적 주변 환경 데이터 간의 불일치를 참조해서, 상기 보조 장치(16)의 지각 오류가 인식되며, 그리고
- 이와 같은 인식된 지각 오류를 고려해서, 미리 결정된 안전 조치가 실시되는, 자동차의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위한 방법.
제1항에 있어서,
상기 비교를 위해 맵 데이터(32)의 적어도 일 부분이 개별적인 의미론적 주변 환경 데이터에 또는 이와 같은 개별적인 의미론적 주변 환경 데이터로부터 생성된 개별 주변 환경의 주변 환경 모델에 투영되고, 결과적으로 나타나는 물체별로의 중첩이 결정되는 것을 특징으로 하는, 자동차의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위한 방법.
제2항에 있어서,
상기 맵 데이터(32)의 물체와 - 만일 존재한다면 - 상응하는 지점에 위치한 의미론적 주변 환경 데이터의 물체 또는 이 데이터로부터 생성된 모델의 물체 사이의 중첩이 사전 설정된 임계값보다 작은 경우에 불일치 및/또는 지각 오류가 각각 인식되는 것을 특징으로 하는, 자동차의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위한 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 비교 및/또는 인식된 불일치를 토대로 해서, 상기 의미론적 주변 환경 데이터에 물체별로 신뢰도 값이 할당되는 것을 특징으로 하는, 자동차의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위한 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 맵 데이터(32)가 의미론적 식별 및 정적 물체(18)의 위치를 넘어서 상기 정적 물체(18)에 대한 추가 정보, 특히 상기 물체의 크기를 포함하며, 상기 추가 정보는 비교시에 그리고/또는 자동차(12)의 적어도 부분적으로 자동화된 운전 동작에서 고려되는 것을 특징으로 하는, 자동차의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위한 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 상응하는 불일치가 자동차(12)의 상이한 시간에 그리고/또는 상이한 위치로부터 기록된 주변 환경 미가공 데이터를 토대로 해서 여러 번, 적어도 미리 결정된 기간에 걸쳐 그리고/또는 자동차(12)가 주행한 미리 결정된 거리에 걸쳐 인식된 경우에 비로소 지각 오류가 인식되는 것을 특징으로 하는, 자동차의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위한 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 인식된 불일치 및/또는 지각 오류를 토대로 해서 개별적인 주변 환경에 대한 장면 복잡성이 자동으로 추정되는 것을 특징으로 하는, 자동차의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위한 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 자동차(12)의 운전 동작 동안, 현재의 또는 앞에 놓여 있는 주행 섹션과 관련된 맵 데이터(32)가 각각 차량 외부의 서버 장치(22)에 의해서 자동으로 차례로 호출되며, 이 경우 각각의 경우와 관련된 맵 데이터(32)는, 주변 환경 미가공 데이터를 기록하도록 설계된 주변 환경 센서 시스템(24)의 범위를 넘어서 미리 결정된 양만큼 자동차(12)의 주변 환경을 설명해주는 것을 특징으로 하는, 자동차의 적어도 부분적으로 자동화된 운전 동작을 지원하기 위한 방법.
자동차(12)용 보조 장치(16)로서,
주변 환경 미가공 데이터 및 의미론적으로 주석이 붙은 맵 데이터(32)를 수집하기 위한 입력 인터페이스(26), 주변 환경 미가공 데이터 및 맵 데이터(32)를 처리하기 위한 데이터 처리 장치(28, 30), 및 결과적으로 나타나는 결과 신호를 출력하기 위한 출력 인터페이스(34)를 구비하며, 상기 보조 장치(16)는 제1항 내지 제8항 중 어느 한 항에 따른 방법을 실시하도록 설계되어 있는, 자동차(12)용 보조 장치(16).
자동차(12)로서,
주변 환경 미가공 데이터를 기록하기 위한 주변 환경 센서 시스템(24) 및 제9항에 따른 보조 장치(16)를 구비하는, 자동차(12).