KR20210060535A - 동적 공간 시나리오의 분석 - Google Patents

Abstract

본 발명은 동적 공간 시나리오(10)의 데이터를 준비하기 위한 방법과 시스템(100), 컴퓨터 지원 방법, 인공 신경망(1)을 학습시키기 위한 시스템(200), 컴퓨터 지원 방법 및 센서 데이터를 분석하기 위한 시스템(300)에 관한 것이다. 자기 객체(11a)의 관점에서 본 다른 객체(12, 12a, 12b, 12c)가 커버하는 각 섹터의 시간 곡선의 디스플레이(20)를 생성한다. 상기 시간 곡선은 센서 데이터로부터 결정되고, 상기 센서 데이터는 자기 객체(11a) 및 적어도 하나의 다른 객체(12, 12a, 12b, 12c)에 대한 동적 공간 시나리오(10)를 특징화하는데 적합하다.

Description

동적 공간 시나리오의 분석

본 발명은 인공 신경망으로 처리하기 위한 동적 공간 시나리오의 데이터를 준비하기 위한 방법과 시스템, 인공 신경망을 학습시키기 위한 컴퓨터 지원 방법과 시스템 및 센서 데이터를 분석하기 위한 컴퓨터 지원 방법과 시스템에 관한 것이다.

최근의 차량에는 특정 주행 상황에서 운전자를 지원하는 첨단 운전자 보조 시스템(Advanced Driver Assistance System, ADAS)이 점차 더 많이 장착되고 있다. 지원 범위는 발생할 수 있는 관련 정보의 단순한 표시(예. 차선 변경 보조장치에 의한 경고 알림)로부터 일부 자율적인 개입(예. 잠김 방지 브레이크 시스템에 의해 휠 축에 가해지는 토크 조절)을 거쳐 차량 제어시 완전 자율적인 개입(예. 적응형 크루즈 컨트롤(Adaptive Cruise Control, ACC)에 의한 적응형 속도 조절)에 이르기까지 다양하다.

이러한 운전자 보조 시스템의 기초가 되는 것은 일반적으로 센서 데이터, 예를 들어 현재 주행 상황을 파악할 수 있는 초음파 센서, 레이더 센서 또는 카메라로부터 제공되는 신호로서 이에 대한 반응으로 운전자 보조 시스템의 기능을 수행할 수 있다. 특히 차량 제어에 (자율적으로) 개입하는 운전자 보조 시스템은 센서 데이터를 토대로 현재의 주행 상황을 가장 확실하게 분류할 수 있어야 한다.

일반적으로 주행 상황에 대응하는 소정의 규칙 또는 기준은 정해져 있고 이를 충족하면 알려진(known) 주행 상황에 있는 것으로 판단할 수 있다. 이때 규칙 또는 기준이 충족하게 되면 예를 들어 운전자 보조 시스템의 작동이 유도된다. 예를 들어 자기(ego) 차량의 전방에 있고 운전자 보조 시스템을 장착한 인접 차량이 동일 차선으로 끼어드는 교통 시나리오를 통해서 인접 차량까지 주행 방향에 대해 수직으로 센서가 감지하는 횡방향 거리가 줄어들고 최종적으로 인접한 차량이 자기 차량 바로 앞에 있으면 그 값은 적어도 실질적으로 0임을 알 수 있다.

이러한 주행 상황 또는 시나리오를 (신뢰성 있게) 인식하는데 적합한 알고리즘의 프로그래밍은 일반적으로 지극히 복잡하며 특히 고려해야 할 주행 상황이 많을 때에는 경우에 따라서 불가능할 수도 있다. 이에 따라, 주행 상황을 알려주는 센서 데이터의 특성을 자동으로 찾기 위한 기계적 학습법이 점점 더 많이 사용되고 있다. 토대가 되는 센서 데이터는 통상적으로 다양한 주행 상황에 대해 수동으로 분류된 센서 데이터이며, 이를 토대로 예를 들면 인공 신경망이 각각의 주행 상황에 대한 관련 기준을 추출할 수 있다. 분류된 센서 데이터는 일반적으로 인공 신경망에 의해 합리적으로 처리될 수 있도록 미리 정해진 형태에 맞춰 준비되어야 한다.

이러한 준비를 위한 하나의 방안은 조감도로부터 소정의 주행 상황을 보여주는 소위 그리드 맵(grid map)이다. 예를 들어 시간 경과에 따라 도로 사용자 각각이 차지하는 모든 위치가 해당 그리드 맵에 나타나기 때문에 기본 주행 상황의 역학 관계가 나타난다.

이러한 그리드 맵은 예를 들어 Gruner 등의 "Spatiotemporal Representation of Driving Scenarios and Classification using Neural Networks", 2017 IEEE Intelligent Vehicle Symposium, S. 1782-1788에 기재되어 있다.

Cara and de Gelder, "Classification for safety-critical car-cyclist scenarios using machine learning", 2015 IEEE 18th International Conference on Intelligent Transportation Systems, S. 1955-2000"에는 차량-자전거 운전자 시나리오를 분류하기 위한 다양한 알고리즘들이 비교되어 있다. 지도 학습(supervised learning)의 경우에, 일정 학습량의 분류된 객체(labeled objects)가 소위 분류기(classifier)를 학습시키기 위해 사용된다. 상기 학습 후 미지의(unknown) 새로운 시나리오가 나타나는 상황을 분류기는 소정의 평가 분류에 배정한다.

본 발명의 과제는 자기 객체 및 적어도 하나의 다른 객체에 대한 동적 공간 시나리오를 특징화하는데 적합한 센서 데이터의 처리를 더욱 개선하는 것이다. 특히 본 발명의 과제는 인공 신경망으로 처리하기 위한 이러한 센서 데이터의 준비를 개선하고, 특히 준비시 정보 손실을 막거나 적어도 감소시키는 것이다.

상기 과제는 독립항에 따른 데이터 준비를 위한 방법과 시스템, 인공 신경망을 학습시키기 위한 방법과 시스템 및 센서 데이터를 분석하기 위한 방법과 시스템에 의해 해결된다.

본 발명의 제1 측면은 인공 신경망으로 처리하기 위한 동적 공간 시나리오, 특히 교통 시나리오의 데이터를 준비하기 위한 방법에 관한 것이다. 이에 따르면, 자기 객체, 특히 자기 차량의 관점에서 본 다른 객체, 특히 다른 차량이 커버하는 각 섹터(angular sector)의 시간 곡선(time curve)의 디스플레이를 생성한다. 이를 위해, 상기 시간 곡선은 센서 데이터로부터 결정되고, 상기 센서 데이터는 자기 객체 및 적어도 하나의 다른 객체에 대한 동적 공간 시나리오를 특징화하는데 적합하다.

본 발명에서 "공간 시나리오"는 특히 공간적, 특히 정적 장면(static scene)의 시간적 순서로부터 형성되는 것을 의미한다. 이때 상기 공간적 장면은 예를 들어 자기 객체에 대한 적어도 하나의 다른 객체, 예를 들어 한 무리의 도로 사용자의 공간 위치를 제공한다. 공간 시나리오는 특히 운전자 보조 시스템을 장착한 차량에 의해 자기 차량의 운전자 보조 시스템이 적어도 부분적으로 제어되는, 예를 들어 자기 차량의 적어도 하나의 차량 기능이 자율적으로 실행되는 주행 상황을 포함할 수 있다.

본 발명에서 "동적"은 특히 시간에 따른 시간적 순서 또는 시간 경과를 의미한다. 예를 들어 개별 도로 사용자는 시간 경과에 따라 서로 상대 이동하므로 교통 시나리오는 동적이게 된다.

본 발명에서 "디스플레이"는 특히 그래픽 디스플레이, 예를 들어 그래프 또는 다이어그램을 의미한다. 상기 디스플레이는 바람직하게 이미지, 특히 2차원 또는 3차원 이미지를 포함한다. 선택적으로 또는 추가로, 상기 디스플레이는 또한 수학적 디스플레이, 예를 들어 매핑 규칙 또는 함수를 포함할 수 있다. 상기 디스플레이는 예를 들어 맵과 같은 이미지에서 자기 객체의 관점에서 본 다른 객체가 커버하는 각 섹터의 시간 곡선을 표시할 수 있다.

본 발명에서 "센서 데이터"는 특히 실제 또는 시뮬레이션된 센서, 특히 환경 센서에 의해 신호 형태, 즉 실제 또는 시뮬레이션된 센서 데이터 형태로 생성된 데이터를 의미한다. 이와 관련하여 상기 센서는 바람직하게는 자기 차량의 주변을 감지하고 관련 센서 데이터가 자기 차량의 주변을 특징화하도록 구성된다. 상기 센서 데이터는 바람직하게는 센서에 의해 제공되는 신호의 조합으로부터 얻어지고 경우에 따라서는 이미, 적어도 어느 정도까지 준비된 센서 융합 데이터(sensor-fusion-data)이다.

본 발명에서 "자기 객체"는 특히 동적 공간 시나리오를 바라보는 관점을 가진 객체를 의미한다. 자기 객체는 예를 들어 자신의 관점에서 본 교통 시나리오를 기록할 수 있고 경우에 따라서는 예를 들어 운전 보조 시스템을 적절히 제어하거나 기록된 교통 시나리오에 대응할 수 있도록 분석 및/또는 평가될 수 있는 (자기) 차량일 수 있다. 이에 따라 예를 들어 추가 처리를 위해 준비되는 센서 데이터는 바람직하게는 자기 차량의 환경 센서에 의해 생성되는데, 초음파 센서, 레이더 센서, 카메라 등과 같은 환경 센서는 자기 차량의 주변을 감지하도록 구성된다.

본 발명에서 "각 섹터"는 특히 자기 객체의 관점에서 본 다른 객체가 차지하는 영역을 의미한다. 자기 차량의 관점에서 본 각 섹터는 예를 들어 다른 차량이 커버하는 영역에 해당한다. 이때 상기 각 섹터는 바람직하게는 객체의 단면적 또는 윤곽에 의해 정의된다. 예를 들어, 상기 각 섹터는 소정의 방향, 특히 수평 방향에 따른 단면적 또는 윤곽의 최대 크기에 의해 정의될 수 있다.

본 발명은 특히 디스플레이에 있어서 동적 공간 시나리오, 예를 들어 교통 상황과 관련하여 센서 데이터로부터 측정된 정보를 암호화하는 방법을 기반으로 한다. 이에 따라 상기 디스플레이는 시나리오의 추상적 개념으로서 이해될 수 있으며 특히 위치, 해석, 객체의 수 등과 같은 다양한 유형의 정보를 통합하는 역할을 한다.

상기 디스플레이는 바람직하게 자기 객체의 관점이 다른 객체가 커버하는 각 섹터의 시간 전개를 토대로 생성된다. 상기 각 섹터에 의해 특히 공간 장면에서 한 무리의 객체들이 서로에 대해 상대적으로 기술될 수 있다. 상기 디스플레이는 바람직하게 그래픽, 특히 2차원 또는 3차원 이미지이며, 추상적인 방식으로 객체의 상대적인 위치와 움직임을 모두 보여준다. 예를 들어 이미지 내 객체의 움직임은 특히 기하학적 형태로 표시될 수 있다.

이러한 이미지는 바람직하게는 그의 분석을 기반으로 특징적인 형태를 찾을 수 있다. 이와 관련하여, 상기 형태는 특히 자기 객체 및 적어도 하나의 다른 객체에 대한 동적 공간 시나리오의 특징이다. 다시 말해, 상기 특징적 형태는 예를 들어 인공 신경망에 의해 이러한 디스플레이, 경우에 따라서 센서 데이터를 토대로 생성된 다수의 이러한 디스플레이를 분석하여 찾을 수 있는 패턴이다.

한편으로, 다양한 동적 공간 시나리오에 대한 특징적 형태 또는 패턴은 이미 알려져 있고 예를 들어 템플릿(template)으로서 존재할 때 해당 동적 공간 시나리오는 디스플레이의 평가를 토대로 결정될 수 있다.

각 섹터의 시간 전개를 기반으로 하는 동적 공간 시나리오의 디스플레이는 정보 콘텐츠가 시나리오의 변화에 전혀 의존하지 않거나 최소한으로 약간만 의존하는 장점이 있다. 상기 시나리오의 다양한 변형 형태, 예를 들어 특히 빠르게 또는 특히 느리게 수행되는 운전 기동은 상기 디스플레이에서 형태가 실질적으로 동일하거나 적어도 유사한 것을 제외하고는 전혀 다른 이미지를 생성한다.

예를 들어 자기 차량의 관점과 관련하여 다른 차량이 커버하여 자기 차량에 대한 다른 차량의 위치를 나타내는 각 섹터를 시간에 대해 플로팅(plotting)하면 다른 차량의 운전 기동에 특징적인 형태의 패턴이 생성된다. 예를 들어 자기 차량으로부터 다른 차량이 멀어지면 커버된 각 섹터가 다소 작아지는 반면에 접근시에는 해당하는 만큼 증가한다. 다른 차량이 예를 들어 주행 방향과 관련하여 자기 차량을 향해 측면에서 움직이면 커버된 각 섹터 또한 이동한다. 이때 예를 들어 특징적인 곡률을 가진 패턴은 예를 들어 공격적 또는 방어적인 운전 기동에 따라 이미지가 통상 달라지더라도(예. 줄어들거나 늘어나더라도) 운전 기동에 신뢰성 있게 할당될 수 있다.

따라서 상기 각 섹터의 시간 전개를 표시하면 다양한 유형의 정보를 간결하게 통합할 수 있다. 이때 시간 경과가 표시되므로 예를 들어 그래픽 요소의 중복 및 이와 관련된 정보 손실이 방지 또는 최소한으로 감소된다. 이와 동시에, 예를 들어 저장 공간을 절약할 수 있고 센서 데이터를 신속하게 평가할 수 있다. 동시에, 상기 디스플레이를 통해 동적 공간 시나리오를 신뢰성 있게 확인할 수 있다.

각 섹터의 시간 전개를 표시하면 그리드 맵에 비해 예를 들어 동일한 정보를 실질적으로 적은 양의 데이터로도 나타낼 수 있다는 장점이 있다. 그리드 맵에서는 다른 차량이 차지하지 않는 개별 픽셀(예. "빈" 픽셀)은 예를 들어 인공 신경망이 사용할 수 있는 정보 콘텐츠에 기여하지 않고, 특히 각 섹터의 시간 전개의 디스플레이를 이용하면 인공 신경망을 학습시키는 데 필요한 데이터량을 27배 줄일 수 있다.

전체적으로 본 발명은 센서 데이터의 준비를 더욱 개선할 수 있다. 특히 인공 신경망으로 처리하기 위한 센서 데이터의 준비는 예를 들어 준비시 정보 손실을 막거나 적어도 감소시킴으로써 개선될 수 있다.

이하, 각각 명시적으로 배제되지 않는 한 임의로 서로 조합할 수 있고 아래에서 설명되는 본 발명의 측면들과도 조합할 수 있는 본 발명의 바람직한 실시형태 및 추가 실시형태를 설명하기로 한다.

바람직한 일 실시형태에서, 상기 디스플레이는 인공 신경망으로 출력되거나 인공 신경망으로 처리하기 위해 이용할 수 있다. 예를 들어, 상기 디스플레이는 데이터 패킷, 특히 디지털 이미지로 저장 매체에 저장되거나 인터페이스를 통해 인공 신경망으로 직접 전송될 수 있다. 그 결과, 인공 신경망을 학습시키기 위해, 특히 디스플레이 내 소정의 시나리오에 특징적인 패턴, 예를 들어 디스플레이 내 그림 형태를 결정하기 위해 다량의 센서 데이터를 사용할 수 있다.

본 발명의 제2 측면은 자기 객체 및 적어도 하나의 다른 객체에 대한 알려진 동적 공간 시나리오를 특징화하는데 적합한 센서 데이터를 토대로 인공 신경망을 학습시키기 위한 컴퓨터 지원 방법에 관한 것이다. 여기서 자기 객체, 특히 자기 차량의 관점에서 본 다른 객체, 특히 다른 차량이 커버하는 각 섹터의 시간 곡선의 디스플레이가 센서 데이터를 토대로 생성된다. 생성된 디스플레이는 공간 시나리오에 대한 정보와 함께 인공 신경망에 제공된다. 그 결과, 상기 인공 신경망은 다양한 시나리오의 특징인 패턴을 인식하도록 특히 신속하고 신뢰성 있게 학습될 수 있다.

공간 시나리오에 대한 정보는 시나리오의 분류(라벨) 지시를 포함하는 것이 바람직하며, 이를 통해 시나리오를 명확하게 확인할 수 있어 바람직하다. 이때 상기 정보가 예를 들어 특정 시나리오의 시뮬레이션 중에 시뮬레이터에 의해 생성된 시뮬레이션된 센서 데이터일 때 센서 데이터에 이미 포함되어 있을 수 있다. 이와 달리, 상기 정보는 예를 들어 센서 데이터가 이미 사전에 분석되고 적어도 하나의 시나리오와 관련하여 분류된 경우에 별도의 데이터 스트림으로서 인공 신경망에 제공될 수도 있다. 상기 분류는 특히 예를 들어 센서 데이터에 해당하는 이미지 스트림을 분석함으로써 수동으로 수행될 수 있다.

본 발명의 제3 측면은 자기 객체 및 적어도 하나의 다른 객체에 대한 동적 공간 시나리오를 특징화하는데 적합한 센서 데이터를 분석하기 위한 컴퓨터 지원 방법에 관한 것이다. 이때, 자기 객체, 특히 자기 차량의 관점에서 본 다른 객체, 특히 다른 차량이 커버하는 각 섹터의 시간 곡선의 디스플레이는 센서 데이터를 토대로 생성된다. 상기 생성된 디스플레이는 알려진 동적 공간 시나리오의 적어도 하나의 미리 정의된 템플릿과 비교된다. 그 결과, 예를 들어 차량의 환경 센서에 의해 제공되는 센서 데이터 스트림을 토대로 알려진 시나리오의 존재가 특히 신속하고 신뢰성 있게 파악될 수 있다.

상기 미리 정의된 템플릿은 바람직하게는 각 섹터의 시간 전개의 일반적인 디스플레이이며, 예를 들어 시나리오의 모든 실질적인 패턴들을 포함한다. 예를 들어, 상기 미리 정의된 템플릿은 교통 시나리오의 범위에서 수행되는 차량의 운전 기동에 특징인 형태를 가진 적어도 하나의 그림을 포함하는 디스플레이일 수 있다.

상기 미리 정의된 템플릿은 바람직하게는 알려진 동적 공간 시나리오의 특징인 다수의 디스플레이들을 기반으로 결정된다. 특히 알려진 시나리오의 특징인 다수의 디스플레이들은 평균화될 수 있다. 예를 들어 이들 디스플레이는 시나리오와 관련하여 분류된 센서 데이터로부터 미리 생성되었을 수 있다. 그 결과, 상기 생성된 디스플레이를 미리 정의된 템플릿과 비교하여 높은 수준의 신뢰성을 달성할 수 있다.

바람직한 일 실시형태에서, 상기 동적 공간 시나리오는 예를 들어 결정된 디스플레이를 적어도 하나의 미리 정의된 템플릿에 할당하는 비교를 기반으로 분류된다. 그 결과, 상기 시나리오를 신뢰성 있게 확인하고 경우에 따라 운전자 보조 시스템의 반응을 유도할 수 있다.

바람직하게는 상기 생성된 디스플레이를 미리 정의된 템플릿과 비교시 유사도를 결정하고, 이를 기반으로 예를 들어 시나리오를 분류할 수 있고 상기 생성된 디스플레이를 시나리오에 할당할 수 있다. 예를 들어 상기 생성된 디스플레이를 시나리오에 할당하는 것을 생각할 수 있는데, 상기 시나리오의 미리 정의된 템플릿에 생성된 디스플레이를 탄성 매칭(elastic matching, 또는 비선형 템플릿 매칭) 방법에 의해 가장 잘 매핑할 수 있는바, 즉 상기 방법에 의해 얻은 유사도의 경우 최대이다. 이를 통해 상기 시나리오를 특히 신뢰성 있게 확인할 수 있다.

또 다른 바람직한 실시형태에서, 상기 생성된 디스플레이가 알려진 동적 공간 시나리오의 적어도 하나의 미리 정의된 템플릿에 할당될 수 없는 경우에는 새로운 동적 공간 시나리오에 대한 템플릿이 정의된다. 그 결과, 새로운 동적 시나리오가 확인, 특히 분류될 수 있다. 특히 새로운 동적 시나리오는 실질적으로 실시간 확인할 수 있다.

예를 들어, 상기 생성된 디스플레이의 비교시 결정된 유사도가 소정의 임계값에 도달하지 않으면 새로운 동적 공간 시나리오에 대한 템플릿을 정의할 수 있다. 그 결과, 알려진 동적 공간 시나리오의 미리 정의된 템플릿의 목록을 단순한 방식으로, 특히 실시간으로 생성할 수 있다.

또 다른 바람직한 실시형태에서, 상기 생성된 디스플레이는 자기 객체와 다른 객체 사이의 횡방향 거리 및/또는 특히 자기 객체의 횡방향 속도를 나타낼 수 있는데, 이때 상기 거리 및/또는 속도는 센서 데이터로부터 결정된다. 이와 관련하여 해당 거리 정보 또는 속도 정보는 바람직하게는 자기 객체에 대한 다른 객체의 공간적 배치와 적어도 독립적으로 판독할 수 있는 방식으로 상기 디스플레이에서 암호화된다. 상기 거리 및/또는 속도를 고려함으로써 동적 공간 시나리오를 특히 신뢰성 있게 확인할 수 있다. 특히 상기 거리 및/또는 속도를 고려함으로써 다양한 동적 공간 시나리오 간에 특히 미세한 차이를 만들 수도 있다.

자기 객체의 속도는 특히 예를 들어 자기 객체의 주행 방향의 지배적인 종방향 속도에 실질적으로 수직인 횡방향 속도, 즉 속도 성분을 가질 수 있다. 상기 생성된 디스플레이에 나타낸 자기 객체의 속도를 횡방향 속도로만 구성하는 것이 바람직하다.

예를 들어 직진 주행시 자기 차량의 횡방향 속도는 0이고 차선을 변경시 최대값으로 증가한 다음 다시 0으로 떨어진다.

상기 디스플레이에 나타난 속도를 토대로 예를 들어 자기 차량의 차선 변경과 다른 차량의 차선 변경 사이에는 차이가 있을 수 있다. 상기 2개의 운전 기동은 자기 차량과 다른 차량의 상대적인 움직임과 관련하여 서로 차이가 없기 때문에, 즉 상기 2개의 경우의 디스플레이는 동일한 그림으로 나타나기 때문에 횡방향 속도를 고려하면 어느 차량이 차선을 변경했는지 신뢰성 있게 확인할 수 있다.

자기 객체와 다른 객체 사이의 거리는 특히 횡방향 거리, 즉 자기 객체의 지배적인 (종방향의) 이동 방향, 예를 들어 주행 방향에 실질적으로 수직인 거리 성분을 포함할 수 있다. 상기 생성된 디스플레이에 나타낸 자기 객체와 다른 객체 사이의 거리를 바람직하게는 횡방향 거리로만 구성하는 것이 바람직하다.

예를 들어, 자기 차량이 인접 차선의 다른 차량에 의해 추월되면 자기 차량과 다른 차량 사이의 절대 거리는 바뀐다. 그러나 자기 차량이나 다른 차량이 해당 차선을 벗어나지 않는 한 횡방향 거리는 일정하게 유지된다. 따라서 횡방향 거리의 변화를 통해 예를 들어 시나리오의 범위에서 수행되는 기동에 대한 (추가) 결론을 도출할 수 있다.

또 다른 바람직한 실시형태에서, 각 섹터의 시간 곡선은 라인(line)으로 표시되고 그 폭은 각각 해당하는 각 섹터의 값을 나타낸다. 선택적으로 또는 추가로, 자기 객체와 다른 객체 사이의 거리 및/또는 자기 객체의 속도는 상기 거리 및/또는 속도가 존재하는 시점에 해당하는 라인의 위치 각각에 기록된 값 또는 채색을 통해 표시된다.

선택적으로 또는 추가로, 상기 라인의 기록 값 또는 채색은 특히 입력 변수로서 예를 들어 자기 객체와 다른 객체 사이의 횡방향 거리 및/또는 특히 자기 객체의 횡방향 속도를 입력하는 함수, 특히 일반 함수(generic function)에 의해 결정될 수 있다. 상기 함수를 토대로 예를 들어 상기 거리와 속도는 경우에 따라 가중치를 고려하여 더하거나 곱해질 수 있다. 특히, 상기 속도는 거리에 의해 가중치가 부여되거나 또는 상기 거리는 속도에 의해 가중치가 부여될 수 있다. 이렇게 얻은 정보를 디스플레이에 나타내거나 저장값에 의해 나타낼 수 있고 운전 기동 또는 이에 해당하는 동적 공간 시나리오에 의해 특히 신뢰성 있고 상세한 구별이 가능해진다.

상기 함수는 바람직하게는 인공 신경망의 인지 능력을 조절하기 위해 사용된다. 다시 말해, 상기 함수는 그로부터 얻은 디스플레이가 인공 신경망에 의해 인식되는 패턴에 영향을 주도록 선택될 수 있다. 이를 통해 서로 다른 동적 공간 시나리오를 특히 신뢰성 있게 구별할 수 있다.

선택적으로 또는 추가로, 자기 객체와 다른 객체 사이의 거리 및/또는 자기 객체의 속도 이외의 파라미터가 또한 함수의 입력 변수로서 선택될 수 있다. 예를 들어, 상기 파라미터는 특히 알려진 동적 공간 시나리오의 함수에 따라 선택될 수 있다. 바람직하게는 상기 동적 공간 시나리오를 적어도 부분적으로 특징화하는 입력 변수로서 파라미터가 선택된다.

본 발명의 제4 측면은 인공 신경망에 의한 처리를 위해 동적 공간 시나리오, 특히 교통 시나리오의 데이터를 준비하기 위한 시스템에 관한 것이다. 상기 시스템은 자기 객체, 특히 자기 차량의 관점에서 본 다른 객체, 특히 다른 차량이 커버하는 각 섹터의 시간 곡선을 센서 데이터로부터 결정하도록 구성된 결정 모듈을 포함한다. 여기서 상기 센서 데이터는 자기 객체 및 적어도 하나의 다른 객체에 대한 동적 공간 시나리오를 특징화하는데 적합하다. 상기 시스템은 또한 결정된 시간 곡선의 디스플레이를 생성하도록 구성된 생성 모듈을 포함한다.

본 발명의 제5 측면은 자기 객체 및 적어도 하나의 다른 객체에 대한 알려진 동적 공간 시나리오를 특징화하는데 적합한 센서 데이터를 토대로 인공 신경망을 학습시키기 위한 시스템에 관한 것이다. 상기 시스템은 자기 객체, 특히 자기 차량의 관점에서 본 다른 객체, 특히 다른 차량이 커버하는 각 섹터의 시간 곡선의 디스플레이를 센서 데이터를 토대로 생성하도록 구성된 생성 모듈을 포함한다. 상기 시스템은 또한 생성된 디스플레이를 공간 시나리오에 대한 정보와 함께 인공 신경망에 제공하도록 구성된 인터페이스를 포함한다.

본 발명의 제6 측면은 자기 객체 및 적어도 하나의 다른 객체에 대한 동적 공간 시나리오를 특징화하는데 적합한 센서 데이터를 분석하기 위한 시스템에 관한 것이다. 상기 시스템은 자기 객체, 특히 자기 차량의 관점에서 본 다른 객체, 특히 다른 차량이 커버하는 각 섹터의 시간 곡선의 디스플레이를 센서 데이터를 토대로 생성하도록 구성된 생성 모듈을 포함한다. 상기 시스템은 또한 생성된 디스플레이를 알려진 동적 공간 시나리오의 미리 정의된 적어도 하나의 템플릿과 비교하도록 구성된 비교 모듈을 포함한다.

본 발명의 제1 양태 및 이의 유리한 실시예와 관련하여 설명한 특징 및 장점들이 적어도 기술적으로 의미가 있는 경우에 본 발명의 제2, 제3, 제4, 제5 및 제6 양태 및 이들의 유리한 실시예에 적용되며 그 반대 또한 마찬가지이다.

본 발명의 추가 특징, 장점 및 이용 가능성은 도면을 참조하여 후술하는 설명으로부터 명백해지며, 도면 전체에서 동일한 참조 부호는 본 발명의 동일하거나 서로 대응되는 요소에 대해 사용되고 있다. 도면은 적어도 부분적으로 개략적인 것으로:
도 1은 데이터 준비를 위한 본 발명에 따른 시스템 및 인공 신경망을 학습시키기 위한 본 발명에 따른 시스템의 바람직한 실시예를 도시하고 있고;
도 2는 센서 데이터를 분석하기 위한 본 발명에 따른 시스템의 바람직한 실시예를 도시하고 있고;
도 3은 교통 시나리오에서 각 섹터를 결정하는 일례를 도시하고 있고;
도 4는 본 발명에 따른 디스플레이 및 관련 동적 공간 시나리오 사이의 관계를 설명하기 위한 제1 예를 도시하고 있고;
도 5는 본 발명에 따른 디스플레이 및 관련 동적 공간 시나리오 사이의 관계를 설명하기 위한 제2 예를 도시하고 있고;
도 6은 데이터 준비를 위한 본 발명에 따른 방법 및 인공 신경망을 학습시키기 위한 본 발명에 따른 방법의 바람직한 실시예를 도시하고 있고;
도 7은 데이터 평가를 위한 본 발명에 따른 방법의 바람직한 실시예를 도시하고 있다.

도 1은 동적 공간 시나리오의 데이터를 준비하기 위한 본 발명에 따른 시스템(100) 및 인공 신경망(1)을 학습시키기 위한 본 발명에 따른 시스템(200)의 바람직한 실시예를 도시하고 있다. 데이터 준비를 위한 시스템(100)은 자기 객체의 관점에서 본 다른 객체가 커버하는 각 섹터의 시간 곡선을 센서 데이터(S)로부터 결정하도록 구성된 결정 모듈(2) 및 상기 결정된 시간 곡선의 디스플레이를 생성하도록 구성된 생성 모듈(3)을 포함하고 있다. 인공 신경망(1)을 학습시키기 위한 시스템(200)은 생성 모듈(3) 및 인터페이스(4)를 포함하되, 인터페이스(4)는 생성된 디스플레이를 동적 공간 시나리오에 대한 정보와 함께 인공 신경망(1)에 제공하도록 구성되어 있다.

센서 데이터(S)는 예를 들어 교통 시나리오를 감지할 때 자기 차량의 환경 센서에 의해 생성되고, 예를 들어 인접 차량의 수, 다른 차량의 상대적인 배치, 특히 상대적 거리, 자기 차량의 속도 등을 특징화한다. 센서 데이터(S)로부터 결정 모듈(2)은 자기 차량의 관점에서 본 다른 차량이 커버하는 적어도 하나의 각 섹터가 얼마나 넓은지 그리고 상기 각 섹터가 예를 들어 자기 차량의 주행 방향에 대해 어느 위치에 배치되는지를 바람직한 방식으로 결정한다.

상기 환경 센서는 자기 차량의 주변을 바람직하게는 연속적으로 그리고 적어도 높은 주파수로 감지하기 때문에, 그 결과 얻어진 센서 데이터(S)는 각 섹터의 시간 곡선, 특히 각 섹터의 폭 및/또는 자기 차량의 관점에서 본 각 섹터의 위치 변화가 결정된다. 상기 시간 곡선은 추상적인 방식으로 교통 시나리오를 디스플레이하는 그래픽 디스플레이를 생성하기 위해 생성 모듈(3)에 의해 사용될 수 있다. 다시 말해서, 생성 모듈(3)은 디스플레이 내, 특히 압축 형태의 교통 시나리오에 대한 센서 데이터(S) 내 포함된 정보를 암호화하도록 구성되어 있다.

상기 센서 데이터(S)는 바람직하게는 동적 공간 시나리오에 대해 분류한 센서 데이터인바, 즉 센서 데이터(S)는 예를 들어 추월 기동 또는 차선 변경 기동과 같은 교통 시나리오의 여러 분류 중 하나에 해당한다. 상기 분류는 예를 들어 이미지 데이터 스트림을 보면서 수동으로 수행할 수 있다. 이에 따라, 각 섹터의 결정된 시간 곡선에 기초하여 생성된 디스플레이를 동적 공간 시나리오에 대한 정보와 함께 인터페이스(4)로부터 인공 신경망(1)으로 전송될 수 있다.

인공 신경망(1)은 동일한 교통 시나리오 분류에 할당된 모든 디스플레이에서 적어도 하나의 패턴을 파악하도록 구성되는 것이 바람직하다. 이렇게 파악된 패턴을 기반으로 알려진 교통 시나리오를 특징화하는 템플릿을 정의할 수 있다. 이렇게 정의된 템플릿은 추가 사용을 위해, 예를 들어 차량의 일상적인 운행 중에 생성된 센서 데이터를 평가하기 위해 데이터베이스(5)에 저장될 수 있다.

도 2는 자기 객체 및 적어도 하나의 다른 객체에 대한 동적 공간 시나리오를 특징화하는데 적합한 센서 데이터(S)를 분석하기 위한 시스템(300)의 바람직한 실시형태를 도시하고 있다. 시스템(300)은 센서 데이터(S)를 토대로 자기 객체의 관점에서 본 다른 객체가 커버하는 각 섹터의 시간 곡선의 디스플레이를 생성하도록 구성된 생성 모듈(3)을 포함하고 있다. 시스템(300)은 또한 생성된 디스플레이를 알려진 동적 공간 시나리오의 적어도 하나의 미리 정의된 템플릿과 비교하도록 구성된 비교 모듈(6)을 포함하고 있다. 이를 위해, 비교 모듈(6)은 바람직하게는 적어도 하나의 미리 정의된 템플릿이 저장되어 있는 데이터베이스(5)에 액세스할 수 있다.

비교 결과가 비교 모듈(6)로부터 바람직한 방식으로 출력되고, 예를 들어 자기 차량에 장착된 운전자 보조 시스템을 제어하기 위해 사용될 수 있다. 예를 들어 비교시 생성된 유사도를 분석함으로써 상기 생성된 디스플레이와 적어도 하나의 미리 정의된 템플릿 사이에 예를 들어 적어도 소정의 일치도가 측정되면, 알려진 시나리오가 존재하는 것으로 판단할 수 있고 비교 모듈(6)은 예를 들어 시나리오 분류를 출력 신호로서 출력할 수 있다. 선택적으로 또는 추가로, 확인된 운전 기동의 시작 및/또는 종료를 출력, 특히 신호로 출력할 수 있다.

도 3은 자기 객체(11)가 이동 방향을 따라, 여기서는 좌표계의 x축을 따라 이동하고 다른 객체(12)로 둘러싸여 있는 동적 공간 시나리오(10)에서 각 섹터(Φ)를 결정하기 위한 일례를 도시하고 있다. 본 예에서, 공간 시나리오(10)는 자기 차량(11a)이 중간 차선에서 주행 방향으로 이동하고 인접 차선의 다른 차량(12a, 12b)에 둘러싸여 있는 교통 시나리오이다.

도 3A는 교통 시나리오의 조감도로서, 공간 장면의 시간적 순서가 디스플레이에 통합되어 있다. 서로 다른 시점에 다른 차량(12a, 12b)은 자기 차량(11a)에 대해 서로 다른 위치에 있게 되는데, 도면에는 차량(12a, 12b)이 서로 다르게 칠해진 직사각형으로 표시되어 있다. 더 진하게 칠해진 것은 시간적으로 뒤에 있는 위치에 해당한다. 디스플레이에서 명확하게 알 수 있는 바와 같이, 제1 차량(12a)은 바깥쪽 차선에서 자기 차량(11a)이 이용하는 차선으로 차선을 변경하여 자기 차량(11a) 앞에 끼어들어 있다. 이동 방향과 관련하여 초기에 자기 차량(11a)과 거의 동일한 높이에 있는 제2 차량(12b)은 시간 경과에 따라 뒤처지고 있다. 제2 차량(12b)의 위치 변화는 상대적으로 작기 때문에, 디스플레이에서는 서로 다른 시점에서 제2 차량(12b)이 차지하는 위치가 서로 겹쳐져 있다.

교통 시나리오의 또 다른 디스플레이를 생성하기 위해서 2개의 차량(12a, 12b) 각각에 대해 각 섹터(Φ)를 결정할 수 있는데, 상기 각 섹터는 각각의 차량(12a, 12b)이 커버하는 자기 차량(11a)의 시야 영역을 나타낸다. 제1 차량(12a)의 경우가 도 3B에 예시되어 있다. 자기 차량(11a)의 관점에서 본 제1 차량(12a)의 윤곽(13)은 실선으로 표시되어 있고 각 섹터(Φ)가 전개되어 있다. 자기 차량(11a)의 관점에서 본 각 섹터(Φ)의 위치(

) 및 이에 따른 제1 차량(12a)의 위치는 소정의 방향, 예를 들어 이동 방향에 대해서도 나타낼 수 있다. 차량(12a)의 위치가 자기 차량(11a)에 대해 상대 이동하면 각 섹터(Φ)의 폭과 위치(

)는 모두 변할 수 있다.

이를 도 3C에 도시하였다. 도 3A에 검은색 화살표로 표시된 자기 차량(11a)과 다른 차량(12a, 12b) 사이의 거리(d)의 역수를 각 섹터(Φ)의 위치(

)에 대해 플로팅한 막대그래프는 도 3A에 나타낸 교통 시나리오의 추상적인 디스플레이이다. 우측에 있는 3개의 막대는 제1 차량(12a)이 커버하는 각도 범위(Φ)에 해당하고, 좌측에 있는 3개의 막대는 제2 차량(12b)이 커버하는 각도 범위(Φ)에 해당한다. 도 3A에서와 같이, 서로 다른 시점은 막대의 칠에 의해 표시되어 있다.

따라서 제1 차량(12a)이 커버하는 각도 범위(Φ)는 자기 차량(11a)의 전방에 끼어들 때 0°-위치의 방향으로 이동하고, 이때 각 섹터(Φ)의 0°-위치는 자기 차량(11a)의 전방 위치에 해당한다. 도 3A에 도시되어 있는 바와 같이, 제1 차량(12a)과 자기 차량(11a) 사이의 거리(d)가 감소하는 만큼 제1 차량(12a)이 커버하는 각도 범위(Φ)의 폭도 증가한다. 각도 범위(Φ)의 폭 외에도, 제1 차량(12a)과 자기 차량(11a) 사이의 거리(d)도 시간이 경과함에 따라 증가하는 막대의 높이로 암호화된다.

이에 반해, 제2 차량(12b)이 커버하는 각도 범위(Φ)는 제2 차량(12b)이 자기 차량(11a)의 후방에서 뒤처지는 만큼 0°-위치로부터 멀어진다. 이때 제2 차량(12b)과 자기 차량(11a) 사이의 거리가 증가하기 때문에 막대의 높이와 폭 모두 감소한다.

도 4는 본 발명에 따른 디스플레이(20)의 바람직한 실시예 및 관련 동적 공간 시나리오(10) 사이의 관계를 설명하기 위한 제1 예를 도시하고 있다. 이를 위해, 도 4A는 자기 객체, 예를 들어 자기 차량(11a)의 관점에서 본 다른 객체가 커버하는 각 섹터(Φa, Φb, Φc)의 시간 곡선의 디스플레이(20)를 도시하고 있다. 디스플레이(20)에서 시간(t)을 각 섹터(Φa, Φb, Φc)의 위치(

)에 대해 플로팅하였고, 0°-위치는 자기 객체 전방 위치에 해당한다.

각 섹터(Φa, Φb, Φc)의 시간 곡선을 라인으로 표시되고, 그 폭은 각각의 객체와 자기 객체 사이의 거리에 해당한다. 따라서 예를 들어 제1 차량(12a)과 같은 제1 객체는 t=0에서 시작할 때 자기 객체의 전방에 소정 거리 떨어져 있다. 이와 대조적으로, 예를 들어 제2 차량(12b)과 같은 제2 객체는 시작할 때 자기 객체에 더 가깝지만 자기 객체의 측방에 위치해 있다. 약 t=40에서 제2 객체는 위치를 변경하고 자기 객체와 제1 객체 사이에 끼어든다. 이 시점부터 제2 객체가 커버하는 각 섹터(Φb)의 시간 곡선은 제1 객체가 커버하는 각 섹터(Φa)의 곡선과 겹친다.

약 t=70에서, 제3 차량(12c)과 같은 제3 객체가 또 다른 각 섹터(Φc)를 커버한다. 제3 객체는 자기 객체의 측방, 구체적으로 t=0에서 제2 객체가 있었던 자기 객체의 측면에 대향해 있는 자기 객체의 측면에 있다. 제3 객체가 커버하는 각 섹터(Φc)의 위치(

)는 0°-위치의 방향으로 이동한다. 이 시간 곡선은 예를 들어 자기 객체의 이동 방향에 평행한 제3 객체의 이동에 의한 것으로, 제3 객체와 자기 객체 사이의 거리가 증가한다.

각 섹터(Φa, Φb, Φc)의 이러한 시간 곡선은 예를 들어 도 4B에 도시된 공간 동적 시나리오(10), 여기서는 교통 시나리오의 특징일 수 있다. 시간 전개는 도로상에 점으로 나타낸 차량의 궤적에 의해 도 4B에 도시되어 있다.

시작할 때 자기 차량(11a)은 위치(x=0, y=0)에 위치해 있고, 제1 차량(12a)은 대략적으로 위치(x=60, y=0)에 위치해 있다. 따라서 제1 차량(12a)은 거리 Δx=60만큼 중간 차선에서 자기 차량(11a)에 앞서 주행한다. 제2 차량(12b)은 시작할 때 대략 위치(x=45, y=-4)에 위치해 있으며, 이에 따라 자기 차량(11a)의 인접 차선에서, 즉 자기 차량(11a)과 제1 차량(12a) 사이의 측방에서 주행한다.

추가 시간 곡선에서 제2 차량(12b)은 중간 차선에서 자기 차량(11a)과 제1 차량(12a) 사이에 끼어든다. 제2 차량(12b)이 끼어드는 것은 대략 위치(x=100, y=-4)에서 시작하여 대략 위치(x=150, y=0)에서 끝난다. 다른 차량(12b)이 진입한 후, 자기 차량(11a), 제1 차량(12a) 및 제2 차량(12b)은 중간 차선에서 함께 이동한다. 그 결과, 제2 차량(12b)은 자기 차량(11a)의 관점에서 봤을 때 제1 차량(12a)을 시야에서 가리기 때문에 0°-위치에서는 단 하나의 라인만을 도 4A의 디스플레이(20)에서 볼 수 있다.

제3 차량(12c)은 처음에는 자기 차량(11a) 후방에 있으므로, 예를 들어 자기 차량(11a)의 환경 센서에 의해 초기에는 감지되지 않는다. 그러나 제3 차량(12c)은 자기 차량(11a)보다 더 빠른 속도로 이동하여 y=4의 인접 차선에서 자기 차량(11a)을 추월한다. 추월 시점부터 자기 차량(11a)은 제3 차량(12c)을 볼 수 있기 때문에 도 4A의 해당 디스플레이(20)에서 제3 차량(12c)이 커버하는 각도 범위(Φc)의 시간 곡선은 이 시점부터 시작된다.

각 섹터의 시간 곡선에 의해 생성된 도 4A의 디스플레이(20)는 상술한 공간 동적 시나리오(10)의 특징인 패턴을 갖는다. 이러한 시나리오가 기록되었을 때 반복적으로 수집된 센서 데이터를 토대로 이러한 디스플레이가 다수 생성되면 인공 신경망은 상기 패턴을 학습하거나 상기 패턴을 인식하도록 학습시킬 수 있다. 차량의 일상적인 운행에서 이러한 방식으로 생성된 센서 데이터는 실질적으로 실시간 각 섹터의 시간 곡선을 표시하고 특히 학습된 패턴과 비교하면서 학습된 인공 신경망에 의해 분석하는데 사용될 수 있다. 그 결과, 바람직하게는 알려진 교통 시나리오가 있는지 또는 어느 시점에 있는지 여부가 결정된다.

도 4C는 예를 들어 도 4A에 도시된 디스플레이(20) 및 관련 템플릿 사이에 이러한 비교 결과로서, 시간(t)에 대해 출력 신호(a)를 플로팅한 것이다. 약 시간(t)=30에서 출력 신호(a)는 값이 6으로 상승하고, 이는 알려진 교통 시나리오가 있다는 것, 이 경우 제2 차량(12b)이 끼어드는 것을 신호로 알린다. 약 시간(t)=85에서 출력 신호(a)는 값이 0으로 되돌아가 끼어드는 이동이 종료되었음을 신호로 알린다.

운전 기동의 시작과 지속 시간 외에도 출력 신호(a)의 값을 이용하여 교통 시나리오의 분류를 출력할 수도 있다. 도시하지 않은 또 다른 예에서, 생성된 디스플레이를 다양한 템플릿과 비교함으로써 예를 들어 이탈 기동에 할당된 템플릿과 가장 큰 매칭을 보여줄 수 있으며, 이에 따라 출력 신호(a)는 또 다른 값을 갖게 된다.

도 5는 본 발명에 따른 디스플레이(20)의 바람직한 실시예 및 관련 동적 공간 시나리오(10) 사이의 관계를 설명하기 위한 제2 예를 도시하고 있다. 이를 위해, 도 5A는 동적 공간 시나리오(10)에 해당하는 교통 상황으로부터 하나의 장면을 도시하고 있는데, 이 경우에 다른 제1 차량(12a)이 이미 주행하고 있는 차선으로 끼어드는 자기 차량(11a)이 화살표로 표시되어 있다. 제1 차량(12a) 외에, 또 다른 제2 차량(12b)이 또 다른 차선으로 주행하고 있다.

동적 공간 시나리오(10)의 시간 전개는 차량(11a, 12a, 12b)의 특징적인 궤적이 점으로 도 5B에 도시되어 있다. 처음에는 자기 차량(11a)은 대략 위치(x=0, y=2.5)에 위치해 있고, 제1 차량(12a)은 거리 Δx=35만큼 중간 차선에서 대략 위치(x=35, y=0)의 자기 차량(11a)을 추월하고 있다. 제2 차량(12b)은 처음에는 대략 위치(x=25, y=-2.5)에 위치해 있다.

추가 시간 곡선에서 자기 차량(11a)이 중간 차선에서 대략 위치(x=60, y=2)에서 끼어들기 시작하여 대략 위치(x=100, y=0)에서 끝난다. 다른 2개의 차량(12a, 12b)은 계속해서 약간 더 빠른 속도로 직진하여 자기 차량(11a)은 서서히 뒤처진다.

도 5C에는 자기 차량(11a)의 관점에서 본 제1 차량(12a) 및 제2 차량(12b)이 각각 커버하는 각 섹터(Φa, Φb)의 시간 곡선이 디스플레이(20)에 표시되어 있다. 이때 시간(t)은 섹터(Φa, Φb)의 위치(

)에 대해 플로팅되어 있다. 도 5C에 도시되어 있는 0°-위치는 자기 차량(11a)의 전방 위치에 해당한다.

제1 및 제2 차량(12a, 12b)이 더 높은 속도로 인해 상술한 바와 같이 자기 차량(11a)으로부터 멀어지기 때문에 시간 곡선에서 각 섹터(Φa, Φb)는 0°-위치의 방향으로 이동한다. 자기 차량(11a)이 끼어드는 시점, 여기서는 약 시간(t)=30에서, 각 섹터(Φa, Φb)의 시간 곡선은 추가로 0°-위치의 방향으로 만곡된 형태가 된다. 도 5A 및 5B에 도시되어 있는 바와 같이 제1 차량(12a)이 동일한 차선에서 자기 차량(11a)을 앞서가기 때문에 제1 차량(12a)이 커버하는 각 섹터(Φa)는 이후에는 0°-위치를 따라 진행한다.

생성된 패턴을 토대로 처음에는 제1 및 제2 차량(12a, 12b)에 대한 자기 차량(11a)의 상대적 이동에 대해서만 말할 수 있는바, 즉 자기 차량(11a)이 중간 차선으로 차선을 변경했는지 또는 제2 차량(12a, 12b)이 각각, 특히 실질적으로 동시에 차선을 변경했는지, 제1 차량(12a)이 자기 차량(11a)의 차선에 진입하고 제2 차량(12b)이 제1 차량(12a)보다 먼저 이용한 차선으로 방향 전환했는지 각 섹터(Φa, Φb)의 시간 곡선 형태로부터 확실하게 알 수는 없다.

상기 2개의 경우를 구별할 수 있도록, 디스플레이(20)는 각 섹터(Φa, Φb) 외에 특히 자기 차량(11a)과 다른 차량(12a) 사이의 횡방향 거리 및/또는 특히 시간(t)에 대한 자기 차량(11a)의 횡방향 속도가 특징인 값을 추가로 나타내고 있다. 이때 상기 횡방향 거리 또는 횡방향 속도는 거리 또는 속도의 횡방향 성분, 즉 도 5B에 도시된 디스플레이에서 y 성분과 관련이 있다.

상기 거리 및/또는 속도가 특징인 값은 각 섹터의 시간 곡선이 색조로 채색되어 디스플레이(20)에 표시되어 있다. 이 경우, 어두운 색조는 예를 들어 자기 차량(11a)의 높은 횡방향 속도에 해당한다. 따라서 도 5C의 디스플레이(20)에서는 자기 차량이 약 시간(t)=20에서 횡방향 이동, 즉 차선의 코스에 수직으로 이동을 시작하고, 자기 차량(11a)이 약 t=30에서 최고 횡방향 속도에 도달하고 약 t=40에서 횡방향 이동이 끝난다는 것을 알 수 있다.

자기 차량(11a)은 다른 차량(12a, 12b) 중 하나가 차선을 변경할 때 자신의 (횡방향) 속도는 변하지 않기 때문에, 이 경우 자기 차량(11a)이 제1 차량(12a)이 이용하는 차선으로 방향 전환한 것으로 판단할 수 있다.

도 6은 데이터 준비를 위한 본 발명에 따른 방법(V1) 및 인공 신경망을 학습시키기 위한 본 발명에 따른 방법(V2)의 바람직한 실시예를 도시하고 있다.

공정단계(S1)에서, 센서 데이터를 예를 들어 자기 객체의 주변을 감지함으로써 생성하고 분류, 즉 다양한 동적 공간 시나리오에 할당한다. 상기 분류는 예를 들어 이미지 데이터 스트림을 평가하여 수동으로 수행할 수 있다. 이와 달리, 상기 센서 데이터가 특히 다양한 동적 공간 시나리오를 시뮬레이션할 때 시뮬레이터에 의해 생성된 센서 데이터인 경우에는 자동으로 분류될 수도 있다.

다음 공정단계(S2)에서, 상기 센서 데이터를 토대로 자기 객체의 관점에서 본 다른 객체가 커버하는 각 섹터의 시간 곡선을 결정할 수 있다. 예를 들어, 다른 객체의 윤곽, 특히 단면적을 결정할 수 있고, 자기 객체의 시야에서 그의 폭 또는 그의 비율을 결정할 수 있다. 또한 윤곽 또는 단면적의 기하학적 무게중심을 결정할 수 있고, 특히 자기 객체의 이동 방향에 대한 자기 객체의 시야에서 그의 위치를 결정할 수 있다.

다음 공정단계(S3)에서, 각 섹터의 시간 곡선으로부터 시간 곡선을 나타내는 디스플레이, 특히 그래픽 디스플레이를 바람직한 방식으로 생성한다. 이러한 디스플레이에서 각 섹터의 시간 곡선은 예를 들어 패턴, 예를 들어 그림으로 구성될 수 있다. 이때 상기 센서 데이터가 생성되거나 다른 객체가 커버하는 적어도 하나의 각 섹터가 결정되는 각각의 시점에 대해 각 섹터의 폭, 특히 자기 객체의 시야에서 각 섹터의 비율 및 자기 객체의 시야에서 각 섹터의 위치, 특히 자기 객체의 이동 방향에 대한 그의 위치를 나타내는 것이 바람직하다.

공정단계(S3)에서 디스플레이를 생성할 때 자기 객체의 속도, 특히 횡방향 속도 및/또는 다른 객체와 자기 객체 사이의 거리, 특히 횡방향 거리를 고려하는 것이 바람직하다. 특히 예를 들어 속도 및/또는 거리와 같이 동적 공간 시나리오를 특징화하는 파라미터가 입력 변수로 바람직하게 입력되는 함수를 기반으로 값을 결정하고, 저장하거나 이에 맞게 디스플레이를 채색할 수 있다. 따라서 생성된 디스플레이는 바람직하게는 자기 객체의 시야에서 다른 객체가 커버하는 각 섹터의 폭 및 위치, 자기 객체의 속도 및/또는 다른 객체까지의 거리에 관한 정보를 제공한다.

다음 공정단계(S4)에서, 상기 생성된 디스플레이는 예를 들어 인터페이스에 의해 인공 신경망에 제공되고, 그 결과 특히 생성된 디스플레이에 있는 패턴을 인식하도록 학습시킨다. 이를 위해 인공 신경망은 공정단계(S1)에서 센서 데이터가 분류된 동적 공간 시나리오에 대한 정보를 제공하여 인공 신경망이 생성된 디스플레이 또는 인식된 패턴을 동적 공간 시나리오 중 하나와 상관될 수 있도록 하는 것이 바람직하다.

도 7은 자기 객체 및 적어도 하나의 다른 객체에 대한 동적 공간 시나리오를 특징화하는데 적합한 센서 데이터를 분석하기 위한 본 발명에 따른 방법(V3)의 바람직한 실시예를 도시하고 있다. 상기 센서 데이터는 바람직하게 자기 차량의 환경 센서에 의해 생성된 센서 데이터이다.

공정단계(S3)에서, 센서 데이터로부터 각 섹터의 시간 곡선의 디스플레이를 생성한다. 상기 각 섹터는 다른 객체가 커버하는 자기 객체의 시야 범위에 해당한다. 이러한 디스플레이는 예를 들어 각 섹터의 시간 곡선이 패턴, 특히 그림을 형성하는 이미지일 수 있다.

이때 각 섹터의 시간 곡선은 경우에 따라서 센서 데이터를 토대로 별도의 선행 공정단계(미도시)로부터 결정될 수 있다.

다음 공정단계(S5)에서, 상기 생성된 디스플레이를 알려진 동적 공간 시나리오의 적어도 하나의 미리 정의된 템플릿과 비교한다. 이를 통해 어느 동적 공간 시나리오에 자기 객체가 현재 위치해 있는지 결정할 수 있으며, 경우에 따라서 이에 맞게 운전자 보조 시스템을 제어할 수 있다.

경우에 따라, 다음 공정단계(S6)에서는 생성된 디스플레이가 알려진 동적 공간 시나리오에 할당된 적어도 하나의 미리 정의된 템플릿과 전혀 매칭되지 않거나 적어도 충분히 매칭되지 않은 것으로 결정될 때 생성된 디스플레이를 예를 들어 데이터베이스에 미리 정의된 다른 템플릿으로서 저장할 수 있다. 이러한 방식으로, 특히 실질적으로 실시간 동적 공간 시나리오를 확인하는데 적합한 미리 정의된 템플릿이 포함된 목록을 생성할 수 있다.

1 인공 신경망
2 생성 모듈
3 결정 모듈
4 인터페이스
5 데이터베이스
6 비교 모듈
10 공간 동적 시나리오
11 자기 객체
11a 자기 차량
12 다른 차량
12a 제1 차량
12b 제2 차량
12c 제3 차량
13 윤곽
20 디스플레이
100 데이터 준비를 위한 시스템
200 인공 신경망을 학습시키기 위한 시스템
300 센서 데이터를 분석하기 위한 시스템
Φ 각 섹터

각 섹터의 위치
S 센서 데이터
y 이동 방향
d 거리
a 출력 신호
V1 데이터 준비를 위한 방법
V2 인공 신경망을 학습시키기 위한 방법
V3 센서 데이터를 분석하기 방법
S1-S6 공정단계

Claims (11)

1. 인공 신경망(1)으로 처리하기 위한 동적 공간 시나리오(10), 특히 교통 시나리오의 데이터를 준비하기 위한 방법(V1)으로서,
   자기 객체(11), 특히 자기 차량(11a)의 관점에서 본 다른 객체(12), 특히 다른 차량(12a, 12b, 12c)이 커버하는 각 섹터(Φ)의 시간 곡선의 디스플레이(20)를 생성하고(S3), 상기 시간 곡선은 센서 데이터(S)로부터 결정되고(S2), 상기 센서 데이터(S)는 자기 객체(11) 및 적어도 하나의 다른 객체(12)에 대한 동적 공간 시나리오(10)를 특징화하는데 적합한 방법(V1).
2. 제1항에 있어서,
   상기 디스플레이는 인공 신경망(1)으로 출력되거나 인공 신경망(1)으로 처리하기 위해 이용할 수 있는 방법(V1).
3. 자기 객체(11) 및 적어도 하나의 다른 객체(12)에 대한 알려진 동적 공간 시나리오(10)를 특징화하는데 적합한 센서 데이터(S)를 토대로 인공 신경망(1)을 학습시키기 위한 컴퓨터 지원 방법(V2)으로서,
   자기 객체(11), 특히 자기 차량(11a)의 관점에서 본 다른 객체(12), 특히 다른 차량(12a, 12b, 12c)이 커버하는 각 섹터(Φ)의 시간 곡선의 디스플레이(20)가 센서 데이터(S)를 토대로 생성되고(S3), 생성된 디스플레이(20)는 공간 시나리오(10)에 대한 정보와 함께 인공 신경망(1)에 제공되는(S4) 방법(V2).
4. 자기 객체(11) 및 적어도 하나의 다른 객체(12)에 대한 동적 공간 시나리오(10)를 특징화하는데 적합한 센서 데이터(S)를 분석하기 위한 컴퓨터 지원 방법(V3)으로서,
   자기 객체(11), 특히 자기 차량(11a)의 관점에서 본 다른 객체(12), 특히 다른 차량(12a, 12b, 12c)이 커버하는 각 섹터(Φ)의 시간 곡선의 디스플레이(20)는 센서 데이터(S)를 토대로 생성되고(S3), 생성된 디스플레이(20)는 알려진 동적 공간 시나리오(10)의 적어도 하나의 미리 정의된 템플릿과 비교되는(S5) 방법(V3).
5. 제4항에 있어서,
   상기 비교를 기반으로 동적 공간 시나리오(10)를 분류하는 방법(V3).
6. 제4항에 있어서,
   생성된 디스플레이(10)가 알려진 동적 공간 시나리오(10)의 적어도 하나의 미리 정의된 템플릿에 할당될 수 없는 경우에 새로운 동적 공간 시나리오(10)에 대한 템플릿이 정의되는(S6) 방법(V3).
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   생성된 디스플레이(10)가 자기 객체(11)에서 다른 객체(12) 사이의 거리(d) 및/또는 자기 객체(11)의 속도를 나타내고, 상기 거리(d) 및/또는 속도가 센서 데이터(S)로부터 결정되는 방법(V3).
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   각 섹터(Φ)의 시간 곡선이 라인으로 표시되고, 그 폭은 각각 해당하는 각 섹터(Φ)의 값을 나타내고, 및/또는
   자기 객체(11)와 다른 객체(12) 사이의 거리(d) 및/또는 자기 객체(11)의 속도가 거리(d) 및/또는 속도가 존재하는 시점에 해당하는 라인의 위치 각각에 기록된 값 또는 채색을 통해 표시되는, 방법(V3).
9. 인공 신경망(1)에 의한 처리를 위해 동적 공간 시나리오(10), 특히 교통 시나리오의 데이터를 준비하기 위한 시스템(100)으로서,
   - 자기 객체(11), 특히 자기 차량(11a)의 관점에서 본 다른 객체(12), 특히 다른 차량(12a, 12b, 12c)이 커버하는 각 섹터(Φ)의 시간 곡선을 센서 데이터(S)로부터 결정하도록 구성된 결정 모듈(2) - 센서 데이터(S2)는 자기 객체(11) 및 적어도 하나의 다른 객체(12)에 대한 동적 공간 시나리오(10)를 특징화하는데 적합함 -; 및
   - 결정된 시간 곡선의 디스플레이(20)를 생성하도록 구성된 생성 모듈(3)을 포함하는, 시스템(100).
10. 자기 객체(11) 및 적어도 하나의 다른 객체(12)에 대한 알려진 동적 공간 시나리오(10)를 특징화하는데 적합한 센서 데이터(S)를 토대로 인공 신경망(1)을 학습시키기 위한 시스템(200)으로서,
    - 자기 객체(11), 특히 자기 차량(11a)의 관점에서 본 다른 객체(12), 특히 다른 차량(12a, 12b, 12c)이 커버하는 각 섹터(Φ)의 시간 곡선의 디스플레이를 센서 데이터(S)를 토대로 생성하도록 구성된 생성 모듈(3);
    - 생성된 디스플레이(20)를 공간 시나리오(10)에 대한 정보와 함께 인공 신경망(1)에 제공하도록 구성된 인터페이스(4)를 포함하는, 시스템(200).
11. 자기 객체(11) 및 적어도 하나의 다른 객체(12)에 대한 동적 공간 시나리오(10)를 특징화하는데 적합한 센서 데이터(S)를 분석하기 위한 시스템(300)으로서,
    - 자기 객체(11), 특히 자기 차량(11a)의 관점에서 본 다른 객체(12), 특히 다른 차량(12a, 12b, 12c)이 커버하는 각 섹터(Φ)의 시간 곡선의 디스플레이(20)를 센서 데이터(S)를 토대로 생성하도록 구성된 생성 모듈(3); 및
    - 생성된 디스플레이(20)를 알려진 동적 공간 시나리오(10)의 적어도 하나의 미리 정의된 템플릿과 비교하도록 구성된 비교 모듈(6)을 포함하는, 시스템(300).

Images