KR20230162931A - 모바일 로봇에 대한 예측 및 플래닝 - Google Patents

Abstract

시나리오 내의 하나 이상의 행위자 에이전트의 액션들을 예측하는 방법은 상기 시나리오의 에고(ego) 에이전트에 의해 구현된다. 후보 미래들의 세트를 생성하기 위해 복수의 에이전트 모델들이 이용되며, 각각의 후보 미래는 행위자 에이전트의 예측된 액션을 제공한다. 상기 시나리오에서의 관련성을 표시하도록 각각의 후보 미래에 가중치 함수가 적용된다. 상기 표시된 관련성에 기초하여 각각의 행위자 에이전트에 대해 후보 미래들의 그룹이 선택되며, 상기 복수의 에이전트 모델들은 차량 장면(vehicular scene)으로부터 추론될 수 있는 합리적인 목표 지향적 거동(rational goal directed behaviour)을 나타내는 제 1 모델 및 상기 차량 장면으로부터 추론될 수 없는 대안 거동(alternate behaviour)을 나타내는 적어도 하나의 제 2 모델을 포함한다.

Description

모바일 로봇에 대한 예측 및 플래닝

본 개시는 자율주행 차량 및 기타 모바일 로봇들에 대한 플래닝 및 예측에 관한 것이다.

최근 떠오르는 기술은 도시 도로에서 스스로 주행할 수 있는 자율주행 차량(autonomous vehicle: AV)이다. 이러한 자율주행 차량은 사람들과 다른 차량들 사이에서 복잡한 기동을 수행해야할 뿐만 아니라, 환경에서 이러한 에이전트들과 충돌하는 것과 같은 부정적인 이벤트(adverse event)가 발생할 가능성에 대한 엄격한 제한을 보장하면서도 종종 그렇게 해야 한다. 스스로 운전하는 차량(Self-Driving Vehicle)이라고도 지칭되는 자율주행 차량(autonomous vehicle)은 외부 환경을 모니터링하는 센서 시스템과 이러한 센서를 이용하여 자동으로 운전 결정을 내리고 실행할 수 있는 제어 시스템을 갖춘 자동차를 의미한다. 이것은 특히 센서 시스템으로부터의 인지 입력(perception inputs)에 기초하여, 차량 속도와 이동 방향을 자동으로 조정하는 능력을 포함한다. 완전 자율주행 또는 "운전자 없는" 차량은 인간 운전자의 입력 없이도 작동할 수 있는 충분한 의사 결정 능력을 갖추고 있다. 그러나 본 명세서에서 사용되는 "자율주행 차량"이라는 용어는 반-자율주행(semi-autonomous) 차량에도 적용되며, 반-자율주행 차량은 자율적 의사 결정 능력이 보다 제한되므로 여전히 인간 운전자의 어느 정도 감독을 필요로 한다. 예를 들어, 내부 및 외부 산업 구역에서 화물 공급품을 운반하기 위한 기타 모바일 로봇들도 개발되고 있다. 이러한 모바일 로봇들에는 사람이 탑승하지 않으며 그리고 이는 (unmanned autonomous vehicle: UAV)(무인 자율 차량)라는 모바일 로봇 클래스에 속한다. 또한, 자율 공중 이동 로봇(드론)도 개발 중이다.

이러한 AV 또는 모바일 로봇들이 직면한 핵심적인 문제는 자율주행 차량이 수행할 수도 있는 액션들(에고 액션들)을 평가할 수 있도록 환경 내의 다른 에이전트들의 거동을 예측하는 것이다. 이를 통해, 다른 차량들에 대한 예측들을 고려하는 방식으로 에고 액션들을 계획할 수 있다.

자율주행 차량 플래닝 및 예측(Autonomous Vehicle Planning and Prediction)이라는 명칭의 국제공개공보 WO 2020079066은 "인버스 플래닝(inverse planning)"에 기반한 예측 형태를 설명한다. 인버스 플래닝은 예측가능한 방식으로 에이전트가 결정을 계획할 것이라고 가정하는 예측 방법 클래스를 지칭한다. 인버스 플래닝은 가능한 기동들(manoeuvres) 또는 거동들(behaviours)에 대해 수행될 수 있는바, 이는 관련된 관찰들(기동 검출의 형태)에 기초하여 에이전트의 현재 기동/거동을 추론하기 위한 것이다. 또한, 인버스 플래닝은 에이전트의 가능한 목표를 추론하기 위해 가능한 목표들에 대해 수행될 수도 있다(목표 인식의 한 형태).

본 발명자들은 WO 2020079066에 설명된 접근법이 에이전트를 추론할 수 있는 목표의 성격에 제한들이 있다는 점을 인식하였다.

본 발명의 양상들은 WO 2020079066에 설명된 합리적인 목표 지향적 거동 뿐만 아니라 다양한 유형의 에이전트 거동을 포괄하는, 에이전트 거동에 대한 예측을 수행하는 방법을 제공함으로써 이러한 제한들을 해결한다. 본 발명의 양상들은 실제 운전자가 실제로 따를 수 있는 다양한 거동들을 포함하는, 다양한 범위의 에이전트 거동들이 모델링될 수 있게한다. 이러한 거동들은 합리적인 목표 지향적 거동을 넘어서 확장될 수 있으며 그리고 운전자 오류 및 비합리적 거동을 포함할 수 있다.

본 발명의 일 양상에 따르면, 시나리오 내의 하나 이상의 행위자(actor) 에이전트의 액션들을 예측하기 위해 상기 시나리오의 에고(ego) 에이전트에 의해 구현되는 방법이 제공되며, 상기 방법은,

후보 미래들의 세트(set of candidate futures)를 생성하기 위해 각각의 행위자 에이전트가 복수의 에이전트 모델들을 사용하는 단계, 각각의 후보 미래는 행위자 에이전트의 예측된 액션을 제공하며;

상기 시나리오에서의 관련성을 표시하도록 각각의 후보 미래에 가중치 함수를 적용하는 단계; 및

각각의 행위자 에이전트에 대해 상기 표시된 관련성에 기초하여 후보 미래들의 그룹을 선택하는 단계를 포함하며, 상기 복수의 에이전트 모델들은 차량 장면(vehicular scene)으로부터 추론될 수 있는 합리적인 목표 지향적 거동(rational goal directed behaviour)을 나타내는 제 1 모델 및 상기 차량 장면으로부터 추론될 수 없는 대안 거동(alternate behaviour)을 나타내는 적어도 하나의 제 2 모델을 포함한다.

일부 실시예에서, 각각의 후보 미래를 생성하는 것은, 예측 시간 단계에서 각각의 예측된 액션을 제공하는 에고 에이전트의 예측 컴포넌트에 의해 수행된다. 상기 후보 미래들은 에고 에이전트의 플래너에게 전송될 수 있다. 상기 예측 시간 단계는 후보 미래들이 생성되는 현재 시간보다 앞선 미리 결정된 시간일 수 있다. 상기 후보 미래들은 주어진 시간 윈도우에서 생성될 수 있다.

일부 실시예에서, 조인트 플래너/예측 탐색 방법(prediction exploration method)에 의해 상기 후보 미래들이 생성된다.

일부 실시예에서, 상기 후보 미래들을 생성하기 위해 에이전트 모델을 사용하는 단계는, 시나리오 내의 모든 행위자 에이전트들의 현재 상태를 각각의 에이전트 모델에 제공하는 단계를 포함한다.

일부 실시예에서, 상기 후보 미래들을 생성하기 전에, 시나리오 내의 하나 이상의 행위자 에이전트의 히스토리가 각각의 에이전트 모델에 제공될 수 있다.

일부 실시예에서, 상기 후보 미래들을 생성하기 전에, 현재 시나리오의 센서 파생 데이터가 각각의 에이전트 모델에 제공될 수 있다. 이러한 데이터는 에고 에이전트를 구성하는 AV의 온 보드 센서 시스템으로부터 파생될 수 있다.

상기 적어도 하나의 제 2 모델은, 다음의 에이전트 모델 유형들 중 하나 이상으로부터 선택될 수 있는바,

시나리오에 대한 부적절하거나 부정확한 정보에 기초하는 합리적인 목표 지향적 거동을 나타내는 에이전트 모델 유형;

행위자 에이전트의 예상치 못한 액션들을 나타내는 에이전트 모델 유형; 및

알려진 또는 관찰된 운전자 에러들을 모델링하는 에이전트 모델 유형중 하나 이상으로부터 선택될 수 있다.

일부 실시예에서, 각각의 후보 미래는 행위자 에이전트에 대한 하나 이상의 궤적(trajectory)으로 정의된다.

일부 실시예에서, 각각의 후보 미래는 래스터 확률 밀도 함수로서 정의된다.

후보 미래들을 선택하는 단계는, 이벤트 발생 가능성을 나타내는 확률 점수 및 결과적인 아웃컴(resulting outcomes)의 에고 에이전트에 대한 중요도를 나타내는 중요도 팩터(significance factor) 중 적어도 하나를 사용하는 단계를 포함할 수 있다.

후보 미래가 행위자 에이전트에 의해 구현될 가능성을 나타내는 확률 점수와 후보 미래의 에고 에이전트에 대한 중요도를 나타내는 중요도 팩터 중 적어도 하나를 사용하는 단계.

다른 양상에서, 본 발명은 하나 이상의 하드웨어 프로세서와 컴퓨터 메모리를 포함하는 컴퓨터 디바이스를 제공하며, 상기 컴퓨터 메모리는 컴퓨터 실행가능 명령들을 저장하고, 상기 컴퓨터 실행가능 명령들은 상기 하나 이상의 하드웨어 프로세서에 의해 실행될 때 앞서 정의된 방법을 구현한다.

다른 양상에서, 본 발명은 컴퓨터 메모리에 저장된 컴퓨터 실행가능 명령들을 포함하는 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 실행가능 명령들은 앞서 정의된 방법을 구현하기 위해 하나 이상의 하드웨어 프로세서에 의해 실행가능하다.

상기 컴퓨터 디바이스는 자율주행 차량의 온보드 컴퓨터 시스템에 구현될 수 있으며, 상기 자율주행 차량은 시나리오의 환경 및 상기 환경 내의 행위자 에이전트의 상태에 대한 정보를 포함하는 데이터를 캡처하기 위한 온보드 센서 시스템을 포함한다.

상기 컴퓨터 디바이스는 시나리오의 환경에 대한 표현을 제공하기 위해 위치파악(localisation), 객체 검출 및 객체 추적 중 적어도 하나를 구현하도록 구성된 데이터 프로세싱 컴포넌트를 포함한다.

본 발명의 다른 양상에서, 차량 장면(vehicular scene)에서 행위자 차량 에이전트의 액션들을 예측하기 위해 컴퓨터로 구현되는 거동 모델을 트레이닝하는 방법이 제공되며, 상기 거동 모델은 상기 차량 장면에서 발생하는 매우 낮은 확률의 이벤트들을 인식하도록 구성되고, 상기 방법은,

입력 트레이닝 데이터를 컴퓨터로 구현되는 머신 러닝 시스템에 적용하는 단계를 포함하고, 상기 입력 트레이닝 데이터는 상기 매우 낮은 확률의 이벤트가 데이터 세트의 수집된 데이터의 유일한 소스인 상황에서 수집된 데이터 세트로부터 소싱되며, 상기 트레이닝된 거동 모델이 차량 장면에서 상기 매우 낮은 확률의 이벤트를 인식하도록 상기 컴퓨터로 구현되는 머신 러닝 시스템이 분류기로 구성된다.

본 발명의 다른 양상에서, 하나 이상의 하드웨어 프로세서와 컴퓨터 메모리를 포함하는 컴퓨터 디바이스가 제공되며, 상기 컴퓨터 메모리는 컴퓨터 실행가능 명령들을 저장하고, 상기 컴퓨터 실행가능 명령들은 상기 하나 이상의 하드웨어 프로세서에 의해 실행될 때 선행하는 방법을 구현한다.

본 발명의 또 다른 양상에서, 컴퓨터 메모리에 저장된 컴퓨터 실행가능 명령들을 포함하는 컴퓨터 프로그램 제품이 제공되며, 상기 컴퓨터 실행가능 명령들은 선행하는 방법을 구현하기 위해 하나 이상의 하드웨어 프로세서에 의해 실행될 수 있다.

본 발명을 더 잘 이해하고 본 발명이 어떻게 실행될 수 있는지 보여주기 위해, 이제 예를 들어, 첨부된 도면들이 참조될 것이다.

도 1은 AV 탑재 컴퓨터 시스템의 개략적인 기능 다이어그램이다.
도 2는 차선 변경 대화형 시나리오를 예시한다.

본 개시는 대화형 시나리오에서 에이전트 거동에 대한 예측을 수행하는 방법 및 시스템에 관한 것으로, 상기 시나리오에서 에고 에이전트는 자신의 기동을 예측하고 계획(이하, "계획" 또는 "플래닝" 이라함)하도록 요구된다. 본 개시는 대화형 시나리오에서 미래 상태들의 추정들을 생성하기 위해 합리적 목표 지향적 거동(rational goal directed behaviour) 및 실수들과 같은 비이상적 거동(non-ideal behaviour) 모두를 포함하는 다양한 유형의 에이전트 거동에 기초한 대화형 예측을 포함한다. 대화형 예측은 예상되는 다수의 미래 상태들을 예측하는 것을 포함하며, 각각의 상태는 장면에 있는 각 에이전트의 미래 위치 또는 궤적을 포함할 뿐만 아니라, 각 상태가 발생할 확률에 대한 추정도 포함한다. 이러한 예측형 미래 상태는 예를 들어, 에이전트들이 에고 차량에 대하여 어떻게 반응할지를 고려함으로써, 미래 상태에 존재하는 각 에이전트에 대한 일관된 예측을 포함한다.

이제 AV 런타임 스택의 일부로서 자율주행 차량(에고 차량: EV)의 온보드 컴퓨터 시스템(100)에 구현된 특정 기능 컴포넌트들의 개략적인 기능 블록도를 보여주는 도 1을 참조할 것이다. 이들 컴포넌트들은 데이터 프로세싱 컴포넌트(102), 예측 컴포넌트(104) 및 플래닝 컴포넌트(AV 플래너)(106)를 포함한다. 컴퓨터 시스템(100)은 하나 이상의 하드웨어 프로세서 및 컴퓨터 실행가능 명령들을 저장하는 컴퓨터 메모리를 갖는 컴퓨터 디바이스를 포함하며, 컴퓨터 실행가능 명령들은 하나 이상의 하드웨어 프로세서에 의해 실행될 때 기능 컴포넌트들의 기능들을 구현한다. 컴퓨터 실행가능 명령들은 저장되거나 전송가능한 명령들의 형태로 일시적 또는 비일시적 컴퓨터 프로그램 제품으로 제공될 수 있다.

데이터 프로세싱 컴포넌트(102)는 AV의 온보드 센서 시스템(108)으로부터 센서 데이터를 수신한다. 온보드 센서 시스템(108)은 다양한 형태를 취할 수도 있지만, 일반적으로는 이미지 캡처 디바이스(카메라), LIDAR 유닛, 위성 위치확인 센서(GPS 등), 모션 센서(가속도계, 자이로스코프 등) 등과 같은 다양한 센서를 포함하며, 이는 주변 환경과 해당 환경 내의 AV 및 기타 행위자(차량, 보행자 등)의 상태에 대한 자세한 정보를 추출할 수 있는 풍부한 센서 데이터를 종합적으로 제공한다.

도 1에는 행위자 차량(AV) AV1, AV2, AV3이라는 라벨이 각각 붙은 세 가지 예시적인 행위자가 도시된다.

다음을 유의해야 하는바, 본 발명의 기술은 AV 자체의 온보드 광학 센서(이미지 캡처 디바이스, LIDAR 등)를 사용하여 캡처된 이미지 데이터 등을 사용하는 것만으로 제한되지 않는다. 본 발명의 방법은 외부에서 캡처된 센서 데이터, 예를 들어, AV 부근의 외부 이미지 캡처 유닛에 의해 캡처된 CCTV 이미지 등을 사용하여 대안적으로 또는 추가적으로 적용될 수 있다. 이 경우, 센서 입력들 중 적어도 일부는 하나 이상의 무선 통신 링크를 통해 외부 센서 데이터 소스로부터 AV에 의해 수신될 수 있다.

데이터 프로세싱 컴포넌트(102)는 센서 데이터로부터 정보를 추출하기 위해 센서 데이터를 프로세싱한다. 기능적 컴포넌트들의 세트는 장면과 장면의 행위자들에 대한 일반 정보를 기록하는 역할을 한다. 이러한 기능적 컴포넌트는 위치파악(localisation) 블록(110), 객체 검출 블록(112) 및 객체 추적 블록(114)을 포함한다.

주변 환경과 그 안에 있는 AV 위치에 대한 인식을 제공하기 위해 위치파악(localisation)이 수행된다. 시각적 및 맵-기반 위치파악을 포함하여 다양한 위치파악 기술들이 이용될 수 있다. 예를 들어, "(Vehicle Localisation)"이라는 명칭의 영국 특허출원(출원번호 1812658.1)이 참조되며, 상기 영국 특허출원은 그 전체 내용이 본 명세서에 참조로서 포함된다. 상기 영국 특허출원은 시각적 검출과 미리 결정된 지도 데이터의 조합을 사용하는 적절한 위치파악 방법을 개시한다. 주변 도로 구조를 검출하기 위해 시각적(이미지) 데이터에 분할이 적용되며, 이는 다시 고화질 지도와 같은 미리 결정된 매핑 데이터에 매칭되는바, 이는 도로 및/또는 주변 환경의 기타 구조물과 관련하여 기준 지도 프레임에서 AV 위치에 대한 정확하고 강력한 추정치를 결정하기 위한 것이며, 이는 시각적 데이터와 지도 데이터를 병합함으로써 시각적 검출과 맵-기반 추론의 조합을 통해 결정된다. 위치 추정치를 결정하기 위해 구조 매칭으로부터 결정된 바와 같은 개별 위치 추정치는 입자 필터링 등을 사용하여 다른 위치 추정치(예: GPS)와 결합되어, 기준 지도 프레임 내의 AV에 대한 정확한 위치 추정치를 제공하는바, 이는 개별 위치 추정치들의 정확성에서의 변동들에 대해 매우 강건하다. 지도에서 AV 위치를 정확하게 파악한 후 시각적으로 검출된 도로 구조는 미리결정된 지도 데이터와 병합되어 실시간 지도 형태로 차량의 현재 및 과거 주변 환경에 대한 포괄적인 표현 및 기준 지도 프레임에서 AV 위치에 대한 정확하고 강력한 추정치를 제공한다. 본 명세서에서 "지도 데이터"라는 용어는 시각적(또는 기타 센서 기반의) 검출과 미리결정된 지도 데이터를 병합하여 도출된 실시간 지도의 지도 데이터를 포함할 뿐만 아니라, 미리결정된 지도 데이터 또는 시각적/센서 검출만으로 파생된 지도 데이터도 포함한다.

객체 검출이 센서 데이터에 적용되어, 가령, 차량, 보행자 및 기타 외부 행위자 등과 같이 그들의 거동에 대해 AV가 안전하게 대응할 수 있어야 하는 환경 내의 외부 행위자들을 검출하고 위치를 파악한다. 이것은 예를 들어, 3D 경계 상자 검출의 형태를 포함할 수 있으며, 여기서 환경 내의 및/또는 에고 차량에 대한 객체들의 위치, 방향 또는 크기가 추정된다. 예를 들어 이것은 RGBD(적녹청 심도), LIDAR, 포인트 클라우드 등과 같은 3D 이미지 데이터에 적용될 수 있다. 이를 통해 외부 행위자들의 위치 및 기타 물리적 속성들이 지도에서 결정될 수 있다.

환경 내에서 검출된 객체의 움직임을 추적하기 위해 객체 추적이 이용된다. 그 결과는 객체 추적을 통해 시간이 지남에 따라 결정되는 각 행위자에 대한 관찰된 트레이스(trace)이다. 관찰된 트레이스 투어(trace tour)는 움직이는 객체의 히스토리이며, 이는 시간이 지남에 따라 움직이는 객체의 경로를 캡처하고 그리고 다른 시점에서 객체의 과거 속도, 가속도 등과 같은 기타 정보도 캡처할 수 있다.

에이전트의 히스토리를 보유하는 에이전트 히스토리 컴포넌트(113)가 제공된다. 각각의 에이전트는 에고 차량이 장면에서 해당 행위자를 식별하는 식별자를 가지며 상기 식별자는 에이전트 히스토리 테이블(113)의 히스토리와 연관된다.

본 발명의 실시예에 따른 대화형 예측 시스템은 에이전트 모델들의 세트 AMa, AMb, AMc ... 를 포함하며, 각각의 모델은 모든 에이전트들의 현재 상태, 에이전트들의 히스토리 및 현재 시나리오 입력의 세부 사항을 취하며 그리고 소정 에이전트의 미래 액션들에 대한 예측 세트를 생성한다.

데이터 프로세싱 컴포넌트(102)에 의해 구현된 위치 파악, 객체 검출 및 객체 추적은 에고 차량 주변 환경, 해당 환경 내의 외부 행위자의 현재 상태뿐만 아니라 AV가 추적할 수 있었던 그러한 행위자들의 과거 트레이스들에 대한 포괄적인 표현을 제공한다. 이것은 실시간으로 지속적으로 업데이트되어 최신의 위치 및 환경 인식을 제공한다.

앞서 언급한 바와 같이, 이러한 정보는 에이전트 모델에 제공되어 특정 에이전트에 대한 미래 액션들의 예측된 세트를 생성한다.

예측 컴포넌트(104)는 이러한 정보를 예측 분석의 기초로 사용하여, AV 근처에 있는 외부 행위자의 미래 거동에 대해 예측한다. 예측 컴포넌트(104)는 컴퓨터 시스템(100)에 있는 컴퓨터 디바이스의 하나 이상의 하드웨어 프로세서에 의해 실행될 때 그러한 예측을 하기 위한 방법을 구현하는 컴퓨터 실행가능 명령들을 포함한다. 컴퓨터 실행가능 명령은 저장되거나 전송가능한 명령의 형태로 일시적 또는 비일시적 컴퓨터 프로그램 제품으로 제공될 수 있다.

예측을 행하기 위해, 예측 컴포넌트는 미래 탐색 시스템(future exploration system: FES)(105)를 사용하는바, 이는 에이전트 모델을 사용하여 주어진 상태에서 각 에이전트에 대해 가능한 미래들을 찾아내고, 가능한 미래 상태들 및 해당 상태에서의 액션들을 선택적으로 탐색하고, 그리고 장면에 있는 에이전트들의 미래 상태들로 구성된 예측된 미래들의 세트를 생성한다.

현재 관찰된 세계와 그 안에 있는 에이전트로부터, 가령, 5초 앞과 같은 특정 시간 윈도우에 대한 예측이 필요한 경우, 예측을 생성하는 것은 가능한 모든 미래들의 감소된 세트를 선택하는 것을 포함하는바 예를 들어, 가장 가능성이 높은 것으로 간주되는 미래 세트(set of futures)를 선택하거나 또는 에이전트 거동의 특정 모델과 부합하는 미래 세트를 선택할 수 있다. 일부 실시예에서, 에고 차량에 대한 올바른 결정을 내리는데 중요한 미래들이 선택될 수 있다. 예를 들어, 일부 미래는 확률은 낮지만 충돌을 일으키거나 심지어 에고 차량이나 다른 운전자에게 불편을 끼칠 수도 있으며, 심지어 이러한 것들도 고려된다.

일 실시예에서, AV 플래닝 계획 컴포넌트(106)(때때로 본 명세서에서 AV 플래너로 지칭됨)는 예측 컴포넌트(104)에 의해 제공되는 거동 예측과 함께, 에고의 주변 환경 및 그 내부의 외부 에이전트에 대해 추출된 정보를 AV 플래닝을 기초로서 사용한다. 달리 말하면, 예측 컴포넌트(104)에 의한 예측 분석은 데이터 프로세싱 컴포넌트에 의해 센서 데이터로부터 추출된 정보 위에 예측 정보 계층을 추가하며, 이는 다시 AV 플래닝 결정의 기초로서 AV 플래닝획 컴포넌트(106)에 의해 사용된다. 다른 실시예에서, 플래닝 및 예측은 미래 경로들의 조인트 탐색에서 함께 수행될 수도 있다는 점에 유의해야 한다. 플래닝 컴포넌트(106)는 컴퓨터 시스템(100)의 컴퓨터 장치의 하나 이상의 하드웨어 프로세서에 의해 실행될 때 플래닝 방법을 구현하는 컴퓨터 실행가능 명령들을 포함한다. 컴퓨터 실행가능 명령은 저장되거나 전송가능한 명령의 형태로 일시적 또는 비일시적 컴퓨터 프로그램 제품으로 제공될 수 있다.

시스템은 계층적 플래닝 프로세스를 구현하며, 이러한 프로세스에서 AV 플래닝 컴포넌트는 다양한 상위 레벨 결정들 및 상위 레벨 결정들을 구현하는데 필요한 증가하는 하위 레벨 결정들을 수행한다. 예를 들어, 본 명세서에 추가로 설명된 바와 같이, AV 플래너는 특정 행위자들에게 부여된 특정 목표들을 추론한 다음, 해당 목표들과 관련된 특정 경로들을 결정할 수 있다. 하위 레벨 결정은 이러한 경로들을 고려하여 취해져야할 액션들을 기반으로 할 수 있다. 최종적인 결과(end result)는 일련의 실시간 하위 레벨 액션 결정들이다. 이러한 결정들을 구현하기 위해, AV 플래닝 컴포넌트(106)는 제어 신호를 생성하며, 제어 신호는 AV의 거동을 제어하기 위해 AV의 구동 메커니즘(116)에 적어도 부분적으로 입력된다. 예를 들어, 제어 신호는 조향, 제동, 가속, 기어 변속 등을 제어할 수 있다. 제어 신호는 또한, 시그널링(signalling)과 같은 보조 액션을 실행하기 위해 생성될 수도 있다.

불리한 거동(adverse behaviours)의 가능한 범위는 매우 넓을 수 있으며, 그 범위는 다른 에이전트를 관찰하지 못하는 것과 같은 상대적으로 일반적인 거동부터 에고 차량의 위치로 에이전트가 조향하거나 또는 가속하는 것과 같은 매우 비정상적인 거동에 이르기까지 매우 넓을 수 있다. 불리한 거동에 대한 전문가 시스템은 가능한 거동들의 세트 및 확률 추정치 둘다를 포함할 필요가 있다. 비정상적인 이벤트는 낮은 확률로 인코딩되거나 모델에서 제외될 수 있으며, 이는 확률이 0에 가깝다는 것을 의미한다. 이러한 방식으로, 불리한 행위자 거동에 대한 전문가 시스템은 데이터로부터 추정치를 생성할 것을 요구하고 확률적 예측을 기반으로 플래닝 시스템과 통합되는 확률 모델(probabilistic model)의 한 형태이다.

확률 모델의 출력에 대한 인코딩은 선택된 시스템 표현과 선택된 플래닝 시스템의 요건들에 기초하여 확립된다. 가능한 하나의 후보 인코딩 및 인터페이스는 주어진 시간 윈도우에 대한 미래들의 세트를 제공하는 것일 수 있으며, 각각은 장면에 있는 각 에이전트의 궤적 및 관련 확률 추정치를 포함한다. 이것은 예측 및 플래닝 시스템이 상당히 독립적이고 그리고 시스템 간 인코딩 교환을 생성하는데 소량의 데이터가 사용되는 경우 적합할 수 있는 낮은 대역폭 인코딩이다. 이러한 접근 방식의 변형은 더 많은 정보를 제공하는 각 에이전트에 대한 래스터 확률 밀도 맵(raster probability density map)으로 각각의 미래를 인코딩하는 것이다.

위에서 언급했듯이 가능성 있는 거동을 결정하는 방법 중 하나는 조인트 미래 탐색이다. 이는 예측 시스템에 의해 수행되는 미래 탐색이 플래닝 시스템과 병행하여 작동하는 긴밀하게 결합된 방법이며, 따라서 탐색할 미래들에 대한 선택이 플래너가 제공하는 미래의 중요성에 의해 영향을 받는다. 제안된 에고 궤적은 플래너에 의해 수행되는 미래 탐색과 병행하여 개발될 수 있으며, 예측이 진행됨에 따라 시간이 지남에 따라 진화할 수 있다. 플래너는 확률 또는 중요도(및 잠재적으로 다른 파라미터)에 기초하여 탐색할 미래를 선택하고, 각 상태에 대해 예측 컴포넌트(104)는 장면의 각 에이전트가 취할 수 있는 액션들의 분포를 추정한다. 본 개시에서 예측 컴포넌트의 역할은 상태(및 이전 상태들의 히스토리)가 주어지면 장면의 각 에이전트에 대한 거동들 또는 액션들의 확률 분포를 추정하는 것이다.

플랜이 수정됨에 따라, 미래에 대한 정보가 파생된다. 즉, 특정 조인트 미래 상태들은 관련성을 유지하는 반면 다른 상태들은 관련성이 낮을 수 있으며, 따라서 각각의 변경사항은 추가적인 미래 상태들이 탐색 및 평가될 필요가 있음을 암시한다. 예측을 위한 효율적인 표현은 상호 작용에 참여하는 에이전트들만이 평가를 요구하는 반면 독립적인 에이전트들의 예측은 보존될 수 있다. 예측 컴포넌트(104)는 플래너와 함께 에이전트 모델 AMa, AMb, ... 를 사용하는바, 이는 운전 영역에서 외부 행위자의 거동을 예측하기 위한 것이다. 가능한 모든 미래들의 축소된 세트가 선택되는 방식은 계획 컴포넌트(106) 및 AV 스택의 적절한 플래닝에 영향을 미친다. 이것이 어떻게 수행될 수 있는지 그리고 감소된 미래 세트를 사용하는 컴포넌트의 목적은 특정 실시예에서 평가될 고려사항이다.

에이전트 모델은 다양한 유형일 수 있다. 여기에 논의된 바와 같이, 본 발명의 시스템의 목적은 합리적 거동이 아닐 수도 있는 다양한 거동 범위를 모델링하는 것이다. 본 명세서에 정의된 바와 같이, 합리적 모델은 합리적으로 선택된 목표를 향해 최적의 경로를 따라 이동한다. AV는 반드시 최적의 경로를 따라 이동하지는 않는 다른 거동들을 나타낼 수 있다. 즉, 이러한 거동들은 이동하는 경로와 이동 속도에서 어느 정도 가변성을 가질 수 있다. 거동의 또 다른 카테고리는 충돌 회피이다. 에이전트는 최적의 결과를 만드는데 필요한 장면의 모든 양상들을 완전히 알고 있는 상황에서, 충돌을 회피하기 위해 합리적인 조치를 취할 수 있다. 하지만, 에이전트는 불완전한 거동을 보일 수도 있다. 에이전트는 충돌을 피하기 위해 합리적인 조치를 취할 수 있지만 인식 불량 등으로 인해 충분한 정보를 얻지 못할 수 있다. 에이전트는 플래닝 실패/인식 실패 또는 기타 이유로 인해 충돌을 회피하기 위한 조치를 전혀 취하지 못할 수도 있다.

일부 실시예에서, 이러한 거동은 관찰된 거동으로부터 모델링될 수 있다.

에이전트 모델의 첫 번째 유형은 소위 합리적 모델이다. 합리적 모델에 따르면, 장면 내의 모든 에이전트가 합리적으로 거동한다고 가정한다. 즉, 에이전트는 최적의 경로를 따라 특정 목표를 향해 이동할 것이라고 가정한다. 에이전트는 합리적이고 알고있는(informed) 정보에 기초하여 충돌을 회피하기 위해 거동할 것이다. 합리적 모델 유형을 사용하는 예측 접근법은 소정의 플래닝 모델을 기반으로 궤적들을 예측하며, 그리고 비합리적인 거동이나 에이전트의 잘못된 관찰에 기반한 거동 등과 같은 다른 거동들은 고려하지 않는다. 결과적으로 이러한 유형의 모델은, 불리한(unfavorable) 가능성이 에고 차량의 액션을 안내하는데 매우 중요할 수 있음에도 불구하고, 불리한 가능성을 포함하지 않는 일련의 예측된 미래들을 생성한다. 만일, 이러한 모델만을 사용하여 에고 플랜이 생성되었다면, 다른 에이전트들이 에고 차량을 위해 양보(make way)할 것이라고 가정하는 것은 지나치게 낙관적일 수 있다. 이러한 합리적 모델의 일례는 본 출원인이 출원한 PCT/EP2020/061232에 설명되어 있으며, 이러한 특허 문헌의 전체 내용은 참조로서 본 명세서에 포함된다.

두 번째 유형의 에이전트 모델은 가령, 다른 에이전트의 존재를 관찰하지 않는 것과 같은 잘못된 정보에 기초하는 합리적인 액션들을 수용하는 것일 수 있다. 예를 들어, 상기 환경이 제한된 인식 중 하나라고 센서에 의해 결정되는 경우, 이러한 모델이 유용할 수 있다. 이것은 악천후나 센서 결함 등 외부 환경 조건으로 인해 발생할 수 있다.

세 번째 유형의 모델은 예상치 못한 또는 비합리적인 액션들일 수 있는바, 가령, 알 수 없는 목표를 향한 움직임이나 상황에 따라 예상치 못한 움직임과 같은 것이 될 수 있다. 예를 들어, 직선 경로를 명백히 따라가는 에이전트는, 지도나 환경 자체로부터 합리적으로 추론할 수 없는 방식으로, 차도(drive way)를 향해 회전하거나 또는 U-턴할 수 있다. 이러한 액션을 인식하는 가능한 방법 중 하나가 추후에 설명된다.

특정한 불완전한 거동들은, 모델을 생성하기 위한 전문가 데이터세트(specialist dataset)를 사용하여 아래에 설명된 대로 모델링될 수 있다. 예를 들어, 현장 인식이 부적절한 충돌 회피 거동 모델 또는 충돌을 전혀 피하지 않는 거동 모델이 사고 기록에서 추출될 수 있다.

미래 탐색 시스템(105)은 하나 이상의 모델에 의해 제공되는 미래들의 선택적 탐색을 수행하고 그리고 플래닝 및 예측을 위한 기초로 사용될 수 있는 유익한 미래들의 세트를 선택한다. 후보 미래들의 트리가 구성되고 그것의 브랜치들을 탐색하여 플래닝 및 예측 시스템에 의해서 어떤 미래들이 선택되어야 하는지를 결정한다. 예를 들어, 상기 시스템은 몬테-카를로(Monte-Carlo) 트리 검색을 사용할 수 있다.

각각의 시간 단계에서, AMa, AMb, ... 모델 중 하나를 작동하는 각각은 장면 내의 각 에이전트에 대한 액션들의 세트를 제안한다. 이는 가능한 미래들의 분기 트리를 구성하는데 사용된다.

소정 상태로부터 이어지는 후속 미래들의 세트는 각 에이전트 모델에 사용되는 표현에 의존한다. 각 모델은 특정 표현에 따라 정의된 제안된(후보) 액션들의 세트를 생성한다. 예를 들어, 이것은 시스템의 성격에 따라 궤적의 집합으로 정의될 수도 있고, 래스터 확률 밀도 함수로 정의될 수도 있다. 일부 실시예에서, 가능한 미래를 탐색하는 것은 각각의 후보 브랜치의 관련성을 나타내기 위해 가중치 함수를 요구할 수도 있다. 가중치에 영향을 미칠 수 있는 일부 팩터들은 미래가 발생할 것으로 예상되는 확률과 그 중요성을 포함한다. 별도의 플래닝 및 예측을 사용하는 실시예에서 중요도는 플래닝으로부터의 피드백에 의해 추론될 수 있다. 예를 들어, 플래너는 관심 있는 에고 경로를 표시하고 미래 상태의 중요도에 대한 가중치를 표시할 수 있으며 이는 탐색할 관련 미래를 알릴 수 있다.

조인트공동 탐색 접근 방식에서 플래너는 탐색할 미래 상태들을 선택한다. 중요도는 상태의 결과와 관련이 있으며, 위험과 연관될 수 있다(불편함과 같은 다른 팩터들도 포함될 수 있음). 확률은 낮지만 충돌 위험이 높은 상태는 중요한 것으로 간주될 수 있다.

유지되어야할 후보 미래는 점수를 사용하여 결정된다. 점수는 임의의 적절한 기준에 기초할 수 있는바, 예를 들어 위에서 언급한 확률 및 중요도 팩터를 사용할 수 있다.

플래닝 컴포넌트(106)는 이벤트 발생 확률과 결과적인 아웃컴의 중요도 사이의 균형을 맞추는 작업들을 수행할 수 있다. 예측을 위한 각 미래의 관심 가치를 결정하는데 사용되는 점수는 유사한 척도들(mmeasures)을 사용할 수 있지만, 일부 상황에서는 예측 시스템은 플래너로부터의 중요도 피드백에 기초하여 점수를 사용할 수 있다.

중요도 척도는 다양한 방식으로 제공될 수 있다. 플래너가 중요도 척도를 생성할 수 있는 방법의 일 예는 후보 미래를 도입하면 에고 차량의 현재 선택된 플랜이 변경되는지 여부에 기초할 수 있다.

어떤 후보 미래를 조사해야 하는지에 영향을 미칠 수 있는 또 다른 팩터는 어떤 미래가 선택한 경로 또는 에고 차량의 관심 경로와 관련이 있는지에 기초할 수 있다. 가능한 미래를 제한하기 위해 에고 궤적을 선택하는 것은 가능한 미래에 조건을 두는 것으로 간주될 수 있다. 다른 예에서, 대화형 예측은 다수의 가능한 에고 경로들을 기반으로 작동하거나, 또는 고정된 에고 경로를 기반으로 미래를 예측하는 대신 플래너와 반복적으로 작동할 수 있다. 예를 들어, 특정 경로의 미래를 평가한 다음, 경로가 수정된 후 추가 미래를 재평가하는 방식으로 반복적으로 작동할 수 있다.

논의된 바와 같이, 일부 실시예에서, 후보 에고 궤적과 미래 예측의 조인트 탐색이 사용된다.

대화형 예측 시스템에서 발생하는 한 가지 문제는 가능한 불리한 이벤트들을 예측에 포함시킬 필요가 있다는 점이며, 이는 에고 액션들과 장면 내의 다른 에이전트들에 호의적으로 반응하는 에이전트에 대한 가정을 포함하는 지나치게 낙관적인 예측으로 이어지는 것을 방지하기 위한 것이다. 이러한 문제는, 실수 또는 다른 에이전트의 비협조적인 거동과 같은 불리한 이벤트들을 포함하는 불리한 에이전트 거동을 모델링함으로써 제거되거나 개선될 수 있다.

한 가지 접근 방식은 불리한 이벤트들의 사례들을 포함하고 있으며, 이러한 거동들에 대한 확률 모델을 생성하는데 사용될 수 있는 운전 경험에 대한 대량의 데이터를 수집하는 것이다. 하지만, 불리한 이벤트들은 드물기 때문에, 불리한 이벤트들을 효과적으로 식별하기 위해서는 대규모 데이터 세트가 필요하다. 대규모 데이터 세트를 사용한다 하더라도 인스턴스들 사이의 일반화하기 어렵기 때문에, 하나의 시나리오에서 드문 이벤트가 관찰된다면 해당 이벤트가 다른 시나리오에서 발생할 확률이 얼마나 되는지는 명확하지 않다. 서로 다른 상태들에서 발생하는 이벤트들에 확률 값들이 할당되는 방식은 확률 모델의 속성에 의존할 수 있으며, 따라서 올바른 확률 추정치가 무엇인지가 명확하게 정의되지 않을 수 있다. 이로 인해 특별한 어려움이 발생할 수 있다. 예를 들어, 이벤트는 1E-4(10의 -4승) 확률 또는 1E-7(10의 -7승) 확률로 발생할 것으로 예측될 수 있다. 이러한 확률 추정들 모두는 이용가능한 데이터에 기초하여 합리적으로 평가될 수 있다. 예를 들어, 이러한 2개의 추정치들을 생성한 2개의 모델들은, 관찰된 데이터에 대해 테스트될 때 전체적으로 동일한 정확도를 가질 수 있지만, 상이한 확률 추정치들을 드문 이벤트들에 대한 예측에 할당할 수 있다. 이러한 추정치는 후속 프로세싱에서 수치적으로 사용되므로 매우 다른 결과가 발생할 수 있다. 예를 들어, 하나의 시스템은 합리적으로 가능성이 있는 것으로 이벤트를 무시할 수 있지만, 다른 시스템은 그러한 이벤트를 회피하거나 보상하기 위한 조치를 취할 수 있다.

이러한 어려움을 극복하는 접근법 중 하나는 에이전트가 다른 에이전트를 관찰하지 못하거나 충돌을 회피하기 위해 적절한 방식으로 반응하지 않는 등의 불리한 액션들을 포함하는 에이전트 거동 모델을 명시적으로 정의하는 것이다. 이러한 전문가 시스템은 이러한 실수들이 발생할 수 있는 방식을 수동으로 정의함으로써 구성될 수 있다. 일부 불리한 이벤트들은 재생성될 수 있는바, 다른 에이전트들을 관찰하지 않고 에이전트 플랜을 생성하는 것과 같이, 관찰된 정보를 제한함으로써 불리한 이벤트들이 재생성될 수 있다. 다른 실시예에서, 액션들은 주어진 에이전트 상태 또는 계획된 궤적들에서 작동하는 유한 상태 머신과 같은 다양한 방식으로 정의될 수 있는바, 예를 들어 무작위로 또는 특정 상황에 기초하여 과도한 가속 또는 지연된 제동을 인코딩함으로써 액션이 정의될 수 있다. 이러한 전문가 시스템을 사용하면 다음과 같은 여러 가지 이점이 있다:

최소한의 오버헤드로 점진적인 개발이 가능하며, 상당히 적은 분량의 개발로 상당히 좋은 동작을 허용할 수 있다;

랜덤하게 샘플링된 운전 경험의 대규모 데이터 세트를 수집할 필요가 없다;

시스템의 지식은 점진적으로 확장 및 개선될 수 있으며, 전문화된 정보 소스를 활용하여 지식 기반을 구축할 수 있다.

그럼에도 불구하고, 불리한 에이전트 거동을 캡처하기 위한 전문가 시스템을 생성하는데 있어 주요 과제는 해당 도메인을 효과적으로 포괄할 수 있는 충분한 거동들을 식별하고, 커버 범위를 검증할 수 있어야 한다는 것이다. 추가적인 과제는 다양한 거동들을 충분히 안정적으로 포괄하는 구현을 생성하고, 그리고 정확한 확률 추정치를 할당할 수 있어야 한다는 것이다.

본 발명의 일부 실시예에 따르면, 보험 회사에서 찾아볼 수 있는 사고 리포트의 데이터세트와 같은 불리한 이벤트에 초점을 맞춘 데이터세트를 트레이닝 데이터로서 사용함으로써, 운전 중 불리한 이벤트에 대한 전문 지식을 사용하여 모델이 트레이닝된다. 이러한 종류의 데이터는 운전 경험의 롱테일(long tail)(드문 이벤트)에 대한 세부 사항에 초점을 맞추며 그리고 매우 방대한 분량의 운전 경험을 기반으로 수집된다. 예를 들어, 자동차 보험 회사가 유지관리하는 데이터세트는 수백만 시간의 운전 경험으로부터, 그리고 해당 보험을 보유한 운전자의 집단적 경험으로부터 효과적으로 수집될 수 있다. 이러한 데이터세트를 통합하는 것은 데이터에 존재하는 바이어스들에 대한 고려를 필요로 할 수 있지만, 그럼에도 불구하고 그러한 데이터 소스는 모델을 트레이닝하는데 유용하게 활용될 수 있으며 그리고 개발된 모델이 불리한 이벤트들의 도메인을 얼마나 잘 커버하는지를 검증하는데 유용하게 활용될 수 있다.

이제 여기에 설명된 멀티-에이전트 모델을 활용하는 가능한 구현예들이 설명될 것이다.

자율주행 차량이 현재 위치에서 선택한 목적지까지 이동하기 위하여, 자율주행 차량은 도로 레이아웃의 알려진 고정 제약 조건들과 도로 위의 다른 차량들을 모두 고려하여 경로 탐색 방법을 결정해야 한다. 이것은 계층적 의사 결정을 포함하는바, 계층적 의사 결정에서는 상위 레벨 결정이 상기 상위 레벨 결정을 안전하고 효과적으로 구현하는데 필요한 점점 더 세분화된 결정들로 점진적으로 세분화된다.

예를 들어, 여정(journey)은 일련의 목표들(goals)로 분할될 수 있는바, 이는 기동들의 시퀀스들을 수행함으로써 도달되고, 이는 다시 액션들을 구현함에 의해서 달성된다.

이들 용어는 다음과 같이 서술된 기술 실시예들의 맥락에서 사용된다.

목표(goal)는 차량이 현재 위치나 상태에서 도달하려고 시도하는 위치와 같은, 플래닝의 상위 레벨 양상이다. 이것은, 예를 들어 고속도로 출구, 원형 교차로의 출구 또는 차량 앞에서 설정된 거리에 있는 도로 위의 포인트가 될 수 있다. 목표들은 차량의 최종 목적지, 차량이 선택한 경로, 차량이 위치한 환경 등에 따라 결정될 수 있다.

차량은 미리정의된 기동 또는 (보다 가능성있는) 그러한 기동들의 시간 시퀀스를 수행함으로써, 정의된 목표에 도달할 수 있다. 기동의 몇 가지 예로는 우회전, 좌회전, 정지, 차선 변경, 추월, 차선 추종(올바른 차선 유지) 등이 있다. 현재 차량이 수행할 수 있는 기동은 주변 환경에 따라 달라진다. 예를 들어, T 교차로에서, 차량은 직진을 지속할 수는 없지만 좌회전, 우회전 또는 정지할 수 있다.

임의의 시점에서, 하나의 현재 기동이 선택되고 그리고 AV는 기동이 선택된 동안, 해당 기동을 수행하는데 필요한 모든 조치들을 취한다. 예를 들어, 차선 추종 기동이 선택된 경우, 전방에 있는 임의의 차량으로부터 안전한 속도 및 거리에서 AV를 올바른 차선에 유지한다. 또한, 추월 기동이 선택된 경우, 전방 차량을 추월할 것을 예상하여 필요한 모든 준비 조치를 취하고 그리고 그렇게 하는 것이 안전할 때 추월하는데 필요한 모든 조치를 취한다. 선택한 현재 기동이 주어지면, 이러한 기동을 수행하기 위해 어떤 액션들이 취해져야 하는지를 차량에 알리기 위한 정책이 구현된다. 액션들은 하위 레벨 제어 동작들이며, 이는 예를 들어, 조향 장치를 시계 방향으로 5도 돌리거나 또는 가속 페달의 압력을 10% 높이는 등을 포함한다. 수행할 액션은 현재 위치와 현재 속도를 포함하는 차량 자체의 상태, 도로 레이아웃을 포함한 환경 내의 다른 차량이나 에이전트의 거동을 모두 고려하여 결정될 수 있다. "시나리오"라는 용어는 다수의 다른 차량/에이전트가 특정 거동을 나타내는 특정 환경을 설명하는데 사용될 수 있다.

소정 시나리오에서 소정 기동을 수행하기 위한 액션들에 대한 정책은 강화 학습이나 다른 형태의 ML 트레이닝을 사용하여 오프라인으로 학습될 수 있다.

다음을 유의해야 하는바, 목표들, 액션으로서의 기동들에 대해 주어진 일례들은 포괄적이지 않으며 차량이 처해 있는 상황에 맞게 다른 것들이 정의될 수 있다.

특정 실시예에서, 모델은 관찰되는 현재 상황을 설명하는데 도움이 될 수 있다. 예를 들어, 모델은 운전자가 할 가능성이 가장 높은 4개의 거동들이 있다고 추정할 수 있으며, 운전자가 실제로 무엇을 하는지가 관찰되면 모델이 이를 설명하는데 도움이 될 수 있다. 예를 들어, AV가 특정 액션을 취하는 것이 관찰되면, 모델은 이를 운전자가 회전하고 속도를 늦추기 때문에 우회전 방향으로 향하는 것처럼 보인다는 의미로 해석한다.

도 2는 차선 변경 대화형 시나리오를 보여주며, 여기서 별 S1, S2는 각각의 목표를 나타낸다. 도 2에는, 각각의 목표를 향해 나아가는 각 에이전트의 경로들에 대한 여러 일례들이 도시된다. 각각의 에이전트/목표 쌍에 대해 여러 경로들이 도시되며. 이 경우 자전거 운동학 모델(bicycle kinematic model)에서 합리적이라고 간주되는 가장 빠른(earliest)/가장 늦은(latest) 경로와 중간에 하나의 경로를 나타낸다. 예를 들어, 에이전트 차량 AV1을 고려하자. 고려되는 가장 빠른 합리적인 경로는 P1E로 라벨링되고, 가장 느린 합리적인 경로는 P1L로 라벨링된다. 중간 경로는 P1M으로 라벨링된다. 마찬가지로, 에이전트 차량 AV2의 경우, 해당 차량의 경로 세트에는 P2E, P2M 및 P2L이 라벨링된다. 에이전트 차량 AV3에 해당한다. 에이전트 차량 AV1은 설명을 위해 에고 차량으로 간주될 수 있다. 에고 차량 AV1은 에이전트 차량 AV2의 거동에 대한 예측에 기초하여 경로를 플래닝하는 작업을 수행한다. 합리적인 목표 기반 모델을 사용하여, 에고 차량 AV1은 에이전트 차량 AV2가 경로 P2E - P2L 중 어느 하나에 있을 수 있는 합리적인 추월 기동을 수행할 것이라 플래닝한다. 에고 차량은 알려진 대로 편안함과 안전 기준에 따라 그에 따른 계획을 세울 것이다.

하지만, 소수의 경우, 에이전트 차량 AV2가 합리적으로 동작하지 않을 수 있다. 예를 들어, AV2는 Pr로 마킹된 점선으로 표시된 것처럼 갑자기 오른쪽으로 침범하고 속도를 줄일 수 있다.

반대로, 에이전트 차량(AV2)이 합리적으로 거동할 수도 있지만, 전방 차량(AV3)을 볼 수 없을 정도로 나쁜 인식 조건에서 거동할 수 있다. 이 경우, 에이전트 차량 AV2는 추월 기동으로 전혀 이동하지 않고 오히려 위험한 충돌을 일으킬 가능성이 있다. 에고 차량 AV1은 이것이 가능한 결과일 수 있는 특정한 만일의 사태(contingency)를 염두에 둔 계획을 수립한다. 즉, 에고 차량이 계획할 수 있는 경로들의 세트에는, 합리적인 경로 세트가 있을 수 있고 그리고 확률적 가중치가 포함될 수 있는 비합리적인 경로 집합이 있을 수 있다.

Claims (20)

1. 시나리오 내의 하나 이상의 행위자(actor) 에이전트의 액션들을 예측하기 위해 상기 시나리오의 에고(ego) 에이전트에 의해 구현되는 방법으로서,
   후보 미래들의 세트(set of candidate futures)를 생성하기 위해 각각의 행위자 에이전트가 복수의 에이전트 모델들을 사용하는 단계, 각각의 후보 미래는 행위자 에이전트의 예측된 액션을 제공하며;
   상기 시나리오에서의 관련성을 표시하도록 각각의 후보 미래에 가중치 함수를 적용하는 단계; 및
   각각의 행위자 에이전트에 대해 상기 표시된 관련성에 기초하여 후보 미래들의 그룹을 선택하는 단계
   를 포함하며,
   상기 복수의 에이전트 모델들은 차량 장면(vehicular scene)으로부터 추론될 수 있는 합리적인 목표 지향적 거동(rational goal directed behaviour)을 나타내는 제 1 모델 및 상기 차량 장면으로부터 추론될 수 없는 대안 거동(alternate behaviour)을 나타내는 적어도 하나의 제 2 모델을 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   각각의 후보 미래를 생성하는 것은, 예측 시간 단계에서 각각의 예측된 액션을 제공하는 에고 에이전트의 예측 컴포넌트에 의해 수행되는 것을 특징으로 하는 방법.
3. 제1항 또는 제2항에 있어서,
   상기 후보 미래들을 상기 에고 에이전트의 플래너에게 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
4. 제1항 또는 제2항에 있어서,
   상기 후보 미래들은 조인트 플래너/예측 탐색 방법(prediction exploration method)에 의해 생성되는 것을 특징으로 하는 방법.
5. 선행하는 청구항 중 어느 한 항에 있어서,
   상기 후보 미래들을 생성하기 위해 에이전트 모델을 사용하는 단계는, 시나리오 내의 모든 행위자 에이전트들의 현재 상태를 각각의 에이전트 모델에 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
6. 선행하는 청구항 중 어느 한 항에 있어서,
   상기 후보 미래들을 생성하기 전에, 시나리오 내의 하나 이상의 행위자 에이전트의 히스토리를 각각의 에이전트 모델에 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
7. 선행하는 청구항 중 어느 한 항에 있어서,
   상기 후보 미래들을 생성하기 전에, 현재 시나리오의 센서 파생 데이터를 각각의 에이전트 모델에 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
8. 제2항 또는 제2항을 인용하는 제3항 내지 제7항 중 어느 한 항에 있어서,
   상기 예측 시간 단계는 후보 미래들이 생성되는 현재 시간보다 앞선 미리 결정된 시간인 것을 특징으로 하는 방법.
9. 선행하는 청구항 중 어느 한 항에 있어서,
   상기 후보 미래들을 생성하는 것은, 주어진 시간 윈도우에서 후보 미래들을 생성하는 것을 포함하는 방법.
10. 선행하는 청구항 중 어느 한 항에 있어서,
    상기 적어도 하나의 제 2 모델은,
    시나리오에 대한 부적절하거나 부정확한 정보에 기초하는 합리적인 목표 지향적 거동을 나타내는 에이전트 모델 유형;
    행위자 에이전트의 예상치 못한 액션들을 나타내는 에이전트 모델 유형; 및
    알려진 또는 관찰된 운전자 에러들을 모델링하는 에이전트 모델 유형
    중 하나 이상으로부터 선택되는 것을 특징으로 하는 방법.
11. 선행하는 청구항 중 어느 한 항에 있어서,
    각각의 후보 미래는 행위자 에이전트에 대한 하나 이상의 궤적(trajectory)으로 정의되는 것을 특징으로 하는 방법.
12. 선행하는 청구항 중 어느 한 항에 있어서,
    각각의 후보 미래는 래스터 확률 밀도 함수로서 정의되는 것을 특징으로 하는 방법.
13. 선행하는 청구항 중 어느 한 항에 있어서,
    후보 미래들을 선택하는 단계는, 이벤트 발생 가능성을 나타내는 확률 점수 및 결과적인 아웃컴(resulting outcomes)의 에고 에이전트에 대한 중요도를 나타내는 중요도 팩터(significance factor) 중 적어도 하나를 사용하는 단계를 포함하는 것을 특징으로 하는 방법.
14. 하나 이상의 하드웨어 프로세서와 컴퓨터 메모리를 포함하는 컴퓨터 디바이스로서,
    상기 컴퓨터 메모리는 컴퓨터 실행가능 명령들을 저장하고, 상기 컴퓨터 실행가능 명령들은 상기 하나 이상의 하드웨어 프로세서에 의해 실행될 때 제1항 내지 제13항 중 어느 한 항의 방법을 구현하는 것을 특징으로 하는 컴퓨터 디바이스.
15. 컴퓨터 메모리에 저장된 컴퓨터 실행가능 명령들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 실행가능 명령들은 제1항 내지 제13항 중 어느 한 항의 방법을 구현하기 위해 하나 이상의 하드웨어 프로세서에 의해 실행가능한 것을 특징으로 하는 컴퓨터 프로그램 제품.
16. 제14항에 있어서,
    상기 컴퓨터 디바이스가 자율주행 차량의 온보드 컴퓨터 시스템에 구현될 때, 상기 자율주행 차량은 시나리오의 환경 및 상기 환경 내의 행위자 에이전트의 상태에 대한 정보를 포함하는 데이터를 캡처하기 위한 온보드 센서 시스템을 포함하는 것을 특징으로 하는 컴퓨터 디바이스.
17. 제16항에 있어서,
    시나리오의 환경에 대한 표현을 제공하기 위해 위치파악(localisation), 객체 검출 및 객체 추적 중 적어도 하나를 구현하도록 구성된 데이터 프로세싱 컴포넌트를 포함하는 것을 특징으로 하는 컴퓨터 디바이스.
18. 차량 장면(vehicular scene)에서 행위자 차량 에이전트의 액션들을 예측하기 위해 컴퓨터로 구현되는 거동 모델을 트레이닝하는 방법으로서, 상기 거동 모델은 상기 차량 장면에서 발생하는 매우 낮은 확률의 이벤트들을 인식하도록 구성되고, 상기 방법은,
    입력 트레이닝 데이터를 컴퓨터로 구현되는 머신 러닝 시스템에 적용하는 단계를 포함하고, 상기 입력 트레이닝 데이터는 상기 매우 낮은 확률의 이벤트가 데이터 세트의 수집된 데이터의 유일한 소스인 상황에서 수집된 데이터 세트로부터 소싱되며,
    상기 트레이닝된 거동 모델이 차량 장면에서 상기 매우 낮은 확률의 이벤트를 인식하도록 상기 컴퓨터로 구현되는 머신 러닝 시스템이 분류기(classifier)로 구성되는 것을 특징으로 하는 트레이닝 방법.
19. 하나 이상의 하드웨어 프로세서와 컴퓨터 메모리를 포함하는 컴퓨터 디바이스로서,
    상기 컴퓨터 메모리는 컴퓨터 실행가능 명령들을 저장하고, 상기 컴퓨터 실행가능 명령들은 상기 하나 이상의 하드웨어 프로세서에 의해 실행될 때 제18항의 방법을 구현하는 것을 특징으로 하는 컴퓨터 디바이스.
20. 컴퓨터 메모리에 저장된 컴퓨터 실행가능 명령들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 실행가능 명령들은 제18항의 방법을 구현하기 위해 하나 이상의 하드웨어 프로세서에 의해 실행가능한 것을 특징으로 하는 컴퓨터 프로그램 제품.