KR102413533B1 - 차량 주행 및 무인 운전을 용이하게 하는 것 - Google Patents

Abstract

무엇보다도, 차량의 통제와 관계된 조작은 다음을 포함하는 작용들에 의해 용이하게 된다. 차량의 위치에서 주어진 시간으로부터 시작하는 차량의 후보 궤적들의 유한 집합이 생성된다. 후보 궤적들은 차량의 상태에, 또한 차량의 위치 및 주어진 시간으로부터의 차량의 가능한 거동 그리고 환경의 가능한 거동에 기초한다. 추정된 최적 궤적은 후보 궤적들과 연관되는 비용에 기초하여 후보 궤적들 중에서 선택된다. 비용은 차량의 운행 규칙 위반과 연관되는 비용을 포함한다. 선택되고 추정된 최적 궤적은 차량 통제와 관계된 조작을 용이하게 하기 위해 사용된다.

Description

차량 주행 및 무인 운전을 용이하게 하는 것{FACILITATING VEHICLE DRIVING AND SELF-DRIVING}

이 설명은 차량 주행 및 차량 무인 운전을 용이하게 하는 것에 관한 것이다.

사람에 의한 차량의 통상적인 주행 및 기술을 이용한 차량의 무인 운전은 기회와 위험을 제기한다. 위험 요소 중 대다수는 차량 상태 및 다른 차량과 장애물을 포함하는 환경 상태에 비추어 보아 차량이 어떻게 주행되는지와 연관이 있다.

정상적으로는 차량을 운전하는 인간 운전자는 차량의 동작을 제어할 수 있어서, 차량이 적용 가능한 도로 규칙을 준수하면서, 예를 들어 다른 차량 및 보행자와 공유되는 도로망상에서 목적지까지 안전하고 신뢰성 있게 진행하도록 한다. 무인 운전 차량의 경우, 실시간 센서 데이터, 지리적 데이터(지도와 같은 것), 규제/규범 데이터(도로 규칙), 및 이력 정보(예를 들어, 교통 흐름 패턴)에 기초하여 일련의 통제 작용이 생성될 수 있어서, 차량이 그런 방식으로 진행할 수 있게 한다.

안전 및 기타 이유로 차량의 인간 운전자의 수행 능력을 모니터링하는 것이 유용할 수 있다.

우리는 무인 운전 차량(self-driving vehicles)이라는 용어를 광범위하게 사용하는데, 예를 들어, 인간 조작자에 의한 직접 제어 또는 감독을 필요로 하지 않고, 예를 들어 인간 조작자가 어느 때든 통제 책임을 떠맡을 필요 없이, 승객이나 물건 또는 둘 모두를 하나 이상의 승차 장소에서 하나 이상의 하차 장소로 운반하도록 설계된 임의의 모바일 디바이스를 포함하기 위해 사용한다. 무인 운전 차량의 일부 예로는 무엇보다도 무인 운전 도로 차량, 무인 운전 오프로드 차량, 무인 운전 자동차, 무인 운전 버스, 무인 운전 밴 또는 트럭, 드론, 또는 항공기가 있다.

본 발명자들은 규제 데이터라는 용어(또는 때로는 운행 규칙이라는 용어)를 광범위하게 사용하는데, 예를 들어 차량 운전자를 포함하는 도로 사용자와 같은 디바이스 사용자의 거동 패턴을 지배하는 규제, 법률, 및 공식적 또는 비공식적 규칙을 포함하기 위해 사용한다. 이들은 도로의 규칙뿐만 아니라 유사한 정밀도와 심도로 기술되는 모범 관행 및 승객 또는 운영자 선호 사항이 포함된다. 본 발명자들은 이력 정보라는 용어를 광범위하게 사용하는데, 예를 들어, 각각의 경우에 가능하게는 위치, 시각, 요일, 계절 및 기상 데이터, 또는 다른 관련 특징, 또는 이들의 조합의 함수로서의, 보행자 및 자전거 이용자를 포함하는 도로 사용자의 거동 패턴들에 대한 통계 데이터를 포함하기 위해 사용한다.

일반적으로, 일 양태에서, 차량의 통제와 관계된 조작은 다음을 포함하는 동작에 의해 용이하게 된다. 주어진 시간으로부터 차량의 위치에서 시작하는 차량의 후보 궤적들의 유한 집합이 생성된다. 후보 궤적들은 차량의 상태에 기초하고 또한 차량의 가능한 거동 그리고 차량의 위치 및 주어진 시간으로부터의 환경의 가능한 거동에 기초한다. 추정된 최적 궤적은 후보 궤적들과 연관된 비용에 기초하여 후보 궤적들 중에서 선택된다. 비용에는 차량의 운행 규칙 위반과 연관된 비용이 포함된다. 선택되고 추정된 최적 궤적은 차량 통제와 관계된 조작을 용이하게 하기 위해 사용된다.

구현은 다음 특징들 중 하나, 또는 두 개 이상의 임의의 조합을 포함할 수 있다. 차량의 통제와 관계된 조작을 용이하게 하는 것은 추정된 최적 궤적과 연관된 피드백 제어 정책을 차량의 통제 요소에 적용하는 것을 포함한다. 각각의 궤적은 주어진 시간에서의 차량 상태로부터 이후의 시간에서의 차량 상태로의 시간적 천이를 나타낸다. 주어진 시간 이후의 연속 시간의 각각에 대해, 연속 시간으로부터 차량의 위치에서 시작하는 차량의 후보 궤적들의 후속 유한 집합이 생성된다. 후속 유한 집합의 후보 궤적들은 차량의 상태에 기초하고 또한 차량의 가능한 거동 그리고 연속 시간에서 차량의 위치로부터의 환경의 가능한 거동에 기초한다.

후보 궤적들의 유한 집합에 하나 이상의 제약 조건이 적용된다. 하나 이상의 제약 조건을 적용하는 것은 라벨을 유한 집합의 후보 궤적들 각각에 귀속시키는 것을 포함한다. 각각의 라벨은 후보 궤적에 기초하여 차량의 속성을 나타내는 논리적 술어(logical predicate)를 포함한다. 어떤 것도 제외되지 않거나 또는 일부 경우에는 적어도 하나의 후보 궤적이 하나 이상의 제약 조건에 기초하여 유한 집합으로부터 제외된다. 제외하는 것은 어려운(hard) 제약 조건을 포함하고 또한 정적으로 (즉, 시간에 좌우되지 않는 방식으로) 해석될 수 있는 제약 조건들 중 하나를 적용하는 것을 포함한다.

후보 궤적들은 유향 그래프(directed graph)의 에지(edge)들로서 나타내어진다. 추정된 최적 궤적의 선택은 그 후보 궤적들이 에지들을 포함하는 유향 그래프를 통해 최소 비용 경로를 결정하는 것을 포함한다.

환경에는 차량이 포함된다. 차량의 후보 궤적들의 유한 집합을 생성하는 것은 차량의 위치 및 주어진 시간으로부터 주어진 제어 정책에 대한 차량의 예상 응답을 나타내는 모델을 적용하는 것을 포함한다. 제어 정책은 차량을 통제하기 위한 커맨드를 결정하는 피드백 기능을 포함한다.

비용은 형식 언어로 표현되는 비용 규칙으로서 표현된다. 비용 규칙들에는 우선순위 지정되고 가중화된 규칙들이 포함된다. 각각의 비용은, (a) 비용 규칙의 우선순위 및 그 우선순위를 갖는 비용 규칙들의 위반 비용의 집계 또는 (b) 후보 궤적의 함수 중 어느 하나에 각각이 대응하는 값들의 어레이로서 표현된다.

주어진 시간 기간 동안 차량의 실제 궤적이 모니터링된다. 주어진 시간 기간 동안, 차량의 실제 궤적은 추정된 최적 궤적과 비교된다. 차량의 통제와 관계된 조작을 용이하게 하는 것은 운전자의 수행 능력을 모니터링하는 것을 포함한다. 운전자의 수행 능력의 모니터링 결과가 보고된다. 운전자의 수행 능력은 하나 이상의 성능 메트릭에 기초하여 평가된다. 성능 메트릭들 중 하나 이상은 안전 메트릭을 포함한다. 성능 메트릭들 중 하나 이상은 승차감(comfort) 메트릭을 포함한다. 성능 메트릭들 중 하나 이상은 환경 메트릭을 포함한다. 사고 발생 가능성이 평가된다. 차량 운행 규칙을 위반할 가능성이 평가된다. 운전자의 수행 능력과 관계된 정보가 차량 내 디스플레이상에 표시된다. 운전자의 수행 능력과 관계된 정보는 차량으로부터 원격지에 있는 수신기에 무선으로 전송된다.

차량의 통제와 관계된 조작을 용이하게 하는 것은 차량을 자율적으로 운전하는 것을 포함한다. 차량의 운행 규칙은 차량의 운전자에게 적용 가능한 도로 규칙들을 포함한다.

일반적으로, 일 양태에서, 차량의 통제와 관계된 조작은 다음을 포함하는 작용에 의해 용이하게 된다. 차량의 후보 궤적들의 유한 집합이 주어진 시간으로부터 생성된다. 후보 궤적들의 유한 집합이 차량의 모든 가능한 궤적들의 궤적 공간을 따라 있다. 각각의 후보 궤적은 제약 조건들에 대하여 평가된다. 후보 궤적들과 연관된 비용에 기초하여 유한 집합의 후보 궤적들 중으로부터 추정된 최적 궤적이 선택된다. 차량의 가능한 모든 궤적들의 공간은 생성된 후보 궤적들의 유한 집합에 의해 충분히 커버되어, 추정된 최적 전략이 최적 전략에 임의로 근접하도록 한다. 선택되고 추정된 최적 궤적은 차량 통제와 관계된 조작을 용이하게 하기 위해 사용된다.

구현은 다음 특징들 중 하나, 또는 두 개 이상의 임의의 조합을 포함할 수 있다. 후보들의 유한 집합을 생성하는 것은 가능하게는 비결정론적 과정(non-deterministic process)을 적용하는 것을 포함한다. 차량의 통제와 관계된 조작을 용이하게 하는 것은 추정된 최적 궤적과 연관된 피드백 제어 정책을 차량의 통제 요소에 적용하는 것을 포함한다. 각각의 궤적은 주어진 시간에서의 차량의 상태로부터 이후의 시간에서의 차량의 상태로의 시간적 천이를 나타낸다. 주어진 시간 이후의 연속 시간의 각각에 대해, 연속 시간으로부터 차량의 위치에서 시작하는 차량의 후보 궤적들의 후속 유한 집합이 생성된다. 후속 유한 집합의 후보 궤적들은 차량의 상태에 기초하고 또한 차량의 가능한 거동 그리고 연속 시간에서 차량의 위치로부터의 환경의 가능한 거동에 기초한다.

제약 조건들 중 하나 이상이 후보 궤적들의 유한 집합에 적용된다. 하나 이상의 제약 조건을 적용하는 것은 라벨을 유한 집합의 후보 궤적들 각각에 귀속시키는 것을 포함한다. 각각의 라벨은 후보 궤적에 기초하여 차량의 속성을 나타내는 논리적 술어를 포함한다. 어떤 것도 제외되지 않거나 또는 일부 경우에는 적어도 하나의 후보 궤적이 하나 이상의 제약 조건에 기초하여 유한 집합으로부터 제외된다. 후보 궤적들을 제외하는 것은 어려운 제약 조건을 포함하고 또한 정적으로 해석될 수 있는 제약 조건들 중 하나를 적용하는 것을 포함한다.

후보 궤적들은 유향 그래프(directed graph)의 에지(edge)들로서 나타내어진다. 추정된 최적 궤적의 선택은 그 후보 궤적들이 에지들을 포함하는 유향 그래프를 통해 최소 비용 경로를 결정하는 것을 포함한다.

환경에는 차량이 포함된다. 차량의 후보 궤적들의 유한 집합을 생성하는 것은 차량의 위치 및 주어진 시간으로부터 주어진 제어 정책에 대한 차량의 예상 응답을 나타내는 모델을 적용하는 것을 포함한다. 제어 정책은 차량을 통제하기 위한 커맨드를 결정하는 피드백 기능을 포함한다.

비용은 형식 언어로 표현되는 비용 규칙으로서 표현된다. 비용 규칙들에는 우선순위 지정되고 가중화된 규칙들이 포함된다. 각각의 비용은, (a) 비용 규칙의 우선순위 및 그 우선순위를 갖는 비용 규칙들의 위반 비용의 집계 또는 (b) 후보 궤적의 함수 중 어느 하나에 각각이 대응하는 값들의 어레이로서 표현된다.

주어진 시간 기간 동안 차량의 실제 궤적이 모니터링된다. 주어진 시간 기간 동안, 차량의 실제 궤적은 추정된 최적 궤적과 비교된다. 차량의 통제와 관계된 조작을 용이하게 하는 것은 운전자의 수행 능력을 모니터링하는 것을 포함한다. 운전자의 수행 능력의 모니터링 결과가 보고된다. 운전자의 수행 능력은 하나 이상의 성능 메트릭에 기초하여 평가된다. 성능 메트릭들 중 하나 이상은 안전 메트릭을 포함한다. 성능 메트릭들 중 하나 이상은 승차감(comfort) 메트릭을 포함한다. 성능 메트릭들 중 하나 이상은 환경 메트릭을 포함한다. 사고 발생 가능성이 평가된다.

차량의 통제와 관계된 조작을 용이하게 하는 것은 운전자의 수행 능력을 모니터링하는 것을 포함한다. 차량의 통제와 관계된 조작을 용이하게 하는 것은 자율적으로 차량을 운전하는 것을 포함한다.

일반적으로, 일 양태에서, 자율 주행 차량은 차량으로 하여금, 제어 정책들과 일치하는 방식으로 그리고 세계 궤적(world trajectory)을 따라 연속하는 세계 상태들 사이의 제각기 천이들에 적용되는 비용 규칙들과 일치하는 방식으로 최적 궤적의 적어도 일부를 트래버스(traverse)하도록 야기하게 구성된 제어가능한 디바이스들을 포함한다. 제어기는 세계 궤적에 따라서 제어가능한 디바이스들에게 커맨드를 제공한다. 소스들은 연속적 시간들에서 세계 상태들에 관한 정보를 제공한다. 계산 요소는, (a) 그 각각이 차량의 상태, 차량의 환경의 상태, 및 세계 상태들에 관한 정보에 적어도 부분적으로 기초한 환경 내의 적어도 하나의 다른 물체의 상태의 조합을 나타내는 세계 상태들의 집합, 및 (b) 그 각각이 세계 상태들 중 어느 하나와 세계 상태들 중 또 다른 하나 사이의 시간적 천이를 나타내는 세계 궤적들의 집합을 반복적으로 갱신한다. 갱신하는 것의 반복들 각각은 세계 상태들 중 하나 이상의 각각에 대해 및 대응하는 차량 제어 정책에 대해, 세계 상태로부터 후속 세계 상태로의 후보 궤적을 시뮬레이팅하는 것을 포함한다. 시뮬레이팅된 후보 궤적이 제약 조건을 위반하지 않으면, 이 궤적이 세계 궤적들의 집합에 추가되어 갱신된 세계 궤적들의 집합을 형성한다. 필요하다면, 시뮬레이팅된 후보 궤적에 의해 표현되는 천이에 대응하는 새로운 세계 상태가 세계 상태들의 집합에 추가되어 갱신된 세계 상태들의 집합을 형성한다. 최소 비용 경로는 갱신된 세계 상태들의 집합과 갱신된 세계 궤적들의 집합을 통해 결정된다. 결정에는 세계 궤적들의 제각기 천이에 비용 규칙들을 적용하는 것이 포함된다. 최소 비용 경로를 따른 현재 세계 상태에서 다음 세계 상태로의 다음 천이를 나타내는 정보가 차량의 자율 주행 제어를 위해 제어기에 전달된다.

이들 양태 및 다른 양태, 특징, 및 구현은 방법, 장치, 시스템, 컴포넌트, 프로그램 제품, 비즈니스 수행 방법, 기능 수행을 위한 수단 또는 단계로서, 또는 다른 방식으로 표현될 수 있다.

이들 양태 및 다른 양태, 특징 및 구현들은 청구 범위를 포함하여 다음의 설명으로부터 명백해질 것이다.

도 1은 자율 주행 차량에 대한 통제 작용들을 발생하기 위한 시스템의 블록도이다.
도 2는 차량의 블록도이다.
도 3은 통제 작용들을 생성하기 위한 프로세스의 흐름도이다.
도 4는 세계 모델 프로세스의 개략도이다.
도 5는 시뮬레이터 프로세스의 블록도이다.
도 6은 구체화 프로세스의 블록도이다.
도 7은 개략도이다.
도 8은 차량의 개략도이다.
도 9는 블록도이다.
도 10은 컴퓨터 시스템의 블록도이다.
도 11은 평가 프로세스의 흐름도이다.
도 12는 실행 프로세스의 흐름도이다.
도 13은 교통 흐름 시나리오의 개략도이다.
도 14는 후보 궤적들의 개략도이다.
도 15는 운전자 수행 능력 시스템의 블록도이다.
도 16은 운전자 수행 능력 시스템에서의 처리의 개략도이다.
도 17은 최적 궤적의 생성을 예시하는 개략도이다.

여기서, 본 발명자들은 인간 운전자의 수행 능력을 모니터링하고, 무인 운전 차량의 조작을 용이하게 하고, 및 다른 유용한 기능을 수행하기 위해 사용될 수 있는 시스템과 기술을 설명한다.

도 1에 도시된 바와 같이, 무인 운전 도로 차량(10)의 운행을 용이하게 하는 것을 수반하는 구현에서, 예를 들어, 무인 운전 도로 차량은, 장애물(14)(다른 차량, 보행자, 자전거 이용자, 및 환경 요소와 같은 것)과의 충돌을 회피하고 또한 운행 규칙(이 경우, 예를 들어 도로 규칙)(16)을 준수하면서, 환경(12)을 통해 직접적인 인간 통제 또는 감독 입력 없이 주행될 수 있다. 이러한 자동화된 주행을 달성하기 위해, 무인 운전 도로 차량(또는 보다 구체적으로는, 차량과 연관된, 예를 들어 차량에 부착된 컴퓨터 시스템 또는 데이터 처리 장비(18))은 먼저 일반적으로 세계 모델(20)을 구축한다.

대략적으로 말하자면, 세계 모델은, 예를 들어 지오로케이션(geolocation) 디바이스로부터의 데이터, 지도, 또는 지리적 정보 시스템 또는 이들의 조합, 및 다른 차량, 자전거 이용자, 보행자, 또는 다른 장애물을 검출하는 센서들을 이용하여 구축되는 차량 환경의 표현이다. 세계 모델을 구축하기 위해, 예를 들어 차량에 탑재된 컴퓨터 시스템은 차량(이것은 때로는 "에고 차량(ego vehicle)이라고 지칭됨)에 장착되는 다양한 센서(22)(예를 들어, LIDAR, 단안 또는 입체 카메라, RADAR)로부터 데이터를 수집하고, 이후 이 데이터를 분석하여 환경에서의 관련 물체(장애물)의 위치 및 운동 속성(본 발명자들은 이것을 때로는 장애물 정보(24)라고 지칭함)을 결정한다. 본 발명자들은 관련 물체라는 용어를, 예를 들어 다른 차량, 자전거 이용자, 보행자, 동물뿐만 아니라, 기둥, 연석(curb), 원뿔모양 교통 표지, 및 장벽을 포함하도록 광범위하게 사용한다. (도로변의 작은 파편이나 식물과 같이 관련성이 없는 환경에서의 물체도 있을 수 있다.) 무인 운전 차량은 또한 차량 간 통신(26)에 의해 수집되는 장애물 정보에 의존한다.

세계 모델이 주어지면, 무인 운전 차량에 탑재된 컴퓨터 시스템은 알고리즘 프로세스(28)를 채택하여 지정된 목표(32)를 향하여 환경을 통한 궤적(30)을 자동적으로 생성하고 실행한다. 본 발명자들은 궤적이라는 용어를, 예를 들어 어느 한 장소에서 또 다른 장소로의, 예를 들어 승차 위치에서 하차 위치로의 경로 또는 루트를 포함하도록 광범위하게 사용한다. 일부 구현에서, 궤적은 각각이 어느 한 세계 상태에서 후속 세계 상태로의 천이인 천이들의 시퀀스를 포함할 수 있다.

지정된 목표는 일반적으로, 예를 들어 일반적으로 승객의 목적지에 관한 승객 제공 정보(35)에 의존하는 또 다른 알고리즘 프로세스(34)에 의해 제공된다. 본 발명자들은 목표라는 단어를, 예를 들어 무엇보다도 일시적 하차 장소, 최종 하차 장소, 또는 목적지와 같이, 무인 운전 차량에 의해 도달될 목표를 포함하도록 광범위하게 사용한다. 본 발명자들은 승객이라는 용어를, 예를 들어, 무엇보다도 무인 운전 차량에 의해 운반되는 하나 이상의 인간, 또는 무인 운전 차량에 의해 운반되는 물체의 목적지를 결정하는 당사자를 포함하도록 광범위하게 사용한다.

자동적으로 생성된 궤적은 적어도 다음 속성을 이상적으로는 보유해야 한다.

1) 이것은 실현 가능해야만 하는데, 이는 차량의 현재 또는 예상 운행 속도에서 합리적인 정도의 정밀도로 차량이 궤적을 따라갈 수 있다는 것을 의미한다;

2) 이것은 충돌이 없어야만 하는데, 이는 궤적을 따라 진행하는 차량이 있다면, 이것은 어떤 물체와도 충돌하지 않을 것임을 의미한다; 및

3) 이것은 미리 정의된 규칙 집합을 준수해야 하는데, 이 규칙 집합은 지역 운행 규칙 또는 도로 규칙, 공통적 운전 관행(17), 또는 일반적 부류의 승객 또는 특정 승객의 운전 선호 사항(19) 또는 이런 요인들의 임의의 두 개 이상의 조합을 포함할 수 있다. 이들 및 가능하게는 다른 유사한 요인들은 함께 때로는 일반적으로 운행 규칙(그리고 본 발명자들은 때로는 운행 규칙을 주행 규칙으로 지칭함)으로 지칭된다. 모든 미리 정의된 주행 규칙을 준수하는 어떤 궤적도 없는 경우, 궤적은 규칙 위반의 심각성 및 정도를 최소화해야 한다.

자동화된 궤적 생성은, 환경(예를 들어, 도로)이 그들 자신의 의지에 따라 독립적으로 움직이는 차량, 보행자, 및 자전거 이용자를 포함하는 다른 독립적 에이전트들(21)과 공유되는 정황에서 위에서 설명한 세 가지 속성을 만족시켜야 한다.

자동 궤적 생성은 또한, 여러 관련 주행 규칙 또는 수많은 장애물의 존재를 수반하는 복잡한 시나리오, 또는 모든 주행 규칙들 또는 이런 조건들의 두 개 이상의 조합들을 준수할 궤적이 존재하지 않는 시나리오에서 에고 차량에 대해 주행 규칙이 올바르게 집행되도록 체계적으로 보장해야 한다.

여기서, 본 발명자들은 무인 운전 도로 차량이 적용 가능한 주행 규칙을 준수하면서 예를 들어 다른 차량 및 보행자와 공유되는 도로망상에서 목적지에 안전하고 신뢰성 있게 진행할 수 있게 하는 실시간 센서 데이터 및 이력 정보에 기초한 통제 작용들을 생성하는 시스템 및 기술을 설명한다.

도 2에 도시된 바와 같이, 시스템(50)은 다음의 기본 요소들을 포함한다:

1. 차량 위치, 선속도 및 선형 가속도와 각속도 및 각가속도, 그리고 방향과 같은 에고 차량의 상태(54) 및 조건(56)의 양쪽 속성을 측정 또는 추론할 수 있는 센서(52). 이러한 센서는 예를 들어, GPS, 차량 선형 가속도 및 각속도(angular rate) 양쪽을 측정하는 관성 측정 유닛, 개별 바퀴 속도 센서 및 개별 바퀴 미끄러짐 비율(slip ratio)의 도출된 추정치, 개별 바퀴 제동 압력 또는 제동 토크 센서, 엔진 토크 또는 개별 바퀴 토크 센서, 조향 바퀴 각도 및 각속도 센서, 및 이들의 조합을 포함하는데, 이것들에만 제한되지는 않는다.

2. 차량 환경(12)의 속성을 측정할 수 있는 센서(58). 이러한 센서는 예를 들어, LIDAR, RADAR, 가시광선, 적외선, 또는 열 스펙트럼에서의 단안 또는 입체 비디오 카메라, 초음파 센서, TOF(time-of-flight) 깊이 센서뿐만 아니라 온도 및 강우 센서, 및 이들의 조합을 포함하는데, 이것들에만 제한되지는 않는다. 이러한 센서들의 데이터를 처리하여 다른 차량, 보행자, 자전거 이용자, 스쿠터, 마차, 카트, 및 기타 움직이는 물체의 타입, 위치, 속도, 및 추정되는 미래 운동에 관한 정보를 산출할 수 있다. 이러한 센서들로부터의 데이터는 또한 정적 장애물(예를 들어, 기둥, 표지판, 연석, 교통 흐름 표시 원뿔 및 통(traffic marking cones and barrels), 도로 칸막이(road dividers), 나무), 도로 표시 및 도로 사인과 같은 관련 물체 및 특징을 식별하고 해석하기 위해 사용될 수 있다. 이러한 타입의 센서는 운전자 지원 능력 또는 고도로 자동화된 주행 성능을 갖는 차량(예를 들어, 무인 운전 차량)상에서 일반적으로 이용 가능하다.

3. 차량 위치, 선속도 및 선형 가속도와 각속도 및 각가속도, 그리고 방향과 같은 다른 차량의 상태 및 조건 양쪽 속성의 측정된 것 또는 추론된 것을 통신할 수 있는 디바이스(60). 이들 디바이스는 V2(Vehicle-to-Vehicle) 및 V2I(Vehicle-to-Infrastructure) 통신 디바이스 및 P2P(point-to-point) 또는 애드혹(ad-hoc) 네트워크 또는 둘 모두를 통한 무선 통신을 위한 디바이스를 포함한다. 디바이스는 전자기 스펙트럼(무선 및 광 통신 포함함) 또는 기타 매체(예를 들어, 음향 통신)에 걸쳐서 동작할 수 있다.

4. 교통 혼잡 갱신 및 기상 상태를 포함하여 환경에 관한 이력 데이터, 실시간 데이터, 또는 예측 데이터(또는 이들 중 임의의 두 개 이상)를 제공하는 데이터 소스들(62). 이러한 데이터는 차량상의 메모리 저장 유닛(60)에 저장되거나 또는 원격 위치 데이터베이스(62)로부터 무선 통신에 의해 차량에 전송될 수 있다.

5. 고정밀도의 차도의 기하학적 속성 지도를 잠재적으로 포함하는 GIS 데이터베이스로부터 도출된 도로 지도, 도로망 연결 속성을 기술하는 지도, 차도의 물리적 속성(차량 및 자전거 진행 차선의 수, 차선 폭, 차선 교통 흐름 방향, 차선 마커 타입, 및 위치와 같은 것)을 기술하는 지도, 및 횡단 보도, 다양한 타입의 교통 표지판(예를 들어, 정지, 양보), 및 다양한 타입의 교통 신호(예를 들어, 적색-황색-녹색 표시기, 황색 또는 적색 표시기의 점멸, 우회전 또는 좌회전 화살표)와 같은 도로 특징들의 공간적 위치를 기술하는 지도를 제공하는 데이터 소스들(64). 이러한 데이터는 차량상의 메모리 저장(65) 유닛에 저장되거나 또는 원격 위치 데이터베이스(67)로부터 무선 통신에 의해 차량에 전송될 수 있다.

6. 비슷한 시각에 주어진 도로 부분을 따라 이전에 진행한 차량의 주행 특성(예를 들어, 통상적 속도 및 가속 프로필)에 관한 이력 정보를 제공하는 데이터 소스들(66). 이러한 데이터는 차량상의 메모리 저장 유닛에 저장되거나 또는 원격 위치 데이터베이스로부터 무선 통신을 통해 차량에 전송될 수 있다.

7. 예를 들어, 본 출원에서 설명된 바와 같이, 알고리즘(69)을 실행할 수 있는 차량상에 위치된 컴퓨터 시스템(18)(데이터 프로세서). (예를 들어, 본 출원에서 설명된 바와 같이), 알고리즘은, 무엇보다도, (이하 논의되는 다른 결과들에 추가하여) 앞서의 소스들에 의해 제공되는 데이터를 처리하고, 짧은 미래 시간 지평(horizon) 동안 취해질 수 있는 현재 시나리오에서의 안전한 주행 행동을 포괄하는 예측된 최적 궤적(61)을 계산한다(시간 지평은, 예를 들어, 2초 내지 5초의 크기일 수 있지만, 경우에 따라서는 시간 지평은 더 짧거나(예를 들어, 몇 분의 1초) 또는 더 길 수 있다(예를 들어, 수십 초, 분 또는 수 분)). (이하에 논의되는 바와 같이, 알고리즘은 또한 운전자의 수행 능력을 평가하는 수단으로서, 차량의 실제 진행 궤적 행동을 이 최적 궤적과, 또는 인간 운전자의 비교가능한 저장된 궤적 데이터베이스와 (예를 들어, 어떤 미래의 시간에) 비교할 수 있다.)

8. 컴퓨터 시스템에 접속되어, 예를 들어 승객에게 (또는 이후 논의하는 인간 운전 차량의 경우에, 운전자에게), 예를 들어 차량의 동작, 상태, 또는 조건, 차량의 궤적, 지도, 센서들 중 하나 이상으로부터 도출되는 정보, 장애물에 관한 정보, 다양한 타입의 경보, 및 기타 정보, 및 이들 중 임의의 두 개 이상의 조합에 관한 광범위한 정보를 제공하는, 차량에 탑재된 디스플레이 디바이스(70). (인간 운전 차량의 경우, 경보는, 예를 들어, 좋은 주행 습관, 나쁜 주행 습관, 또는 두 가지 모두와 관계된 경보를 포함할 수 있다. 또한 운전자에게 및 인가되고 인증된 사용자들에게 필요한 대로 또는 유용한 대로 운전자의 거동과 그의 운전 습관의 질에 관한 보고가 제공될 수 있다.) 9. 원격 위치 데이터베이스로부터 차량으로 데이터를 전송하고 원격으로 위치된 데이터베이스에 데이터를 전송하는 무선 통신 디바이스(72). 전송된 데이터는 예를 들어, 차량의 조작, 상태 또는 조건, 차량의 궤적, 최적 궤적, 지도와 관계된 정보, 센서들 중 하나 이상으로부터 도출된 정보, 장애물에 관한 정보, 다양한 타입의 경보, 및 기타 정보, 그리고 이들 중 임의의 두 개 이상의 조합을 포함하는 광범위한 정보를 운반할 수 있다. 무선 통신 디바이스는 또한 주행 데이터 또는 운전자의 수행 능력의 설명을 (예를 들어, 이메일 또는 텍스트 메시지에 의해) 신뢰받는 수신자에게 직접 또는 간접적으로 전송하기 위해 사용될 수 있다.

10. 통제 작용(예를 들어, 조향, 가속, 감속, 기어 선택)에 대응하는 커맨드(76)를 수신하여 커맨드에 기초해 작용하도록 설비된 특징 및 기능(예를 들어, 액추에이터)을 가지며 또한 컴퓨터 시스템으로부터의 보조 기능(예를 들어, 회전 표시기 활성화)을 위한 차량(10). 본 발명자들은 예를 들어, 차량의 동작 특성 및 기능에 전달되는 임의의 명령, 지시, 임무, 요청, 또는 호출, 또는 이들의 조합을 포함하여 커맨드라는 용어를 광범위하게 사용한다. 본 발명자들은 예를 들어, 차량이 궤적의 적어도 일부를 따라 진행하거나 다른 동작을 수행하도록 야기하는데 필요한, 유용한 또는 그와 연관되는 임의의 작용, 활성화, 또는 액추에이션을 포함하도록 통제 작용이라는 용어를 광범위하게 사용한다.

11. 컴퓨터 시스템이 예를 들어 앞서 언급한 데이터 및 정보를 저장하기 위해 차량상의 메모리에 액세스하게 되는 해당 메모리(65).

도 7과 도 8은 감지, 계산 컴포넌트, 및 지도 리소스와 이들의 시스템에서의 논리적 및 물리적 위치의 일부를 예시한다.

도 3에 도시된 바와 같이 (및 도 9를 또한 참조하여), 본 발명자들은 이제 액추에이터들(87)(예를 들어, 통제 작용들에 응답할 수 있는 차량의 특징들 및 기능들)에 의해 사용되고 또한 실시간 센서 데이터(11) 및 규제 데이터 모두에 기초하는 통제 작용들(82)의 집합 또는 시퀀스를 실행 시간에 온라인으로 생성하기 위한 방법(80)을 설명한다. 일부 구현에서, 방법은 적어도 차량(12)에서의 컴퓨터 시스템(18)상에서 실행되는 다음의 주요 프로세스를 포함한다:

A. 예를 들어, 온보드 차량 센서(87) 및 데이터 소스(89)에 의해 수집된 데이터(86), 및 차량 간 또는 차량 대 인프라스트럭처 통신 디바이스를 통해 수신된 데이터를 분석하여 에고 차량과 그 환경을 특징짓는 양들의 추정(및 추정과 연관된 관련 통계)을 생성하는 세계 모델 프로세스(84). 대략적으로 말해서, 세계 모델은 들어오는 데이터에 기초하여 에고 차량과 환경의 상태를 추정할 수 있다. 주어진 시간으로부터 세계 모델에 의해 산출되는 추정은 해당 시간으로부터 세계 상태(88)라고 불린다.

세계 상태의 일부로서 표현되는 양들은 다음에 대한 통계를 포함하지만 이에 국한되지는 않는다: 에고 차량의 현재 위치, 속도, 및 가속도; 부근의 다른 차량, 보행자, 자전거 이용자, 스쿠터, 마차, 카트, 및 기타 움직이는 물체 또는 장애물의 타입, 위치, 속도, 및 현재 의도에 대한 추정; 부근의 정적 장애물(예를 들어, 기둥, 표지판, 연석, 교통 흐름 표시 원뿔 및 통, 도로 칸막이, 나무)의 위치와 타입; 및 도로 표시, 도로 사인 및 교통 신호의 위치, 타입 및 정보 내용. 세계 상태는 차량 및 자전거 주행 차선의 수, 차선 폭, 차선 교통 흐름 방향, 차선 마커 타입 및 위치, 횡단 보도, 교통 표지판, 및 교통 신호와 같은 도로 특징들의 공간적 위치들과 같은 차도의 물리적 속성들에 관한 정보도 포함할 수 있다. 세계 상태(88)는 최대 우도 추정, 오차 공분산, 및 관심 변수에 대한 충분한 통계를 포함하여 에고 차량 및 부근 차량의 상태에 대한 확률적 추정을 포함한다.

도 4에 또한 도시된 대로, 세계 모델 프로세스(84)가 주어진 시간에 대하여 실행될 때, 데이터는 모든 이용 가능한 차량 센서 및 데이터 소스들로부터 캡처되고, 해당 시간으로부터의 다음의 양들(83) 중 일부 또는 전부를 계산하도록 처리된다:

1. 전역 좌표계에서의 에고 차량의 위치 및 방향. 이들 양은 GPS 시스템을 사용하여 직접 측정되거나 또는 GPS, IMU(inertial measurement unit), 바퀴 속력 센서, 및 잠재적으로 LIDAR 센서와 같은 기타 센서로부터의 정보를 조합하는 공지 기술(예를 들어, [Optimal Filtering, Brian D. O. Anderson, John B. Moore, Dover, 2005]에 설명된 것과 같은 것)에 의해 계산될 수 있다.

2. 에고 차량의 선속도 및 각속도 및 가속도. 이들 양들은 IMU 시스템을 사용하여 직접 측정될 수 있다.

3. 에고 차량의 조향각. 이 양은 표준 자동차 센서로 직접 측정될 수 있다.

4. 에고 차량의 현재 주행 방향과 관련된 정지 표지판, 양보 표지판, 속력 제한 표지판, 및 기타 교통 표지판의 위치. 이들 양은 상업적으로 입수할 수 있는 디바이스에 의해 또는 이하의 것에 설명된 것과 같은 공지 기술에 의해 측정될 수 있다[De La Escalera, Arturo, Luis E. Moreno, Miguel Angel Salichs, and Jos

Mar

a Armingol. "Road traffic sign detection and classification." IEEE Transactions on Industrial Electronics, 44, no. 6 (1997): 848-859., Bahlmann, Claw, Ying Zhu, Visvanathan Ramesh, Martin Pellkofer, and Thorstea Koehler. "A system for traffic sign detection, tracking, and recognition using color, shape, and motion information." In Proceedings of the IEEE Intelligent Vehicles Symposium, (2005): pp. 255-260. Maldonado-Basc

n, Saturnino, Sergio Lafuente-Arroyo, Pedro Gil-Jimenez, Hilario G

mez-Moreno, and Francisco L

pez-Ferreras. "Road-sign detection and recognition based on support vector machines." IEEE Transactions on Intelligent Transportation Systems, 8, no. 2 (2007): 264-278., Møgelmose, Andreas, Mohan Manubhai Trivedi, and Thomas B. Moeslund. "Vision-based traffic sign detection and analysis for intelligent driver assistance systems: Perspectives and survey." IEEE Transactions on Intelligent Transportation Systems, 13, no. 4 (2012): 1484-1497., Franke, Uwe, Dariu Gavrila, Steffen Gφrzig, Frank Lindner, Frank Paetzold, and Christian Wφhler. "Autonomous driving goes downtown." IEEE Intelligent Systems and their Applications. 6 (1998): 40-48.]. 이 양들은 또한 그러한 정보를 포함하는 상업적으로 입수가능한 지도 데이터(예를 들어, TomTom^®과 같은 전문지도 제공 업체로부터의 것)로부터, 또는 그러한 정보를 포함하도록 수작업으로 주석이 첨부된 상업적으로 입수가능한 지도로부터 수집될 수 있다. 그러한 정보가 지도 데이터로부터 수집되면, 이것은 이미 언급한 바와 같이 차량상의 메모리 저장 유닛(65)에 저장되거나 또는 원격 위치된 데이터베이스로부터 무선 통신에 의해 차량에 전송될 수 있다.

5. 운전 가능한 노면의 경계, 개별 주행 차선을 구분하는 마킹(해당 마킹의 표시의 위치와 타입 모두를 포함함), 및 포장되지 않은 길의 식별된 에지들. 이들 양은 상업적으로 입수할 수 있는 디바이스에 의해 또는 이하의 것에 설명된 것과 같은 공지 기술에 의해 측정될 수 있다[He, Yinghua, Hong Wang, and Bo Zhang. "Color-based road detection in urban traffic scenes." IEEE Transactions on Intelligent Transportation Systems, 5.4 (2004): 309-318., Wang, Yue, Eam Khwang Teoh, and Dinggang Shen. "Lane detection and tracking using B-Snake." Image and Vision Computing 22.4 (2004): 269-280., Kim, ZuWhan. "Robust lane detection and tracking in challenging scenarios." IEEE Transactions on Intelligent Transportation Systems, 9, no. 1 (2008): 16-26.]. 이들 양들은 또한 항목 4에서 설명한 대로 상업적으로 입수가능한 지도 데이터로부터 수집될 수 있다.

6. 에고 차량의 현재 진행 방향과 관련된 교통 신호의 상태(예를 들어, 적색/황색/녹색/화살표). 이들 양은 상업적으로 입수할 수 있는 디바이스에 의해 또는 이하의 것에 설명된 것과 같은 공지 기술에 의해 측정될 수 있다[Lindner, Frank, Ulrich Kressel, and Stephan Kaelberer. "Robust recognition of traffic signals." In Proceedings of the IEEE Intelligent Vehicles Symposium, 2004., Fairfield, Nathaniel, and Chris Urmson. "Traffic light mapping and detection." In Proceedings of the International Conference on Robotics and Automation (ICRA), 2011., Shen, Yehu, Umit Ozguner, Keith Redmill, and Jilin Liu. "A robust video based traffic light detection algorithm for intelligent vehicles." In Proceedings of the IEEE Intelligent Vehicles Symposium, 2009, pp. 521-526.].

7. 보행자 횡단 보도, 정지선, 및 기타 도로 특징의 위치. 이들 양들은 또한 항목 4에서 설명한 대로 상업적으로 입수가능한 지도 데이터로부터 수집될 수 있다.

8. 다른 차량, 보행자, 자전거 이용자, 스쿠터, 마차, 카트, 및 에고 차량의 현재 주행 차선과 관련된 기타 움직이는 물체의 위치와 속도. 이들 양들은 상업적으로 이하와 같은 상업적으로 이용 가능한 디바이스를 사용하여 측정될 수 있다(예를 들어, [Mobileye 560. http://www.mobileye.com/products/,Autoliv Stereo-vision camera. https://www.autoliv.com/ProductsAndInnovations/ActiveSafetySystems/Pages/VisionSystems.aspx, Delphi Electronically Scanning Radar http://delphi.com/manufacturers/auto/safety/active/electronically-scanning-radar, Ibeo LUX http://www.autonomoustuff.com/ibeo-lux-standard.html]), or known techniques such as those described in [Premebida, Cristiano, Gonηalo Monteiro, Urbano Nunes, and Paulo Peixoto. "A lidar and vision-based approach for pedestrian and vehicle detection and tracking." In Proceedings of the IEEE Intelligent Transportation Systems Conference, 2007, pp. 1044-1049., Wang, Chieh-Chih, Charles Thorpe, Sebastian Thrun, Martial Hebert, and Hugh Durrant-Whyte. "Simultaneous localization, mapping and moving object tracking." The International Journal of Robotics Research 26, no. 9 (2007): 889-916., Premebida, Cristiano, Oswaldo Ludwig, and Urbano Nunes. "LIDAR and vision-based pedestrian detection system." Journal of Field Robotics 26, no. 9 (2009): 696-711., Yilmaz, Alper, Omar Javed, and Mubarak Shah. "Object tracking: A survey." ACM Computing Surveys 38.4 (2006): 13., Gavrila, Dariu M., and Vasanth Philomin. "Real-time object detection for "smart" vehicles." In Proceedings of the Seventh IEEE International Conference on Computer Vision, vol. 1, pp. 87-93, 1999.]).

9. 운전 가능한 노면상의 정적 장애물(예를 들어, 기둥, 표지판, 연석, 교통 흐름 표시 원뿔 및 통, 도로 칸막이, 나무)의 위치. 이들 양들은 상업적으로 이하와 같은 상업적으로 이용 가능한 디바이스를 사용하여 측정될 수 있다(예를 들어, [Mobileye 560. http://www.mobileye.com/products/, Autoliv Stereo-vision camera. https://www.autoliv.com/ProductsAndInnovations/ActiveSafetySystems/Pages/VisionSystems.aspx, Delphi Electronically Scanning Radar http://delphi.com/manufacturers/auto/safety/active/electronically-scanning-radar, Ibeo LUX http://www.autonomoustuff.com/ibeo-lux-standard.html]) or known techniques such as those described in [Premebida, Cristiano, Gonηalo Monteiro, Urbano Nunes, and Paulo Peixoto. "A lidar and vision-based approach for pedestrian and vehicle detection and tracking." In Proceedings of the IEEE Intelligent Transportation Systems Conference, 2007, pp. 1044-1049., Wang, Chieh-Chih, Charles Thorpe, Sebastian Thrun, Martial Hebert, and Hugh Durrant-Whyte. "Simultaneous localization, mapping and moving object tracking." The International Journal of Robotics Research 26, no. 9 (2007): 889-916., Premebida, Cristiano, Oswaldo Ludwig, and Urbano Nunes. "LIDAR and vision-based pedestrian detection system." Journal of Field Robotics 26, no. 9 (2009): 696-711., Yilmaz, Alper, Omar Javed, and Mubarak Shah. "Object tracking: A survey." ACM Computing Surveys 38.4 (2006): 13., Gavrila, Dariu M., and Vasanth Philomin. "Real-time object detection for "smart" vehicles." In Proceedings of the Seventh IEEE International Conference on Computer Vision, vol. 1, pp. 87-93, 1999., Golovinskiy, Aleksey, Vladimir G. Kim, and Thomas Funkhouser. "Shape-based recognition of 3D point clouds in urban environments." In Proceedings of the 12th International Conference on Computer Vision, pp. 2154-2161, 2009.]).

10. 현재의 대기 조건, 예를 들어 눈이 내리거나 비가 내리는지, 그리고 얼음이 노면상에 존재할 만큼 충분히 추운지 여부. 이들 양들은 표준 자동차 강우 및 온도 센서를 사용하여 직접 측정되거나 추론될 수 있다.

11. 비슷한 시간에 도로 구간을 따라 이전에 진행한 차량의 주행 속성(예를 들어, 통상적 속도 및 가속도 프로필)에 관한 이력 정보. 이러한 데이터는 차량상의 메모리 저장 유닛에 저장되거나 또는 원격 위치된 데이터베이스로부터 무선 통신을 이용하여 차량에 전송될 수 있다.

여기에 설명된 시스템은 위에 나열된 양들의 전체 집합이 없는 경우에도 유용하게 기능할 수 있다. 위의 1 내지 11에 설명된 모든 계산된 양은 차량상의 메모리 유닛에 저장될 수 있다.

B. 물리적 에고 차량이 세계 모델로부터 수신되는 세계 상태에서의 주어진 시간에 시작하고 또한 주어지고 선택된 피드백 제어 정책에 종속된다면 이것이 추종해야 할 궤적(98)(즉, 시간에 의해 인덱싱된 상태들의 시퀀스)을 추정하기 위해서, 세계 상태(88)(예를 들어, 세계 모델의 출력의 형태의 데이터 구조)를 입력으로서 취하고 또한 주어진 선택된 피드백 제어 정책(96)(예를 들어, 환경에 관한 정보에 기초한 조향, 제동, 및 스로틀 커맨드를 계산하는 함수)에 대한 에고 차량의 알려진 수치적 또는 분석적 시뮬레이션 모델들을 채택하는 시뮬레이터 프로세스(90)(도 5에 또한 도시됨). 다시 말하면, 시뮬레이터 프로세스는 조향, 제동, 및 스로틀 커맨드를 결정하는 주어진 선택된 피드백 제어 정책에 에고 차량이 어떻게 응답할지에 대한 기존 모델을 사용하여 세계 상태가 주어졌을 때 에고 차량의 세계 궤적을 시뮬레이팅한다.

주어진 차량에 대해, 그 각각이 시간 및 환경 상태에 기초하여 에고 차량의 기능 디바이스로 보내지는 커맨드를 제어할 수 있는 많은 수의 광범위한 피드백 제어 정책이 있을 수 있다. 상이한 피드백 제어 정책들은 주어진 세계 상태에서 시작하는 상이한 차량 거동을 산출할 수 있으며, 차량은 상이한 피드백 제어 정책에 대해 상이하게 응답한다. 본 발명자들은 "제어 정책"이라는 용어를, 예를 들어 센서 정보에 기초하여 계산되는 임의의 제어 법칙을 포함하도록 광범위하게 사용한다; 예를 들어, 자동차가 원하는 경로의 좌측에 있다면, 제어 정책은 자동차가 우측으로 움직이게 야기하도록 구성될 수 있거나; 또는 자동차가 또 다른 차량에 접근하고 있다면, 제어 정책에 따라 자동차가 느려지도록 야기할 것이다(적응형 순항 제어 시스템에서 이뤄지는 것과 같음). 야코비안(Jacobian), 피드백 선형화, 백 스테핑(back-stepping), 슬라이딩 모드, 및 모델 예측 제어와 같은 광범위한 피드백 공식 및 이들의 조합 중 임의의 것이 사용될 수 있다. 시뮬레이터 프로세스는 다른 차량, 자전거 이용자, 및 보행자와 같은 다른 물체의 모델도 포함하며, 유사한 방식으로 이들의 궤적을 예측할 수 있다.

세계 상태에 포함되는 정보는 시뮬레이터 프로세스가 환경을 통해 (즉, 예를 들어, (진공 상태에서의 차량이 아니라) 독립 요소들의 앙상블의 일부로서 자동차의 운동을 예측하기 위해서) 에고 차량 및 다른 물체의 예상되는 운동을 풍부하게 평가할 수 있게 하여준다. 시뮬레이터 프로세스의 출력(102)은 추정된 세계 궤적(98), 즉 각각이 후속 세계 상태로의 천이를 초래할 시간에 의해 인덱싱된 세계 상태들의 시퀀스이다.

시뮬레이터 프로세스는 주어진 세계 상태를 포함하거나 가리키고 또한 주어진 세계 상태에 기초하여 에고 차량 또는 몇몇 다른 물체의 세계 궤적에 대한 예측을 요구하는 다른 프로세스들로부터의 요청들에 응답하는 서비스 프로세스로서 운영될 수 있다.

C. 논리적 술어(112)의 주어진 집합으로부터, (세계 모델에 의해 생성되는 대로의) 특정 세계 상태 또는 (시뮬레이터에 의해 생성되는 대로의) 차량의 예측된 세계 궤적의 특정 천이에 적용되는 것들(114)을 선택하는 라벨러(labeler) 프로세스(110). 본 발명자들은 논리적 술어(logical predicate)라는 용어를, 예를 들어 표현식의 일부인 알려지지 않은 양들을 실제 값들로 대체할 때 논리 결과를 산출하도록 평가될 수 있는 표현식을 포함하게 사용한다. 술어의 예로는 "에고 차량이 우측 차선에 있다", "에고 차량이 충돌하고 있다", "에고 차량이 차량 X 뒤에 있다", "에고 차량의 속력이 게시된 제한을 초과한다", 및 "에고 차량이 정지하였다" 가 있다. 보다 구체적으로, 예를 들어, 차량의 위치 및 방향이 (x, y, theta) =(13.5, -1.39, 0.34)이면, 차량은 우측 차선에 있다.

또한, 라벨러 프로세스는 주어진 (시공간) 궤적, 예컨대 시간에 의해 인덱싱된 상태들의 시퀀스에 적용되는 라벨들(116), 또는 심볼들의 시퀀스를 생성할 수 있다. 이러한 라벨들의 시퀀스는 주어진 궤적을 따른 상태들의 서브 시퀀스와 연관되는 비 반복 라벨들의 최대(예를 들어, 유한 시퀀스에 대해 가장 긴) 순서화된 리스트이고, 또한 차량 활동의 정황에서(예를 들어, 에고 차량은 차량 X를 추월한 후 좌측 차선에서 우측 차선으로 천이한 후 교차로에서 정지함) 차량의 물리적 거동을 기술하는 논리적 궤적(118)에 대응한다. 논리적 궤적이란, 예를 들어 에고 차량의 운행이나 거동을 기술하는 논리적 유형 문장으로서 표현되는 예시적 궤적을 의미한다.

라벨러 프로세스는, 시뮬레이터 프로세스에 의해 생성되는 대로의 세계 궤적의 일부인 세계 상태 또는 천이, 및 잠재적 라벨들의 리스트(천이들과 관련됨), 또는 다른 차량 및 환경에 대하여 에고 차량의 관심 속성을 인코딩하는 논리적 술어들(상태들과 관련됨) 중 어느 하나를 입력으로서 취하는 서버 프로세스로서 작용할 수 있다. 라벨러 프로세스는 각각의 입력 세계 상태에 해당 특정 세계 상태에서 참(true)으로 평가되는 술어 집합??(119)을 연관시킨다. 라벨러 프로세스는 각각의 입력에 세계 궤적을 따라 선택된 세계 상태들의 임의의 서브 시퀀스들과 연관되는 라벨들의 최대 비 반복 시퀀스를 연관시킨다. 라벨들 및 술어들은 알려진 분석 및 수치 방법을 사용하여 할당될 수 있다.

D. 또한, 도 6을 참조하면, 에고 차량에 대한 및 부근 차량 및 환경에 대한 제각기 유한 거동 집합을 초래하는 후보 피드백 제어 정책의 유향 그래프(114)를 증분적으로 구축하는 구체화 프로세스(112). 그래프의 각각의 에지는 유한 시간 스팬 세계 궤적(finite-time-span world trajectory)의 세그먼트에 대응하며 또한 궤적의 에지를 생성하기 위해 실행될 특정 피드백 제어 정책에 의해 정의된다. 그래프의 각각의 버텍스 또는 노드는 세계 상태에 대응하며 또한 새로운 피드백 제어 정책이 선택되게 될 결정 지점을 나타낸다. 따라서, 세계 궤적들 각각은 연속적인 시간에서의 세계 상태들의 시퀀스를 포함하고 또한 피드백 제어 정책들의 특정 연속에 대응하는 거동들의 연속에 대응하는 궤적을 따른 연속적인 세계 상태들 사이의 천이를 나타낸다.

실행 시간에(에고 차량이 주행될 때), 또는 시뮬레이션에서(차량의 궤적이 예측되고 있을 때), 피드백 제어 정책(96)은 온보드 센서에 의해 획득되는 측정들에 그리고 차량 및 환경의 관찰된 이전의 실제 궤적에 의존하여 시공간 궤적의 에지의 특정 인스턴스를 초래한다.

유향 그래프의 루트(root)는 세계 모델 프로세스(84)의 출력으로서 초기화된(300) 세계 상태(88)이다. 매 반복에서(즉, 각각의 연속적인 시간 단계에서), 구체화 프로세스는 현재 세계 상태의 추정을 수신하고 유향 그래프를 갱신한다. 이것은, 우선 현재 유향 그래프의 버텍스들 중 하나 이상을 선택하고(310), 해당 버텍스에서 다음 시간 단계에서의 다음 버텍스로의 천이에 대응하는 이들 버텍스들의 각각에 대한 피드백 제어 정책을 선택(320)함으로써, 이를 수행한다.

이후 구체화 프로세스(concretization process)는 구체화 프로세스가 선택한 쌍들(세계 상태, 피드백 제어 정책) 각각에 대한 시뮬레이션 프로세스(330)를 호출한다. 이후, 쌍들의 각각에 대한 시뮬레이션 프로세스의 출력인 예측된 궤적의 천이가 라벨러 프로세스에 공급되고(340), 이는 천이를 위한 라벨 시퀀스를 산출한다. 그래서 획득된 (라벨링된) 천이들이 정적으로 해석될 수 있는 임의의 어려운 제약 조건들(예를 들어, 고정된 물체와의 충돌)을 위반하지 않는다면(342), 이들은 초기 세계 상태에 대응하는 버텍스(vertex)들로부터 시작하여 새로운 에지들로서 유향 그래프에 추가된다(350). 천이들 중 임의의 것의 엔드포인트들이 이미 유향 그래프에 있는 버텍스들의 세계 상태와 매칭되지 않으면, 이들 상태들은 유향 그래프에 새로운 버텍스들로서 추가된다. 그렇지 않으면, 각각의 에지는 매칭된 세계 상태의 버텍스에 연결된다.

유향 그래프의 그래프 확장에 대한 버텍스들 및 피드백 제어 정책을 선택하는 몇 가지 알려진 방법이 있다(예를 들어, PRM*, RRT, RRT*). 이들은 (1) 확률적으로 완비되고(즉, 이들은 높은 확률로, 만일 존재한다면, 유효한 해를 찾을 수 있고), (2) 점근적으로 최적이며(즉, 이들은, (1)에 의해 암시된 것처럼, 최적 해에 임의로 잘 근사되는 해를 마침내 산출할 것이고, (3) 계산적으로 효율적이다(즉, 이들은 한 버텍스를 n 버텍스를 가진 그래프에 추가하려면 O(log n) 연산을 필요로 한다). 이러한 특성을 갖는 다른 알고리즘도 사용될 수 있다.

일부 구현에서, 구체화 프로세스는 다음과 같은 속성을 갖는다:

완비성과 점근적 최적성: x가 세계 상태를 나타내고, u가 통제 작용(조향, 스로틀링, 제동 등)을 나타내고, T는 유한 시간 간격을 나타낸다고 하자. 공식

의 임의의 가산성 비용 함수에 대해(여기서,

), 그리고 임의의 닫힌 곡선 S상에서 (

)인 상황에서,

을 n회 반복 후의 유향 그래프의 최소 비용 경로의 비용이라고 하자. 이후, 구체화 방법은, n이 무한대로 갈 때

의 극한이, 동일한 경계 조건을 만족하는, x와 u에 대한 모든 실현 가능한 궤적에 걸친

의 전역적 최대 하계(infimum)와 동일하다면, 점근적으로 최적이다(그리고 따라서 완비이다). (대략적으로 말하자면, 구체화 방법은, 기본적인 무작위 기하학적 그래프가 여과되어(percolate) 연결되어 있는 경우 이 기준을 충족한다; [S. Karaman and E. Frazzoli. Sampling-based algorithms for optimal motion planning. Int. Journal of Robotics Research, 30(7):846-894, June 2011]에 추가 정보가 제공된다).

효율성: 계산적 효율성을 보존하기 위해, 트리에서의 n개의 버텍스의 존재 하에서 구체화 프로세스의 각각의 반복 실행 비용은 O(log n)보다 크면 안 된다.

자율 주행 차량에 대한 통제 작용을 생성하는 한 양태는 많은 제약 조건을 만족시키고 특정 비용을 최소화하는 궤적을 계획하는 것이다. 일부 알려진 시스템에서는, 이는 대규모 최적화 문제를 공식화한 다음, 비용에 그리고 제약 조건에 기초하여, 초기 추측에서 시작하여 양호한 궤적에 수렴하려고 시도함으로써 이뤄진다. 이는 잠재적으로 수천 개의 제약 조건에 종속된 무한 차원의 공간(궤적들의 공간)에서 탐색을 시도하는 것에 이르기 때문에, 알려진 시스템들은 시스템 또는 제약 조건 집합을 단순화하기 위한 또는 검색을 단순화하는 추가 제약 조건을 부과하기 위한 전략을 갖는다.

여기에서 본 발명자들이 설명하고 있는 접근법에서, 구체화 프로세스는 말하자면 초당 수백 개의 많은 후보 궤적을 신속하게 생성한다. 초당 200이 통상적 값일 수 있지만, 속도는 200보다 크거나 작을 수 있다. 알고리즘 실행 속도가 빠를수록, 해의 질이 좋아진다. 구체화 프로세스는 최적 궤적에 임의로 가까워질 궤적들을 생성하는 능력을 보장하는 방식으로 이뤄진다.

E. 또한, 도 11에 도시된 바와 같이, 구체화 프로세스에 의해 생성되는 유향 그래프에서의 에지들의 각각에 비용을 할당하고 에지들의 각각에 연관된 비용을 갱신하며(132) 그리고 에지들에 할당된 비용들을 사용하여 유향 그래프를 통해 최소 비용 경로를 계산하는 평가 프로세스(130). 비용 평가는, 에고 차량의 논리적 궤적을 기술하는 라벨들(121)의 시퀀스와 조합되어, 세계 상태(88)에서의 차량의 미래 상태의 그리고 부근 차량 및 장애물의 미래 상태의 추정들 및 예측된 물리적 궤적을 제공하는 시뮬레이터 프로세스 및 라벨러 프로세스의 출력에 기초한다.

이후 평가 프로세스는 LTL(Linear Temporal Logic), CTL*(Computation Tree Logic), 및 μ-calculus와 같은 형식 언어로 표현되는 우선순위 지정되고 가중화된 규칙들(적용 가능한 운전 규칙 또는 운행 규칙을 포함함)(140)의 집합에 대해 다양한 에지들에 대한 조합된 물리적 궤적 및 논리적 궤적을 평가한다. 본 발명자들은 편의를 위해 LTL을 사용했다.

우선순위 지정을 위해, 말하자면 A 및 B인 두 개의 규칙이, B의 임의의 위반이 A의 임의의 위반보다 선호되는 경우(이 경우, A가 더 높은 우선순위를 가짐), 상이한 우선순위가 미리 할당된다. 예를 들어, "다른 차량과 충돌하지 않음" 형식의 규칙은 "최우측 차선에 남아 있음" 형식의 규칙보다 더 높은 우선순위를 갖는다. 두 개의 규칙은, 규칙 B를 위반하는 수준과 "동등"한 규칙 A를 위반하는 수준이 있다면, 동일한 우선순위와 가능하게는 상이한 가중치가 할당된다; 예를 들어, "최우측 차선에 남아 있음"과 "설정된 순항 속력을 유지함"(더 느린 차량이 앞으로 진행할 때 순항 속력을 유지하기 위해서 차량은 더 느린 차량을 추월하기 위해 좌측 차선으로 이동하기를 결정할 수 있다). 규칙들은 규제의 관련 본문에 제시된 운행 규칙에 따라 그리고 사용자/운영자의 선호에 의해 우선순위가 매겨지고 가중치가 부여된다.

LTL은, 모든 운전 규칙을 포함하여 이산 시간 천이 시스템(본 문서에 설명된 유향 그래프와 같은 것)상의 소위 모든 오메가 정규 표현식(omega-regular expression)들을 표현하기에 충분한 표현력을 가진 것으로 알려져 있다. 또한, 알려진 컴퓨터 알고리즘들은 임의의 LTL 공식을 동등한 유한 상태 오토마톤(automaton)으로 자동 변환할 수 있으므로, 소프트웨어 개발 프로세스에서의 흔한 오류 소스 및 복잡성을 제거할 수 있다.

매 반복에서(즉, 각각의 시간 단계에서), 평가 프로세스는, 그 루트(root)로부터 시작하여, 해당 시간 단계로부터, 그리고 최신 세계 상태에 기초하여 그리고 시뮬레이션 프로세스 및 라벨러 프로세스에 대한 새로운 호출들(서비스 요청들)에 대한 응답으로 수신되는 출력들에 기초하여, 구체화 프로세스에 의해 구축되는 유향 그래프에서의 모든 에지들의 비용들을 갱신한다.

일부 구현에서 평가 프로세스는 다음 단계들을 실행한다. 유향 그래프의 루트는 세계 모델 프로세스(84)에 의해 반환되는 최신 세계 상태(88)로서 초기화된다. 이후, 유향 그래프에서의 에지들이, 에지들 각각에 대한 시뮬레이터 프로세스 및 라벨러 프로세스를 호출함으로써, 예를 들어 최상의 제1 순서(또는 유향 그래프의 완전한 커버리지를 보장하는 다른 순서)에 따라 갱신된다. 에지들 각각에 대한 관심 있는 각각의 공식에 대해(예를 들어, 각각의 운행 규칙에 대해), 라벨러 프로세스로부터의 결과적인 라벨 시퀀스는 대응하는 유한 상태 오토마톤의 상태를 갱신하기 위해 사용된다. 갱신된 상태는 에지의 종단에 있는 유향 그래프의 버텍스에 대해 저장되는 정보에 추가된다. 주어진 경로를 따른 공식(LTL 공식으로 표현되는 운행 규칙)의 위반 비용은 천이를 수용하기 위해 공식의 유한 상태 오토마톤에 대한 경로에서의 라벨링된 세계 궤적들로부터 제거될 필요가 있는 라벨들의 수에 비례한다. 각각의 에지의 비용은 몇 개의 수치 엔트리를 포함하는 어레이인데, 수치 엔트리 각각은 규칙 우선순위 레벨에 대응하고 해당 우선순위의 규칙(들)이 위반되는 정도에 비례하거나 또는 차량의 궤적 함수(예를 들어, 경로 길이, 회전각, 연료 소비량, 등)에 대응하거나 또는 이 둘을 조합한 것에 대응한다. 평가 프로세스의 마지막 단계는 갱신된 세계 궤적에 기초하여 각각의 에지의 비용을 갱신하는 것이다. 평가 프로세스의 결과는 모든 에지의 비용들이 갱신된 유향 그래프이다.

평가 프로세스 단계의 특징으로서, 각각의 에지의 비용은 에고 차량이 다른 차량이나 장애물과 충돌하는 것, 에고 차량이 주행 규칙을 위반하는 것과 같은 이벤트, 또는 차량의 운행과 관련되는 다른 이벤트들의 통계적, 확률적, 또는 최악의 경우의 추정에 의해 영향을 받을 수 있다.

일부 구현에서, 후보 궤적들의 집합이 주어지면, 평가 프로세스는 몇 개의 컴포넌트로 구성될 수 있는 비용으로 인코딩된 기준에 따라 어느 것이 가장 좋은지를 신속하게 찾을 수 있다. 비용은 (10.1, 2, 0) 형식의 어레이로 표현될 수 있는데, 여기서 각각의 컴포넌트는 특정 기준에 대해 발생되는 비용을 제공한다. 예를 들어, 제1 컴포넌트는 경로 길이가 될 수 있고, 제2 컴포넌트는 횡단할 차선 경계의 수일 수 있고, 제3 컴포넌트는 예상되는 충돌의 횟수일 수 있다. 비용들은 사전 편집 순서를 추종하여 비교되는데, 여기서 예를 들어 나중 엔트리가 초기 엔트리보다 더 높은 우선순위를 갖는다. 예를 들어, 비용이 (25, 4, 0)인 궤적은 비용이 (10, 2, 1)인 궤적보다 선호되는 것으로 여겨지는데, 그 이유는 후자가 더 짧기는 하지만 충돌을 야기할 것이기 때문이다. 비용이 (12, 0, 0)인 궤적은 둘 모두에 비해 선호될 것이다. 이 개념은 (일부 최소의 위반을 허용하면서) 차량이 만족할 수 있는 모든 주행 규칙을 만족하는 궤적을 시스템이 체계적으로 계산할 수 있게 하여, 예를 들어, 일부 규칙을 위반해야 할 때 중단하는 대신에, 예측 가능하고 또한 우아한 수행 능력 저하를 제공한다.

직관적으로, 본 발명자들이 설명한 것은 다음과 같은 측면에서 고려될 수 있다. 이 문제는 NP 복잡도 클래스의 선두에 있는 부류 중 하나이다. 이것들은, 몇몇 후보 해를 생성하는, 몇몇 오라클(oracle), 또는 비결정론적 (N) 프로세스가 주어지면, 후보가 실제로 해인지를 확인하는 것이 쉬운 문제이다(easy =(P)olynomial time). 구체화 프로세스는 위에 설명된 기술의 "비결정론적" 부분이다: 가능한 모든 해의 공간을 효율적으로 커버하면서, 초당 많은 수(수백 또는 수천)의 후보 해를 생성하는 오라클이다. 평가 프로세스는 이들 후보를 신속하게 확인한다.

이후 실행 프로세스(이하 설명됨)는 가장 좋은 후보를 선택하고 이것을 그 실행을 모니터링하면서 제어기 프로세스에 공급한다.

F. 도 12에 또한 도시된 바와 같이, 평가 프로세스에서 할당된 갱신된 비용에 따라, 구체화 프로세스에 의해 생성된 그래프상의 갱신된 에지들 및 버텍스들의 최소 비용 경로(152)를 선택하는 실행 프로세스(150). 최소 비용 경로의 다음 천이에 대응하는 피드백 제어 정책이 실행을 위해 제어기 프로세스(170)(이하 설명됨)에 제공된다. 실행 프로세스는 또한 최소 비용 경로에 대응하는 피드백 제어 정책의 올바른 실행을 위해 제어기 프로세스를 모니터링한다. 제어기 프로세스가 피드백 제어 정책의 실행을 완료하고 새로운 것을 받아들일 때는 언제든지, 실행 프로세스는 유향 그래프의 새로운 루트로서 최소 비용 경로의 제1 에지의 목적지 버텍스를 설정함으로써 유향 그래프를 갱신하고 또한 새로운 루트에서 시작하는 경로를 따라 도달될 수 없는 모든 버텍스와 에지를 유향 그래프로부터 제거한다.

G. 실행 프로세스에 의해 제공되는 각각의 피드백 제어 정책을 구현하는 제어기 프로세스(170). 앞에서 유의했듯이, 피드백 제어 정책의 각각은, 세계 모델 프로세스(84)에 의해 제공되는 세계 상태 정보가 주어지면, 차량의 원하는 거동을 실현하기 위해서 제어 입력들(예를 들어, 조향각, 가속도, 및 제동 커맨드뿐만 아니라 회전 지시기 활성화와 같은 보조 커맨드)을 제공한다. 제어기 프로세스는 세계 모델 프로세스(84)로부터의 그리고 실행 프로세스(150)로부터의 메시지들에 가입한다. 세계 모델 프로세스 메시지들은 차량의 상태 및 환경(부근 차량 등)의 상태에 관한 최신 정보를 포함한다. 실행 프로세스 메시지들은 제어기들에 의해 실행되는 피드백 제어 정책들에 대한 설명을 포함한다. 세계 상태, 및 주어진 피드백 제어 정책에 특정된 커맨드에 기초하여, 제어기 프로세스는 온보드 액추에이터들에 보내질 입력 제어 신호들(예컨대, 조향각, 스로틀 설정, 제동 설정 등)을 결정한다. 차량의 운동을 제어하기 위해 피드백 제어 정책을 계산하기 위한 공지된 방법의 예는 다음을 포함한다: R. Wallace, A. Stentz, C. E. Thorpe, H. Maravec, W. Whittaker, and T. Kanade, "First results in robot road-following.," in IJCAI, pp. 1089- 1095, 1985. O. Amidi and C. E. Thorpe, "Integrated mobile robot control," in Fibers' 91, Boston, MA, pp. 504-523, International Society for Optics and Photonics, 1991. B. d'Andr

a Novel, G. Campion, and G. Bastin, "Control of nonholo- nomic wheeled mobile robots by state feedback linearization," The International journal of robotics research, vol. 14, no. 6, pp. 543-559, 1995. Y. Kanayama, Y. Kimura, F. Miyazaki, and T. Noguchi, "A stable track- ing control method for an autonomous mobile robot," in International Conference on Robotics and Automation, pp. 384-389, IEEE, 1990. Z.-P. Jiang and H. Nijmeijer, "Tracking control of mobile robots: a case study in backstepping," Automatica, vol. 33, no. 7, pp. 1393- 1399, 1997. A. Ollero and O. Amidi, "Predictive path tracking of mobile robots. application to the CMU Navlab," in 5th International Conference on Advanced Robotics, vol. 91, pp. 1081-1086, 1991. P. Falcone, M. Tufo, F. Borrelli, J. Asgari, and H. E. Tseng, "A linear time varying model predictive control approach to the integrated vehicle dynamics control problem in autonomous systems," in 46th Conference on Decision and Control, pp. 2980-2985, IEEE, 2007. J. P. Hespanha et al., "Trajectory-tracking and path-following of under- actuated autonomous vehicles with parametric modeling uncertainty," Transactions on Automatic Control, vol. 52, no. 8, pp. 1362-1379, 2007. A. P. Aguiar, J. P. Hespanha, and P. V. Kokotovic μ, "Path-following for nonminimum phase systems removes performance limitations," Automatic Control, IEEE Transactions on, vol. 50, no. 2, pp. 234-239, 2005.H. K. Khalil and J. Grizzle, Nonlinear systems, vol. 3. Prentice hall New Jersey, 1996. A. L. Rankin, C. D. Crane III, D. G. Armstrong II, A. D. Nease, and H. E. Brown, "Autonomous path-planning navigation system for site characterization," in Aerospace/Defense Sensing and Controls, pp. 176- 186, International Society for Optics and Photonics, 1996. J. Wit, C. D. Crane, and D. Armstrong, "Autonomous ground vehicle path tracking," Journal of Robotic Systems, vol. 21, no. 8, pp. 439-449, 2004.C. E. Garcia, D. M. Prett, and M. Morari, "Model predictive control: theory and practice-a survey," Automatica, vol. 25, no. 3, pp. 335-348, 1989. E. F. Camacho and C. B. Alba, Model predictive control. Springer Science & Business Media, 2013.D.Q. Mayne, J. B. Rawlings, C. V. Rao, and P. O. Scokaert, "Con- strained model predictive control: Stability and optimality," Automatica, vol. 36, no. 6, pp. 789-814, 2000.

실행 프로세스는 올바른 실행을 위해 제어기 프로세스를 모니터링한다. 에고 차량의 실제 궤적이 계획된 최적 궤적으로부터 임계량(예를 들어, 통제, 규칙 위반, 또는 충돌 손실의 용인 불가능한 위험을 나타내기 위해 설정됨)을 초과하여 벗어나는 경우 (또는 다른 차량이 예기치 않게 거동하는 경우), 긴급 상황 절차가 트리거링되고 유향 그래프가 다시 초기화된다. 제어기 프로세스가 이후 피드백 제어 정책을 실행하고 있지 않거나 또는 새로운 피드백 제어 정책을 수용할 준비가 되면, 실행 프로세스는 유향 그래프상의 최소 비용 경로를 계산하고 이것을 제어기 프로세스에 공급한다. 이후 실행 프로세스는 먼저 유향 그래프의 루트를 최소 비용 경로에서의 제1 에지의 엔드포인트로 이동시키고 새로운 루트에서 도달될 수 없는 임의의 버텍스와 에지를 유향 그래프에서 삭제한다. 실행 프로세스는 이후 다시 반복된다.

일부 구현에서, 실시간 센서 데이터 및 이력 정보 모두에 기초하여 통제 작용의 시퀀스를 생성하기 위해, 세계 모델, 구체화, 평가, 실행 및 제어 프로세스들이 동시에 및 비동기적으로 실행될 수 있다(즉, 동일한 "클록"으로 하지 않고; 예를 들어 평가 프로세스의 각각의 반복에 대해, 구체화 프로세스의 몇 번의 반복이 있을 수 있다.) 시뮬레이터 및 라벨러 프로세스들은 다른 프로세스들에 의한 요청시에 실행될 수 있다. 세계 모델 및 제어 프로세스들은, 이용 가능한 센서의 샘플링 빈도에 따라 그리고 차량 역학의 이용 가능한 액추에이터들의 대역폭들에 따라 제각기 결정되는 속도로 실행될 수 있다(즉, 이들은 연속적 시간에서 반복된다). 세계 모델 및 제어 프로세스들은 추정, 인식, 및 통제를 위해 알려진 방법을 사용한다. 구체화, 평가, 및 실행 프로세스들은 가능한 한 자주 (최선 노력 바탕(best effort basis)으로) 반복되지만, 이용 가능한 전산 자원에 의존하여 세계 모델 및 제어 프로세스들에 대한 것보다 가능하게는 더 낮은 속도로 반복된다.

프로세스들 간의 통신은 예를 들어, 공유 메모리 및 공개/가입 프로토콜들을 포함하는, 공지된 프로세스 간 및 스레드 간 메시지 전달 메커니즘에 의해 구현될 수 있다.

도 10은 차량(10)에서 사용될 수 있는 컴퓨터 시스템의 통상적 컴포넌트 및 이들의 관계를 도시한다.

운전자 수행 능력 모니터링

앞의 논의에서, 본 발명자들은 연속적인 시간 단계들의 각각의 시간 단계에서, 최적 궤적이 결정되고, 최적 궤적의 현재 피스에 대응하는 피드백 제어가 실행되어 차량으로 하여금 최적 궤적을 트래버스하도록 야기하기 위한 노력 하에 차량의 운행을 제어하는 시스템을 설명하였다. 시간이 지남에 따라, 무인 운전 차량은 목적지까지 도달하기 위한 최적 궤적을 추종한다.

위에서 설명된 프로세스들 중 적어도 일부는 또한 상이한 정황에서 사용될 수 있는데, 그런 하나의 정황은 차량이 인간에 의해 주행되고 또한 연속하는 시간 단계들의 각각의 시간 단계에서 시간 기간 동안 결정된 최적 궤적에 적용되는 메트릭들과 주행 차량의 실제 궤적에 적용되는 메트릭들의 비교에 의해 표현되는 바와 같은 소급 분석(retrospective analysis)이 해당 시간 기간에 걸쳐서 운전자의 수행 능력에 대해 이루어지는 것이다. 무엇보다도, 운전자의 수행 능력을 모니터링하고 또한 운전자에게 그리고 다른 당사자들에게 유용한 정보를 제공하는 데에 분석이 사용될 수 있다.

즉, 도 16에 도시된 바와 같이, 최적 궤적 정보(220) 및 실제 궤적 정보(222)는 무엇보다도 차량의 운전자(226)의 수행 능력을 관찰, 결정, 분석, 및 보고하기 위해 사용될 수 있다.

본 발명자들은 "운전자 수행 능력"이라는 용어를, 예를 들어, 표준, 모델, 또는 예들에 대한 절대적 기준으로 또는 상대적으로 그리고 운전자 수행 능력을 특징짓기 위해 사용되는 다양한 메트릭 및 요인들 중 하나 이상에 대하여 인간 통제의 질, 효율성, 또는 스타일(또는 이들의 조합)을 포함하여, 예를 들어 운행 동안 인간이 차량을 제어하는 방식에 관한 모든 양태를 포함하도록 광범위하게 사용한다.

일부 구현에서, 운전자 수행 능력을 평가하기 위해, 차량(10)(이것은 잠시 동안 운전자의 통제하에 있는 무인 운전 차량이 될 수도 있고, 또는 비 무인 운전 차량이 될 수도 있음)에 위치된 컴퓨터 시스템(18)이 예측된 "최적 궤적"(220) 및 차량의 실제 궤적(222) 모두를 분석함으로써 성능 메트릭들(224)을 계산한다. 본 발명자들은 "최적 궤적"이라는 용어를, 예를 들어, 이상적이거나 바람직하거나 유용할 수 있는 그리고 일부 경우에는 다양한 적절한 요인들 중 하나 이상을 고려하여 최적 루트(route)일 수 있는 차량의 임의의 경로 또는 코스 또는 루트를 포함하도록 광범위하게 사용한다.

일부 예에서, 계산된 성능 메트릭들은 차량 안전을 보장하기 위해 컴퓨터 제어 방식으로 차량의 운동을 수정하는 것을 목표로 하는 조향 또는 제동 통제 작용들(228) 또는 둘 모두를 활성화시키는데 사용될 수 있다. 또한, 무엇보다도, 운전자의 운전 수행 능력, 사고 발생 가능성, 또는 교통 법규 위반 가능성을 평가하는 데에, 메트릭들이 사용될 수 있다.

메트릭들의 분석에 기초하여, 좋은 및 나쁜 운전 수행 능력 중 어느 하나 또는 모두와 관계된 운전자에의 경보들(230)이 차량 내 디스플레이상에 도시될 수 있다. 운전자의 거동에 대한 보고(232)는 푸시 모드에서 또는 인가되고 인증된 사용자에 의한 요청시에, 수신자(예를 들어, 신뢰받는 수신자)에게 무선으로 또한 전송될 수 있다. 이들 사용자는: 무엇보다도, 운전자, 가족 구성원(자녀의 운전 기술 습득을 모니터링하는 부모), 소셜 네트워크(예를 들어, 서로 자신들의 안전에 대해 또는 "환경 친화적" 레벨에 대해 "경쟁"하는 젊은 운전자들), 임대 차량 운영자, 또는 보험 기관 중 임의의 당사자 또는 이들 중 둘 이상의 당사자의 조합을 포함할 수 있다.

도 4와 관련하여 앞서 설명한 대로 그리고 도 16에 도시된 바와 같이, 세계 모델 프로세스(84)가 실행될 때, 데이터(240)는 모든 이용 가능한 차량 센서 및 데이터 소스(242)로부터 캡처되고 처리되어 이하 양들(83)의 일부 또는 전부를 계산하게 된다.

운전자 수행 능력 목적을 위해, 차량이 운행 중에 있는 동안, 각각의 시각 단계 k에서 각각의 양들이 계산된다. 양들이 계산될 때 연속적인 시간 순간들을 구분하는 간격은 직설적으로 0.2초 내지 2초의 범위일 수 있다.

1. 세계 모델과 관계된 섹션에서 앞서 언급된 양들(244).

2. 알려진 기술들 [Aoude, Georges, Joshua Joseph, Nicholas Roy, and Jonathan How. "Mobile agent trajectory prediction using Bayesian nonparametric reachability trees." In Proceedings of AIAA Infotech@ Aerospace (2011): 1587-1593., Demiris, Yiannis. "Prediction of intent in robotics and multi-agent systems." Cognitive Processing, 8, no. 3 (2007): 151-158., Morris, Brendan Tran, and Mohan Manubhai Trivedi. "Learning, modeling, and classification of vehicle track patterns from live video." IEEE Transactions on Intelligent Transportation Systems, 9.3 (2008): 425-437.]을 사용하여, 모든 움직이는 물체(예를 들어, 차량, 자전거 이용자, 보행자 등)의 미래 위치들(246)이 구성 가능한 시간 지평 T(예를 들어, 현재 시각 단계 k에서 미래 시각 단계 k + T까지의 기간)에 걸쳐서 예측된다. 모든 움직이는 물체의 미래 위치들은 차량상의 메모리 유닛(65)에 저장된다. 시간 지평 T는 2 내지 5초의 통상적인 합리적 범위 (또는 앞서 언급한 것보다 크거나 적음) 내의 시간 기간일 수 있다.

3. 도 14에 도시된 바와 같이, 컴퓨터(18)상에서 실행되는 (무인 운전 차량들에 대해 앞서 논의된 종류의) 프로세스들(202)은 에고 차량이 구성 가능한 시간 지평 T 동안 환경을 통해 추종할 수 있는 후보 궤적들(204)(예를 들어, 시간 매개변수화된 경로들)을 생성한다. 생성된 후보 궤적들은 차량상의 메모리 유닛에 저장된다.

그러한 후보 궤적들의 생성은 상태 격자들에 의존하는 기술, 그래프 탐색 기술, 또는 확률론적 도로 지도 또는 급속 탐색 무작위 트리와 같은 무작위 계획 방법을 활용하는 기술을 포함하여 다양한 알려진 기술에 의해 달성될 수 있다[S. M. LaValle. Planning algorithms. Cambridge University Press, Cambridge, UK, 2006. L.E. Kavraki, P. Svestka, J.C. Latombe, and M.H. Overmars. Probabilistic roadmaps for path planning in high-dimensional configuration spaces. IEEE Transactions on Robotics and Automation, 12(4):566-580, 1996. J. C. Latombe. Robot Motion Planning. Kluwer Academic Publishers, Boston, MA, 1991. J. T. Betts. Survey of numerical methods for trajectory optimization. AIAA Journal of Guidance, Control, and Dynamics, 21(2):193-207, March-April 1998. S. Karaman and E. Frazzoli. Sampling-based algorithms for optimal motion planning. Int. Journal of Robotics Research, 30(7):846-894, June 2011.]. 이러한 계획 방법들은 통상적으로, 후보 궤적들을 생성할 때 차량에 대한 장애물의 위치를 고려하므로, 장애물(들)과의 충돌을 초래할 후보 궤적들은 고려 대상에서 제외되도록 한다.

그러나, 후보 궤적 생성 프로세스 동안, 도로 표시, 교통 신호, 교통 흐름 표지판, 및 관련 운행 규칙으로부터 발생하는 주행 거동 제약 조건을 고려하여, 생성된 후보 궤적들이 충돌이 없을 뿐만 아니라, 운행 규칙을 위반하지 않게 되는 것이 또한 바람직하다. 이들 속성을 만족하는 궤적 생성 방법이 전술되었다.

4. 후보 에고 차량 궤적들은 이들의 질 또는 바람직성에 따라 평가되고 순위 매겨진다. 보다 정확하게는, 각각의 후보 궤적은 다음 중 하나 이상을 포함하나 이것들에만 제한되지는 않는 성능 메트릭 집합에 따라 평가된다:

a. 다음 중 하나 또는 둘 이상의 것의 임의의 조합을 분석하여 결정되는 운전자 안전.

i. 후보 궤적이 에고 차량으로 하여금 정지 신호 또는 사인에 의해 지배되는 지역에서 완전한 정지에 이르는데 실패하도록 야기하는 이벤트들의 수로서 계산되는 안전 메트릭 (a).

ii. 후보 궤적이 에고 차량으로 하여금 양보 신호 또는 사인에 의해 지배되는 지역에 있을 때 다른 차량, 자전거 이용자, 보행자, 또는 다른 동적 장애물에 양보하는데 실패하게 야기하는 이벤트들의 수로서 계산되는 안전 메트릭 (b).

iii. 후보 궤적이 에고 차량으로 하여금 보행자 또는 자전거 이용자가 횡단 보도에 있을 때 보행자 횡단 보도에서 양보하는데 실패하게 야기하는 이벤트들의 수로서 계산되는 안전 메트릭 (c).

iv. 후보 궤적이 에고 차량으로 하여금 1에서 식별된 정적 또는 동적 장애물의 임의의 부분, 또는 임의의 다른 물체 또는 도로 특징부와 충돌하게 야기하는 이벤트들의 수로서 계산되는 안전 메트릭 (d).

v. 후보 궤적이 에고 차량으로 하여금 연속 차선 마커를 횡단하거나 또는 운전 가능한 노면을 벗어나도록 야기하는 이벤트들의 수로서 계산되는 안전 메트릭 (e).

vi. 후보 궤적이 에고 차량으로 하여금 교차로에서의 우선순위를 적절히 준수하는 데에 실패하게 야기하는 이벤트들의 수로서 계산되는 안전 메트릭 (f).

vii. 후보 궤적이 에고 차량으로 하여금 i 내지 vi에서 설명되지 않은 운행 규칙을 제대로 준수하는 데에 실패하게 야기하는 이벤트들의 수로서 계산되는 안전 메트릭 (g).

viii. 후보 궤적을 따른 주어진 지점에서의 최대 차량 속력과 후보 궤적상의 동일 지점에서의 최대 속력 제한 사이의 백분율 차의 최대값으로서 계산되는 안전 메트릭 (h).

ix. 후보 궤적을 따른 선두 차량과의 차간 거리와, 주어진 지점에서의 에고 차량 속력과 후보 궤적상의 동일 지점에서의 선두 차량의 속력 사이의 차의 비의 최소값의 역수로서 계산되는 안전 메트릭 (i). 이 메트릭은 "충돌까지의 시간"으로도 알려져 있다[LaValle2006].

x. 후보 궤적이 에고 차량으로 하여금 이웃하는 진행 차선들을 가로지르는 천이들의 미리 정의된 수를 초과하고 따라서 "제직(weaving)" 거동을 나타내도록 야기하는 이벤트들의 수로서 계산되는 안전 메트릭 (j).

xi. (주어진 궤적상의 주어진 지점에서의 차량 속도의 제곱을 주어진 궤적상의 동일 지점에서의 곡률 반경으로 나눈 값으로서 계산되는) 후보 궤적을 정확하게 추적하기 위해 에고 차량이 필요로 하는 최대 횡방향 가속도의, 현재 환경 조건이 주어졌을 때의 최대 허용가능 횡방향 가속도에 대한 비로서 계산되는 안전 메트릭 (k).

xii. (궤적상의 주어진 지점에서의 종방향 속도의 시간 미분으로서 계산되는) 후보 궤적을 정확하게 추적하기 위해 에고 차량이 필요로 하는 최대 종방향 가속도의, 현재 환경 조건이 주어졌을 때의 최대 허용가능 종방향 가속도에 대한 비로서 계산되는 안전 메트릭 (l).

b. 이하의 것 중 하나 또는 임의의 둘 이상을 분석하여 결정되는 승객의 승차감:

i. (궤적상의 주어진 지점에서의 종방향 속도의 시간 미분으로서 계산되는) 후보 궤적을 정확하게 추적하기 위해 에고 차량이 필요로 하는 최대 종방향 가속도의, 선택된 최대로 편안한 종방향 가속도 값에 대한 비로서 계산되는 종방향 승차감 메트릭 (a).

ii. (궤적상의 주어진 지점에서의 종방향 가속도의 시간 미분으로서 계산되는) 후보 궤적을 정확하게 추적하기 위해 에고 차량이 필요로 하는 최대 종 방향 저크(jerk)의, 선택된 최대로 편안한 종방향 저크 값에 대한 비로서 계산되는 종방향 승차감 메트릭(b).

iii. (궤적상의 주어진 지점에서의 차량 속도의 제곱을 주어진 궤적상에서의 동일 지점에서의 곡률 반경으로 나눈 값으로서 계산되는) 후보 궤적을 정확하게 추적하기 위해 에고 차량이 필요로 하는 최대 횡방향 가속도의, 선택된 최대로 편안한 횡방향 가속도 값에 대한 비로서 계산되는 횡방향 승차감 메트릭 (a).

iv. (궤적상의 주어진 지점에서의 횡방향 속도의 시간 미분으로서 계산되는) 후보 궤적을 정확하게 추적하기 위해 에고 차량이 필요로 하는 최대 횡방향 저크의, 선택된 최대로 편안한 횡방향 저크 값에 대한 비로서 계산되는 횡방향 승차감 메트릭 (b).

c. 환경 영향은 이하의 것 중 하나 이상의 것의 분석에 의해 결정된다.

i. 주어진 후보 궤적의 길이를 모든 후보 궤적들 중 최소 길이로 나눈 값으로서 계산되는 연료 소비 메트릭 (a).

ii. 후보 궤적을 정확하게 추적하기 위해 필요한 (차량 데이터 및 미리 정의된 모델에 기초하여 계산되는) 추정 연료 소비의, 운전자 데이터베이스 및 미리 정의된 모델로부터의 데이터에 기초하여 계산되는, 현재 진행 시간에서의 진행된 루트에 대한 기준선 연료 소비 레벨에 대한 비로서 계산되는 연료 소비 메트릭 (b).

iii. (차량 데이터 및 미리 정의된 모델에 기초하여 계산되는) 후보 궤적에 걸쳐서 에고 차량이 경험하는 차량 마모(wear and tear)의, 운전자 데이터베이스 및 미리 정의된 모델로부터의 데이터에 기초하여 계산되는, 진행 루트 및 시간에 대한 기준선 마모 레벨에 대한 비로서 계산되는 차량 마모 메트릭.

(이들 메트릭들은 일부 경우에서 무인 운전 차량의 경우에 대해 최적 궤적을 식별하기 위해 사용된 비용과는 상이하다는 것을 유의한다.)

일부 구현에서, 최적 궤적(250)은 a 내지 c에 기술된 정량적 메트릭들의 일부 조합(예를 들어, 가중 합)의 분석에 의해 결정되는 대로, 가장 바람직하다고 간주되는 것으로서 식별된다. 통상적으로, 모든 성능 메트릭들의 가중 합의 최소값을 나타내는 후보 궤적이 최적 궤적으로 간주된다. 최적 궤적 및 그 연관된 성능 메트릭 값들은 차량상의 메모리 유닛에 저장된다.

위에 설명된 특정 메트릭 계산들은 대표적인 것으로 의도되었으며, 특정 운전자 수행 능력 특성에 대한 유일하고 유용한 메트릭은 아니다. 최적 궤적에 대한 다른 정의가 사용될 수 있고, 최적 궤적은 다른 계산에 의해 결정될 수 있다.

위의 섹션 1 내지 4까지의 계산은 규칙적 지속기간의 짧은 간격들("시간 단계")인 0.2-2초로 반복된다. 일부 경우에, 반복은 표시된 범위보다 작거나 큰 간격으로 수행될 수 있다. 각각의 시간 단계 k에서 수행되는 계산들의 결과는 시각 k에서의 차량의 위치로부터 시각 k+T에서의 차량의 위치까지의 최적 궤적을 포함한다.

도 13 및 도 15의 좌측을 참조하면, 각각의 시간 단계 k에서, 시스템은 에고 차량의 실제 위치 및 다른 차량, 자전거 이용자, 보행자, 및 차량의 환경에서의 다른 장애물의 실제 운동을 또한 알고 기록한다. 이 정보는 함께, 무엇보다도, 시간 기간 T 동안의 에고 차량의 실제 궤적이 된다.

도 15의 우측에 도시된 바와 같이, 각각의 시각 k + T에서, 시각 k와 시각 k+T 사이의 각각의 시간 단계에 대해 위에서 설명한 모든 데이터는 - 에고 차량의 알려진 실제 진행 궤적 및 다른 차량, 자전거 이용자, 보행자, 및 환경에서의 다른 장애물들의 실제 운동 특성을 나타냄 - 위에서 설명한 성능 메트릭을 사용하여 소급하여 분석된다. 이 분석에서 실제 에고 차량 궤적(최적 후보 궤적이 아님)이 분석 대상이 된다. 이는 시각 k와 시각 k+T 사이의 시간 간격에 걸친 운전자의 실제 수행 능력의 분석이라는 결과를 낳는다.

시각 k와 시각 k+T 사이의 시간 간격에 걸친 운전자의 실제 수행 능력에 대해 위에서 설명한 성능 메트릭들은 이후 시각 k와 시각 k+T 사이의 최적 궤적에 대해 위에서 설명한 성능 메트릭들과 개별적으로 비교될 수 있다. 운전자의 수행 능력을 정량화하기 위해 다양한 방법을 사용할 수 있고, 이 방법은 이하의 것들 중 하나 또는 둘 이상의 임의의 조합을 포함하는데, 이것에만 제한되지는 않는다:

1. 운전자의 실제 수행 능력에 대한 개별 메트릭들이 최적 궤적에 대한 동일 메트릭들과 비교될 수 있다.

a. 메트릭들의 백분율 차가 구성 가능한 백분율(즉, 임계 성능 레벨)을 초과하면, 해당 특정 기준에서의 운전자의 주행 수행 능력은 나쁜 것으로 라벨링된다.

b. 메트릭들의 백분율 차가 구성 가능한 백분율(즉, 임계 성능 레벨) 미만이면, 해당 특정 기준에서의 운전자의 주행 수행 능력은 양호한 것으로 라벨링된다.

2. 운전자의 실제 수행 능력에 대한 모든 메트릭들의 합이 최적 궤적에 대한 모든 메트릭들의 합과 비교될 수 있다.

a. 합산된 메트릭들의 백분율 차가 구성 가능한 백분율(즉, 임계 성능 레벨)을 초과하면, 운전자의 일반적 주행 수행 능력은 시간 간격 시각 k 내지 시각 k+T에 걸쳐서 나쁜 것으로 라벨링된다.

b. 합산된 메트릭들의 백분율 차가 구성 가능한 백분율(즉, 임계 성능 레벨) 미만이면, 운전자의 일반적 주행 수행 능력은 시간 간격 시각 k 내지 시각 k+T에 걸쳐서 양호한 것으로 라벨링된다.

결과적으로, 인간 운전자의 수행 능력은 교통 및 환경 조건에 관한 관련 정보를 고려하는 방식으로 평가될 수 있다.

다양한 다른 기준, 계산, 및 분석, 그리고 이들의 조합이 인간 운전자의 수행 능력에 관한 하나 이상의 결론의 기초를 형성할 수 있다.

일부 구현에서, 차량 내 디스플레이는 전술한 방법에 의해 식별된 양호한 주행 수행 능력 및 나쁜 주행 수행 능력과 관계된 경보를 운전자에게 제공한다. 위에서 설명한 메트릭들과 관계되고 위에서 설명한 개별적 성능 메트릭 분석으로부터 도출되는 특정의 식별된 운전 오류에 대해 나쁜(또는 양호한) 주행 수행 능력 또는 두 가지 모두에 대한 경보(또는 칭찬)가 차량 내 디스플레이상에 표시될 수 있다.

디스플레이의 일부 구현에서, 특정의 식별된 주행 오류가 저질러지면, 이해하기 쉬운 아이콘들 또는 다른 표시기들, 예를 들어, 색칠된 적색이 표시될 수 있다. 예를 들어, 운전자가 양보 신호에 양보하기를 실패하면, 적색 양보 사인이 차량 내 디스플레이상에 표시될 수 있다.

또한, 위에 설명한 합산된 성능 메트릭 분석과 관계된 통상적인 "어떻게 운전하고 있습니까?" 표시기가 차량 내 디스플레이상에 표시될 수 있다. 디스플레이의 일 실시예에서, 표현 범위가 운전 수행 능력이 가변적일 때 표시될 수 있음에 따라, 운전 수행 능력이 양호할 때 행복한 얼굴이 표시될 수 있고, 운전 수행 능력이 나쁠 때 슬픈 얼굴이 표시될 수 있다.

계산된 운전자 성능 메트릭들은 또한 중앙 집중식 데이터 저장 리포지토리에 무선으로 전송될 수 있다. 또 다른 프로세스가 이들 메트릭들을 인증되고 인가된 사용자들에게 분배한다.

본 발명자들이 설명한 시스템 및 기술을 구현하기 위해 다양한 컴퓨터 시스템, 하드웨어, 펌웨어, 센서, 네트워크, 소프트웨어, 및 디바이스를 사용할 수 있다.

예를 들어, 본 발명자들이 참조한 메모리는 프로세서가 사용하는 프로그램 명령어들과 데이터를 저장할 수 있다. 메모리는 랜덤 액세스 메모리 및 판독 전용 메모리의 적절한 조합일 수 있고, 적절한 프로그램 명령어들(예를 들어, 펌웨어 또는 운영체제 소프트웨어)과, 구성 및 운영체제 데이터를 호스팅할 수 있으며, 파일 시스템으로서 조직되거나 이와는 달리 조직될 수 있다. 저장된 프로그램 명령어들은 하나 이상의 사용자를 인증하기 위한 하나 이상의 인증 프로세스를 포함할 수 있다. 패널의 메모리에 저장되는 프로그램 명령어들은 네트워크 통신 및 데이터 네트워크에의 접속 확립을 허용하는 소프트웨어 컴포넌트를 저장할 수 있다. 소프트웨어 컴포넌트는, 예를 들어 인터넷 프로토콜(IP) 스택뿐만 아니라 다양한 인터페이스용 드라이버 컴포넌트를 포함할 수 있다. 접속을 설정하고 네트워크를 통해 통신하기에 적합한 다른 소프트웨어 컴포넌트는 본 기술분야의 통상의 기술자에게 명백할 것이다.

메모리에 저장되는 프로그램 명령어들은 구성 데이터와 함께, 시스템의 전체 동작을 제어할 수 있다. 서버 컴퓨터 시스템은 하나 이상의 처리 디바이스(예를 들어, 마이크로프로세서), 네트워크 인터페이스 및 메모리를 포함할 수 있다.

본 발명자들이 설명한 프로세스들의 전부 또는 일부 및 다양한 수정이, 적어도 부분적으로 컴퓨터 프로그램 제품, 즉 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다중 컴퓨터에 의한 실행을 위해, 또는 그 동작을 제어하기 위해 컴퓨터 및/또는 머신 판독가능 저장 디바이스들인 하나 이상의 유형의 물리적 하드웨어 저장 디바이스들에 유형적으로 구체화된 컴퓨터 프로그램을 사용하여 구현될 수 있다. 컴퓨터 프로그램은 컴파일링되거나 인터프리팅된 언어를 비롯한 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 자립형 프로그램으로서, 또는 컴퓨팅 환경에서 사용하기에 적합한 모듈, 컴포넌트, 서브루틴, 또는 다른 유닛으로서 배치되는 것을 비롯하여 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터에서, 또는 하나의 사이트에 있거나 다수의 사이트들에 걸쳐 분산되고 네트워크에 의해 상호접속되는 다중 컴퓨터들에서 실행되도록 배치될 수 있다.

프로세스들을 구현하는 것과 연관된 작용들은 하나 이상의 프로그램가능 프로세서가 하나 이상의 컴퓨터 프로그램을 실행하여 교정 프로세스의 함수들을 수행하는 것에 의해 수행될 수 있다. 프로세스의 모두 또는 일부는 특수 목적 로직 회로, 예를 들어, FPGA(field programmable gate array) 및/또는 ASIC(application-specific integrated circuit)으로서 구현될 수 있다.

컴퓨터 프로그램을 실행하는데 적합한 프로세서는, 예를 들어, 범용 및 특수 목적 마이크로프로세서들 양자 모두, 및 임의의 종류의 디지털 컴퓨터 중 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 저장 영역 또는 랜덤 액세스 저장 영역 또는 양쪽 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터(서버를 포함함)의 요소들은 명령어들을 실행하기 위한 하나 이상의 프로세서 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 저장 영역 디바이스를 포함한다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 대용량 저장 디바이스들, 예를 들어, 자기, 광자기 디스크, 또는 광 디스크들과 같은, 하나 이상의 머신 판독가능 저장 매체를 포함하거나, 또는 그로부터 데이터를 수신하거나, 그것에 데이터를 전송하거나, 또는 양쪽 모두를 수행하도록 동작가능하게 결합될 것이다.

컴퓨터 프로그램 명령어들 및 데이터를 구현하기에 적합한 유형의 물리적 하드웨어 저장 디바이스들은 예로서, 반도체 저장 영역 디바이스들, 예를 들어, EPROM, EEPROM, 및 플래시 저장 영역 디바이스들; 자기 디스크들, 예를 들어, 내장 하드 디스크들 또는 착탈식 디스크들; 광자기 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는, 모든 형태의 비휘발성 스토리지, 및 휘발성 컴퓨터 메모리, 예를 들어, 정적 및 동적 RAM과 같은 RAM뿐만 아니라, 소거 가능 메모리, 예를 들어, 플래시 메모리를 포함한다.

또한, 도면들에 묘사된 처리들은 바람직한 결과들을 달성하기 위해, 도시된 특정한 순서, 또는 순차적인 순서를 반드시 요구하지는 않는다. 또한, 다른 작용들이 제공될 수 있거나, 또는 설명된 처리들로부터, 작용들이 제거될 수 있고, 다른 컴포넌트들이 설명된 시스템들에 추가되거나, 그로부터 제거될 수 있다. 마찬가지로, 도면에 묘사된 작용들은 상이한 엔티티들에 의해 수행되거나 통합될 수 있다.

본 발명자들이 설명한 실시예의 요소들은 앞에서 구체적으로 제시되지 않은 다른 실시예를 형성하기 위해 조합될 수 있다. 요소들은 자신의 동작에 악영향을 미치지 않고서 프로세스, 컴퓨터 프로그램, 웹 페이지 등에서 생략될 수 있다. 또한, 설명된 기능을 수행하기 위해 다양한 개별 요소가 하나 이상의 개별 요소가 되도록 조합될 수 있다.

다른 구현들도 이하의 청구항들의 범위 내에 든다.

Claims (20)

1. 방법으로서,
   주어진 시간에 차량의 후보 궤적들의 유한 집합을 생성하는 것 - 후보 궤적들의 상기 유한 집합의 상기 생성은 상기 차량의 위치 및 상기 주어진 시간에서 후보 궤적들 각각에 대해 주어진 제어 정책에 대한 상기 차량의 예상 응답들을 모델링(modeling)하는 것을 포함함 -,
   상기 주어진 제어 정책과 상기 후보 궤적들과 연관된 비용에 기초하여, 후보 궤적들의 상기 유한 집합의 상기 후보 궤적들 중에서 추정된 최적 궤적을 선택하는 것 - 상기 비용은 비용 규칙의 우선 순위와, 상기 우선순위를 가지는 비용 규칙들의 위반 비용의 집계에 대응하는 하나 이상의 값들로 표현됨 -, 및
   상기 선택된 추정된 최적 궤적과 연관된 제어 정책을 적용하여, 상기 차량의 제어와 관련된 동작을 일으키는 것을 포함하는 작용들에 의해 상기 차량의 제어와 관련되는 상기 동작을 일으키는 단계를 포함하는 방법.
2. 제1항에 있어서, 상기 제어 정책 각각은 조향, 제동, 또는 스로틀 커맨드 중 적어도 하나를 결정하는 방법.
3. 제1항에 있어서, 상기 차량의 가능한 궤적들의 공간은 후보 궤적들의 상기 생성된 유한 집합에 의해 충분히 커버되어 상기 추정된 최적 궤적이 최적 궤적에 임의로 근접하는 방법.
4. 제1항에 있어서, 후보 궤적들의 상기 유한 집합에 하나 이상의 제약 조건을 적용하는 단계를 더 포함하는 방법.
5. 제1항에 있어서, 상기 후보 궤적들을 유향 그래프(directed graph)의 에지(edge)들로서 나타내는 단계를 더 포함하는 방법.
6. 제1항에 있어서, 주어진 시간 기간 동안 상기 차량의 실제 궤적을 모니터링하는 단계를 더 포함하는 방법.
7. 제6항에 있어서, 상기 주어진 시간 기간 동안 상기 추정된 최적 궤적을 상기 차량의 상기 실제 궤적과 비교하는 단계를 더 포함하는 방법.
8. 제1항에 있어서, 상기 차량의 제어와 관련된 상기 동작을 일으키는 것은 운전자의 수행 능력을 모니터링하는 것을 포함하는 방법.
9. 제8항에 있어서, 상기 운전자의 수행 능력의 상기 모니터링 결과를 보고하는 단계를 더 포함하는 방법.
10. 제8항에 있어서, 하나 이상의 성능 메트릭에 기초하여 상기 운전자의 수행 능력을 평가하는 단계를 더 포함하는 방법.
11. 제8항에 있어서, 사고 발생 가능성을 평가하는 단계를 더 포함하는 방법.
12. 제1항에 있어서, 상기 차량의 제어와 관련된 상기 동작을 일으키는 것은 상기 차량을 자율 주행시키는 것을 포함하는 방법.
13. 제1항에 있어서, 주어진 궤적과 연관된 비용은 상기 차량의 상태와 환경의 상태 사이의 상호 작용과 연관된 비용에 기초하는 방법.
14. 제1항에 있어서, 상기 선택된 추정된 최적 궤적은 상기 차량의 속력과 방향 둘 모두와 연관된 방법.
15. 제1항에 있어서, 상기 추정된 최적 궤적을 선택하는 것은 상기 후보 궤적들이 에지들을 포함하는 유향 그래프를 통해 최소 비용 경로를 결정하는 것을 포함하는 방법.
16. 자율 주행 차량으로서,
    상기 자율 주행 차량으로 하여금, 비용 규칙들과 일치하는 방식으로 최적 궤적의 적어도 일부를 트래버스(traverse)하도록 야기하게 구성된 제어가능한 디바이스들,
    상기 최적 궤적에 따라 상기 제어가능한 디바이스들에게 커맨드를 제공하도록 구성된 제어기, 및
    계산 요소를 포함하고,
    상기 계산 요소는,
    주어진 시간에 상기 차량의 후보 궤적들의 유한 집합을 생성하는 것 - 후보 궤적들의 상기 유한 집합의 상기 생성은 상기 차량의 위치 및 상기 주어진 시간에서 후보 궤적들 각각에 대해 주어진 제어 정책에 대한 상기 차량의 예상 응답들을 모델링(modeling)하는 것을 포함함 -,
    상기 주어진 제어 정책과 상기 후보 궤적들과 연관된 비용에 기초하여, 후보 궤적들의 상기 유한 집합의 상기 후보 궤적들 중에서 추정된 최적 궤적을 선택하는 것 - 상기 비용은 비용 규칙의 우선 순위와, 상기 우선순위를 가지는 비용 규칙들의 위반 비용의 집계에 대응하는 하나 이상의 값들로 표현됨 -, 및
    상기 최적 궤적과 연관된 제어 정책을 적용하여, 상기 차량의 제어와 관련된 동작을 일으키는 것을 포함하는 작용들에 의해, 상기 자율 주행 차량의 제어와 관련되는 상기 동작을 상기 제어가능한 디바이스들을 통해 일으키도록 구성되는 자율 주행 차량.
17. 제16항에 있어서, 상기 제어 정책 각각은 조향, 제동, 또는 스로틀 커맨드 중 적어도 하나를 결정하는 자율 주행 차량.
18. 제16항에 있어서, 상기 차량의 가능한 궤적들의 공간은 후보 궤적들의 상기 생성된 유한 집합에 의해 충분히 커버되어 상기 추정된 최적 궤적이 최적 궤적에 임의로 근접하는 자율 주행 차량.
19. 제16항에 있어서, 상기 작용들은 후보 궤적들의 상기 유한 집합에 하나 이상의 제약 조건을 적용하는 것을 더 포함하는 자율 주행 차량.
20. 제16항에 있어서, 상기 작용들은 상기 후보 궤적들을 유향 그래프의 에지들로서 나타내는 것을 더 포함하는 자율 주행 차량.

Images