KR102029638B1

KR102029638B1 - 자율 주행 차량들을 위한 물체들의 주행 가능성 결정하기

Info

Publication number: KR102029638B1
Application number: KR1020197002538A
Authority: KR
Inventors: 데이비드 이안 프랭클린 퍼거슨; 안드레아스 웬델; 즈난 쉬; 데이비드 해리슨 실버; 브랜든 더글라스 루더스
Original assignee: 웨이모 엘엘씨
Priority date: 2016-07-26
Filing date: 2017-07-20
Publication date: 2019-10-07
Also published as: EP3490859B1; CA3031728A1; EP3490859A4; JP2019527428A; WO2018022409A1; AU2017302462B2; JP6691634B2; EP3490859A1; KR20190014114A; US10203696B2; CN109562759B; SG11201900246TA; CA3031728C; AU2017302462A1; US20180032078A1; CN109562759A

Abstract

본 개시 내용의 양태들은 차량을 조종하는 것에 관한 것이다. 일 예로서, 물체들의 세트를 식별하는 센서 정보뿐만 아니라 물체들의 세트의 각각의 물체에 대한 특성들의 세트가 차량(100)의 인지 시스템으로부터 수신된다. 물체들의 세트는 차량들, 자전거들, 및 보행자들에 대응하는 물체들을 제거하도록 필터링된다. 차량의 예상되는 장래 경로 내의 물체가 필터링된 물체들의 세트로부터 선택된다. 물체는 특성들의 세트에 기초하여 주행 가능하거나 주행 가능하지 않은 것으로 분류된다. 주행 가능한 것은 차량이 자신에게 손상을 야기하지 않고 물체를 넘어 주행할 수 있다는 것을 나타낸다. 차량은, 물체가 주행 가능한 것으로 분류될 때 차량을 조종하는 것이 차량의 예상되는 장래 경로를 변경하지 않음으로써 물체를 넘어 차량을 주행하는 것을 포함하도록 분류에 기초하여 조종된다.

Description

자율 주행 차량들을 위한 물체들의 주행 가능성 결정하기

관련 출원에 대한 교차 참조

본 출원은 2016년 7월 26일 출원된 미국 가특허 출원 제62/366,885호의 출원일의 이익을 주장하는 2016년 10월 13일에 출원된 미국 특허 출원 제15/292,818호의 계속 출원이며, 이들의 전체 개시 내용은 본 명세서에 참조에 의해 포함된다.

인간 주행자가 필요하지 않은 차량과 같은 자율 주행 차량이 하나의 위치로부터 다른 위치로의 승객 또는 물품의 운송을 돕기 위해 사용될 수 있다. 이러한 차량은, 승객이 목적지와 같은 일부 초기 입력을 제공할 수 있고, 차량이 그 목적지까지 그 자신을 조종하는 완전 자율 주행 모드에서 동작할 수 있다.

자율 주행 차량의 중요한 컴포넌트는 인지 시스템이며, 이 인지 시스템은 차량이 카메라들, 레이더, 센서들, 및 다른 유사한 디바이스들을 사용하여 그것의 주변들을 인지하고 해석하는 것을 허용한다. 인지 시스템은 자율 주행 차량이 가속, 감속, 정지, 회전 등과 같이 운동 상태에 있는 동안 수많은 결정을 실행한다. 자율 주행 차량은 또한 카메라, 센서 및 글로벌 포지셔닝 디바이스를 사용하여 예를 들어 주차된 자동차, 나무, 건물 등등인 그 주변 환경에 관한 이미지 및 센서 데이터를 수집하고 해석할 수 있다. 이러한 이미지와 센서 데이터는 차량으로 하여금 다양한 물체 주위로 그 자신을 안전하게 조종하도록 허용한다.

본 개시내용의 일 양태는 차량을 조종하는 방법을 제공한다. 방법은 하나 이상의 프로세서에 의해 차량의 인지 시스템으로부터 물체들의 세트를 식별하는 센서 정보뿐만 아니라 물체들의 세트의 각각의 물체에 대한 특성들의 세트를 수신하는 단계; 하나 이상의 프로세서에 의해, 물체들의 세트를 필터링하여, 차량들, 자전거들, 및 보행자들에 대응하는 물체들을 제거하는 단계; 하나 이상의 프로세서에 의해, 필터링된 물체들의 세트로부터, 차량의 예상되는 장래 경로 내의 물체를 선택하는 단계; 하나 이상의 프로세서에 의해, 특성들의 세트에 기초하여 물체를 주행 가능하거나 주행 가능하지 않은 것으로 분류하는 단계 - 주행 가능한 것은 상기 차량이 자신에게 손상을 주지 않고 물체를 넘어 주행할 수 있음을 표시함 -; 및 물체가 주행 가능한 것으로 분류될 때, 차량을 조종하는 것이 차량의 예상되는 장래 경로를 변경하지 않음으로써 물체를 넘어 차량을 주행하는 것을 포함하도록 하나 이상의 프로세서에 의해 분류에 기초하여 차량을 조종하는 단계를 포함한다.

일 예에서, 특성들의 세트는 물체의 위치를 포함하고, 방법은 분류 전에, 물체가 그 위치에서 차량의 주행 환경을 기술하는 미리 저장된 맵 정보에 포함되지 않았다고 결정하는 단계를 추가로 포함한다. 또 다른 예에서, 센서 정보의 수신은 분류 및 조종이 실시간으로 수행되도록 차량이 물체에 접근하고 있을 때 발생한다. 또 다른 예에서, 분류가 주행 가능하지 않은 것일 때, 차량을 조종하는 것은 물체를 통한 주행을 회피하기 위해 차량의 예상되는 장래 경로를 변경하는 것을 포함한다. 또 다른 예에서, 방법은 또한 물체가 주행 가능하지 않은 것으로 분류될 때, 물체를 주행 가능하지 않지만 길을 벗어나 이동할 가능성이 있는 것으로(또는 더 정확히 말하자면 차량의 예상되는 장래 경로의 길을 벗어나는 것으로) 분류하는 단계를 추가로 포함한다. 이 예에서, 물체가 주행 가능하지 않지만 길을 벗어나 이동할 가능성이 있는 것으로 분류될 때, 차량을 조종하는 것은 차량이 물체에 접근함에 따라 차량을 감속하는 것을 포함한다. 또 다른 예에서, 필터링하는 것은 차량이 현재 진행하고 있는 차선 내에 있지 않은 물체들을 제거하기 위해 물체들의 세트를 필터링하는 것을 추가로 포함한다. 또 다른 예에서, 필터링하는 것은 미리 결정된 높이 임계값을 충족하는 높이를 갖는 물체들을 제거하기 위해 물체들의 세트를 필터링하는 것을 추가로 포함한다. 또 다른 예에서, 필터링하는 것은 미리 결정된 형상을 갖는 물체들을 제거하기 위해 물체들의 세트를 필터링하는 것을 추가로 포함한다.

본 개시 내용의 또 다른 양태는 차량을 조종하기 위한 시스템을 제공한다. 시스템은 차량의 인지 시스템으로부터 물체들의 세트를 식별하는 센서 정보뿐만 아니라 물체들의 세트의 각각의 물체에 대한 특성들의 세트를 수신하고; 차량들, 자전거들, 및 보행자들에 대응하는 물체들을 제거하기 위해 물체들의 세트를 필터링하고; 필터링된 물체들의 세트로부터, 차량의 예상되는 장래 경로 내의 물체를 선택하고; 특성들의 세트에 기초하여 물체를 주행 가능하거나 주행 가능하지 않은 것으로 분류하고 - 주행 가능한 것은 차량이 자신에 대해 손상을 주지 않고 물체를 넘어 주행할 수 있다는 것을 표시함 -; 및 물체가 주행 가능한 것으로 분류될 때, 차량을 조종하는 것이 차량의 예상되는 장래 경로를 변경하지 않음으로써 물체를 넘어 차량을 주행하는 것을 포함하도록 분류에 기초하여 차량을 조종하도록 구성되는 하나 이상의 프로세서를 포함한다.

일 예에서, 시스템은 또한 차량을 포함한다. 또 다른 예에서, 특성들의 세트는 물체의 위치를 포함하고, 하나 이상의 프로세서는, 분류 전에, 물체가 그 위치에서 차량의 주행 환경을 기술하는 미리 저장된 맵 정보에 포함되지 않았다고 결정하도록 추가로 구성된다. 또 다른 예에서, 하나 이상의 프로세서는, 센서 정보의 수신이 차량이 물체에 접근하고 있을 때 발생할 때, 분류 및 조종이 실시간으로 수행되도록 추가로 구성된다. 또 다른 예에서, 분류가 주행 가능하지 않은 것일 때, 하나 이상의 프로세서는 물체를 통한 주행을 회피하기 위해 차량의 예상되는 장래 경로를 변경함으로써 차량을 조종하도록 추가로 구성된다. 또 다른 예에서, 물체가 주행 가능하지 않은 것으로 분류될 때, 하나 이상의 프로세서는 물체를 주행 가능하지 않지만 길을 벗어날 이동할 가능성이 있는 것으로 추가로 분류하도록 추가로 구성된다. 이 예에서, 물체가 주행 가능하지 않지만 길을 벗어나 이동할 가능성이 있는 것으로 분류될 때, 하나 이상의 프로세서는 차량이 물체에 접근함에 따라 차량을 감속하기 위해 차량을 조종하도록 추가로 구성된다. 이 예에서, 하나 이상의 프로세서는 차량이 현재 진행하고 있는 차선 내에 있지 않은 물체들을 또한 제거함으로써 물체들의 세트를 필터링하도록 추가로 구성된다. 또 다른 예에서, 하나 이상의 프로세서는 미리 결정된 높이 임계값을 충족하는 높이를 갖는 물체들을 또한 제거함으로써 물체들의 세트를 필터링하도록 추가로 구성된다. 또 다른 예에서, 하나 이상의 프로세서는 미리 결정된 형상을 갖는 물체들을 또한 제거함으로써 물체들의 세트를 필터링하도록 추가로 구성된다.

본 개시 내용의 추가 양태는 명령어들이 저장되는 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다. 명령어들은, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 차량을 조종하기 위한 방법을 수행하게 야기한다. 방법은, 차량의 인지 시스템으로부터, 물체들의 세트를 식별하는 센서 정보뿐만 아니라 물체들의 세트의 각각의 물체에 대한 특성들의 세트를 수신하는 단계; 차량들, 자전거들 및 보행자들에 대응하는 물체들을 제거하기 위해 물체들의 세트를 필터링하는 단계; 필터링된 물체들의 세트로부터, 차량의 예상되는 장래 경로 내의 물체를 선택하는 단계; 특성들의 세트에 기초하여 물체를 주행 가능하거나 주행 가능하지 않은 것으로 분류하는 단계 - 주행 가능한 것은 차량이 자신에게 손상을 주지 않고 물체를 넘어 주행할 수 있다는 것을 표시함 -; 및 물체가 주행 가능한 것으로 분류될 때, 차량을 조종하는 것이 차량의 예상되는 장래 경로를 변경하지 않음으로써 물체를 넘어 차량을 주행하는 것을 포함하도록 분류에 기초하여 차량을 조종하는 단계를 포함한다.

도 1은 본 개시 내용의 양태들에 따른 예시적인 차량의 기능도이다.
도 2는 본 개시 내용의 양태들에 따른 미리 저장된 맵 정보의 예시적인 표현이다.
도 3a 내지 도 3d는 본 개시 내용의 양태들에 따른 차량의 예시적인 외부 뷰들이다.
도 4는 예시적인 실시예에 따른 예시적인 시스템의 기능도이다.
도 5는 본 개시 내용의 양태들에 따른 도 6의 시스템의 그림 도면이다.
도 6은 본 개시 내용의 양태들에 따른 예시적인 상황이다.
도 7은 본 발명의 양태들에 따른 흐름도이다.

본 기술은 차량의 환경에서 물체들을 검출하고 식별하는 자율 주행 차량들을 위한 인지 시스템들에 관한 것이다. 물체들을 검출하고 식별하는 것은 이러한 시스템들에 대한 전형적인 활동이지만, 이러한 시스템들이 차량이 사고를 피하기 위해 그 주위로 주행해야만 하는 물체들과 차량이 그 주위로 주행할 필요가 없고 실제로 통과하여 주행할 수 있는 물체들 사이를 구별하는 것은 어려울 수 있다. 예를 들어, 종이, 플라스틱 백, 잎 등과 같은 물체들(매우 용이하게 주행될 수 있지만 그 위로 주행하지 말아야 함), 낮고 작은 조각의 고철 금속(차량의 전방 2개의 바퀴 사이에서와 같이 차량의 2개의 바퀴 사이에 걸쳐 있는 경우에 그를 넘어서 주행될 수 있음)과 같은 물체들, 다람쥐, 새, 북미산 다람쥐 등과 같은 작은 동물들(이것들은 그 스스로 길을 벗어나 이동할 가능성이 있음), 벽돌, 콘크리트, 또는 다른 파편들과 같은 물체들(이것들은 만일 그를 넘어 주행된다면 차량에 손상을 줄 수도 있음) 중에서 구별하는 것은 어려울 수 있다. 결과적으로, 자율 주행 차량들은 종종, 단순히 주행될 수 있는 차선들을 변경하거나 갑자기 방향을 바꿈으로써 물체들에 대해 갑자기 정지하거나 또는 물체들 주위로 주행한다. 물체들의 "주행 가능성(drivability)"을 결정하고 그를 넘어 주행될 수 있는 물체들과 그럴 수 없는 (또는 그래서는 안 되는) 물체들을 구별함으로써, 이러한 조종이 회피될 수 있고 차량의 전체적 안전성이 개선될 수 있다.

앞서 살펴본 바와 같이, 차량의 인지 시스템은 물체들 및 그들의 특성들을 검출하기 위해 LIDAR, 소나, 레이더, 카메라 등과 같은 다양한 센서들을 사용할 수 있다. 이러한 특성들은, 예를 들어 위치, 치수, 운동 방향, 속도, 형상, 밀도, 반사율, 강도, 질감 등을 포함할 수 있다. 따라서, 차량의 컴퓨팅 디바이스는 다양한 센서에 의해 검출되는 물체들에 대응하는 센서 정보뿐만 아니라 그들의 특성을 사용할 수 있다. 이와 관련하여, 센서 정보는 미가공 센서 데이터 또는 기술적 함수 또는 벡터와 같은 특성을 기술하는 다른 정보를 포함할 수 있다.

자율 주행 차량들은 차량 환경의 특징들을 기술하는 미리 저장된 맵 정보와 함께 인지 시스템으로부터 수신되는 정보에 의존할 수 있다. 예를 들어, 맵 정보는 도로 표면, 차선 마커, 연석(curb), 횡단 보도 등과 같은 도로 특징들의 형상 및 방향을 기술할 수 있다. 그러나, 미리 저장된 맵 정보는 다른 차량 또는 도로상 파편과 같은 일시적인 특징을 포함하지 않을 것이다.

차량의 컴퓨터 시스템들은 검출된 물체들을 주행 가능하거나 주행 가능하지 않은 것으로 분류하도록 훈련된 분류기를 포함할 수 있다. 예를 들어, 분류기는 분류기에게 센서 정보뿐만 아니라 분류(주행 가능하거나 주행 가능하지 않음)를 포함하는 시드 데이터를 제공함으로써 훈련될 수 있다. 이 분류는 차량 또는 임의의 검출된 차량들이 물체를 넘어 주행하였는지를 평가함으로써 자동적으로 또는 수동으로 생성될 수 있다. 머신 러닝 기술을 사용하여, 시간이 지남에 따라 분류기에게 더 많은 정보가 제공될수록, 분류 결과에서의 정확도가 더 커진다.

차량이 조종되고 인지 시스템이 차량 환경에서의 물체들을 검출함에 따라, 미리 저장된 맵 정보에 포함되지 않거나 미리 저장된 맵 정보에 의해 다른 식으로 식별되지 않은 검출된 물체에 대한 센서 정보가 분류기로의 입력으로서 사용될 수 있다. 물체들의 불필요한 분류를 추가로 제한하기 위해, 분류기는, 차량과 동일한 차선에 있는 또는 그 의도된 경로 근처에 있는 물체들, 즉 차량이 현재 루트 또는 궤적을 계속할 경우 차량이 잠재적으로 그를 넘어 주행할 수 있는 물체들, 사람, 자전거 타는 사람, 다른 차량 등이 아니라고 결정되거나 그런 것일 가능성이 거의 없는 것으로 결정되는 물체들에 대한 것과 같이, 미리 필터링된 물체들에 대한 센서 정보를 받을 수 있다. 유사하게, 분류기는 또한 기하 구조 및/또는 크기만에 기초해서 볼 때 주행 가능성이 명확하지 않은 물체들에 대한 센서 정보만을 받을 수 있다. 예를 들어, 물체가 매우 크면 (예를 들어, 범퍼 높이에 근접하는 것과 같음), 차량이 그것을 넘어 주행하기를 원할 것 같지는 않다.

이어서, 분류기는 실시간으로 특정 물체의 주행 가능성을 분류하거나, 또는 더 정확히 말하자면 물체가 차량이 그를 넘어 주행하는데에 안전할 정도로 주행 가능한지의 여부에 대한 결정을 내릴 수 있다. 각각의 분류는 물체가 차량이 그를 넘어 주행하는데에 안전할지의 가능성을 나타내는 신뢰도 값을 제공받을 수 있다. 이 신뢰도 값은 물체가 주행 가능하거나 주행 가능하지 않은 것으로 분류될 것인지를 결정하기 위해 임계값과 비교될 수 있다.

이어서, 분류기는 차량을 제어하기 위해 사용될 수 있다. 예를 들어, 예로서, 물체가 주행 가능한 것으로 식별되면, 차량은 물체를 넘어 주행하도록 나아갈 수 있다. 대안적으로, 물체가 주행 가능하지 않은 것으로 분류되는 경우, 차량은 정지하거나 물체 주위를 돌아갈 수 있다. 앞서 유의한 바와 같이, 물체들의 주행 가능성을 분류함으로써, 예를 들어 플라스틱 백 또는 다른 유사한 파편을 피하기 위한 불필요한 조종 또는 정지가 회피될 수 있다. 이는 차량으로 하여금 (예를 들어 급격히 정지하는 것과는 대조적으로 물체를 넘어 주행하기 전에 점차적으로 감속하는 것과 같이) 물체에 대한 더 매끄러운 응답들을 가지도록 허용하고, 그에 의해 갑작스럽고 예상치 못한 정지들에 의해 야기되는 다른 차량들과의 사고의 가능성을 감소시킬 수 있다. 어떤 면에서는, 이는 차량으로 하여금 이것이 독립적인 컴퓨팅 디바이스가 아니라 인간 주행자에 의해 제어되고 있는 것처럼 거동하는 것을 허용한다. 이는 다른 차량들의 주행자들이 차량을 인식하는 방식에 영향을 미칠 수 있다. 예를 들어, 주행자가 플라스틱 백을 보는 경우, 그는 차량이 급격히 정지하는 것이 아니라 그것을 넘어 주행해 나갈 것을 예상한다. 또한, 이러한 이점들은 차량 내의 임의의 승객들에게 적용될 수 있어서, 이들은 더 편안하고 스트레스가 덜한 승차를 허용한다.

예시적인 시스템들

도 1에 도시된 바와 같이, 본 개시 내용의 일 양태에 따른 차량(100)은 다양한 컴포넌트를 포함한다. 본 개시 내용의 특정 양태는 특정 유형의 차량과 관련하여 특히 유용하지만, 차량은 자동차, 트럭, 오토바이, 버스, 레크리에이션 차량 등을 포함하지만 이것들에만 제한되지는 않는 임의 유형의 차량일 수 있다. 차량은 하나 이상의 프로세서(120), 메모리(130) 및 범용 컴퓨팅 디바이스에 전형적으로 존재하는 다른 컴포넌트를 포함하는 컴퓨팅 디바이스(110)와 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다.

메모리(130)는 프로세서(120)에 의해 실행되거나 또는 다른 방식으로 사용될 수 있는 명령어들(132) 및 데이터(134)를 포함하여, 하나 이상의 프로세서(120)에 의해 접근 가능한 정보를 저장한다. 메모리(130)는 컴퓨팅 디바이스 판독 가능 매체, 또는 다른 기입 가능 및 판독 전용 메모리들뿐만 아니라, 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광학 디스크들과 같이, 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체를 포함하여, 프로세서에 의해 접근 가능한 정보를 저장할 수 있는 임의 유형의 것이 될 수 있다. 시스템 및 방법은 전술한 것의 상이한 조합들을 포함할 수 있고, 그에 따라서, 명령어들 및 데이터의 다양한 부분들이 다양한 유형의 매체상에 저장된다.

데이터(134)는 명령어들(132)에 따라서 프로세서(120)에 의해 검색, 저장 또는 수정될 수 있다. 데이터(134)는 아래에 더 상세히 논의되는 바와 같이 물체들의 주행 가능성에 관한 결정을 하기 위해 컴퓨팅 디바이스에 의해 사용될 수 있는 하나 이상의 임계값을 포함할 수 있다.

명령어들(132)은 프로세서에 의해 (기계어 코드와 같이) 직접적으로 실행될 또는 (스크립트들과 같이) 간접적으로 실행될 명령어들의 임의의 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독 가능 매체상에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 이와 관련하여, 용어 "명령어들" 및 "프로그램들"은 본 명세서에서 교환가능하게 사용될 수 있다. 명령어들은, 프로세서에 의한 직접 처리를 위한 오브젝트 코드 형식, 또는 요구에 따라 인터프리팅되거나 미리 컴파일링되는 독립적인 소스 코드 모듈의 스크립트 또는 모음을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 명령어들의 기능, 방법, 및 루틴이 이하에서 더 상세하게 설명된다.

예로서, 명령어들은 검출된 물체들을 주행 가능하거나 주행 가능하지 않은 것으로 분류하도록 훈련된 분류기를 포함할 수 있다. 예를 들어, 분류기는 분류기에게 센서 정보뿐만 아니라 분류를 포함하는 시드 데이터(seed data)를 제공함으로써 훈련될 수 있다. 예로서, 분류는 매우 간단할 수 있는데, 예를 들어 주행 가능하거나 또는 주행 가능하지 않다는 (차량에 대한 손상 또는 승객에 대한 부상을 야기할 수 있다는) 2진 지정과 같은 것, 또는 더 복잡하게는, 주행 가능하거나, (낮은 프로필을 갖는 물체와 같이) 차량의 바퀴들 사이에 걸쳐 있는 경우 주행 가능하거나, 주행 가능하지 않거나, 및 주행 가능하지 않지만 (작은 동물과 같이) 그 자체로 이동할 가능성이 있다는 지정과 같은 것일 수 있다. 시드 데이터는 센서 정보를 제공받을 때 분류를 출력할 분류기의 모델을 "훈련"하거나 구성하기 위해 사용될 수 있다.

이 분류는 차량 또는 임의의 검출된 차량들이 물체를 넘어 주행하였는지를 평가함으로써 자동적으로 또는 수동으로 생성될 수 있다. 예를 들어, 인간 주행자를 갖거나 갖지 않는 차량이 도로에서 물체를 넘어 주행하는 것으로 관찰되었다면, 해당 물체 또는 더 적절히 말하자면 해당 물체에 대한 센서 정보는 주행 가능한 것으로 분류될 수 있다. 이러한 관찰들 중 일부에서, 물체를 넘어 주행하는 관찰된 차량이 관찰된 차량의 바퀴들 사이에 물체를 걸치게 하기 위해 그 자신을 조종한다면, 물체가 차량의 바퀴들 사이에 걸쳐 있다면 물체는 주행 가능한 것으로 분류될 수 있다. 인간 주행자를 갖거나 갖지 않는 차량이 감속하거나, 차선을 변경하거나, 또는 다른 방식으로 물체 주위를 움직임으로써 도로에서 물체를 피하는 것으로 관찰되었다면, 물체 또는 더 적절히 말하자면 해당 물체에 대한 센서 정보는 주행 가능하지 않은 것으로 분류될 수 있다. 또 다른 예에서, 차량이 물체에 접근함에 따라 물체가 차량의 진로를 벗어나 이동하는 것으로 관찰된 경우, 해당 물체는, 예를 들어, 작은 동물과 같이, 접근하는 차량의 경로로부터 그 스스로 멀리 이동할 가능성이 있는 것으로 분류될 수 있다.

대다수의 경우에, 물체의 유형은 분류와 관련될 수 있다. 예를 들어, 물체의 유형은 머신 러닝, 이미지 인식 등과 같은 임의의 공지된 분류 기술을 사용하여 결정될 수 있다. 그 다음, 유형은 물체의 주행 가능하거나 주행 가능하지 않은 분류를 결정하기 위해 분류기에 공급될 수 있다. 대안적으로, 이러한 분류들 내의 하위 분류들이 또한 물체의 유형에 대응하여 분류기에 의해 이루어질 수 있다. 예를 들어, 주행 가능한 것으로 분류된 물체의 경우, 물체는 종이, 플라스틱 백, 잎 등과 같은 주행 가능한 물체의 유형에 의해 추가로 분류될 수 있다. 유사하게, 주행 가능하지 않으나 그 스스로 길을 벗어나 이동하는 것으로 분류되는 물체의 경우에, 물체는 다람쥐, 새, 북미산 다람쥐 등으로 추가로 분류될 수 있다. 또 다른 예로서, 주행 가능하지 않다고 분류되는 물체의 경우에, 물체는, 주행 가능하지 않지만 그 스스로 길을 벗어나 이동할 가능성이 있는 것, 벽돌, 콘크리트, 기타 파편 등과 같이 주행 가능하지 않고 또한 그 스스로 길을 벗어나 이동할 가능성이 없는 것과 같이 임의 개수의 하위 분류로 추가로 분류될 수 있다.

새로운 센서 정보가 분류기에 의해 분류될 모델에 입력됨에 따라, 새로운 센서 정보의 물체들이 분류될 수 있다. 또한, 각각의 분류는 신뢰도 값과 연관될 것이다. 이 신뢰도 값은 실제 분류에 대한 정확도 추정치를 제공한다. 예를 들어, 센서 정보가 다람쥐의 형상, 높이 또는 다른 치수, 위치, 속력, 색상, 물체 유형 등과 같은 물체의 특성을 정의함에 따라 분류기에 대한 분류 지정에 의존하여, 분류기의 출력은 물체가 0.05 또는 5% 정도로 주행이 가능한 가능성이 있고, 0.95 또는 95% 정도로 주행이 가능하지 않은 가능성이 있고, 및 0.8 또는 80% 정도로 주행 가능하지 않지만 그 스스로 길을 벗어나 이동할 가능성이 있다는 것일 수 있다. 물론, 이것은 단지 예일 뿐이며, 물체들에 대한 신뢰도 값들은 분류기에 제공되는 센서 정보에 기초하여 변할 수 있다. 또한, 신뢰도 값들은 특정 스케일링 값, 예를 들어,-1 내지 0, 0-1, 1 내지 100, 0.00-1.0 등의 범위에 대응할 수 있는데, 임의의 수의 상이한 스케일링 값들이 사용될 수 있다.

머신 러닝 기술을 이용하여, 시간이 지남에 따라, 분류기에 더 많은 정보가 제공될수록, 분류 결과들에서의 정확도가 더 커지거나, 또는 더 적절하게 말하자면 분류들에 대한 신뢰도 값이 또한 증가할 수 있다. 딥 러닝, SVM(support vector machine) 모델, 결정 포레스트(decision forests), 캐스케이드 분류기와 같은 임의의 머신 러닝 분류 기법이 사용될 수 있다. 또한, 머신 러닝 기술은 이하에서 더 논의되는 바와 같이 추가적인 관찰들을 통합하는 것뿐만 아니라 미가공 센서 데이터로부터 식별되는 추출된 특징들과 조합되는 미가공 센서 데이터를 포함하는 센서 정보를 이용함으로써 시간이 지남에 따라 더욱 개선될 수 있다.

하나 이상의 프로세서(120)는 상용화된 CPU들과 같은 임의의 종래의 프로세서들일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어기반 프로세서와 같은 디바이스일 수 있다. 도 1이 컴퓨팅 디바이스(110)의 프로세서, 메모리, 및 다른 요소들을 동일한 블록 내에 있는 것으로 기능적으로 예시하지만, 프로세서, 컴퓨팅 디바이스, 또는 메모리는 동일한 물리적 하우징 내에 격납될 수 있거나 격납될 수 없는 다수의 프로세서, 컴퓨팅 디바이스들, 또는 메모리들을 실제로 포함할 수 있다는 것을 본 기술 분야의 통상의 기술자는 이해할 것이다. 일 예로서, 내부 전자 디스플레이(152)는 고 대역폭 또는 다른 네트워크 접속을 통해 컴퓨팅 디바이스(110)와 인터페이싱할 수 있는 자체 프로세서 또는 중앙 처리 유닛(CPU), 메모리 등을 갖는 전용 컴퓨팅 디바이스에 의해 제어될 수 있다. 일부 예들에서, 이 컴퓨팅 디바이스는 사용자의 클라이언트 디바이스와 통신할 수 있는 이용자 인터페이스 컴퓨팅 디바이스일 수 있다. 유사하게, 메모리는 컴퓨팅 디바이스(110)의 하우징과는 상이한 하우징 내에 위치되는 하드 드라이브 또는 다른 저장 매체일 수 있다. 그에 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 언급은 병렬로 동작할 수 있거나 동작할 수 없는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 모음에 대한 언급을 포함한다는 것을 이해할 것이다.

컴퓨팅 디바이스(110)는 전술된 프로세서 및 메모리와 같은 컴퓨팅 디바이스 뿐만 아니라 사용자 입력(150)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 다양한 전자 디스플레이들(예를 들어, 스크린을 가지는 모니터 또는 정보를 표시하도록 동작가능한 임의의 다른 전자 디바이스)과 관련하여 정상적으로 사용되는 모든 컴포넌트들일 수 있다. 본 예에서, 차량은 정보 또는 시청각 경험들을 제공하기 위해 내부 전자 디스플레이(152)뿐만 아니라 하나 이상의 스피커(154)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 캐빈 내에 위치될 수 있고 차량(100) 안의 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다. 내부 스피커들 이외에, 하나 이상의 스피커(154)는 차량(100) 외부의 대상들에게 가청 통지들을 제공하기 위해 차량상의 다양한 위치들에 배열된 외부 스피커들을 포함할 수 있다.

한 예에서, 컴퓨팅 디바이스(110)는 차량(100)에 통합된 자율 주행 컴퓨팅 시스템일 수 있다. 자율 주행 컴퓨팅 시스템은 차량의 다양한 컴포넌트와 통신할 수 있다. 예를 들어, 도 1로 돌아가면, 컴퓨팅 디바이스(110)는, 차량의 탑승자로부터의 지속적인 또는 주기적인 입력을 필요로 하거나 요구하지 않는 자율 주행 모드에서 메모리(130)의 명령어들(132)에 따라 차량(100)의 이동, 속력 등을 제어하기 위해 (차량의 제동을 제어하기 위한) 감속 시스템(160), (차량의 가속을 제어하기 위한) 가속 시스템(162), (바퀴들의 배향 및 차량의 방향을 제어하기 위한) 조향 시스템(164), (회전 신호들을 제어하기 위한) 시그널링 시스템(166), (차량을 어떤 위치 또는 물체들 주위로 내비게이트하기 위한) 내비게이션 시스템(168), (차량의 위치를 결정하기 위한) 포지셔닝 시스템(170), (차량의 환경에서 물체들을 검출하기 위한) 인지 시스템(172), 및 동력 시스템(174)(예를 들어, 배터리 및/또는 가스 또는 디젤 동력 엔진)과 같은 차량(100)의 다양한 시스템들과 통신 상태에 있을 수 있다. 다시금, 이들 시스템이 컴퓨팅 디바이스(110) 외부에 있는 것으로 도시되지만, 실제로, 이들 시스템은 차량(100)을 제어하기 위한 자율 주행 컴퓨팅 시스템으로서 컴퓨팅 디바이스(110)에 또한 통합될 수 있다.

인지 시스템(172)은 또한 다른 차량들, 도로 내의 장애물들, 교통 신호, 표지판, 나무 등과 같은 차량 외부의 물체들을 검출하기 위한 하나 이상의 컴포넌트를 포함한다. 차량이 자동차와 같은 소형 승용 차량인 경우, 자동차는 지붕 또는 다른 편리한 위치에 장착된 레이저 또는 다른 센서들을 포함할 수 있다. 예를 들어, 차량의 인지 시스템은 물체들 및 위치, 배향, 크기, 형상, 유형, 운동의 방향 및 속력 등과 같은 그들의 특성들을 검출하기 위해 LIDAR, 소나, 레이더, 카메라 등과 같은 다양한 센서를 이용할 수 있다.

따라서, 인지 시스템(172)은 센서들을 이용하여, 다양한 물체들 및 그들의 특성들을 식별하는, 위에서 논의된 센서 정보를 생성할 수 있다. 이러한 특성은, 예를 들어, 위치, 치수, 운동 방향, 속도, 형상, 밀도, 반사율, 강도, 질감, 유형 등을 포함할 수 있다. 예를 들어, 차량, 보행자 및 자전거 타는 사람과 같은 물체들은 인지 시스템의 레이저 또는 카메라 센서에 의해 캡처되는, 이들의 시각적 특성들(이미지 인식 기술을 이용함), 물리적 특성들(크기, 형상 등), 속력(차량(100)에 상대적인 또는 실제 속력), 및 위치(차선에, 횡단 보도에, 인도에 있는 등)로부터 쉽게 식별 가능할 수 있다. 물론, 동일한 사항이 도로에 출현할 수 있는 도로 파편, 작은 동물들, 또는 다른 그러한 물품들에 대해서는 사실이 아닐 수 있다. 이 센서 정보는 컴퓨팅 디바이스(110)에 송신되고 그에 의해 수신될 수 있다. 이와 관련하여, 센서 정보는 미가공 센서 데이터 및/또는 기술적 함수 또는 벡터와 같은 미가공 센서 데이터로부터 추출된 특성들을 기술하는 다른 정보를 포함할 수 있다.

차량(100)은 또한 인지 시스템(172)의 센서들을 포함한다. 예를 들어, 하우징(314)(도 3a 참조)은 360도 또는 보다 좁은 시야를 갖는 하나 이상의 레이저 디바이스 및 하나 이상의 카메라 디바이스를 포함할 수 있다. 하우징들(316 및 318)은 예를 들어 하나 이상의 레이더 및/또는 소나 디바이스를 포함할 수 있다. 인지 시스템의 디바이스들은 또한 후미등들/방향 지시등들(304) 및/또는 사이드 뷰 미러들(308)과 같은 전형적인 차량 컴포넌트들에 통합될 수 있다. 이러한 레이더, 카메라, 및 레이저 디바이스들 각각은 인지 시스템(172)의 일부로서 이들 디바이스로부터의 데이터를 처리하고 또한 센서 데이터를 컴퓨팅 디바이스(110)에 제공하는 처리 컴포넌트들과 연관될 수 있다.

컴퓨팅 디바이스(110)는 다양한 컴포넌트를 제어함으로써 차량의 방향 및 속력을 제어할 수 있다. 예를 들어, 컴퓨팅 디바이스(110)는 (아래에서 더 논의되는) 맵 정보 및 내비게이션 시스템(168)으로부터의 데이터를 이용하여 차량을 목적지 위치로 완전히 자율적으로 내비게이트할 수 있다. 컴퓨팅 디바이스(110)는 포지셔닝 시스템(170)을 사용하여 차량의 위치를 결정할 수 있고 인지 시스템(172)을 사용하여 위치에 안전하게 도달하기 위해 필요할 때 물체들을 검출하고 그에 응답할 수 있다. 이렇게 수행하기 위해, 컴퓨터(110)는 차량이 (예를 들어, 가속 시스템(162)에 의해 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴으로써) 가속하고, (예를 들어, 엔진에 공급되는 연료를 감소시키고, 기어를 변경함으로써, 및/또는 감속 시스템(160)에 의해 제동을 적용함으로써) 감속하고, (예를 들어, 조향 시스템(164)에 의해 차량(100)의 전륜 또는 후륜을 회전시킴으로써) 방향을 변경하고, 및 (예를 들어, 시그널링 시스템(166)의 회전 신호들을 점등함으로써) 이러한 변경들을 시그널링하게 야기할 수 있다. 따라서, 가속 시스템(162)과 감속 시스템(160)은 차량의 엔진과 그 바퀴들 사이의 다양한 컴포넌트를 포함하는 동력 전달 장치의 일부일 수 있다. 다시금, 이러한 시스템들을 제어함으로써, 컴퓨터(110)는 차량을 자율적으로 조종하기 위해 차량의 동력 전달 장치를 또한 제어할 수 있다.

한 예로서, 컴퓨팅 디바이스(110)는 차량의 속력을 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호작용할 수 있다. 유사하게, 조향 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다. 예를 들어, 승용차 또는 트럭과 같은 차량(100)이 도로상에서의 사용을 위해 구성되면, 조향 시스템은 차량을 회전시키기 위해 바퀴들의 각도를 제어하는 컴포넌트들을 포함할 수 있다. 시그널링 시스템(166)은, 예를 들어, 필요할 때 회전 신호들 또는 브레이크등을 점등함으로써 차량의 의도를 다른 주행자들 또는 차량들에 알리기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다.

내비게이션 시스템(168)은 한 위치로의 루트를 결정하고 따라가기 위해 컴퓨팅 디바이스(110)에 의해 사용될 수 있다. 이와 관련하여, 내비게이션 시스템(168) 및/또는 데이터(134)는 맵 정보, 예를 들어, 컴퓨팅 디바이스들(110)이 차량의 미리 저장된 맵 정보를 내비게이트하거나 제어하기 위해 사용할 수 있는 차량 환경의 예상되는 특징들을 기술하는 매우 상세한 맵들을 저장할 수 있다. 일 예로서, 이러한 맵들은 도로들, 차선 마커들, 교차로들, 횡단 보도들, 제한 속도, 교통 신호등들, 건물들, 표지판들, 실시간 교통 정보, 초목, 또는 다른 이러한 물체들과 정보의 형상 및 고도를 식별할 수 있다. 차선 마커는 실선 또는 점선의 복선 또는 단선 차선 라인들, 실선 또는 점선 차선 라인들, 반사기 등과 같은 특징을 포함할 수 있다. 하나의 주어진 차선은 차선의 경계를 정의하는 왼쪽 및 오른쪽 차선 라인들 또는 기타 차선 마커들과 연관될 수 있다. 따라서, 대부분의 차선들은 하나의 차선 라인의 좌측 에지 및 또 다른 차선 라인의 우측 에지에 의해 경계가 정해질 수 있다. 예를 들어, 맵 정보는 도로 표면, 차선 마커, 연석(curb), 횡단 보도 등과 같은 도로 특징들의 형상 및 배향을 기술할 수 있다. 그러나, 이 맵 정보는 다른 차량들 또는 도로상 파편과 같은 일시적인 특징을 포함하지 않을 것이다.

도 2는 교차로들(202 및 204)을 포함하는 도로 구간에 대한 맵 정보(200)의 예이다. 이 예에서, 맵 정보(200)는 차선 라인들(210, 212, 214), 교통 신호등들(220, 222), 횡단보도들(230), 인도들(240), 정지 표지판들(250, 252), 및 양보 표지판(260)의 형상, 위치, 및 다른 특성들을 식별하는 정보를 포함한다. 차량이 주행할 수 있는 영역들은 차량이 일반적으로 맵 정보에서의 다양한 위치들에서 진행해야 하는 위치 및 방향을 나타내는 하나 이상의 레일(rail)(270, 272, 및 274)과 연관될 수 있다. 예를 들어, 차량은 차선 라인들(210 및 212) 사이의 차선에서 주행할 때 레일(270)을 따라갈 수 있고, 교차로(204)에서 우회전하기 위해 레일(272)로 옮겨갈 수 있다. 그 후, 차량은 레일(274)을 따라갈 수 있다. 물론, 레일들의 수 및 속성을 고려할 때, 간략함과 이해의 용이함을 위해 맵 정보(200)에는 소수만이 묘사된다.

상세한 맵 정보가 이미지 기반 맵으로서 본 명세서에 묘사되어 있지만, 이러한 맵 정보는 전적으로 이미지 기반(예를 들어, 래스터)일 필요는 없다. 예를 들어, 상세한 맵 정보는 도로, 차선, 교차로, 및 이러한 특징들 간의 연결과 같은 정보의 하나 이상의 도로 그래프 또는 그래프 네트워크를 포함할 수 있다. 각각의 특징은 그래프 데이터로서 저장될 수 있으며 또한 지리적 위치 및 이것이 다른 관계된 특징에 링크되는지 여부, 예를 들어 정지 신호는 도로 및 교차로 등에 링크될 수 있는 것과 같은 정보와 연관될 수 있다. 몇몇 예들에서, 연관된 데이터는 특정 도로 그래프 특징들의 효율적인 룩업을 허용하기 위해 도로 그래프의 그리드 기반 인덱스들을 포함할 수 있다.

도 3a 내지 도 3d는 차량(100)의 외부 뷰들의 예들이다. 알 수 있는 바와 같이, 차량(100)은 헤드라이트(302), 앞유리(303), 후미등/회전 신호등(304), 뒷유리(305), 문(306), 사이드 뷰 미러(308), 타이어 및 바퀴(310), 및 회전 신호/주차등(312)과 같은 전형적인 차량의 많은 특징들을 포함한다. 헤드라이트(302), 후미등/회전 신호들(304), 및 회전 신호/주차등(312)은 시그널링 시스템(166)과 연관될 수 있다. 라이트 바(307)는 또한 시그널링 시스템(166)과 연관될 수 있다. 위에서 언급한 바와 같이, 차량(100)은 앞서 언급한 바대로 하나 이상의 스피커(154)에 대응하는, 차량의 외부 표면상에 배열된 다양한 스피커를 포함할 수 있다.

차량(100)의 하나 이상의 컴퓨팅 디바이스(110)는 또한, 예를 들어, 무선 네트워크 접속들(156)을 통해 다른 컴퓨팅 디바이스들로 및 그로부터 정보를 수신 또는 전송할 수 있다. 도 4 및 도 5는, 제각기, 네트워크(460)를 통해 접속되는 복수의 컴퓨팅 디바이스(410, 420, 430, 440) 및 저장 시스템(450)을 포함하는 예시적인 시스템(400)의 그림 및 기능도들이다. 시스템(400)은 또한 차량(100), 및 차량(100)과 유사하게 구성될 수 있는 차량(100A)을 포함한다. 간단히 하기 위해 단지 소수의 차량들 및 컴퓨팅 디바이스들만이 묘사되지만, 전형적인 시스템은 상당히 더 많은 것을 포함할 수 있다.

도 4에 도시된 바와 같이, 컴퓨팅 디바이스들(410,420,430,440) 각각은 하나 이상의 프로세서, 메모리, 데이터 및 명령어들을 포함할 수 있다. 이러한 프로세서들, 메모리들, 데이터 및 명령어들은 컴퓨팅 디바이스(110)의 하나 이상의 프로세서(120), 메모리(130), 데이터(134), 및 명령어들(132)과 유사하게 구성될 수 있다.

네트워크(460), 및 개재 노드들은 블루투스, 블루투스 LE와 같은 단거리 통신 프로토콜들, 인터넷, 월드 와이드 웹, 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사 전용 통신 프로토콜들을 이용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP, 및 전술한 것들의 다양한 조합들을 포함하는 다양한 구성들 및 프로토콜들을 포함할 수 있다. 이러한 통신은 모뎀들 및 무선 인터페이스들과 같이, 다른 컴퓨팅 디바이스들에 데이터를 전송하고 그로부터 데이터를 전송할 수 있는 임의의 디바이스에 의해 가능해질 수 있다.

일 예에서, 하나 이상의 컴퓨팅 디바이스(410)는 다른 컴퓨팅 디바이스들에 그리고 이들로부터 데이터를 수신하고, 처리하고, 전송하는 목적을 위해 네트워크의 상이한 노드들과 정보를 교환하는 복수의 컴퓨팅 디바이스를 갖는 서버, 예를 들어 로드 밸런싱 서버 팜(load balanced server farm)을 포함할 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(410)는 네트워크(460)를 통해 차량(100)의 하나 이상의 컴퓨팅 디바이스(110) 또는 차량(100A)의 유사한 컴퓨팅 디바이스뿐만 아니라 클라이언트 컴퓨팅 디바이스들(420, 430, 440)과 통신할 수 있는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 차량들(100 및 100A)은 서버 컴퓨팅 디바이스들에 의해 다양한 위치들에 디스패치될 수 있는 차량들의 무리들의 일부일 수 있다. 이와 관련하여, 무리의 차량들은 차량의 제각기 포지셔닝 시스템들에 의해 제공되는 서버 컴퓨팅 디바이스들 위치 정보를 주기적으로 송신할 수 있고, 하나 이상의 서버 컴퓨팅 디바이스는 차량들의 위치들을 추적할 수 있다. 또한, 사용자들이 시스템의 다양한 다른 컴퓨팅 디바이스들과 통신할 수 있게 하는 클라이언트 컴퓨팅 디바이스들(420,430,440)은 사용자들(422,432, 및 442)과 제각기 연관되거나 또는 그들에 의해 사용될 수 있다.

저장 시스템(450)은 앞서 논의한 분류기와 같은 다양한 유형의 정보를 저장할 수 있다. 이와 관련하여, 분류기는 예를 들어, 서버 컴퓨팅 디바이스들(410)을 이용하여 적어도 초기에 "오프라인"으로 훈련되고 또한 예를 들어, 네트워크(460)를 통해 또는(더 빠른 다운로드 속도들을 위해) 유선 접속을 통해 차량들(100 및 100A) 중 하나 또는 둘 다에 나중에 다운로드될 수 있다. 메모리(130)와 마찬가지로, 저장 시스템(450)은, 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기입 가능 및 판독 전용 메모리들과 같은, 서버 컴퓨팅 디바이스들(410)에 의해 액세스가능한 정보를 저장할 수 있는 임의의 유형의 컴퓨터화된 저장 장치일 수 있다. 또한, 저장 시스템(450)은 동일한 또는 상이한 지리적 위치들에 물리적으로 위치될 수 있는 복수의 상이한 저장 디바이스들상에 데이터가 저장되는 분산형 저장 시스템을 포함할 수 있다. 저장 시스템(450)은 도 4에 도시된 바와 같이 네트워크(460)를 통해 컴퓨팅 디바이스들에 접속될 수 있고 및/또는 컴퓨팅 디바이스들(110, 410, 420, 430, 440 등) 중 임의의 것에 직접 접속되거나 그에 통합될 수 있다.

예시적인 방법들

도면에 예시되고 앞서 설명한 동작 외에, 다양한 동작이 이제 설명될 것이다. 다음의 동작은 이하 설명되는 정확한 순서로 반드시 실행될 필요가 없다는 것을 이해해야 한다. 오히려, 다양한 단계들은 상이한 순서로 또는 동시에 다뤄질 수 있고, 단계들은 또한 추가 또는 생략될 수 있다.

컴퓨팅 디바이스(110)는 차량을 목적지 위치에의 경로를 따라 자율적으로 차량을 제어하기 위해 필요한 시스템들을 개시할 수 있다. 예를 들어, 내비게이션 시스템(168)은 데이터(134)의 맵 정보를 이용하여 맵 정보(200)의 연결된 레일들의 세트를 따르는 목적지 위치로의 루트 또는 경로를 결정할 수 있다. 이후, 컴퓨팅 디바이스(110)는 목적지로 향하는 루트를 따라 전술한 바와 같이 자율적으로 (또는 자율 주행 모드로) 차량을 조종할 수 있다. 그렇게 하기 위해, 차량의 컴퓨팅 디바이스(110)는 루트를 따른 차량들의 위치들, 속력들, 및 배향들을 식별하는 계획을 생성할 수 있다. 이들 위치, 속력 및 배향은 함께 차량의 예상되는 장래 경로를 정의한다.

도 6은 교차로들(602 및 604)을 포함하는 도로(600)의 부분을 묘사한다. 이 예에서, 교차로들(602 및 604)은 제각기 맵 정보(200)의 교차로들(202 및 204)에 대응한다. 이 예에서, 차선 라인들(610, 612, 및 614)은 차선 라인들(210, 212, 및 214)의 형상, 위치, 및 다른 특성들에 제각기 대응한다. 유사하게, 횡단보도들(630 및 632)은 횡단보도들(230 및 232)의 형상, 위치 및 다른 특성들에 제각기 대응하고; 인도들(640)은 인도들(240)에 대응하고; 교통 신호등들(620 및 622)은 교통 신호등들(220 및 222)에 제각기 대응하고; 정지 표지판들(650, 652)은 정지 표지판들(250, 252)에 제각기 대응하고; 및 양보 표지판(660)은 양보 표지판(260)에 대응한다.

도 6의 예에서, 차량(100)은 교차로들(604 및 602)을 통과하고 교차로(602)에서 우회전하는 것을 수반하는 예상되는 장래 경로(670)에 따른 루트를 따라 진행한다. 이 예에서, 예상되는 장래 경로는 또한 도 2의 레일들 및 전술한 상세한 맵 정보에 대응한다. 도 6의 것을 포함하여 본 명세서에서 제공되는 예들은 우측 주행 국가들(left-hand drive countries)에 특유한 것이지만, (차선들 및 회전 방향들이 반전된 것 등으로 가정하면) 좌측 주행 국가들(right-hand drive countries)에도 동등하게 관련된 것일 수 있다.

차량이 조종되고 인지 시스템(172)이 차량의 환경에서의 물체들을 검출함에 따라, 인지 시스템은 센서 정보를 컴퓨팅 디바이스(110)에 제공할 수 있다. 앞서 언급한 바와 같이, 이 센서 정보는 차량의 환경에서 인지 시스템의 센서들에 의해 검출되는 특성들을 식별할 수 있다. 도 6의 예에 도시된 바와 같이, 인지 시스템(172)은 차량(680), 자전거(682), 및 보행자(684)를 검출 및 식별하였다. 또한, 인지 시스템은 차량, 자전거 또는 보행자에 대응하지 않는 물체(686 및 688)를 검출했다.

컴퓨팅 디바이스(110) 및/또는 인지 시스템(172)은 분류를 위해 관련 물체들의 세트를 식별하도록 센서 정보를 처리할 수 있다. 예를 들어, 상세한 맵 정보에 포함되지 않았거나 그렇지 않으면 그에 의해 식별되지 않았던 검출된 물체에 대한 센서 정보는 분류에 관련된 것으로서 식별될 수 있다. 물체들의 불필요한 분류를 추가로 제한하기 위해, 컴퓨팅 디바이스(110)는, 물체가 차량과 동일한 차선 내에 있는지 또는 차량의 예상되는 장래 경로 근처에 있는지와 같이, 컴퓨팅 디바이스(110)가 루트를 따라 물체를 향해 차선을 변경하거나, 회전하거나, 또는 다른 방식으로 물체를 향해 주행하는 것과 같이, 그들의 위치에 기초하여 분류를 위해 관련된 물체들을 식별할 수 있다. 다시 말하면, 컴퓨팅 디바이스(110) 및/또는 인지 시스템(172)은 차량이 현재 루트 또는 궤적을 계속 따라간다면 차량이 잠재적으로 그를 넘어 주행할 수 있는 물체들을 분류를 위해 관련성 있는 것으로서 식별할 수 있다.

예를 들어, 차량(680), 자전거(682), 보행자(684), 및 물체들(686 및 688) 각각은 상세한 맵 정보에 출현하지 않을 수 있다. 이와 관련하여, 이러한 물체들은 적어도 초기에 분류를 위해 관련 물체들의 세트에 포함될 수 있다. 그러나 보행자(684)는, 보행자의 위치가 예상되는 장래 경로(670)로부터 너무 멀리 있을 수 있기 때문에 물체들의 세트에 포함되지 않거나 그로부터 필터링될 수 있다. 유사하게, 차량(680), 자전거(682), 및 물체들(686 및 688) 각각은 예상되는 장래 경로(670)에 직접적으로 (또는 충분히 가까이) 있을 수 있고, 따라서 분류를 위해 관련 물체들의 세트에 포함될 수 있다.

물체에 대한 센서 정보에서 정의된 다른 특성들이 분류를 위해 관련된 물체들의 세트를 식별 및/또는 필터링하기 위해 사용될 수 있다. 예를 들어, 컴퓨팅 디바이스(110) 및/또는 인지 시스템(172)은 주행 가능성이 기하 구조(크기 또는 형상)에 기초하여 명확하지 않은 물체들에 대해 필터링할 수 있다. 예로서, 물체(686)와 같은 물체의 높이가 차량(100)의 범퍼의 높이에 가깝거나 또는 더 높은 것과 같이 매우 높은 경우, 차량이 그 물체를 넘어 안전하게 주행할 수 있거나 또는 어느 때에라도 그렇게 하는 것은 가능할 것 같지 않고, 따라서 다시금 추가적인 분류가 필요하지 않다. 유사하게, 물체가 들쭉날쭉한 형상 또는 뾰족한 형상을 가지는 경우, 차량이 그 물체를 넘어 안전하게 주행하거나 또는 어느 때에라도 그렇게 하는 것은 가능할 것 같지 않고, 따라서 다시금 추가적인 분류가 필요하지 않다.

또한, 물체의 방향 및 속도가 분류를 위해 관련된 물체들을 식별 및/또는 필터링하는 데에 또한 관련될 수 있다. 예를 들어, 차량의 예상되는 경로로부터 멀리 있지만 차량의 예상되는 경로에 접근하는 물체는 분류를 위해 관련될 수 있다.

또한, 일부 물체들의 유형은 크기, 형상, 속력, 및 위치에 기초한 센서 정보에 정의된 특성에 기초하여 앞서 언급한 바와 같이 컴퓨팅 디바이스(110) 및/또는 인지 시스템(172)에 의해 보행자, 자전거 타는 사람, 다른 차량들 등으로서 자동적으로 분류될 수 있다. 이와 관련하여, 차량(680), 자전거 타는 사람(682), 또는 보행자(684) 중 어느 것도 물체들의 세트에 포함될 수 없다. 이들 물체들은 결코 그를 넘어 주행되지 않고, 주행 가능하거나 주행 가능하지 않은 것으로서의 추가 분류를 필요로 하지 않고, 그리고 분류기에 의해 활용되는 처리 능력의 양을 감소시키기 위해 회피될 수 있다.

이후, 분류를 위해 관련된 것으로 식별되는 물체들의 세트에 대응하는 센서 정보가 컴퓨팅 디바이스(110)에 의해 분류기에 공급될 수 있다. 따라서, 차량들, 자전거들, 및 보행자들뿐만 아니라 너무 높은(예를 들어, 물체(686)) 또는 특정한 형상을 갖는 물체들을 배제함으로써, 분류를 위해 관련된 물체들의 세트는 물체(688)만을 포함할 수 있다. 분류기는 이후 상기 언급한 센서 정보를 이용하여 물체들 각각의 주행 가능성을 분류할 수 있다. 앞서 언급한 바와 같이, 상기 언급한 센서 정보가 모델에 공급될 수 있다. 이후, 분류기는, 주행 가능하고, 그 사이에 걸쳐 있으면 주행 가능하고, 주행 가능하지 않고, 및/또는 주행 가능하지 않지만 그 스스로 길을 벗어나 이동할 가능성이 있는 것과 같은 분류뿐만 아니라, 각각의 그러한 분류에 대한 연관된 신뢰도 값을 출력할 수 있다.

이후 컴퓨팅 디바이스(110)는, 예를 들어 차량이 물체에 접근함에 따라 실시간으로 차량이 물체를 넘어 주행하는 것이 안전한지에 관한 결정을 내리기 위해 분류(또는 분류들) 및 연관된 신뢰도 값(또는 값들)을 이용할 수 있다. 예를 들어, 이러한 신뢰도 값은 데이터(134)의 하나 이상의 임계값과 비교되어 물체가 주행 가능한지, 또는 더 적절하게 말하자면 차량이 물체를 넘어 안전하게 주행할 수 있는지를 결정할 수 있다. 이와 관련하여, 각각의 분류 지정(주행 가능하고, 그 사이에 걸쳐 있으면 주행 가능하고, 주행 가능하지 않고, 및/또는 주행 가능하지 않지만 그 스스로 길을 벗어나 이동할 가능성이 있는 것)은 하나 이상의 임계값 중 상이한 것과 연관될 수 있다. 이와 관련하여, 각각의 임계값은 분류 지정들 중 하나의 분류 지정의 신뢰도 값들과의 비교를 위해 사용될 수 있다.

예로서, 주행 가능한 것으로 물체를 식별하기 위한 임계값은, 실제로 주행 가능하지 않지만 아마도 분류기에 의해 잘못 분류될 수 있는 물체를 넘어 주행할 가능성을 감소시키기 위해, 비교적 높을 수 있는데, 0 내지 1의 스케일상에서 1에 가깝게 또는 0.9(90%)일 수 있다. 이와 관련하여, 물체(686)가 0.05 또는 5%의 주행 가능할 가능성이 있는 것으로 분류되는 경우, 이것이 0.9 미만이므로, 컴퓨팅 디바이스(110)는 물체가 주행 가능하지 않다고 결정할 수 있다. 물체가 0.95 또는 95%의 주행 가능할 가능성이 있는 것으로 분류되는 경우, 이것이 0.9보다 크므로, 컴퓨팅 디바이스(110)는 물체가 주행 가능한 것으로 결정할 수 있다.

다시금 실제로 주행 가능하지 않은 물체를 넘어 주행하지 않는 쪽으로 치우치게 하기 위해서, 물체를 그 사이에 걸쳐 있으면 주행 가능한 것으로 식별하기 위한 임계값은 비교적 높을 수 있지만, 주행 가능한 물체에 대한 것보다는 낮을 수 있는데, 0 내지 1의 스케일상에서, 1에 가깝게 또는 0.80(80%)일 수 있다. 이와 관련하여, 물체(686)가 0.85 또는 85%의 그 사이에 걸쳐 있으면 주행 가능한 가능성이 있는 것으로서 분류되는 경우, 이것은 0.80보다 크므로, 컴퓨팅 디바이스(110)는 물체가 차량의 바퀴들 사이에 걸쳐 있는 경우에만 물체가 주행 가능하다고 결정할 수 있다. 물체가 0.75 또는 75%의 그 사이에 걸쳐 있으면 주행 가능한 가능성이 있는 것으로서 분류되는 경우, 이것이 0.80보다 작으므로, 컴퓨팅 디바이스(110)는 몇몇 다른 분류가 더 적절한 것으로, 예를 들어, 주행 가능하지 않은 것이 더 적절한 것으로 결정할 수 있다.

유사하게, 주행 가능하지 않은 것으로 물체를 식별하기 위한 임계값은, 다시금 실제로 주행 가능하지 않은 물체를 넘어 주행하지 않는 쪽으로 치우치게 하기 위해, 비교적 낮을 수 있는데, 0 내지 1의 스케일상에서, 0에 가깝거나 또는 0.25(25%)일 수 있다. 이와 관련하여, 물체(686)가 0.95 또는 95%의 주행 가능하지 않을 가능성이 있는 것으로 분류되는 경우, 이것이 0.25보다 크므로, 컴퓨팅 디바이스(110)는 물체가 주행 가능하지 않다고 결정할 수 있다. 물체가 0.05 또는 5%의 주행 가능하지 않을 가능성이 있는 것으로 분류되는 경우, 이것이 0.25보다 작으므로, 컴퓨팅 디바이스(110)는 물체가 주행 가능하지 않다고 결정할 수 있다.

또 다른 예에서, 주행 가능하지 않지만 그 스스로 길을 벗어나 이동할 가능성이 있는 것으로 물체를 식별하기 위한 임계값은, 그 스스로 길을 벗어나 이동하지 않을 것이지만 아마도 분류기에 의해 잘못 분류된 물체를 넘어 주행할 가능성을 감소시키기 위해, 또한 비교적 높을 수 있는데, 0 내지 1의 스케일상에서 1에 가깝게 또는 0.9일 수 있다. 이와 관련하여, 물체(686)가 0.8 또는 80%의 주행 가능하지 않지만 그 스스로 길을 벗어나 이동할 가능성이 있는 것으로 분류되는 경우, 이것은 0.9 미만이므로, 컴퓨팅 디바이스(110)는 물체가 그 스스로 길을 벗어나 이동할 가능성이 없고 따라서 또한 주행 가능하지 않다고 결정할 수 있다. 따라서, 주행 가능하지 않은 것과 같은 몇몇 다른 분류가 더 적절할 수 있다. 물체(686)가 0.95 또는 95%의 주행 가능하지 않지만 그 스스로 길을 벗어나 이동할 가능성이 있는 것으로 분류되는 경우, 이것은 0.9보다 크므로, 컴퓨팅 디바이스(110)는 객체가 주행 가능하지 않지만 그 스스로 길을 벗어나 이동할 가능성이 있다고 결정할 수 있다.

그 다음, 결정은 차량을 제어하는 데 사용될 수 있다. 예를 들어, 물체(686)가 주행 가능한 것으로 결정되면, 컴퓨팅 디바이스(110)는 차량이 물체를 넘어 주행하도록 진행하게 야기할 수 있다. 물체(686)가 그 사이에 걸쳐 있으면 주행 가능한 것으로 분류되면, 컴퓨팅 디바이스(110)는 차량이 물체를 넘어 주행하도록 조종하게 야기하여서 물체가 차량의 바퀴들(즉, 주행자 및 승객 측 바퀴들) 사이에 위치되도록 한다. 물체(686)가 주행 가능하지 않은 것으로 분류되는 경우, 컴퓨팅 디바이스(110)는 차량이 정지하거나 또는 물체 주위를 돌아가도록 야기할 수 있다. 또한, 물체(686)가 주행 가능하지 않지만 그 스스로 길을 벗어나 이동할 가능성이 있는 것으로 분류되는 경우, 컴퓨팅 디바이스(110)는 차량이 물체에 도달하기 전에 물체에게 차량의 예상되는 장래 경로를 벗어나 이동하도록 더 큰 시간량을 제공하기 위해 차량이 물체에 접근함에 따라 차량이 감속되도록 야기할 수 있다. 물론, 물체가 차량의 예상되는 장래 경로를 벗어나 이동하지 않는 경우, 컴퓨팅 디바이스(110)는 차량으로 하여금 완전한 정지에 이르도록 또는 물체 주위를 돌아가게 야기할 수 있다.

일부 예들에서, 물체의 분류는, 적절한 차량 응답을 결정하기 위해서 그의 크기 및 유형의 하위 분류와 같은 물체에 관해 결정된 다른 정보와 조합될 수 있다. 예를 들어, 컴퓨팅 디바이스들은 주행 가능한 작은 물체들에 대해 약간 감속할 수 있지만, 주행 가능한 더 큰 물체들에 대해 더 많이 감속할 수 있다. 유사하게, 컴퓨팅 디바이스들은 차량이 주행 가능하지 않지만 그 스스로 깃을 벗어나 이동할 가능성이 있는 것으로 분류되고 또한 새와 같은 작은 동물로서 하위 분류되는 물체에 접근함에 따라 차량을 약간 감속할 수 있지만, 그 후에 차량이 물체로부터 몇몇 미리 결정된 거리만큼에 있을 때 물체가 길을 벗어나 이동하지 않는다면 차량을 더 급속하게(더 빠르게) 감속한다.

물론, 상기 언급한 임계값들 및 결정들은 예들일 뿐이며, 신뢰도 값들은 분류기에 의해 결정될 것이고 이용되는 임계값들은 조정될 수 있거나 또는 반드시 필요한 것은 아니다. 예를 들어, 단수의 임계값보다는, 분류기에 의해 출력되는 신뢰도 값들이 신뢰도 값의 함수로서 차량의 속력을 제어하는 (점차적으로 감속하거나, 정지시키거나 등) 컴퓨팅 디바이스들에 의해 사용될 수 있다. 물체가 주행 가능하지 않은 신뢰도 값이 비교적 높을 때, 이 함수는 갑작스러운 정지를 야기할 수 있는 반면, 물체가 주행 가능한 신뢰도 값이 비교적 높을 때, 동일한 함수는 차량의 더 점진적인 감속을 야기할 수 있거나 또는 차량의 속력에 있어서 어떤 변화도 야기하지 않을 수 있다. 함수는 또한 차량을 제어하는 방법의 결정을 향상시키기 위해서, 물체의 크기, 차량이 현재 주행되고 있는 도로의 속력 제한, 차량과 차량과 동일한 차선에서의 차량 배후의 또 다른 차량 사이의 거리(예를 들어, 차량에 바짝 붙어 주행하는 또 다른 차량이 있는지), 차량과 동일한 차선에서의 차량 배후의 또 다른 차량의 속력 등과 같은 추가적인 변수들을 고려할 수 있다.

일부 예들에서, 분류는 반복 프로세스일 수 있다. 예를 들어, 물체를 주행 가능하지 않은 것으로 분류한 후에, 이후 물체는 앞서 논의한 대로 훈련되는 상이한 분류기를 이용하여 다시 분류되어, 주행 가능하지 않은 물체가 그 스스로 길을 벗어나 이동할 가능성이 있는지 여부를 결정할 수 있다.

도 7은 컴퓨팅 디바이스(110)와 같은 하나 이상의 컴퓨팅 디바이스에 의해 수행될 수 있는, 차량(100)과 같은 차량을 자율적으로 조종하는 예시적인 흐름도(700)이다. 이 예에서, 하나 이상의 컴퓨팅 디바이스는, 블록(710)에서, 차량의 인지 시스템으로부터, 물체들의 세트를 식별하는 센서 정보뿐만 아니라 물체들의 세트의 각각의 물체에 대한 특성들의 세트를 수신한다. 물체들의 세트는, 블록(720)에서, 차량들, 자전거들, 및 보행자들에 대응하는 물체들을 제거하도록 필터링된다. 블록(730)에서, 차량의 예상되는 장래 경로 내의 물체가 필터링된 물체들의 세트로부터 선택된다. 블록(740)에서, 물체는 특성들의 세트에 기초하여 주행 가능하거나 주행 가능하지 않은 것으로 분류되며, 여기서 주행 가능한 것은 차량이 자신에 대한 손상을 야기하지 않고 물체를 넘어 주행할 수 있다는 것을 나타낸다. 블록(750)에서, 차량은, 물체가 주행 가능한 것으로 분류될 때 차량을 조종하는 것이 차량의 예상되는 장래 경로를 변경하지 않음으로써 물체를 넘어 차량을 주행하는 것을 포함하도록 분류에 기초하여 조종된다.

위에서 논의된 이점들에 부가하여, 물체들의 주행 가능성을 분류함으로써, 차량의 컴퓨팅 디바이스들은 또한 차량들 또는 자전거 타는 사람들과 같은 다른 물체들이 거동하는 방식의 예측들을 개선할 수 있다. 예를 들어, 차량(100)의 컴퓨팅 디바이스들(110)이 또 다른 차량의 차선에서의 물체를 주행 가능한 것으로 분류하는 경우, 차량의 컴퓨팅 디바이스들은 그 다른 차량이 물체를 넘어 주행할 것을 예측할 수 있다. 동시에, 차량(100)의 컴퓨팅 디바이스들이 물체를 주행 가능하지 않은 것으로 분류하는 경우에, 차량의 컴퓨팅 디바이스들은 그 다른 차량이 정지하거나 물체 주위로 돌아갈 것을 예측할 수 있다(잠재적으로 차량(100)의 차선에 진입할 것임).

달리 설명되지 않는 한, 전술한 대안적인 예들은 상호 배타적이지 않으며, 고유의 장점을 달성하도록 다양한 조합으로 구현될 수 있다. 위에서 논의된 특징들의 이들 및 다른 변형 및 조합은 청구항에 의해 정의되는 주제로부터 벗어나지 않고 활용될 수 있으므로, 전술한 실시예의 설명은 청구항에 의해 정의되는 주제의 제한으로서가 아니라 예시로서 받아들여져야 한다. 또한, 본 명세서에서 설명되는 예들뿐만이 아니라 "와 같은", "을 포함하는" 및 그와 유사한 문구로 표현된 절들의 제공은 청구항의 주제를 특정 예들에만 제한하는 것으로 해석해서는 안 된다; 그보다는, 예들은 많은 가능한 실시예들 중 하나만을 예시하는 것으로 의도된 것이다. 또한, 다양한 도면에서의 동일한 참조 번호는 동일하거나 유사한 요소를 식별할 수 있다.

산업상 이용가능성

본 발명은 자율 주행 차량들에 대해 물체들의 주행 가능성을 결정하는 것을 포함하지만 이에 제한되지는 않는 광범위한 산업상 이용가능성을 향유한다.

Claims

차량을 조종하는 방법으로서:
하나 이상의 프로세서에 의해, 상기 차량의 인지 시스템으로부터 물체들의 세트를 식별하는 센서 정보뿐만 아니라 상기 물체들의 세트의 각각의 물체에 대한 특성들의 세트를 수신하는 단계;
상기 하나 이상의 프로세서에 의해, 차량들, 자전거들, 및 보행자들에 대응하는 물체들을 제거하기 위해 상기 물체들의 세트를 필터링하는 단계;
상기 하나 이상의 프로세서에 의해, 상기 필터링된 물체들의 세트로부터 상기 차량의 예상되는 장래 경로 내의 물체를 선택하는 단계;
상기 하나 이상의 프로세서에 의해, 상기 물체에 대한 상기 특성들의 세트에 기초하여 상기 물체를 주행 가능하거나 주행 가능하지 않은 것으로 분류하는 단계 - 주행 가능한 것은 상기 차량이 자신에게 손상을 야기하지 않고 상기 물체를 넘어 주행할 수 있음을 나타냄 -; 및
상기 하나 이상의 프로세서에 의해, 상기 물체가 주행 가능한 것으로 분류될 때 상기 차량을 조종하는 것이 상기 차량의 예상되는 장래 경로를 변경하지 않음으로써 상기 물체를 넘어 상기 차량을 주행하는 것을 포함하도록 분류에 기초하여 상기 차량을 조종하는 단계를 포함하는 방법.
제1항에 있어서, 상기 특성들의 세트는 상기 물체의 위치를 포함하고, 상기 방법은 상기 분류하는 단계 전에 상기 물체가 상기 위치에서 상기 차량의 주행 환경을 기술하는 미리 저장된 맵 정보에 포함되지 않았다고 결정하는 단계를 추가로 포함하는 방법.
제1항에 있어서, 상기 센서 정보의 수신은 상기 차량이 상기 물체에 접근하고 있을 때 발생하여 상기 분류 및 상기 조종이 실시간으로 수행되도록 하는 방법.
제1항에 있어서, 상기 분류가 주행 가능하지 않은 것일 때, 상기 차량을 조종하는 것은 상기 물체를 넘어 주행하는 것을 회피하기 위해 상기 차량의 예상되는 장래 경로를 변경하는 것을 포함하는 방법.
제1항에 있어서, 상기 물체가 주행 가능하지 않은 것으로 분류될 때, 상기 물체를 주행 가능하지 않지만 상기 차량의 예상되는 장래 경로를 벗어나 이동할 가능성이 있는 것으로 추가로 분류하는 단계를 추가로 포함하는 방법.
제5항에 있어서, 상기 물체가 주행 가능하지 않지만 상기 차량의 예상되는 장래 경로를 벗어나 이동할 가능성이 있는 것으로 분류될 때, 상기 차량을 조종하는 것은 상기 차량이 상기 물체에 접근함에 따라 상기 차량을 감속하는 것을 포함하는 방법.
제1항에 있어서, 상기 필터링하는 단계는 상기 차량이 현재 진행하고 있는 차선 내에 있지 않은 물체들을 제거하기 위해 상기 물체들의 세트를 필터링하는 단계를 추가로 포함하는 방법.
제1항에 있어서, 상기 필터링하는 단계는 미리 결정된 높이 임계값을 충족하는 높이를 갖는 물체들을 제거하기 위해 상기 물체들의 세트를 필터링하는 단계를 추가로 포함하는 방법.
제1항에 있어서, 상기 필터링하는 단계는 미리 결정된 형상을 갖는 물체들을 제거하기 위해 상기 물체들의 세트를 필터링하는 단계를 추가로 포함하는 방법.
제1항에 있어서, 상기 하나 이상의 프로세서에 의해, 상기 물체를 주행 가능한 것으로 분류하는 것은:
상기 물체가 상기 차량의 2개의 바퀴 사이에 걸쳐 있는(straddled) 경우에 주행 가능한 것으로 분류하는 것을 추가로 포함하고,
상기 물체가 상기 차량의 2개의 바퀴 사이에 걸쳐 있는 경우에 주행 가능한 것으로 분류될 때, 상기 분류에 기초하여 상기 차량을 조종하는 것은 상기 차량의 2개의 바퀴 사이에 상기 물체를 걸쳐 있게 하기 위해 상기 차량을 조종하는 것을 포함하는 방법.
차량을 조종하기 위한 시스템으로서:
상기 차량의 인지 시스템으로부터, 물체들의 세트를 식별하는 센서 정보뿐만 아니라 상기 물체들의 세트의 각각의 물체에 대한 특성들의 세트를 수신하고;
차량들, 자전거들, 및 보행자들에 대응하는 물체들을 제거하기 위해 상기 물체들의 세트를 필터링하고;
상기 필터링된 물체들의 세트로부터, 상기 차량의 예상되는 장래 경로 내의 물체를 선택하고;
상기 물체에 대한 상기 특성들의 세트에 기초하여 상기 물체를 주행 가능하거나 주행 가능하지 않은 것으로 분류하고 - 주행 가능한 것은 상기 차량이 자신에게 손상을 야기하지 않고 상기 물체를 넘어 주행할 수 있다는 것을 나타냄 -; 및
상기 물체가 주행 가능한 것으로 분류될 때, 상기 차량을 조종하는 것이 상기 차량의 예상되는 장래 경로를 변경하지 않음으로써 상기 물체를 넘어 상기 차량을 주행하는 것을 포함하도록 분류에 기초하여 상기 차량을 조종하도록 구성되는 하나 이상의 프로세서를 포함하는 시스템.
제11항에 있어서, 상기 차량을 추가로 포함하는 시스템.
제11항에 있어서, 상기 특성들의 세트는 상기 물체의 위치를 포함하고, 상기 하나 이상의 프로세서는, 분류하기 전에, 상기 물체가 상기 위치에서 상기 차량의 주행 환경을 기술하는 미리 저장된 맵 정보에 포함되지 않았다고 결정하도록 추가로 구성되는 시스템.
제11항에 있어서, 상기 하나 이상의 프로세서는, 상기 차량이 상기 물체에 접근하고 있을 때 상기 센서 정보의 수신이 발생할 때, 상기 분류 및 상기 조종이 실시간으로 수행되도록 추가로 구성되는 시스템.
제11항에 있어서, 상기 분류가 주행 가능하지 않은 것일 때, 상기 하나 이상의 프로세서는 상기 물체를 넘어 주행하는 것을 회피하기 위해 상기 차량의 예상되는 장래 경로를 변경함으로써 상기 차량을 조종하도록 추가로 구성되는 시스템.
제11항에 있어서, 상기 물체가 주행 가능하지 않은 것으로 분류될 때, 상기 하나 이상의 프로세서는 상기 물체를 주행 가능하지 않지만 상기 차량의 예상되는 장래 경로를 벗어나 이동할 가능성이 있는 것으로 추가로 분류하도록 추가로 구성되는 시스템.
제11항에 있어서, 상기 하나 이상의 프로세서는 상기 차량이 현재 진행하고 있는 차선 내에 있지 않은 물체들을 또한 제거함으로써 상기 물체들의 세트를 필터링하도록 추가로 구성되는 시스템.
제11항에 있어서, 상기 하나 이상의 프로세서는 미리 결정된 높이 임계값을 충족하는 높이를 갖는 물체들을 또한 제거함으로써 상기 물체들의 세트를 필터링하도록 추가로 구성되는 시스템.
제11항에 있어서, 상기 하나 이상의 프로세서는 미리 결정된 형상을 갖는 물체들을 또한 제거함으로써 상기 물체들의 세트를 필터링하도록 추가로 구성되는 시스템.
명령어들이 저장되는 비일시적 컴퓨터 판독 가능 저장 매체로서, 상기 명령어들은, 하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금 차량을 조종하기 위한 방법을 수행하도록 야기하고, 상기 방법은:
상기 차량의 인지 시스템으로부터 물체들의 세트를 식별하는 센서 정보뿐만 아니라 상기 물체들의 세트의 각각의 물체에 대한 특성들의 세트를 수신하는 단계;
차량들, 자전거들, 및 보행자들에 대응하는 물체들을 제거하기 위해 상기 물체들의 세트를 필터링하는 단계;
상기 필터링된 물체들의 세트로부터 상기 차량의 예상되는 장래 경로 내의 물체를 선택하는 단계;
상기 물체에 대한 상기 특성들의 세트에 기초하여 상기 물체를 주행 가능하거나 주행 가능하지 않은 것으로 분류하는 단계 - 주행 가능한 것은 상기 차량이 자신에게 손상을 야기하지 않고 상기 물체를 넘어 주행할 수 있음을 나타냄 -; 및
상기 물체가 주행 가능한 것으로 분류될 때 상기 차량을 조종하는 것이 상기 차량의 예상되는 장래 경로를 변경하지 않음으로써 상기 물체를 넘어 상기 차량을 주행하는 것을 포함하도록 분류에 기초하여 상기 차량을 조종하는 단계를 포함하는 비일시적 컴퓨터 판독 가능 저장 매체.