KR20230098557A - 중복 로컬화 파이프라인들의 조합된 입력들을 사용하는차량 위치확인 - Google Patents

Abstract

지리적 영역에 대한 센서 데이터를 나타내는 이미지들 및 지리적 영역에 대한 신뢰할 수 없는 시맨틱 주석들을 포함하는 입력들을 수용하도록 머신 러닝 모델을 트레이닝시키는 것을 포함할 수 있는, 신뢰할 수 없는 맵 주석 입력들을 사용하여 센서 데이터의 시맨틱 주석 달기를 위한 방법들이 제공된다. 트레이닝 이후에, 센서 데이터를 나타내는 추가적인 이미지들 및 추가적인 신뢰할 수 없는 시맨틱 주석들이 신경 네트워크를 통해 전달되어 추가적인 이미지들에 대한 예측된 시맨틱 주석들을 제공할 수 있도록, 머신 러닝 모델이 지리적 영역에 대한 검증된 시맨틱 주석들에 대해 트레이닝될 수 있다. 시스템들 및 컴퓨터 프로그램 제품들이 또한 제공된다.

Description

중복 로컬화 파이프라인들의 조합된 입력들을 사용하는 차량 위치확인{VEHICLE LOCATION USING COMBINED INPUTS OF REDUNDANT LOCALIZATION PIPELINES}

자가 운전 차량(self-driving vehicle)은 전형적으로 그 주변의 영역을 인지하기 위해 다수의 유형의 이미지들을 사용한다. 영역을 정확하게 인지하도록 이러한 시스템들을 트레이닝시키는 것은 어렵고 복잡할 수 있다.

도 1은 자율 주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4는 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 5a는 중복 로컬화 파이프라인들의 조합된 입력들을 사용하는 차량 위치확인(vehicle location)을 위한 예시적인 상호작용들을 예시하는 블록 다이어그램이다.
도 5b는, 추측 항법(dead reckoning) 기반 로컬화 파이프라인을 포함하는, 중복 로컬화 파이프라인들의 조합된 입력들을 사용하는 차량 위치확인을 위한 예시적인 상호작용들을 예시하는 블록 다이어그램이다.
도 6은 중복 로컬화 파이프라인들의 조합된 입력들을 사용하는 차량 위치확인을 위한 예시적인 루틴을 묘사하는 플로차트이다.

이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 기재된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있음이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.

시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않음을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.

게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없음을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.

제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 둘 모두 접촉이지만, 동일한 접촉은 아니다.

본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. 또한, "또는"이라는 용어가, 예를 들어, 요소들의 목록을 연결하는 데 사용될 때, 목록 내의 요소들 중 하나, 일부 또는 전부를 의미하도록, "또는"이라는 용어는 (그의 배타적 의미가 아니라) 그의 포함적 의미로 사용된다. "X, Y, 또는 Z 중 적어도 하나"라는 문구와 같은 택일적 표현(disjunctive language)은, 달리 구체적으로 언급되지 않는 한, 그렇지 않고 항목, 용어 등이 X, Y, 또는 Z, 또는 이들의 임의의 조합(예를 들면, X, Y 또는 Z)일 수 있음을 제시하는 데 일반적으로 사용되는 바와 같은 문맥으로 이해된다. 따라서, 그러한 택일적 표현은 일반적으로 특정 실시예들이 X 중 적어도 하나, Y 중 적어도 하나, 및 Z 중 적어도 하나가 각각 존재할 것을 요구함을 암시하는 것으로 의도되지 않으며 암시해서는 안된다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.

본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있음을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.

그 중에서도, "할 수 있는(can)", "할 수 있을(could)", "할지도 모를(might)", "할지도 모르는(may)", "예를 들면(e.g.)" 등과 같은, 본원에서 사용되는 조건부 표현(onditional language)은, 특별히 달리 언급되지 않는 한 또는 사용되는 바와 같이 문맥 내에서 달리 이해되지 않는 한, 일반적으로 특정 실시예들은 특정 특징들, 요소들 또는 단계들을 포함하지만 다른 실시예들은 특정 특징들, 요소들 또는 단계들을 포함하지 않는다는 것을 전달하는 것으로 의도된다. 따라서, 그러한 조건부 표현은 특징들, 요소들 또는 단계들이 하나 이상의 실시예에 대해 어떤 방식으로든 필요하다는 것 또는 하나 이상의 실시예가, 다른 입력 또는 프롬프팅을 사용하거나 사용하지 않고, 이러한 특징들, 요소들 또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예에서 수행되어야 하는지를 결정하기 위한 로직을 반드시 포함한다는 것을 암시하는 것으로 일반적으로 의도되지 않는다. 본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.

그 예가 첨부 도면들에 예시되어 있는 실시예들에 대해 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.

일부 양태들 및/또는 실시예들에서, 본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 중복 로컬화 파이프라인들의 조합된 입력들을 사용하는 차량 위치확인을 포함하고/하거나 구현한다. 일반적으로 기술하면, 로컬화 파이프라인은 자가 운전 동력 차량(motorized vehicle)과 같은, 디바이스의 위치를 결정하기 위해, 레이더, LiDAR, 가속도계 등과 같은, 하나 이상의 센서로부터의 데이터를 활용한다. 본 기술 분야의 통상의 기술자라면 이해하겠지만, 정확한 위치 결정은, 루트 계획 및 대상체 회피와 같은, 자가 운전 차량의 다수의 기능들에 중대할 수 있다. 이러한 기능들은, 결국, 안전에 매우 중요할 수 있다. 따라서, 다양한 콘텍스트들에서 정확하고 탄력적인 로컬화를 제공하는 것이 매우 바람직할 수 있다.

로컬화 시스템들이 존재하지만, 각각은 전형적으로 하나 이상의 단점이 있다. 예를 들어, 추측 항법 기반 시스템들은 출발점으로부터의 차량 위치를 추정하기 위해, 속력 및 조향 입력들과 같은, 차량 주행 거리 측정(vehicle odometry)을 활용할 수 있다. 이러한 시스템들은 전형적으로 드리프트의 영향을 받는데, 그 이유는 시간 경과에 따라 오류들이 복합화되기 때문이다. LiDAR 입력들이 알려진 데이터 포인트 맵과 비교되는 LiDAR 기반 시스템들은, 많은 경우에, 매우 정확할 수 있지만, LiDAR 센서 데이터가 급격한 위치 변화를 나타내어, 정확한 위치를 알 수 없는 채로 방치하는 것처럼 보이는, 일시적인 "문제(blip)"를 겪을 수 있다. 레이더 기반 시스템들도 유사한 문제들을 겪으며, LiDAR 시스템들보다 정확도가 떨어지는 경향이 있다. GPS(global positioning systems)는 정확도가 변하는 경향이 있고, 주어진 위치에서 항상 이용 가능한 것은 아니며, (예를 들면, GPS 신호들의 스푸핑의 가능성을 고려하면) 보안 문제들을 겪는다. 요컨대, 현재로서는, 자가 운전 차량 차량들과 같이, 주어진 콘텍스트에서 요구되는 정확성과 탄력성을 제공하는 개별 로컬화 시스템이 없을 수 있다. 더욱이, 개별 로컬화 시스템들은 많은 상황들에서 안전 도전과제들을 제기하는 "단일 고장점(single point of failure)"을 나타내는 경향이 있다. 이러한 시스템들은 중복성을 제공하도록 수정될 수 있지만, 이러한 중복성은 개별 시스템에 내재된 결함들을 감소시키지 않으며, 그 대신에 결함들을 배가시킬 수 있다.

본 개시의 실시예들은 중복 로컬화 파이프라인들의 조합된 입력들을 사용하는 차량 위치확인을 제공하는 것에 의해 위에서 언급된 문제들을 해결한다. 본원에서 논의된 바와 같이, 차량은 적어도 2 개의(그리고 잠재적으로 그 이상의) 별개의 로컬화 파이프라인들을 구현할 수 있다. 일 실시예에서, 각각의 로컬화 파이프라인은 별개의 센서 데이터 세트에 기초하여 차량 위치를 결정한다. 예를 들어, 제1 파이프라인은 LiDAR 데이터에 기초하여 위치를 결정할 수 있고, 제2 파이프라인은 레이더 데이터에 기초하여 위치를 결정할 수 있으며, 제3 파이프라인은 추측 항법에 기초하여 위치를 결정하는 등일 수 있다. 차량은 이어서 (예를 들면, 차량의 예측된 위치를 나타내는) 각각의 로컬화 파이프라인의 출력들을 비교할 수 있고 이러한 출력들을 조합하여 예측된 차량 위치를 제공할 수 있다.

일부 실시예들에서, 차량은 다른 파이프라인들의 출력들을 검증하기 위해 각각의 파이프라인의 출력들을 활용할 수 있다. 예를 들어, 임계 수의 파이프라인들이 서로로부터 임계 거리 내에 있는 위치를 출력하는 한, 차량은 위치가 정확하게 예측될 수 있다고 결정할 수 있다. 예시적으로, LiDAR 기반 파이프라인과 레이더 기반 파이프라인이 구현되는 경우, 양쪽 파이프라인들의 출력들이, 5 센티미터, 10 센티미터, 1 미터 등과 같은, 주어진 임계치 내에 있을 때 차량은 위치가 정확하게 예측될 수 있다고 결정할 수 있다. 3 개 또는 그 이상의 파이프라인이 구현되는 경우, 3 개의 파이프라인 중 적어도 2 개의 파이프라인의 출력들이 서로로부터 주어진 임계치 내에 있는 위치를 출력할 때 차량은 위치가 정확하게 예측될 수 있다고 결정할 수 있다. 보다 일반적으로, m 개 중 n 개의 파이프라인이 서로로부터 임계 거리 내에 있는 위치를 제공할 때 이 시스템은 위치가 정확하게 예측될 수 있다고 결정할 수 있다. 다른 실시예들에서, 각각의 파이프라인은 해당 파이프라인의 출력의 예측된 정확도 또는 신뢰도에 따라 가중되거나 스코어링될 수 있고, 현재 위치에 관해 "동의"하는 모든 파이프라인들에 걸친 총 스코어 또는 가중치가 임계 양인 한, 이 시스템은 위치가 정확하게 예측될 수 있다고 결정할 수 있다. "동의"는, 예를 들어, 각각의 출력 쌍 간의 쌍별 비교(pairwise comparison)가 임계 거리 미만의 값을 결과한다는 것을 나타낼 수 있다. 다른 예에서, 동의는 2 개의 출력이, 서로로부터 임계 거리 내에 있는 모든 출력들의 무게 중심(centroid)과 같은, 제3 위치로부터 임계 거리 내에 있다는 것을 나타낼 수 있다.

일부 실시예들에서, 차량 속력, 위치 혼잡도, 차선 폭 등과 같은, 다른 요인들이 임계치를 수정하는 데 사용될 수 있다. 예를 들어, 인근의 대상체들이 없고 상대적으로 낮은 속력(예를 들면, 5 km/h)으로 주행하는 확 트인 들판에서는, 상대적으로 높은 임계치(예를 들면, 1 미터)가 설정될 수 있다. 좁은 차선들을 갖는 혼잡한 교통 경로에서 보다 높은 속력(예를 들면, 100 km/h)으로 주행할 때, 상대적으로 낮은 임계치(예를 들면, 5 또는 10 센티미터)가 설정될 수 있다. 또 다른 실시예들에서, 비교되는 로컬화 파이프라인들에 따라 임계치가 변할 수 있다. 예를 들어, 높은 예상 정확도를 갖는 파이프라인들의 비교에 대해서는 상대적으로 낮은 임계치가 설정될 수 있고, 낮은 예상 정확도를 갖는 파이프라인들의 비교에 대해서는 상대적으로 높은 임계치가 설정될 수 있다. 일부 경우에, 비교되는 각각의 파이프라인 쌍에 대해 (예를 들면, 양쪽 파이프라인들의 평균 예상 정확도에 기초하여) 임계치가 변할 수 있다. 또 다른 실시예들에서, 위치를 마지막으로 확정한 이후의 시간의 양 또는 간격의 수에 기초하여 임계치가 설정될 수 있다. 예를 들어, 추측 항법 기반 로컬화에서 누적 오류를 고려하기 위해, 위치가 보다 긴 시간 기간 동안 설정되지 않았을 때 임계치가 증가될 수 있다.

위치가 임계 정확도 내에서 결정될 수 없는 경우에(예를 들면, 충분한 수의 파이프라인들이 임계 거리 내에 있는 위치를 나타내지 않을 때), 차량은 오류 상태에 진입하고/하거나, 인간 조작자에게 경고를 발행하는 것, 차량의 속력을 낮추는 것, 안전한 위치로 조향하는 것 등과 같은, 개선 조치를 취하도록 프로그래밍될 수 있다. 일부 경우에, 취해진 개선 조치의 유형(또는 그러한 조치가 취해지는지 여부)은 마지막으로 예측된 위치가 충분한 정확도로 제공된 이후의 지속기간에 기초한다. 예를 들어, 차량 위치가, 2초, 5초, 10초 등과 같은, 적어도 임계 기간 동안 (예를 들면, 위의 기준들에 따라) 정확하게 결정될 수 없을 때에만 개선 조치가 취해질 수 있다. 임계 거리와 유사하게, 임계 기간은 속력, 혼잡도, 차선 폭 등과 같은 요인들에 기초할 수 있다. 일부 경우에, (예를 들면, 위에서 언급된 요인들에 기초하여) 동적 임계 기간을 사용하는 것은 로컬화 파이프라인들에서의 알려진 문제들을 고려할 수 있다. 예를 들어, 이 시스템은 LiDAR 기반 파이프라인이 작동 중에 일시적인 "문제"를 겪더라도 계속 기능할 수 있다.

차량이 위치가 충분히 정확하게 예측될 수 있다고 결정할 때, 차량은 다양한 파이프라인들의 출력들에 기초하여 예측된 위치를 설정할 수 있다. 일부 실시예들에서, 예측된 위치는, 파이프라인들의 출력들의 예상 정확도, 과거 차량 위치들 등과 같은 요인들에 기초하여, 다양한 파이프라인들에 의해 제공되는 것들 중에서 선택될 수 있다. 예를 들어, 하나의 파이프라인이 LiDAR 기반 로컬화를 구현하고 다른 파이프라인이 레이더 기반 로컬화를 구현하는 경우에, LiDAR 기반 파이프라인의 예상 정확도가 레이더 기반 파이프라인보다 높을 수 있으므로, 차량은 일반적으로 LiDAR 기반 파이프라인에 의해 제공되는 위치를 선택하도록 구성될 수 있다. 3 개 이상의 파이프라인이 사용되는 경우에, 예측된 위치는 출력이 (예를 들면, 서로로부터 요구된 임계 거리 내에 있는 것으로) 검증된 해당 파이프라인들에 기초하여 설정될 수 있다. 예를 들어, LiDAR 기반 파이프라인, 레이더 기반 파이프라인 및 추측 항법 기반 파이프라인이 구현되고 이 3 개의 파이프라인 중 2 개가 차량의 일반적인 위치에 관해 "동의"하는 경우에, 예측된 위치는 2 개의 동의하는 파이프라인 중 더 정확한 쪽에 기초하여 설정될 수 있다. 다른 실시예들에서, 예측된 위치는, 평균 위치와 같은, 다수의 파이프라인들의 출력의 집계에 기초하여 설정될 수 있다. 평균은, 예를 들어, 각각의 파이프라인의 출력들의 예상 정확도에 기초하여 가중될 수 있다.

일 실시예에서, 차량 상에 구현되는 다수의 로컬화 파이프라인들은, 설정점(예를 들면, 과거 위치)과 설정점에 상대적인 이동 데이터의 조합에 기초하여 위치를 결정하는, 적어도 하나의 추측 항법 기반 파이프라인을 포함한다. 위에서 언급된 바와 같이, 추측 항법 기반 파이프라인들은 종종 드리프트의 영향을 받으며, 이에 의해 정확도가 설정점으로부터의 거리에 비례하여 떨어진다. 일부 실시예들에서, 추측 항법 기반 파이프라인에 대한 설정점은, 다수의 로컬화 파이프라인들로부터 결정되는 바와 같은, 예측된 위치에 기초하여 수정된다. 예를 들어, 설정점은, 예측된 위치에 대한 기준들이 충족되는 한, 각각의 로컬화 간격으로(예를 들면, 로컬화가 수행될 때마다) 업데이트될 수 있다. 일 실시예에서, 설정점 업데이트 기준들은 위치를 정확하게 결정하기 위한 기준들(예를 들면, m 개 중 n 개의 파이프라인이 서로로부터 임계 거리 내에 있는 거리들을 확정한다는 것)과 일치한다. 다른 실시예에서, 설정점 업데이트 기준들은 위치를 정확하게 결정하기 위한 기준들과 상이하다. 예를 들어, 차량은 충분히 정확한 위치가 추측 항법 파이프라인과 독립적으로 예측될 수 있을 때에만 추측 항법 설정점을 업데이트하도록 구성될 수 있다. 예시적으로, 차량이 LiDAR 기반 파이프라인, 레이더 기반 파이프라인 및 추측 항법 기반 파이프라인을 구현하는 경우에, 차량은 LiDAR 기반 파이프라인과 레이더 기반 파이프라인이 서로로부터 임계 거리 내에 있는 위치들을 나타낼 때에만 추측 항법 설정점을 업데이트할 수 있다. 3 개 초과의 파이프라인을 갖는 차량들의 경우, m 개 중 적어도 n 개의 비-추측 항법 기반 파이프라인이 서로로부터 임계 거리 내에 있는 위치들을 나타낼 때 추측 항법 설정점이 업데이트될 수 있다.

다수의 독립적인 중복 로컬화 파이프라인들에 기초하여 위치를 결정하는 것은 상당한 이점들이 있다. 예를 들어, 본원에 기술된 실시예들은, 다른 기술들의 단점들을 극복하는 개별 기술들의 강점들을 활용하여, 개별 로컬화 기술들에서의 단점들을 해결할 수 있다. 예시적으로, 추측 항법 기반 시스템들에서의 드리프트는, LiDAR 기반 로컬화 시스템들과 같은, 다른 시스템들의 정확도에 의해 해결될 수 있다. LiDAR 기반 시스템들에서의 일시적인 "문제"는, 추측 항법 기반 시스템들과 같은, 다른 시스템들의 정밀도에 의해 해결될 수 있다. 단일 로컬화 파이프라인을 구현하는 차량들이 경험하는 "단일 고장점"은 다수의 독립적인 중복 파이프라인들을 사용하여 해결된다. 그에 따라 그리고 본 개시를 바탕으로 본 기술 분야의 통상의 기술자에 의해 이해될 것인 바와 같이, 본원에 개시된 실시예들은 로컬화를 수행할 수 있는, 자가 운전 차량들 내에 포함되거나 그 작동을 지원하는 컴퓨팅 디바이스들과 같은, 컴퓨팅 시스템들의 능력을 개선시킨다. 더욱이, 현재 개시된 실시예들은 컴퓨팅 시스템들 내에 내재된 기술적 문제들; 구체적으로, 로컬화를 프로그램적으로 결정하는 것의 어려움을 해결한다. 이러한 기술적 문제들은, 차량 위치를 결정하기 위해 중복 로컬화 파이프라인들의 조합된 입력들을 사용하는 것을 포함하여, 본원에 기술된 다양한 기술적 해결책들에 의해 해결된다. 따라서, 본 개시는 일반적으로 로컬화 시스템들 및 컴퓨팅 시스템들의 개선을 나타낸다.

예들이 본원에서 특정 로컬화 파이프라인들(예를 들면, LiDAR 기반, 레이더 기반, 추측 항법 기반 등)과 관련하여 제공되지만, 본 개시의 실시예들은 다양한 로컬화 파이프라인들의 임의의 조합을 사용할 수 있다. 추가적으로, 로컬화 파이프라인 유형들의 예들은 GPS 기반 로컬화, 랜드마크 기반 로컬화, 카메라 기반 로컬화, VSLAM(Video SLAM) 로컬화를 포함한 SLAM(simultaneous location and mapping) 로컬화, 음향(예를 들면, 사운드 기반) 로컬화, 및 가속도계 기반 로컬화를 포함한다. 대체로, 그러한 로컬화 파이프라인들은 일부 경우에 개념적으로 두 가지 유형, 즉 전역 로컬화(global localization) 파이프라인들과 상대 로컬화(relative localization) 파이프라인들로 나누어질 수 있다. 일반적으로 기술하면, 전역 로컬화 파이프라인은 알려진 공간(예를 들면, 주어진 영역의 맵) 내에서 차량의 위치를 결정하려고 시도하는 전역 로컬화를 구현할 수 있다. 예를 들어, LiDAR 기반 파이프라인들 및 레이더 기반 파이프라인들은, GPS 기반 파이프라인들과 함께, 전역 로컬화를 구현할 수 있다. 대조적으로, 상대 로컬화 파이프라인들은, (예를 들면, 차량이 다른 지점으로부터 주어진 거리를 이동했다는 것을 결정하는 것에 의해) 다른 지점에 상대적인 차량의 위치를 결정하려고 시도하는, 상대 로컬화를 구현할 수 있다. 예를 들어, 추측 항법 기반 파이프라인들 및 VSLAM 기반 파이프라인들은 상대 로컬화를 구현할 수 있다. 그러한 파이프라인들의 임의의 조합은, 본 개시의 실시예들에 따라, 중복적이고 탄력적인 로컬화를 제공하는 데 사용될 수 있다. 일부 경우에, 예를 들어, 각각의 유형의 파이프라인의 강점들을 활용하면서 약점들을 보완하기 위해, 전역 로컬화 기반 파이프라인들과 상대 로컬화 기반 파이프라인들의 조합이 구현될 수 있다.

본 개시의 일부 실시예들은 중복적이고 독립적인 로컬화 파이프라인들에 기초하여 위치를 예측하는 것에 관한 것이지만, 다른 실시예들은 차량의 포즈(pose)를 예측하기 위해 동일하거나 실질적으로 유사한 기술들을 적용할 수 있다. 본원에서 사용되는 바와 같이, "포즈"는 차량의 상대 방향과 같은 데이터 포인트들을 나타낸다. 포즈는, 로컬화와 함께, 다양한 자가 운전 시스템들의 중요한 컴포넌트일 수 있다. 더욱이, 본원에 개시된 로컬화 파이프라인들은 일부 경우에 또한 포즈 추정치들을 제공할 수 있다. 예를 들면, 충분한 수의 파이프라인들이 서로로부터 임계 거리 내에 있는 추정치들을 제공할 때 포즈가 예측되도록, 다양한 파이프라인들에 의해 제공되는 다수의 포즈 추정치들이 로컬화 추정치들과 유사한 방식으로 결합될 수 있다. 유사하게, 예를 들면, 충분한 수의 파이프라인들이 서로로부터 임계 거리 내에 있는 추정치들을 제공할 때 속도가 예측되도록, 본원에 설명된 기술들은 일부 실시예들에서 차량 속도를 추정하는 데 사용될 수 있다. 따라서, 위치확인과 관련하여 본원에 설명된 기술들이 추가적으로 또는 대안적으로 차량 포즈, 속도, 또는 이들의 임의의 조합을 예측하기 위해 구현될 수 있음을 이해해야 한다.

본 개시의 전술한 양태들 및 부수적인 장점들 중 다수는, 첨부 도면들과 관련하여 살펴볼 때, 이하의 설명을 참조하여 보다 잘 이해되므로 보다 쉽게 이해될 것이다.

이제 도 1을 참조하면, 자율 주행 시스템을 포함한 차량뿐만 아니라 그렇지 않은 차량들도 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 영역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.

차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.

대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해 있거나(예를 들면, 일정 시간 기간 동안 고정 위치에 위치하거나) 이동하고 있다(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있다). 일부 실시예들에서, 대상체들(104)은 영역(108) 내의 대응하는 위치들과 연관되어 있다.

루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 영역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 호라이즌(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 호라이즌 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.

영역(108)은 차량들(102)이 운행할 수 있는 물리적 영역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 영역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 영역(108)은 간선 도로, 주간 간선 도로, 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 영역(108)은 진입로, 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.

차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.

네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다. 인터넷 또는 다른 전술한 유형의 통신 네트워크들 중 임의의 것을 통해 통신하기 위한 프로토콜들 및 컴포넌트들은 본 기술 분야의 통상의 기술자에게 알려져 있으며, 따라서 본원에서 보다 자세히 기술되지 않는다.

원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들 중 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.

플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템을 포함한 차량들 및/또는 자율 주행 시스템을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.

일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.

도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.

이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems을 참조할 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.

자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.

카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 형식(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 송신한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.

일 실시예에서, 카메라(202a)는 시각적 내비게이션 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 형식(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과는 상이하다.

LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 조합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.

레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 송신되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.

마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)에 상대적인 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.

통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.

자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.

안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 무시하는) 제어 신호들을 생성하도록 구성된다.

DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈도실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.

파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.

조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 전방 2 개의 바퀴 및/또는 후방 2 개의 바퀴가 좌측 또는 우측으로 회전하게 한다.

브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴들과 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성되는 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.

일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.

이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들면, 차량들(102) 시스템의 하나 이상의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.

버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장한, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.

저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.

입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.

일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi^® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.

일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(306) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.

일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 결합하여 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.

메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 통신하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.

일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.

도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.

이제 도 4를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 내비게이션 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.

일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.

일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.

일부 실시예들에서, 로컬화 시스템(406)은 한 영역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 조합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 조합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 영역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 조합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 영역의 조합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징부, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.

다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 특성과 연관된 데이터를 포함한다.

본 개시의 실시예들에 따르면, 로컬화 시스템(406)은, 각각이 독립적으로 차량(102)의 위치를 결정하는, 다수의 로컬화 파이프라인들을 구현할 수 있다. 로컬화 시스템(406)은 차량(102)의 예측된 위치를 결정하기 위해 별개의 파이프라인들로부터의 출력들의 조합을 사용할 수 있다. 위치를 예측하기 위해 다수의 로컬화 파이프라인들을 사용하는 것에 관한 추가 세부사항들은 아래에서 도 5a 내지 도 6을 참조하여 기술된다.

일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)으로 하여금 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)로 하여금 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.

일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP, multilayer perceptron), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 조합하여 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다.

데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 영역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로 , 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)로 하여금 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.

일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현될 수 있다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.

도 5a 및 도 5b를 참조하여, 다수의 중복 로컬화 파이프라인들의 출력들에 기초하여 위치를 예측하기 위한 예시적인 상호작용들이 기술될 것이다. 구체적으로, 도 5a는 LiDAR 기반 파이프라인과 레이더 기반 파이프라인의 조합에 기초하여 위치를 예측하기 위한 예시적인 상호작용들을 묘사한다. 도 5b는 추측 항법 기반 로컬화 파이프라인, 및 둘 이상의 추가적인 로컬화 파이프라인에 기초하여 위치를 예측하기 위한 예시적인 상호작용들을 묘사한다.

도 5a 및 도 5b에서, 프라임(prime) 표기법(예를 들면, 1' 및 1")은 독립적인 상호작용들을 나타내는 것으로 의도되어 있다. 이러한 상호작용들은 동시에, 부분적으로 동시에 또는 상이한 시간에 발생할 수 있다. 그에 따라, (이러한 도면들의 예시적인 예에서) 프라임 표기법 표시를 갖는 상호작용들이 일반적으로 프라임 표기법 표시들이 없는 보다 높은 번호의 상호작용들 이전에 발생하는 것으로 가정될 수 있다는 점을 제외하고는, 상이한 프라임 표기법 표시들을 갖는 상호작용들 간에 순서가 추론되어서는 안된다. 예를 들어, 상호작용(4') 및 상호작용(4")은, 이 예에서, 상호작용(5) 및 상호작용(6)보다 먼저 발생하는 것으로 가정될 수 있다.

도 5a의 상호작용들은, (위에서 기술된 로컬화 시스템(606)과 동일하거나 유사할 수 있는) 로컬화 시스템(606)이 LiDAR 센서(501a) 및 레이더 센서(501b)로부터, 제각기, LiDAR 센서 데이터와 레이더 센서 데이터 둘 모두를 획득하는, (1') 및 (1")에서 시작된다. LiDAR 데이터는 예시적으로 LiDAR 센서들(202b)로부터 획득되는 반면, 레이더 센서 데이터는 예시적으로 레이더 센서들(202c)로부터 획득된다. 데이터는 인근의 대상체들로부터의 (예를 들면, 제각기, 광 또는 전파들의) 반사들을 나타낼 수 있다. 데이터는, 포인트 클라우드, 래스터 데이터, 포인트들의 목록 등과 같은, 다양한 방식들로 구성될 수 있다. 각각의 센서는 이어서, (2') 및 (2")에서, 그 각자의 데이터를 각자의 로컬화 프로세스: 구체적으로, LiDAR 로컬화 프로세스(502) 및 레이더 로컬화 프로세스(504)로 송신한다.

(3') 및 (3")에서, LiDAR 로컬화 프로세스(502) 및 레이더 로컬화 프로세스(504) 각각은 각자의 센서 데이터에 기초하여 위치 예측을 획득한다. LiDAR 센서 데이터 및 레이더 센서 데이터에 기초하여 위치를 검출하기 위한 다양한 기술들이 본 기술 분야에서 알려져 있다. 예를 들어, LiDAR 로컬화 프로세스(502) 및 레이더 로컬화 프로세스(504) 둘 모두는 각자의 데이터에 기초하여 몬테카를로(Monte Carlo) 로컬화를 구현할 수 있다. 몬테카를로 로컬화를 용이하게 하기 위해, 로컬화 시스템(606)은 영역 내의 다양한 위치들에서의 예상된 센서 판독치들을 반영하는 현재 지리적 영역의 기본 맵들에 액세스할 수 있다. 기본 맵들은, 예를 들어, 데이터베이스(410)에 저장될 수 있다.

몬테카를로 로컬화는 알려진 기술이며, 따라서 본원에서 상세히 기술될 필요가 없다. 그렇지만, 간단히 말하면, 몬테카를로 로컬화는 영역의 맵, 영역 내에서의 움직임, 및 과거의 가능한 위치들에 기초하여 차량(또는 다른 움직이는 디바이스)의 가능한 위치들을 예측하기 위해 재귀적 베이지안 추정(recursive Bayesian estimation)을 사용한다. 처음에, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량의 하나 이상의 시스템)은 영역 내의 가능한 위치들의 균일한 분포를 가정할 수 있다. 차량은 이어서 센서 데이터를 획득하고, 센서 데이터를 해당 영역의 맵과 비교할 수 있다(예를 들면, 예상되는 센서 데이터는 맵에서 주어진 위치에 있는 차량이었다). 차량은 이어서 예상된 센서 데이터가 획득된 센서 데이터와 정렬되는 맵 영역에서의 위치들에 보다 높은 가중치를 부여하기 위해 가능한 위치들의 그의 분포를 업데이트할 수 있다. 예를 들어, 센서 데이터가 특정 형상을 갖는 나무를 나타내는 경우, 차량은 해당 형상의 나무에 근접해 있는 맵 내의 위치들에 보다 높은 가중치를 제공할 수 있다. 차량은, 이전에 보다 높은 가중치를 부여받은 해당 위치들 주위의 가능한 위치들을 클러스터링하여, 가능한 위치들을 추가로 리샘플링할 수 있다. 그 후에, 차량은 움직일 수 있고, 새로운 센서 데이터를 획득할 수 있으며, 새로운 센서 데이터가 과거의 가능한 위치들 중 임의의 것으로부터의 움직임과 일치하는지 여부를 결정할 수 있다. 만약 그렇다면, 그 과거의 가능한 위치들에 보다 높은 가중치가 부여되고, 또다시 리샘플링이 이루어진다. 이 프로세스는 가능한 위치들이 차량의 예측된 위치에 수렴할 때까지 계속될 수 있다. 몬테카를로 로컬화는 때때로 입자 필터 로컬화(particle filter localization)라고도 지칭된다.

몬테카를로 로컬화를 사용할 때, LiDAR 로컬화(502) 및 레이더 로컬화(504) 각각의 출력은, 예를 들어, 각각의 유형의 로컬화로부터 결정되는 가능한 위치들의 무게 중심일 수 있다. 일부 실시예들에서, 출력은, 가능한 위치들의 통계적 측정치들(예를 들면, 분산의 측정치들)과 같은, 추가적인 데이터를 더 포함할 수 있다.

(4') 및 (4")에서, 각각의 로컬화 파이프라인(일반적으로 각자의 센서들 및 로컬화 프로세스들을 지칭함)으로부터의 예측된 위치들은 중복 로컬화 계산기(506)로 전달되며, 중복 로컬화 계산기(506)는 (예를 들면, 아래에서 논의되는, 도 6의 알고리즘(600)에 따라) 차량의 위치를 예측하기 위해 로컬화 시스템(606)에 의해 실행 가능한 코드를 나타낼 수 있다. 계산기(506)는, 차례로, 각자의 LiDAR 위치 예측 및 레이더 위치 예측에 기초하여, 차량의 위치를 예측하고/하거나 오류 상태를 표시한다.

일 실시예에서, 중복 로컬화 계산기(506)는 먼저 각각의 로컬화 파이프라인으로부터의 각자의 예측된 위치들에 기초하여 오류 상태가 존재하는지 여부를 검출하도록 작동한다. 예를 들어, 계산기(506)는 위치들이 임계 거리 이상 떨어져 있을 때마다 오류 상태가 존재한다(또는, 반대로, 위치들이 서로로부터 임계 거리 내에 있는 경우 오류 상태가 존재하지 않는다)고 결정할 수 있다. 일 실시예에서, 임계 거리는 정적이고 미리 구성된다. 다른 실시예에서, 임계 거리는, (예를 들면, 차선 폭, 영역의 혼잡도 등의 함수로서) 차량 속력 및 오류 공차(error tolerance) 중 하나 이상에 의해 특성화될 수 있는, 현재 조건들에 기초하여 동적이다. 일 예에서, 임계 거리는, 예를 들어, 보다 높은 이동 속력들에 대해 보다 큰 편차가 존재할 수 있다는 것을 반영하여, 차량 속력에 비례할 수 있다. 다른 예에서, 임계 거리는, 예를 들어, 고속으로 주행하는 것의 증가된 안전 위험을 반영하여, 차량 속력에 반비례할 수 있다. 유사하게, 임계 거리는 오류 공차에 따라, 예컨대, (예를 들면, 많은 정지 및/또는 이동 대상체들이 있는) 혼잡한 영역들에서 또는 루트 이탈이 최소화되어야 하는 영역들에서(예를 들면, 좁은 차선에서) 감소시키는 것에 의해, 변화될 수 있다. 일부 경우에, 동적 임계치 파라미터들은 이들 또는 다른 요인들에 기초하여 경험적으로 결정될 수 있고, 로컬화 시스템(606)은 그러한 경험적으로 결정된 파라미터들을 구현하고 그러한 파라미터들에 기초하여 임계 거리를 결정하도록 프로그래밍될 수 있다.

오류 상태가 존재하는 경우에, 로컬화 시스템(606)은, 경고를 발행하는 것, 차량을 정지시키는 것, 안전한 위치로 이동하는 것 등과 같은, 교정 및/또는 개선 조치를 취하도록 구성될 수 있다. 오류 처리는 아래에서 도 6에 보다 상세히 논의된다.

오류 상태가 존재하지 않는 경우에, 로컬화 시스템(606)은 입력 예측들에 기초하여 예측된 위치를 결정한다. 일 실시예에서, 예측된 위치는, 파이프라인들의 출력들의 예상 정확도, 과거 차량 위치들 등과 같은 요인들에 기초하여, 파이프라인들에 의해 제공되는 것들 중에서 선택될 수 있다. 예를 들어, 계산기(506)는, 레이더 기반 로컬화보다 LiDAR 기반 로컬화의 더 높은 예상 정확도에 기초하여, LiDAR 기반 위치 예측을 현재 예측된 차량 위치로서 선택할 수 있다. 다른 실시예들에서, 예측된 위치는, 평균 위치와 같은, 다수의 파이프라인들의 출력의 집계에 기초하여 설정될 수 있다. 평균은, 예를 들어, 각각의 파이프라인의 출력들의 예상 정확도에 기초하여 가중될 수 있다. 또 다른 실시예들에서, 각각의 입력 위치 예측에 대한 메타데이터는 예측된 차량 위치를 확정하는 데 사용될 수 있다. 예를 들어, 입력들은, 예를 들면, 각각의 입력 로컬화 예측을 생성하는 데 사용되는 추정치들의 분산에 기초하여 측정될 수 있는, 입력들의 예측된 독립적인 정확도에 따라 가중될 수 있다.

그 후에, 중복 로컬화 계산기(506)는 위치 표시 및/또는 오류 표시를 출력할 수 있다. 위에서 논의된 바와 같이, 표시되는 위치는 이어서, 예컨대, 루트(106)를 계획함에 있어서, 차량의 다양한 측면들을 제어하는 데 사용될 수 있다.

도 5a가 2 개의 로컬화 파이프라인(예를 들면, LiDAR 기반 파이프라인 및 레이더 기반 파이프라인)과 관련하여 논의되지만, 본 개시의 실시예들은 또한 3 개 이상의 파이프라인에 기초하여 작동될 수 있다. 3 개 이상의 독립적인 로컬화 파이프라인을 활용하기 위한 하나의 예시적인 상호작용 세트가 도 5b에 도시되어 있다. 구체적으로, 도 5b에서, 로컬화 파이프라인 세트는 추측 항법 파이프라인(508) 및 2 개 이상의 추가적인 파이프라인(510)을 포함한다. (도 5b는 총 3 개 이상의 파이프라인이 구현되도록 2 개 이상의 추가적인 파이프라인(510)을 묘사하지만, 일부 실시예들에서, 추측 항법이 하나의 다른 추가적인 파이프라인과 함께 사용될 수 있다.)

추측 항법은, 본 기술 분야에서 알려진 바와 같이, 이전에 결정된 위치(때때로 "픽스(fix)"라고 지칭됨) 및 속력, 방향 및 경과 시간의 추정들을 사용하여 현재 위치를 계산하는 것을 포함한다. 예를 들어, 주어진 위치에서 출발하여 1시간 동안 100 km/h의 속력으로 정북쪽으로 진행하는 차량은 주어진 위치로부터 정북쪽으로 100 km 떨어진 위치에 도착할 것으로 예상될 것이다. 추측 항법의 한 가지 이점은 추측 항법이 사용되는 입력들(예를 들면, 픽스, 속력, 방향 및 경과 시간)의 정밀도를 상속하고 랜덤성에 상대적으로 탄력적이지 않은 경향이 있다는 것이다. 즉, 추측 항법 로컬화는, 속력, 방향 및 경과 시간이 그러한 급격한 변화들을 뒷받침하지 않는 한, 급격한 위치 변화들을 나타낼 가능성이 없다. 그렇지만, 추측 항법은, 입력들(특히 속력 및 방향)에서의 작은 부정확성들이 다수의 계산들에 걸쳐 누적되기 때문에, 특히 장거리에 걸쳐, 종종 정확도가 낮다. 그에 따라, 위치를 나타내기 위해 추측 항법에만 의존하는 것은 불충분할 수 있다. 그럼에도 불구하고, 이러한 특성들은 추측 항법이 종종 매우 정확하지만 때로는 부정확할 수 있는, LiDAR와 같은, 다른 로컬화 파이프라인들과 유익하게 결합되는 것을 가능하게 한다.

추측 항법 파이프라인(508)을 구현하기 위한 프로세스는 도 5b에 보다 상세히 도시되어 있다. 구체적으로, (1')에서, 모션 및 방향 센서들(510)은 차량에 대한 모션 및 방향 데이터를 획득하고, 이는, (2")에서, 추측 항법 로컬화 프로세스(512)에 전달된다. 모션 및 방향 데이터는, 예를 들어, 속력계 판독치, 휠 원격 측정(예를 들면, 조향 휠이 어느 정도 회전되는지), 나침반 방위 정보, 틸트 센서들 등을 포함할 수 있다. 예를 들어, 모션 및 방향 데이터는 차량이 주어진 속력(예를 들면, 100km/h)으로 주어진 코스 상에서(예를 들면, 정북쪽으로) 진행하고 있음을 나타낼 수 있다.

(3')에서, 추측 항법 로컬화 프로세스(512)는 입력 데이터는 물론 차량의 이전 위치에 기초하여 추측 항법 위치 예측을 획득한다. 이전 위치는, 예를 들어, 도 5b의 상호작용들의 이전 구현에 기초하여 또는 초기화 값(예를 들면, 차량 시동 시의 GPS 위치)에 기초하여 확정될 수 있다. 보다 구체적으로, 알려진 추측 항법 기술들에 따르면, 이전 위치가 확정된 이후의 속력, 방향 및 경과 시간에 기초하여 이전 위치를 수정하는 것에 의해 추측 항법 위치가 획득될 수 있다. 추측 항법 위치 예측은 이어서, (4')에서, 중복 로컬화 계산기(506)로 송신된다.

위에서 언급된 바와 같이, 추측 항법 파이프라인(508)의 구현 외에도, 로컬화 시스템(606)은 2 개 이상의 다른 로컬화 파이프라인(510)을 구현한다. 각각의 파이프라인의 작동은 위에서 논의된 LiDAR 기반 로컬화 파이프라인 및 레이더 기반 로컬화 파이프라인과 일반적으로 유사할 수 있다. 보다 구체적으로, 각각의 파이프라인은, (1")에서, 주어진 유형의 센서(514)(도 5b에서 "유형 i"로서 표기됨)에 대한 센서 데이터를 획득하고, (2")에서 해당 센서 데이터를 각자의 데이터 유형에 대한 로컬화 프로세스(516)로 송신하며, 이어서 (3")에서 각자의 데이터 유형에 대한 위치 예측을 획득할 수 있다. 이러한 로컬화 예측은 이어서 (4")에서 중복 로컬화 계산기(506)로 포워딩될 수 있다. LiDAR 기반 파이프라인 및 레이더 기반 파이프라인 외에도, 다른 로컬화 파이프라인들(510)은, 비제한적인 예로서, GPS 기반 로컬화 파이프라인들, 랜드마크 기반 로컬화 파이프라인들, 카메라 기반 로컬화 파이프라인들, VSLAM(Video SLAM) 로컬화 파이프라인들을 포함한 SLAM(simultaneous location and mapping) 로컬화 파이프라인들, 음향(예를 들면, 사운드 기반) 로컬화 파이프라인들, 및 가속도계 기반 로컬화 파이프라인들을 포함할 수 있다.

위에서 논의된 바와 같이, 다수의 파이프라인들로부터 위치 예측들을 획득할 때, 중복 로컬화 계산기(506)는, (5)에서, 획득된 위치 예측들에 기초하여 위치를 예측하고/하거나 오류 상태를 검출한다. 따라서 도 5b에서의 (5)의 상호작용들은 도 5a의 상호작용(5)의 상호작용들과 다소 유사하다. 그렇지만, 위에서 논의된 상호작용은 이러한 3 개 이상의 파이프라인의 사용을 고려하도록 수정될 수 있다. 예를 들어, 임계 수의(예를 들면, m 개 중 n 개의) 파이프라인이 현재 위치에 "동의"하지 않는 한, 오류 상태에 진입할 수 있다. 이 맥락에서의 "동의"는, 예를 들어, 서로로부터 임계 거리 내에 있음에 기초하여 표시될 수 있다. 예를 들어, 3 개의 파이프라인이 존재하는 경우에, 시스템(606)은 각각의 파이프라인 쌍의 쌍별 비교를 구현할 수 있고, 적어도, 예를 들면, 2 개의 파이프라인이 서로로부터 임계 거리 내에 있는 위치를 나타내지 않는 한, 오류를 표시할 수 있다. 유사하게, 4 개의 파이프라인이 존재하는 경우에, 시스템(606)은 각각의 파이프라인 쌍의 쌍별 비교를 구현할 수 있고, 적어도, 예를 들면, 3 개의 파이프라인이 서로로부터 임계 거리 내에 있는 위치를 나타내지 않는 한, 오류를 표시할 수 있다. 다소 유사하게, 시스템(606)은 충분한 수의 위치들 내의 해당 위치들로부터 임계 거리 내에 있는 충분한 수의 위치들 사이의 무게 중심이 확정될 수 있을 때(예를 들면, 무게 중심이 별개의 로컬화 파이프라인들에 의해 제공되는 적어도 n 개의 위치로부터 x 미만의 거리에 있도록 무게 중심이 존재할 때) 동의를 결정할 수 있다. 다른 실시예들에서, 각각의 파이프라인의 출력들은 예상 정확도에 따라 스코어링되거나 가중될 수 있고, 모든 "동의하는" 로컬화들의 총 스코어가 임계 스코어를 초과하지 않는 한, 오류 상태가 표시될 수 있다. 예를 들어, 위치를 확정하는 데 2 개의 매우 정확한 파이프라인으로 충분할 수 있지만, 임계 스코어를 충족시키기 위해서는 3 개 이상의 덜 정확한 파이프라인이 필요할 수 있다. 예측된 위치 및/또는 오류 상태를 확정한 후에, 해당 위치 및/또는 오류 상태의 표시가 (6)에서 출력된다.

추가적으로, 추측 항법 파이프라인(508)을 구현할 때, 중복 로컬화 계산기(506)는, (7)에서, 예측된 위치에 기초하여 추측 항법 픽스 위치를 업데이트할 수 있다. 일 실시예에서, 픽스는 상호작용(5)에서 오류 상태가 결정되지 않을 때에만 업데이트되고, 픽스는 상호작용(5)에서 예측되는 위치와 일치하도록 업데이트된다. 다른 실시예에서, 픽스는 별개의 픽스 업데이트 기준들이 충족될 때에만 업데이트된다. 픽스 업데이트 기준들은, 예를 들어, 추측 항법 파이프라인(508)에 대응하는 입력을 제외하고, 비-오류 상태 기준들과 유사하게 설정될 수 있다. 즉, 추측 항법 위치 예측의 이점 없이, 상호작용(5)과 유사한 결정이 수행될 수 있다. 이것은, 예를 들어, 추측 항법 예측에서의 오류들의 누적을 방지할 수 있다. 예를 들어, m 개 중 n 개의 다른 파이프라인(510)이 현재 위치에 "동의"하는 한, 추측 항법 픽스가 업데이트될 수 있다. 일부 경우에, 픽스 업데이트 기준들은 그러한 동의가 충분한 기간 또는 충분한 수의 간격 동안 존재할 것을 요구할 수 있다. 예를 들어, 계산기(506)는, 적어도 2 개의 다른 로컬화 파이프라인이 m 개 중 적어도 마지막 n 개의 위치 예측 기간 등 동안, 적어도 n초 동안 현재 위치에 관해 동의하는 한, 픽스를 현재 예측된 위치로 업데이트할 수 있다. 픽스를 주기적으로 업데이트하는 것에 의해, 추측 항법 파이프라인(508)에서의 드리프트 및 누적 오류가 최소화될 수 있다. 더욱이, 추측 항법 파이프라인(508)은 다른 로컬화 파이프라인들(510)과 비교하여 위치 예측의 상대적 안정성을 제공할 수 있어, 다른 파이프라인들(510)에서 발생하는 일시적인 "문제"의 존재 시에도 예측된 위치의 정확도를 가능하게 한다.

도 6을 참조하여, 센서 데이터 및 검증되지 않은 시맨틱 주석들을 포함하는 입력들에 기초하여 예측된 시맨틱 주석들을 제공하는 트레이닝된 ML 모델을 생성하기 위한 예시적인 루틴(600)이 기술될 것이다. 루틴(600)은, 예를 들어, 로컬화 시스템(606)에 의해 구현될 수 있다.

루틴(600)은, 도 6에서 제1 로컬화 파이프라인(610) 및 제2 로컬화 파이프라인(620)으로서 도시된, 적어도 2 개의 로컬화 파이프라인을 구현하는 것으로 시작된다. 위에서 논의된 바와 같이, 로컬화 파이프라인들의 예들은 LiDAR 기반 파이프라인들, 레이더 기반 파이프라인들, GPS 기반 로컬화 파이프라인들, 랜드마크 기반 로컬화 파이프라인들, 카메라 기반 로컬화 파이프라인들, VSLAM(Video SLAM) 로컬화 파이프라인들을 포함한 SLAM(simultaneous location and mapping) 로컬화 파이프라인들, 음향(예를 들면, 사운드 기반) 로컬화 파이프라인들, 가속도계 기반 로컬화 파이프라인들, 및 추측 항법 기반 파이프라인들을 포함한다. 각각의 파이프라인(610 및 620)은 예시적으로, 블록들(612 및 622)에 제각기 도시된 바와 같이, 차량(102)의 위치 및/또는 움직임에 관한 센서 데이터를 획득한다. 각각의 파이프라인(610 및 620)은, 블록들(614 및 624)에서 제각기, 차량(102)의 예측된 위치를 결정하기 위해 그러한 센서 데이터를 추가로 사용한다. 예를 들어, 각각의 파이프라인은 센서 데이터를 잠재적인 위치들에서의 예상 데이터와 비교하는 것, 및, 예컨대, 위에서 논의된 바와 같은 몬테카를로 로컬화를 통해, 과거 움직임을 고려하여 각각의 잠재적인 위치에서의 센서 데이터를 획득할 가능성을 추정하는 것을 포함할 수 있다. 다른 예들에서, 센서 데이터는, 예컨대, 본 기술 분야에서 알려진 바와 같은 GPS 기반 로컬화를 통해, 과거 움직임을 참조하지 않고 위치를 직접 추정하는 데 사용될 수 있다. 또 다른 예들에서, 센서 데이터는, 예컨대, 추측 항법 기반 로컬화를 통해, 고정된 지점으로부터의 움직임만을 참조하여 위치를 추정하는 데 사용될 수 있다. 일 실시예에서, 파이프라인들(610 및 620)로부터의 위치 예측들이 완전히 독립적이도록, 각각의 파이프라인(610 및 620)은 상이한 유형의 센서 데이터를 활용한다. 다른 실시예에서, 2 개 이상의 파이프라인은 동일한 센서 데이터(또는 부분적으로 중첩되는 센서 데이터 세트)를 활용하여, 상이한 로컬화 알고리즘들을 통해 프로세싱한다. 2 개의 로컬화 파이프라인이 도 6에 도시되어 있지만, 루틴(600)은 임의의 2 개 이상의 파이프라인을 포함할 수 있다. 일 실시예에서, 구현되는 특정 파이프라인들은 루틴(600)을 구현할 때 정확도, 정밀도 및 탄력성의 조합을 제공하도록 선택될 수 있다. 예를 들어, 몬테카를로 로컬화 프로세스를 사용하는 로컬화 파이프라인은 몬테카를로 로컬화에서의 랜덤한 오류들(예를 들면, 예측 위치에서의 "점핑(jumping)")의 가능성을 해결하기 위해 추측 항법에 기초한 로컬화 파이프라인과 조합될 수 있다.

블록(630)에서, 로컬화 시스템(606)은 각각의 파이프라인(610, 620)으로부터 예측된 위치들을 비교하여 2 개의 위치 간의 차이들이 임계 값을 충족시키는지 여부를 결정한다. 일 실시예에서, 임계 값은 정적(예를 들면, 10 센티미터, 1 미터 등)이다. 다른 실시예에서, 임계 값은, 차량 속력, 위치 혼잡도, 차선 폭과 같은, 다른 요인들에 기초하여 동적이다. 이러한 요인들을 정량화하기 위한 다양한 기술들이 본 기술 분야에서 알려져 있다. 예를 들어, 차량 속도계는 속력을 추적할 수 있고, 차선 추적 카메라들은 차선 폭을 추적할 수 있으며, LiDAR 센서, 레이더 센서들 또는 카메라들은 인근의 대상체들 등을 식별할 수 있다. 시스템(606)은 예시적으로 이들 또는 다른 요인들의 가중 결합에 기초하여 임계 값을 결정하도록 미리 구성될 수 있다.

2 개의 파이프라인(610 및 620)이 구현되는 경우, 블록(630)은 양쪽 예측된 위치들이 서로로부터 임계치 내에 있는 경우 참(true)으로 평가될 수 있다. 2 개 초과의 파이프라인이 구현되는 경우, 블록(630)은 모든 파이프라인들로부터의 모든 예측된 위치들의 합계가 위치들에 대한 집계 기준들을 충족시킬 때 참으로 평가될 수 있다. 예시적으로, 집계 기준들은, m 개 중 n 개의 파이프라인이 서로로부터 임계 거리 내에 있는 위치를 제공할 때, 또는 현재 위치에 관해 "동의"하는 모든 파이프라인들에 걸친 총 스코어 또는 가중치가 임계 양일 때(예를 들면, 해당 파이프라인 출력의 예측된 정확도 또는 신뢰성에 따라, 개별 위치들이 스코어링되거나 가중됨), 블록이 참으로 평가되도록 지정할 수 있다. 위에서 언급된 바와 같이, "동의"는, 예를 들어, 출력 쌍 간의 쌍별 비교가 임계 거리 미만의 값을 결과한다는 것, 또는 2 개의 출력이, 서로로부터 임계 거리 내에 있는 모든 출력들의 무게 중심과 같은, 제3 위치로부터 임계 거리 내에 있다는 것을 나타낼 수 있다.

블록(630)이 참으로 평가될 때, 루틴(600)은, 차량 위치가 입력 위치들 중 적어도 하나에 기초하여 설정되는, 블록(632)으로 진행한다. 일 실시예에서, 각각의 파이프라인에는 선호도 또는 예상 정확도 값이 할당되고, 위치는 가장 높은 선호도 또는 예상 정확도를 갖는 위치로 설정된다. 다른 실시예에서, 위치는, 평균 위치와 같은, 다수의 파이프라인들의 출력의 집계에 기초하여 설정될 수 있다. 평균은, 예를 들어, 각각의 파이프라인의 출력들의 예상 정확도에 기초하여 가중될 수 있다. 블록(630)을 충족시키기 위해 위치들의 서브세트만이 사용되는 경우에(예를 들면, 3 개 중 2 개의 파이프라인이 "동의"하는 경우에), 로컬화 시스템(606)이 동의하지 않는 파이프라인들로부터의 위치들에 기초하여 차량 위치를 설정하지 않도록, 위치가 해당 서브세트로부터 설정될 수 있다. 루틴(600)은 이어서 블록(640)에서 종료된다.

블록(630)이 거짓(false)으로 평가될 때, 루틴(600)은, 로컬화 시스템(606)이 위치 오류를 보고하는, 블록(634)으로 진행한다. 위치 오류를 보고하는 것은, 예를 들어, 인간 조작자에게 통지하는 것, 오류를 로그 파일에 로깅하는 것 등을 포함할 수 있다.

일반적으로, 단일 위치 오류는 차량의 작동에 지장을 주지 않을 수 있다. 예를 들어, 예를 들면, 단일 오류가 작동 동안 문제를 일으키지 않도록, 로컬화가 상대적으로 빠른 간격으로(예를 들면, 몇 초마다, 초당 여러 번 등) 발생할 수 있다. 그렇지만, 임계 기간 동안 위치를 확정하지 못하면 교정 또는 개선 조치가 취해지게 하도록, 차량(102)이 안전 임계치로 구성될 수 있다. 그에 따라, 루틴(600)은, 로컬화 시스템(606)이 안전 임계치가 초과되었는지 여부를 결정하는, 블록(636)으로 진행한다. 임계치는 일반적으로 (예를 들면, 블록(632)에서) 차량 위치를 마지막으로 성공적으로 설정한 이후 최대 시간 기간 또는 최대 로컬화 간격 수(예를 들면, 각각이 루틴(600)의 구현에 대응함)를 나타낼 수 있다. 일 실시예에서, 임계치는 정적이고 미리 구성된다. 예를 들어, 임계치는 1초, 2초 등으로 설정될 수 있다. 다른 실시예에서, 임계치는, 차량 속력, 위치 혼잡도, 차선 폭과 같은 요인들에 기초하여, 동적이다. 예를 들어, 임계치는 속력 또는 혼잡도가 증가함에 따라 감소할 수 있고, 차선 폭이 감소함에 따라 감소할 수 있다. 이 임계치가 초과되지 않는 경우, 루틴 600은 블록(640)에서 종료된다. 그렇지만, 임계치가 초과된 경우 - 예를 들면, 임계 수의 간격, 초 등 동안 성공적인 로컬화가 발생하지 않은 경우 -, 블록(636)은 거짓으로 평가되고, 루틴(600)은 차량(102)이 교정 조치를 취하는 블록(638)으로 진행한다. 예를 들어, 차량(102)은 인간 조작자에게 긴급 통지를 발행하거나, 속력을 낮추거나, 안전한 위치(예를 들면, 갓길)에 차를 세우거나, 이들의 조합을 수행할 수 있다. 이러한 방식으로, 충분한 기간 동안 로컬화가 실패하더라도, 승객들, 차량, 및 인근의 사람들 및 대상체들의 안전이 보장될 수 있다. 루틴(600)은 이어서 블록(640)에서 종료된다.

도 6이 예시적인 루틴(600)을 묘사하지만, 그러한 루틴의 다양한 수정들이 본원에서 고려된다. 예를 들어, 위에서 언급된 바와 같이, 추측 항법 기반 로컬화 파이프라인이 구현될 때, 추측 항법 계산을 위해 "픽스"(예를 들면, 초기 위치)를 업데이트하는 것이 바람직할 수 있다. 일 실시예에서, "픽스"는 블록(632)의 각각의 구현에서 차량 위치와 일치하도록 업데이트된다. 다른 실시예에서, 루틴(600)은, 예를 들면, 블록(630)에 후속하여 추가적인 로직을 포함하도록 수정될 수 있다. 예를 들어, 충분한 수의 다른(예를 들면, 추측 항법 기반이 아닌) 로컬화 파이프라인들이 현재 위치에 관해 "동의"하는 한, 추측 항법에 대한 픽스가 업데이트될 수 있다. 일부 예들에서, 충분한 수의 다른 로컬화 파이프라인들이 임계 기간 동안 현재 위치에 관해 동의할 때에만 픽스가 업데이트될 수 있다. 따라서, 추측 항법에서의 누적 오류의 가능성이 감소되거나 제거되도록, 다른 파이프라인들의 위치들이 초기 추측 항법 위치를 업데이트하는 데 사용될 수 있다.

다른 예로서, 로컬화의 관점에서 기술되어 있지만, 루틴(600)은 추가적으로 또는 대안적으로, 차량의 배향과 같은 포즈 측면들을 검출하기 위해, 포즈 검출을 구현할 수 있다. 위에서 기술된 바와 유사하게, 다수의 포즈 파이프라인들이 상이한 유형의 센서 데이터(예를 들면, LiDAR, 레이더, 주행 거리 측정 등)에 기초하여 구현될 수 있으며, (예를 들면, 블록(630)에서) 출력들이 임계 값을 충족시키는지 여부를 결정하기 위해 각각의 파이프라인의 출력들이 비교될 수 있다. 출력들이 값을 충족시키는 경우에, 차량 포즈가 업데이트될 수 있다. 그렇지 않은 경우, 차량(102)은 오류들을 기록하거나 보고하고, 교정 또는 개선 조치를 취하는 등을 할 수 있다. 따라서 위치 검출에 관련한 위의 논의는 잠재적으로 포즈 검출에도 적용되는 것으로 이해되어야 한다. 일부 실시예들에서, 루틴은 포즈 검출 및 위치 검출 둘 모두를 구현하도록 수정될 수 있거나, 또는 (예를 들면, 공통 센서 데이터에 기초하여) 제1 인스턴스가 포즈를 검출하고 다른 인스턴스가 위치를 검출하도록 루틴(600)의 다수의 인스턴스들이 결합될 수 있다.

게다가, 루틴(600)의 단일 인스턴스가 위에서 기술되어 있지만, 본 기술 분야의 통상의 기술자는 로컬화 시스템(606)이 적어도 부분적으로 동시에 발생할 수 있는 다수의 인스턴스들을 구현할 수 있음을 이해할 것이다. 예를 들어, 루틴(600)의 이전 인스턴스들이 여전히 발생하고 있는 동안, 각각의 간격마다 루틴(600)의 새로운 인스턴스가 발생할 수 있다. 따라서, 루틴(600)이, 예를 들면, 임의의 주어진 시간에 로컬화 시스템(606)의 전체 동작들 중 작은 부분만을 반영할 수 있음이 이해되어야 한다.

전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.

Claims (1)

1. 방법으로서,
   차량의 적어도 하나의 프로세서에 의해, 제1 차량 위치를 결정하기 위해 제1 로컬화 파이프라인을 구현하는 단계 - 상기 제1 로컬화 파이프라인을 구현하는 단계는:
   제1 센서 유형의 제1 센서로부터, 상기 차량의 위치 또는 움직임 중 적어도 하나와 연관된 제1 센서 데이터를 획득하는 단계, 및
   상기 차량의 위치 또는 움직임 중 적어도 하나와 연관된 상기 제1 센서 데이터에 기초하여, 상기 제1 차량 위치를 결정하는 단계를 포함함 -;
   상기 차량의 적어도 하나의 프로세서에 의해, 제2 차량 위치를 결정하기 위해 제2 로컬화 파이프라인을 구현하는 단계 - 상기 제2 로컬화 파이프라인을 구현하는 단계는:
   제2 센서 유형의 제2 센서로부터, 상기 차량의 위치 또는 움직임 중 적어도 하나와 연관된 제2 센서 데이터를 획득하는 단계, 및
   상기 차량의 위치 또는 움직임 중 적어도 하나와 연관된 상기 제2 센서 데이터로부터, 상기 제2 차량 위치를 결정하는 단계를 포함함 -;
   상기 차량의 적어도 하나의 프로세서에 의해, 상기 제1 차량 위치와 상기 제2 차량 위치 사이의 차이가 임계치를 충족시키는지 여부를 결정하기 위해 상기 제1 차량 위치와 상기 제2 차량 위치를 비교하는 단계; 및
   상기 제1 차량 위치와 상기 제2 차량 위치 사이의 차이가 상기 임계치를 충족시키지 않는다고 결정하는 것에 응답하여, 상기 차량의 적어도 하나의 프로세서에 의해, 위치 오류 경고를 생성하는 단계
   를 포함하는, 방법.

Images