KR102546511B1 - 자율 차량들을 위한 중복성 하드웨어 시스템 - Google Patents

자율 차량들을 위한 중복성 하드웨어 시스템 Download PDF

Info

Publication number
KR102546511B1
KR102546511B1 KR1020237008784A KR20237008784A KR102546511B1 KR 102546511 B1 KR102546511 B1 KR 102546511B1 KR 1020237008784 A KR1020237008784 A KR 1020237008784A KR 20237008784 A KR20237008784 A KR 20237008784A KR 102546511 B1 KR102546511 B1 KR 102546511B1
Authority
KR
South Korea
Prior art keywords
vehicle
sensors
fallback
driving
sensor
Prior art date
Application number
KR1020237008784A
Other languages
English (en)
Other versions
KR20230042393A (ko
Inventor
에밀리 치
라이언 조셉 안드라데
안드레아스 웬델
마이클 제임스
크리스티안 라우터바흐
에타이 브루히스
크리스토퍼 케네디 루드윅
알렉산더 즈브로제크
피터 카프센버그
주위안 류
다니엘 로젠밴드
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20230042393A publication Critical patent/KR20230042393A/ko
Application granted granted Critical
Publication of KR102546511B1 publication Critical patent/KR102546511B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00186—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023—Avoiding failures by using redundant parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00182—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions in response to weather conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/228—Command input arrangements located on-board unmanned vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0292—Fail-safe or redundant systems, e.g. limp-home or backup systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Hardware Redundancy (AREA)
  • Multi Processors (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 기술은 자율 주행 모드로 동작할 수 있는 차량들을 위한 부분 중복 장비 아키텍처들에 관한 것이다. 본 기술의 양태들은 차량 주변의 소정의 최소량의 시야(FOV)를 제공하는 둘 이상의 폴백 센서 구성과 같은 폴백 구성들을 사용한다(도 11b, 도 11c, 및 도 11d). 예를 들어, 상이한 센서 배열들은 차량의 상이한 동작 도메인들에 논리적으로 연관된다(도 12). 컴퓨팅 자원들(1202a, 1202b) 및/또는 전력 자원들(1302a, 1302b)에 대한 폴백 구성들도 제공된다. 각각의 폴백 구성은 트리거되는 상이한 이유들을 가질 수 있으며(1408), 상이한 유형들의 폴백 동작 모드들(1410, 1412)을 야기할 수 있다. 트리거 조건들은, 예를 들어 고장 유형, 결함 또는 컴포넌트 능력의 다른 저하, 현재 주행 모드, 차량 주변의 또는 계획된 경로를 따르는 환경 조건, 또는 다른 요인들에 관련될 수 있다. 폴백 모드들은 이전에 계획된 궤적을 변경하는 것, 차량 속도를 변경하는 것, 및/또는 차량의 목적지를 변경하는 것을 수반할 수 있다.

Description

자율 차량들을 위한 중복성 하드웨어 시스템{REDUNDANT HARDWARE SYSTEM FOR AUTONOMOUS VEHICLES}
관련 출원들에 대한 상호 참조
본 출원은 2018년 12월 11일자로 출원된 미국 출원 번호 제16/215,713호의 이익을 주장하고, 2018년 11월 5일자로 출원되고 발명의 명칭이 "자율 주행 차량들을 위한 폴백 거동들을 구현하기 위한 시스템들(Systems for Implementing Fallback Behaviors for Autonomous Vehicles)"이며 대리인 정리번호가 XSDV 3.0F-2059인 공동 계류 중인 미국 출원 번호 제16/180,267호에 관련되며, 그들의 전체 개시내용은 본원에 참조로 포함된다.
인간 운전자를 필요로 하지 않는 차량들과 같은 자율 주행 차량들은 승객 또는 화물을 하나의 위치로부터 다른 위치로 운송하는 데 도움을 주기 위해 사용될 수 있다. 이러한 차량들은 완전 자율 모드, 또는 사람이 소정의 주행 입력을 제공할 수 있는 부분 자율 모드로 동작할 수 있다. 자율 모드로 동작하기 위해, 차량은 센서들을 이용할 수 있고, 수신된 센서 정보를 사용하여 다양한 주행 동작들을 수행할 수 있다. 그러나, 시스템의 센서 또는 다른 컴포넌트가 고장나거나 다르게 능력 저하를 겪는 경우, 이것은 차량의 주행 능력들에 부정적인 영향을 미칠 수 있다.
본 기술은 완전 또는 부분 자율 주행 모드들에서 동작하도록 구성되는 차량들 내의 센서, 컴퓨팅 및 전력 시스템을 위한 중복 아키텍처들(redundant architectures)에 관한 것이다. 모든 컴포넌트 및 서브시스템의 완전한 중복성을 갖는 것이 가능할 수 있지만, 이는 특히 센서 모음들의 크기 및 배치, 및 비용과 같은 다른 제한 요인들에 제약을 갖는 차량들의 경우 실현가능하지 않을 수 있다. 따라서, 본 기술의 양태들은 부분 중복성을 위해 폴백 구성들을 사용한다. 예를 들어, 폴백 센서 구성들은 차량 주위의 소정의 최소량의 시야(FOV)는 물론, 인식 및 계획 프로세싱을 위한 최소량의 컴퓨팅 파워를 제공할 수 있다.
본 기술의 양태들에 따르면, 차량은 자율 주행 모드로 동작하도록 구성된다. 차량은 주행 시스템, 인식 시스템, 및 제어 시스템을 포함한다. 주행 시스템은 자율 주행 모드에서 차량의 주행을 제어하기 위한 조향 서브시스템, 가속 서브시스템, 및 감속 서브시스템을 포함한다. 인식 시스템은 차량 주위의 환경에 관한 정보를 검출하도록 구성되는 복수의 센서를 갖는다. 복수의 센서는 제1 동작 도메인에 연관된 제1 센서 세트 및 제2 동작 도메인에 연관된 제2 센서 세트를 포함한다. 제어 시스템은 주행 시스템 및 인식 시스템에 동작가능하게 결합된다. 제어 시스템은 제1 동작 도메인에 연관된 제1 컴퓨팅 서브시스템 및 제2 동작 도메인에 연관된 제2 컴퓨팅 서브시스템을 포함한다. 제1 및 제2 컴퓨팅 서브시스템 각각은 하나 이상의 프로세서를 갖는다. 제1 및 제2 컴퓨팅 서브시스템은 각각 제1 동작 모드에서 제1 센서 세트 및 제2 센서 세트 중 하나 또는 둘 다로부터 센서 데이터를 수신하도록 구성된다. 제1 동작 모드에서 수신된 센서 데이터에 응답하여, 제어 시스템은 자율 주행 모드에서 차량을 주행시키도록 주행 시스템을 제어하도록 구성된다. 복수의 센서 중 하나 이상에 대한 오류 조건 시에, 제1 컴퓨팅 서브시스템은 제1 동작 도메인 내의 제1 센서 세트로부터의 센서 데이터만을 프로세싱하도록 구성되고, 제2 컴퓨팅 서브시스템은 제2 동작 도메인 내의 제2 센서 세트로부터의 센서 데이터만을 프로세싱하도록 구성된다. 그리고, 오류 조건에 응답하여, 제1 컴퓨팅 서브시스템 또는 제2 컴퓨팅 서브시스템 중 하나만이 폴백 주행 모드에서 주행 시스템을 제어하도록 구성된다.
예에서, 제1 및 제2 센서 세트 각각은 라이다 센서들, 레이더 센서들, 카메라 센서들, 청각 센서들, 및 포지셔닝 센서들로 이루어진 그룹으로부터 선택되는 적어도 하나의 센서를 포함한다. 여기서, 제1 및 제2 센서 세트 각각은 라이다, 레이더 및 카메라 센서들의 각자의 그룹을 포함할 수 있고, 각각의 그룹은 차량 주위의 환경의 선택된 시야를 제공한다.
제1 센서 세트 내의 센서들 각각은 각자의 시야를 가질 수 있고, 제2 센서 세트 내의 센서들 각각은 각자의 시야를 가질 수 있으며, 이 경우 제2 센서 세트의 각자의 시야들은 제1 센서 세트의 각자의 시야들과 상이하다. 하나 이상의 내부 센서가 차량의 내부에 배치될 수 있다. 하나 이상의 내부 센서는 카메라 센서, 청각 센서 및 적외선 센서 중 적어도 하나를 포함한다.
다른 예에서, 폴백 주행 모드는 제1 폴백 모드 및 제2 폴백 모드를 포함한다. 제1 폴백 모드는 제1 주행 동작 세트를 포함하고, 제2 폴백 모드는 제1 주행 동작 세트와는 상이한 제2 주행 동작 세트를 포함한다. 이 예에서, 제1 컴퓨팅 서브시스템은 제1 폴백 모드에서 주행 시스템을 제어하도록 구성되고, 제2 컴퓨팅 서브시스템은 제2 폴백 모드에서 주행 시스템을 제어하도록 구성된다.
또 다른 예에서, 차량은 제1 및 제2 전력 분배 서브시스템을 더 포함한다. 여기서, 폴백 주행 모드에서, 제1 전력 분배 서브시스템은 제1 동작 도메인의 디바이스들에만 전력을 공급하기 위해 제1 동작 도메인에 연관된다. 또한, 폴백 주행 모드에서, 제2 전력 분배 시스템은 제2 동작 도메인의 디바이스들에만 전력을 공급하기 위해 제2 동작 도메인에 연관된다. 그리고, 제1 및 제2 동작 도메인은 서로 전기적으로 격리된다. 이 경우에서, 제1 전력 분배 서브시스템은 제1 동작 모드에서 제1 기본 차량 부하 세트에 전력을 제공하고 폴백 주행 모드에서 제1 동작 도메인의 디바이스들에 전력을 제공하도록 구성될 수 있고, 제2 전력 분배 서브시스템은 제1 동작 모드에서 제1 기본 차량 부하 세트와는 상이한 제2 기본 차량 부하 세트에 전력을 제공하고 폴백 주행 모드에서 제2 동작 도메인의 디바이스들에 전력을 제공하도록 구성될 수 있다.
추가 예에서, 인식 시스템의 복수의 센서는 제1 컴퓨팅 서브시스템에 동작가능하게 결합된 제1 폴백 센서 세트; 제2 컴퓨팅 서브시스템에 동작가능하게 결합된 제2 폴백 센서 세트; 및 비-폴백 센서 세트(set of non-fallback sensors)를 포함한다. 이러한 시나리오에서, 비-폴백 센서 세트는 제1 컴퓨팅 서브시스템 및 제2 컴퓨팅 서브시스템 중 하나 또는 둘 다에 동작가능하게 결합될 수 있다. 그리고, 또 다른 예에서, 인식 시스템의 복수의 센서는 폴백 주행 모드에서 제1 및 제2 컴퓨팅 서브시스템 둘 다에 동작가능하게 결합되는 센서 서브세트를 포함한다.
본 기술의 다른 양태에 따르면, 자율 주행 모드에서 차량을 동작시키는 방법이 제공된다. 방법은 차량의 인식 시스템의 복수의 센서에 의해 차량 주위의 환경에 관한 정보를 검출하는 단계 - 복수의 센서는 제1 동작 도메인에 연관된 제1 센서 세트 및 제2 동작 도메인에 연관된 제2 센서 세트를 포함함 -; 차량의 제어 시스템에 의해, 차량 주위의 환경에 관한 검출된 정보를 센서 데이터로서 수신하는 단계 - 제어 시스템은 제1 동작 도메인에 연관된 제1 컴퓨팅 서브시스템 및 제2 동작 도메인에 연관된 제2 컴퓨팅 서브시스템을 포함함 -; 제1 동작 모드에서 센서 데이터를 수신하는 것에 응답하여, 제어 시스템이 자율 주행 모드에서 차량을 주행시키도록 차량의 주행 시스템을 제어하는 단계; 복수의 센서 중 하나 이상에 대한 오류 조건을 검출하는 단계; 오류 조건의 검출 시에, 제1 컴퓨팅 서브시스템이 제1 동작 도메인 내의 제1 센서 세트로부터의 센서 데이터만을 프로세싱하고, 제2 컴퓨팅 서브시스템이 제2 동작 도메인 내의 제2 센서 세트로부터의 센서 데이터만을 프로세싱하는 단계; 및 오류 조건에 응답하여, 제1 컴퓨팅 서브시스템 또는 제2 컴퓨팅 서브시스템 중 하나만이 폴백 주행 모드에서 주행 시스템을 제어하는 단계를 포함한다.
일례에서, 폴백 주행 모드는 제1 폴백 모드 및 제2 폴백 모드를 포함하는 복수의 폴백 모드를 포함한다. 이 경우, 제1 폴백 모드는 제1 주행 동작 세트를 포함할 수 있고, 제2 폴백 모드는 제1 주행 동작 세트와는 상이한 제2 주행 동작 세트를 포함할 수 있다. 이 경우, 폴백 주행 모드에서 주행 시스템을 제어하는 단계는: 제1 컴퓨팅 서브시스템이 제1 폴백 모드에서 주행 시스템을 제어하는 단계; 또는 제2 컴퓨팅 서브시스템이 제2 폴백 모드에서 주행 시스템을 제어하는 단계를 포함할 수 있다.
다른 예에서, 방법은 폴백 주행 모드에서, 차량의 제1 전력 분배 서브시스템에 의해 제1 동작 도메인의 디바이스들에만 전력을 공급하는 단계; 및 차량의 제2 전력 분배 서브시스템에 의해 제2 동작 도메인의 디바이스들에만 전력을 공급하는 단계를 더 포함한다. 이러한 시나리오에서, 제1 전력 분배 서브시스템은 제1 동작 모드에서 제1 기본 차량 부하 세트에 전력을 제공하고 폴백 주행 모드에서 제1 동작 도메인의 디바이스들에 전력을 제공할 수 있고; 제2 전력 분배 서브시스템은 제1 동작 모드에서 제1 기본 차량 부하 세트와는 상이한 제2 기본 차량 부하 세트에 전력을 제공하고 폴백 주행 모드에서 제2 동작 도메인의 디바이스들에 전력을 제공할 수 있다.
폴백 주행 모드 동안, 인식 시스템의 복수의 센서의 서브세트는 제1 및 제2 컴퓨팅 서브시스템 둘 다에 센서 데이터를 제공할 수 있다. 폴백 주행 모드에서 주행 시스템을 제어하는 단계는 차량의 이전에 계획된 궤적을 변경하는 것, 차량의 속도를 변경하는 것, 또는 차량의 목적지를 변경하는 것 중 적어도 하나를 포함할 수 있다. 방법은 또한 폴백 주행 모드 동안, 폴백이 중요하지 않은 센서(non-fallback critical sensor)로부터의 센서 데이터의 프로세싱을 중단하는 단계를 더 포함할 수 있다.
도 1은 본 기술의 양태들과 함께 사용하도록 구성된 예시적인 차량의 사시도를 도시한다.
도 2는 도 1의 예시적인 차량의 평면도를 도시한다.
도 3은 본 기술의 양태들에 따른 예시적인 차량의 블록도이다.
도 4는 본 기술의 양태들에 따른 예시적인 인식 시스템의 블록도이다.
도 5a - 도 5b는 본 개시내용의 양태들에 따른 차량 주위의 구역들의 예들을 도시한다.
도 6은 본 개시내용의 양태들에 따른 예시적인 센서 시야들을 도시한다.
도 7은 본 개시내용의 양태들에 따른 예시적인 센서 어셈블리를 도시한다.
도 8은 본 개시내용의 양태들에 따른 센서 배향들의 예를 도시한다.
도 9a - 도 9b는 본 개시내용의 양태들에 따른 중첩 센서 시야들의 예들을 도시한다.
도 10a - 도 10b는 본 기술의 양태들에 따라 상이한 도메인들에서 동작하는 예들을 도시한다.
도 11a -도 11d는 본 기술의 양태들에 따라 상이한 도메인들에서 동작하는 추가 예들을 도시한다.
도 12는 본 기술의 양태들에 따른 예시적인 자율 주행 시스템 구성을 도시한다.
도 13a - 도 13b는 본 기술의 양태들에 따른 예시적인 전력 분배 구성들을 도시한다.
도 14는 본 기술의 양태들에 따른 동작의 방법이다.
본 명세서에서 논의된 부분적으로 중복된 차량 아키텍처들은 차량의 상이한 동작 도메인들에 논리적으로 연관될 수 있는 상이한 센서 배열들을 사용하는 폴백 구성들에 연관된다. 각각의 폴백 구성은 트리거되는 상이한 이유들을 가질 수 있고, 상이한 유형의 폴백 동작 모드들을 야기할 수 있다. 트리거 조건들은 예를 들어 고장 유형, 결함, 또는 컴포넌트 능력의 다른 감소, 현재 자율 주행 모드, 차량 주변의 또는 계획된 경로를 따르는 환경 조건들, 또는 다른 요인들에 관련될 수 있다.
예시적인 차량 시스템들
도 1은 미니밴, 세단, 또는 스포츠 유틸리티 차량과 같은 승용차(100)의 사시도를 도시한다. 도 2는 승용차(100)의 평면도를 도시한다. 승용차(100)는 차량의 외부 환경에 관한 정보를 획득하기 위한 다양한 센서들을 포함할 수 있다. 예를 들어, 루프탑 하우징(102)은 다양한 카메라들, 레이더 유닛들, 적외선 및/또는 음향 센서들뿐만 아니라, 라이다 센서를 포함할 수 있다. 차량(100)의 선단에 위치된 하우징(104), 및 차량의 운전자 및 승객 측에 있는 하우징들(106a, 106b)은 각각 라이다 또는 다른 센서를 포함할 수 있다. 예를 들어, 하우징(106a)은 차량의 쿼터패널을 따라 운전자 측 도어의 전방에 위치될 수 있다. 보여진 바와 같이, 승용차(100)는 또한 차량의 후방 루프 부분을 향해 위치된 레이더 유닛들, 라이다 및/또는 카메라들(도시되지 않음)을 위한 하우징들(108a, 108b)을 또한 포함한다. 추가의 라이다, 레이더 유닛들, 및/또는 카메라들(도시되지 않음)은 차량(100)을 따른 다른 장소들에 위치될 수 있다. 예를 들어, 화살표(110)는 센서 유닛(도 2의 112)이 차량(100)의 리드(read)를 따라, 예컨대 범퍼 위에 또는 범퍼에 인접하여 위치될 수 있음을 나타낸다. 그리고, 화살표(114)는 차량의 전방 방향을 따라 배열된 일련의 센서 유닛(116)을 나타낸다. 일부 예들에서, 승용차(100)는 또한 차량의 내부 공간들에 관한 정보를 획득하기 위한 다양한 센서들을 포함할 수 있다. 내부 센서(들)는 카메라 센서, 청각 센서 및 적외선 센서 중 적어도 하나를 포함할 수 있다.
본 개시내용의 특정 양태들은 특정 유형의 차량들과 관련하여 특히 유용할 수 있지만, 차량은 자동차, 트럭, 오토바이, 버스, 레크리에이션 차량 등을 포함하지만 이에 제한되지 않는 임의의 유형의 차량일 수 있다.
도 3은 완전 자율 또는 반 자율 동작 모드로 동작하도록 구성되는 예시적인 차량의 다양한 컴포넌트들 및 시스템들을 갖는 블록도(300)를 도시한다. 예를 들어, 부분 또는 완전 자율 주행 모드에서 동작하는 차량에 대해 발생할 수 있는 상이한 자율성 정도들이 있다. 미국 고속도로 교통 안전국(National Highway Traffic Safety Administration)과 자동차 엔지니어 협회(Society of Automotive Engineers)는 차량이 주행을 얼마나 많이 제어하는지 또는 얼마나 적게 제어하는지를 나타내는 상이한 레벨들을 확인했다. 예를 들어, 레벨 0에는 자동화가 없으며, 운전자가 모든 주행 관련 결정을 내린다. 가장 낮은 반 자율 모드인 레벨 1은 크루즈 컨트롤과 같은 소정의 주행 지원을 포함한다. 레벨 2는 특정 주행 동작들의 부분 자동화를 갖는 한편, 레벨 3은 운전석에 있는 사람이 보증된 대로 제어할 수 있도록 하는 조건부 자동화를 포함한다. 대조적으로, 레벨 4는 차량이 선택된 조건들에서 지원 없이 주행할 수 있는 높은 자동화 레벨이다. 그리고, 레벨 5는 차량이 모든 상황에서 지원 없이 주행할 수 있는 완전 자율 모드이다. 본 명세서에 설명된 아키텍처들, 컴포넌트들, 시스템들 및 방법들은 임의의 반 자율 또는 완전 자율 모드들, 예를 들어 여기서 자율 주행 모드들로 지칭되는 레벨 1-5에서 기능할 수 있다. 따라서, 자율 주행 모드에 대한 언급은 부분 자율 및 완전 자율 둘 다를 포함한다.
도 3에 도시된 바와 같이, 예시적인 차량은 하나 이상의 프로세서(304), 메모리(306), 및 범용 컴퓨팅 디바이스들에 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스들과 같은 하나 이상의 컴퓨팅 디바이스(302)를 포함한다. 메모리(306)는 프로세서(들)(304)에 의해 실행되거나 달리 사용될 수 있는 명령어들(308) 및 데이터(310)를 포함하여, 하나 이상의 프로세서(304)에 의해 액세스가능한 정보를 저장한다. 컴퓨팅 시스템은 자율 모드로 동작할 때 차량의 전반적인 동작을 제어할 수 있다.
메모리(306)는 프로세서(304)에 의해 실행되거나 달리 사용될 수 있는 명령어들(308) 및 데이터(310)를 포함하여, 프로세서(304)에 의해 액세스가능한 정보를 저장한다. 메모리(306)는 컴퓨팅 디바이스 판독가능한 매체를 포함하여, 프로세서에 의해 액세스가능한 정보를 저장할 수 있는 임의의 유형일 수 있다. 메모리는 하드 드라이브, 메모리 카드, 광 디스크, 솔리드 스테이트 등과 같은 비-일시적 매체이다. 시스템들은 전술한 것의 상이한 조합들을 포함할 수 있으며, 이에 따라 명령어들과 데이터의 상이한 부분들이 상이한 유형의 매체들에 저장된다.
명령어들(308)은 프로세서에 의해 직접적으로(예컨대, 기계 코드) 또는 간접적으로(예컨대, 스크립트) 실행될 임의의 명령어 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독가능한 매체 상에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 이와 관련하여, 용어들 "명령어들", "모듈들" 및 "프로그램들"은 본 명세서에서 상호교환적으로 사용될 수 있다. 데이터(310)는 명령어들(308)에 따라 하나 이상의 프로세서(304)에 의해 검색, 저장 또는 수정될 수 있다. 일례에서, 메모리(306)의 일부 또는 전부는 구현에 따라 차량에 탑재되거나 원격에 있을 수 있는, 차량 진단 및/또는 검출된 센서 데이터를 저장하도록 구성되는 이벤트 데이터 레코더 또는 다른 보안 데이터 저장 시스템일 수 있다.
프로세서들(304)은 상업적으로 이용가능한 CPU들과 같은 임의의 통상적인 프로세서들일 수 있다. 대안적으로, 각각의 프로세서는 ASIC 또는 다른 하드웨어-기반 프로세서와 같은 전용 디바이스일 수 있다. 도 3은 컴퓨팅 디바이스들(302)의 프로세서, 메모리 및 다른 요소들을 동일한 블록 내에 있는 것으로 기능적으로 도시하지만, 그러한 디바이스들은 실제로 동일한 물리적 하우징 내에 보관될 수도 있거나 그렇지 않을 수도 있는 복수의 프로세서, 컴퓨팅 디바이스 또는 메모리를 포함할 수 있다. 마찬가지로, 메모리(306)는 프로세서(들)(304)의 하우징과는 상이한 하우징에 위치된 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 언급은 병렬로 동작할 수도 있거나 그렇지 않을 수도 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 컬렉션에 대한 언급을 포함하는 것으로 이해될 것이다.
일례에서, 컴퓨팅 디바이스들(302)은 차량(100)에 통합된 자율 주행 컴퓨팅 시스템을 형성할 수 있다. 자율 주행 컴퓨팅 시스템은 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 컴퓨팅 디바이스들(302)은 (차량의 제동을 제어하기 위한) 감속 시스템(312), (차량의 가속을 제어하기 위한) 가속 시스템(314), (휠들의 배향 및 차량의 방향을 제어하기 위한) 조향 시스템(316), (방향 지시등을 제어하기 위한) 시그널링 시스템(318), (차량을 위치로 또는 물체들 주변으로 내비게이션하기 위한) 내비게이션 시스템(320), 및 (차량의 위치를 결정하기 위한) 포지셔닝 시스템(322)을 포함하는 주행 시스템을 포함하여, 차량의 다양한 시스템들과 통신할 수 있다. 자율 주행 컴퓨팅 시스템은, 예를 들어 출발 지점으로부터 목적지까지의 경로를 결정하기 위해, 내비게이션 시스템(320) 및 포지셔닝 시스템(322)에 따라 부분적으로 플래너로서 동작할 수 있다.
컴퓨팅 디바이스들(302)은 또한 차량의 승객으로부터의 연속적 또는 주기적 입력을 요구하거나 필요로 하지 않는 자율 주행 모드에서 메모리(306)의 명령어들(308)에 따라 차량의 이동, 속도 등을 제어하기 위해, (차량의 환경 내의 물체들을 검출하기 위한) 인식 시스템(324), 전력 시스템(326)(예를 들어, 배터리 및/또는 가스 또는 디젤 동력 엔진) 및 트랜스미션 시스템(330)에 동작가능하게 결합된다. 휠들/타이어들(328)의 일부 또는 전부가 트랜스미션 시스템(330)에 결합되고, 컴퓨팅 디바이스들(302)은 타이어 압력, 균형, 및 자율 모드에서의 주행에 영향을 미칠 수 있는 다른 요인들에 관한 정보를 수신할 수 있다. 전력 시스템(326)은 복수의 전력 분배 요소(327)를 가질 수 있고, 이들 각각은 선택된 컴포넌트들 및 차량의 다른 시스템들에 전력을 공급할 수 있다.
컴퓨팅 디바이스들(302)은 다양한 컴포넌트들을 제어함으로써 차량의 방향 및 속도를 제어할 수 있다. 예를 들어, 컴퓨팅 디바이스들(302)은 지도 정보 및 내비게이션 시스템(320)으로부터의 데이터를 사용하여 완전히 자율적으로 차량을 목적지 위치까지 내비게이션할 수 있다. 컴퓨팅 디바이스들(302)은 포지셔닝 시스템(322)을 사용하여 차량의 위치를 결정하고, 인식 시스템(324)을 사용하여 물체들을 검출하고, 위치에 안전하게 도달하기 위해 필요할 때 그에 반응할 수 있다. 그렇게 하기 위해, 컴퓨팅 디바이스들(302)은 차량으로 하여금 (예를 들어, 가속 시스템(314)에 의해 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴으로써) 가속하거나, (예를 들어, 엔진에 공급되는 연료를 감소시키고, 기어를 변경함으로써, 및/또는 감속 시스템(312)에 의해 브레이크를 적용함으로써) 감속하거나, (예를 들어, 조향 시스템(316)에 의해 차량(100)의 전방 또는 다른 휠들을 방향전환함으로써) 방향을 변경하고, (예를 들어, 시그널링 시스템(318)의 방향 지시등을 점등함으로써) 그러한 변화들을 시그널링하게 할 수 있다. 따라서, 가속 시스템(314) 및 감속 시스템(312)은 차량의 엔진과 차량의 휠들 사이에 다양한 컴포넌트들을 포함하는 구동계 또는 다른 유형의 트랜스미션 시스템(330)의 일부일 수 있다. 다시, 이러한 시스템들을 제어함으로써, 컴퓨팅 디바이스들(302)은 차량을 자율적으로 조종하기 위해 차량의 트랜스미션 시스템(330)을 또한 제어할 수 있다.
내비게이션 시스템(320)은 위치까지의 경로를 결정하고 따르기 위해 컴퓨팅 디바이스들(302)에 의해 사용될 수 있다. 이와 관련하여, 내비게이션 시스템(320) 및/또는 메모리(306)는 지도 정보, 예를 들어 컴퓨팅 디바이스들(302)이 차량을 내비게이션 또는 제어하기 위해 사용할 수 있는 매우 상세한 지도들을 저장할 수 있다. 예로서, 이러한 지도들은 도로들, 차선 표시들, 교차로들, 횡단 보도들, 속도 제한들, 교통 신호등들, 건물들, 표지판들, 실시간 교통 정보, 초목, 또는 다른 그러한 물체들 및 정보의 형상 및 고도를 식별할 수 있다. 차선 표시들은 실선 또는 이중 점선 또는 단일 점선 차선들, 실선 또는 점선 차선들, 반사경들 등과 같은 특징들을 포함할 수 있다. 주어진 차로는 왼쪽 및/또는 오른쪽 차선들, 또는 차로의 경계를 정의하는 다른 차선 표시들에 연관될 수 있다. 따라서, 대부분의 차로들은 하나의 차선의 왼쪽 가장자리와 다른 차선의 오른쪽 가장자리에 의해 경계가 정해질 수 있다.
인식 시스템(324)은 또한 차량 외부의 물체들을 검출하기 위한 센서들을 포함한다. 검출된 물체들은 다른 차량, 도로의 장애물, 교통 신호, 표지판, 나무 등일 수 있다. 아래에서 더 상세히 논의되는 바와 같이, 인식 시스템(324)은 도시된 바와 같이 센서 도메인 A 및 센서 도메인 B와 같은 2개(또는 그 이상의) 센서 도메인과 함께 동작하도록 배열된다. 각각의 도메인 내에서, 시스템은 외부 센서 모음과 내부 센서 모음 중 하나 또는 둘 다를 포함할 수 있다. 아래에서 더 논의되는 바와 같이, 외부 센서 모음은 차량 외부 환경에서 물체들 및 조건들을 검출하기 위해 하나 이상의 센서를 사용한다. 내부 센서 모음은 승객실 내에 있는 것과 같은 차량 내의 물체들 및 조건들을 검출하기 위해 하나 이상의 다른 센서를 사용할 수 있다.
도 4는 인식 시스템(324)의 일례를 도시한다. 예를 들어, 보여진 바와 같이, 인식 시스템(324)의 각각의 도메인은 하나 이상의 광 검출 및 거리 측정(light detection and ranging)(라이다(lidar)) 센서(400), 레이더 유닛(402), 카메라(404)(예를 들어, 중성 밀도 필터(neutral-density filter)(ND) 필터를 갖거나 갖지 않는 광학 이미징 디바이스), 포지셔닝 센서(406)(예를 들어, 자이로스코프, 가속도계 및/또는 다른 관성 컴포넌트), 적외선 센서(408), 음향 센서(410)(예를 들어, 마이크로폰 또는 음파 탐지기 트랜스듀서(sonar transducer)), 및/또는 컴퓨팅 디바이스(302)에 의해 프로세싱될 수 있는 데이터를 기록하는 임의의 다른 검출 디바이스들(412)을 포함할 수 있다. 외부 센서 모음 내의 인식 시스템(324)의 센서들은 차량 외부의 물체들, 및 위치, 배향, 크기, 형상, 유형(예를 들어, 차량, 보행자, 자전거 타는 사람 등), 방향, 및 이동 속도 등과 같은 그들의 특성을 검출할 수 있다. 내부 센서 모음의 센서들은 차량 내부의 물체들(예를 들어, 사람, 반려 동물, 포장물)은 물론, 차량 내의 조건들(예를 들어, 온도, 습도 등)을 검출할 수 있다.
센서들로부터의 미가공 데이터 및 위에서 언급된 특성들은 인식 시스템(324)에 의해 프로세싱될 수 있고, 및/또는 데이터가 인식 시스템(324)에 의해 생성될 때 주기적으로 그리고 연속적으로 컴퓨팅 디바이스들(302)에 추가 처리를 위해 송신될 수 있다. 컴퓨팅 디바이스들(302)은 포지셔닝 시스템(322)을 사용하여 차량의 위치를 결정할 수 있고, 인식 시스템(324)을 사용하여 물체들을 검출하고, 위치에 안전하게 도달하기 위해 필요할 때 그에 반응할 수 있다. 추가로, 컴퓨팅 디바이스들(302)은 개별 센서들, 특정 센서 어셈블리 내의 모든 센서들, 또는 상이한 센서 어셈블리들 또는 다른 물리적 하우징들 내의 센서들 사이에 캘리브레이션을 수행할 수 있다.
도 1 - 도 2에 도시된 바와 같이, 인식 시스템(324)의 특정 센서들은 하나 이상의 센서 어셈블리 또는 하우징에 통합될 수 있다. 일례에서, 이들은 차량의 사이드 미러들에 통합된 센서 타워들로서 배열될 수 있다. 다른 예에서, 다른 센서들은 루프탑 하우징(102)의 일부일 수 있다. 컴퓨팅 디바이스들(202)은 차량 상에 위치되거나 차량을 따라 다르게 분산된 센서 어셈블리들과 통신할 수 있다. 각각의 어셈블리는 위에서 설명된 것과 같은 하나 이상의 유형의 센서를 가질 수 있다.
도 3으로 돌아가면, 컴퓨팅 디바이스들(302)은 위에서 설명된 프로세서 및 메모리와 같은 컴퓨팅 디바이스는 물론, 사용자 인터페이스 서브시스템(334)과 관련하여 일반적으로 사용되는 컴포넌트들 전부를 포함할 수 있다. 사용자 인터페이스 서브시스템(334)은 하나 이상의 사용자 입력(336)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 하나 이상의 디스플레이 디바이스(338)(예를 들어, 정보를 디스플레이하도록 동작가능한 스크린 또는 임의의 다른 전기 디바이스를 갖는 모니터)를 포함할 수 있다. 이와 관련하여, 내부 전자 디스플레이는 차량(도시되지 않음)의 캐빈 내에 위치될 수 있고, 차량 내의 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스들(302)에 의해 사용될 수 있다. 스피커(들)(340)와 같은 다른 출력 디바이스들도 승용차 내에 위치될 수 있다.
승용차는 또한 통신 시스템(342)을 포함한다. 예를 들어, 통신 시스템(342)은 또한 차량 내의 승객용 컴퓨팅 디바이스들, 도로 상의 근처의 다른 차량 내에 있는 것과 같은 차량 외부의 컴퓨팅 디바이스들, 및/또는 원격 서버 시스템과 같은, 다른 컴퓨팅 디바이스들과의 통신을 용이하게 하는 하나 이상의 무선 네트워크 연결을 포함할 수 있다. 네트워크 연결들은 단거리 통신 프로토콜들, 예컨대 Bluetooth, Bluetooth 로우 에너지(LE), 셀룰러 연결은 물론, 인터넷, 월드 와이드 웹, 인트라넷, 가상 사설 네트워크, 광역 네트워크, 로컬 네트워크, 하나 이상의 회사에 전용인 통신 프로토콜을 사용하는 사설 네트워크, 이더넷, WiFi 및 HTTP, 그리고 이들의 다양한 조합들을 포함하는 다양한 구성 및 프로토콜을 포함할 수 있다.
도 3에 도시된 바와 같이, 시스템은 정보 및/또는 전력을 전송하기 위한 하나 이상의 버스(344)를 포함할 수 있다. 버스들은 다양한 컴포넌트들과 서브시스템들 간의 직접 또는 간접 연결을 제공할 수 있다. 예를 들어, 데이터 통신 버스는 인식 시스템(324)의 카메라들 및 다른 센서들과 컴퓨팅 디바이스(302) 사이의 양방향 통신을 제공할 수 있다. 전력선은 전력 시스템(326)의 전력 분배 요소들(327)에, 또는 컴퓨팅 디바이스들(302)에 의해 제어되는 배터리와 같은 별도의 전원에 직접적으로 또는 간접적으로 연결될 수 있다. 단방향 또는 양방향 데이터 통신들을 위해 다양한 프로토콜들이 사용될 수 있다. 예를 들어, CAN(Controller Area Network) 버스 아키텍처를 사용하는 프로토콜, 또는 100Base-T1(또는 1000Base-T1 또는 10GBase-T) 이더넷과 같은 이더넷 기반 기술이 사용될 수 있다. FlexRay와 같은 다른 프로토콜도 사용할 수 있다. 또한, A2B(Automotive Audio Bus®) 및/또는 다른 버스 구성들이 사용될 수 있다.
예시적인 구현들
위에서 설명되고 도면에 도시된 구조들 및 구성을 고려하여, 이하에서는 기술의 양태들에 따라 다양한 구현들이 설명될 것이다.
부분 중복성 - 센서 폴백 모드들
차량 주위의 환경은 상이한 사분면들 또는 구역들을 갖는 것으로 볼 수 있다. 이에 대한 일례가 도 5a에 도시되어 있는데, 이는 전방, 후방, 우측 및 좌측 구역들은 물론, 차량 주위의 전방 우측, 전방 좌측, 우측 후방 및 좌측 후방 영역들에 대한 인접 영역들을 보여준다. 이러한 구역들은 단지 예시일 뿐이다.
이러한 구역들의 일부 또는 전부로부터 데이터를 수집하기 위해 다양한 센서들이 차량 주위의 상이한 장소들에 위치될 수 있다(도 1 - 도 2 참조). 예를 들어, 도 5b에 보여진 바와 같이, 도 1의 3개의 센서(116)는 주로 차량 주위의 전방, 전방 좌측 및 전방 우측 구역으로부터 데이터를 수신할 수 있다.
특정 센서들은 차량 주위에서의 그것들의 배치, 및 그것들이 수집하도록 설계된 정보의 유형에 따라 상이한 시야각들을 가질 수 있다. 예를 들어, 상이한 라이다 센서들은 차량에 인접한 물체들의 근거리(단거리) 검출(예를 들어, 2 - 10 미터 미만)에 사용될 수 있는 한편, 다른 것들은 차량의 100m(또는 그 이상 또는 그 이하) 전방의 물체들의 원거리(장거리) 검출에 사용될 수 있다. 중거리 라이다들도 사용될 수 있다. 장거리 물체 검출을 위해 복수의 레이더 유닛이 차량의 전방, 후방 및/또는 측면들을 향해 위치될 수 있다. 그리고, 차량 주위의 양호한 가시성을 제공하기 위해 카메라들이 배열될 수 있다. 구성에 따라, 특정 유형들의 센서들은 중첩하는 시야들을 갖는 복수의 개별 센서를 포함할 수 있다. 대안적으로, 다른 센서들은 중복 360˚ 시야들을 제공할 수 있다.
도 6은 도 2에 도시된 센서들에 관한 센서 시야들의 일례(600)를 제공한다. 여기서, 루프탑 하우징(102)이 라이다 센서는 물론, 다양한 카메라들, 레이더 유닛들, 적외선 및/또는 음향 센서들을 포함하는 경우, 그러한 센서들 각각은 상이한 시야를 가질 수 있다. 따라서, 보여진 바와 같이, 라이다 센서는 360° FOV(602)를 제공할 수 있는 한편, 하우징(102) 내에 배열된 카메라들은 개별 FOV들(604)을 가질 수 있다. 차량의 선단에 있는 하우징(104) 내의 센서는 전방을 향하는 FOV(606)를 갖는 한편, 후단에 있는 하우징(112) 내의 센서는 후방을 향하는 FOV(608)를 갖는다. 차량의 운전자 및 승객 측에 있는 하우징들(106a, 106b)은 각자의 FOV(610a 또는 610b)를 갖는 라이다 및/또는 다른 센서를 각각 포함할 수 있다. 마찬가지로, 차량의 후방 루프 부분을 향해 위치된 하우징들(108a, 108b) 내의 센서들은 각각 각자의 FOV(612a 또는 612b)를 갖는다. 그리고, 차량의 전방을 향하는 방향을 따라 배열된 일련의 센서 유닛들(116)은 각자의 FOV들(614, 616 및 618)을 가질 수 있다. 이러한 시야들 각각은 단지 예시일 뿐이며, 커버리지 범위 측면에서 비례하지 않는다.
위에서 언급된 바와 같이, 복수의 센서는 주어진 하우징 내에 또는 어셈블리로서 배열될 수 있다. 일례가 도 7에 보여진다. 이 도면은 본 개시내용의 양태들에 따라 센서 어셈블리의 예(700)를 제시한다. 보여진 바와 같이, 센서 어셈블리는 점선에 의해 보여진 바와 같이 차량의 루프의 부분(704)에 장착되는 하우징(702)을 포함한다. 하우징(702)은 보여진 바와 같은 돔 형상, 원통형, 반구형일 수 있고, 또는 상이한 기하학적 형상을 가질 수 있다. 하우징(702) 내에서, 제1 센서(706)는 루프로부터 멀리 또는 원격으로 배열되고, 제2 센서(708)는 루프에 더 가깝게 배열된다. 센서들(706 및 708) 중 하나 또는 둘 다는 LIDAR들 또는 다른 유형의 센서들일 수 있다. 제1 센서(706)와 제2 센서(708) 사이에는 이미징 어셈블리(710)가 배치된다. 이미징 어셈블리(710)는 그를 따라 배열된 하나 이상의 카메라 세트를 포함한다. 하우징(702)은 적어도 카메라들이 배열된 장소들을 따라 광학적으로 투명할 수 있다. 도 7에 도시되지 않았지만, 도 3의 프로세서들(304)과 같은 하나 이상의 프로세서가 센서 어셈블리의 일부로서 포함될 수 있다. 프로세서들은 카메라 어셈블리의 다양한 이미지 센서들로부터 수신된 미가공 이미지는 물론, 전체 센서 어셈블리의 다른 센서들로부터 수신된 정보를 프로세싱하도록 구성될 수 있다.
구성에 따라, 상보적 및/또는 중첩 시야를 제공하도록 다양한 센서들이 배열 될 수 있다. 예를 들어, 카메라 어셈블리(710)는 차량 주위에 전체 360° 시야를 제공하도록 위치된 복수의 이미지 센서 쌍을 갖는 제1 서브시스템을 포함할 수 있다. 카메라 어셈블리(710)는 또한 예를 들어 전방 도로에 있는 물체들을 더 잘 식별하기 위해, 예를 들어 대략 90° 전방 시야에서 더 높은 해상도들, 상이한 노출들, 상이한 필터들, 및/또는 다른 추가 특징들을 제공하기 위해 대체로 차량의 전방을 향하는 이미지 센서들의 제2 서브시스템을 포함할 수 있다. 이 서브시스템의 시야는 또한 90°보다 크거나 작을 수 있으며, 예를 들어 약 60-135°사이일 수 있다. 도 8은 제1 및 제2 서브시스템의 다양한 이미지 센서들의 배향들의 예(800)를 제공한다. 이미지 센서들은 CMOS 센서들일 수 있지만, CCD 또는 다른 유형들의 이미징 요소들이 사용될 수 있다.
카메라, 라이다 및/또는 다른 센서 서브시스템들의 높이는 차량 상에서의 다양한 센서들의 배치 및 차량의 유형에 의존할 것이다. 예를 들어, 카메라 어셈블리(710)가 대형 SUV의 루프 상에 또는 그 위에 장착되는 경우, 높이는 전형적으로 카메라 어셈블리가 세단 또는 스포츠카의 루프 상에 장착될 때보다 높을 것이다. 또한, 배치 및 구조적 제한들로 인해 차량의 모든 영역 주위에서의 가시성이 동일하지 않을 수 있습니다. 카메라 어셈블리(710)의 직경과 차량 상에서의 배치를 변경함으로써 적절한 360° 시야가 획득될 수 있다. 예를 들어, 카메라 어셈블리(710)의 직경은 예를 들어 0.25 내지 1.0 미터, 또는 그 이상 또는 그 이하에서 변경될 수 있다. 직경은 카메라 어셈블리가 배치될 차량의 유형, 및 차량 상에서 그것이 위치될 특정 위치에 따라 더 크거나 작게 선택될 수 있다.
도 8에 보여진 바와 같이, 카메라 어셈블리의 제1 서브시스템의 각각의 이미지 센서 쌍은 제1 이미지 센서(802) 및 제2 이미지 센서(804)를 포함할 수 있다. 제1 및 제2 이미지 센서는 개별 카메라 요소들의 일부일 수 있으며, 또는 하나의 카메라 모듈에 함께 포함될 수 있다. 이러한 시나리오에서, 제1 이미지 센서들(802)은 자동 노출로 설정될 수 있는 반면, 제2 이미지 센서들(804)은 예를 들어 다크 또는 ND 필터를 사용하여 고정 노출로 설정될 수 있다. 도시된 바와 같이, 8 쌍의 이미지 센서가 보여지지만, 더 많거나 더 적은 쌍이 사용될 수 있다. 제2 이미지 서브시스템은 제1 및 제2 이미지 센서의 해상도보다 높은 해상도를 가질 수 있는 이미지 센서들(806)을 포함한다. 이러한 향상된 해상도는 인식 시스템(324)에 차량 전방 장면의 세부 사항을 가능한 많이 제공하기 위해, 차량 전방을 향하는 카메라들에 특히 유용할 수 있다. 도 8은 제2 서브시스템의 3개의 이미지 센서를 도시하지만, 더 많거나 더 적은 이미지 센서가 사용될 수 있다. 본 예에서, 총 19개의 이미지 센서가 카메라 어셈블리(710)에 통합되며, 이는 제2 서브시스템으로부터의 3개와 제1 서브시스템으로부터의 8쌍을 포함한다. 다시, 더 많거나 더 적은 이미지 센서가 카메라 어셈블리에 사용될 수 있다.
각각의 이미지 센서에 대한 정확한 시야는 예를 들어 특정 센서의 특징들에 따라 달라질 수 있다. 예를 들어, 이미지 센서들(802 및 804)은 약 50° FOV, 예를 들어 49°, -51°를 가질 수 있는 한편, 이미지 센서들(806)은 각각 약 30° 또는 약간 더 높은, 예를 들어 5-10% 더 높은 FOV를 가질 수 있다. 이것은 인접한 이미지 센서들에 대해 FOV의 중첩을 허용한다.
다양한 센서들에 의해 생성된 이미지 또는 다른 데이터의 이음새들 또는 틈새들은 바람직하지 않기 때문에, 선택된 중첩 양은 이롭다. 추가로, 선택된 중첩은 프로세싱 시스템이 이미지들을 함께 스티칭하지 않아도 되게 한다. 이미지 스티칭은 종래의 파노라마 이미지 프로세싱에서 행해질 수 있지만, 차량이 자율 주행 모드로 동작하는 실시간 상황에서 수행하는 것은 계산적으로 어려울 수 있다. 요구되는 시간과 프로세싱 자원의 양을 감소시키는 것은 차량이 주행할 때 인식 시스템의 응답성을 크게 향상시킨다.
도 9a - 도 9b는 인접한 센서 구역들 사이의 이미지 센서 중첩의 두 가지 예를 도시한다. 보여진 바와 같이, 차량 주위의 전방 및 전방 우측 구역을 커버하는 이미지 센서들에 대해, 0.5 - 5° 사이의 중첩(900)(도 9a)이 존재할 수 있으며, 또는 대안적으로는 6 - 10° 이하의 중첩이 존재할 수 있다. 이러한 중첩(900)은 도 8의 이미지 센서들(802)과 같은 하나의 유형의 센서에 적용될 수 있다. 다른 유형의 센서에 대해 상이한 중첩이 적용될 수 있다. 예를 들어, 2 - 8° 사이의 중첩(902)(도 9b)이 존재할 수 있거나, 대안적으로 도 8의 이미지 센서(804)에 대해 8 - 12° 이하의 중첩이 있을 수 있다. 예를 들어, 차량 유형, 크기, 센서 유형 등에 의존하여, 시스템에 대해 더 크거나 더 작은 중첩들이 또한 조작될 수 있다.
예시적인 시나리오들
위에서 언급된 바와 같이, 센서 또는 다른 컴포넌트가 고장나거나 성능 저하에 직면하는 경우, 그것은 차량의 주행 능력들을 제한하거나 동작을 완전히 방해할 수 있다. 예를 들어, 하나 이상의 센서는 예를 들어 기계적 또는 전기적 오류, 환경 조건들(예를 들어, 극심한 추위, 눈, 얼음, 진흙 또는 먼지 폐색)으로 인한 성능 저하, 또는 다른 요인들로 인해 오류에 직면할 수 있다. 이러한 상황들에서, 폴백 구성들은 인식 및 계획 시스템들이 주어진 동작 모드에 따라 동작할 수 있도록 적어도 최소량의 센서 정보를 제공하도록 설계된다. 동작 모드는 예를 들어 서비스를 받기 전에 현재 주행 활동을 완료하는 것(예를 들어, 원하는 위치에서 승객이 하차함), 경로 및/또는 속도를 변경하는 것(예를 들어, 고속도로를 빠져나와 평면 가로를 따라 주행하는 것, 속도를 경로에 대한 최소 게시 제한으로 줄이는 것 등), 또는 그렇게 하는 것이 안전한 즉시 차를 길 옆에 세우는 것을 포함할 수 있다.
예로서, 폴백 구성들은 2개의 별개의 도메인, 예를 들어 도메인 A 및 도메인 B(도 3-4 참조)에 연관될 수 있다. 각각의 도메인이 다른 도메인의 미러 이미지일 필요는 없다. 예를 들어, 전방 센서들의 특정 세트들은 도메인 A에 할당될 수 있는 한편, 상이한 능력들을 가진 전방 센서들의 상이한 세트는 도메인 B에 할당될 수 있다. 하나의 시나리오에서, 각각의 유형의 센서가 각각의 도메인에 포함될 수 있다. 다른 시나리오에서, 신호등 검출을 위해 각각의 도메인에서 적어도 하나의(적어도 하나의 세트의) 전방 카메라(들)가 항상 이용가능할 수 있다. 추가 시나리오에서, 차량 외부의 물체들의 검출 및 분류를 위해 360° 시야각을 가진 적어도 하나의 센서가 각각의 도메인에 할당된다. 그리고, 또 다른 시나리오에서, 하나 이상의 센서는 각각 동작가능하게 도메인들 둘 다의 일부일 수 있다. 따라서, 시스템이 도메인 A만의 센서들을 사용하는지, 도메인 B만의 센서들을 사용하는지, 또는 도메인 A와 B의 조합을 사용하는지에 기초하여 능력들에 차이가 있을 수 있다.
예를 들어, 하나의 시나리오에서, 도 6은 도메인들 둘 다(또는 전부)로부터의 다양한 센서들이 차량의 인식 및 계획 시스템들에 의해 사용되고 있는 표준 동작 모드를 예시하는 것으로 고려한다. 도 10a는 도메인 A 동작의 일례(1000)를 도시한다. 그리고, 도 10b는 도메인 B 동작의 일례(1010)를 도시한다. 여기서, 상이한 센서들 또는 센서 그룹들이 단 하나의 도메인 또는 도메인들 둘 다에 의해 사용될 수 있음을 알 수 있다. 예를 들어, 도 6의 라이다 센서는 도메인들 둘 다에 대해 여전히 360° FOV를 제공할 수 있다. 그러나, 도메인 A에서, 그것은 표준 동작 동안의 수직 해상도(1002)의 양의 ½만을 제공할 수 있다. 마찬가지로, 도메인 B에서, 라이다 센서는 또한 표준 동작 동안의 수직 해상도(1012)의 양의 ½만을 제공할 수 있다.
하우징(102)(도 2) 내의 카메라들이 전체 360° FOV를 또한 제공할 수 있는 개별 시야들(604)을 갖지만, 각각의 도메인은 상이한 카메라 세트들을 사용할 수 있다. 여기서, 예를 들어, 도메인 A는 제1 이미지 감지 능력(1004)을 제공하기 위해 제1 이미지 센서들(802)(예를 들어, 자동 노출)을 포함할 수 있는 한편, 도메인 B는 제2 이미지 감지 능력(1014)을 제공하기 위해 제2 이미지 센서들(804)(예를 들어, 고정 노출로 설정됨)을 포함할 수 있다. 그러나, 도메인 A 및 도메인 B 둘 다는 이미지 센서들(806)을 포함할 수 있다. 이것은 이미지 센서들(806)이 이미지 센서들(802 및 804)보다 높은 해상도를 가질 수 있고 차량의 전방을 향할 수 있기 때문일 수 있다. 이 향상된 해상도는 차량 전방의 가로등, 보행자, 자전거 운전자 등을 검출하는 데 특히 이로울 수 있다. 따라서, 도 10a 및 도 10b 둘 다에 보여진 바와 같이, 각각의 도메인은 이러한 향상된 해상도 이미지 센서들로부터의 이미지 감지 능력(1006)을 가질 수 있다. 다른 예들에서, 도메인 B는 이미지 감지 능력(1006)을 포함할 수 있고, 다른 전방 이미지 감지 능력들을 포함하는 도메인 A는 그렇지 않을 수 있다.
도 11a - 도 11d는 레이더 센서들과 같은 다른 센서들이 상이한 도메인들에서 어떻게 사용될 수 있는지를 도시한다. 도 11a는 각자의 개별 FOV들(1111-1116)을 갖는 6개의 센서(1101-1106)의 세트에 대한 결합된 FOV(1100)를 보여준다. 결합된 FOV(1100)는 표준 동작 모드에서 이용가능할 수 있다. 도메인 A로 동작하는 동안에는, 도 11b에 도시된 바와 같이, 센서들(1101, 1102, 1104 및 1106)만이 사용되어 도메인 A FOV 구성(1110)을 야기한다. 그리고, 도메인 B로 동작하는 동안에는, 도 11c에 도시된 바와 같이, 센서들(1101, 1103, 1105 및 1106)만이 사용되어 도메인 B FOV(1120)를 야기한다. 도메인들 A 및 B에 대한 이러한 예들에서, 전방 센서들 둘 다가 이용되고, 중첩 시야들을 제공한다.
이 시나리오에서, 도메인 A 또는 도메인 B 구성 중 어느 하나는 개별적으로 차량이 제1 폴백 모드에서 동작하기에 충분한 센서 데이터를 제공할 수 있다. 예를 들어, 차량은 여전히 고속도로에서 주행할 수 있지만, 더 느린 차로에서, 또는 최소 게시 속도 또는 다른 속도 임계 아래에서 주행할 수 있다. 또는, 차량은 예를 들어 고속도로와는 대조적으로 평면 가로를 택함으로써, 방향 전환이 더 적거나 예상되는 근처 물체들이 더 적은(예를 들어, 자동차가 더 적은), 목적지까지의 대체 경로를 선택할 수 있습니다. 대조적으로, 도 11d는 전방 센서들(1101 및 1106)만이 이용 가능한 제2 폴백 모드에 대한 상이한 시나리오(1120)를 도시한다. 이 폴백 모드에서, 시스템은 시야들(1111 및 1116)만이 차량에 센서 입력을 제공하고 있기 때문에 주행 동작을 상당한 변화시킬 수 있다. 이것은 예를 들어, 계획된 목적지와는 상이한 근처의 하차 지점을 선택하는 것, 시그널링 시스템으로 비상등을 켜는 것 등을 포함할 수 있다.
위의 예들은 상이한 폴백 시나리오들에 대해 라이다, 카메라 및 레이더 센서를 논의했지만, 다른 유형들의 센서들, 예를 들어 포지셔닝, 음향, 적외선 등의 센서들도 주어진 동작 모드에서 차량을 제어하기에 충분한 부분 중복성을 제공하기 위해 상이한 도메인들 사이에 할당될 수 있다.
부분 중복성 - 컴퓨터 시스템 폴백 모드들
본 기술의 다른 양태들은 컴퓨팅 시스템에 통합되는 중복성들을 포함한다. 전형적인 동작 동안, 제1 컴퓨팅 시스템(예를 들어, 플래너 서브시스템)은 궤적을 생성하고, 그 궤적에 따라 차량을 제어하기 위해 이를 제2 컴퓨팅 시스템에 송신할 수 있다. 이러한 컴퓨팅 시스템들 각각은 컴퓨팅 디바이스들(302)(도 3)의 일부일 수 있다. 중복성을 위해, 2개의 서브시스템은 각각 하나 이상의 프로세서 및 연관된 메모리를 가질 수 있다. 이 예에서, 각각의 서브시스템은 전력을 공급받고 독립적으로 동작하지만, 기본 차량 동작들을 다루기 위해 센서 데이터 및 자원들을 공유한다. 예를 들어, CPU 충돌, 커널 오류, 정전 등으로 인해 서브시스템들 중 하나가 고장나는 경우, 다른 서브시스템이 지정된 폴백 동작 상태에서 차량을 제어할 수 있다.
하나의 배열에서, 컴퓨팅 서브시스템들 둘 다는 표준 동작 모드는 물론, 폴백 모드에서 차량을 제어할 수 있다. 각각의 서브시스템은 예를 들어 하나 이상의 CAN 버스 또는 FlexRay 버스를 통해 각자의 도메인에 연계된다. 그러나, 각각의 도메인 내의 센서 모음들이 동일하거나 상보적이거나 완전히 중첩할 필요는 없다. 예를 들어, 특정 "폴백" 센서들은 제어 서브시스템 A에 할당될 수 있고(예를 들어, 도 11b의 센서들(1102, 1104 및 1106)), 다른 폴백 센서들이 제어 서브시스템 B에 할당될 수 있으며(예를 들어, 도 11c의 센서들(1101, 1103 및 1105)), 다른 "비-폴백" 센서들은 제어 서브시스템 A에만 할당될 수 있다(도 12 참조).
폴백 센서들과 달리, 비-폴백 센서들은 임의의 도메인 독립성 또는 중복성을 갖거나 임의의 특정 도메인에 할당될 필요가 없다. 이는 비-폴백 센서들이 최소의 가능한 폴백 능력을 제공하는 것에 관련이 없으며, 오히려 표준 동작 모드를 위해서만 사용될 수 있기 때문이다. 그럼에도 불구하고, 그러한 센서들을 하나의 도메인 또는 다른 도메인에 배치해야 하는 소정의 다른 이유(예를 들어, 차량 통합)가 있는 경우, 그것은 폴백 동작에 영향을 주지 않고 수용될 수 있다. 일례는 하나의 도메인이 다른 도메인보다 더 많은 전력 공급부 헤드룸을 갖고, 따라서 비-폴백 센서들이 그 도메인에 의해 쉽게 수용될 수 있다는 것이다. 다른 예에서, 하나의 특정 도메인에서 배선을 라우팅하기가 더 쉬울 수 있고, 따라서 비-폴백 센서들은 그 도메인에 연계될 수 있다.
도 12는 자율 주행 시스템 구성의 일례(1200)를 도시한다. 보여진 바와 같이, 각각의 도메인은 컴퓨팅 시스템(302)으로부터의 프로세서들(304)일 수 있는 하나 이상의 프로세서(1202a 또는 1202b)를 포함한다. 각각의 도메인은 또한 프로세서들(1202a, 1202b)에 의한 실행을 위한 소프트웨어 또는 펌웨어 모듈들을 포함할 수 있는 각자의 동작 모드 로직(1204a, 1204b)을 포함한다. 동작 모드 로직(1204a, 1204b)은 하나 이상의 폴백 동작 모드뿐만 아니라 표준 동작 모드에서의 실행을 위한 별개의 컴포넌트들을 포함할 수 있다. 상이한 도메인들에 대한 폴백 모드들은 예를 들어 각자의 도메인들에 연관된 폴백 센서들의 유형들 및 능력들에 따라 상이한 방식들로 차량을 동작시키는 것을 포함할 수 있다. 그리고, 도 12에 보여진 바와 같이, 도메인들 중 하나(예를 들어, 도메인 A)는 하나 이상의 그래픽 처리 장치(GPU)(1206) 또는 다른 계산 가속기(예를 들어, ASIC, FPGA 등)와 같은 상이한 컴퓨팅 자원들을 포함할 수 있다. 여기서, 하나의 폴백 센서 세트는 도메인 A에 연관되고, 다른 폴백 센서 세트는 도메인 B에 연관되며, 하나 이상의 비-폴백 센서도 도메인 A에 연관되지만, 예를 들어 폴백 센서들이 도메인 B에 할당되거나, 하나의 서브세트가 도메인 A에 할당되고 다른 서브세트가 도메인 B에 할당되는 다른 구성들이 가능하다. 2개(또는 그 이상)의 컴퓨팅 도메인이 동일한 성능을 갖거나 동일한 종류의 컴퓨팅 요소를 가질 필요는 없지만, 특정 구성들에서, 그들은 등가의 성능 및/또는 동일한 종류의 컴퓨팅 요소들을 가질 수 있다.
단지 예로서, 이 구성에서, 도메인 A는 표준 동작 동안 인식 시스템(예를 들어, 도 3-4의 인식 시스템(324))을 지원할 수 있는 한편, 도메인 B는 표준 동작 동안 플래너(예를 들어, 도 3의 내비게이션 시스템(320) 및 포지셔닝 시스템(322)에 기초하는 경로 계획)를 지원할 수 있다. GPU(들)(1206)는 표준 동작 동안 온보드 센서들의 일부 또는 전부로부터 수신된 센서 데이터를 프로세싱하도록 구성될 수 있다.
하나의 시나리오에서, 각각의 컴퓨팅 서브시스템은 대응하는 표준 및 폴백 동작 모드들에서 차량을 동작시키기에 충분한 센서 입력 및 충분한 컴퓨팅 능력(예를 들어, 수신된 센서 데이터를 프로세싱하기 위한 프로세서 및 메모리 자원들)을 가질 수 있다. 2개(또는 그 이상의) 도메인은 표준 모드에서 정보를 공유할 수 있습니다. 이러한 방식으로, 광학 FOV 커버리지를 제공하기 위해 다양한 도메인들 및 서브시스템들이 사용될 수 있다. 본 기술의 양태들에 따라, 일부 컴퓨팅 자원들은 폴백 동작을 다루기 위해 예비로 유지될 수 있다. 그리고, 폴백의 경우, 표준 모드의 일부 전형적인 동작들이 중지될 수 있다. 예를 들어, 하나 이상의 전방 고해상도 카메라(예를 들어, 도 8의 카메라들(806))는 폴백이 중요하지 않은 센서들로 고려될 수 있다. 결과적으로, 폴백 모드로 들어가는 경우, 이러한 카메라들로부터의 입력들을 프로세싱하는 것은 중단될 수 있다.
부분 중복성 - 전력 분배 폴백 모드들
전력 분배와 관련하여, 본 기술의 양태들은 각각 배터리 백업을 갖는 2개의 결함 독립적인 전력 공급부를 제공한다. 예를 들어, 이중 전력 공급부들은 동작가능하게 격리되고, 그에 의해 주요 결함들은 하나의 도메인으로만 제한된다. 각각의 전력 공급부는 기본 차량 부하들의 특정 세트에 서비스를 제공할 수 있다. 도 13a는 예시적인 중복 전력 분배 아키텍처(1300)를 도시한다. 이 시나리오에 보여진 바와 같이, 각각의 도메인은 자기 자신의 독립적인 전력 공급부를 갖는다. 여기서, 각각의 도메인의 전력 공급부들 및 부하들은 중간 전자 퓨즈에 의해 보호된다. 실제로, 정상 동작 동안, e-퓨즈는 폐쇄 회로일 것이다. 과전류, 저전압 또는 과열(또는 기타 비정상 조건)의 형태로 고장을 검출하는 경우, 그것은 개방 회로가 되도록 신속하게 반응함으로써 두 개의 도메인을 격리시킨다.
각각의 전력 공급부는 배터리 백업을 가지며, 약 12 볼트(예를 들어, 8-16 볼트 범위 내)의 자동차 표준을 제공하도록 구성된다. 각각의 도메인은 도 3의 전력 분배 요소들(327)과 같은 별개의 전력 분배 블록(1302a, 1302b)을 갖는다.
DC/DC 유닛은 업스트림의 고전압 배터리 팩으로부터 전력을 취하고 그것을 저전압(예를 들어, 12V)으로 변환하여 12V 배터리들을 충전하는 전압 변환기이다. e-퓨즈 아키텍처에서, e-퓨즈의 존재로 인해, DC/DC 유닛은 모든 것이 작동 중일 때(결함 없음) 시스템의 절반부들 둘 다를 충전할 수 있고, 따라서 2개의 DC/DC 유닛은 요구되지 않는다. 결함이 발생할 때, 각각의 도메인 상의 중복 저전압 백업 배터리에 의해 전력이 공급될 수 있으므로, 시스템이 DC/DC 유닛을 반드시 사용할 필요는 없다.
e-퓨즈를 요구하지 않는 전력 중복성의 다른 예는 도 13b에 보여진 것과 같은 이중 독립 DC/DC 시스템(1310)일 것이다. 여기서, 각각의 도메인은 자기 자신의 DC 전력 공급부에 의해 서빙된다. 이 예에서, 각각의 도메인은 별개의 전력 분배 블록(1312a, 1312b)을 갖는다. 시스템의 접지가 제공되고, 따라서 도메인들에 대한 반환 전류 경로들은 단일 고장 지점들을 나타내지 않는다.
제동, 조향 및/또는 추진과 같은 폴백이 중요한(fallback critical) 액추에이터들이 존재할 수 있다. 그리고, 경적, 운전실 조명, 난방 및 공조 시스템 등과 같이, 폴백이 중요하지 않은 액추에이터들이 존재할 수 있다. 폴백이 중요한 것으로 고려되는 액추에이터들은 중복성일 수 있고(예를 들어, 2개 이상의 개별 액추에이터), 및/또는 그러한 액추에이터들은 도메인들 둘 다에서 전력을 수신할 수 있다. 대조적으로, 폴백이 중요하지 않은 액추에이터들은 중복 컴포넌트들을 갖지 않을 수 있고, 및/또는 단일 도메인으로부터만 전력을 수신할 수 있다.
또한, 차량의 다른 서브시스템들에 중복성이 존재할 수 있다. 예를 들어, (중복으로 전력이 공급되는 것에 더하여) 제동 및 조향 서브시스템이 중복성일 수 있다. 마찬가지로, 다른 차량들 또는 원격 지원과의 통신은 복수의 셀룰러 또는 다른 유형들의 통신 링크들을 사용할 수 있다. 2 이상의 GPS 수신이 사용될 수 있다. 와이퍼, 분무기 또는 다른 세척 컴포넌트들도 중복성을 위해 구성될 수 있으며, 도메인들 중 하나 또는 둘 다(또는 그 이상)에서 (기본 부하로서) 전력을 공급받을 수 있다. 기본 차량 부하들은 개별 센서들, 센서 모음들, 컴퓨팅 디바이스들, 액추에이터들, 및/또는 도 3과 관련하여 논의된 것들과 같은 다른 컴포넌트들을 포함할 수 있다.
도 14는 본 기술의 양태들에 따라 차량을 동작시키는 방법(1400)을 도시한다. 블록(1402)에 도시된 바와 같이, 차량의 환경에 관한 정보는 차량의 센서들(예를 들어, 라이다, 레이더, 카메라, 청각 및/또는 포지셔닝 센서)에 의해 검출된다. 블록(1404)에서, 검출된 정보는 도 3의 컴퓨팅 시스템(들)(302) 또는 도 12의 시스템(1200)과 같은 차량의 제어 시스템에 의해 수신된다. 블록(1406)에 대해, 제1 동작 모드에서 센서 데이터를 수신하는 것에 응답하여, 차량의 주행 시스템이 자율적으로 제어된다. 블록(1408)에서, 차량의 센서들 중 하나 이상의 오류 조건이 검출된다. 이는 예를 들어 고장, 결함, 또는 다른 센서 능력 저하에 기인할 수 있다.
블록(1410)에서, 오류 조건을 검출하면, 제1 컴퓨팅 서브시스템은 제1 동작 도메인 내의 제1 센서 세트로부터의 센서 데이터를 프로세싱하고, 제2 컴퓨팅 서브시스템은 제2 동작 도메인 내의 제2 센서 세트로부터의 센서 데이터를 프로세싱한다. 결과적으로, 블록(1412)에서, 오류 조건에 응답하여, 제1 또는 제2 컴퓨팅 서브시스템 중 하나가 폴백 주행 모드에서 차량의 주행 시스템을 제어한다. 일부 예들에서, 오류 조건을 검출하기 전에, 제1 컴퓨팅 서브시스템은 표준 동작 모드의 기능(예를 들어, 플래너, 인식 등)을 동작시키고 있을 수 있고, 제2 컴퓨팅 서브시스템은 표준 동작 모드에서 다른 기능을 동작시키고 있을 수 있다.
달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적인 것이 아니라, 고유의 장점들을 달성하기 위해 다양한 조합들로 구현될 수 있다. 위에서 논의된 특징들의 이러한 및 다른 변형들 및 조합들은 청구항들에 의해 정의된 주제로부터 벗어나지 않고서 이용될 수 있으므로, 실시예들에 대한 전술한 설명은 청구항들에 의해 정의된 주제의 제한이 아닌 예시로서 받아들여져야 한다. 추가로, 여기에 설명된 예들은 물론, "예컨대", "포함하는" 등으로서 표현되는 문구들의 제공은 청구항들의 주제를 특정 예들로 제한하는 것으로 해석되어서는 안 되고; 오히려, 예들은 다수의 가능한 실시예 중 하나만을 예시하도록 의도된다. 또한, 상이한 도면들에서의 동일한 참조번호들은 동일하거나 유사한 요소들을 식별할 수 있다. 본 명세서에서 달리 명시되지 않는 한, 프로세스들 또는 다른 동작들은 상이한 순서로 또는 동시에 수행될 수 있다.

Claims (27)

  1. 자율 주행 모드로 동작하도록 구성되는 차량으로서, 상기 차량은:
    상기 차량의 주행 액션들을 수행하도록 구성되는 주행 시스템;
    상기 차량 주위의 환경에 관한 정보를 검출하도록 구성되는 복수의 센서들을 갖는 인식 시스템; 및
    상기 주행 시스템 및 상기 인식 시스템에 동작가능하게 결합되는 제어 시스템 - 상기 제어 시스템은 제1 동작 도메인에 연관된 제1 컴퓨팅 서브시스템 및 상기 제1 동작 도메인과 상이한 제2 동작 도메인에 연관된 제2 컴퓨팅 서브시스템을 포함하고, 상기 제1 및 제2 컴퓨팅 서브시스템들 각각은 하나 이상의 프로세서를 가짐 -
    을 포함하고, 상기 제어 시스템은 상기 인식 시스템으로부터 센서 데이터를 수신하도록 구성되고, 상기 수신된 센서 데이터에 응답하여, 상기 제어 시스템은 상기 자율 주행 모드에서 상기 차량을 주행시키기 위한 상기 주행 액션들을 수행하도록 상기 주행 시스템을 제어하도록 구성되고;
    상기 제어 시스템은 상기 차량의 오류 조건을 식별하도록 구성되고;
    상기 오류 조건의 식별 시에, 상기 제1 컴퓨팅 서브시스템은 상기 제1 동작 도메인에 따라 상기 복수의 센서들의 제1 세트로부터만 수신된 센서 데이터를 프로세싱하도록 구성되고, 상기 제2 컴퓨팅 서브시스템은 상기 제2 동작 도메인에 따라 상기 복수의 센서들의 제2 세트로부터만 수신된 센서 데이터를 프로세싱하도록 구성되고, 상기 센서들의 제2 세트는 상기 센서들의 제1 세트와 상이하고;
    상기 제1 컴퓨팅 서브시스템 또는 상기 제2 컴퓨팅 서브시스템 중 하나만이 상기 오류 조건에 기초하여 폴백 주행 모드에서 상기 주행 시스템을 제어하도록 구성되는, 차량.
  2. 제1항에 있어서, 상기 센서들의 제1 및 제2 세트들 각각은 라이다 센서들, 레이더 센서들, 카메라 센서들, 청각 센서들 및 포지셔닝 센서들로 이루어진 그룹으로부터 선택되는 적어도 하나의 센서를 포함하는, 차량.
  3. 제2항에 있어서, 상기 센서들의 제1 및 제2 세트들 각각은 라이다, 레이더 및 카메라 센서들의 각자의 그룹을 포함하고, 각각의 그룹은 상기 차량 주위의 상기 환경의 선택된 시야를 제공하는, 차량.
  4. 제1항에 있어서, 상기 센서들의 제1 세트 내의 센서들 각각은 각자의 시야를 가지고, 상기 센서들의 제2 세트 내의 센서들 각각은 각자의 시야를 가지며, 상기 센서들의 제2 세트의 각자의 시야들은 상기 센서들의 제1 세트의 상기 각자의 시야들과 상이한, 차량.
  5. 제1항에 있어서, 상기 인식 시스템은 상기 차량의 내부에 배치된 하나 이상의 내부 센서를 더 포함하고, 상기 하나 이상의 내부 센서는 카메라 센서, 청각 센서 및 적외선 센서 중 적어도 하나를 포함하는, 차량.
  6. 제5항에 있어서, 상기 제1 컴퓨팅 서브시스템은 상기 제1 동작 도메인에 따라 상기 하나 이상의 내부 센서로부터 수신된 센서 데이터를 프로세싱하도록 더 구성되는, 차량.
  7. 제1항에 있어서, 상기 인식 시스템의 상기 복수의 센서들은 상기 폴백 주행 모드에서 상기 차량의 동작을 위해 상기 제1 및 제2 컴퓨팅 서브시스템들 둘 다에 동작가능하게 결합되는 적어도 하나의 공통 센서를 포함하는, 차량.
  8. 제1항에 있어서,
    상기 폴백 주행 모드는 제1 폴백 모드 및 제2 폴백 모드를 포함하고, 상기 제1 폴백 모드는 제1 주행 동작 세트를 구현하고, 상기 제2 폴백 모드는 상기 제1 주행 동작 세트와는 상이한 제2 주행 동작 세트를 구현하고;
    상기 제1 컴퓨팅 서브시스템은 상기 제1 폴백 모드에서 상기 주행 시스템을 제어하도록 구성되고;
    상기 제2 컴퓨팅 서브시스템은 상기 제2 폴백 모드에서 상기 주행 시스템을 제어하도록 구성되는, 차량.
  9. 제8항에 있어서, 상기 제1 폴백 모드 또는 상기 제2 폴백 모드 중 하나는 상기 인식 시스템의 전방 센서들로부터만 수신된 센서 데이터에 기초하여 동작하는, 차량.
  10. 제8항에 있어서, 상기 제1 및 제2 폴백 모드들 각각은 각자의 제1 및 제2 동작 도메인과 연관된 상기 센서들의 유형들 및 상기 센서들의 능력들에 따라 상이한 방식으로 상기 차량을 동작하는 것을 포함하는, 차량.
  11. 제1항에 있어서, 상기 폴백 주행 모드는 변경된 차량 속도, 비상등 작동, 또는 계획된 목적지와 상이한 하차 지점 선택 중 적어도 하나를 사용하여 상기 계획된 목적지를 향한 경로를 따라 연속적인 주행 동작들을 지원하는, 차량.
  12. 제1항에 있어서, 상기 폴백 주행 모드는 차량 서비스를 받기 전에 상기 차량의 현재 주행 활동을 완료하는 것을 지원하는, 차량.
  13. 제1항에 있어서, 상기 폴백 주행 모드는 상기 차량의 경로를 변경하는 것 또는 상기 차량을 세우는 것이 안전하다는 결정 시에 상기 차량을 세우는 것을 지원하는, 차량.
  14. 제1항에 있어서, 제1 및 제2 전력 분배 서브시스템들을 더 포함하고, 상기 폴백 주행 모드에서:
    상기 제1 전력 분배 서브시스템은 상기 제1 동작 도메인의 디바이스들에만 전력을 공급하기 위해 상기 제1 동작 도메인에 연관되고,
    상기 제2 전력 분배 서브시스템은 상기 제2 동작 도메인의 디바이스들에만 전력을 공급하기 위해 상기 제2 동작 도메인에 연관되는, 차량.
  15. 자율 주행 모드에서 차량을 동작시키는 방법으로서, 상기 방법은:
    상기 차량의 인식 시스템의 복수의 센서들에 의해 상기 차량 주위의 환경에 관한 정보를 검출하는 단계 - 상기 복수의 센서들은 제1 동작 도메인에 연관된 제1 센서 세트 및 제2 동작 도메인에 연관된 제2 센서 세트를 포함하고, 상기 제2 센서 세트는 상기 제1 센서 세트와 상이함 -;
    상기 차량의 제어 시스템에 의해, 상기 차량 주위의 상기 환경에 관한 상기 검출된 정보를 센서 데이터로서 수신하는 단계 - 상기 제어 시스템은 상기 제1 동작 도메인에 연관된 제1 컴퓨팅 서브시스템 및 상기 제2 동작 도메인에 연관된 제2 컴퓨팅 서브시스템을 포함함 -;
    상기 제어 시스템에 의해, 상기 자율 주행 모드에서 상기 차량을 주행시키기 위한 주행 액션들을 수행하기 위하여 상기 차량의 주행 시스템을 제어하는 단계;
    상기 제어 시스템에 의해, 상기 차량의 오류 조건을 식별하는 단계; 및
    상기 오류 조건의 식별 시에:
    상기 제1 컴퓨팅 서브시스템에 의해, 상기 제1 동작 도메인에 따라 상기 제1 센서 세트로부터만 수신되는 센서 데이터를 프로세싱하는 단계;
    상기 제2 컴퓨팅 서브시스템에 의해, 상기 제2 동작 도메인에 따라 상기 제2 센서 세트로부터만 수신되는 센서 데이터를 프로세싱하는 단계; 및
    상기 제1 컴퓨팅 서브시스템 또는 상기 제2 컴퓨팅 서브시스템 중 하나만이 상기 오류 조건에 기초하여 폴백 주행 모드에서 상기 주행 시스템을 제어하는 단계
    를 포함하는, 방법.
  16. 제15항에 있어서, 상기 폴백 주행 모드는 제1 폴백 모드 및 제2 폴백 모드를 포함하는 복수의 폴백 모드들을 포함하는, 방법.
  17. 제16항에 있어서, 상기 제1 폴백 모드는 제1 차량 제어 동작 세트를 포함하고, 상기 제2 폴백 모드는 상기 제1 차량 제어 동작 세트와는 상이한 제2 차량 제어 동작 세트를 포함하는, 방법.
  18. 제15항에 있어서, 상기 인식 시스템은 상기 차량의 내부에 배치된 하나 이상의 내부 센서를 더 포함하고, 상기 방법은, 상기 제1 컴퓨팅 서브시스템에 의해, 상기 제1 동작 도메인에 따라 상기 하나 이상의 내부 센서로부터 수신된 센서 데이터를 프로세싱하는 단계를 더 포함하는, 방법.
  19. 제15항에 있어서, 상기 폴백 주행 모드는 변경된 차량 속도, 비상등 작동, 또는 계획된 목적지와 상이한 하차 지점 선택 중 적어도 하나를 사용하여 상기 계획된 목적지를 향한 경로를 따라 연속적인 주행 동작들을 지원하는, 방법.
  20. 제15항에 있어서, 상기 폴백 주행 모드는:
    차량 서비스를 받기 전에 상기 차량의 현재 주행 활동을 완료하는 것;
    상기 차량의 경로를 변경하는 것; 또는
    상기 차량을 세우는 것이 안전하다는 결정 시에 상기 차량을 세우는 것
    중 하나를 지원하는, 방법.
  21. 자율 주행 모드로 동작하도록 구성되는 차량으로서, 상기 차량은:
    상기 차량의 주행 액션들을 수행하도록 구성되는 주행 시스템;
    상기 차량 주위의 환경에 관한 정보를 검출하도록 구성되는 복수의 센서들을 갖는 인식 시스템 - 상기 복수의 센서들은 상기 차량의 외부 환경에서 물체들의 분류를 가능하게 하기 위해 360° 시야를 제공하고, 상기 복수의 센서들은 중첩하는 센서 시야들에 적어도 부분적으로 기초하여 센서 다양성을 제공함 - ; 및
    상기 주행 시스템 및 상기 인식 시스템에 동작가능하게 결합되는 제어 시스템 - 상기 제어 시스템은 제1 컴퓨팅 서브시스템 및 제2 컴퓨팅 서브시스템을 포함하고, 상기 제1 및 제2 컴퓨팅 서브시스템들 각각은 하나 이상의 프로세서를 가짐 -
    을 포함하고, 상기 제1 컴퓨팅 서브시스템은 제1 통신 링크로부터 상기 인식 시스템으로부터 센서 데이터를 수신하도록 구성되고, 상기 제2 컴퓨팅 서브시스템은 상기 제1 통신 링크와 분리되고 구별되는 제2 통신 링크로부터 상기 인식 시스템으로부터 상기 센서 데이터를 수신하도록 구성되고;
    상기 수신된 센서 데이터에 응답하여, 상기 제어 시스템은 상기 자율 주행 모드에서 상기 차량을 주행시키기 위한 상기 주행 액션들을 수행하도록 상기 주행 시스템을 제어하도록 구성되고;
    상기 제어 시스템은 상기 차량의 오류 조건을 식별하도록 구성되고;
    상기 오류 조건의 식별 시에, 상기 제1 컴퓨팅 서브시스템 또는 상기 제2 컴퓨팅 서브시스템 중 하나만이 상기 오류 조건 및 상기 중첩하는 센서 시야들에 따라 상기 복수의 센서들로부터 수신된 센서 데이터를 프로세싱하고 상기 오류 조건에 기초하여 폴백 주행 모드에서 상기 주행 시스템을 제어하도록 구성되는, 차량.
  22. 제21항에 있어서, 상기 제1 컴퓨팅 서브시스템 및 상기 제2 컴퓨팅 서브시스템 중 하나만이 상기 폴백 주행 모드에 따라 상기 차량의 이전에 계획된 궤적을 변경하도록 구성되는, 차량.
  23. 제21항에 있어서, 상기 폴백 모드에서의 상기 주행 시스템의 제어는 (i) 계획된 목적지를 향한 경로를 따라 주행 동작들을 계속할지 또는 (ii) 상기 차량을 세우는 것이 안전하다는 결정 시에 상기 계획된 목적지 이전에 상기 차량을 세울지 여부의 결정을 포함하는, 차량.
  24. 제23항에 있어서, 상기 주행 동작들을 계속한다는 결정은 변경된 차량 속도, 비상등 작동, 또는 상기 계획된 목적지와 상이한 하차 지점 선택 중 적어도 하나에 따라 행해지는, 차량.
  25. 제21항에 있어서, 상기 오류 조건은 상기 인식 시스템의 적어도 하나의 센서에 대한 센서 능력의 감소인, 차량.
  26. 제21항에 있어서, 전력 분배 시스템을 더 포함하고, 상기 전력 분배 시스템은 상기 제2 컴퓨팅 서브시스템이 아닌 상기 제1 컴퓨팅 서브시스템에 전용 전력을 제공하도록 구성되는 제1 전력 서브시스템 및 상기 제1 컴퓨팅 서브시스템이 아닌 상기 제2 컴퓨팅 서브시스템에 전용 전력을 제공하도록 구성되는 제2 전력 서브시스템을 갖는, 차량.
  27. 제26항에 있어서, 상기 제1 전력 서브시스템은 상기 제2 전력 서브시스템으로부터 동작가능하게 격리되는, 차량.
KR1020237008784A 2018-12-11 2019-11-25 자율 차량들을 위한 중복성 하드웨어 시스템 KR102546511B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/215,713 2018-12-11
US16/215,713 US11208111B2 (en) 2018-12-11 2018-12-11 Redundant hardware system for autonomous vehicles
PCT/US2019/062998 WO2020123135A1 (en) 2018-12-11 2019-11-25 Redundant hardware system for autonomous vehicles
KR1020217021279A KR102511055B1 (ko) 2018-12-11 2019-11-25 자율 차량들을 위한 중복성 하드웨어 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217021279A Division KR102511055B1 (ko) 2018-12-11 2019-11-25 자율 차량들을 위한 중복성 하드웨어 시스템

Publications (2)

Publication Number Publication Date
KR20230042393A KR20230042393A (ko) 2023-03-28
KR102546511B1 true KR102546511B1 (ko) 2023-06-26

Family

ID=70972374

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237008784A KR102546511B1 (ko) 2018-12-11 2019-11-25 자율 차량들을 위한 중복성 하드웨어 시스템
KR1020217021279A KR102511055B1 (ko) 2018-12-11 2019-11-25 자율 차량들을 위한 중복성 하드웨어 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217021279A KR102511055B1 (ko) 2018-12-11 2019-11-25 자율 차량들을 위한 중복성 하드웨어 시스템

Country Status (8)

Country Link
US (2) US11208111B2 (ko)
EP (1) EP3870488A4 (ko)
JP (2) JP7239700B2 (ko)
KR (2) KR102546511B1 (ko)
CN (2) CN118062035A (ko)
AU (1) AU2019396245B2 (ko)
CA (1) CA3122846C (ko)
WO (1) WO2020123135A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019055826A1 (en) * 2017-09-15 2019-03-21 Cummins, Inc. VEHICLE LOSS CALCULATION FOR ENHANCED FUEL SAVINGS
US10960743B2 (en) * 2018-06-08 2021-03-30 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Motor vehicle
US11733072B2 (en) * 2018-10-03 2023-08-22 Pony Ai Inc. Sensor enclosure drainage
DE102019216517B3 (de) * 2019-10-25 2021-03-18 Daimler Ag Verfahren zur Synchronisation zumindest zweier Sensor-Systeme
US11851088B2 (en) * 2020-03-11 2023-12-26 Baidu Usa Llc Method for determining capability boundary and associated risk of a safety redundancy autonomous system in real-time
US11702104B2 (en) * 2020-04-22 2023-07-18 Baidu Usa Llc Systems and methods to determine risk distribution based on sensor coverages of a sensor system for an autonomous driving vehicle
US11807259B2 (en) * 2020-11-30 2023-11-07 Nuro, Inc. Hardware systems for an autonomous vehicle
WO2022150148A2 (en) * 2020-12-11 2022-07-14 Nuro, Inc. Low voltage power distribution unit for autonomous vehicle
CN112519803A (zh) * 2021-01-07 2021-03-19 蔚来汽车科技(安徽)有限公司 自动驾驶控制系统及自动驾驶控制装置
DE102021201632B4 (de) * 2021-02-19 2022-09-29 Volkswagen Aktiengesellschaft Verfahren eines Fahrzeugs zur kontextabhängigen Fehlerverarbeitung mittels heterogener Verifikation und Fahrzeug
US11787428B2 (en) * 2021-03-04 2023-10-17 Zf Friedrichshafen Ag Diagnostic method and system for an automated vehicle
CN113044063B (zh) * 2021-03-31 2022-09-06 重庆长安汽车股份有限公司 用于高级自动驾驶的功能冗余控制系统
US11538288B2 (en) * 2021-04-26 2022-12-27 GM Global Technology Operations LLC Diagnostic systems and methods using automotive audio bus
US20230017962A1 (en) * 2021-07-15 2023-01-19 Waymo Llc Denial of service response to the detection of illicit signals on the in-vehicle communication network
US20230159041A1 (en) * 2021-11-23 2023-05-25 Tusimple, Inc. Vehicle safety system for autonomous vehicles
WO2023117040A1 (en) * 2021-12-20 2023-06-29 Volvo Autonomous Solutions AB Control system and method for manoeuvring an automated vehicle
US11872937B2 (en) * 2022-02-16 2024-01-16 GM Global Technology Operations LLC Severity prediction system and method
EP4230494A1 (en) * 2022-02-18 2023-08-23 TuSimple, Inc. System copmprising three groups of sensors
CN114884907B (zh) * 2022-04-19 2023-07-25 中汽创智科技有限公司 一种基于自动驾驶的通信方法、装置、系统、设备及介质
US20240040269A1 (en) * 2022-07-26 2024-02-01 Tusimple, Inc. Sensor configuration for autonomous vehicles
GB2624461A (en) * 2022-11-21 2024-05-22 Jaguar Land Rover Ltd Maintaining adaptive cruise control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013071549A (ja) 2011-09-27 2013-04-22 Honda Motor Co Ltd 車体挙動安定化装置
JP2016081534A (ja) 2014-10-14 2016-05-16 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 自動化された運転のためのフェールセーフｅ／ｅアーキテクチャ
US20170090476A1 (en) 2015-09-28 2017-03-30 Uber Technologies, Inc. Autonomous vehicle with independent auxiliary control units

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913751B1 (de) 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
US6873251B2 (en) 2002-07-16 2005-03-29 Delphi Technologies, Inc. Tracking system and method employing multiple overlapping sensors
DE102005050310A1 (de) 2004-10-22 2006-06-08 Irobot Corp., Burlington Systeme und Verfahren zum Steuern eines Fahrzeuges
US20070293989A1 (en) 2006-06-14 2007-12-20 Deere & Company, A Delaware Corporation Multiple mode system with multiple controllers
DE102007058192A1 (de) * 2007-12-04 2009-06-10 Continental Teves Ag & Co. Ohg Zentrales Steuergerät für mehrere in einem Kraftfahrzeug vorgesehene Assistenzsysteme und Kraftfahrzeug (Wegen nicht zuerkannter Prio)
US8618922B2 (en) 2010-03-30 2013-12-31 GM Global Technology Operations LLC Method and system for ensuring operation of limited-ability autonomous driving vehicles
JP2011240816A (ja) 2010-05-18 2011-12-01 Denso Corp 自律走行制御装置
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
KR101426797B1 (ko) 2010-11-16 2014-08-06 주식회사 만도 페일세이프 기능을 구비한 비전 시스템 및 그 비전 시스템의 페일세이프 방법
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
GB201215963D0 (en) 2012-09-06 2012-10-24 Jaguar Cars Vehicle control system and method
US20140303812A1 (en) 2013-04-05 2014-10-09 Hamilton Sundstrand Corporation Backup control system
KR101491849B1 (ko) * 2013-07-23 2015-02-06 현대오트론 주식회사 차간 거리용 센서 고장 보상 시스템 및 방법
US10447195B2 (en) * 2013-07-23 2019-10-15 Atieva, Inc. Electric vehicle motor torque safety monitor
DE102013020177A1 (de) * 2013-11-30 2014-06-18 Daimler Ag Kraftfahrzeug
US9406177B2 (en) 2013-12-20 2016-08-02 Ford Global Technologies, Llc Fault handling in an autonomous vehicle
US9465388B1 (en) * 2014-03-03 2016-10-11 Google Inc. Remote assistance for an autonomous vehicle in low confidence situations
DE102014210147A1 (de) 2014-05-27 2015-12-03 Continental Teves Ag & Co. Ohg Fahrzeugsteuersystem für eine autonome Führung eines Fahrzeugs
KR20160136640A (ko) * 2015-05-20 2016-11-30 주식회사 만도 차량 자율 주행 시스템 및 방법
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9910441B2 (en) 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
JP2017138694A (ja) 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法
EP3220268B1 (en) 2016-03-16 2022-02-16 TTTech Auto AG Fault-tolerant high-performance computer system for autonomous vehicle maneuvering
JP2017165296A (ja) * 2016-03-17 2017-09-21 株式会社日立製作所 自動運転制御システム
JP6611664B2 (ja) 2016-04-26 2019-11-27 三菱電機株式会社 自動運転制御装置および自動運転制御方法
EP3498561B1 (en) 2016-08-10 2024-04-24 Hitachi Astemo, Ltd. Vehicle control device
WO2018154861A1 (ja) * 2017-02-23 2018-08-30 本田技研工業株式会社 車両用制御システムおよび制御方法
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
DE102017204603B4 (de) * 2017-03-20 2023-10-26 Continental Autonomous Mobility Germany GmbH Fahrzeugsteuersystem und Verfahren zum Steuern eines Fahrzeugs
US10663595B2 (en) * 2017-03-29 2020-05-26 Luminar Technologies, Inc. Synchronized multiple sensor head system for a vehicle
WO2018193449A1 (en) * 2017-04-17 2018-10-25 Mobileye Vision Technologies Ltd. Secure system that includes driving related systems
JP6381835B1 (ja) 2017-06-08 2018-08-29 三菱電機株式会社 車両制御装置
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application
AU2018267541A1 (en) * 2017-11-20 2019-06-06 Ashok Krishnan Systems and methods of training vehicles
KR102066219B1 (ko) * 2018-02-05 2020-01-14 주식회사 만도 리던던트 구조 기반의 차량 제어 장치 및 방법
US20200039503A1 (en) 2018-08-02 2020-02-06 GM Global Technology Operations LLC Vehicle and method of coordinated lash management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013071549A (ja) 2011-09-27 2013-04-22 Honda Motor Co Ltd 車体挙動安定化装置
JP2016081534A (ja) 2014-10-14 2016-05-16 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 自動化された運転のためのフェールセーフｅ／ｅアーキテクチャ
US20170090476A1 (en) 2015-09-28 2017-03-30 Uber Technologies, Inc. Autonomous vehicle with independent auxiliary control units

Also Published As

Publication number Publication date
CA3122846C (en) 2023-09-19
US20200180653A1 (en) 2020-06-11
US11912292B2 (en) 2024-02-27
EP3870488A4 (en) 2022-08-03
US20220080990A1 (en) 2022-03-17
KR102511055B1 (ko) 2023-03-17
CA3122846A1 (en) 2020-06-18
WO2020123135A1 (en) 2020-06-18
CN113195329B (zh) 2024-03-12
KR20210090721A (ko) 2021-07-20
AU2019396245B2 (en) 2022-09-01
AU2019396245A1 (en) 2021-06-17
JP2023081938A (ja) 2023-06-13
JP2022512092A (ja) 2022-02-02
JP7239700B2 (ja) 2023-03-14
CN118062035A (zh) 2024-05-24
EP3870488A1 (en) 2021-09-01
US11208111B2 (en) 2021-12-28
CN113195329A (zh) 2021-07-30
KR20230042393A (ko) 2023-03-28

Similar Documents

Publication Publication Date Title
KR102546511B1 (ko) 자율 차량들을 위한 중복성 하드웨어 시스템
US11212490B2 (en) Vehicular control system with central electronic control unit
US11789445B2 (en) Remote control system for training deep neural networks in autonomous machine applications
CN115135554B (zh) 周界传感器壳体
US11900004B2 (en) Vehicle apparatus and control method
US11977165B2 (en) Self-reflection filtering
US20210109523A1 (en) Sensor field of view in a self-driving vehicle
US11851092B1 (en) Positional gaps for driver controllability
US11815983B2 (en) Communication ECU
CN112298207B (zh) 当存在失去行驶能力的自主车辆时维持道路安全
US20210107494A1 (en) Using Driver Assistance to Detect and Address Aberrant Driver Behavior
CN111216631A (zh) 行驶控制装置、控制方法以及存储程序的存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant