JP7239700B2 - 自律車両のための冗長ハードウェアシステム - Google Patents

自律車両のための冗長ハードウェアシステム Download PDF

Info

Publication number
JP7239700B2
JP7239700B2 JP2021531599A JP2021531599A JP7239700B2 JP 7239700 B2 JP7239700 B2 JP 7239700B2 JP 2021531599 A JP2021531599 A JP 2021531599A JP 2021531599 A JP2021531599 A JP 2021531599A JP 7239700 B2 JP7239700 B2 JP 7239700B2
Authority
JP
Japan
Prior art keywords
sensors
vehicle
mode
fallback
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021531599A
Other languages
English (en)
Other versions
JP2022512092A (ja
Inventor
チ,エミリー
ジョセフ アンドラーデ,ライアン
ウェンデル,アンドリアス
ジェームズ,マイケル
ラウターバッハ,クリスチャン
ブルーヒス,エタイ
ケネディ ラドウィック,クリストファー
ズブロゼック,アレクサンダー
カプセンベルグ,ピーター
リウ,ジュユアン
ローゼンバンド,ダニエル
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2022512092A publication Critical patent/JP2022512092A/ja
Priority to JP2023031704A priority Critical patent/JP7568764B2/ja
Application granted granted Critical
Publication of JP7239700B2 publication Critical patent/JP7239700B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023Avoiding failures by using redundant parts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00182Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions in response to weather conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00186Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/228Command input arrangements located on-board unmanned vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0292Fail-safe or redundant systems, e.g. limp-home or backup systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • B60W2720/106Longitudinal acceleration

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Hardware Redundancy (AREA)
  • Multi Processors (AREA)

Description

関連出願の相互参照
本出願は、2018年12月11日に出願された米国特許出願第16/215,713号の利益を主張するものであり、2018年11月5日に出願された「Systems for Implementing Fallback Behaviors for Autonomous Vehicles」と題する同時係属の米国特許出願第16/180,267号(弁護士整理番号XSDV3.0F-2059)に関連しており、この全開示は参照により本明細書に組み込まれる。
人間の運転者を必要としない車両などの自律型車両を、ある場所から別の場所への乗客または貨物の輸送を支援するために使用することができる。このような車両は、完全に自律的なモードで動作する場合と、人が何らかの運転入力を提供し得る、部分的に自律的なモードで動作する場合がある。自律モードで動作するために、車両はセンサを用い、受信されたセンサ情報を使用して様々な運転動作を実行することができる。ただし、センサまたはシステムの他の構成要素が故障するか、または他の場合に機能が低下に見舞われると、これは車両の運転機能に悪影響を与える可能性がある。
本技術は、完全なまたは部分的な自律運転モードで動作するように構成された車両のセンサ、計算、および電源システムの冗長アーキテクチャに関連する。すべての構成要素およびサブシステムを完全に冗長化することは可能であり得るが、特にセンサ群のサイズおよび配置、ならびにコストなどのその他の制限要因に制約がある車両では、これは実現不可能な場合がある。したがって、本技術の態様は、部分的な冗長性のためにフォールバック構成を用いる。例えば、フォールバックセンサ構成は、車両の周囲にいくらかの最小限の視野(FOV)を提供し得るだけでなく、知覚および計画処理のための最小限のコンピューティング電力も提供し得る。
本技術の態様によれば、車両は自律運転モードで動作するように構成される。車両は、運転システム、知覚システム、および制御システムを備える。運転システムは、自律運転モードにおいて車両の運転を制御するためのステアリングサブシステム、加速サブシステム、および減速サブシステムを含む。知覚システムは、車両の周囲の環境に関する情報を検出するように構成された複数のセンサを有する。複数のセンサは、第1の動作ドメインと関連付けられた第1のセットのセンサと、第2の操作ドメインと関連付けられた第2のセットのセンサと、を含む。制御システムは、運転システムおよび知覚システムに動作可能に連結される。制御システムは、第1の動作ドメインと関連付けられた第1のコンピューティングサブシステムと、第2の動作ドメインと関連付けられた第2のコンピューティングサブシステムとを含む。第1および第2のコンピューティングサブシステムの各々は、1つ以上のプロセッサを有する。第1および第2のコンピューティングサブシステムは各々、第1の動作モードにおける第1のセットのセンサおよび第2のセットのセンサの一方または両方からセンサデータを受信するように構成される。第1の動作モードにおいて受信されたセンサデータに応答して、制御システムは、自律運転モードにおいて車両を運転するために運転システムを制御するように構成される。複数のセンサのうちの1つ以上に対するエラー状態に応じて、第1のコンピューティングサブシステムが、第1の動作ドメインにおける第1のセットのセンサからのセンサデータを処理するように構成され、第2のコンピューティングサブシステムが、第2の動作ドメインにおける第2のセットのセンサからのセンサデータを処理するように構成される。そして、エラー状態に応答して、第1のコンピューティングサブシステムまたは第2のコンピューティングサブシステムのうちの一方のみが、フォールバック運転モードにおいて運転システムを制御するように構成される。
例では、第1および第2のセットのセンサの各々は、Lidarセンサ、レーダーセンサ、カメラセンサ、聴覚センサ、および測位センサからなるグループから選択される少なくとも1つのセンサを含む。ここで、第1および第2のセットのセンサの各々は、Lidar、レーダー、およびカメラセンサのそれぞれのグループを含むことができ、各グループは、車両の周囲の環境の選択された視野を提供する。
第1のセットのセンサの各々は、それぞれの視野を有することができ、第2のセットのセンサの各々は、それぞれの視野を有することができ、この場合、第2のセットのセンサのそれぞれの視野は、第1のセットのセンサのそれぞれの視野とは異なる。1つ以上の内部センサが車両の内部に配設されてもよい。1つ以上の内部センサは、カメラセンサ、聴覚センサ、および赤外線センサのうちの少なくとも1つを含む。
別の例では、フォールバック運転モードは、第1のフォールバックモードおよび第2のフォールバックモードを含む。第1のフォールバックモードは、第1のセットの運転動作を含み、第2のフォールバックモードは、第1のセットの運転動作とは異なる第2のセットの運転動作を含む。この例では、第1のコンピューティングサブシステムは、第1のフォールバックモードにおいて運転システムを制御するように構成され、第2のコンピューティングサブシステムは、第2のフォールバックモードにおいて運転システムを制御するように構成される。
さらに別の例では、車両は、第1および第2の配電サブシステムをさらに備える。ここで、フォールバック運転モードにおいて、第1の配電サブシステムは、第1の動作ドメインと関連付けられ、第1の動作ドメインのデバイスのみに電力を供給する。また、フォールバック運転モードにおいて、第2の配電システムは第2の動作ドメインと関連付けられ、第2の動作ドメインのデバイスのみに電力を供給する。そして、第1および第2の動作ドメインは互いに電気的に分離される。この場合、第1の配電サブシステムは、第1の動作モードにおいて第1のセットのベース車両負荷に電力を提供し、フォールバック運転モードにおいて第1の動作ドメインのデバイスに電力を提供するように構成されてもよく、第2の配電サブシステムは、第1の動作モードにおいて第1のセットのベース車両負荷とは異なる第2のセットのベース車両負荷に電力を提供し、フォールバック運転モードにおいて第2の動作ドメインのデバイスに電力を提供するように構成されてもよい。
さらなる例では、知覚システムの複数のセンサは、第1のコンピューティングサブシステムに動作可能に連結された第1のセットのフォールバックセンサと、第2のコンピューティングサブシステムに動作可能に連結された第2のセットのフォールバックセンサと、および非フォールバックセンサのセットと、を含む。このシナリオでは、非フォールバックセンサのセットは、第1のコンピューティングサブシステムおよび第2のコンピューティングサブシステムの一方または両方に動作可能に連結されてもよい。さらに別の例では、知覚システムの複数のセンサは、フォールバック運転モードにおいて第1および第2のコンピューティングサブシステムの両方に動作可能に連結されたセンサのサブセットを含む。
本技術の別の態様によれば、自律運転モードにおいて車両を動作させる方法が提供される。この方法は、車両の知覚システムの複数のセンサによって、車両の周囲の環境に関する情報を検出することであって、複数のセンサが、第1の動作ドメインと関連付けられた第1のセットのセンサと、第2の動作ドメインと関連付けられた第2のセットのセンサと、を含む、検出することと、車両の制御システムによって、車両の周囲の環境に関する検出された情報をセンサデータとして受信することであって、制御システムが、第1の動作ドメインと関連付けられた第1のコンピューティングサブシステムと、第2の動作ドメインと関連付けられた第2のコンピューティングサブシステムとを含む、受信することと、第1の動作モードにおいてセンサデータを受信することに応答して、制御システムが、自律運転モードにおいて車両を運転するように車両の運転システムを制御することと、複数のセンサのうちの1つ以上に対するエラー状態を検出することと、エラー状態を検出したときに、第1のコンピューティングサブシステムが、第1の動作ドメイン内の第1のセットのセンサのみからのセンサデータを処理し、第2のコンピューティングサブシステムが、第2の動作ドメインにおける第2のセットのセンサのみからのセンサデータを処理することと、エラー状態に応答して、第1のコンピューティングサブシステムまたは第2のコンピューティングサブシステムうちの一方のみが、フォールバック運転モードにおいて運転システムを制御することと、を含む。
一例では、フォールバック運転モードは、第1のフォールバックモードおよび第2のフォールバックモードを含む複数のフォールバックモードを含む。この場合、第1のフォールバックモードは、第1のセットの運転動作を含み、第2のフォールバックモードは、第1のセットの運転動作とは異なる第2のセットの運転動作を含むことができる。この場合、フォールバック運転モードにおいて運転システムを制御することは、第1のコンピューティングサブシステムが、第1のフォールバックモードにおいて運転システムを制御することを含むこと、または第2のコンピューティングサブシステムが、第2のフォールバックモードで運転システムを制御することを含むことができる。
別の例では、方法は、フォールバック運転モードにおいて、車両の第1の配電サブシステムによって、第1の動作ドメインのデバイスのみに電力を供給することと、車両の第2の配電サブシステムによって、第2の動作ドメインのデバイスのみに電力を供給することと、をさらに含むことができる。このシナリオでは、第1の配電サブシステムは、第1の動作モードにおいて第1のセットのベース車両負荷に電力を提供し、フォールバック運転モードにおいて第1の動作ドメインのデバイスに電力を提供することができ、第2の配電サブシステムは、第1の動作モードにおいて第1のセットのベース車両負荷とは異なる第2のセットのベース車両負荷に電力を提供し、フォールバック運転モードにおいて第2の動作ドメインのデバイスに電力を提供することができる。
フォールバック運転モード中に、知覚システムの複数のセンサのサブセットは、第1および第2のコンピューティングサブシステムの両方にセンサデータを提供することができる。フォールバック運転モードにおいて運転システムを制御することは、車両の以前に計画された軌道を変更すること、車両の速度を変更すること、または車両の目的地を変更することのうちの少なくとも1つを含む。この方法は、フォールバック運転モード中に、非フォールバッククリティカルのセンサからのセンサデータの処理を停止することもさらに含むことができる。
本技術の態様で使用するために構成された例示的な車両の斜視図を示す。 図1の例示的な車両例の上面図を示す。 本技術の態様による例示的な車両のブロック図を示す。 本技術の態様による例示的な知覚システムのブロック図である。 本開示の態様による車両の周囲の領域の例を示す。 本開示の態様による例示的なセンサ視野を示す。 本開示の態様による例示的なセンサアセンブリを示す。 本開示の態様によるセンサの向きの例を示す。 本開示の態様による重複しているセンサ視野の例を示す。 本技術の態様による異なるドメインにおける動作の例を示す。 本技術の態様による異なるドメインにおける動作のさらなる例を示す。 本技術の態様による例示的な自動運転システム構成を示す。 本技術の態様による例示的な配電構成を示す。 本技術の態様による動作の方法を示す。
本明細書で考察される部分的に冗長化された車両アーキテクチャは、車両の異なる動作ドメインと論理的に関連付けることができる異なるセンサ配置を用いるフォールバック構成と関連付けられる。各フォールバック構成は、トリガーされる理由が異なる場合があり、異なるタイプのフォールバック動作モードをもたらす可能性がある。トリガー条件は、例えば、故障のタイプ、障害、または構成要素の機能の他の低下、現在の自律運転モード、車両の周辺または計画されたルートに沿った環境状態、または他の要因に関連し得る。
例示的な車両システム
図1は、ミニバン、セダン、またはスポーツユーティリティビークルなどの乗客用車両100の斜視図を示す。図2は、乗客用車両100の上から見た図を示す。乗客用車両100は、車両の外部環境に関する情報を取得するための様々なセンサを含むことができる。例えば、屋上ハウジング102は、Lidarセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および/または音響センサを含むことができる。車両100の前端部に位置付けられたハウジング104、ならびに車両の運転者側および乗客側のハウジング106a、106bは、各々、Lidarおよび/または他のセンサを組み込むことができる。例えば、ハウジング106aは、車両のクォーターパネルに沿って運転席サイドドアの前に位置付けられてもよい。図示されるように、乗客用車両100はまた、レーダーユニット、Lidar、および/または車両の後方屋根部分にも向かって位置付けられる、カメラのためのハウジング108a、108bも含む。追加のLidar、レーダーユニット、および/またはカメラ(図示せず)は、車両100に沿った他の場所に位置付けられてもよい。例えば、矢印110は、センサユニット(図2の112)が、車両100のリードに沿って、例えば、バンパー上またはバンパーに隣接して位置決めされてもよいことを示す。そして、矢印114は、車両の前方を向いた方向に沿って配置された一連のセンサユニット116を示す。いくつかの例では、乗客用車両100はまた、車両の内部空間に関する情報を取得するための様々なセンサも含むことができる。内部センサ(複数可)は、カメラセンサ、聴覚センサ、および赤外線センサのうちの少なくとも1つを含むことができる。
本開示のある態様は、特定のタイプの車両に関連して特に有用であるが、車両は、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。
図3は、完全または半自律動作モードで動作するように構成された例示的な車両の様々な構成要素およびシステムを有するブロック図300を示す。例として、部分的または完全な自律運転モードで動作する車両では、異なる程度の自律性が発生する可能性がある。U.S.National Highway Traffic Safety Administration and the Society of Automotive Engineersは、どれだけ多く、またはどれだけ少なく、車両が運転を制御するかを示すために、様々なレベルを特定した。例えば、レベル0は自動化されておらず、運転手は、運転に関連するすべての決定を行う。最も低い半自律モードであるレベル1は、クルーズコントロールなど、何らかのドライブ支援を含む。レベル2は、特定の運転動作の部分的な自動化を有し、レベル3は、必要に応じて運転者席の人が制御することが可能であり得る条件付きの自動化を伴う。対照的に、レベル4は、車両が選んだ条件で支援なしで運転することができる高度な自動化レベルである。対照的に、レベル5は、車両があらゆる状況下で支援なしで運転することができる完全な自動化レベルである。本明細書に記載のアーキテクチャ、構成要素、システム、および方法は、本明細書で「自律」運転モードと呼ばれる、例えば、レベル1~5の半自律モードまたは完全自律モードのいずれかで機能することができる。したがって、自律運転モードへの言及には、部分的自律性と完全自律性の両方が含まれる。
図3に示すように、例示的な車両は、1つ以上のプロセッサ304、メモリ306、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含む、コンピューティングデバイスなどの1つ以上のコンピューティングデバイス302を含む。メモリ306は、1つ以上のプロセッサ304によってアクセス可能な情報を記憶し、その情報には、プロセッサ(複数可)304によって実行されるかまたは他の方法で使用され得る命令308およびデータ310が含まれる。コンピューティングシステムは、自律モードで動作するとき、車両の全体的な動作を制御することができる。
メモリ306は、プロセッサ304によって実行されるかまたは他の方法で使用され得る命令308およびデータ310を含む、プロセッサ304によってアクセス可能な情報を記憶する。メモリ306は、コンピューティングデバイス可読媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのものであり得る。メモリは、ハードドライブ、メモリカード、光ディスク、ソリッドステートなどの非一過性の媒体である。システムは、前述の異なる組み合わせを含むことができ、それにより、命令およびデータの異なる部分が異なるタイプの媒体に記憶される。
命令308は、プロセッサによって直接的に(マシンコードなど)または間接的に(スクリプトなど)実行される任意の命令のセットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」、「モジュール」、および「プログラム」という用語は、本明細書では区別なく使用され得る。データ310は、命令308に従って、1つ以上のプロセッサ304によって検索、記憶、または修正され得る。一例では、メモリ306の一部または全部は、車両診断および/または検出されたセンサデータを記憶するように構成されたイベントデータレコーダまたは他のセキュアデータストレージシステムであってもよく、実装形態に応じて、車両に搭載されてもよく、または遠隔地にあってもよい。
プロセッサ304は、市販されているCPUなどの、任意の従来のプロセッサであってもよい。代替的に、各プロセッサは、ASICまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図3は、コンピューティングデバイス302のプロセッサ、メモリ、およびその他の要素が同じブロック内にあることを機能的に示すが、そのようなデバイスは、実際には、同じ物理的ハウジング内に格納されてもされなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含んでもよい。同様に、メモリ306は、プロセッサ(複数可)304のものとは異なるハウジング内に位置するハードドライブまたは他のストレージ媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行で動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことが理解されよう。
一例では、コンピューティングデバイス302は、車両100に組み込まれた自律運転コンピューティングシステムを形成し得る。自律運転コンピューティングシステムは、車両の様々な構成要素と通信することが可能であり得る。例えば、コンピューティングデバイス302は、(車両の制動を制御するための)減速システム312、(車両の加速を制御するための)加速システム314、(車輪の向きおよび車両の方向を制御するための)ステアリングシステム316、(方向指示器を制御するための)合図システム318、(車両をある場所にまたは物体の周りにナビゲートするための)ナビゲーションシステム320、および(車両の位置を決定するための)測位システム322を含む、運転システムを含む、車両の様々なシステムと通信可能であってもよい。自律運転コンピューティングシステムは、ナビゲーションシステム320および測位システム322に従って、例えば出発点から目的地までのルートを決定するためのプランナーとして部分的に動作することができる。
コンピューティングデバイス302はまた、車両の乗客からの連続的または定期的な入力を要求しないかまたは必要としない自律運転モードで、メモリ306の命令308に従って、車両の動き、速度などを制御するために、(車両の環境内の物体を検出するための)知覚システム324、電力システム326(例えば、バッテリおよび/またはガソリンもしくはディーゼル動力エンジン)、ならびにトランスミッションシステム330に動作可能に連結される。車輪/タイヤ328は、トランスミッションシステム330に連結され、コンピューティングデバイス302は、自律モードでの運転に影響を与え得るタイヤ空気圧、バランス、および他の要因に関する情報を受信することが可能であり得る。電力システム326は、複数の電力分配要素327を有することができ、その各々は、車両の選択された構成要素および他のシステムに電力を供給することができる。
コンピューティングデバイス302は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス302は、地図情報およびナビゲーションシステム320からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス302は、測位システム322を使用して車両の場所を判断し、その場所に安全に到着する必要があるとき、知覚システム324を使用して、物体を検出し、物体に応答することができる。そうするために、コンピューティングデバイス302は、車両を(例えば、加速システム314によってエンジンに提供される燃料または他のエネルギーを増加させることによって)加速し、(例えば、エンジンに供給される燃料を低減し、ギヤを切り替え、および/または減速システム312によって制動をかけることによって)減速し、(例えば、ステアリングシステム316によって、車両100の前輪または他の車輪の方向を転換することによって)方向を変更し、(例えば、合図システム318の方向指示器を点灯することによって)そのような変更を合図し得る。したがって、加速システム314および減速システム312は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置または他のタイプのトランスミッションシステム330の一部であり得る。この場合も、これらのシステムを制御することによって、コンピューティングデバイス302はまた、車両を自律的に操縦するために、車両のトランスミッションシステム330を制御することができる。
ナビゲーションシステム320は、ある場所までのルートを決定し、たどるために、コンピューティングデバイス302によって使用され得る。この点について、ナビゲーションシステム320および/またはメモリ306は、地図情報、例えば、コンピューティングデバイス302が車両をナビゲートまたは制御するために使用することができる非常に詳細な地図を記憶し得る。一例として、これらの地図は、車道、区画線、交差点、横断歩道、速度制限、交通信号機、建物、標識、リアルタイムの交通情報、植生、または他のそのような物体ならびに情報の形状および標高を識別し得る。区画線は、実線または破線の、二重または単一の車線境界線、実線または破線の車線境界線、反射板などの特徴を含み得る。所与の車線は、車線の境界を画定する、左および/または右の車線境界線または他の区画線と関連付けられ得る。このため、ほとんどの車線は、1つの車線境界線の左端と別の車線境界線の右端によって境界付けられ得る。
知覚システム324は、車両の外部の物体を検出するためのセンサも含む。検出された物体は、他の車両、道路上の障害物、交通信号機、標識、樹木などである可能性がある。以下でより詳細に考察されるように、知覚システム324は、図示されるように、センサドメインAおよびセンサドメインBなどの2つの(またはそれ超)センサドメインで動作するように配置される。各ドメイン内で、システムは、外部センサ群および内部センサ群の一方または両方を含むことができる。以下でさらに考察されるように、外部センサ群は、1つ以上のセンサを用いて、車両の外部環境の物体および状態を検出する。内部センサ群は、1つ以上の他のセンサを用いて、客室内などの車両内の物体および状態を検出してもよい。
図4は、知覚システム324の一例を示す。例えば、図示するように、単なる例として、知覚システム324の各ドメインは、1つ以上の光検出および測距(Lidar)センサ400、レーダーユニット402、カメラ404(例えば、中性密度フィルタ(ND)フィルタの有無にかかわらず、光学イメージングデバイス)、測位センサ406(例えば、ジャイロスコープ、加速度計、ならびに/または他の慣性構成要素)、赤外線センサ408、音響センサ410(例えば、マイクロフォンまたはソナートランスデューサ)、および/もしくはコンピューティングデバイス302によって処理され得るデータを記録する他の任意の検出デバイス412を含み得る。外部センサ群の知覚システム324のセンサは、車両の外側にある物体、ならびに場所、向き、サイズ、形状、タイプ(例えば、車両、歩行者、自転車運転者など)、方位移動速度などの物体の特性を検出することができる。内部センサ群のセンサは、車両内の物体(例えば、人、ペット、荷物)および車両内の状態(例えば、温度、湿度など)を検出することができる。
センサからの生データおよび前述の特性は、知覚システム324によって処理され、および/またはデータが知覚システム324によって生成されるときに、周期的および連続的にコンピューティングデバイス302に、さらなる処理のために送信され得る。コンピューティングデバイス302は、測位システム322を使用して車両の場所を判断し、その場所に安全に到着する必要があるとき、知覚システム324を使用して、物体を検出し、物体に応答することができる。加えて、コンピューティングデバイス302は、個々のセンサ、特定のセンサアセンブリ内のすべてのセンサ、または異なるセンサアセンブリもしくは他の物理的ハウジング内のセンサ間の較正を実行してもよい。
図1~図2に示すように、知覚システム324の特定のセンサは、1つ以上のセンサアセンブリまたはハウジングに組み込まれ得る。一例では、これらは車両のサイドビューミラーに組み込まれたセンサタワーとして配置されてもよい。別の例では、他のセンサが屋上ハウジング102の一部であってもよい。コンピューティングデバイス202は、車両上に位置付けられた、または他の方法で車両に沿って分散されたセンサアセンブリと通信することができる。各アセンブリは、上述したもののような1つ以上のタイプのセンサを有することができる。
図3に戻ると、コンピューティングデバイス302は、上述のプロセッサおよびメモリ、ならびにユーザインターフェースサブシステム334などのコンピューティングデバイスに関連して通常使用されるすべての構成要素を含むことができる。ユーザインターフェースサブシステム334は、1つ以上のユーザ入力336(例えば、マウス、キーボード、タッチスクリーン、および/またはマイクロフォン)、ならびに1つ以上の表示デバイス338(例えば、画面を有するモニタ、または情報を表示するように動作可能な他の任意の電気デバイス)を含んでもよい。この点について、内部の電子ディスプレイは、車両の車内(図示せず)に位置付けられてもよく、車両内の乗客に情報を提供するためにコンピューティングデバイス302によって使用されてもよい。スピーカ(複数可)340などの他の出力デバイスも、乗客用車両内に位置付けられてもよい。
乗客用車両はまた、通信システム342も含む。例えば、通信システム342はまた、他のコンピューティングデバイス、例えば、車両内の乗客コンピューティングデバイス、道路上の別の近くの車両内などの車両外部のコンピューティングデバイス、または遠隔サーバシステムとの通信を容易にするために、1つ以上の無線ネットワーク接続を含むこともできる。無線ネットワーク接続は、Bluetooth、Bluetooth ローエネルギー(LE)、携帯電話接続、ならびにインターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、1つ以上の企業独自の通信プロトコルを使用するプライベートネットワーク、イーサネット、WiFiおよびHTTP、ならびに前述の様々な組み合わせなどの短距離通信プロトコルを含む、様々な構成およびプロトコルを含み得る。
図3に示すように、システムは、情報および/または電力を送信するための1つ以上のバス344を含むことができる。バスは、様々な構成要素とサブシステムとの間の直接的または間接的な接続を提供することができる。例えば、データ通信バスは、知覚システム324のカメラおよび他のセンサと、コンピューティングデバイス302との間の双方向の通信を提供してもよい。電力線は、電力システム326の配電要素327に直接または間接的に接続されてもよく、またはコンピューティングデバイス302によって制御されるバッテリなどの別個の電源に接続されてもよい。単方向または双方向のデータ通信には、様々なプロトコルを用いることができる。一例として、コントローラエリアネットワーク(CAN)バスアーキテクチャを使用するプロトコル、あるいは100Base-T1(または1000Base-T1もしくは10GBase-T)イーサネットなどのイーサネットベースの技術を用いることができる。FlexRayなどの他のプロトコルも用いることができる。さらに、自動車用オーディオバス(登録商標)(A2B)および/または他のバス構成を用いることができる。
例示的な実装形態
上述され、図に示された構造および構成を考慮して、様々な実装形態を、本技術の態様に従ってここで説明する。
部分冗長-センサのフォールバックモード
車両の周囲の環境は、異なる象限または領域を有すると考えることができる。この一例が図5Aに示されており、車両の周囲の前方右側、前方左側、右側後方および左側後方エリアの隣接エリアと同様に、前方、後方、右側および左側領域を示す。これらの領域は単なる例示にすぎない。
これらの領域の一部または全部からデータを収集するために、様々なセンサが車両の周りの異なる場所に位置付けられる場合がある(図1~図2を参照)。例えば、図5Bに見られるように、図1の3つのセンサ116は、主に、車両の周囲の前方、前方左側、および前方右側の領域からデータを受信することができる。
特定のセンサは、車両の周囲のそれらの配置、および収集するように設計される情報のタイプに応じて、異なる視野を有することがある。例えば、異なるLidarセンサは、車両に隣接する(例えば、2~10メートル未満)物体の近距離(短距離)検出に使用されてもよく、他のセンサは、車両の前方100メートル(またはそれ超もしくは未満)の物体の遠距離(長距離)検出に使用されてもよい。中距離Lidarを用いることもできる。長距離の物体検出のために、複数のレーダーユニットを車両の前方、後方、および/または側方に位置決めすることができる。また、車両の周囲がよく見えるようにカメラを配置することもできる。構成に応じて、特定のタイプのセンサには、視野が重複している複数の個別のセンサが含まれてもよい。代替的に、他のセンサが冗長な360°の視野を提供してもよい。
図6は、図2に示されるセンサに関連するセンサ視野の一例600を提供する。ここで、屋上ハウジング102がLidarセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および/または音響センサを含む場合、これらのセンサの各々は異なる視野を有してもよい。したがって、図示するように、Lidarセンサは360°FOV602を提供することができ、ハウジング102内に配置されたカメラは個別のFOV604を有することができる。車両の前端のハウジング104内のセンサは前方を向いたFOV606を有し、ハウジング112内の後端のセンサは後方を向いたFOV608を有する。車両の運転者側および乗客側のハウジング106a、106bは、各々、それぞれのFOV610aまたは610bを有するLidarおよび/または他のセンサを組み込んでもよい。同様に、車両の後部屋根部分に向かって位置付けられたハウジング108a、108b内のセンサは各々、それぞれのFOV612aまたは612bを有する。そして、車両の前方を向いた方向に沿って配置されたセンサ群ユニット116は、それぞれのFOV614、616、および618を有することができる。これらの視野の各々は、単なる例示であり、カバレッジ範囲に関して正確な縮尺ではない。
上記のように、複数のセンサを所与のハウジング内に、またはアセンブリとして配置することができる。一例が、図7に示される。本図は、本開示の態様によるセンサアセンブリの例700を示す。図示するように、センサアセンブリは、破線によって示されるように、車両の屋根の一部分704に取り付けられるハウジング702を含む。ハウジング702は、図示するようなドーム型、円筒形、半球形であってもよく、または異なる外形を有してもよい。ハウジング702内には、屋根から遠隔にまたは離れて配置された第1のセンサ706と、屋根の近くに配置された第2のセンサ708とがある。センサ706および708の一方または両方は、Lidarまたは他のタイプのセンサであり得る。第1のセンサ706と第2のセンサ708との間には、撮像アセンブリ710が配設される。カメラアセンブリ710は、それに沿って配置された1つ以上のカメラのセットを含む。ハウジング702は、少なくともカメラが配置される場所に沿って光学的に透明であり得る。図7には示されないが、図3のプロセッサ304などの1つ以上のプロセッサが、センサアセンブリの一部として含まれ得る。プロセッサは、カメラアセンブリの様々な画像センサから受信した生の画像、ならびにセンサアセンブリ全体の他のセンサから受信した情報を処理するように構成され得る。
構成に応じて、様々なセンサを配置して、補完的な視野および/または重複する視野を提供することができる。例えば、カメラアセンブリ710は、車両の周囲の全体的な360°視野を提供するように位置決めされた複数の対の画像センサを有する第1のサブシステムを含み得る。カメラアセンブリ710はまた、例えば、前方の道路上の物体をよりよく識別するために、例えば、約90°の前方視野で、より高い解像度、異なる露出、異なるフィルタおよび/または他の追加機能を提供するために、一般的に車両の前方を向いた画像センサの第2のサブシステムを含むことができる。このサブシステムの視野はまた、90°より大きくても小さくてもよく、例えば、約60~135°であり得る。図8は、第1および第2のサブシステムの様々な画像センサの向きの例800を提供する。CCDまたは他のタイプの撮像要素が用いられ得るが、画像センサは、CMOSセンサであり得る。
カメラ、Lidar、および/またはその他のセンササブシステムの高さは、車両上の様々なセンサの配置および車両のタイプによって異なる。例えば、カメラアセンブリ710が大型SUVの屋根上またはその上に取り付けられる場合、典型的に、カメラアセンブリがセダンまたはスポーツカーの屋根上に取り付けられるときよりも高さがより高い。また、配置および構造上の制限により、車両のすべてのエリアの周りで視界が等しくない場合がある。カメラアセンブリ710の直径および車両上の配置を変化させることで、好適な360°視野を取得することができる。例えば、カメラアセンブリ710の直径は、例えば、およそ0.25~1.0メートルで変化し得る。直径は、カメラアセンブリを配置する車両のタイプ、および車両上に位置する特定の場所に応じて、より大きく、またはより小さくなるように選択され得る。
図8に示すように、カメラアセンブリの第1のサブシステムの各イメージセンサ対は、第1の画像センサ802および第2の画像センサ804を含む。第1および第2の画像センサは、別個のカメラ要素の一部であり得るか、または1つのカメラモジュールに一緒に含まれ得る。このシナリオでは、第1の画像センサ802は、自動露出に設定されてもよく、第2の画像センサ804は、例えば、暗色またはNDフィルタを使用して、固定露出に設定されてもよい。図示されるように、8つの対の画像センサが示されるが、より多くのまたはより少ない対が用いられてもよい。第2の画像サブシステムは、第1および第2の画像センサの解像度よりも高い解像度を有し得る画像センサ806を含む。この強化された解像度は、知覚システム324に車両の前方のシーンを可能な限り詳細に提供するために、車両の前方を向いたカメラにとって特に有益であり得る。図8は、第2のサブシステムの3つの画像センサを示すが、より多くのまたはより少ない画像センサが使用されてもよい。この例では、第2のサブシステムからの3つおよび第1のサブシステムからの8つの対を含む、合計19の画像センサがカメラアセンブリ710に組み込まれる。この場合も、カメラアセンブリには、より多くのまたはより少ない画像センサが用いられ得る。
各画像センサの正確な視野は、例えば、特定のセンサの特徴に応じて異なり得る。例として、画像センサ802および804は、約50°のFOV、例えば、49°~51°を有し、一方、画像センサ806は、各々、例えば、30°程度またはそれよりわずかに多い、例えば5~10%多いFOVを有し得る。これは、隣接する画像センサのFOVにおける重複を可能にする。
様々なセンサによって生成された画像または他のデータに継ぎ目または隙間があることは望ましくないので、選択された量の重複は有益である。加えて、選択された重複によって、処理システムは、画像のスティッチングを回避することができる。画像スティッチングは、従来のパノラマ画像処理で実行され得るが、車両が自動運転モードで動作しているリアルタイムの状況で実行するのは計算が難しい可能性がある。必要な時間量および処理リソースを低減することによって、車両の運転時の知覚システムの応答性が大幅に向上する。
図9A~図9Bは、隣接するセンサ領域間のイメージセンサの重複の2つの例を示す。図示されるように、車両の周囲の前方および前方右領域をカバーする画像センサの場合、0.5~5°の重複900(図9A)、または代替的に、6~10°以下の重複があってもよい。この重複900は、図8のイメージセンサ802などの1つのタイプのセンサに適用することができる。別のタイプのセンサには、異なる重複が適用されてもよい。例えば、図8の画像センサ804について、2~8°の重複902(図9B)、または代わりに、8~12°以下の重複があってもよい。車両のタイプ、サイズ、センサのタイプなどに応じて、システムの重複を大きくしたり小さくしたりすることもできる。
例示的なシナリオ
上記のように、センサまたはその他の構成要素が故障したり、機能の低下に見舞われたりすると、車両の運転機能が制限されるか、または動作が完全に妨げられる可能性がある。例えば、1つ以上のセンサは、例えば、機械的または電気的故障、環境状態(極寒、雪、氷、泥、またはほこりの閉塞など)に起因する劣化、または他の要因に起因するエラーに遭遇する可能性がある。このような状況では、フォールバック構成は、少なくとも最小量のセンサ情報を提供するように設計されるため、知覚および計画システムは、所与の動作モードに従って動作することができる。動作モードは、例えば、サービスを受ける前に現在の運転活動(例えば、乗客の希望する場所での降車)を完了すること、ルートおよび/または速度を変更すること(例えば、高速道路を出て地上の道路に沿って運転すること、ルートに掲示される最低制限速度に減速することなど)、または安全になったらすぐに車を止めることを含むことができる。
例として、フォールバック構成は、2つの異なるドメイン、例えばドメインAおよびドメインBと関連付けられてもよい(図3~図4を参照)。各ドメインは、他のドメインの鏡像である必要はない。例えば、特定の前方に向いたセンサセットがドメインAに割り当てられ、異なる機能を有する別の前方を向いたセンサセットがドメインBに割り当てられる場合がある。1つのシナリオでは、各タイプのセンサを各ドメインに含めることができる。別のシナリオでは、交通信号機の検出のために、各ドメインで少なくとも1つ(セットの)の前方を向いたカメラ(複数可)が常に使用可能である。さらなるシナリオでは、360°の視野を有する少なくとも1つのセンサが、車両外部の物体の検出および分類のために各ドメインに割り当てられる。そして、さらに別のシナリオでは、1つ以上のセンサが各々、両方のドメインの一部として動作可能に存在してもよい。したがって、システムがドメインAのみ、ドメインBのみ、またはドメインAとBとの組み合わせのセンサを使用しているかどうかに基づいて、機能に違いがある可能性がある。
例えば、1つのシナリオにおいて、図6は、両方の(またはすべての)ドメインからの様々なセンサが車両の知覚および計画システムによって使用されている標準的な動作モードを示すことを考える。図10Aは、ドメインA動作の一例1000を示す。また、図10Bは、ドメインB動作の一例1010を示す。ここでは、異なるセンサまたはセンサのグループが、一方のドメインのみで使用される場合と、両方のドメインで使用される場合があることがわかり得る。例として、図6のLidarセンサは、両方のドメインに対して360°のFOVを提供することができる。ただし、ドメインAでは、標準的な動作時の1/2の垂直解像度1002しか提供されない可能性がある。同様に、ドメインBでは、Lidarセンサが提供する垂直解像度1012の量は、標準的な動作時の1/2にすぎない。
そして、ハウジング102(図2)内のカメラは、全体として360°のFOVを提供することもできる個々の視野604を有するが、各ドメインは異なるカメラセットを用いることができる。ここで、例えば、ドメインAは、第1の画像検知機能1004を提供するために第1の画像センサ802(例えば、自動露出)を含むことができ、一方、ドメインBは、第2の画像検知機能1014を提供するために、第2の画像センサ804(例えば、固定露出に設定される)を含むことができる。ただし、ドメインAとドメインBの両方が画像センサ806を含んでもよい。これは、画像センサ806が画像センサ802および804の解像度よりも高い解像度を有し、車両の前方に面している可能性があるためである。この強化された解像度は、車両の前方にある街灯、歩行者、自転車運転者などを検出する場合に特に役立つ。したがって、図10Aおよび10Bの両方に示されるように、各ドメインは、そのような高解像度画像センサからの画像検知機能1006を有することができる。他の例では、ドメインBは、他の前方画像検知機能を含むドメインAは含まない画像検知機能1006を含むことができる。
図11A~図11Dは、レーダーセンサなどの他のセンサを異なるドメインでどのように用いることができるかを示す。図11Aは、それぞれ個別のFOV1111~1116を有する、一組の6つのセンサ1101~1106の組み合わされたFOV1100を示す。組み合わされたFOV1100は、標準動作モードで利用可能であり得る。ドメインAでの動作中、図11Bに示すように、センサ1101、1102、1104、および1106のみが用いられ、その結果、ドメインAのFOV構成1110となる。そして、ドメインBでの動作中、図11Cに示すように、センサ1101、1103、1105、および1106のみが用いられ、その結果、ドメインBのFOV1120となる。ドメインAおよびBのこれらの例では、両方の前方を向いたセンサが利用され、重複している視野を提供する。
このシナリオでは、ドメインAまたはドメインBの構成のいずれかは、車両が第1のフォールバックモードにおいて動作するのに十分なセンサデータを個別に提供することができる。例えば、車両は高速道路を引き続き走行することができるが、低速の車線を運転するか、最低制限速度で走行するか、または別の速度閾値未満で運転することができる。または、車両は、例えば高速道路ではなく地上道路を利用することにより、曲がり角がより少ない、または予想される隣接物体がより少ない(例えば、車の数が少ない)目的地への代替ルートを選択することができる場合がある。対照的に、図11Dは、第2のフォールバックモードの異なるシナリオ1120を示しており、前方を向いたセンサ1101および1106のみが利用可能である。このフォールバックモードでは、視野1111および1116のみが車両にセンサ入力を提供しているため、システムは運転動作に大きな変更を加える可能性がある。これには、例えば、計画された目的地とは異なる近くの降車場所を選択すること、合図システムでハザードランプを点灯させることなどが含まれることがある。
上記の例では、異なるフォールバックシナリオのためのLidar、カメラ、およびレーダーセンサについて考察したが、他のタイプのセンサ、例えば、測位、音響、赤外線なども、異なるドメイン間で割り当てられて、所与の動作モードで車両を制御するのに十分な部分的冗長性を提供してもよい。
部分冗長性-コンピュータシステムのフォールバックモード
本技術の他の態様は、コンピューティングシステムに組み込まれた冗長性を含む。典型的な動作中、第1の計算システム(例えば、プランナーサブシステム)は軌道を生成し、その軌道に従って車両を制御するために軌道を第2の計算システムに送信することができる。これらの計算システムの各々は、コンピューティングデバイス302(図3)の一部であり得る。冗長性のために、2つのサブシステムが各々1つ以上のプロセッサおよび関連するメモリを有することができる。この例では、各サブシステムに電力が供給され、独立して動作するが、センサデータおよびリソースを共有して、基本的な車両動作を処理する。例えば、CPUクラッシュ、カーネルエラー、電源故障などに起因して、サブシステムの1つに故障が発生した場合、他のサブシステムは、指定されたフォールバック動作状態で車両を制御することができる。
1つの配置では、両方の計算サブシステムが、標準動作モードおよびフォールバックモードで車両を制御することができる。各サブシステムは、1つ以上のCANバスまたはFlexRayバスなどを介して、それぞれのドメインに関連付けられる。ただし、各ドメインのセンサ群は、同一である必要はなく、補完的である必要も、完全に重複している必要はない。例えば、特定の「フォールバック」センサを制御サブシステムAに割り当て(例えば、図11Bのセンサ1102、1104および1106)、他のフォールバックセンサを制御サブシステムBに割り当て(例えば、図11Cのセンサ1101、1103および1105)、他の「非フォールバック」センサを制御サブシステムAにのみ割り当ててもよい(図12参照)。
フォールバックセンサとは異なり、非フォールバックセンサはいかなる特定のドメインにも割り当てる必要はなく、ドメインの独立性や冗長性も必要ない。これは、非フォールバックセンサが最小限の実行可能なフォールバック機能を提供することとは関係がなく、むしろ標準動作モードにのみ使用される可能性があるためである。それにもかかわらず、そのようなセンサを一方のドメインまたは他方のドメインに配置する他の理由(例えば、車両統合)がある場合は、フォールバック動作に影響を与えることなく対応することができる。一例として、あるドメインには別のドメインよりも多くの電源ヘッドルームがあるため、そのドメインは非フォールバックセンサに簡単に対応することができる。別の例では、1つの特定のドメインに配線を行う方が簡単な場合があるため、非フォールバックセンサをそのドメインに関連付けることができる。
図12は、自動運転システム構成の一例1200を示す。図示されるように、各ドメインは、コンピューティングシステム302からのプロセッサ304であり得る1つ以上のプロセッサ1202aまたは1202bを含む。各ドメインは、プロセッサ1202a、1202bによる実行のためのソフトウェアまたはファームウェアモジュールも備えることができるそれぞれの動作モード論理1204a、1204bも含む。動作モード論理1204a、1204bは、標準動作モードおよび1つ以上のフォールバック動作モードで実行するための別個の構成要素を含むことができる。異なるドメインのフォールバックモードは、例えば、それぞれのドメインと関連付けられたフォールバックセンサのタイプと機能に従って、異なる方式で車両を動作させることを伴う場合がある。そして、図12に示すように、ドメインのうちの1つ(例えば、ドメインA)は、1つ以上のグラフィック処理ユニット(GPU)1206または他のコンピューティングアクセラレータ(例えば、ASIC、FPGAなど)などの異なる計算リソースを含むことができる。ここでは、フォールバックセンサの1セットがドメインAと関連付けられ、フォールバックセンサの別のセットがドメインBと関連付けられ、1つ以上の非フォールバックセンサもドメインAと関連付けられるが、他の構成も可能であり、例えば、フォールバックセンサがドメインBに割り当てられるか、または1つのサブセットがドメインAに割り当てられ、別のサブセットがドメインBに割り当てられる。2つ(またはそれ超)の計算ドメインは、同じ性能、または同じ種類の計算要素を有する必要はないが、特定の構成では、同等の性能および/または同じ種類の計算要素を有してもよい。
単に一例として、この構成では、ドメインAは標準動作中に知覚システム(例えば、図3~4の知覚システム324)をサポートし、ドメインBは、標準的な動作中にプランナー(例えば、図3のナビゲーションシステム320および測位システム322に基づくルート計画)をサポートしてもよい。GPU(複数可)1206は、標準動作中に車載センサの一部または全部から受信したセンサデータを処理するように構成されてもよい。
1つのシナリオでは、各コンピューティングサブシステムは、対応する標準およびフォールバック動作モードで車両を動作させるのに十分なセンサ入力、および十分なコンピューティング機能(例えば、受信したセンサデータを処理するためのプロセッサおよびメモリリソース)を有してもよい。2つ(またはそれ超)のドメインは、標準モードで情報を共有することができる。このようにして、様々なドメインおよびサブシステムを使用して、光学FOVカバレッジを提供することができる。本技術の態様によれば、フォールバック動作を処理するために、いくつかの計算リソースが予備として保持されてもよい。また、フォールバックの場合、標準モードの一部の典型的な動作が停止する場合がある。例えば、1つ以上の前方を向いた高解像度カメラ(例えば、図8のカメラ806)は、非フォールバッククリティカルのセンサと考えることができる。その結果、フォールバックモードに入ると、これらのカメラからの入力の処理が停止する場合がある。
部分冗長性-配電フォールバックモード
配電に関して、本技術の態様は、各々がバッテリバックアップを有する2つの障害に依存しない電源を提供する。例として、主要な障害が1つのドメインのみに限定されるように、二重電源は動作的に分離される。各電源は、特定のセットのベース車両負荷に対応することができる。図13Aは、冗長配電アーキテクチャ1300の例を示す。このシナリオに示すように、各ドメインは独自の独立した電源を有する。ここでは、各ドメインの電源および負荷は、介在する電子ヒューズによって保護される。実際には、通常の動作中、電子ヒューズは閉回路になる。電子ヒューズは、過電流、低電圧、過熱(または他の異常な状態)の形で故障を検出すると、すぐに反応して開回路になり、これにより2つのドメインを分離する。
各電源はバッテリバックアップを有し、12ボルト程度(例えば、8~16ボルトの範囲内)の自動車規格を提供するように構成される。各ドメインは、図3の配電要素327などの個別の配電ブロック1302a、1302bを有する。
DC/DCユニットは、上流の高電圧バッテリパックから電力を受け取り、それを低電圧(例えば、12V)に変換して12Vバッテリを充電する電圧変換器である。電子ヒューズアーキテクチャでは、電子ヒューズの存在に起因して、DC/DCユニットは、すべてが機能している(障害が発生していない)ときにシステムの半分を充電することができるため、2つのDC/DCユニットは必要ない。障害が発生した場合、各ドメインの冗長化された低電圧バックアップバッテリから電力を供給することができるため、システムは必ずしもDC/DCユニットを使用する必要はない。
電子ヒューズを必要としない電源冗長性の別の例は、図13Bに示すような二重独立DC/DCシステム1310である。ここでは、各ドメインに独自のDC電源が供給される。この例では、各ドメインは、個別の配電ブロック1312a、1312bを有する。ドメインの戻り電流パスが単一障害点をもたらさないようにシステムの接地が提供される。
制動、ステアリング、および/または推進力など、フォールバックの重要なアクチュエータがある場合がある。また、ホーン、キャビンライト、暖房および空調システムなど、非フォールバッククリティカルのアクチュエータがある場合がある。フォールバッククリティカルと見なされるアクチュエータは冗長化される場合があり(例えば、2つ以上の個別のアクチュエータ)、および/またはそのようなアクチュエータは、両方のドメインから電力を受け取ることができる。対照的に、フォールバッククリティカルでないアクチュエータは、冗長化された構成要素を有さない場合があり、および/または単一のドメインからのみ電力を受け取る場合がある。
車両の他のサブシステムに冗長性がある場合もある。例えば、制動およびステアリングのサブシステムは、(冗長的に電力を供給されることに加えて)冗長化されてもよい。同様に、他の車両または遠隔支援装置との通信は、複数のセルラーまたは他のタイプの通信リンクを用いることができる。2つ以上のGPS受信機を使用することができる。ワイパー、噴霧器、またはその他のクリーニング構成要素でさえ、冗長性のために構成され、ドメインの一方または両方(またはそれ以上)で(ベースロードとして)電力が供給されてもよい。ベース車両負荷は、個々のセンサ、センサ群、計算デバイス、アクチュエータ、および/または図3に関して考察されたような他の構成要素を含むことができる。
図14は、本技術の態様に従って車両を動作させる方法1400を示す。ブロック1402に示すように、車両の環境に関する情報は、車両のセンサ(例えば、Lidar、レーダー、カメラ、聴覚、および/または測位センサ)によって検出される。ブロック1404において、検出された情報は、図3のコンピューティングシステム(複数可)302または図12のシステム1200などの、車両の制御システムによって受信される。ブロック1406ごとに、第1の動作モードでのセンサデータの受信に応答して、車両の運転システムが自律的に制御される。ブロック1408において、車両のセンサのうちの1つ以上のエラー状態が検出される。これは、例えば、センサ機能の故障、障害、またはその他の低下が原因である可能性がある。
ブロック1410において、エラー状態を検出すると、第1のコンピューティングサブシステムは、第1の動作ドメイン内の第1のセットのセンサからのセンサデータを処理し、第2のコンピューティングサブシステムは、第2の動作ドメイン内の第2のセットのセンサからのセンサデータを処理する。その結果、ブロック1412において、エラー状態に応答して、第1または第2のコンピューティングサブシステムの1つは、フォールバック運転モードで車両の運転システムを制御する。いくつかの例では、エラー状態を検出する前に、第1のコンピューティングサブシステムが標準動作モードで機能(例えば、プランナー、知覚など)を動作させてもよく、第2のコンピューティングサブシステムが標準動作モードで別の機能を動作させてもよい。
特段の記述がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実施することができる。上で考察された特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題の限定としてではなく、例示としてみなされるべきである。加えて、本明細書に記載された実施例、ならびに「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の実施例に限定するものと解釈されるべきではなく、むしろ、実施例は、多くの可能な実施形態のうちの1つだけを例示することが意図される。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。プロセスまたは他の動作は、本明細書で特に明記しない限り、異なる順序で、または同時に実行されてもよい。

Claims (20)

  1. 自律運転モードにおいて動作するように構成された車両であって、前記車両が、
    前記自律運転モードにおいて前記車両の運転を制御するためのステアリングサブシステム、加速サブシステム、および減速サブシステムを含む運転システムと、
    前記車両の周囲の環境に関する情報を検出するように構成された複数のセンサを有する知覚システムであって、前記複数のセンサが、第1の動作ドメインと関連付けられた第1のセットのセンサと、第2の動作ドメインと関連付けられた第2のセットのセンサとを含む、知覚システムと、
    前記運転システムおよび前記知覚システムに動作可能に連結された制御システムであって、前記制御システムが、前記第1の動作ドメインと関連付けられた第1のコンピューティングサブシステムと、前記第2の動作ドメインと関連付けられた第2のコンピューティングサブシステムとを含み、前記第1および第2のコンピューティングサブシステムの各々が1つ以上のプロセッサを有する、制御システムと、を備え、
    前記第1および第2のコンピューティングサブシステムが、各々、第1の動作モードにおける前記第1のセットのセンサおよび前記第2のセットのセンサの両方からセンサデータを受信し、前記第1の動作モードにおける前記受信されたセンサデータに応答して、前記制御システムが、前記自律運転モードにおいて前記車両を運転するように前記運転システムを制御するように構成され、
    前記複数のセンサのうちの1つ以上に対するエラー状態を検出すると、前記第1のコンピューティングサブシステムが、前記第1の動作ドメインにおける前記第1のセットのセンサのみから受信されるセンサデータを処理するように構成されており、前記第2のコンピューティングサブシステムが、前記第2の動作ドメインにおける前記第2のセットのセンサのみから受信されるセンサデータを処理するように構成されており、
    前記エラー状態を検出することに応答して、前記第1のコンピューティングサブシステムまたは前記第2のコンピューティングサブシステムのうちの一方のみが、フォールバック運転モードにおいて前記運転システムを制御するように構成されている、車両。
  2. 前記第1および第2のセットのセンサの各々が、Lidarセンサ、レーダーセンサ、カメラセンサ、聴覚センサ、および測位センサからなるグループから選択される少なくとも1つのセンサを含む、請求項1に記載の車両。
  3. 前記第1および第2のセットのセンサの各々が、Lidar、レーダー、およびカメラセンサのそれぞれのグループを含み、各グループが、前記車両の周囲の前記環境の選択された視野を提供する、請求項2に記載の車両。
  4. 前記第1のセットのセンサにおける前記センサの各々が、それぞれの視野を有し、前記第2のセットのセンサにおける前記センサの各々が、それぞれの視野を有し、前記第2のセットのセンサの前記それぞれの視野が、前記第1のセットのセンサの前記それぞれの視野とは異なる、請求項1に記載の車両。
  5. 前記車両の内部に配設された1つ以上の内部センサをさらに備え、前記1つ以上の内部センサが、カメラセンサ、聴覚センサ、および赤外線センサのうちの少なくとも1つを含む、請求項1に記載の車両。
  6. 前記フォールバック運転モードが、第1のフォールバックモードおよび第2のフォールバックモードを含み、前記第1のフォールバックモードが、第1のセットの運転動作を含み、前記第2のフォールバックモードが、前記第1のセットの運転動作とは異なる第2のセットの運転動作を含み、
    前記第1のコンピューティングサブシステムが、前記第1のフォールバックモードにおいて前記運転システムを制御するように構成されており、
    前記第2のコンピューティングサブシステムが、前記第2のフォールバックモードにおいて前記運転システムを制御するように構成されている、請求項1に記載の車両。
  7. 第1および第2の配電サブシステムをさらに備え、
    前記フォールバック運転モードにおいて、前記第1の配電サブシステムが、前記第1の動作ドメインのデバイスのみに電力を供給するために前記第1の動作ドメインと関連付けられており、
    前記フォールバック運転モードにおいて、前記第2の配電サブシステムが、前記第2の動作ドメインのデバイスのみに電力を供給するために前記第2の動作ドメインと関連付けられており、
    前記第1および第2の動作ドメインが、互いに電気的に分離されている、請求項1に記載の車両。
  8. 前記第1の配電サブシステムが、前記第1の動作モードにおいて第1のセットのベース車両負荷に電力を提供し、前記フォールバック運転モードにおいて前記第1の動作ドメインのデバイスに電力を提供するように構成されており、
    前記第2の配電サブシステムが、前記第1の動作モードにおいて前記第1のセットのベース車両負荷とは異なる第2のセットのベース車両負荷に電力を提供し、前記フォールバック運転モードにおいて前記第2の動作ドメインのデバイスに電力を提供するように構成されている、請求項7に記載の車両。
  9. 前記知覚システム前記複数のセンサが、
    前記第1のコンピューティングサブシステムに動作可能に連結された第1のセットのフォールバックセンサと、
    前記第2のコンピューティングサブシステムに動作可能に連結された第2のセットのフォールバックセンサと、
    非フォールバックセンサのセットと、を含む、請求項1に記載の車両。
  10. 前記非フォールバックセンサのセットが、前記第1のコンピューティングサブシステムおよび前記第2のコンピューティングサブシステムの一方または両方に動作可能に連結されている、請求項9に記載の車両。
  11. 前記知覚システムの前記複数のセンサが、前記フォールバック運転モードにおいて前記第1および第2のコンピューティングサブシステムの両方に動作可能に連結されたセンサのサブセットを含む、請求項1に記載の車両。
  12. 自律運転モードにおいて車両を動作させる方法であって、前記方法が、
    前記車両の知覚システムの複数のセンサによって、前記車両の周囲の環境に関する情報を検出することであって、前記複数のセンサが、第1の動作ドメインと関連付けられた第1のセットのセンサと、第2の動作ドメインと関連付けられた第2のセットのセンサと、を含む、検出することと、
    前記車両の制御システムによって、第1の動作モードにおいて、前記第1のセットのセンサおよび前記第2のセットのセンサの両方からのセンサデータとして、前記車両の周囲の前記環境に関する前記検出された情報を受信することであって、前記制御システムが、前記第1の動作ドメインと関連付けられた第1のコンピューティングサブシステムと、前記第2の動作ドメインと関連付けられた第2のコンピューティングサブシステムとを含む、受信することと、
    前記第1の動作モードにおいて前記センサデータを受信することに応答して、前記制御システムが、前記自律運転モードにおいて前記車両を運転するように前記車両の運転システムを制御することと、
    前記複数のセンサのうちの1つ以上に対するエラー状態を検出することと、
    前記エラー状態を検出したときに、前記第1のコンピューティングサブシステムが、前記第1の動作ドメイン内の前記第1のセットのセンサのみから受信されるセンサデータを処理し、前記第2のコンピューティングサブシステムが、前記第2の動作ドメインにおける前記第2のセットのセンサのみから受信されるセンサデータを処理することと、
    前記エラー状態を検出することに応答して、前記第1のコンピューティングサブシステムまたは前記第2のコンピューティングサブシステムうちの一方のみが、フォールバック運転モードにおいて前記運転システムを制御することと、を含む、方法。
  13. 前記フォールバック運転モードが、第1のフォールバックモードおよび第2のフォールバックモードを含む複数のフォールバックモードを含む、請求項12に記載の方法。
  14. 前記第1のフォールバックモードが、第1のセットの運転動作を含み、前記第2のフォールバックモードが、前記第1のセットの運転動作とは異なる第2のセットの運転動作を含む、請求項13に記載の方法。
  15. 前記フォールバック運転モードにおいて前記運転システムを制御することは、
    前記第1のコンピューティングサブシステムが、前記第1のフォールバックモードにおいて前記運転システムを制御すること、または
    前記第2のコンピューティングサブシステムが、前記第2のフォールバックモードにおいて前記運転システムを制御すること、を含む、請求項14に記載の方法。
  16. 前記フォールバック運転モードにおいて、
    前記車両の第1の配電サブシステムによって、前記第1の動作ドメインのデバイスのみに電力を供給することと、
    前記車両の第2の配電サブシステムによって、前記第2の動作ドメインのデバイスのみに電力を供給することと、をさらに含む、請求項12に記載の方法。
  17. 前記第1の配電サブシステムが、前記第1の動作モードにおいて第1のセットのベース車両負荷に電力を提供し、前記フォールバック運転モードにおいて前記第1の動作ドメインのデバイスに電力を提供し、
    前記第2の配電サブシステムが、前記第1の動作モードにおいて前記第1のセットのベース車両負荷とは異なる第2のセットのベース車両負荷に電力を提供し、前記フォールバック運転モードにおいて前記第2の動作ドメインのデバイスに電力を提供する、請求項16に記載の方法。
  18. 前記フォールバック運転モード中に、前記知覚システムの前記複数のセンサのサブセットが、前記第1および第2のコンピューティングサブシステムの両方にセンサデータを提供する、請求項12に記載の方法。
  19. 前記フォールバック運転モードにおいて前記運転システムを制御することが、前記車両の以前に計画された軌道を変更すること、前記車両の速度を変更すること、または前記車両の目的地を変更することのうちの少なくとも1つを含む、請求項12に記載の方法。
  20. 前記フォールバック運転モード中に非フォールバッククリティカルのセンサからのセンサデータの処理を停止することをさらに含む、請求項12に記載の方法。
JP2021531599A 2018-12-11 2019-11-25 自律車両のための冗長ハードウェアシステム Active JP7239700B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023031704A JP7568764B2 (ja) 2018-12-11 2023-03-02 自律車両のための冗長ハードウェアシステム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/215,713 US11208111B2 (en) 2018-12-11 2018-12-11 Redundant hardware system for autonomous vehicles
US16/215,713 2018-12-11
PCT/US2019/062998 WO2020123135A1 (en) 2018-12-11 2019-11-25 Redundant hardware system for autonomous vehicles

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023031704A Division JP7568764B2 (ja) 2018-12-11 2023-03-02 自律車両のための冗長ハードウェアシステム

Publications (2)

Publication Number Publication Date
JP2022512092A JP2022512092A (ja) 2022-02-02
JP7239700B2 true JP7239700B2 (ja) 2023-03-14

Family

ID=70972374

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021531599A Active JP7239700B2 (ja) 2018-12-11 2019-11-25 自律車両のための冗長ハードウェアシステム
JP2023031704A Active JP7568764B2 (ja) 2018-12-11 2023-03-02 自律車両のための冗長ハードウェアシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023031704A Active JP7568764B2 (ja) 2018-12-11 2023-03-02 自律車両のための冗長ハードウェアシステム

Country Status (8)

Country Link
US (3) US11208111B2 (ja)
EP (2) EP3870488B1 (ja)
JP (2) JP7239700B2 (ja)
KR (2) KR102546511B1 (ja)
CN (2) CN113195329B (ja)
AU (1) AU2019396245B2 (ja)
CA (1) CA3122846C (ja)
WO (1) WO2020123135A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7568764B2 (ja) 2018-12-11 2024-10-16 ウェイモ エルエルシー 自律車両のための冗長ハードウェアシステム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11731633B2 (en) * 2017-09-15 2023-08-22 Cummins Inc. Vehicle loss calculation for improved fuel economy
US10960743B2 (en) * 2018-06-08 2021-03-30 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Motor vehicle
US11733072B2 (en) * 2018-10-03 2023-08-22 Pony Ai Inc. Sensor enclosure drainage
US20220332331A1 (en) * 2019-09-03 2022-10-20 Beijing Voyager Technology Co., Ltd. Redundancy structure for autonomous driving system
DE102019216517B3 (de) * 2019-10-25 2021-03-18 Daimler Ag Verfahren zur Synchronisation zumindest zweier Sensor-Systeme
US11851088B2 (en) * 2020-03-11 2023-12-26 Baidu Usa Llc Method for determining capability boundary and associated risk of a safety redundancy autonomous system in real-time
US11702104B2 (en) * 2020-04-22 2023-07-18 Baidu Usa Llc Systems and methods to determine risk distribution based on sensor coverages of a sensor system for an autonomous driving vehicle
US11554793B2 (en) * 2020-10-26 2023-01-17 Tusimple, Inc. Vehicle safety system for autonomous vehicles
WO2022115713A1 (en) * 2020-11-30 2022-06-02 Nuro, Inc. Hardware systems for an autonomous vehicle
WO2022150148A2 (en) * 2020-12-11 2022-07-14 Nuro, Inc. Low voltage power distribution unit for autonomous vehicle
CN112519803A (zh) * 2021-01-07 2021-03-19 蔚来汽车科技(安徽)有限公司 自动驾驶控制系统及自动驾驶控制装置
DE102021201632B4 (de) * 2021-02-19 2022-09-29 Volkswagen Aktiengesellschaft Verfahren eines Fahrzeugs zur kontextabhängigen Fehlerverarbeitung mittels heterogener Verifikation und Fahrzeug
US20220266862A1 (en) * 2021-02-25 2022-08-25 Autonomous Solutions, Inc. Intelligent urgent stop system for an autonomous vehicle
US11787428B2 (en) * 2021-03-04 2023-10-17 Zf Friedrichshafen Ag Diagnostic method and system for an automated vehicle
CN113044063B (zh) * 2021-03-31 2022-09-06 重庆长安汽车股份有限公司 用于高级自动驾驶的功能冗余控制系统
US11538288B2 (en) * 2021-04-26 2022-12-27 GM Global Technology Operations LLC Diagnostic systems and methods using automotive audio bus
US20230017962A1 (en) * 2021-07-15 2023-01-19 Waymo Llc Denial of service response to the detection of illicit signals on the in-vehicle communication network
US12095805B2 (en) 2021-07-15 2024-09-17 Waymo Llc Autonomous vehicle security measures in response to an attack on an in-vehicle communication network
US20230159041A1 (en) * 2021-11-23 2023-05-25 Tusimple, Inc. Vehicle safety system for autonomous vehicles
WO2023117040A1 (en) * 2021-12-20 2023-06-29 Volvo Autonomous Solutions AB Control system and method for manoeuvring an automated vehicle
US11872937B2 (en) * 2022-02-16 2024-01-16 GM Global Technology Operations LLC Severity prediction system and method
EP4230494A1 (en) * 2022-02-18 2023-08-23 TuSimple, Inc. System copmprising three groups of sensors
CN114884907B (zh) * 2022-04-19 2023-07-25 中汽创智科技有限公司 一种基于自动驾驶的通信方法、装置、系统、设备及介质
US20240040269A1 (en) * 2022-07-26 2024-02-01 Tusimple, Inc. Sensor configuration for autonomous vehicles
US20240140437A1 (en) * 2022-10-27 2024-05-02 Nec Corporation Of America Object based vehicle localization
GB2624461A (en) * 2022-11-21 2024-05-22 Jaguar Land Rover Ltd Maintaining adaptive cruise control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081534A (ja) 2014-10-14 2016-05-16 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 自動化された運転のためのフェールセーフe/eアーキテクチャ
US20170090476A1 (en) 2015-09-28 2017-03-30 Uber Technologies, Inc. Autonomous vehicle with independent auxiliary control units
JP2017165296A (ja) 2016-03-17 2017-09-21 株式会社日立製作所 自動運転制御システム
JP6381835B1 (ja) 2017-06-08 2018-08-29 三菱電機株式会社 車両制御装置
WO2018160486A1 (en) 2017-03-01 2018-09-07 Zoox, Inc. Trajectory generation and execution architecture

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59809476D1 (de) 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
US6873251B2 (en) 2002-07-16 2005-03-29 Delphi Technologies, Inc. Tracking system and method employing multiple overlapping sensors
GB2419430B (en) 2004-10-22 2008-05-21 Irobot Corp Systems and Methods for Control of a Vehicle
US20070293989A1 (en) 2006-06-14 2007-12-20 Deere & Company, A Delaware Corporation Multiple mode system with multiple controllers
DE102007058192A1 (de) * 2007-12-04 2009-06-10 Continental Teves Ag & Co. Ohg Zentrales Steuergerät für mehrere in einem Kraftfahrzeug vorgesehene Assistenzsysteme und Kraftfahrzeug (Wegen nicht zuerkannter Prio)
US8618922B2 (en) 2010-03-30 2013-12-31 GM Global Technology Operations LLC Method and system for ensuring operation of limited-ability autonomous driving vehicles
JP2011240816A (ja) 2010-05-18 2011-12-01 Denso Corp 自律走行制御装置
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
KR101426797B1 (ko) 2010-11-16 2014-08-06 주식회사 만도 페일세이프 기능을 구비한 비전 시스템 및 그 비전 시스템의 페일세이프 방법
JP5988560B2 (ja) 2011-09-27 2016-09-07 本田技研工業株式会社 車体挙動安定化装置
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
GB201215963D0 (en) 2012-09-06 2012-10-24 Jaguar Cars Vehicle control system and method
US20140303812A1 (en) 2013-04-05 2014-10-09 Hamilton Sundstrand Corporation Backup control system
KR101491849B1 (ko) * 2013-07-23 2015-02-06 현대오트론 주식회사 차간 거리용 센서 고장 보상 시스템 및 방법
US10447195B2 (en) * 2013-07-23 2019-10-15 Atieva, Inc. Electric vehicle motor torque safety monitor
DE102013020177A1 (de) 2013-11-30 2014-06-18 Daimler Ag Kraftfahrzeug
US9406177B2 (en) 2013-12-20 2016-08-02 Ford Global Technologies, Llc Fault handling in an autonomous vehicle
US9465388B1 (en) * 2014-03-03 2016-10-11 Google Inc. Remote assistance for an autonomous vehicle in low confidence situations
DE102014210147A1 (de) 2014-05-27 2015-12-03 Continental Teves Ag & Co. Ohg Fahrzeugsteuersystem für eine autonome Führung eines Fahrzeugs
KR20160136640A (ko) * 2015-05-20 2016-11-30 주식회사 만도 차량 자율 주행 시스템 및 방법
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9910441B2 (en) 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
JP2017138694A (ja) * 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法
EP3220268B1 (en) 2016-03-16 2022-02-16 TTTech Auto AG Fault-tolerant high-performance computer system for autonomous vehicle maneuvering
JP6611664B2 (ja) * 2016-04-26 2019-11-27 三菱電機株式会社 自動運転制御装置および自動運転制御方法
JP6675487B2 (ja) 2016-08-10 2020-04-01 日立オートモティブシステムズ株式会社 車両制御装置
CN110290998B (zh) * 2017-02-23 2023-05-23 本田技研工业株式会社 车辆用控制系统及控制方法
DE102017204603B4 (de) * 2017-03-20 2023-10-26 Continental Autonomous Mobility Germany GmbH Fahrzeugsteuersystem und Verfahren zum Steuern eines Fahrzeugs
US10663595B2 (en) * 2017-03-29 2020-05-26 Luminar Technologies, Inc. Synchronized multiple sensor head system for a vehicle
EP4186769A1 (en) * 2017-04-17 2023-05-31 Mobileye Vision Technologies Ltd. Secure system that includes driving related systems
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application
AU2018267541A1 (en) * 2017-11-20 2019-06-06 Ashok Krishnan Systems and methods of training vehicles
KR102066219B1 (ko) * 2018-02-05 2020-01-14 주식회사 만도 리던던트 구조 기반의 차량 제어 장치 및 방법
US20200039503A1 (en) 2018-08-02 2020-02-06 GM Global Technology Operations LLC Vehicle and method of coordinated lash management
US11208111B2 (en) 2018-12-11 2021-12-28 Waymo Llc Redundant hardware system for autonomous vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081534A (ja) 2014-10-14 2016-05-16 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 自動化された運転のためのフェールセーフe/eアーキテクチャ
US20170090476A1 (en) 2015-09-28 2017-03-30 Uber Technologies, Inc. Autonomous vehicle with independent auxiliary control units
JP2017165296A (ja) 2016-03-17 2017-09-21 株式会社日立製作所 自動運転制御システム
WO2018160486A1 (en) 2017-03-01 2018-09-07 Zoox, Inc. Trajectory generation and execution architecture
JP6381835B1 (ja) 2017-06-08 2018-08-29 三菱電機株式会社 車両制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7568764B2 (ja) 2018-12-11 2024-10-16 ウェイモ エルエルシー 自律車両のための冗長ハードウェアシステム

Also Published As

Publication number Publication date
US20220080990A1 (en) 2022-03-17
US20200180653A1 (en) 2020-06-11
WO2020123135A1 (en) 2020-06-18
JP2023081938A (ja) 2023-06-13
KR102511055B1 (ko) 2023-03-17
JP7568764B2 (ja) 2024-10-16
CA3122846A1 (en) 2020-06-18
KR20210090721A (ko) 2021-07-20
KR20230042393A (ko) 2023-03-28
US11208111B2 (en) 2021-12-28
CN113195329B (zh) 2024-03-12
KR102546511B1 (ko) 2023-06-26
EP3870488A4 (en) 2022-08-03
AU2019396245A1 (en) 2021-06-17
CN113195329A (zh) 2021-07-30
EP3870488B1 (en) 2024-08-14
JP2022512092A (ja) 2022-02-02
US20240239356A1 (en) 2024-07-18
EP3870488A1 (en) 2021-09-01
CA3122846C (en) 2023-09-19
US11912292B2 (en) 2024-02-27
CN118062035A (zh) 2024-05-24
EP4420948A2 (en) 2024-08-28
AU2019396245B2 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
JP7239700B2 (ja) 自律車両のための冗長ハードウェアシステム
US12072703B2 (en) Remote operation of a vehicle using virtual representations of a vehicle
US11212490B2 (en) Vehicular control system with central electronic control unit
US12005906B2 (en) Using driver assistance to detect and address aberrant driver behavior
CN111459155A (zh) 用于自主驾驶应用的动态确定车辆有效传感器覆盖的方法
US12055412B2 (en) System and methods for updating high definition maps
US11815983B2 (en) Communication ECU
US20240351590A1 (en) Using Driver Assistance to Detect and Address Aberrant Driver Behavior

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230302

R150 Certificate of patent or registration of utility model

Ref document number: 7239700

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150