JP2023505059A - センサデータを使用した高さ推定 - Google Patents

センサデータを使用した高さ推定 Download PDF

Info

Publication number
JP2023505059A
JP2023505059A JP2022531035A JP2022531035A JP2023505059A JP 2023505059 A JP2023505059 A JP 2023505059A JP 2022531035 A JP2022531035 A JP 2022531035A JP 2022531035 A JP2022531035 A JP 2022531035A JP 2023505059 A JP2023505059 A JP 2023505059A
Authority
JP
Japan
Prior art keywords
data
distance
height
determining
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022531035A
Other languages
English (en)
Inventor
ワン チャン
シェ ユエソン
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2023505059A publication Critical patent/JP2023505059A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/60—Traversable objects, e.g. speed bumps or curbs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

環境内のオブジェクトのサイズを推定するための技術が、本明細書で論じられる。例えば、ライダセンサなどのセンサは、環境の三次元データをキャプチャすることができる。センサデータは、２次元表現に関連付けることができる。地面をセンサデータから取り除くことができ、クラスタリング技術を使用して、２次元表現で提供される残りのセンサデータをクラスタリングして、その中に表されるオブジェクトを決定することができる。センサオブジェクトの高さは、オブジェクトに関連付けられたセンサデータの範囲に基づいて第１の高さとして表現することができ、センサデータ及び／または追加のオブジェクトに関連付けられたセンサデータのビーム拡散態様に基づいて第２の高さとして表現することができる。したがって、オブジェクトの最小および／または最大の高さは、堅牢な方法で決定することができる。そのような高さ範囲は、自律走行車両を制御するために使用することができる。

Description

本出願は、環境内のオブジェクトのサイズを推定するための技術に関する。
（関連出願に対する相互参照）
本特許出願は、２０１９年１１月２７日に出願された米国特許出願第１６／６９８，０５５号の優先権を主張する。出願第１６／６９８，０５５号は、参照により本明細書に完全に組み込まれる。
車両は、センサを使用してセンサデータをキャプチャし、環境内のオブジェクトを検出することができる。オブジェクト特性の正確な判定は、例えば、自律走行車両が環境を横断するのを支援することができる。
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端の数字は、その参照番号が最初に出現する図面を識別する。異なる図面における同一の参照番号の使用は、類似または同一の構成要素または特徴を示す。
オブジェクトの高さを推定する例示的なプロセスの図解フロー図である。 オブジェクトデータを決定するためにデータをクラスタリングするための例示的なプロセスの図である。 センサデータに関連付けられた高さを推定するためのシナリオを示す図である。 センサデータに関連付けられた高さを推定するためのシナリオを示す図である。 センサデータに関連付けられた高さを推定するためのシナリオを示す図である。 センサデータに関連付けられた高さを推定するためのシナリオを示す図である。 本明細書で説明される技術を実装するための例示的なシステムのブロック図である。 センサデータに基づいて、オブジェクトに関連付けられた高さを推定するための例示的なプロセスである。 オブジェクトデータに関連付けられた上限及び下限に基づいてオブジェクトの高さを決定するための例示的なプロセスである。
環境内のオブジェクトのサイズを推定するための技術が、本明細書で論じられる。例えば、ライダセンサなどのセンサは、環境の三次元データをキャプチャすることができる。３次元センサデータは、さらなる処理のために２次元データ表現に関連付けられ得る。例えば、ライダデータは、方位角ビン及びビームインデックスに基づく２次元データ表現に関連付けられ得る。地面を２次元データ表現から取り除くことができ、クラスタリング技術を使用してセンサデータをクラスタリングして、センサデータに表現されるオブジェクトを決定することができる。オブジェクトの第１の高さは、オブジェクトに関連付けられたセンサデータの垂直範囲に基づいて推定されるか、そうでなければ決定されることができる。オブジェクトの第２の高さは、オブジェクトの上部から上部ライダビームに関連付けられた光線までの第１の垂直距離、またはオブジェクトの底部から下部ライダビームまたは地面に関連付けられた光線までの第２の垂直距離に基づいて推定されるか、またはそうでなければ決定されることができる。したがって、オブジェクトの最小および／または最大の高さは、堅牢な方法で決定することができる。
いくつかの例では、本明細書で論じられる技術は、車両を制御するための一次システムと、一次システムの動作を検証し、車両を制御して衝突を回避するために車両上で動作する二次システムとを含む車両に実装され得る。例えば、技術は、環境内のオブジェクトを検出し、システムが最小および／または最大の高さのオブジェクトを正確に検出することを検証するために、二次システムに実装され得る。
本明細書で論じられる技術は、ライダセンサからのライダデータなどの環境のセンサデータをキャプチャまたは受信することを含み得る。処理のためのデータの量を減らすために、本技術は、走行可能エリアに関連付けられたコリドー及びコリドー内に表される地面の表示を受信すること、またはそうでなければ判定することを含むことができる。コリドーの外側の、または地面に関連付けられたデータを除去または破棄することができ、それによって非地面ライダリターンを含むデータセットをもたらす。
いくつかの例では、ライダデータは、地面を除去する前または後の２次元データ表現に関連付けられ得る。２次元データ表現（２次元表現または２Ｄ空間とも称される）は、方位角ビンを表す第１の次元及びビームインデックスを表す第２の次元を有するライダデータを表し得る。例えば、回転ライダは、環境を３６０度走査することを含み得る。２Ｄ空間の第１の次元は、５度、８度、１０度、１８度、３６度などを含み得る方位角ビン（ビンとも称される）に離散化され得る。２Ｄ空間の第２の次元は、３２、６４、１００、１２８等の個々のビームインデックス（チャネルとも称される）などのビームインデックスに離散化され得る。
２Ｄ空間に表されるデータは、クラスタリングされて、データに表されるオブジェクトを決定することができる。本技術は、ライダセンサに関連付けられた位置に最も近い非地上データポイントを決定することを含むことができる。すなわち、各データポイントは、環境内のオブジェクトと、ライダセンサに関連付けられた位置（原点など）との間の距離または範囲に関連付けることができる。いくつかの例では、２Ｄ空間内（またはビームインデックス内）のデータは、効率的なデータ検索のために、範囲によってデータ構造内で順序付けすることができる。
いくつかの例では、クラスタリング技術は、本明細書で論じられるように、第１の時間にビームインデックス内に適用され、次いで、第１の時間の後の第２の時間にビームインデックスにわたって適用することができる。
コリドー内の最も近い非地上データポイント（例えば、第１のポイント）を決定した後、本技術は、２Ｄ空間内の次の最も近いポイント（例えば、第２のポイント）までの距離を決定することを含むことができる。例えば、距離は、環境内の３次元距離として決定することができる。距離が閾値未満である場合、第１のポイント及び第２のポイントをクラスタリングして、同じオブジェクトを表すことができる。クラスタリングは、第１のポイントに関して、追加のデータポイントごとに繰り返すことができる。次に、クラスタリングは、第２のポイントに関して、追加のデータポイントごとに繰り返すことができる。例えば、第２のポイントと第３のポイントとの間の距離を決定することができ、その距離が閾値距離未満である場合、第３のポイントはオブジェクトに関連付けられることができる。同じオブジェクトに関連付けられたデータは、オブジェクトデータと呼ぶことができる。
同じビームインデックス内のデータに対してクラスタリングが実行された後、本技術は、２Ｄ空間内の他のデータに対して実行することができる。例えば、本技術は、同じまたは異なる方位角ビン、及び／または異なるビームインデックスにわたって実行することができる。クラスタリングのさらなる態様は、本開示を通して論じられる。
技術は、オブジェクトデータに関連付けられた高さ（及び／または高さ範囲）を推定すること、またはそうでなければ決定することをさらに含む。いくつかの例では、第１の高さ（例えば、高さ範囲の下限）は、オブジェクトデータに関連付けられた垂直距離に基づいて決定することができる。例えば、ビーム間の垂直距離は、オブジェクトデータと、ライダセンサに関連付けられた位置または原点との間の範囲に少なくとも部分的に基づくことができる。すなわち、ライダビームの垂直方向の広がりは、オブジェクトデータとライダセンサとの間の距離の関数であり得る。例えば、第１の距離（例えば５メートル）において、ライダビーム間の垂直距離は、第１の垂直距離（例えば３ｃｍ）であってよい。第２の距離（例えば、１０メートル）において、ライダビーム間の垂直距離は、第２の垂直距離（例えば、６ｃｍ）であってよい。したがって、オブジェクトの第１の高さは、オブジェクトに関連付けられたビームの数に少なくとも部分的に基づいて決定することができる。いくつかの例では、オブジェクトの高さは、データのｘ座標、ｙ座標、及びｚ座標に基づいて決定される３次元距離に基づくことができる。
しかしながら、ライダセンサの垂直解像度はある程度制限され得るため、キャプチャされたオブジェクトデータは、環境内のオブジェクトの高さを正確に表すことができない場合がある。したがって、本技術は、オブジェクトデータとセンサデータのより高いビームまたはより低いビームとの間の距離に基づいて、第２の高さ（例えば、高さ範囲の上限）を推定すること、またはそうでなければ決定することを含むことができる。例えば、オブジェクトの第２の高さは、オブジェクトの上部から上部ライダビームに関連付けられた光線までの第１の垂直距離、またはオブジェクトの底部から下部ライダビームまたは地面に関連付けられた光線までの第２の垂直距離に基づいて推定されるか、またはそうでなければ決定されることができる。オブジェクトの高さを推定する、またはそうでなければ決定するという追加の態様は、本開示を通して議論される。
いくつかの例では、車両の知覚システムは、オブジェクトの推定サイズに基づいてオブジェクトをフィルタリングし得る。いくつかの例では、車両は、閾値を超えるオブジェクトのサイズに基づいて制御することができる。例えば、閾値を下回るオブジェクトは、計画目的（または他の動作）のためにフィルタリングされてもよく、または無視されてもよい。別の例では、閾値を超えるオブジェクトは、計画目的（または他の動作）のために考慮され得る。車両を制御するための例示的な動作は、安全停止、緊急停止、オブジェクトを回避するための軌道を決定すること、オブジェクトの予測される位置を回避するための軌道を決定することなどを含み得るが、これらに限定されない。オブジェクトの高さに基づく追加の動作は、分類動作、予測動作などを含み得る。
本明細書に記載の高さ推定技術は、環境内のオブジェクトの高さを推定する、またはそうでなければ決定する堅牢な方法を提供することによって、コンピューティングデバイスの機能を改善することができる。例えば、高さデータは、分類、トラッキング、予測、経路計画、軌道生成などの後続のプロセスがより正確に実行されることを可能にし得、より少ない処理能力を必要とし得る、及び／またはより少ないメモリを必要とし得る。例えば、いくつかの例では、（例えば、本明細書で論じられるクラスタリング技術を使用して）より速くかつ／またはより正確なセグメンテーションを使用して、自律走行車両の軌道を生成することができ、これは、自律走行車両の乗員の安全性を向上させることができる。いくつかの例では、本技術は、一次/二次コンピューティングシステムアーキテクチャの二次コンピューティングシステムで使用することができ、これは、冗長システムが全体的な信頼性及び安全性の結果を大幅に改善することを可能にする。さらに、本明細書で論じられる本技術は、安全性について検証することができるシステムに組み込まれ得る。コンピュータの機能に対するこれらおよび他の改善について、本明細書で論じられる。
本明細書で説明される本技術は、多くの手法で実装されることが可能である。例示的な実装は、下記の図面を参照して以下で提供される。自律走行車両のコンテキストで論じているが、本明細書に記載の方法、装置、およびシステムは、様々なシステム（例えば、センサシステム、またはロボットプラットフォーム）に適用することができ、自律走行車両に限定されない。一例では、そのようなシステムが様々な動作を実行することが安全であるかどうかの指標を提供し得る運転者制御車両で、同様の技術が利用され得る。別の例では、本技術は、製造アセンブリラインコンテキスト、航空測量コンテキスト、または航海コンテキストで利用することができる。さらに、本明細書で説明される本技術は、（例えば、センサを用いてキャプチャされる）実データ、（例えば、シミュレーターによって生成される）模擬データ、またはその２つの任意の組合せで用いることが可能である。
図１は、オブジェクトの高さを推定する例示的なプロセス１００の図解フロー図である。
動作１０２は、環境のセンサデータを受信することを含むことができる。例えば、動作１０２は、環境１０４を表すライダデータを受信することを含むことができる。環境１０４は、地面１０６およびオブジェクト１０８を含み得る。いくつかの例では、動作１０２は、複数のセンサ（例えば、複数のライダセンサ）からセンサデータを受信することと、データを単一のポイントクラウド（例えば、較正されアライメントされたデータセット）に融合する、またはそうでなければ組み合わせることとを含むことができる。いくつかの例では、動作１０２は、自律走行車両が環境１０４を横断するときに自律走行車両によって実行することができる。
動作１１０は、環境１０４内の地面データを除去することを含むことができる。例えば、（例えば、地面１０６を表す）地面データは、データの量を減少させる、及び／または後続の動作の精度を増加させるために除去することができる。さらに、動作１１０は、自律走行車両の軌道に関連付けられたコリドー１１２を識別することを含むことができる。例えば、動作１１０は、車両の幅および／または長さ、車両の現在の速度および／または軌道に関連付けられた速度などに少なくとも部分的に基づいてコリドーを決定することができる。
地面データの除去に関して、動作１１０は、（コリドーに関連付けられた）センサデータのサブセットを、地面分類またはオブジェクト分類のいずれかに属するものとして分類することを含むことができる。地面分類は、センサデータが車道および／または他の環境表面に関連付けられていることを識別することができ、一方、オブジェクト分類は、地面ではない任意の他のオブジェクトを含み得る。いくつかの例では、本明細書に記載される本技術は、どのタイプのオブジェクトかをさらに識別することなく、センサデータを地面またはオブジェクトのいずれかとして単純に分類し得る。
動作１１０は、センサデータを地面またはオブジェクトとして分類することに関連付けられた検出漏れおよび／または誤検出率を改善（例えば、減少）し得る技術を含んでよい。いくつかの例では、本技術は、特に、１つ以上の勾配（例えば、車道表面の傾斜）の変化を含み得る複雑な車道についての車道表面のプロファイル（例えば、車道高さのプロファイル）をモデル化するために、１つ以上の線および／または面を推定することを含み得る。これらの地面フィッティング技術は、有効な戻り値を含むセンサデータの数またはパーセンテージに少なくとも部分的に基づいて、スプラインの制御ポイントおよびノットの数を決定することに少なくとも部分的に基づいて、地面に関連付けられたスプライン（例えば、１つまたは複数の多項式、ベジエ曲線）を決定することを含み得る。いくつかの例では、センサデータが環境の一部についてまばらであるとき、決定されたスプラインは不正確であり得る。本技術は、追加的または代替的に、スプラインを生成する前にセンサデータを重み付けすること（例えば、最小二乗回帰を最低および／または最高（高度）センサデータポイントに向けて重み付けすることによって）、フィッティング後の動作としてセンサデータに少なくとも部分的に基づいて１つ以上の制御ポイントに関連付けられた高さ値（例えば、縦座標）を変更すること、および／またはフィッティング後の動作としてノットの間隔を変更することを含み得る。いくつかの例では、スプラインを決定することは、回帰アルゴリズム（例えば、最小二乗）に少なくとも部分的に基づいて、制御ポイントおよび／またはノットの値を決定することを含み得る。地面データを識別する追加の例は、例えば、「Complex Ground Profile Estimation」と題され、２０１９年９月３０日に出願された米国特許出願第１６／５８８，７１７号に見出すことができ、その全体が参照により本明細書に組み込まれる。
動作１１４は、オブジェクトを決定するためにデータをクラスタリングすることを含むことができる。例１１６は、データポイント間の距離に基づいて、２次元データ表現で表されるデータをクラスタリングすることを示す。例えば、２次元データ表現１１８は、ビン１２０、１２２、１２４、及び１２６を表す第１の次元を含むことができる。そのようなビン１２０－１２６は、本明細書で論じられるように、方位角ビンを表し得る。さらに、２次元データ表現１１８は、チャネル１３０、１３２、１３４、及び１３６を表す第２の次元を含むことができる。いくつかの例では、チャネル１３０－１３６は、本明細書で論じられるように、ビームインデックスを表すことができる。いくつかの例では、いくつかのチャネルは、ライダセンサに関連付けられたいくつかのビームまたはチャネルに少なくとも部分的に基づくことができる。
いくつかの例では、動作１０２または１１４は、センサデータを２次元データ表現１１８に関連付けることを含むことができる。例えば、動作は、３次元データを２次元データ表現１１８に関連付けることを含むことができる。
図示されるように、２次元データ表現１１８は、データポイント１３８、１４０、１４２、１４４、１４６、１４８、１５０、及び１５２を含む。
クラスタリング動作（例えば、動作１１４）を使用して、データポイント１３８、１４０、１４２、１４６、及び１４８を表すオブジェクトデータ１５４を決定することができる。オブジェクトデータ１５４は、環境１０４内のオブジェクト１０８を表すことができる。一般に、クラスタリングは、２次元データ表現１１８内のデータポイント間の距離に少なくとも部分的に基づくことができる。例えば、データポイント１３８と１４０との間の距離が閾値距離未満であるため、データポイント１３８および１４０は、オブジェクトデータ１５４に含まれる。さらに、データポイント１４４は、データポイント１４２（オブジェクトデータ１５４に関連付けられたデータポイント）とデータポイント１４４との間の距離が閾値距離を超えているため、オブジェクトデータ１５４として含まれない。クラスタリングデータの追加の詳細は、図２に関連して、ならびに本開示を通して議論される。
動作１５６は、オブジェクトの高さを推定する（またはそうでなければ決定する）ことを含むことができる。例１５８は、オブジェクトデータ１５４に関連付けられた第１の高さ１６０及びオブジェクトデータ１５４に関連付けられた第２の高さ１６２を決定することを示す。例１５８は、ライダセンサ１６４によってキャプチャされるライダデータ間の範囲または深度情報をよりよく示すために、例１１６で表されるデータのサイドプロファイルを表す。例１５８は、（本明細書で論じられるように、様々なデータ動作を例示するための）追加のデータポイント１６６及び１６８を含む。
第１の高さ１６０は、オブジェクトデータ１５４に関連付けられたデータの垂直範囲に基づいて決定することができる。例えば、第１の高さは、データポイント１３８、１４６、及び１４８に関連付けられた垂直高さに基づいて決定することができる。いくつかの例では、第１の高さは、データポイント（例えば、データポイント１３８、１４０、１４２、１４６、及び１４８）のうちのいくつか（例えば、最低データポイント１４８及び最高データポイント１４６）または全てに少なくとも部分的に基づくことができる。
第２の高さ１６２は、オブジェクトの上部（例えば、データポイント１４６によって表される）からデータポイント（例えば、データポイント１６６）に関連付けられた上部ライダビームに関連付けられた光線までの第１の垂直距離、またはオブジェクトの底部（例えば、データポイント１４８によって表される）からデータポイント（例えば、データポイント１５２）または地面に関連付けられた下部ライダビームに関連付けられた光線までの第２の垂直距離に基づいて推定されるか、またはそうでなければ決定されることができる。
いくつかの例では、第１の高さ及び／または第２の高さは、オブジェクトに関連付けられた各ビンについて決定されることができるが、いくつかの場合では、第１の高さ及び／または第２の高さは、オブジェクト全体について決定されることができる。すなわち、ビン１２０に関連付けられたオブジェクトデータについて第１及び第２の高さを決定することができ、ビン１２２に関連付けられたオブジェクトデータについて第１及び第２の高さを決定することができ、ビン１２４に関連付けられたオブジェクトデータについて第１及び第２の高さを決定することができる。場合によっては、第１及び第２の高さは、オブジェクトデータ１５４全体について（例えば、すべてのデータポイント１３８、１４０、１４２、１４６、及び１４８に基づいて、またはオブジェクトデータに関連付けられた最低及び最高のデータポイント（例えば、それぞれデータポイント１４８及び１４６）に基づいて）決定されることができる。
オブジェクトデータ１５４に関連付けられた高さ及び／または高さ範囲を決定することの追加の態様は、図３Ａ－３Ｄ、ならびに本開示を通して議論される。
図２は、オブジェクトデータを決定するためにデータをクラスタリングするための例示的なプロセス２００の図である。プロセス２００は、様々な処理状態を例示する例２０２、２０４、及び２０６を含む。
例２０２は、２次元データ表現１１８において表されるセンサデータを示す。いくつかの例では、クラスタリング技術は、データをキャプチャするセンサに関連付けられた位置に最も近いデータポイントを決定することを含むことができる。例えば、データポイント１３８は、データポイント１３８（例えば、ライダセンサ１６４）をキャプチャするライダセンサに最も近いライダデータポイントを表す。いくつかの例では、データポイント１３８が最も近いポイントであると決定することは、データポイントをオブジェクト２０８に関連付けることを含む。いくつかの例では、２次元データ表現１１８は、範囲によってデータ値をソートしてもよく、その場合、ライダセンサに最も近いデータポイントを選択することは、データ値の配列内の第１のデータ値にアクセスすることを含み得る。
いくつかの例では、２次元データ表現の領域（データセルまたはセルとも称される）がオブジェクト（例えば、オブジェクト２０８）に関連付けられると決定される場合、その領域に関連付けられたデータポイントのすべてがオブジェクト２０８に関連付けられることができる。この場合、ビン１２２及びチャネル１３４に関連付けられた領域は、データポイント１３８及び１４０を含むので、両方のデータポイントは、オブジェクト２０８に関連付けられ得る。
いくつかの例では、データセル内のデータポイントは、アンカーポイントまたは初期ポイント（例えば、データポイント１３８）までの距離に基づいてクラスタリングされることができる。例えば、距離２１０は、データポイント１３８とデータポイント１４０との間で決定されることができる。距離２１０が閾値距離未満である場合、データポイント１４０は、オブジェクト２０８に関連付けられ得る。例２０２では、ビン１２２およびチャネル１３４に関連付けられたデータセルに関連付けられた太い黒線は、データセルがオブジェクト２０８に関連付けられていることを示す。
例２０４は、チャネル１３４内のデータポイントに対して実行される動作を示す。例えば、クラスタリングは、データポイント１３８とデータポイント１４２との間の距離２１２を決定することを含むことができる。この例では、距離２１２が距離閾値未満であるため、データポイント１４２は、オブジェクト２１４に関連付けられ得る。上述のように、いくつかの例では、データセル内の単一のデータポイントがオブジェクトに関連付けられている場合、データセルに関連付けられたデータポイントの一部またはすべてが同じオブジェクトに関連付けられ得る。
次に、距離２１６は、データポイント１４２とデータポイント１４４との間で決定されることができる。この例では、距離２１６は、閾値距離を超えており、したがって、データポイント１４４は、オブジェクト２１４に関連付けられていない。
本明細書で論じられるように、距離２１２、２１６等は、環境内のデータポイントの３次元位置に基づいて、ユークリッド距離として決定されることができる。いくつかの例では、個々の方向に関連付けられた距離を考慮することができる。例えば、データポイント間のｘ距離は、第１の距離閾値に関して考慮することができ、データポイント間のｙ距離は、距離閾値に関して考慮することができ、データポイント間のｚ距離は、距離閾値に関して考慮することができる。
いくつかの例では、動作は、いくつかのまたはすべてのデータポイントペア間の距離を決定することを含むことができ、図２に明示的に示される距離に限定されない。例えば、動作は、データポイント１３８とデータポイント１４４との間の距離を決定すること、および閾値に関して距離を評価することを含むことができる。
例２０６は、残りのチャネル１３０、１３２、及び１３６に関連付けられたデータに基づく追加の動作を示す。例えば、距離２１８は、データポイント１４０とデータポイント１４８との間で決定されることができる。この例では、距離２１８は閾値距離未満であり、したがって、データポイント１４８は、オブジェクト２２０に関連付けられ得る。同様に、データポイント１３８と１４６との間の距離２２２は、閾値距離を下回ることがあり、したがって、データポイント１４６（及び／またはデータポイント１４６に関連付けられたデータセル）は、オブジェクト２２０に関連付けられなくてよい。
データポイント１４２とデータポイント１５０との間の距離２２４は、距離閾値を満たすか、または超えるため、この例では、データポイント１５０は、オブジェクト２２０に関連付けられていない。同様に、この例では、データポイント１４８とデータポイント１５２との間の距離２２６は、距離閾値を満たすか、または超えるため、データポイント１５２は、オブジェクト２２０に関連付けられていない。
いくつかの例では、距離２１０、２１２、２１６、２１８、２２２、２２４、及び／または２２６は、２次元データ表現１１８に関連付けられたデータの３次元位置に基づいて（例えば、ｘ座標、ｙ座標、及びｚ座標に基づいて）決定されることができる。
いくつかの例では、動作は、オブジェクトデータ１５４が最小幅および／または最小高さに対応すること（および／またはオブジェクトデータが閾値数のビンまたはチャネルに及ぶこと）を検証することを含むことができる。いくつかの例では、オブジェクトデータの次元が閾値を下回る場合、オブジェクトデータはフィルタリングされるか、またはそうでなければ無視されることができ、本技術はデータの残りのサブセットに対して繰り返されることができる。いくつかの例では、フィルタリングされたオブジェクトデータは、後続のクラスタリング動作に基づいて別のオブジェクトデータと再結合されることができる。
いくつかの例では、オブジェクト（例えば、オブジェクト２２０）が初期ポイント（例えば、データポイント１３８）に基づいて決定された後、プロセス２００は、２次元データ表現１１８内の残りのデータポイントに基づいて繰り返されることができる。すなわち、新しい初期ポイントは、残りのデータポイント（例えば、オブジェクト２２０に関連付けられていないデータポイント）から選択または決定されることができ、プロセスは、２次元データ表現１１８内の任意の追加のオブジェクトを決定するために繰り返されることができる。
図３Ａ－３Ｄは、センサデータに関連付けられた高さを推定するための様々なシナリオを示す。
図３Ａは、図１の例１５８に関して上述したシナリオと同様の例３００を示す。
例３００は、オブジェクトデータ１５４を表すデータポイント１３８、１４６、及び１４８に少なくとも部分的に基づいて、第１の高さ１６０及び第２の高さ１６２を決定することを示す。例１５８は、ライダセンサ１６４によってキャプチャされるライダデータ間の範囲または深度情報をよりよく示すために、例１１６および２０６で表されるデータのサイドプロファイルを表す。例３００は、（本明細書で論じられるように、様々なデータ動作を例示するための）追加のデータポイント１６６及び１６８を含む。
第１の高さ１６０は、データポイント１３８、１４６、及び１４８の垂直範囲に基づいて判定されることができる。いくつかの例では、第１の高さは、オブジェクトデータ１５４に関連付けられたデータポイント（例えば、データポイント１３８、１４０、１４２、１４６、及び１４８）のうちのいくつか（例えば、最低データポイント１４８及び最高データポイント１４６）または全てに少なくとも部分的に基づくことができる。
第２の高さ１６２は、オブジェクトの上部（例えば、データポイント１４６によって表される）からデータポイント（例えば、データポイント１６６）に関連付けられた上部ライダビームに関連付けられた光線までの第１の垂直距離、またはオブジェクトの底部（例えば、データポイント１４８によって表される）からデータポイント（例えば、データポイント１５２）または地面に関連付けられた下部ライダビームに関連付けられた光線までの第２の垂直距離に基づいて推定されるか、またはそうでなければ決定されることができる。
図３Ｂは、オブジェクトデータ１５４を表すデータポイントに関連付けられた高さを推定するための第２のシナリオの例３０２を示す。
第１の高さ１６０は、例３００で上述したものと同じ方法で決定されてよい。
例３０２は、データポイント１５２ではなく、データポイント３０４を含む。この例３０２では、データポイント３０４に関連付けられた範囲は、オブジェクトデータ１５４の一部またはすべてに関連付けられた範囲よりも小さいため、データポイント３０４（及びデータポイント３０４に関連付けられた光線）は、オブジェクトデータ１５４に関連付けられた第２の高さを推定するために使用されない場合がある。いくつかの例では、追加のチャネルは、オブジェクトデータに関連付けられた範囲よりも遠い範囲でデータが存在する最低チャネルを決定するために繰り返し処理されることができる。この例３０２では、第２の高さ３０６は、データポイント１６８に関連付けられた光線に少なくとも部分的に基づいている。すなわち、第２の高さ（例えば、最大高さの推定値）を決定する動作は、データポイントに関連付けられた範囲がオブジェクトデータ１５４に関連付けられた範囲を上回っているかどうかを判定することを含み得る。
図３Ｃは、オブジェクトデータ１５４を表すデータポイントに関連付けられた高さを推定するための第３のシナリオの例３０８を示す。
第１の高さ１６０は、例３００で上述したものと同じ方法で決定されてよい。
例３０８は、（例３０２に示されるデータポイントに対して）データポイント１６６を除外する。この例３０８では、第２の高さ３１０に関連付けられた上限は、オブジェクトデータ１５４に関連付けられた最高ポイントを表すオブジェクトデータ１５４のデータポイント１４６に少なくとも部分的に基づいて決定される。いくつかの例では、実装に応じて、例３０８で決定された第２の高さは、第２の高さ３０６と同じであることができる。すなわち、第２の高さ３１０は、データポイントがライダビームに関連付けられているかどうかにかかわらず、オブジェクトデータ１５４の上部と次のライダビームとの間の垂直距離に少なくとも部分的に基づくことができる。
図３Ｄは、オブジェクトデータ１５４を表すデータポイントに関連付けられた高さを推定するための第４のシナリオの例３１２を示す。
第１の高さ１６０は、例３００で上述したものと同じ方法で決定されてよい。
例３１２は、（例３０８に例示されるデータポイントに対して）データポイント１６８ではなくデータポイント３１４を含む。この例３１２では、データポイント３０４及び３１４に関連付けられた範囲は、オブジェクトデータ１５４の一部またはすべてに関連付けられた範囲よりも小さいため、データポイント３０４及び３１４（及びデータポイント３０４及び３１４に関連付けられた光線）は、オブジェクトデータ１５４に関連付けられた第２の高さを推定するために使用されない場合がある。しかしながら、この例３１２では、非地面データポイントは、オブジェクトデータ１５４（範囲はオブジェクトデータ１５４よりも遠い）の下に表される。したがって、第２の高さ３１６は、地面を表すデータポイント３１８の上の既知の高さに少なくとも部分的に基づいて決定されることができる。
理解できるように、例３００、３０２、３０８、および／または３１２からの技術は、提示されるデータの構成に基づいて、環境内のオブジェクトに関連付けられた第１および／または第２の高さを決定するために任意の組み合わせで使用されることができる。
図４は、本明細書で説明される本技術を実装するための例示的なシステム４００のブロック図である。少なくとも１つの例では、システム４００は、車両４０２を含むことができる。図示された例示的なシステム４００において、車両４０２は、自律走行車両であるが、車両４０２は、任意の他のタイプの車両であることが可能である。
車両４０２は、米国運輸省道路交通安全局によって発行されるレベル５分類に従って動作するよう構成された自律走行車両などの無人運転車両とするこができ、これは、運転者（または乗員）が車両をいつでも制御することを期待することなく、全行程のすべての安全上重要な機能を実行することが可能な車両を説明している。そのような例では、車両４０２は、すべての駐車機能を含む、行程の開始から完了までのすべての機能を制御するよう構成されることが可能であるため、運転者ならびに／またはステアリングホイール、アクセルペダル、および／もしくはブレーキペダルのような車両４０２を駆動するための制御を含まなくてよい。これは単なる例であり、本明細書で説明されるシステムおよび方法は、運転者によって常に手動で制御される必要がある車両から部分的または完全に自律的に制御される車両までの範囲を含む、任意の地面、空中、または水上車両へ組み込まれてもよい。
車両４０２は、１つ以上の第１のコンピューティングデバイス４０４、１つ以上のセンサシステム４０６、１つ以上のエミッタ４０８、１つ以上の通信接続４１０（通信デバイス及び／またはモデムとも呼ばれる）、少なくとも１つの直接接続４１２（例えば、データを交換するために、及び／または電力を提供するために車両４０２と物理的に結合するため）、及び１つ以上の駆動システム４１４を含むことができる。１つ以上のセンサシステム４０６は、環境に関連付けられるセンサデータをキャプチャするよう構成されることが可能である。
センサシステム４０６は、飛行時間センサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定装置（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、ライダセンサ、レーダセンサ、ソナーセンサ、赤外線センサ、カメラ（例えば、ＲＧＢ、ＩＲ、明暗度、深度など）、マイクロホンセンサ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、超音波トランスデューサー、ホイールエンコーダなどを含むことができる。センサシステム４０６は、これら、または他のタイプのセンサのそれぞれの複数のインスタンスを含むことが可能である。例えば、飛行時間センサは、車両４０２の角、前部、後部、側面、および／または上部に配置される個々の飛行時間センサを含むことが可能である。別の例として、カメラセンサは、車両４０２の外側および／または内側についてのさまざまな位置に配置される複数のカメラを含むことが可能である。センサシステム４０６は、第１のコンピューティングデバイス４０４に入力を提供することが可能である。
車両４０２はまた、光及び／または音を発するためのエミッタ４０８を含むことができる。この例におけるエミッタ４０８は、内部オーディオおよび視覚エミッタを含み、車両４０２の乗員と通信する。例示の目的で、限定ではなく、内部エミッタは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動及び／またはフォースフィードバック）、機械式アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）などを含むことができる。この例におけるエミッタ４０８はまた、外部エミッタを含むことができる。例示の目的で、限定ではなく、この例における外部エミッタは、走行の方向または車両動作の他のインジケータ（例えば、インジケータライト、サイン、光アレイなど）を信号で送るための光、及びそのうちの１つ以上が音響ビームステアリング技術を備え得る、歩行者または他の近くの車両と音声で通信するための１つ以上のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含む。
車両４０２はまた、車両４０２と、１つ以上の他のローカルまたはリモートコンピューティングデバイス（例えば、リモート遠隔操作コンピューティングデバイス）またはリモートサービスとの間の通信を可能にする通信接続４１０を含むことができる。例えば、通信接続４１０は、車両４０２上の他のローカルコンピューティングデバイスおよび／または駆動システム４１４との通信を容易にすることができる。また、通信接続４１０は、車両４０２が他の近隣のコンピューティングデバイス（例えば、他の近隣の車両、交通信号など）と通信することを可能にすることができる。
通信接続４１０は、第１のコンピューティングデバイス４０４を別のコンピューティングデバイスまたは１つ以上の外部ネットワーク４１６（例えば、インターネット）に接続するための物理及び／または論理インターフェースを含むことができる。例えば、通信接続部４１０は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈなどの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４ＧＬＴＥ、５Ｇなど）、衛星通信、専用狭域通信（ＤＳＲＣ）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切な有線または無線通信プロトコルを可能にすることができる。
少なくとも１つの例では、車両４０２は、駆動システム４１４を含むことができる。いくつかの例では、車両４０２は、単一の駆動システム４１４を有することができる。少なくとも１つの例では、車両４０２が複数の駆動システム４１４を有する場合、個々の駆動システム４１４は、車両４０２の反対側の端部（例えば、前部及び後部など）に配置されることができる。少なくとも１つの例では、駆動システム４１４は、駆動システム４１４及び／または車両４０２の周囲の状態を検出するためのセンサシステム４０６を含むことができる。例示の目的であり、限定ではなく、センサシステム４０６は、駆動システムの車輪の回転を感知するために１つまたは複数のホイールエンコーダ（例えば、ロータリーエンコーダ）、駆動システムの向きおよび加速度を測定するために慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラまたは他の画像センサ、駆動システムの周辺環境におけるオブジェクトを音響的に検出するために超音波センサ、ライダセンサ、レーダセンサなどを含むことができる。ホイールエンコーダなどのいくつかのセンサは、駆動システム４１４に固有とすることができる。場合によっては、駆動システム４１４上のセンサシステム４０６は、車両４０２の対応するシステム（例えば、センサシステム４０６）と重複してよく、またはそれを補足してもよい。
駆動システム４１４は、高電圧バッテリ、車両を推進するモータ、バッテリからの直流を他の車両システムで使用する交流に変換するインバーター、ステアリングモータ及びステアリングラック（電動とすることができる）を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧及び／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し制御を維持するブレーキ力分散用の安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外周を照らすヘッドライト／テールライトなどの照明）、及び１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電装コンポーネント）を含めて、多くの車両システムを含むことができる。また、駆動システム４１４は、センサシステム４０６からデータを受け取り、前処理することができ、様々な車両システムの動作を制御するための駆動システムコントローラを含むことができる。いくつかの例では、駆動システムコントローラは、１つ以上のプロセッサと、１つ以上のプロセッサと通信可能に結合されたメモリとを含むことができる。メモリは、駆動システム４１４の様々な機能を実行するための１つまたは複数の構成要素を格納することができる。さらに、駆動システム４１４はまた、それぞれの駆動システムによる、１つ以上の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする１つ以上の通信接続部を含む。
車両４０２は、第１のコンピューティングデバイス４０４によって決定された判定及び／またはコマンドの冗長性、エラーチェック、及び／または検証を提供するための１つまたは複数の第２のコンピューティングデバイス４１８を含むことができる。
例として、第１のコンピューティングデバイス４０４は、一次システムとみなされてもよく、第２のコンピューティングデバイス４１８は、二次システムとみなされてもよい。一次システムは概して、環境内で車両がどのように動作するかを制御する処理を実行し得る。一次システムは、機械学習などの様々な人工知能（ＡＩ）技術を実装して、車両の周囲の環境を理解し、および／または車両に環境内で移動するように指示し得る。例えば、一次システムは、ＡＩ技術を実装して、車両を位置決めし、車両の周りのオブジェクトを検出し、センサデータをセグメント化し、オブジェクトの分類を決定し、オブジェクトトラックを予測し、車両の軌道を生成するなどし得る。例では、一次システムは、光検出及び測距（ライダ）センサ、レーダセンサ、画像センサ、深度センサ（飛行時間、構造化光など）などの、車両上の複数のタイプのセンサからのデータを処理する。
二次システムは、一次システムの動作を検証し得、一次システムに問題があるときに一次システムから車両の制御を引き継ぎ得る。二次システムは、車両及び／または車両の周囲のオブジェクトの位置決め、速度、加速度などに基づいた確率的技術を実装し得る。例えば、二次システムは、車両を独立してローカライズする（例えば、ローカル環境に）、車両の周りのオブジェクトを検出する、センサデータをセグメント化する、オブジェクトの分類を識別する、オブジェクトトラックを予測する、車両の軌道を生成するなどのための１つまたは複数の確率的技術を実装し得る。例では、二次システムは、一次システムによって処理されるセンサデータのサブセットなど、いくつかのセンサからのデータを処理する。例示するために、一次システムは、ライダデータ、レーダデータ、画像データ、深度データなどを処理してもよく、二次システムは、ライダデータ及び／またはレーダデータ（及び／または飛行時間データ）のみを処理してもよい。しかしながら、他の例では、二次システムは、センサの各々からのデータ、一次システムと同じ数のセンサからのデータなど、任意の数のセンサからのセンサデータを処理し得る。
一次コンピューティングシステム及び二次コンピューティングシステムを含む車両アーキテクチャの追加の例は、例えば、「Perception Collision Avoidance」と題され、２０１８年１１月１３日に出願された米国特許出願第１６／１８９，７２６号に見出すことができ、その全体が参照により本明細書に組み込まれる。
第１のコンピューティングデバイス４０４は、１つ以上のプロセッサ４２０及び１つ以上のプロセッサ４２０と通信可能に結合されたメモリ４２２を含むことができる。図示される例では、第１のコンピューティングデバイス４０４のメモリ４２２は、ローカライゼーションコンポーネント４２４、知覚コンポーネント４２６、予測コンポーネント４２８、計画コンポーネント４３０、マップコンポーネント４３２、及び１つ以上のシステムコントローラ４３４を格納する。例示的な目的のためにメモリ４２２内に存在するように描写されるが、位置決めコンポーネント４２４、知覚コンポーネント４２６、予測コンポーネント４２８、計画コンポーネント４３０、マップコンポーネント４３２、及び１つ以上のシステムコントローラ４３４は、追加的に、または代替的に、第１のコンピューティングデバイス４０４にアクセス可能であり得る（例えば、車両４０２の異なるコンポーネントに記憶される）、及び／または車両４０２にアクセス可能であり得る（例えば、遠隔に記憶される）ことが企図される。
第１のコンピューティングデバイス４０４のメモリ４２２において、位置決めコンポーネント４２４は、センサシステム４０６からデータを受信して車両４０２の位置を決定する機能を含むことができる。例えば、ローカライゼーションコンポーネント４２４は、環境の３次元マップを含み、及び／または要求／受信でき、マップ内の自律走行車両の位置を継続的に決定することができる。いくつかの例では、ローカライゼーションコンポーネント４２４は、ＳＬＡＭ（simultaneous localization and mapping）またはＣＬＡＭＳ（calibration, localization and mapping, simultaneously）を使用し、飛行時間データ、画像データ、ライダデータ、レーダデータ、ソナーデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータ、またはそれらの任意の組み合わせなどを受信して、自律走行車両の位置を正確に決定することができる。いくつかの例では、本明細書で説明されるように、ローカライゼーションコンポーネント４２４は、車両４０２のさまざまなコンポーネントにデータを提供することが可能であり、軌道を生成するために自律走行車両の初期位置を決定する。
知覚コンポーネント４２６は、オブジェクトの検出、セグメンテーション、及び／または分類を実行するための機能を含むことができる。いくつかの例では、知覚コンポーネント４２６は、車両４０２に近接するエンティティの存在および／またはエンティティタイプ（例えば、自動車、歩行者、自転車運転者、建物、樹木、路面、縁石、歩道、未知のものなど）としてのエンティティの分類を示す処理されたセンサデータを提供することができる。追加または代替の例では、知覚コンポーネント４２６は、検出されたエンティティおよび／またはエンティティが位置する環境に関連付けられた１つまたは複数の特性を示す処理されたセンサデータを提供することができる。いくつかの例では、エンティティに関連付けられた特性は、ｘ位置（グローバル位置）、ｙ位置（グローバル位置）、ｚ位置（グローバル位置）、方向、エンティティタイプ（例えば、分類など）、エンティティの速度、エンティティの範囲（サイズ）などを含むことができるが、これらに限定されない。環境に関連付けられる特性は、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時刻、曜日、季節、気象条件、暗闇／光の表示などを含むことができるが、これらに限定されない。
上述のように、知覚コンポーネント４２６は、知覚アルゴリズムを使用して、センサデータに基づいて環境内のオブジェクトに関連付けられた知覚ベースの境界ボックスを決定することができる。例えば、知覚コンポーネント４２６は、画像データを受信し、画像データを分類して、オブジェクトが画像データ内に表されることを判定することができる。次いで、検出アルゴリズムを使用して、知覚コンポーネント４２６は、２次元境界ボックス及び／またはオブジェクトに関連付けられた知覚ベースの３次元境界ボックスを生成することができる。知覚コンポーネント４２６はさらに、オブジェクトに関連付けられた３次元境界ボックスを生成することができる。上述したように、３次元境界ボックスは、オブジェクトに関連付けられた位置、向き、ポーズ、および／またはサイズ（例えば、長さ、幅、高さなど）などの追加情報を提供することができる。
知覚コンポーネント４２６は、知覚コンポーネント４２６によって生成された知覚データを格納する機能を含むことができる。いくつかの例では、知覚コンポーネント４２６は、オブジェクトタイプとして分類されたオブジェクトに対応するトラックを決定することができる。例示のみを目的として、センサシステム４０６を使用する知覚コンポーネント４２６は、環境の１つまたは複数の画像をキャプチャすることができる。センサシステム４０６は、歩行者などのオブジェクトを含む環境の画像をキャプチャすることができる。歩行者は、時間Ｔにおいて第１の位置に、時間Ｔ＋ｔにおいて第２の位置にいることができる（例えば、時間Ｔの後の時間ｔのスパン中の移動）。換言すれば、歩行者は、この期間中に第１の位置から第２の位置まで移動することができる。そのような移動は、例えば、オブジェクトに関連付けられた格納された知覚データとしてログに記録され得る。
格納された知覚データは、いくつかの例では、車両４０２によってキャプチャされた融合した知覚データを含むことができる。融合した知覚データは、画像センサ、ライダセンサ、レーダセンサ、飛行時間センサ、ソナーセンサ、グローバルポジショニングシステムセンサ、内部センサ、及び／またはこれらの任意の組み合わせなどのセンサシステム４０６からのセンサデータの融合または他の組み合わせを含むことができる。格納された知覚データは、追加的または代替的に、センサデータに表されるオブジェクト（例えば、歩行者、車両、建物、路面など）の意味分類を含む分類データを含むことができる。格納された知覚データは、追加的または代替的に、環境を通して動的オブジェクトとして分類されるオブジェクトの動きに対応するトラックデータ（位置、方向、センサ特徴など）を含むことができる。トラックデータは、経時的に複数の異なるオブジェクトの複数のトラックを含むことができる。このトラックデータは、オブジェクトが止まっている（例えば、静止している）または移動している（例えば、歩行、走行など）時に、特定のタイプのオブジェクト（例えば、歩行者、動物など）の画像を識別するためにマイニングされることができる。この例では、コンピューティングデバイスは、歩行者に対応するトラックを決定する。
予測コンポーネント４２８は、環境内の１つまたは複数のオブジェクトの可能な位置の予測確率を表す１つまたは複数の確率マップを生成することができる。例えば、予測コンポーネント４２８は、車両４０２からのしきい値距離内の車両、歩行者、動物などに関する１つまたは複数の確率マップを生成することができる。いくつかの例では、予測コンポーネント４２８は、オブジェクトのトラックを測定し、観測された及び予測された挙動に基づいて、オブジェクトについての、離散化された予測確率マップ、ヒートマップ、確率分布、離散化された確率分布、及び／または軌道を生成することができる。いくつかの例では、１つまたは複数の確率マップは、環境内の１つまたは複数のオブジェクトの意図を表すことができる。
計画コンポーネント４３０は、環境を横断するために車両４０２が進む経路を決定することができる。例えば、計画コンポーネント４３０は、様々なルート並びに経路及び様々なレベルの詳細を決定することができる。いくつかの例では、計画コンポーネント４３０は、第１の位置（例えば、現在の位置）から第２の位置（例えば、ターゲット位置）へ走行するルートを決定することができる。この説明のために、ルートは２つの位置の間を走行するための一連のウェイポイントであってよい。非限定的な例として、ウェイポイントは、道路、交差点、全地球測位システム（ＧＰＳ）座標などを含む。さらに、計画コンポーネント４３０は、第１の位置から第２の位置へのルートの少なくとも一部に沿って自律走行車両をガイドするための命令を生成することができる。少なくとも１つの例では、計画コンポーネント４３０は、自律走行車両を一連のウェイポイントの第１のウェイポイントから一連のウェイポイントの第２のウェイポイントまでどのようにガイドするかを決定することができる。いくつかの例では、命令は経路または経路の一部であることができる。いくつかの例では、複数の経路は、後退地平線技術に従って、実質的に同時に（例えば、技術的な許容範囲内で）生成されることができる。最も高い信頼水準を有する抗体データ地平線における複数の経路のうちの単一の経路を、車両を操作するために選択し得る。
他の例では、計画コンポーネント４３０は、代替的に、または追加的に、知覚コンポーネント４２６及び／または予測コンポーネント４２８からのデータを使用して、車両４０２が環境を横断するために進む経路を決定することができる。例えば、計画コンポーネント４３０は、環境に関連付けられたオブジェクトに関する知覚コンポーネント４２６及び／または予測コンポーネント４２８からデータを受信することができる。このデータを使用して、計画コンポーネント４３０は、環境内のオブジェクトを回避するために、第１の位置（例えば、現在の位置）から第２の位置（例えば、ターゲット位置）まで移動する経路を決定することができる。少なくともいくつかの例では、そのような計画コンポーネント４３０は、そのような衝突のない経路がないと判定し、次に車両４０２を全ての衝突を回避する及び／またはそうでなければ損傷を軽減する安全な停止へ導く経路を提供し得る。
メモリ４２２は、環境内でナビゲートするために車両４０２によって使用されることができる、１つまたは複数のマップ４３２をさらに含むことができる。この議論のために、マップは、これらには限定されないが、（交差点などの）トポロジー、通り、山脈、道路、地形、および一般的な環境などの環境に関する情報を提供することができる２次元、３次元、またはＮ次元でモデル化された任意の数のデータ構造とすることができる。いくつかの例では、マップは、限定されるわけではないが、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）など）、明暗度情報（例えば、LIDAR情報、RADAR情報など）、空間情報（例えば、メッシュ上に投影された画像データ、個々の「サーフェル」（例えば、個々の色および／または明暗度に関連付けられるポリゴン））、反射性情報（例えば、鏡面性情報、再帰反射性情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）を含むことができる。１つの例では、マップは、環境の３次元メッシュを含むことができる。場合によっては、マップの個々のタイルが環境の個別の部分を表すように、マップをタイル形式で格納でき、本明細書にて説明するように、必要に応じて作業メモリにロードできる。少なくとも１つの例では、１つまたは複数のマップ４３２は、少なくとも１つのマップ（例えば、画像および／またはメッシュ）を含むことができる。いくつかの例では、車両４０２は、マップ４３２に少なくとも部分的に基づいて制御されることができる。すなわち、マップ４３２は、ローカライゼーションコンポーネント４２４、知覚コンポーネント４２６、予測コンポーネント４２８、及び／または計画コンポーネント４３０と関連して使用されて、車両４０２の位置を決定し、環境内のオブジェクトを識別し、オブジェクト及び／または車両４０２に関連付けられた予測確率を生成し、及び／または環境内をナビゲートするために経路及び／または軌道を生成することができる。
いくつかの例では、１つまたは複数のマップ４３２は、ネットワーク４１６を介してアクセス可能なリモートコンピューティングデバイス（コンピューティングデバイス４４８など）に格納することができる。いくつかの例では、複数のマップ４３２は、例えば、特性（例えば、エンティティのタイプ、時刻、曜日、その年の季節など）に基づいて格納されることができる。複数のマップ４３２を格納することは、同様のメモリ要件を有することが可能であるが、マップ内のデータがアクセスされることが可能である速度を高めることができる。
少なくとも１つの例では、第１のコンピューティングデバイス４０４は、１つまたは複数のシステムコントローラ４３４を含むことができ、これは、車両４０２のステアリング、推進、ブレーキ、安全、エミッタ、通信、及び他のシステムを制御するように構成され得る。これらのシステムコントローラ４３４は、駆動システム４１４の対応するシステム及び／または車両４０２の他のコンポーネントと通信し、及び／または制御することができ、これらは、計画コンポーネント４３０から提供される経路に従って動作するように構成され得る。
第２のコンピューティングデバイス４１８は、本明細書で論じられるように、車両４０２の態様を検証及び／または制御するためのコンポーネントを含む１つ以上のプロセッサ４３６及びメモリ４３８を備えることができる。少なくとも１つの例では、１つ以上のプロセッサ４３６は、プロセッサ４２０に類似することができ、メモリ４３８は、メモリ４２２に類似することができる。しかしながら、いくつかの例では、プロセッサ４３６及びメモリ４３８は、追加の冗長性のためにプロセッサ４２０及びメモリ４２２とは異なるハードウェアを備え得る。
いくつかの例では、メモリ４３８は、ローカライゼーションコンポーネント４４０、知覚／予測コンポーネント４４２、計画コンポーネント４４４、及び１つ以上のシステムコントローラ４４６を備えることができる。
いくつかの例では、ローカライゼーションコンポーネント４４０は、センサ４０６からセンサデータを受信して、自律走行車両４０２の位置及び／または向き（ポーズと一緒に）のうちの１つ以上を決定し得る。ここで、位置及び／または向きは、自律走行車両４０２が位置する環境内のＰＯＳ及び／またはオブジェクトに対するものであってよい。例では、向きは、基準面に対する、及び／またはポイント及び／またはオブジェクトに対する、自律走行車両４０２のヨー、ロール、及び／またはピッチの指示を含み得る。例では、ローカライゼーションコンポーネント４４０は、第１のコンピューティングデバイス４０４のローカライゼーションコンポーネント４２４よりも少ない処理（例えば、より高レベルのローカライゼーション）を実行し得る。例えば、ローカライゼーションコンポーネント４４０は、マップに対して自律走行車両４０２のポーズを決定するのではなく、自律走行車両４０２の周囲で検出されるオブジェクト及び／または面（例えば、グローバル位置ではなくローカル位置）に対して自律走行車両４０２のポーズを決定するだけであってよい。そのような位置及び／または向きは、例えば、センサデータの一部または全てを使用して、例えばベイズフィルタ（カルマンフィルタ、拡張カルマンフィルタ、無香料カルマンフィルタなど）などの確率的フィルタリング技術を使用して決定され得る。
いくつかの例では、知覚／予測コンポーネント４４２は、センサデータに表されるオブジェクトを検出、識別、分類、及び／またはトラックする機能を含むことができる。例えば、知覚／予測コンポーネント４４２は、本明細書で論じられるように、クラスタリング動作及び動作を実行して、オブジェクトに関連付けられた高さを推定または決定することができる。
いくつかの例では、知覚／予測コンポーネント４４２は、Ｍ推定器を含んでもよいが、例えば、オブジェクトを分類するためのニューラルネットワーク、決定木、及び／または同様のものなどのオブジェクト分類子を欠いてもよい。追加または代替の例では、知覚／予測コンポーネント４４２は、オブジェクトの分類を曖昧にしないように構成された任意のタイプのＭＬモデルを備え得る。対照的に、知覚コンポーネント４２６は、１つ以上の機械学習モデル、ベイズフィルタ（例えば、カルマンフィルタ）、グラフィックス処理ユニット（ＧＰＵ）、及び／または同様のものを含んでよい、ハードウェア及び／またはソフトウェアコンポーネントのパイプラインを備え得る。いくつかの例では、知覚／予測コンポーネント４４２（および／または４２６）によって決定された知覚データは、オブジェクト検出（例えば、自律走行車両の周囲の環境内のオブジェクトに関連付けられたセンサデータの識別）、オブジェクト分類（例えば、検出されたオブジェクトに関連付けられたオブジェクトタイプの識別）、オブジェクトトラック（例えば、過去の、現在の、および／または予測されるオブジェクトの位置、速度、加速度、および／または向き）、および／または同様のものを含み得る。
知覚／予測コンポーネント４４２はまた、入力データを処理して、オブジェクトの１つ以上の予測軌道を決定し得る。例えば、オブジェクトの現在の位置及び数秒の期間にわたるオブジェクトの速度に基づいて、知覚／予測コンポーネント４４２は、オブジェクトが次の数秒にわたって移動する経路を予測し得る。いくつかの例では、そのような予測経路は、位置、向き、速度、及び／または向きが与えられた動きの線形仮定を使用することを含み得る。他の例では、そのような予測経路は、より複雑な分析を含み得る。
いくつかの例では、計画コンポーネント４４４は、軌道が衝突がなく、かつ／または安全域内にあることを検証するために、計画コンポーネント４３０から軌道を受信する機能を含むことができる。いくつかの例では、計画コンポーネント４４４は、安全停止軌道（例えば、「快適な」減速（例えば、最大減速未満）で車両４０２を停止する軌道）を生成することができ、いくつかの例では、計画コンポーネント４４４は、緊急停止軌道（例えば、ステアリング入力を伴うまたは伴わない最大減速）を生成することができる。
いくつかの例では、システムコントローラ４４６は、車両の安全上重要なコンポーネント（例えば、ステアリング、ブレーキ、モータなど）を制御する機能を含むことができる。このようにして、第２のコンピューティングデバイス４１８は、車両安全のために冗長な及び／または追加のハードウェア及びソフトウェア層を提供することができる。
車両４０２は、ネットワーク４１６を介してコンピューティングデバイス４４８に接続することができ、１つ以上のプロセッサ４５０及び１つ以上のプロセッサ４５０と通信可能に結合されたメモリ４５２を含むことができる。少なくとも１つの例では、１つ以上のプロセッサ４５０は、プロセッサ４２０に類似することができ、メモリ４５２は、メモリ４２２に類似することができる。示される例では、コンピューティングデバイス４４８のメモリ４５２は、本明細書で論じられるコンポーネントのうちのいずれかに対応し得るコンポーネント４５４を格納する。
プロセッサ４２０、４３６、及び／または４５０は、本明細書に記載されるように、データを処理し、動作を実行するための命令を実行することができる任意の好適なプロセッサであることができる。例として、限定ではなく、プロセッサ４２０、４３６、及び／または４５０は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、または電子データを処理して当該電子データをレジスタ及び／またはメモリに格納できる他の電子データに変換する任意の他のデバイス若しくはデバイスの一部を含むことができる。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、及び他のハードウェアデバイスはまた、それらがエンコードされた命令を実装するよう構成される限り、プロセッサとみなすことができる。
メモリ４２２、４３８、及び／または４５２は、非一時的コンピュータ可読媒体の例である。メモリ４２２、４３８、及び／または４５２は、本明細書に記載の方法および様々なシステムに起因する機能を実装する、オペレーティングシステム及び１つまたは複数のソフトウェアアプリケーション、命令、プログラム、及び／またはデータを格納することができる。様々な実装では、メモリ４２２、４３８、及び／または４５２は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプのメモリ、または情報を記憶することができる他の任意のタイプのメモリなどの任意の適切なメモリ技術を使用して実装されることができる。本明細書で説明されるアーキテクチャ、システム、及び個々の要素は、多くの他の論理的、プログラム的、及び物理的なコンポーネントを含むことができ、添付図面に示されるそれらは本明細書での説明に関連する単なる例にすぎない。
いくつかの例では、本明細書で説明されるコンポーネントのいくつかまたは全ての態様は、任意のモデル、アルゴリズム、及び／または機械学習アルゴリズムを含むことができる。例えば、いくつかの例では、メモリ４２２、４３８、及び／または４５２内のコンポーネントを、ニューラルネットワークとして実装できる。いくつかの例では、メモリ４２２、４３８、及び／または４５２内のコンポーネントは、複雑さを低減し、安全性の観点から検証及び／または認定されるための機械学習アルゴリズムを含まない場合がある。
本明細書で説明されるように、例示的なニューラルネットワークは、入力データが連続して接続されたレイヤを通して出力を生じさせる生物学に着想を得たアルゴリズムである。ニューラルネットワークにおけるそれぞれのレイヤが別のニューラルネットワークを含むことも可能であり、または任意の数のレイヤ（畳み込み層であるか否か）を含むことが可能である。本開示の脈絡で理解されることが可能であるとおり、ニューラルネットワークは、機械学習を利用することができ、機械学習は、学習されたパラメータに基づいて出力が生成されるそのような幅広いクラスのアルゴリズムを指すことが可能である。
ニューラルネットワークの脈絡で説明されるが、任意のタイプの機械学習が、本開示と整合するように使用され得る。例えば、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に推定される散布図の平滑化（ＬＯＥＳＳ）、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対値縮小選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角回帰（ＬＡＲＳ）、決定木アルゴリズム（例えば、分類回帰木（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、平均１依存性推定器（ＡＯＤＥ）、ベイジアン信頼度ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均法、ｋメジアン法、期待値最大化（ＥＭ）、階層的クラスタリング）、関連規則学習アルゴリズム（例えば、パーセプトロン、誤差逆伝播法、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、深層ボルツマンマシン（ＤＢＭ）、深層信頼ネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層型オートエンコーダ）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡法、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップ集約（バギング）、エイダブースト、階層型一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰木（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクトルマシン）、教師付き学習、教師なし学習、半教師付き学習などを含んでよいが、これらに限定されない。
アーキテクチャのさらなる例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。
したがって、本明細書で論じられる技術は、自律走行車両などの車両の安全な動作を可能にするために環境内のオブジェクトの高さデータを決定する堅牢な実装を提供する。
図５及び６は、本開示の例による例示的なプロセスを示す。これらのプロセスは、論理フローグラフとして示され、それぞれの動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実装されることが可能である一連の動作を表す。ソフトウェアの脈絡において、動作は、１つまたは複数のプロセッサによって実行された場合に、列挙した動作を実行する１つまたは複数のコンピュータ可読記憶媒体に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、具体的な機能を実行するか、または具体的な抽象データ型を実装するルーティン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、限定として解釈されることが意図されるわけではなく、任意の数の説明される動作が、プロセスを実装するために任意の順序で、および／または並行して組み合わされることが可能である。
図５は、センサデータに基づいてオブジェクトに関連付けられた高さを推定するための例示的なプロセス５００である。例えば、本明細書で説明されるように、プロセス５００のうちの一部またはすべては、図４における１つまたは複数のコンポーネントによって実行されることが可能である。例えば、プロセス５００の一部または全ては、第２のコンピューティングデバイス４１８によって実行されることができる。
動作５０２において、プロセスは、車両のセンサによってキャプチャされたデータを受信することを含むことができる。いくつかの例では、動作５０２は、自律走行車両が環境を横断するときに、自律走行車両の１つまたは複数のライダセンサからライダデータを受信することまたはキャプチャすることを含むことができる。
動作５０４において、プロセスは、データを２次元空間に関連付けることを含むことができる。例えば、動作５０４は、３次元データを２次元データ表現に関連付けることを含むことができる。２次元データ表現は、方位角ビンを表す第１の次元を含むことができ、第２の次元は、ライダビームまたはチャネルを表すことができる。いくつかの例では、動作５０４は、データをフィルタリングして、地面に関連付けられたデータを削除すること、及び／または自律走行車両が従う軌道に関連付けられたコリドーの外側のデータを削除することを含むことができる。
動作５０６において、プロセスは、データクラスタリングに少なくとも部分的に基づいて、オブジェクトを表すオブジェクトデータを決定することを含むことができる。本明細書で論じられるように、データクラスタリングは、ポイントの距離が閾値距離未満であると決定することに少なくとも部分的に基づくことができる。データクラスタリングの追加の態様は、図１及び２、ならびに本開示を通して説明される。
動作５０８において、プロセスは、オブジェクトに関連付けられた高さを決定することを含むことができる。本明細書で論じられるように、動作５０８は、オブジェクトに関連付けられた第１の高さおよび第２の高さを決定することを含むことができ、これは、いくつかの例では、本明細書で論じられるように、オブジェクトに関連付けられた最小の高さ（または下限）およびオブジェクトに関連付けられた最大の高さ（または上限）を表すことができる。
動作５１０において、プロセスは、オブジェクトデータの範囲に少なくとも部分的に基づいて第１の高さを決定することを含むことができる。例えば、第１の高さは、オブジェクトデータに関連付けられた垂直距離に少なくとも部分的に基づくことができる。第１の高さを決定する追加の態様は、図１及び図３Ａ－図３Ｄ、ならびに本開示を通して説明される。
動作５１２において、プロセスは、１）第１のチャネル内の第１の部分と、２）第２のチャネル内の第２の位置または地面に関連付けられた第３の位置との間の距離に少なくとも部分的に基づいて第２の高さを決定することを含むことができる。第２の高さを決定する追加の態様は、図１、図３Ａ－図３Ｄ、及び図６において、ならびに本開示を通して説明される。
動作５１４において、プロセスは、オブジェクトに関連付けられた高さに少なくとも部分的に基づいて車両を制御することを含むことができる。いくつかの例では、車両を制御することは、軌道を生成すること、安全停止軌道を実行すること、緊急停止軌道を実行することなどを含むことができる。いくつかの例では、動作は、後続の分類、フィルタリングなどのために、高さが閾値の高さを満たすかまたは超えるかを判定することを含むことができる。
図６は、オブジェクトデータに関連付けられた上限及び下限に基づいてオブジェクトの高さを決定するための例示的なプロセス６００である。例えば、本明細書で説明されるように、プロセス６００の一部またはすべては、図４における１つまたは複数のコンポーネントによって実行されることが可能である。例えば、プロセス６００の一部または全ては、第２のコンピューティングデバイス４１８によって実行されることができる。
いくつかの例では、プロセス６００は、図５の動作５１２で実行される動作を表すことができる。
一般に、動作６０４、６０６、６０８、および６１０は、オブジェクトの高さに関連付けられた上限（または上の範囲）を推定することまたはそうでなければ決定することに対応することができ、動作６１２、６１４、６１６、および６１８は、オブジェクトの高さに関連付けられた下限（または下の範囲）を推定することまたはそうでなければ決定することに対応することができる。
動作６０２において、プロセスは、オブジェクトデータを受信することを含むことができる。例えば、オブジェクトデータは、２次元データ表現に関連付けられ、及び／または本明細書で論じられる技術に基づいてクラスタリングされた後に受信されることができる。
動作６０４において、プロセスは、データがオブジェクトデータの上に存在するかどうかを判定することを含むことができる。例えば、オブジェクトデータの上の任意のチャネル内のデータは、別のオブジェクトに対応し得る（例えば、データは、オブジェクトデータとは異なる第２のオブジェクトに関連付けられ得る）。データがオブジェクトデータの上のチャネル内にある場合、プロセスは動作６０６に続く。いくつかの例では、動作６０４は、オブジェクトデータの上の同じビン内のデータに限定されることができる。すなわち、オブジェクトデータがビンに関連付けられていない場合、動作６０４は、動作６０４においてそのようなデータを考慮しない場合がある。
動作６０６において、プロセスは、チャネル内のデータの範囲（例えば、オブジェクトデータの上方）がオブジェクトデータに関連付けられた範囲よりも大きいかどうかを判定することを含むことができる。チャネル内のデータの範囲が、オブジェクトデータに関連付けられた範囲よりも大きい場合、プロセスは、動作６０８に進み、これは、チャネルに関連付けられた光線をオブジェクトの高さの上限として使用することを含み得る。いくつかの例では、動作６０８は、オブジェクトデータ（例えば、オブジェクトデータに関連付けられた最高ポイント）と、オブジェクトデータの上のデータに関連付けられた光線と、ライダセンサに関連付けられた位置との間の垂直距離を決定することを含むことができる。
オブジェクトの上のチャネル内にデータがない場合（例えば、動作６０４における「いいえ」）、またはオブジェクトデータの上のチャネル内のデータの範囲がオブジェクトデータの範囲よりも小さい場合（例えば、動作６０６における「いいえ」）、プロセスは動作６１０に進む。
動作６１０において、プロセスは、オブジェクトの高さの上限（または上の範囲）としてオブジェクトの上部を使用することを含むことができる。いくつかの例では、動作６１０は、オブジェクトの高さの上限（または上の範囲）としてオブジェクトの上部に関連付けられた位置を使用することを含むことができ、この位置は、オブジェクトの上部の真上のチャネルに少なくとも部分的に基づいてもよい。
動作６１２において、プロセスは、データがオブジェクトデータの下に存在するかどうかを判定することを含むことができる。例えば、オブジェクトデータの下の任意のチャネル内のデータは、別のオブジェクトに対応し得る（例えば、データは、オブジェクトデータとは異なる第２のオブジェクトに関連付けられ得る。データがオブジェクトデータの下のチャネル内にある場合、プロセスは動作６１４に進む。いくつかの例では、動作６１２は、オブジェクトデータの下の同じビン内のデータに限定されることができる。すなわち、オブジェクトデータがビンに関連付けられていない場合、動作６１２は、動作６１２においてそのようなデータを考慮しない場合がある。
動作６１４において、プロセスは、チャネル内のデータの範囲（例えば、オブジェクトデータの下方）がオブジェクトデータに関連付けられた範囲よりも大きいかどうかを判定することを含むことができる。チャネル内のデータの範囲が、オブジェクトデータに関連付けられた範囲よりも大きい場合、プロセスは、動作６１６に進み、これは、チャネルに関連付けられた光線をオブジェクトの高さの下限として使用することを含み得る。いくつかの例では、動作６１６は、オブジェクトデータ（例えば、オブジェクトデータに関連付けられた最低ポイント）と、オブジェクトデータの下のデータに関連付けられた光線と、ライダセンサに関連付けられた位置との間の垂直距離を決定することを含むことができる。
オブジェクトの下のチャネル内にデータがない場合（例えば、動作６１２における「いいえ」）、またはオブジェクトデータの下のチャネル内のデータの範囲がオブジェクトデータの範囲よりも小さい場合（例えば、動作６１４における「いいえ」）、プロセスは動作６１８に進む。
動作６１８において、プロセスは、オブジェクトの高さの下限（または下の範囲）として地面を使用することを含むことができる。
動作６２０において、プロセスは、動作６０４－６１８において決定されるように、上限及び下限に少なくとも部分的に基づいて第２の高さを決定することを含むことができる。したがって、プロセス６００は、オブジェクトの高さを推定することまたはそうでなければ決定することのための堅牢な技術を示す。
（例示的な節）
Ａ：１つまたは複数のプロセッサと、実行されると、１つまたは複数のプロセッサに、自律走行車両のライダセンサによってキャプチャされたライダデータを受信することと、ライダデータを２次元データ表現に関連付けることと、２次元データ表現で表される地面の指示を受信することと、地面に関連付けられたライダデータの第１のサブセットを二次元データ表現から削除して、データの第２のサブセットを決定することと、データクラスタリングに少なくとも部分的に基づいて、オブジェクトを表すデータの第２のサブセット内のオブジェクトデータを決定することと、オブジェクトデータの垂直範囲に少なくとも部分的に基づいて、オブジェクトに関連付けられた第１の高さを決定することと、二次元データ表現の第１のチャネルのライダデータポイントと二次元データ表現の第２のチャネルに関連付けられた高さとの間の垂直距離に少なくとも部分的に基づいて、オブジェクトに関連付けられた第２の高さを決定することと、オブジェクトに関連付けられた第１の高さまたは第２の高さのうちの少なくとも１つに少なくとも部分的に基づいて自律走行車両を制御することと、を含む動作を実行させるコンピュータ実行可能命令を格納する１つまたは複数の非一時的コンピュータ可読媒体とを備えるシステム。
Ｂ：垂直距離が第１の距離であり、データクラスタリングが、ライダデータの第１のデータポイントとライダデータの第２のデータポイントとの間の第２の距離を決定することと、第２の距離に少なくとも部分的に基づいてオブジェクトデータを決定することとを含む、段落Ａに記載のシステム。
Ｃ：オブジェクトが、第１のオブジェクトであり、第１のチャネルに関連付けられた第１のデータが、オブジェクトデータの第１の部分を表し、第２のチャネルに関連付けられた第２のデータが、第１のオブジェクトとは異なる第２のオブジェクトを表し、垂直距離が、第１のデータと第２のデータに関連付けられた光線との間の距離を表し、光線が、第２のオブジェクト及びライダセンサに関連付けられた原点に少なくとも部分的に基づいている、段落ＡまたはＢに記載のシステム。
Ｄ：垂直距離が第１の距離であり、第２の高さが、オブジェクトとライダセンサに関連付けられた位置との間の第２の距離に少なくとも部分的に基づく、段落Ａ－Ｃのいずれかに記載のシステム。
Ｅ：２次元データ表現の第１の次元は、ライダデータに関連付けられた方位角ビンを表し、２次元データ表現の第２の次元は、ライダデータに関連付けられたビームインデックスを表す、段落Ａ－Ｄのいずれかに記載のシステム。
Ｆ：車両のセンサによってキャプチャされたデータを受信することと、データを２次元データ表現に関連付けることと、データクラスタリングに少なくとも部分的に基づいて、オブジェクトを表すオブジェクトデータを決定することと、オブジェクトに関連付けられた高さとして、オブジェクトデータの範囲に少なくとも部分的に基づいてオブジェクトに関連付けられた第１の高さ、または２次元データ表現の第１のチャネル内の第１の位置と２次元データ表現の第２のチャネル内の第２の位置との間の距離に少なくとも部分的に基づいてオブジェクトに関連付けられた第２の高さのうちの少なくとも１つを決定することと、オブジェクトに関連付けられた高さに少なくとも部分的に基づいて車両を制御することと、を含む方法。
Ｇ：距離が第１の距離であり、データクラスタリングが、データの第１のデータポイントとデータの第２のデータポイントとの間の第２の距離を決定することであって、第２の距離が３次元ユークリッド距離である、ことと、距離に少なくとも部分的に基づいてオブジェクトデータを決定することと、を含む、段落Ｆに記載の方法。
Ｈ：オブジェクトが、第１のオブジェクトであり、第１のチャネルに関連付けられた第１のデータが、オブジェクトデータの第１の部分を表し、第２のチャネルに関連付けられた第２のデータが、第１のオブジェクトとは異なる第２のオブジェクトを表し、距離が、第１のデータと第２のデータに関連付けられた光線との間の垂直距離を表し、光線が、第２のオブジェクト及びセンサに関連付けられた位置に少なくとも部分的に基づいている、段落ＦまたはＧに記載の方法。
Ｉ：距離が第１の距離であり、方法が、第１のデータとセンサに関連付けられた位置との間の第２の距離を決定することと、第２のデータとセンサに関連付けられた位置との間の第３の距離を決定することと、第２の距離が第３の距離未満であると決定することと、第２の距離が第３の距離未満であることに少なくとも部分的に基づいて第２の高さを決定することとをさらに含む、段落Ｈに記載の方法。
Ｊ：データに表される地面の指示を受信することと、２次元データ表現から、少なくとも部分的に地面に基づいてデータのサブセットを削除することと、をさらに含む、段落Ｆ－Ｉのいずれかに記載の方法。
Ｋ：第１の高さは、オブジェクトに関連付けられた最小の高さを表し、第２の高さは、オブジェクトに関連付けられた最大の高さを表す、段落Ｆ－Ｊのいずれかに記載の方法。
Ｌ：距離は、第１の距離であり、データは、ライダセンサによってキャプチャされ、第２の高さは、ライダセンサの第１のビームとライダセンサの第２のビームとの間の垂直距離に少なくとも部分的に基づいており、垂直距離は、オブジェクトとライダセンサに関連付けられた位置との間の第２の距離に少なくとも部分的に基づいている、段落Ｆ－Ｋのいずれかに記載の方法。
Ｍ：地面の上のオブジェクトの位置に少なくとも部分的に基づいて第２の高さを決定することをさらに含む、段落Ｆ－Ｌのいずれかに記載の方法。
Ｎ：データは、ライダセンサによってキャプチャされるライダデータであり、２次元データ表現の第１の次元は、ライダデータに関連付けられた方位角ビンを表し、２次元データ表現の第２の次元は、ライダデータに関連付けられたビームインデックスを表す、段落Ｆ－Ｍのいずれかに記載の方法。
Ｏ：プロセッサによって実行可能な命令を格納する非一時的コンピュータ可読媒体であって、命令が実行されると、プロセッサに、車両のセンサによってキャプチャされたデータを受信することと、データを二次元データ表現に関連付けることと、データクラスタリングに少なくとも部分的に基づいて、オブジェクトを表すオブジェクトデータを決定することと、オブジェクトに関連付けられた高さとして、オブジェクトデータの範囲に少なくとも部分的に基づいてオブジェクトに関連付けられた第１の高さ、または二次元データ表現の第１のチャネル内の第１の位置と二次元データ表現の第２のチャネル内の光線との間の垂直距離に少なくとも部分的に基づいてオブジェクトに関連付けられた第２の高さ、のうちの少なくとも１つを決定することであって、光線がセンサに少なくとも部分的に基づいていることと、オブジェクトに関連付けられた高さに少なくとも部分的に基づいて車両を制御することと、を含む動作を実行させる、非一時的コンピュータ可読媒体。
Ｐ：距離が第１の距離であり、データクラスタリングが、データの第１のデータポイントとデータの第２のデータポイントとの間の第２の距離を決定することであって、第２の距離が３次元ユークリッド距離である、ことと、距離に少なくとも部分的に基づいてオブジェクトデータを決定することと、を含む、段落Ｏに記載の非一時的コンピュータ可読媒体。
Ｑ：オブジェクトが、第１のオブジェクトであり、第１のチャネルに関連付けられた第１のデータが、オブジェクトデータの第１の部分を表し、第２のチャネルに関連付けられた第２のデータが、第１のオブジェクトとは異なる第２のオブジェクトを表し、垂直距離が、第１のデータと第２のデータに関連付けられた光線との間の距離を表し、光線が、第２のオブジェクト及びセンサに関連付けられた位置に少なくとも部分的に基づいている、段落ＯまたはＰに記載の非一時的コンピュータ可読媒体。
Ｒ：データは、ライダセンサによってキャプチャされ、第２の高さは、ライダセンサの第１のビームとライダセンサの第２のビームとの間の垂直距離に少なくとも部分的に基づいており、垂直距離は、オブジェクトとライダセンサに関連付けられた位置との間の距離に少なくとも部分的に基づいている、段落Ｏ－Ｑのいずれかに記載の非一時的コンピュータ可読媒体。
Ｓ：地面の上のオブジェクトの位置に少なくとも部分的に基づいて第２の高さを決定する、段落Ｏ－Ｒのいずれかに記載の非一時的コンピュータ可読媒体。
Ｔ：データは、ライダセンサによってキャプチャされるライダデータであり、２次元データ表現の第１の次元は、ライダデータに関連付けられた方位角ビンを表し、２次元データ表現の第２の次元は、ライダデータに関連付けられたビームインデックスを表す、段落Ｏ－Ｓのいずれかに記載の非一時的コンピュータ可読媒体。
上記で説明された例示的な節が、１つの特定の実装に関して説明される一方で、本明細書の脈絡において、例示的な節の内容は、方法、デバイス、システム、コンピュータ可読媒体、及び／または別の実装を介して実施されることも可能であることを理解されたい。さらに、例Ａ－Ｔのいずれかは、単独で、または他の１つもしくは複数の例Ａ－Ｔと組み合わせて実装され得る。
（結論）
本明細書で説明される技術の１つまたは複数の例が説明された一方で、それらの様々な変形、追加、置換、および均等物が、本明細書で説明される技術の範囲内に含まれる。
例の説明では、主張される主題の特定の例を示す、それらの一部を形成する添付図面に対する参照が行われる。他の例が用いられることが可能であること、および構造上の変更などの変更または変形が行われることが可能であることを理解されたい。このような例、変更、または変形は、必ずしも、意図されて主張される主題に関する範囲からの逸脱ではない。本明細書で説明されるステップは、特定の順序で提示されることが可能である一方で、場合によっては、順序付けは、変更されることが可能であることにより、説明されるシステムおよび方法の機能を変更することなく、特定の入力が異なる時間で、または異なる順序で提供される。また、開示される手続きは、異なる順序で実行されることも可能である。さらに、本明細書における様々な計算は、開示される順序で実行される必要はなく、計算の代替の順序を用いる他の例が容易に実装されることが可能である。順序変更されることに加えて、計算は、同一の結果を伴って部分的計算に分解されることも可能である。

Claims (15)

  1. 車両に関連付けられたセンサによってキャプチャされたデータを受信することと、
    前記データを２次元データ表現に関連付けることと、
    データクラスタリングに少なくとも部分的に基づいて、オブジェクトを表すオブジェクトデータを決定することと、
    前記オブジェクトに関連付けられた高さとして、
    前記オブジェクトデータの範囲に少なくとも部分的に基づいて、前記オブジェクトに関連付けられた第１の高さ、または、
    前記２次元データ表現の第１のチャネル内の第１の位置と、前記２次元データ表現の第２のチャネル内の第２の位置との間の距離に少なくとも部分的に基づいて、前記オブジェクトに関連付けられた第２の高さ、のうちの少なくとも１つを決定することと、
    前記オブジェクトに関連付けられた前記高さに少なくとも部分的に基づいて前記車両を制御させることと、
    を含む方法。
  2. 前記距離が第１の距離であり、前記データクラスタリングが、
    前記データの第１のデータポイントと前記データの第２のデータポイントとの間の第２の距離を決定することであって、前記第２の距離が３次元ユークリッド距離である、ことと、
    前記距離に少なくとも部分的に基づいて前記オブジェクトデータを決定することと、
    を含む、請求項１に記載の方法。
  3. 前記オブジェクトが第１のオブジェクトであり、
    前記第１のチャネルに関連付けられた第１のデータは、前記オブジェクトデータの第１の部分を表し、
    前記第２のチャネルに関連付けられた第２のデータは、前記第１のオブジェクトとは異なる第２のオブジェクトを表し、
    前記距離は、前記第１のデータと前記第２のデータに関連付けられた光線との間の垂直距離を表し、前記光線は、前記第２のオブジェクト及び前記センサに関連付けられた位置に少なくとも部分的に基づいている、請求項１または２に記載の方法。
  4. 前記距離が第１の距離であり、前記方法が、
    前記第１のデータと前記センサに関連付けられた前記位置との間の第２の距離を決定することと、
    前記第２のデータと前記センサに関連付けられた前記位置との間の第３の距離を決定することと、
    前記第２の距離が前記第３の距離未満であると決定することと、
    前記第３の距離未満である前記第２の距離に少なくとも部分的に基づいて、前記第２の高さを決定することと、
    をさらに含む、請求項３に記載の方法。
  5. 前記データに表される地面の指示を受信することと、
    前記２次元データ表現から、前記地面に少なくとも部分的に基づいて前記データのサブセットを削除することと、
    をさらに含む、請求項１から４のいずれか１項に記載の方法。
  6. 前記第１の高さは、前記オブジェクトに関連付けられた最小の高さを表し、
    前記第２の高さは、前記オブジェクトに関連付けられた最大の高さを表す、
    請求項１から５のいずれか１項に記載の方法。
  7. 前記距離は第１の距離であり、
    前記データがライダセンサによってキャプチャされ、
    前記第２の高さは、前記ライダセンサの第１のビームと前記ライダセンサの第２のビームとの間の垂直距離に少なくとも部分的に基づいており、
    前記垂直距離は、前記オブジェクトと前記ライダセンサに関連付けられた位置との間の第２の距離に少なくとも部分的に基づいている、請求項１から６のいずれか１項に記載の方法。
  8. 地面の上の前記オブジェクトの位置に少なくとも部分的に基づいて前記第２の高さを決定すること、
    をさらに含む、請求項１から７のいずれか１項に記載の方法。
  9. 前記データは、ライダセンサに関連付けられたライダデータであり、
    前記２次元データ表現の第１の次元は、前記ライダデータに関連付けられた方位角ビンを表し、
    前記２次元データ表現の第２の次元は、前記ライダデータに関連付けられたビームインデックスを表す、請求項１から８のいずれか１項に記載の方法。
  10. コンピュータ上で実行された場合に、請求項１から９のいずれか一項に記載の方法を実装する符号化された命令を備える、コンピュータプログラム製品。
  11. システムであって、
    １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサによって実行可能な命令を格納する１つまたは複数の非一時的コンピュータ可読媒体であって、前記命令は、実行されると、前記システムに、
    車両に関連付けられたセンサからデータを受信することと、
    前記データを２次元データ表現に関連付けることと、
    データクラスタリングに少なくとも部分的に基づいて、オブジェクトを表すオブジェクトデータを決定することと、
    前記オブジェクトに関連付けられた高さとして、
    前記オブジェクトデータの範囲に少なくとも部分的に基づいて、前記オブジェクトに関連付けられた第１の高さ、または、
    前記２次元データ表現の第１のチャネル内の第１の位置と、前記２次元データ表現の第２のチャネル内の光線との間の垂直距離に少なくとも部分的に基づいて前記オブジェクトに関連付けられた第２の高さであって、前記光線が前記センサに少なくとも部分的に基づいている、前記第２の高さ、のうちの少なくとも１つを決定することと、
    前記オブジェクトに関連付けられた前記高さに少なくとも部分的に基づいて前記車両を制御させることと、を含む動作を実行させる、１つまたは複数の非一時的コンピュータ可読媒体と、
    を備えるシステム。
  12. 前記垂直距離は、第１の距離であり、前記データクラスタリングは、
    前記データの第１のデータポイントと前記データの第２のデータポイントとの間の第２の距離を決定することであって、前記第２の距離が３次元ユークリッド距離である、ことと、
    前記距離に少なくとも部分的に基づいて前記オブジェクトデータを決定することと、
    を含む、請求項１１に記載のシステム。
  13. 前記オブジェクトが第１のオブジェクトであり、
    前記第１のチャネルに関連付けられた第１のデータは、前記オブジェクトデータの第１の部分を表し、
    前記第２のチャネルに関連付けられた第２のデータは、前記第１のオブジェクトとは異なる第２のオブジェクトを表し、
    前記垂直距離は、前記第１のデータと前記第２のデータに関連付けられた光線との間の距離を表し、前記光線は、前記第２のオブジェクト及び前記センサに関連付けられた位置に少なくとも部分的に基づいている、請求項１１または１２に記載のシステム。
  14. 前記データがライダセンサによってキャプチャされ、
    前記第２の高さは、前記ライダセンサの第１のビームと前記ライダセンサの第２のビームとの間の垂直距離に少なくとも部分的に基づいており、
    前記垂直距離は、前記オブジェクトと前記ライダセンサに関連付けられた位置との間の距離に少なくとも部分的に基づいている、請求項１１から１３のいずれか１項に記載のシステム。
  15. 前記データは、ライダセンサに関連付けられたライダデータであり、
    前記２次元データ表現の第１の次元は、前記ライダデータに関連付けられた方位角ビンを表し、
    前記２次元データ表現の第２の次元は、前記ライダデータに関連付けられたビームインデックスを表す、請求項１１から１４のいずれか１項に記載のシステム。
JP2022531035A 2019-11-27 2020-11-19 センサデータを使用した高さ推定 Pending JP2023505059A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/698,055 US11614742B2 (en) 2019-11-27 2019-11-27 Height estimation using sensor data
US16/698,055 2019-11-27
PCT/US2020/061278 WO2021108215A1 (en) 2019-11-27 2020-11-19 Height estimation using sensor data

Publications (1)

Publication Number Publication Date
JP2023505059A true JP2023505059A (ja) 2023-02-08

Family

ID=75973992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022531035A Pending JP2023505059A (ja) 2019-11-27 2020-11-19 センサデータを使用した高さ推定

Country Status (5)

Country Link
US (1) US11614742B2 (ja)
EP (1) EP4065442A4 (ja)
JP (1) JP2023505059A (ja)
CN (1) CN114761298A (ja)
WO (1) WO2021108215A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210181758A1 (en) 2019-10-26 2021-06-17 Zoox, Inc. Object detection and tracking
US11958502B2 (en) * 2020-09-29 2024-04-16 Waymo Llc Foreign object detection with surfel maps
US11807271B2 (en) * 2021-07-30 2023-11-07 Ford Global Technologies, Llc Method, system, and computer program product for resolving level ambiguity for radar systems of autonomous vehicles
EP4191274A1 (en) * 2021-12-03 2023-06-07 Aptiv Technologies Limited Radar-based estimation of the height of an object
US20230273308A1 (en) * 2022-01-31 2023-08-31 Qualcomm Incorporated Sensor based object detection
EP4249342A1 (en) * 2022-03-21 2023-09-27 TuSimple, Inc. Control subsystem and method to define the response of an autonomous vehicle to an unknown object

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US8600589B2 (en) * 2012-04-24 2013-12-03 Exelis, Inc. Point cloud visualization of acceptable helicopter landing zones based on 4D LIDAR
KR20170028126A (ko) * 2015-09-03 2017-03-13 엘지전자 주식회사 차량 운전 보조 장치 및 차량
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US10663581B2 (en) 2017-07-13 2020-05-26 GM Global Technology Operations LLC Detection systems and methods using ultra-short range radar
CN109716160B (zh) 2017-08-25 2022-12-02 北京航迹科技有限公司 用于检测车辆环境信息的方法和系统
US20190113919A1 (en) 2017-10-18 2019-04-18 Luminar Technologies, Inc. Controlling an autonomous vehicle using smart control architecture selection
TWI651686B (zh) * 2017-11-30 2019-02-21 國家中山科學研究院 一種光學雷達行人偵測方法
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
US11747444B2 (en) * 2018-08-14 2023-09-05 Intel Corporation LiDAR-based object detection and classification

Also Published As

Publication number Publication date
US11614742B2 (en) 2023-03-28
EP4065442A4 (en) 2023-12-20
EP4065442A1 (en) 2022-10-05
WO2021108215A1 (en) 2021-06-03
US20210157321A1 (en) 2021-05-27
CN114761298A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
US11351991B2 (en) Prediction based on attributes
US11215997B2 (en) Probabilistic risk assessment for trajectory evaluation
US11021148B2 (en) Pedestrian prediction based on attributes
US11276179B2 (en) Prediction on top-down scenes based on object motion
JP7350013B2 (ja) マスクを使用したデータセグメンテーション
US11126180B1 (en) Predicting an occupancy associated with occluded region
US11409304B1 (en) Supplementing top-down predictions with image features
JP2022539245A (ja) アクションデータに基づくトップダウンシーンの予測
JP2022502306A (ja) レーダ空間推定
JP2022527072A (ja) 属性に基づく歩行者の予測
US11380108B1 (en) Supplementing top-down predictions with image features
US11614742B2 (en) Height estimation using sensor data
WO2021133810A1 (en) Sensor degradation monitor
CN114072841A (zh) 根据图像使深度精准化
US11538185B2 (en) Localization based on semantic objects
US11912268B2 (en) Velocity regression safety system
US20220176988A1 (en) Determining inputs for perception system
US20220185331A1 (en) Calibration based on semantic objects
US20230169777A1 (en) Center-based detection and tracking
CN117813230A (zh) 基于对象轨迹的主动预测
US11761780B1 (en) Determining data for semantic localization
US11983933B1 (en) Boundary aware top-down trajectory prediction
US11807233B1 (en) Procedurally generated safety system determination
US11906967B1 (en) Determining yaw with learned motion model
US20230245336A1 (en) Distance representation and encoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231023