JP7333782B2 - ブロッキング静止車両の検出 - Google Patents

ブロッキング静止車両の検出 Download PDF

Info

Publication number
JP7333782B2
JP7333782B2 JP2020543277A JP2020543277A JP7333782B2 JP 7333782 B2 JP7333782 B2 JP 7333782B2 JP 2020543277 A JP2020543277 A JP 2020543277A JP 2020543277 A JP2020543277 A JP 2020543277A JP 7333782 B2 JP7333782 B2 JP 7333782B2
Authority
JP
Japan
Prior art keywords
vehicle
stationary
stationary vehicle
blocking
vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020543277A
Other languages
English (en)
Other versions
JP2021513484A (ja
Inventor
ガファリアンザデー マーサ
ジョン サップ ベンジャミン
ソル レヴィンソン ジェシー
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2021513484A publication Critical patent/JP2021513484A/ja
Application granted granted Critical
Publication of JP7333782B2 publication Critical patent/JP7333782B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Description

本発明は、ブロッキング静止車両の検出に関する。
本ＰＣＴ国際出願は、本明細書に参照により組み入れられる２０１８年２月１４日出願の米国特許出願第１５／８９７，０２８号の優先権の利益を主張する。
道路上の車両などの静止した物体は、車両の自律運転を妨げることがあり得る。例えば、自律車両を遮断する、自律車両の前の静止車両は、二重駐車されるまたはその他の無能力であることがあり得る。上記のブロッキング車両（blocking vehicle）を検出することは、ブロッキング車両であるかどうかを決定するために、可能性のあるブロッキング車両の前で「見る」ことが不可能であり得るように、センサーの視界によって制限されることがあり得る。
さらにその上、環境信号（environmental cue）は、検出の複雑さに加えられることがあり得る。２つの例を列挙すると、検出された赤信号を有する交差点で停止した車両は、ブロッキング車両であり、信号待ちをしていないことがあり得る。同様に、検出された青信号を有する交差点の近くに停止した車両は、実際に、曲がるために長い列で待っており、ブロッキング車両ではないことがあり得る。不適切に検出されたブロッキング車両に基づいて自律的に動作することは、例えば、自律車両が元の車線に再び入ることができないことなどの追加の問題を生じることがあり得る。
詳細な説明は、添付の図面を参照しながら説明される。図面において、参照符号の最も左の数字（複数可）は、参照符号が最初に現れる図面を識別する。異なる図面における同一の参照符号は、同様のまたは同じアイテムを示す。
ブロッキング車両であることがあり得る静止車両を含む例示的なシナリオを例示する。 自律車両によって収集されたセンサーデータから認識できる図１Ａのシナリオの一部を示す、図１Ａのシナリオに関する自律車両のビューを描く例を例示する。 ブロッキング車両を検出するための例示的な処理の絵で表したフロー図を例示する。 ブロッキング車両を検出するために引き出されるセンサーデータおよび特徴の例を例示する。 ブロッキング車両を検出するために引き出されるセンサーデータおよび特徴の例を例示する。 ブロッキング車両を検出するために引き出されるセンサーデータおよび特徴の例を例示する。 ブロッキング車両を検出するために引き出されるセンサーデータおよび特徴の例を例示する。 ブロッキング車両を検出するために引き出されるセンサーデータおよび特徴の例を例示する。 ブロッキング車両を検出するために引き出されるセンサーデータおよび特徴の例を例示する。 例示的な車両システムを含むブロッキング車両を検出するための例示的なアーキテクチャーのブロック図を例示する。 本明細書において述べられる技術に係るブロッキング車両の機械学習モデルをトレーニングするための例示的な処理のフロー図を例示する。 本明細書において述べられる技術に係る機械学習モデルを使用してブロッキング車両を検出するための例示的な処理の概略的なフロー図を例示する。 本明細書において述べられる技術に係るブロッキング車両の機械学習モデルをトレーニングするための例示的な処理のフロー図を例示する。
上のように、ブロッキングオブジェクト（車両を含む）は、自律車両を、計画されたルートまたはパスに沿って進むことから邪魔する物体を含む。例えば、多くの都市環境において、二重駐車は、一般的な慣行である。上記の二重駐車車両を、静止車両から分離して取り扱うために、ブロッキング車両として検出する必要がある。特に、自律車両は、停止した車両が移動するのを待つように指示されることがあり得る一方、自律車両は、上記の二重駐車車両をよけるようにして誘導するように指示されることがあり得る。一般的なルール、例えば、青信号におけるすべての静止車両をブロッキングとして取り扱うことなどは、自律車両を安全に動作させることに対して、および／または車両に関する人の運転に、より近く擬するやり方において、不正確および／または不十分であることがよくある。一般に、本開示は、静止車両がブロッキング車両またはブロッキングオブジェクトであるかどうかを決定するための技術（たとえば、機械、プログラムコード、処理）に、この決定に照らして自律車両を制御するために、向けられる。いくつかの例において、本明細書にて述べられる技術は、センサーデータを受信して、静止車両がブロッキング車両であることを示すかどうかを決定するように構成されたＭＬ（機械学習）モデルを含む。条件付きルール（たとえば、信号が青であることが真であり、車両が停止されていることが真であるならば、車両は、ブロッキング車両であることを示す）に従って決定をする代わりに、本明細書において述べられる技術は、センサーデータを入力として得るＭＬモデルを使用して、静止車両がブロッキング車両である確率を決定することがあり得る。
いくつかの例において、本明細書にて述べられる技術は、自律車両に関するセンサー（複数可）および／またはソフトウェアモジュールおよび／またはハードウェアモジュールから、生のセンサーデータおよび／または処理されたセンサーデータ（たとえば、自律車両に関する別の機械学習モデルおよび／またはソフトウェア／ハードウェアモジュールによって処理されたセンサーデータ）を受信することと、センサーデータからの特徴値（たとえば、車道の次の交差地点までの距離、静止車両から、静止車両の前にある、次の車両までの距離、静止車両に関する速さ、ブレーキライト状態、高さ、大きさおよび／またはヨー（yaw）、静止車両の近くにある静止車両および／または物体（複数可）の分類、交通流データ）を決定することと、静止車両がブロッキング車両である確率を決定することとを含むことがあり得る。いくつかの例において、確率は、ＭＬモデルを使用して決定されることがあり得る。
いくつかの例において、自律車両は、自律車両を制御するための認識エンジン（perception engine）および／またはプランナーを含むことがあり得る。認識エンジンは、自律車両の環境から収集されたセンサーデータから物体を検出する、識別する、分類する、および／もしくは追跡するための１つまたは複数のＭＬモデル、ならびに／または他のコンピューター実行可能な命令を含むことがあり得る。いくつかの例において、認識エンジンは、静止車両がブロッキング車両（blocking vehicle：ＢＶ）である確率を決定するように構成されたＭＬモデル（本明細書において以後「ＢＶモデル」として参照され、ＭＬモデルの一般的な議論はＢＶモデルに等しく適用するが）を含むことがあり得る。プランナーは、ルート計画、軌道計画、評価の決定などのために、１つまたは複数のＭＬモデル、アルゴリズムなどを含むことがあり得る。プランナーは、自律車両の動きを制御するために、自律車両の他のコンポーネント、例えば、認識エンジン、センサー（複数可）から、例えば、他の車両および／またはネットワーク接続、グローバルおよび／またはローカルのマップコンポーネントなどから受信されるデータのような、受信されるデータから軌道を生成するように構成されることがあり得る。
本明細書において述べられる技術は、先行するソリューション（たとえば、条件付きルールを使用すること）を越えて、検出の精度を高めることによって自律車両の動作を改善する。事実上、技術は、自律車両がブロッキング車両の後ろで不必要にじっとしているのを防ぐことに帰着し、結果として、消費電力、および車両による無駄な計算サイクルを減らす。さらに、技術は、静止車両が遮断しない静止車両であるとき、自律車両が、不必要に車線を変更したり、再ルーティングしたりするのを防ぐこともあり得る。同様に、今述べたことは、消費電力、および車両による無駄な計算サイクルを減らすことがあり得る。さらに、技術は、より正確に状況を認識することによって、自律車両の動作の安全性を、自律車両の乗客および／または環境の存在物の両方に対して、改善することもあり得る。例えば、技術は、自律車両が、自律車両によって以前に認識されなかった車列により占有される元の車線に戻らなければならないためのみに車線変更すること（たとえば、衝突の危険性が高まることがあり得る）、遮断しない静止車両が一時停止していた物体に遭遇すること、遮断しない静止車両のドア（複数可）が開くことがあり得ることを予期しぶつかることを避けることなどを防ぐことがあり得る。
本明細書において使用されるように、ブロッキング車両は、何らかのやり方によって、他の車両を、進行をすることから邪魔する走行可能な面上の静止車両である。走行可能な面上のすべての静止車両が、ブロッキング車両であることはない。例えば、遮断しない静止車両は、信号機が赤い光を伝えるために、進行をする別の車両に道をゆずるためにおよび／または進行をする別の車両を待つために、車両の前を横断する物体のためになど、走行可能な道路面上の進行を一時停止した車両であることがあり得る。対照的に、ブロッキング車両は、二重駐車車両、配達をするために駐車された配達トラック、運転手がいない車両、停止されたパトカー、無能力の車両などであり得る。遮断しない静止車両とブロッキング車両との違いは、ほとんどの場合、違いが、静止車両が停止される時間の長さの問題のみであり得るので、あいまいであり、決定するのが困難であり得る。しかしながら、静止車両とブロッキング車両との主な違いは、車両の進行が、そうでなければ、ブロッキング車両の存在がなかったら、可能であるおよび／または許可されるだろうことである。いくつかの例において、ブロッキング車両は、例えば、車線に沿って進むなど、一般的に認められている道路の規則に従わない静止車両として分類され得る。本明細書において述べられる技術は、自律車両の動作を、自律車両が、ブロッキング車両の後ろに耐えられない時間の継続の間、止まることを防ぐことによって改善する。
例示的なシナリオ
図１Ａは、本明細書において述べられる技術が適用され得る多くのうちの一例を例示する例示的なシナリオ１００の概略的な俯瞰図である。例示的なシナリオにおいて、自律車両１０２は、信号機１０６を含む車道の交差地点１０４に近づく。いくつかの例において、自律車両１０２は、運転手（または乗員）がいかなる時点においても車両を制御することが期待されない、全行程にすべてのセーフティクリティカルの機能を実行する性能がある車両を記述する、米国連邦道路交通安全局によって発行されるレベル５分類に従って、動作するように構成された自律車両であることがあり得る。しかしながら、他の例において、自律車両１０２は、現在存在するまたは将来開発される他のどんなレベルまたは分類でも有する完全なまたは部分的な自律車両であることがあり得る。さらにその上、いくつかの例において、ブロッキング車両を決定するための本明細書にて説明される技術は、自律的ではない車両によっても同様に使用可能であることがあり得る。
自律車両１０２は、センサーデータを、自律車両１０２の１つまたは複数のセンサーから受信することがあり得る。自律車両１０２は、自律車両の動きを制御するための軌道を決定するセンサーデータを使用することがあり得る。いくつかの例において、自律車両１０２は、他のハードウェアおよびソフトウェアモジュールの中における、センサー（複数可）および／または認識エンジンからデータを受信するプランナーを含むことがあり得る。例えば、今述べたデータは、ＧＰＳ（全地球測位システム）のセンサーによって決定される自律車両１０２の位置、自律車両１０２の近くにある物体に関係したデータ、車両の目的地を指定するルートデータ、車道の特性を識別するグローバルマップデータ（たとえば、自律車両をローカライズするのに有用な様々なセンサーモダリティ（sensor modality）において検出可能な特徴）、車両の近くに検出された特性を識別するローカルマップデータ（たとえば、建物、木、壁、消火栓、一時停止の標識、および種々のセンサーモダリティにおいて検出可能な他の特徴に関するロケーションならびに／または寸法）などを含むことがあり得る。プランナーは、車両の動きを制御するための軌道を生成するデータを使用することがあり得る。いくつかの例において、自律車両１０２は、車両１０２の１つまたは複数のセンサーからセンサーデータを受信し、センサーデータから認識データ（perception data）を決定し、グローバルマップ上の自律車両１０２の位置をローカライズする、１つまたは複数の軌道を決定する、パスまたはルートを横切るために自律車両１０２の動きを制御するプランナーによる使用のために認識データをプランナーに送信する認識エンジンを含むことがあり得る。例えば、プランナーは、自律車両１０２に対して第１のロケーションから第２のロケーションまでのルートを決定し、ルートを横切るために車両を制御するタイムウインドウ（たとえば、１マイクロ秒、１／２秒）の間、自律車両１０２の動きを制御することに対して可能性がある軌道を生成し、自律車両１０２のドライブコンポーネントに送信され得るドライブコントロール信号を生成するのに使用され得る自律車両１０２の軌道として、可能性がある軌道のうちの１つを選択することがあり得る。
認識エンジンは、自律車両１０２の環境から収集されたセンサーデータから物体を検出する、識別する、セグメント化する、分類する、および／もしくは追跡するための１つまたは複数のＭＬモデル、ならびに／または他のコンピューター実行可能な命令を含むことがあり得る。例えば、認識エンジンは、環境中の物体を検出し、物体を分類する（たとえば、乗用車、セミトラック（semi-truck）、ピックアップトラック、人、子供、犬、ボール）ことがあり得る。さらに、認識エンジンは、物体のトラック（track）（たとえば、物体に関する履歴の、現在の、および／もしくは予測される進路、位置、速度、ならびに／または加速度）を決定することもあり得る。
認識エンジンは、車両が、自律車両の１つまたは複数のセンサーから受信したセンサーデータに少なくとも部分的に基づいて、静止車両であると決定することがあり得る。いくつかの例において、認識エンジンは、センサーデータを受信しセンサーデータに少なくとも部分的に基づいて自律車両１０２の環境中の物体を検出し、物体をあるタイプの車両として分類し、センサーデータが、検出された車両の速度が予め決められたしきい値速度を超えない（たとえば、車両の検知速度が、毎秒０．１メートルまたは毎秒０．０５メートル以上ではない）ことを示すと決定することがあり得る。本明細書において使用されるような車両は、例えば、制限しないが、乗用車、配達トラック、自転車、物体を輸送するためのドローンなどのような物理的な輸送手段であり得る。いくつかの例において、認識エンジンは、静止車両の速度が予め決められたしきい値速度を満たさないこと（たとえば、一致する、超える）、および／または例えば、時間の継続、信号機の状態、予め決められたしきい値距離を満たす交差地点からの検知距離などのような別の条件が満たされることなどの決定に基づいて、検出された車両を、静止車両として分類することがあり得る。例えば、認識エンジンは、検出された車両が予め決められたしきい値速度よりもより遅くなっていく（たとえば、車両が停止される）ことを示すことと、車両が、信号機が青信号を示している間および／または交差地点から１００メートルの距離において、予め決められた時間量の間に予め決められたしきい値速度よりもより遅くなっていった（たとえば、車両が２０秒間停止した）ことと、を決定するセンサーデータを受信することに少なくとも部分的に基づいて、検出された車両を、静止車両として分類することがあり得る。
図１Ａの例示的なシナリオに戻ると、自律車両１０２は、信号機１０６を含む交差地点１０４に近づくことがあり得り、図において疑問符によりまた示される、静止車両（例えば、車両１０８）として分類される物体に遭遇することがあり得る。発生する技術的な難しさは、認識エンジンが、別の物体および／または法律上の制約（たとえば、赤信号）によりふさがれている静止車両が単に一時停止される（すなわち、遮断しない静止車両）かどうか、または静止車両が実際にブロッキング車両であるかどうかを分かるのに十分な情報を有さないときである。本明細書において使用される、ブロッキング車両は、停止される、または他の車両の進行を邪魔する、予め決められたしきい値速度未満の速度により移動する走行可能な道路面上の車両である。例えば、ブロッキング車両は、二重駐車車両、商品が降ろされている配達トラック、運転手がいないまたは運転手が乗客を拾うのを待っている車両、停止されたパトカー、無能力の車両（たとえば、故障したドライブシステムを有する車両、パンクしたタイヤを有する車両、車両事故に巻き込まれた車両、乗員が車両を手放した車両）、またはメーターリーダーのパトロール車両（meter-reading patrol vehicle）であるかもしれない。本明細書において使用される「走行可能な道路面」は、例えば、路肩、駐車レーン、および／または自転車レーンなどの走行不能な道路面とは対照的に、規範的な運転条件に関連付けられた車道に関連付けられた部分を含むことがあり得る。
遮断しない静止車両が、他の車両がどこにも（またはその他の一般的に認められた運転規則にしたがって）進行をすることができなかったときに停止される、ゆえに、遮断しない静止車両は、それ自体、その他の車両を邪魔しない（たとえば、信号機が赤である、物体が道路に入った、静止車両の前に別の車両が有る）という点において、ブロッキング車両は、遮断しない静止車両とは異なることがあり得る。本明細書において述べられるようなブロッキング車両は、ブロッキング車両が、自律車両１０２によって決定された軌道を邪魔する（たとえば、ブロッキング車両が、自律車両１０２と同じ車線を少なくとも部分的に占有する、ならびに／または自律車両１０２のパスおよび／もしくは軌道と一致する）という点において、遮断しない静止車両とは違うことがあり得る。
検出された車両が遮断しない静止車両であるどうか、または検出された車両がブロッキング車両であるかどうかのあいまいさを解消することがなければ、認識エンジンは、適切にシナリオが与えられた自律車両１０２の動きを制御する軌道を生成するプランナーに対して、不十分なデータを、プランナーに提供することがあり得る。
図１Ｂは、図１Ａの同一の例示的なシナリオ１００の俯瞰図を例示し、例示的なシナリオ１００に関するさらなる複雑化を反映する。特に、図１Ｂは、センサーデータを介して自律車両１０２に利用可能なシナリオに関する制限された不完全なビューを反映する。将来のセンサーおよび認識の進歩は、センサーデータに反映されるシナリオの一部を増加させそうであるが、自律車両１０２は、おそらく、少なくともときには、シナリオ上の影響においてまたはシナリオに影響がある、状況、物体などの１００％が通知されないままであろう。ゆえに、図１Ｂは、自律車両１０２のプランナーによって受信されるセンサーデータにより反映されるシナリオ１００の例示的な一部を反映する。例えば、グローバルマップデータ、および自律車両１０２のセンサーから受信されるＧＰＳロケーションは、交差地点１０４が自律車両１０２の１００メートル前にあることを示すことがあり得るだろうし、センサーデータが、信号機１０６が青であることを示すことがあり得り、およびグローバルマップデータのライダーデータ、および／またはカメラデータと調和して（他のどんなセンサーモダリティでも想定されるが）、認識エンジンが、自律車両１０２が青信号に基づいて交差地点１０４に入ることが認められた車線にあることを裏付けることがあり得り、自律車両１０２は、自律車両が車両１０８と、車両１１０および１１２とが静止車両であると決定することからセンサーデータを受信することがあり得る。
センサー（複数可）の制限のため、自律車両１０２は、車両１１４～１２２の存在を検出するためのセンサーデータを受信しないことがあり得る。例えば、車両１１４～１２２は、センサーの視野の外にある、センサーの信頼性のある動作距離の向こうにある、または塞がれることがあり得るだろう。いくつかの例において、認識エンジンは、ブロッキング車両インディケーション（blocking vehicle indication）を出力するための条件を指定する条件付きルールを含むことがあり得る。いくつかの例において、条件付きルールは、あらかじめプログラマーまたはアドミニストレーターによってハードコーディングされることがあり得る。例えば、ハードコーディングされるルールは、検出された車両が、静止車両として分類され、青信号が、検出され静止車両が移動していない予め決められた時間の継続の間、青のままであり、静止車両が、交差地点１０４から１５メートルより多く離れているとき、認識エンジンがブロッキング車両インディケーションを出力することを指定することがあり得る。
しかしながら、上記のハードコーディングされるルールは、多くの可能性があるシナリオに対して、適切に構成されないことがあり得る。たとえば、上に与えられた例示的なハードコーディングされるルールは、静止車両１０８が無能力であった、ゆえにブロッキング車両１０８であった例に対して働くことがあり得る。しかしながら、図１Ａが例示するように、実際に、自律車両１０２により検出できないことがあり得る、静止車両１０８の前に長い車列があることがあり得る。ゆえに、例示的なシナリオ１００に対して、ブロッキング車両インディケーションをプランナーに供給することは、自律車両１０２の誤動作または厄介な動作を生成することがあり得る。例えば、自律車両１０２が、認識エンジンによってブロッキング車両であると示された静止車両１０８を通り過ぎた後、同一車線に戻ることができると仮定するプランナーは、車線変更を開始することがあり得るだろう。静止車両の前にある長い車列のため、自律車両１０２は、元の車線に戻ることができないことがあり得る。ゆえに、今述べた状況において静止車両１０８をブロッキング車両として分類することは、フォールスポジティブであるだろう。同様に、フォールスネガティブは、自律車両１０２の動作を混乱させることがあり得る。ゆえに、ハードコーディングされるルールは、容認できない割合のフォールスポジティブおよび／またはフォールスネガティブを作成することがあり得る。
さらにその上、新しい機能（たとえば、認識エンジンが、静止車両のハザードランプが点滅していることを検出するかどうかを検査すること）を、ハードコーディングされるルールのセットに導入することは、時間がかかり、ヒューマンコーディング、および／または認識エンジンの再構成を必要とするであろう。今述べたことは、認識エンジンの新しい再構成を開発し試験することに関する多数の繰り返しを必要とすることがあり得る上記の再構成が、自律車両１０２を動作させないこと、および／または人為的な再構成が完了されるのを待つことを必要とすることがあり得るので、望ましくない。
代わりに、いくつかの例において、本明細書にて述べられる技術は、静止車両が、さほど制限されないＭＬモデルを介してブロッキング車両であるかどうかを確率的に決定することがあり得る。今述べたアプローチは、本明細書において、ＢＶ ＭＬモデルとともに説明される。
例示的な処理
図２は、自律車両において、自律車両を制御するために静止車両がブロッキング車両であるかどうかを判定するための例示的な処理２００の絵で表したフロー図を例示する。動作２０２において、例示的な処理２００は、センサーデータを、自律車両２０４のセンサー（複数可）から受信することを含むことがあり得る。いくつかの例において、追加としてまたは代替として、センサーデータは、例えば、他の車両のセンサー（複数可）、リモートコンピューティングデバイス（例えば、遠隔操縦サービス、ウェザーステーション、交通管制サービス、緊急サービス）のセンサー（複数可）、および／またはインフラに設置されたセンサー（複数可）（例えば、街灯柱、建物に設置されたセンサー（複数可））などの遠くのセンサー（複数可）から受信されることがあり得る。
動作２０６において、例示的な処理２００は、センサーデータから静止車両２０８を検出することを含むことがあり得る。今述べたことは、物体を検出することと、その物体を車両として分類することと、車両の速度（または速さ）がしきい値速度（または速さ）未満であると決定することとを含むことがあり得る。いくつかの例において、しきい値は、予め決められたしきい値である（たとえば、車両が停止される、または毎秒０．０５メートル未満で移動している）ことがあり得る一方、他の例において、しきい値は、相対的である（たとえば、車両が交通の平均速度の２０％未満で移動している）ことがあり得る。いくつかの例において、追加としてまたは代替として、動作２０６は、センサーデータから決定された他の特徴が、１つまたは複数の条件、例えば、車両が交差地点からの距離を満たす、車両が特定のタイプ（たとえば、自転車、乗用車）のである、光信号機の信号が青であるなどを満たすと決定することを含むことがあり得る。
動作２０６は、自律車両２０４のセンサーの「視力」内のすべての静止車両（すなわち、１つまたは複数のセンサーの視野内にある車両）を検出することを含むことがあり得る。追加または代替の例において、動作２０６は、予め決められたしきい値距離内の静止車両を検出することを含むことがあり得る。例えば、自律車両２０４は、５０メートル以内の静止車両を検出することがあり得る。自律車両２０４が静止車両を検出する距離を制限することによって、自律車両２０４は、処理およびストレージのリソースを節約する。加えて、単に、静止車両が自律車両２０４と同じ車線に存在するかどうかよりも多く検出することによって、自律車両２０４のプランナーは、自律車両２０４を制御するために、どの軌道を生成するおよび／または選択するかについて、より洗練された決定をすることができる。
動作２０８において、例示的な処理２００は、少なくとも部分的にセンサーデータに基づく特徴値２１０を決定することを含むことがあり得る。いくつかの例において、特徴値２１０は、ＢＶ（ブロッキング車両） ＭＬモデルにより指定された特徴に対応することがあり得る。ＢＶ ＭＬモデルは、静止車両２０８が、自律車両２０４の認識エンジンによって決定される特徴値２１０に基づいて、ブロッキング車両であるかどうかの確率を決定するように構成されることがあり得る。いくつかの例において、自律車両２０４は、ＢＶ ＭＬモデルが構成される、可能性がある特徴に関する少なくともサブセットについて特徴値２１０を決定するように試みることがあり得る。例えば、以下の表は、ＢＶ ＭＬが、静止車両２０８がブロッキング車両である確率を決定するために依存し得る特徴に対応する、認識エンジンにより決定される特徴値２１０の例を例示する。与えられた例において、いくつかの特徴値２１０は、認識エンジンによって決定されなかったか、センサーデータ（すなわち、「別の物体による遮断」、「他の物体挙動」）から適用可能でも利用可能でもなかったかのどちらでもない。これらの特徴のうちのいくつか、および他は、図３Ａ～３Ｆに関して述べられる。
Figure 0007333782000001
いくつかの例示的な特徴が上に（および図３Ａ～３Ｆに関して）挙げられるが、特徴の数および種類は、そのように制限されていない。例えば、特徴はいくらでも、例えば、物体のバウンディングボックスの大きさ、物体の色、物体の高さ、物体の大きさ、物体の幅、物体の速度（すなわち、速さおよび／または方向）、物体のヨー（たとえば、車両の向きに関して）、車線の識別（たとえば、左、中央、右）、ＧＰＳロケーション、検出されたロゴおよび／または静止車両に関連付けられたテキストなどのように、想定される。特徴のうちのどれでも、単なるブール値（すなわち、特徴が存在するかしないか）、実数（例えば、検出された速さなど）、テキスト（例えば、分類など）、またはデータに関する他のどんな表現によってでも、表されることがあり得る。
いくつかの例において、認識エンジンにより決定される特徴値２１０は、静止車両２０８の速さ、交通信号の状況（たとえば、信号機の状況、交通標識の存在）、交通流データ、交通流データと静止車両データとの関係（たとえば、交通流データに関する正規分布内の静止車両データである）、静止車両２０８が別の物体により遮断される確率（たとえば、静止車両２０８の前にある物体の存在を示し得るセンサーデータにおける残差を検出することに基づいて）、センサーの残差により示され得る塞がれた物体が存在する確率（たとえば、静止車両２０８の前にある物体を示し得るノイズのレーダーセンサーデータ）、静止車両２０８の近くに検出される人および関連したデータ（たとえば、静止車両への人の近接度、人が静止車両２０８に対して離れ戻るかどうか）、他の物体の挙動（たとえば、他の車両が静止車両２０８を迂回している、他の車両が静止車両２０８を迂回していない）、静止車両２０８の分類ラベル（タイプ）（たとえば、パトカー、乗用車、配達トラック）および／または環境中の他の物体の分類ラベル（タイプ）、ドアの開／閉の状態（たとえば、静止車両２０８の後ろのドアまたは開口部が開／閉される）などのうちの少なくとも１つを含むことがあり得る。
動作２１２において、例示的な処理２００は、ＢＶ ＭＬモデル２１４を使用しておよび特徴値から、静止車両２０８がブロッキング車両である確率を決定することを含むことがあり得る。たとえば、特徴値２１０は、ＢＶ ＭＬモデル２１４へと入力されることがあり得り、ＢＶ ＭＬモデル２１４は、ＢＶ ＭＬモデル２１４のコンフィギュレーションに応じておよび従って、静止車両２０８がブロッキング車両である確率を出力することがあり得る。いくつかの例において、ＢＶ ＭＬモデル２１４は、例えば、ランダムフォレストおよび／または向上された決定木のアンサンブルなどの決定木、またはそれのどんな配置でも、ＤＡＧ（directed acyclic graph）（たとえば、ノードがベイジアンネットワークとして組織される場合）、例えば、ＡＮＮ（人工ニューラルネットワーク）、ＤＢＮ（deep belief network）、ＤＳＮ（deep stacking network）、またはＲＮＮ（リカレントニューラルネットワーク）などの深層学習アルゴリズム（複数可）などを含み得る。いくつかの例において、ＢＶ ＭＬモデル２１４は、勾配ブースト決定木（gradient-boosted decision tree）を含むことがあり得る。
例えば、ＢＶ ＭＬモデル２１４が決定木を含む場合、決定木は、静止車両２０８がブロッキング車両であるかないかをそれぞれ示す、正の数または負の数を出力することがあり得る。いくつかの例において、ＢＶ ＭＬモデル２１４は、重み付けられ得る複数の決定木を含むことがあり得る。例えば、１つの決定木は、－１．６３または＋１．６３を出力するように重み付けられることがあり得り、２つめの決定木は、－０．７６または＋０．７６を出力するように重み付けられることがあり得る。いったんすべての決定木が数値を出力したら、認識エンジンは、それらの出力を合計して、静止車両２０８がブロッキング車両であるという合計の確率を決定する。
ＢＶ ＭＬモデル２１４がニューラルネットワークを含む場合、ＢＶ ＭＬモデル２１４は、ノードの入力層、ノードの１つまたは複数の隠れ層、およびノードの出力層を含むことがあり得る。いくつかの例において、ノードの入力層は、１つまたは複数の特徴値を受信し、１つまたは複数の隠れ層のノードを活性化するように構成されることがあり得る。出力層は、１つまたは複数の隠れ層のノードから刺激を受信し、最も活性化された出力層のノードに基づいて、指示を出力するように構成されることがあり得る。いくつかの例において、出力層は、２つのノード（静止車両がブロッキング車両であるという肯定的なインディケーション、および否定的なインディケーション）を含むことがあり得り、および／または出力層は、静止車両がブロッキング車両であるという強いコンフィデンスと、静止車両がブロッキング車両ではないという強いコンフィデンスとの間に出力を供給する。いくつかの例において、決定木は、検出された車両がブロッキング車両であるかどうかを含む出力を有する分類木であることがあり得る。
いくつかの例において、ＢＶ ＭＬモデル２１４は、ラベル付けされた特徴データから生成される（学習される）ことがあり得る。例えば、ＢＶ ＭＬモデル２１４は、静止車両２０８がブロッキング車両であったシナリオから来たサンプル特徴値かどうかを示すラベル（すなわち、グランドトゥルースラベル）に関連付けられた入力サンプル特徴値に基づいて、静止車両２０８がブロッキング車両である確率を出力するように学習する深層学習モデルを含むことがあり得る。図２は、陰影付きのノードが、入力された特徴値により到達したノードである場合の決定木としてＢＶ ＭＬ２１４を例示する。例示された決定木は、静止車両２０８がブロッキング車両であるという重み付けられた確率が０．６２３に等しいと出力することがあり得る。いくつかの例において、どんな符号値でも想定される（たとえば、反対）が、正の値は、静止車両２０８がブロッキング車両であるというインディケーションであり得り、負の値は、静止車両２０８がブロッキング車両ではないというインディケーションであり得る。
動作２１６において、例示的な処理２００は、認識エンジンによって決定された確率を、２１８および２２０に描かれるような、自律車両を制御するための軌道を決定するプランナーに送信することを含むことがあり得る。プランナーは、静止車両２０８がブロッキング車両であるかどうかを示す確率を使用して、自律車両２０４を制御する軌道を生成することがあり得る。例えば、図２は、プランナーが代替のシナリオにおいて決定することがあり得るであろう２つの例示的な軌道を例示する。
例示的なシナリオ２１８において、認識エンジンは、静止車両２０８がブロッキング車両であることを示すインディケーションを出力したことがあり得る。今述べたインディケーションを受信することに応答して、自律車両２０４のプランナーは、自律車両２０４を別の車線に合流させる軌道２２２を生成することがあり得る。いくつかの例において、追加として、認識エンジンは、プランナーにブロッキング車両の分類（例えば、パトカー、メーターリーダーの車両、配達車両）を供給することがあり得る。いくつかの例において、分類は、意味的なラベルであり得る。今述べた意味的なラベルは、特徴値のうちの１つとして含み得る。
例示的なシナリオ２２０において、認識エンジンは、静止車両２０８がブロッキング車両ではないことを示すインディケーション（すなわち、静止車両２０８が、遮断しない静止車両である）を出力したことがあり得る。今述べたインディケーションを受信することに応答して、自律車両２０４のプランナーは、自律車両２０４を同一車線において前にゆっくり進ませる軌道２２４を生成することがあり得る。
いくつかの例において、認識エンジンおよび／またはプランナーは、リモートアシスタンスを受信するリモートコンピューティングデバイスに信号を送信することを決定することがあり得る。例えば、自律車両２０４は、リモートコンピューティングデバイスが、確率を決定すること、または人のテレオペレーターが、静止車両２０８がブロッキング車両ではないというインディケーションを入力することを決定することがあり得るために、より大きな計算能力を有し得るリモートコンピューティングデバイスに信号を送信することがあり得る。プランナーは、確率が、静止車両２０８がブロッキング車両であるまたはないという低いコンフィデンスを示し得る（たとえば、しきい値が、軌道を生成するために依存するにはあまりにも低いことがあり得る確率を定義する、０．２５であり得る）しきい値の負または正の確率を満たさないならば、信号をリモートコンピューティングデバイスに送信することがあり得る。いくつかの例において、さらに、自律車両２０４は、センサーデータおよび／または特徴値を、リモートコンピューティングデバイスに送信することもあり得る。
例示的な特徴
図３Ａ～３Ｆは、ＢＶ ＭＬモデルが、静止車両がブロッキング車両であるまたはないという確率を生成するのに使用するように構成され得るいろいろな特徴を描く。以下に述べられる特徴値は、センサーデータから認識エンジンによって決定され得る。さらにその上、以下に述べられる動作は、図２の動作２１２の一部として遂行されることがあり得る。
図３Ａは、自律車両３０２が、静止車両３０４と、信号３０８（この例では信号機）を含む交差地点３０６とに近づく場合の例示的なシナリオ３００を描く。自律車両３０２は、自律車両２０４およびそれに関連する議論に対応することがあり得る。自律車両３０２は、車両３０４が、本明細書において述べられる技術のどれかに従う認識エンジンによって、静止車両であることを検出することがあり得る。車両３０４が静止車両であることを検出することに応答して、自律車両３０２は、認識エンジンによって、センサーデータから特徴値を決定することがあり得る。例えば、自律車両３０２は、３１０にて示されるような静止車両３０４のライトの状態（たとえば、ハザードランプのオン／オフ、ブレーキランプのオン／オフ）、静止車両３０４（および／もしくは自律車両）の交差地点３０６からの距離３１２および／もしくは静止車両３０４から静止車両の前にある次の車両までの距離（例えば、車道が曲がっている場合に、静止車両３０４の前にある車両の存在を示し得るセンサーの残差が利用可能である場合（例えば、ＲＡＤＡＲ反射など）などに決定され得るとして）、ならびに／またはいくつかの例において、交通信号および／もしくは交通標識があるまたはない（たとえば、青信号、黄信号、赤信号、一時停止標識がある、道を譲れ標識（yield sign）がある、検出される標識がない、検出される一時停止標識がない）を含み得る、交通信号３０８の状況を決定することがあり得る。いくつかの例において、自律車両３０２は、静止車両３０４の高さおよび／または大きさを決定することがあり得る。いくつかの例において、自律車両の高さは、静止車両３０４がブロッキング車両である見込みを示すために（たとえば、セミトラックおよび配達トラックが、車道の部分をふさぐやり方において、より高い傾向があり、より長く停止する傾向がある）、ＢＶ ＭＬモデルによって見つけられることがあり得る。
いくつかの例において、追加としてまたは代替として、認識エンジンは、静止車両３０４に関連付けられたロゴおよび／またはテキストを、特徴値のうちの１つとして決定することがあり得る。例えば、プランナーの機械学習アルゴリズムは、静止車両３０４が、ピザ配達の表示（たとえば、車両の上に）、タクシーサービスの表示、テキストおよび／またはロゴ（たとえば、ＵＰＳのテキストおよび／またはロゴ、Ｕｂｅｒのテキストおよび／またはロゴ）に関連付けられると決定することがあり得る。いくつかの例において、テキストおよび／またはロゴは、静止車両３０４（たとえば、配達車両、公共輸送車両）のタイプの分類の信頼性を強化するために、分類されるまたは使用されることがあり得る。
いくつかの例において、追加としてまたは代替として、認識エンジンは、交通流データを、センサーデータから決定することがあり得る。交通流データは、認識エンジンによって検出されたとして、車両として分類される追加の物体（すなわち、車両３１４、３１６、および３１８）に対するデータを含むことがあり得る。今述べたデータは、車両の速度３２０、車両と次および/または前の車両との間の距離３２２などを含むことがあり得る。
例えば、図３Ｂは、交通流データの例示的な分布３２４を例示する。いくつかの例において、上記の分布は、他の物体に関係した種々の検出された特徴値の度数を（たとえば、分布、ヒストグラムとして）反映することがあり得る。今述べたことは、認識エンジンによって決定される他の車両に関する速度の分布を含むことがあり得る。例示的な分布３２４は、認識エンジンが、検出した車両の大多数がおよそ毎時５５キロメートルと毎時１１０キロメートルとの間の速度で移動していると決定したことを示す。速度が図３Ｂにおいて描かれ本明細書において述べられるが、各車両に一意的であり得る他のどんな特徴値でも、さらに、分布において表されることもあり得ることが理解される。例えば、車間距離、ドアの開／閉、車両の近くの人、信号機の表示などは、 各車両（または車両の車線）に一意的であり得るけれども、いくつかの信号機表示などは、そうではないことがあり得る。明瞭のために、他の車両の特徴値の度数分布を参照するとき、上記の特徴値は、本明細書において「交通流データ」と呼ばれる。
認識エンジンは、検出した車両に関連付けられた交通流データの度数分布を使用して、静止車両３０４に関連付けられた交通流データの百分位数のうちの少なくとも１つを含む特徴値、分布の特性（たとえば、分布がロングテールを含むかどうか、ロングテールが、特定の車線（複数可）の車両に対して、分布に反映される交通流データを減らすことによって取り除かれるかどうか、分布の幅、分布の高さ）、静止車両３０４に関連付けられた交通流データが、テール内にあるかどうかなどを、出力することがあり得る。図３Ｂは、四分位数の位置および／または百分位数（たとえば、それぞれ、５番目および９５番目の百分位数）を示すことがあり得るしきい値３２６および３２８を描く。認識エンジンは、今述べたしきい値３２６および／または３２８を使用して、静止車両３０４に関連付けられた速度および／または別の特徴値が、（観測される他の車両の特徴値に関する）分布のボディ内に、またはしきい値３２６および／もしくは３２８によって定義されるテールにあるかどうかを示すことがあり得る。例えば、認識エンジンは、静止車両３０４に関連付けられた速度および／または別の特徴値が、ガウス分布の平均値に関する２つの標準偏差の内側か外側かにあるかどうかを決定することがあり得る。どの方法が使用されるかに関わらず、認識エンジンが、速度および／または他の特徴値が（上に述べたような）正常範囲の外側にあると決定するならば、認識エンジンは、静止車両３０４の速度および／または他の特徴値が異常であると決定することがあり得る。
認識エンジンは、そうでなければ、交通流データを使用して、対応する静止車両３０４のデータを、異常であるとして識別し得ることが理解される。静止車両３０４が、より低いテールに落ち込む可能性がより高いが、いくつかの例において、より高いテールは、他の目的、例えば、不規則な車両を識別することなど、他の目的に対して使用されることがあり得ることに注意する。
いくつかの例において、認識データは、静止車両と同一のタイプのまたは静止車両として一般的な分類の車両に対して、交通流データを生成することがあり得る。例えば、静止車両３０４が自転車として分類された場合、認識エンジンは、認識エンジンが検出した他の自転車に対して交通流データを生成することがあり得る。別の例において、静止車両３０４が乗用車として分類された場合、認識エンジンは、車両、乗用車、および／または自動車として分類された物体に対して交通流データを生成することがあり得る。
図３Ｃは、認識エンジンが特徴値を決定することがあり得る追加または代替の特徴３３０を描く。自律車両３０２の認識エンジンは、静止車両３０４に関して他の物体の挙動を示す特徴値を生成することがあり得る。例えば、認識エンジンは、別の車両、例えば、車両３３２などのトラック３３４を格納することがあり得り、トラックを特徴値として出力することがあり得る。
追加または代替の例において、認識エンジンは、トラックを特徴値として分類するインディケーションを出力することがあり得る。例えば、インディケーションは、車両３３２が車線を変更していること、静止のままであることなどのインディケーションを含むことがあり得る。交通流データのように、認識エンジンは、他の物体が挙動を繰り返す度数を伝達することがあり得る。いくつかの例において、今述べた度数は、自律車両３０２と同じ車線にある物体に抑えられることがあり得る、または自律車両３０２の車線において生じた挙動を示す物体に対して、より重く重み付けられることがあり得る。たとえば、車両３３６および３３８は、駐車車両であり得る。車両３３６および３３８が、別個の車線にあるので、他の車両により示された挙動の度数の決定を、自律車両３０２に関して同一車線に制約することは、決定される度数を受信することに応えてプランナーにより生成される軌道の精度を高めることがあり得る。例えば、決定が自律車両３０２に関して同一車線に制約されなかったならば、特徴値は、２台（示された車両挙動の６６％）が静止したままであり、１台（示された車両挙動の３３％）が静止車両を通り過ぎたことを示すことがあり得る。一方、自律車両３０２の同一車線内における挙動の度数に対する決定を制約することによって、今述べた特徴値は、１台の車両（示された車両挙動の１００%）が静止車両を通り過ぎたことを示すことがあり得る。
追加または代替の例において、自律車両３０２は、自律車両３０２のセンサーの範囲内の、または自律車両３０２の予め決められたしきい値距離内（たとえば、５０メートル、１００メートル）のすべての静止車両（すなわち、同一車線に単に制約されない車両）を検出することがあり得る。上記の例において、他の車線における静止車両に関する情報は、他の車両がどのように反応すること（たとえば、自律車両の車線に入り二重駐車車両をよけるようにしてルートを計画すること）があり得るかを計画するときに使用されることがあり得る。特徴値は、これらの他の検出された静止車両に関連付けられたロケーションおよび／または他の特徴値を反映し得る。
図３Ｄは、追加または代替の特徴３４０を描く。図３Ｄの影付きの部分は、自律車両３０２の少なくとも１つのセンサーに対して（たとえば、静止車両３０４の表面によって）、塞がれる環境の領域３４２を示す。自律車両３０２の認識エンジンは、静止車両３０４の前に、またはその他の閉塞領域３４２において、塞がれた物体３４４がある確率を示す特徴値を生成することがあり得る。
いくつかの例において、認識エンジンは、残差を含むセンサーデータが、塞がれた物体３４４の存在を示し得ると決定することがあり得る。例えば、残差は、物体の存在を示すが、分類できない画像／動画の一部、ＳＯＮＡＲおよび／またはＲＡＤＡＲの異常などを含むことがあり得る。ＲＡＤＡＲを例としてあげると、認識エンジンは、車両および／または他の識別される環境物体（たとえば、車道）に起因するＲＡＤＡＲデータの一部を決定することと、ＲＡＤＡＲデータの残差が、塞がれた物体３４４の存在を示し得ると決定することとに基づいて、塞がれた物体３４４が存在する確率を決定することがあり得る。例えば、ＲＡＤＡＲデータは、自律車両３０２から静止車両３０４までの距離を超える自律車両３０２からの距離にある物体の存在をノイズとして示す反射を含むことがあり得る。今述べたノイズのある反射は、たいていの場合、および／または近くの物体（たとえば、壁）を介して、塞がれた物体３４４から、静止した車両３０４の車台の下にある自律車両のＲＡＤＡＲセンサーに屈折されることがあり得る。
いくつかの例において、特徴値は、静止車両３０４から物体３４４までの距離を含むことがあり得る。今述べたことは、物体３４４が直接センサー「ビュー」から塞がれる場合の例を、または物体３４４が少なくとも部分的にセンサーの「ビュー」内にある場合の例における例を含むことがあり得る。
図３Ｅは、認識エンジンが特徴値を決定することがあり得る追加または代替の特徴３４６を描く。自律車両３０２の認識エンジンは、静止車両３０４の近くに人３４８の存在を示す特徴値を生成することがあり得る。いくつかの例において、特徴値は、人３４６と静止車両３０４との間の距離、人３４８が静止車両３０４に対して離れ戻るかどうか、静止車両３０４の近くの人数、および／または静止車両３０４のドアもしくは他の開口部が開いているかどうかを示すことがあり得る。いくつかの例において、追加としてまたは代替として、特徴値は、静止車両３０４のヨー３５０を示すことがあり得る。ヨーは、自律車両３０２の姿勢に関して、および／または車線の方向に関して決定されることがあり得る。図３Ｅは、ヨー３５０が、進路と車線とが描かれた例において平行にあるので、自律車両３０２の進路と車線との両方に関して決定される場合の例を描く。
図３Ｆは、認識エンジンが特徴値を決定することがあり得る追加または代替の特徴３５２を描く。自律車両３０２の認識エンジンは、検出された物体の分類（たとえば、配達トラック、コーン、旗振り、発炎筒）、および／または分類のグループを説明するメタクラシフィケーション（meta-classification）（たとえば、配達、建設ゾーン、無能力の車両）を示す特徴値を生成することがあり得る。
要約すると、認識エンジンは、ＢＶ ＭＬモデルが訓練した特徴（複数可）に対応する１つまたは複数の特徴値（たとえば、静止車両から交差地点まで１５メートル、「配達トラック」、青信号、検出された他の車両の速度を含む交通流データ、および／または静止車両の速度が、他のすべての車両、同一車線の車両、もしくは検出された車両の別のサブセットと比較して異常であるかどうかのインディケーション）を決定することがあり得る。ＢＶ ＭＬモデルは、今述べた特徴値および他のどんな特徴値でも、ＢＶ ＭＬモデルのノードを通じてプッシュして、静止車両がブロッキング車両である確率を決定することがあり得る。
例示的なアーキテクチャー
図４は、本明細書において述べられる技術のどれかに従って、少なくとも１つの車両、例えば、自律車両などの動作を制御するための例示的な車両システム４０２を含む例示的なアーキテクチャー４００のブロック図である。いくつかの例において、車両システム４０２は、自律車両２０４および／または３０２の少なくとも一部を表し得る。いくつかの例において、今述べたアーキテクチャーは、静止車両に遭遇する自律車両を制御するために使用され得る。
いくつかの例において、車両システム４０２は、プロセッサー（複数可）４０４および／またはメモリー４０６を含み得る。今までに述べたエレメントは、図４において組み合わせにより例示されるが、これらが、車両システム４０２の別々のエレメントであり得ることと、いくつかの例において、システムのコンポーネントが、ハードウェアおよび／またはソフトウェアとして実装され得ることとが理解される。
プロセッサー（複数可）４０４は、１つのプロセッサーを含むユニプロセッサーシステム、またはいくつか（たとえば、２つ、４つ、８つ、または別の適切な個数）のプロセッサーを含むマルチプロセッサーシステムを含み得る。プロセッサー（複数可）４０４は、命令を実行する能力があるどんな適切なプロセッサーでもあり得る。例えば、種々の実装において、プロセッサー（複数可）は、いろいろなＩＳＡ（命令セットアーキテクチャー）のどれでも、例えば、ｘ８６、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、もしくはＭＩＰＳのＩＳＡ、または他の適切などんなＩＳＡでも実装する汎用または組み込みプロセッサーであり得る。マルチプロセッサーシステムにおいて、各プロセッサー４０４は、一般的に、必ずしもではないが、同一のＩＳＡを実装し得る。いくつかの例において、プロセッサー（複数可）４０４は、ＣＰＵ（中央処理装置）、ＧＰＵ（グラフィックスプロセッサー）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはそれの組み合わせを含み得る。
例示的な車両システム４０２は、メモリー４０６を含み得る。いくつかの例において、メモリー４０６は、実行可能な命令／モジュール、データ、および／またはプロセッサー（複数可）４０４によりアクセス可能なデータアイテムを格納するように構成された非一時的なコンピューター読み取り可能な媒体を含み得る。種々の実装において、非一時的なコンピューター読み取り可能な媒体は、適切などんなメモリー技術でも、例えば、ＳＲＡＭ（スタティックＲＡＭ）、ＳＤＲＡＭ（シンクロナスＤＲＡＭ）、不揮発性／フラッシュ型メモリー、またはメモリーの他のどんなタイプなどでも使用して、実装され得る。例示される例において、例えば、上に説明されたような、望ましい動作を実装するプログラム命令およびデータは、非一時的なコンピューター読み取り可能なメモリー内に格納されて示される。他の実装において、プログラム命令、および／またはデータは、受信され、送られ、または例えば、非一時的なコンピューター読み取り可能な媒体、もしくは非一時的なコンピューター読み取り可能な媒体から分離した同様な媒体など、様々なタイプのコンピューターアクセス可能な媒体に格納され得る。一般的に言って、非一時的な、コンピューター読み取り可能なメモリーは、ストレージ媒体またはメモリー媒体、例えば、例示的な車両システム４０２に「Ｉ／Ｏ」（入力／出力）インターフェイス４０８を介して結合されたフラッシュメモリー（たとえば、ソリッドステートメモリー）、磁気または光媒体（たとえば、ディスク）などを含み得る。非一時的なコンピューター読み取り可能な媒体を介して格納されたプログラム命令およびデータは、例えば、ネットワークインターフェイス４１０を介して実装され得るような通信媒体、例えば、ネットワークおよび／または無線リンクなどを介して運ばれ得る伝送媒体または信号、例えば、電気的な、電磁気的な、またはデジタルの信号などにより送信されることがあり得る。
さらにその上、図４においてシングルユニットとして例示されるが、プロセッサー（複数可）４０４およびメモリー４０６は、車両の複数のコンピューティングデバイスにおよび／または複数の車両、データセンター、遠隔操作センターなどに分散され得る。
いくつかの例において、「Ｉ／Ｏ」（入力／出力）インターフェイス４０８は、プロセッサー（複数可）４０４、メモリー４０６、ネットワークインターフェイス４１０、センサー（複数可）４１２、Ｉ／Ｏデバイス４１４、ドライブシステム４１６、および／または車両システム４０２の他のどのハードウェアの間にでも、Ｉ／Ｏトラフィックを調整するように構成され得る。いくつかの例において、Ｉ／Ｏデバイス４１４は、外部および／または内部のスピーカー（複数可）、ディスプレイ（複数可）、乗客の入力デバイス（複数可）などを含み得る。いくつかの例において、Ｉ／Ｏインターフェイス４０８は、プロトコル、タイミング、または他のデータの変換を行い、あるコンポーネント（たとえば、非一時的なコンピューター読み取り可能な媒体）からのデータ信号を、別のコンポーネント（たとえば、プロセッサー（複数可））による使用に適したフォーマットへとコンバートすることがあり得る。いくつかの例において、Ｉ／Ｏインターフェイス４０８は、例えば、ＰＣＩ（Peripheral Component Interconnect）バス規格、ＵＳＢ（ユニバーサルシリアルバス）規格、またはそれのバリアントのような種々のタイプのペリフェラルバスを通じて取り付けられたデバイスに対するサポートを含み得る。いくつかの実装において、Ｉ／Ｏインターフェイス４０８の機能は、例えば、ノースブリッジおよびサウスブリッジなどのような、２つ以上の別々のコンポーネントに分割されることがあり得る。さらに、いくつかの例において、Ｉ／Ｏインターフェイス４０８の機能性の一部またはすべて、例えば、メモリー４０６へのインターフェイスなどは、プロセッサー（複数可）４０４、および／または車両システム４０２の１つまたは複数の他のコンポーネントに直に組み入れられることがあり得る。
例示的な車両システム４０２は、車両システム４０２と１つまたは複数の他のデバイスとの間に通信リンク（すなわち、「ネットワーク」）を確立するように構成されたネットワークインターフェイス４１０を含み得る。例えば、ネットワークインターフェイス４１０は、車両システム４０２と別の車両４１８（たとえば、車両（複数可）１０４（２）および（３）など）との間において第１のネットワーク４２０を介して、および／または車両システム４０２とリモートコンピューティングシステム４２２との間において第２のネットワーク４２４を介して、データが交換されることを可能にするように構成され得る。例えば、ネットワークインターフェイス４１０は、別の車両４１８および／またはリモートコンピューティングデバイス４２２間の無線通信を可能にすることがあり得る。種々の実装において、ネットワークインターフェイス４１０は、例えば、Ｗｉ－Ｆｉネットワークのような無線の一般的なデータネットワーク、および／または例えば、セルラー通信ネットワーク、衛星ネットワークなどのようなテレコミュニケーションネットワークを介した通信をサポートすることがあり得る。
いくつかの例において、本明細書にて述べられるセンサーデータは、第１の車両により受信され、第２の車両に送信され得る。いくつかの例において、別個の車両から受信したセンサーデータは、認識エンジンによって決定された特徴値に組み入れられることがあり得る。例えば、第１の車両から受信したセンサーデータは、第２の車両に利用できなかった特徴値を書き込むために、および／または第２の車両により受信されたセンサーデータから、第２の車両により決定された特徴値を重み付けるために使用されることがあり得る。
例示的な車両システム４０２は、例えば、車両システム４０２を環境中にローカライズするように、環境中の１つまたは複数の物体を検出するように、環境を通じて例示的な車両システム４０２の動きを検知し、環境データ（たとえば、周囲の温度、気圧、および湿度）を検知し、および／または例示的な車両システム４０２の内部の状態（たとえば、乗客総数、内部温度、ノイズレベル）を検知するように構成されたセンサー（複数可）４１２を含み得る。例えば、センサー（複数可）４１２は、１つまたは複数のライダーセンサー、１つまたは複数のカメラ（たとえば、ＲＧＢカメラ、強度（グレースケール）カメラ、赤外線カメラ、深度カメラ、ステレオカメラ）、１つまたは複数の磁気センサー、１つまたは複数のレーダーセンサー、１つまたは複数のソナーセンサー、音を検知するための１つまたは複数のマイクロホン、１つまたは複数の（たとえば、加速度計およびジャイロスコープを含む）ＩＭＵセンサー、 １つまたは複数のＧＰＳセンサー、１つまたは複数のガイガーカウンターセンサー、１つまたは複数のホイールエンコーダー、１つまたは複数のドライブシステムセンサー、スピードセンサー、および／または例示的な車両システム４０２の動作に関係した他のセンサーを含み得る。
例示的な車両システム４０２は、認識エンジン４２６、ＢＶ ＭＬモデル４２８、およびプランナー４３０を含み得る。
認識エンジン４２６は、プロセッサー（複数可）４０４により実行されると、センサーデータをセンサー（複数可）４１２から入力として受信し、例えば、例示的な車両システム４０２を取り巻く環境中の物体に関する１つまたは複数の姿勢（たとえば、位置および向き）、物体に関連付けられた物体追跡（object track）（たとえば、時間周期（たとえば、５秒）にわたる物体に関する位置履歴、速度履歴、加速度履歴、および／もしくは進路履歴）、ならびに／または物体（たとえば、歩行者、車両、自転車運転者など）に関連付けられた物体の分類を表現するデータを出力するプロセッサー（複数可）４０４を構成する、メモリー４０６に格納された命令を含み得る。いくつかの例において、認識エンジン４２６は、１つまたは複数の物体に関する、より多くの物体の軌道を予測するように構成され得る。例えば、認識エンジン４２６は、例えば、オブジェクトに関連付けられた予測される位置、軌道、および／もしくは速度の確率的決定またはマルチモーダル分布に基づいて、複数の物体の軌道を予測するように構成され得る。
認識エンジン４２６は、プロセッサー（複数可）４０４により実行されると、センサーデータをセンサー（複数可）４１２から入力として受信し、認識エンジンが静止車両をセンサーデータから検出するインディケーションを出力するプロセッサー（複数可）４０４を構成する、メモリー４０６に格納される命令を含むことがあり得り、１つまたは複数の特徴値を出力することがあり得る。さらに、今までに述べた特徴値は、メモリー４０６に格納されることもあり得る。例えば、今述べたことは、静止車両と信号機との間の距離を、画像および／またはＬＩＤＡＲポイントクラウドから決定するようにプロセッサー（複数可）４０４を構成する命令を含み得る。認識エンジン４２６は、特徴値をＢＶ ＭＬモデル４２８に送信することがあり得る。
ＢＶ ＭＬモデル４２８は、プロセッサー（複数可）４０４により実行されると、車両システム４０２が存在する環境の要素に関連付けられた特徴値を受信し、静止車両がブロッキング車両である確率を決定するプロセッサー（複数可）４０４を構成する、メモリー４０６に格納された命令を含み得る。ＢＶ ＭＬモデル４２８は、特徴値がプッシュされ得る、決定し出力するノードを有する決定木（複数可）および／または深層学習アルゴリズム（複数可）を含み得る。
認識エンジン４２６は、静止車両がブロッキング車両である確率を、プランナー４３０が軌道を生成するのに使用し得る他の追加情報（たとえば、物体分類、物体追跡、車両姿勢）とともに、プランナー４３０に送信することがあり得る。いくつかの例において、追加としてまたは代替として、認識エンジン４２６および／またはプランナー４３０は、少なくとも部分的に、認識エンジン４２６により決定された確率に基づいて、ネットワークインターフェイス４１０を介してブロッキング車両インディケーションを、ネットワーク４２４を介してリモートコンピューティングデバイス４２２に、および／またはネットワーク４２０を介して別の車両４１８に送信することがあり得る。いくつかの例において、インディケーションは、車両４１８が、車両システム４０２の認識エンジン４２６により示されるような同一ロケーションにおいて静止車両に遭遇するならば、別の車両４１８によって特徴値として使用されることがあり得る。いくつかの例において、今述べたことは、グローバルマップがネットワークを介して車両の隊に対してアクセス可能である場合、ブロッキング車両インディケーションを含むために、グローバルマップを一時的に修正することを含むことがあり得る。
いくつかの例において、認識エンジンおよび／またはＢＶ ＭＬモデル４２８は、別の車両４１８および／またはリモートコンピューティングデバイス４２２に配置されることがあり得る。いくつかの例において、別の車両４１８および／またはリモートコンピューティングデバイス４２２に配置された認識エンジンは、認識エンジン４２６と決定を調整し得る。例えば、他の車両４１８および／またはリモートコンピューティングデバイス４２２は、１つまたは複数の特徴値および／または確率を決定することがあり得る。他の車両４１８および／またはリモートコンピューティングデバイス４２２が１つまたは複数の特徴値を決定する場合の例において、他の車両４１８および／またはリモートコンピューティングデバイス４２２は、それぞれ、ネットワーク４２０および／または４２４を介して、１つまたは複数の特徴値を車両システム４０２に送信し得る。認識エンジン４２６は、他の車両４１８および／またはリモートコンピューティングデバイス４２２から受信した１つまたは複数の特徴値を、認識エンジン４２６がＢＶ ＭＬモデル４２８を通じてプッシュする特徴値に含むことがあり得る。ＢＶ ＭＬモデル４２８が他の車両４１８および／またはリモートコンピューティングデバイス４２２に配置される場合の例において、他の車両４１８および／またはリモートコンピューティングデバイス４２２は、それぞれ、ネットワーク４２０および／または４２４を介して、１つまたは複数の特徴値を車両システム４０２から受信することがあり得り、静止車両がブロッキング車両である確率を決定することがあり得る。次に、他の車両４１８および／またはリモートコンピューティングデバイス４２２は、今述べた確率を、車両システム４０２のプランナー４３０に返送することがあり得る。
いくつかの例において、リモートコンピューティングデバイス４２２は、遠隔操作デバイスを含むことがあり得る。遠隔操作デバイスは、静止車両がブロッキング車両であるかどうかのインディケーションを有するセンサーデータおよび／または１つまたは複数の特徴値に応答するように構成されたデバイスであり得る。追加または代替の例において、遠隔操作デバイスは、静止車両がブロッキング車両である／ではないことのインディケーションを裏付けるまたは識別するリモートオペレーター（「テレオペレーター」）から入力を受信するのに役立ち得る、センサーデータおよび／または１つまたは複数の特徴値に関係した情報を表示することがあり得る。上記の例において、遠隔操作デバイスは、例えば、テレオペレーターから、静止車両がブロッキング車両であるというインディケーションがトゥルーポジティブまたはフォールスポジティブであるような、入力を受信するためのインターフェイスを含み得る。いくつかの例において、遠隔操作デバイスは、フォールスポジティブとして、インディケーションを裏付けるまたはインディケーションを識別する自律車両および／または追加の自律車両に応答することがあり得る。
いくつかの例において、テレオペレーターは、ＢＶ ＭＬモデル４２８による使用のために車両システム４０２に送信され得る特徴値をリモートコンピューティングデバイス４２２に入力する、および／またはリモートコンピューティングデバイス４２２に配置されたＢＶ ＭＬモデルに入力することがあり得る。
プランナー４３０は、プロセッサー（複数可）４０４により実行されると、例えば、環境中の例示的な車両システム４０２のロケーションを表現するデータおよび例えば、ローカルポーズデータ（local pose data）などの他のデータと、静止車両がブロッキング車両である確率とを使用して、例示的な車両システム４０２の軌道を表現するデータを生成するプロセッサー（複数可）４０４を構成する、メモリー４０６に格納された命令を含み得る。いくつかの例において、プランナー４３０は、実質的には連続的に（たとえば、後退ホライズン（receding horizon）の時間が想定されるが、１または２ミリ秒ごとに）、例示的な車両システム４０２を制御するための複数の可能性がある軌道を生成し、車両を制御するための軌道のうちの１つを選択することがあり得る。選択は、現在のルート、静止車両がブロッキング車両である確率、現在の車両の軌道、および／または検出された物体の軌道データに少なくとも部分的に基づくことがあり得る。軌道を選択するとすぐに、プランナー４３０は、軌道をドライブシステム4１６に送信して、選択された軌道に従って例示的な車両システム４０２を制御することがあり得る。
いくつかの例において、さらに、認識エンジン４２６、ＢＶ ＭＬモデル４２８、および／またはプランナー４３０は、例えば、認識エンジンを実行するのに適したプロセッサー（たとえば、グラフィックスプロセッサー、ＦＰＧＡ）のような特殊化されたハードウェアを含み得る。
例示的な処理
図５は、本明細書において述べられる技術に係るＢＶ ＭＬモデルをトレーニングするための例示的な処理５００のフロー図を例示する。
動作５０２において、例示的な処理５００は、本明細書にて述べられる技術のうちのどれかに従って、静止した遮断しない車両か静止したブロッキング車両かを示すラベルに関連付けられたセンサーデータを含むサンプルを受信することを含むことがあり得る。例えば、数千または数万のサンプルが受信され得り、各サンプルが、個別のシナリオ、およびセンサーデータに関連付けられたラベル（たとえば、遮断するまたは遮断しない）に対するセンサーデータを含む。
動作５０４において、例示的な処理５００は、本明細書にて述べられる技術のうちのどれかに従って、サンプルのセンサーデータに少なくとも部分的に基づいて、サンプルに対する特徴値を決定することを含むことがあり得る。いくつかの例において、特徴値をセンサーデータから決定することは、ＢＶ ＭＬモデルを訓練するための特徴を受信すること－この特徴は、認識エンジンが（たとえば、信号機の状態、物体のトラックおよび／または分類、交差地点への距離を）分類するまたはその他決定する－と、（たとえば、信号機が青である場合の動画を含むセンサーデータを含むサンプルに対して、認識エンジンが青信号に対応する特徴値、例えば、単語「青」または青信号を符号で表す数値などを生成し得る）サンプルデータから特徴に対する値を決定することとを含み得る。特徴値の決定は、動作５０２において受信したすべてのサンプルに対して、繰り返されることがあり得る。
動作５０６において、例示的な処理５００は、本明細書にて述べられる技術のうちのどれかに従って、静止車両が、サンプルに関連付けられた１つまたは複数の特徴値およびラベルに少なくとも部分的に基づいて、ブロッキング車両である確率を出力するように構成されたＢＶ ＭＬモデルを生成することを含むことがあり得る。例えば、生成されるＭＬモデルのタイプ（たとえば、決定木（複数可）、深層学習モデル）により、ＢＶ ＭＬモデルをトレーニングすることは、入力された特徴値をラベルにマップするノード、コネクションウェイト、ノードレイヤー、および／またはレイヤータイプを生成することを含むことがあり得る。結果として得られるＢＶ ＭＬモデルは、それによって実行時に、認識エンジンから特徴値のセットを受信し、静止車両がブロッキング車両であるかないかのインディケーションを出力することがあり得る。いくつかの例において、インディケーションは、プランナーが自律車両を制御するための軌道を生成するために使用し得る確率（たとえば、実数値）を含むことがあり得る。
例えば、静止車両がブロッキング車両であるという、より高い値の肯定的なインディケーション、例えば、１以上の確率などに対して、プランナーは、自律車両を別個の車線に合流させる軌道を生成することがあり得るだろう。静止車両がブロッキング車両であるという、より低い値の肯定的なインディケーション、例えば、１未満の確率などに対して、プランナーは、再評価する前にあと数秒間、ポジションのままである軌道を決定する、または遠隔操作のアシストの要求を、リモートコンピューティングデバイスに送信することがあり得るだろう。静止車両がブロッキング車両であるという、より高い値（１以上）か、より低い値（１未満）かの否定的なインディケーションのいずれかに対して、プランナーは、ポジションのままである軌道を決定することがあり得る。様々なアクションをとるための、プランナーにより使われる実際の値は、プランナーの構成に依存するであろうことが想定される。
図６は、ブロッキング車両を検出するための例示的な処理６００のフロー図を例示する。例えば、例示的な処理６００の動作は、自律車両の１つもしくは複数のプロセッサー、またはそれの、以下に説明されるような他のコンポーネントによって行われることがあり得る。
動作６０２において、例示的な処理６００は、本明細書にて述べられる技術のうちのどれかに従って、センサーデータ６０４を、少なくとも１つのセンサー４１２から受信することを含むことがあり得る。例えば、センサーデータ６０４は、認識エンジン４２６において受信されることがあり得る。
動作６０６において、例示的な処理６００は、本明細書にて述べられる技術のうちのどれかに従って、センサーデータ６０４に少なくとも部分的に基づいて、自律車両の環境中の静止車両を検出することを含むことがあり得る。例えば、今述べたことは、自律車両の環境における物体の存在を検出し、物体を車両として分類し、車両の速さを決定し、車両の速さが予め決められたしきい値の速さを満たさないと決定することを含むことがあり得る。追加または代替の例において、今述べたことは、車両が、以前に生成された自律車両の軌道を邪魔していると決定すること、および／または車両が、自律車両の環境中にあるさらに別の車両を邪魔すると決定することを含むことがあり得る。今までに述べた動作のうちの１つまたは複数は、センサーデータ６０４を静止車両ディテクター６０８に入力することを含み得り、認識エンジン４２６に関する１つまたは複数の機械学習アルゴリズム、またはそれの他のコンポーネントを含み得る。いくつかの例において、静止車両インディケーション６１０が、生成され得る（たとえば、レジスターまたはフラグの値を変更すること、コマンドを認識エンジン４２６の別のコンポーネントに送信すること）。
動作６１２において、例示的な処理６００は、本明細書にて述べられる技術のうちのどれかに従って、１つまたは複数の特徴値６１４を決定することを含むことがあり得る。例えば、１つまたは複数の特徴値６１４を決定することは、（１）静止車両、および自律車両以外の道路上にある１つまたは複数の他の車両を検出することと、（２）静止車両の速さ、および１つまたは複数の他の車両の速さとして示す特徴値を決定することとを含むことがあり得る。いくつかの例において、今述べた特徴値は、静止車両の速さが、１つまたは複数の他の車両、および／または静止車両の速さと１つまたは複数の他の車両の速さとを示す交通流データの分布と比較して、異常であるかどうかに関するインディケーションを含むことがあり得る。いくつかの例において、認識エンジン４２６の種々のコンポーネント（たとえば、自然言語処理、物体検出、物体分類、物体追跡を行う種々の機械学習アルゴリズム）の集まりは、図６において一般に特徴値ジェネレーター６１６と呼ばれ、センサーデータ６０４および／または静止車両インディケーション６１０に少なくとも部分的に基づいて、特徴値６１４を決定することがあり得る。
いくつかの例において、追加として、動作６１２は、本明細書にて述べられる技術のうちのどれかに従って、１つまたは複数の特徴値６１４を、ＭＬモデル（たとえば、ＢＶ ＭＬモデル４２８）への入力として提供することを含み得る。
動作６１８において、例示的な処理６００は、本明細書にて述べられる技術のうちのどれかに従って、ＭＬモデルから、静止車両がブロッキング車両であるか遮断しない車両であるかを示すインディケーション６２０（すなわち、図６におけるＢＶインディケーション６２０）を受信することを含むことがあり得る。例えば、インディケーション６１６は、ラベル（たとえば、「ブロッキング車両」、「遮断しない車両」）および／または確率を含み得る。いくつかの例において、本明細書にて述べられる技術のうちのどれかに従って、認識エンジン４２６は、インディケーション６２０および／またはＢＶ ＭＬモデル４２８を受信することがあり得る、または認識エンジン４２６は、インディケーション６２０をプランナー４３０に送信することがあり得る。いくつかの例において、プランナー４３０は、追加として、センサーデータ６０４、認識エンジン４２６からのデータ（たとえば、物体分類、物体追跡）などのうちの少なくとも１つを受信することがあり得る。
動作６２２において、例示的な処理６００は、本明細書にて述べられる技術のうちのどれかに従って、自律車両の動きを制御するために軌道６２４を生成することを含むことがあり得る。例えば、プランナー４３０は、インディケーション６１６に少なくとも部分的に基づいて、候補軌道を生成し、自律車両を制御するために候補軌道のうちの１つを選択することがあり得る。プランナー４３０は、自律車両のドライブシステム４１６に選択された軌道を送信することがあり得る。
図７は、ブロッキング車両を検出するための例示的な処理７００のフロー図を例示する。例えば、例示的な処理７００の動作は、自律車両の１つもしくは複数のプロセッサー、またはそれの、以下に説明されるような他のコンポーネントによって行われることがあり得る、ならびに／または動作は、例えば、別の自律車両および／もしくは遠隔操作デバイスなどのリモートコンピューティングシステムにより行われることがあり得る。
動作７０２において、例示的な処理７００は、本明細書にて述べられる技術のうちのどれかに従って、センサーデータを受信することを含むことがあり得る。
動作７０４において、例示的な処理７００は、本明細書にて述べられる技術のうちのどれかに従って、静止車両を識別すること（すなわち、フロー図の「はい」アーム）を含むことがあり得る。いくつかの例において、静止車両が識別されないならば、処理７００は、動作７０２に戻ることがあり得る。
動作７０６において、例示的な処理７００は、本明細書にて述べられる技術のうちのどれかに従って、センサーデータに少なくとも部分的に基づいて、１つまたは複数の特徴値を決定することを含むことがあり得る。本明細書において述べられる特徴値のどれでも含まれることがあり得る。例えば、１つまたは複数の特徴値のうちの１つの特徴値は、センサーデータから検出された１つまたは複数の車両の速さを示す交通流データを決定すること（７０６（ａ））を含むことがあり得る。今述べたことは、静止車両の速さおよび／または他の検出された車両の速さを含むことがあり得る。
動作７０８において、例示的な処理７００は、本明細書にて述べられる技術のうちのどれかに従って、１つまたは複数の特徴値を、機械学習モデルに提供することを含むことがあり得る。
動作７１０において、例示的な処理７００は、本明細書にて述べられる技術のうちのどれかに従って、機械学習モデルによって、静止車両がブロッキング車両である確率を出力することを含むことがあり得る。
動作７１２において、例示的な処理７００は、本明細書にて述べられる技術のうちのどれかに従って、確率に少なくとも部分的に基づいて、車両を制御することを含むことがあり得る。例えば、今述べたことは、ブロッキング車両を追い越すように車両を制御すること（７１２（ａ））、または遮断しない車両を待つように車両を制御すること（７１２（ｂ））を含むことがあり得る。
例示的な条項
Ａ．自律車両は、少なくとも１つのプロセッサーと、自律車両の物理的な動作を制御するドライブシステムと、少なくとも１つのセンサーからセンサーデータを受信すること、少なくとも部分的にセンサーデータに基づいて、自律車両の環境における静止車両を検出すること、少なくとも部分的にセンサーデータに基づいて、１つまたは複数の特徴値を決定することであって、少なくとも部分的にセンサーデータに基づいて、１つまたは複数の他の車両および静止車両に関連付けられた１つまたは複数の他の車両および速さを検出することを含む１つまたは複数の特徴値を決定、１つまたは複数の特徴値が、静止車両の速さおよび１つまたは複数の他の車両の速さを示す交通流データの分布を含む、こと、機械学習モデルへの入力として１つまたは複数の特徴値を提供すること、機械学習モデルから静止車両がブロッキング車両か遮断しない車両かであるというインディケーションを受信すること、プランナーにインディケーションを送信することを含む動作を行うように構成された認識エンジンと、を含み、プランナーは、インディケーションを受信すること、および自律車両の動きを制御するための軌道を生成することを含む動作を行うように構成される。
Ｂ．静止車両を検出することは、自律車両の環境における物体の存在を検出することと、物体を車両として分類することと、車両の速さを決定することと、車両の速さが予め決められたしきい値の速さを満たさないと決定することとを含む、第Ａ節の自律車両。
Ｃ．静止車両を検出することは、自律車両の予め決められたしきい値距離内の１つまたは複数の他の静止車両を検出することをさらに含む、第ＡまたはＢ節の自律車両。
Ｄ．１つまたは複数の特徴値は、少なくとも静止車両の速度および交通信号の状態をさらに含む、第Ａ～Ｃ節のいずれかの自律車両。
Ｅ．ブロッキング車両は、自律車両または他の車両のうちの少なくとも１つが進行をするのをふさぐ、認識エンジンによって検出される物体である、第Ａ～Ｄ節のいずれかの自律車両。
Ｆ．自律車両を制御するコンピューターに実装される方法は、車両の少なくとも１つのセンサーからセンサーデータを受信することと、センサーデータに基づいて、静止車両を識別することと、少なくとも部分的に、センサーデータ、センサーデータから検出された１つまたは複数の車両の速さを示す交通流データを含む１つまたは複数の特徴値のうちの１つに基づいて、１つまたは複数の特徴値を決定することと、機械学習モデルに１つまたは複数の特徴値を提供することと、機械学習モデルによって静止車両がブロッキング車両である確率を出力することと、少なくとも部分的に確率に基づいて、車両を制御することと、を含み、車両を制御することは、ブロッキング車両を追い越すように制御すること、または遮断しない車両を待つように車両を制御することを含む。
Ｇ．１つまたは複数の特徴値は、静止車両の速さ、車線の識別、信号機の状態、静止車両の前における静止車両から次の物体までの距離、静止車両から次の道路交差地点までの距離、交通流データ、静止車両に関して別の車両によりとられた動きを示す車両追跡（vehicle track）、塞がれた物体の存在を示すセンサーの残差、環境における静止車両または物体のうちの少なくとも１つの分類、静止車両に関連付けられたバウンディングボックス、静止車両のライトの状態、人が車両の近くにいるというインディケーション、静止車両のドアまたは開口部の状態、静止車両の大きさ、静止車両のヨーのうちの少なくとも１つを含む、第Ｆ節の自律車両。
Ｈ．機械学習モデルは、１つまたは複数の特徴値を受信し、決定木のノードを通して１つまたは複数の特徴値をプッシュして重み付けられた値に関連付けられた出力ノードに到達し、重み付けられた値を合計して確率を決定するように構成された複数の決定木を含む、第ＦまたはＧ節の自律車両。
Ｉ．方法は、少なくとも部分的に、センサーデータに基づいて、車両の環境における静止車両を検出することをさらに含む、第Ｆ～Ｈ節のいずれかのコンピューターに実装される方法。
Ｊ．静止車両を検出することは、車両の環境における物体の存在を検出することと、置かれた車両として物体を分類することと、置かれた車両の速さを決定することと、車両の速さが予め決められたしきい値の速さを満たさないと決定することとを含む、第Ｆ～Ｉ節のいずれかのコンピューターに実装される方法。
Ｋ．１つまたは複数の特徴値は、車両の環境、静止車両、環境における物体のうちの少なくとも１つに関する１つまたは複数の特性を示す、第Ｆ～Ｊ節のいずれかのコンピューターに実装される方法。
Ｌ．確率を出力することは、少なくとも部分的に静止車両を検出することに基づき、確率は、静止車両が車両をふさいでいる見込みを示す、第Ｆ～Ｋ節のいずれかのコンピューターに実装される方法。
Ｍ．１つまたは複数の特徴値は、静止車両の速さ、静止車両に関連付けられた信号表示のライトの状態、次の道路交差地点に対する距離、少なくとも１つの他の車両の速さ、静止車両の前における静止車両と次の物体との間の距離、信号機の状態のうちの少なくとも１つを含む、第Ｆ～Ｌ節のいずれかのコンピューターに実装される方法。
Ｎ．方法は、少なくとも部分的に交通流データに基づいて、静止車両の速さが、認識エンジンによって検出された２つ以上の他の車両の速さと比較して異常であると決定することと、１つまたは複数の特徴値のうちの１つとして、静止車両の速さが異常であるインディケーションを示すこととをさらに含む、第Ｆ～Ｍ節のいずれかのコンピューターに実装される方法。
Ｏ．実行されると、１つまたは複数のプロセッサーと、実行されると、１つまたは複数のプロセッサーに、少なくとも１つのセンサーからセンサーデータを受信することと、静止車両を検出することと、１つまたは複数の特徴値を受信すること、機械学習モデルに１つまたは複数の特徴値を送信することと、機械学習モデルから静止車両がブロッキング車両である確率を受信することと、自律車両のプランナーに確率を送信することであって、プランナーは、少なくとも部分的に確率に基づいて、自律車両の動きを制御するように構成される、ことと、を含む動作を行わせる命令のセットを格納したメモリーと、を含む動作を行うことを１つまたは複数のプロセッサーにさせる命令のセットを有する非一時的なコンピューター読み取り可能な媒体。
Ｐ．静止車両を検出することは、自律車両に近接した環境における物体の存在を検出することと、物体を車両として分類することと、車両の速さを決定することと、車両の速さが予め決められたしきい値の速さを満たさないと決定することとを含む、第Ｐ節の非一時的なコンピューター読み取り可能な媒体。
Ｑ．静止車両を検出することは、車両が、自律車両によって以前に決定された軌道を邪魔すると決定することをさらに含む、第ＯまたはＰ節の非一時的なコンピューター読み取り可能な媒体。
Ｒ．動作は、サンプルの特徴値とサンプルのインディケーションとの複数のペアを受信することであって、個々のサンプルのインディケーションは、ブロッキング車両または遮断しない車両を示し、ペアは、サンプルのセンサーデータから引き出される、ことと、サンプルの特徴値を受信するように構成されたノードの入力層を生成すること、１つまたは複数の隠れ層を生成することであって、ノードの入力層は、１つまたは複数の隠れ層のノードを活性化するように構成される、こと、および１つまたは複数の隠れ層のノードから刺激を受信し確率を出力するように構成された出力層を生成することによって、複数のペアから機械学習モデルをトレーニングすることと、をさらに含む、第Ｏ～Ｑ節のいずれかの非一時的なコンピューター読み取り可能な媒体。
Ｓ．１つまたは複数の特徴値は、静止車両の速さ、信号機の状態、静止車両から次の物体までの距離、静止車両から次の道路交差地点までの距離、車線の識別、静止物体のバウンディングボックス、交通流データ、静止車両に関して別の車両によりとられた動きを示す車両追跡、塞がれた物体の存在を示すセンサーの残差、環境における静止車両または物体のうちの少なくとも１つの分類、静止車両のライトの状態、人が車両の近くにいるというインディケーション、静止車両のドアまたは開口部の状態、静止車両の高さ、静止車両のヨーのうちの少なくとも１つを含む、第Ｏ～Ｒ節のいずれかの非一時的なコンピューター読み取り可能な媒体。
Ｔ．機械学習モデルは、１つまたは複数の決定木または深層学習モデルである、第Ｏ～Ｓ節のいずれかの非一時的なコンピューター読み取り可能な媒体。
主題が構造的な特徴および／または方法論的な行為に特有の言葉において説明されたが、添付の特許請求の範囲において定義される主題が、説明される特定の特徴または行為に必ずしも制限されないということは、理解されることである。むしろ、特定の特徴および行為は、特許請求の範囲を実装する例示的なかたちとして開示される。
本明細書において説明されるモジュールは、コンピューター読み取り可能な媒体のどんな種類にでも格納されることが可能であり、ソフトウェアおよび／またはハードウェアに実装されることが可能である命令を表す。上に説明される方法および処理のすべては、１つまたは複数のコンピューターもしくはプロセッサーか、ハードウェアか、組み合わせかにより実行されるソフトウェアコードモジュールおよび／またはコンピューター実行可能な命令に具現化され完全に自動化されることが可能である。代替として、いくつかまたはすべての方法は、特殊化されたコンピューターハードウェアに具現化されることが可能である。
特に他に述べられていない限り、条件付きの語、例えば、とりわけ、「可能である」、「可能であろう」、「あり得る」、または「あり得るであろう」などは、ある例が、他の例は含まないが、ある特徴、エレメントおよび／またはステップを含むことがある文脈内において理解される。したがって、一般に、上記の条件付きの語は、ある特徴、エレメントおよび／もしくはステップが、１つもしくは複数の例に何らかの点において必要とされることを、または必然的に１つまたは複数の例が、ユーザーの入力もしくはプロンプティングの有無に関わらず、ある特徴、エレメントおよび／またはステップが含まれるかどうか、もしくはどんな特定の例にでも行われるべきであるかどうかを決めるためのロジックを含むことを、暗示することが意図されない。
特に他に述べられていない限り、結合的な語、例えば、語句「Ｘ、Ｙ、またはＺのうちの少なくとも１つ」などは、項目、用語などが、各要素の複数の含む、Ｘ、Ｙ、もしくはＺの、またはどんな組み合わせでも、いずれかであることが可能であることを示すことが理解されるべきである。単数として明示的に説明されない限り、「ａ」は、単数および複数を意味する。
本明細書において説明されるフロー図における、および／または添付の図面に描かれるどんなルーチンの記述、エレメント、またはブロックでも、ルーチン中の特定の論理関数またはエレメントを実装するために、１つまたは複数のコンピューター実行可能な命令を含むモジュール、セグメント、またはコードの部分を潜在的に表すとして理解されるべきである。代替えの実装は、エレメントまたはファンクションが、当業者に理解されるように含まれる機能に応じて、実質的に同時に、逆の順に、追加の操作とともに、または操作を省略することを含む、示されたまたは述べられたことから削除される、または順不同で実行されることが可能である、本明細書において説明される例の範囲内に含まれる。
多くの変形および修正が、上述した例に対してなされることが可能であり、その要素が、他の許容可能な例の中にあるとして理解されるべきであることを強調すべきである。すべての上記の修正および変形は、本明細書において本開示の範囲内に含まれることが意図され、以下の特許請求の範囲によって保護される。

Claims (15)

  1. １つまたは複数のプロセッサーと、
    前記１つまたは複数のプロセッサーにより実行されると、前記１つまたは複数のプロセッサーに、
    車両の１つまたは複数のセンサーからセンサーデータを受信することと、
    少なくとも部分的に前記センサーデータに基づいて、静止車両を検出することと、
    少なくとも部分的に前記センサーデータに基づいて、１つまたは複数の特徴を決定することであって、前記１つまたは複数の特徴のうちの１つは、交通流データを示す、ことと、
    機械学習モデルに前記１つまたは複数の特徴を提供することと、
    前記機械学習モデルによって、前記静止車両がブロッキング車両である確率を出力することと、
    少なくとも部分的に前記確率に基づいて、前記車両を制御することと
    を含む動作を行わせるプロセッサー実行可能な命令を格納するメモリーと
    を備え、
    前記車両を制御することは、
    前記静止車両がブロッキング車両である場合に前記ブロッキング車両を追い越すように前記車両を制御すること、および
    前記静止車両がブロッキング車両ではない場合に同一車線において前にゆっくり進むように前記車両を制御すること
    を含むことを特徴とするシステム。
  2. 前記静止車両を識別することは、
    前記車両の環境における物体の存在を検出することと、
    車両として前記物体を分類することと、
    前記物体の速さを決定することと、
    前記物体の前記速さが予め決められたしきい値の速さを満たさないことを決定することと
    を含むことを特徴とする請求項１に記載のシステム。
  3. 前記１つまたは複数の特徴は、
    前記静止車両の速さ、
    車線の識別、
    信号機の状態、
    前記静止車両から前記静止車両の前にある次の物体までの距離、
    前記静止車両から次の道路交差地点までの距離、
    交通流データ、
    前記静止車両に関して別の車両によってとられた動きを示す車両追跡、
    塞がれた物体の存在を示すセンサーの残差、
    環境における前記静止車両もしくは物体のうちの少なくとも１つの分類、
    前記静止車両に関連付けられたバウンディングボックス、
    前記静止車両のライトの状態、
    人が前記車両の近くにいることのインディケーション、
    前記静止車両のドアもしくは開口部の状態、
    前記静止車両の大きさ、または
    前記静止車両のヨー
    のうちの少なくとも１つを示すことを特徴とする請求項１に記載のシステム。
  4. 前記静止車両を識別することは、自律車両の予め決められたしきい値距離内の１つまたは複数の他の静止車両を検出することをさらに含むことを特徴とする請求項１に記載のシステム。
  5. 前記機械学習モデルは、複数の決定木を含み、前記複数の決定木は、
    前記１つまたは複数の特徴を受信し、
    前記決定木のノードを介して前記１つまたは複数の特徴をプッシュして、重み付けられた値に関連付けられた出力ノードに到達し、
    前記重み付けられた値を合計して、前記確率を決定する
    ように構成されたことを特徴とする請求項１に記載のシステム。
  6. 前記１つまたは複数の特徴は、前記車両の環境、前記静止車両、または前記環境における物体のうちの少なくとも１つの１つまたは複数の特性を示すことを特徴とする請求項１に記載のシステム。
  7. 前記確率を出力することは、少なくとも部分的に前記静止車両を検出することに基づき、
    前記確率は、前記静止車両が前記車両をふさいでいる見込みを示す
    ことを特徴とする請求項１に記載のシステム。
  8. 前記動作は、
    前記静止車両の速さが、認識エンジンによって検出された２つ以上の他の車両の速さと比較して異常であることを、少なくとも部分的に前記交通流データの分布に基づいて決定することと、
    前記１つまたは複数の特徴のうちの１つとして、前記静止車両の前記速さが異常であるというインディケーションを示すことと
    をさらに含むことを特徴とする請求項１に記載のシステム。
  9. 少なくとも１つのセンサーからセンサーデータをプロセッサーが受信することと、
    静止車両を前記プロセッサーが検出することと、
    １つまたは複数の特徴を前記プロセッサーが受信することと、
    機械学習モデルに、前記１つまたは複数の特徴を前記プロセッサーが送信することと、
    前記機械学習モデルから、前記静止車両がブロッキング車両である確率を前記プロセッサーが受信することと、
    自律車両のプランナーに前記確率を前記プロセッサーが送信することであって、前記プランナーは、少なくとも部分的に前記確率に基づいて、前記静止車両がブロッキング車両である場合に前記ブロッキング車両を追い越すように、前記静止車両がブロッキング車両ではない場合に同一車線において前にゆっくり進ませるように、前記自律車両の動きを制御するように構成されている、ことと
    を備えることを特徴とする方法。
  10. 前記静止車両を前記プロセッサーが検出することは、
    前記自律車両に近接した環境における物体の存在を検出することと、
    車両として前記物体を分類することと、
    前記物体の速さを決定することと、
    前記物体の前記速さが予め決められたしきい値の速さを満たさないことを決定することと
    を含むことを特徴とする請求項９に記載の方法。
  11. サンプルの特徴とサンプルのインディケーションとの複数のペアを前記プロセッサーが受信することであって、個々のサンプルのインディケーションは、ブロッキング車両か遮断しない車両かを示し、前記ペアは、サンプルのセンサーデータから引き出される、ことと、
    ノードの入力層に前記サンプルの特徴を入力すること、
    出力層から、出力の確率を受信すること、
    前記出力の確率と前記サンプルのインディケーションとの間の差を決定すること、および
    前記差を最小化するように、前記機械学習モデルの１つまたは複数のパラメーターを変えること
    によって、前記複数のペアから前記機械学習モデルを前記プロセッサーがトレーニングすることと
    をさらに備えることを特徴とする請求項１０に記載の方法。
  12. 前記１つまたは複数の特徴は、
    前記静止車両の速さ、
    信号機の状態、
    前記静止車両から前記静止車両の前にある次の物体までの距離、
    前記静止車両から次の道路交差地点までの距離、
    車線の識別、
    前記静止車両に関連付けられたバウンディングボックス、
    交通流データ、
    前記静止車両に関して別の車両によってとられた動きを示す車両追跡、
    塞がれた物体の存在を示すセンサーの残差、
    環境における前記静止車両もしくは物体のうちの少なくとも１つの分類、
    前記静止車両のライトの状態、
    人が前記車両の近くにいることのインディケーション、
    前記静止車両のドアもしくは開口部の状態、
    前記静止車両の高さ、または
    前記静止車両のヨー
    のうちの少なくとも１つを示すことを特徴とする請求項９に記載の方法。
  13. 前記静止車両の速さが、２つ以上の他の検出された車両の速さと比較して異常であることを、少なくとも部分的に交通流データの分布に基づいて前記プロセッサーが決定することと、
    前記１つまたは複数の特徴のうちの１つとして、前記静止車両の前記速さが異常であるというインディケーションを前記プロセッサーが示すことと
    をさらに備えることを特徴とする請求項９に記載の方法。
  14. 前記１つまたは複数の特徴は、前記自律車両の環境、前記静止車両、または前記環境における物体のうちの少なくとも１つの１つまたは複数の特性を示すことを特徴とする請求項９に記載の方法。
  15. １つまたは複数のプロセッサーにより実行されると、前記プロセッサーに、請求項９ないし１４のいずれか一項に記載の方法を遂行させるコンピューター実行可能な命令を格納したことを特徴とする非一時的なコンピューター読み取り可能な媒体。
JP2020543277A 2018-02-14 2019-02-01 ブロッキング静止車両の検出 Active JP7333782B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/897,028 2018-02-14
US15/897,028 US10955851B2 (en) 2018-02-14 2018-02-14 Detecting blocking objects
PCT/US2019/016407 WO2019160700A1 (en) 2018-02-14 2019-02-01 Detecting blocking stationary vehicles

Publications (2)

Publication Number Publication Date
JP2021513484A JP2021513484A (ja) 2021-05-27
JP7333782B2 true JP7333782B2 (ja) 2023-08-25

Family

ID=65494538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020543277A Active JP7333782B2 (ja) 2018-02-14 2019-02-01 ブロッキング静止車両の検出

Country Status (5)

Country Link
US (3) US10955851B2 (ja)
EP (1) EP3752953A1 (ja)
JP (1) JP7333782B2 (ja)
CN (2) CN117315628A (ja)
WO (1) WO2019160700A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US10955851B2 (en) * 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
US10628686B2 (en) 2018-03-12 2020-04-21 Waymo Llc Neural networks for object detection and characterization
CN110298663B (zh) * 2018-03-22 2023-04-28 中国银联股份有限公司 基于序列宽深学习的欺诈交易检测方法
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US11126873B2 (en) 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11214265B2 (en) 2018-08-22 2022-01-04 Phantom Auto Inc. Vehicle teleoperator ranking and selection
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11543824B2 (en) * 2018-10-09 2023-01-03 Waymo Llc Queueing into pickup and drop-off locations
CN115512173A (zh) 2018-10-11 2022-12-23 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11295615B2 (en) 2018-10-29 2022-04-05 Here Global B.V. Slowdown events
US11349903B2 (en) * 2018-10-30 2022-05-31 Toyota Motor North America, Inc. Vehicle data offloading systems and methods
US10823855B2 (en) * 2018-11-19 2020-11-03 Fca Us Llc Traffic recognition and adaptive ground removal based on LIDAR point cloud statistics
WO2020113187A1 (en) * 2018-11-30 2020-06-04 Sanjay Rao Motion and object predictability system for autonomous vehicles
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11225222B2 (en) * 2018-12-20 2022-01-18 Continental Automotive Systems, Inc. Vehicle access and power management systems and methods via machine learning
US11514310B2 (en) * 2018-12-21 2022-11-29 Waymo Llc Training a classifier to detect open vehicle doors
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10990105B2 (en) 2018-12-28 2021-04-27 Beijing Voyager Technology Co., Ltd. Vehicle-based virtual stop and yield line detection
US10991244B2 (en) * 2018-12-28 2021-04-27 Beijing Voyager Technology Co., Ltd. On-board vehicle stop cause determination system
US11435751B2 (en) 2018-12-28 2022-09-06 Beijing Voyager Technology Co., Ltd. Vehicle-based road obstacle identification system
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11526816B2 (en) * 2019-02-27 2022-12-13 Uber Technologies, Inc. Context-based remote autonomous vehicle assistance
US11400924B2 (en) * 2019-03-31 2022-08-02 Gm Cruise Holdings Llc Autonomous vehicle maneuvering based upon risk associated with occluded regions
US11100794B2 (en) * 2019-04-15 2021-08-24 Here Global B.V. Autonomous driving and slowdown patterns
US11741719B2 (en) * 2019-08-27 2023-08-29 GM Global Technology Operations LLC Approach to maneuver planning for navigating around parked vehicles for autonomous driving
US11354913B1 (en) * 2019-11-27 2022-06-07 Woven Planet North America, Inc. Systems and methods for improving vehicle predictions using point representations of scene
US11605290B2 (en) * 2020-01-28 2023-03-14 GM Cruise Holdings LLC. Updating maps based on traffic object detection
US20220063661A1 (en) * 2020-08-25 2022-03-03 Gm Cruise Holdings Llc Blockage routing and maneuver arbitration
JP6970479B1 (ja) * 2020-09-07 2021-11-24 株式会社エアロネクスト 飛行体
CN112650243B (zh) * 2020-12-22 2023-10-10 北京百度网讯科技有限公司 车辆控制方法、装置、电子设备和自动驾驶车辆
CN112735163B (zh) * 2020-12-25 2022-08-02 阿波罗智联(北京)科技有限公司 确定目标物体静止状态的方法、路侧设备、云控平台
CN112345272A (zh) * 2021-01-11 2021-02-09 北京赛目科技有限公司 一种场景库的自动驾驶仿真测试方法及装置
US11697429B2 (en) * 2021-02-10 2023-07-11 Argo AI, LLC System, method, and computer program product for topological planning in autonomous driving using bounds representations
US11884269B2 (en) * 2021-02-19 2024-01-30 Argo AI, LLC Systems and methods for determining future intentions of objects
US11912274B2 (en) * 2021-05-04 2024-02-27 Ford Global Technologies, Llc Adaptive cruise control with non-visual confirmation of obstacles
KR20230045391A (ko) * 2021-09-28 2023-04-04 현대자동차주식회사 교통 흐름 방해 타겟 검출 장치 및 그 방법
CN115230722A (zh) * 2022-09-23 2022-10-25 北京小马易行科技有限公司 车辆控制方法、装置、计算机可读存储介质与处理器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146889A (ja) 2004-11-16 2006-06-08 Microsoft Corp 確率的相互依存およびコンテキストデータのモデリングおよび解析を用いた交通予測
JP2008225579A (ja) 2007-03-08 2008-09-25 Internatl Business Mach Corp <Ibm> 事象の発生を決定付けるキーワードを検索する技術
JP2015516623A (ja) 2012-03-15 2015-06-11 グーグル・インク 他の車両の予測挙動に基づく自律型車両の挙動の変更
JP2016191975A (ja) 2015-03-30 2016-11-10 株式会社メガチップス 機械学習装置

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5177685A (en) 1990-08-09 1993-01-05 Massachusetts Institute Of Technology Automobile navigation system using real time spoken driving instructions
US6707421B1 (en) 1997-08-19 2004-03-16 Siemens Vdo Automotive Corporation Driver information system
US6272072B1 (en) 1998-08-14 2001-08-07 Wulich Wave Ltd. Underwater communication method, device, and system utilizing a doppler frequency shift
US6873911B2 (en) 2002-02-01 2005-03-29 Nissan Motor Co., Ltd. Method and system for vehicle operator assistance improvement
CA2474443A1 (en) 2002-02-05 2003-08-14 Handshake Interactive Technologies Inc. Method and system for thin client based intelligent transportation
US20050049785A1 (en) 2003-09-02 2005-03-03 Vergin William E. Off-board navigation system
US20080065328A1 (en) 2006-09-08 2008-03-13 Andreas Eidehall Method and system for collision avoidance
JP4525670B2 (ja) 2006-11-20 2010-08-18 トヨタ自動車株式会社 走行制御計画生成システム
US8121749B1 (en) 2008-09-25 2012-02-21 Honeywell International Inc. System for integrating dynamically observed and static information for route planning in a graph based planner
US9058746B2 (en) 2008-10-02 2015-06-16 Hitachi Automotive Systems, Ltd. Information processing device associated with vehicle traveling
KR101291067B1 (ko) 2009-11-26 2013-08-07 한국전자통신연구원 차량 제어 장치 및 그 자율 주행 방법, 지역 서버 장치 및 그 자율 주행 서비스 방법, 전역 서버 장치 및 그 자율 주행 서비스 방법
US8473447B2 (en) 2010-03-29 2013-06-25 Palo Alto Research Center Incorporated AI planning based quasi-montecarlo simulation method for probabilistic planning
US8296030B2 (en) * 2010-07-07 2012-10-23 Robert Bosch Gmbh System and method for controlling the engine of a vehicle
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US8645310B2 (en) 2011-03-22 2014-02-04 GM Global Technology Operations LLC Efficient source of infeasibility identification in timed automata traces
US9381916B1 (en) 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
US8620517B2 (en) 2012-02-21 2013-12-31 Toyota Mototr Engineering & Manufacturing North America, Inc. Vehicular platooning using distributed receding horizon control
US8880272B1 (en) 2012-03-16 2014-11-04 Google Inc. Approach for estimating the geometry of roads and lanes by using vehicle trajectories
US9495874B1 (en) 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
CN203032675U (zh) 2013-01-21 2013-07-03 霍州煤电集团吕梁山煤电有限公司方山木瓜煤矿 矿用猴车检测控制系统
US8849494B1 (en) * 2013-03-15 2014-09-30 Google Inc. Data selection by an autonomous vehicle for trajectory modification
US9008890B1 (en) * 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
US8996224B1 (en) * 2013-03-15 2015-03-31 Google Inc. Detecting that an autonomous vehicle is in a stuck condition
US9305223B1 (en) 2013-06-26 2016-04-05 Google Inc. Vision-based indicator signal detection using spatiotemporal filtering
US20150147936A1 (en) 2013-11-22 2015-05-28 Cepia Llc Autonomous Toy Capable of Tracking and Interacting With a Source
US9558659B1 (en) 2014-08-29 2017-01-31 Google Inc. Determining the stationary state of detected vehicles
DE102014221682A1 (de) 2014-10-24 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US9869484B2 (en) 2015-01-14 2018-01-16 Google Inc. Predictively controlling an environmental control system
CA2976344A1 (en) 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6350383B2 (ja) 2015-05-01 2018-07-04 トヨタ自動車株式会社 車両走行制御装置
US9368026B1 (en) 2015-05-26 2016-06-14 Google Inc. Fallback requests for autonomous vehicles
DE102015213078A1 (de) 2015-07-13 2017-01-19 Conti Temic Microelectronic Gmbh Bremslichterkennung bei vorausfahrenden Fahrzeugen zur Anpassung einer Auslösung aktiver Sicherheitsmechanismen
US9934688B2 (en) 2015-07-31 2018-04-03 Ford Global Technologies, Llc Vehicle trajectory determination
JP6547575B2 (ja) 2015-10-15 2019-07-24 富士通株式会社 経路探索装置及び経路探索方法
US10229363B2 (en) * 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
US9630619B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
US9983591B2 (en) 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
CN108604292B (zh) 2015-11-26 2023-10-13 御眼视觉技术有限公司 对切入车道的车辆的自动预测和利他响应
US10800455B2 (en) 2015-12-17 2020-10-13 Ford Global Technologies, Llc Vehicle turn signal detection
US10322717B2 (en) * 2016-01-04 2019-06-18 GM Global Technology Operations LLC Expert mode for vehicles
US10379533B2 (en) * 2016-01-04 2019-08-13 GM Global Technology Operations LLC System and method for autonomous vehicle fleet routing
CN108496178B (zh) 2016-01-05 2023-08-08 御眼视觉技术有限公司 用于估计未来路径的系统和方法
US20170213459A1 (en) 2016-01-22 2017-07-27 Flex Ltd. System and method of identifying a vehicle and determining the location and the velocity of the vehicle by sound
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
CN107180220B (zh) 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
US9645577B1 (en) 2016-03-23 2017-05-09 nuTonomy Inc. Facilitating vehicle driving and self-driving
SG11201808494TA (en) 2016-03-31 2018-10-30 Agency Science Tech & Res Signal light detection
JP2018018389A (ja) 2016-07-29 2018-02-01 パナソニックＩｐマネジメント株式会社 自動運転車輌の制御装置、及び制御プログラム
CN106382942B (zh) 2016-08-16 2019-10-29 曹蕊 一种车载导航系统及导航方法
US10380439B2 (en) 2016-09-06 2019-08-13 Magna Electronics Inc. Vehicle sensing system for detecting turn signal indicators
WO2018057978A1 (en) 2016-09-23 2018-03-29 Apple Inc. Decision making for autonomous vehicle motion control
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10248874B2 (en) 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
JP6536554B2 (ja) 2016-12-13 2019-07-03 トヨタ自動車株式会社 ウィンカ判定装置及び自動運転システム
WO2018132608A2 (en) 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones
JP2018135069A (ja) 2017-02-23 2018-08-30 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法及びプログラム
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
US10061322B1 (en) 2017-04-06 2018-08-28 GM Global Technology Operations LLC Systems and methods for determining the lighting state of a vehicle
DE102017211331A1 (de) 2017-07-04 2019-01-10 Robert Bosch Gmbh Bildauswertung mit zielgerichteter Vorverarbeitung
US10579063B2 (en) * 2017-07-21 2020-03-03 Uatc, Llc Machine learning for predicting locations of objects perceived by autonomous vehicles
US10395457B2 (en) 2017-08-10 2019-08-27 GM Global Technology Operations LLC User recognition system and methods for autonomous vehicles
US20190061765A1 (en) * 2017-08-23 2019-02-28 Uber Technologies, Inc. Systems and Methods for Performing Lane Changes Around Obstacles
US10163017B2 (en) 2017-09-01 2018-12-25 GM Global Technology Operations LLC Systems and methods for vehicle signal light detection
US10514697B2 (en) * 2017-09-15 2019-12-24 GM Global Technology Operations LLC Vehicle remote assistance mode
US10387736B2 (en) 2017-09-20 2019-08-20 TuSimple System and method for detecting taillight signals of a vehicle
US10691962B2 (en) 2017-09-22 2020-06-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
US10331135B2 (en) * 2017-11-22 2019-06-25 GM Global Technology Operations LLC Systems and methods for maneuvering around obstacles in autonomous vehicles
US10688991B2 (en) * 2018-01-24 2020-06-23 GM Global Technology Operations LLC Systems and methods for unprotected maneuver mitigation in autonomous vehicles
US10796198B2 (en) 2018-02-08 2020-10-06 Western Digital Technologies, Inc. Adjusting enhancement coefficients for neural network engine
US10955851B2 (en) * 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US20180224860A1 (en) * 2018-04-02 2018-08-09 GM Global Technology Operations LLC Autonomous vehicle movement around stationary vehicles
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US11126873B2 (en) 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11001256B2 (en) * 2018-09-19 2021-05-11 Zoox, Inc. Collision prediction and avoidance for vehicles
US11169531B2 (en) * 2018-10-04 2021-11-09 Zoox, Inc. Trajectory prediction on top-down scenes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146889A (ja) 2004-11-16 2006-06-08 Microsoft Corp 確率的相互依存およびコンテキストデータのモデリングおよび解析を用いた交通予測
JP2008225579A (ja) 2007-03-08 2008-09-25 Internatl Business Mach Corp <Ibm> 事象の発生を決定付けるキーワードを検索する技術
JP2015516623A (ja) 2012-03-15 2015-06-11 グーグル・インク 他の車両の予測挙動に基づく自律型車両の挙動の変更
JP2016191975A (ja) 2015-03-30 2016-11-10 株式会社メガチップス 機械学習装置

Also Published As

Publication number Publication date
WO2019160700A1 (en) 2019-08-22
US11763668B2 (en) 2023-09-19
CN111712829A (zh) 2020-09-25
US20190250626A1 (en) 2019-08-15
CN117315628A (zh) 2023-12-29
EP3752953A1 (en) 2020-12-23
US20230368660A1 (en) 2023-11-16
CN111712829B (zh) 2023-12-05
US20210208598A1 (en) 2021-07-08
JP2021513484A (ja) 2021-05-27
US10955851B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
JP7333782B2 (ja) ブロッキング静止車両の検出
US10625748B1 (en) Approaches for encoding environmental information
US10942030B2 (en) Road segment similarity determination
US11868136B2 (en) Geolocalized models for perception, prediction, or planning
US20210197720A1 (en) Systems and methods for incident detection using inference models
US11858503B2 (en) Road segment similarity determination
US20200410751A1 (en) Dynamic object detection model based on static map collection data
US20220048535A1 (en) Generating Goal States for Prioritizing Path Planning
US11354913B1 (en) Systems and methods for improving vehicle predictions using point representations of scene
US11170238B2 (en) Approaches for determining traffic light state
US20210166145A1 (en) Leveraging Traffic Patterns to Understand Traffic Rules
US11157007B2 (en) Approaches for encoding environmental information
US11269341B2 (en) Systems and methods for automated trajectory prediction
US20210124355A1 (en) Approaches for encoding environmental information
US11816900B2 (en) Approaches for encoding environmental information
US20230110659A1 (en) Approaches for encoding environmental information
WO2023114223A1 (en) Autonomous vehicle operations related to detection of an unsafe passenger pickup/delivery condition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230815

R150 Certificate of patent or registration of utility model

Ref document number: 7333782

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150