JP2023504604A - 車両を選択的に減速させるシステムおよび方法 - Google Patents

車両を選択的に減速させるシステムおよび方法 Download PDF

Info

Publication number
JP2023504604A
JP2023504604A JP2022529914A JP2022529914A JP2023504604A JP 2023504604 A JP2023504604 A JP 2023504604A JP 2022529914 A JP2022529914 A JP 2022529914A JP 2022529914 A JP2022529914 A JP 2022529914A JP 2023504604 A JP2023504604 A JP 2023504604A
Authority
JP
Japan
Prior art keywords
vehicle
host
road
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022529914A
Other languages
English (en)
Other versions
JPWO2021116752A5 (ja
Inventor
カリオ、ジャック
ネイボン、マイケル
アロニ、デイビッド
Original Assignee
モービルアイ ビジョン テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by モービルアイ ビジョン テクノロジーズ リミテッド filed Critical モービルアイ ビジョン テクノロジーズ リミテッド
Publication of JP2023504604A publication Critical patent/JP2023504604A/ja
Publication of JPWO2021116752A5 publication Critical patent/JPWO2021116752A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/18—Braking system
    • B60W2510/182—Brake pressure, e.g. of fluid or between pad and disc
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration

Abstract

車両ナビゲーション用にシステムおよび方法が提供される。一実装例において、ホスト車両用のシステムは、ホスト車両の少なくとも１つのセンサの出力に基づいて、対象車両の１つまたは複数の対象動力を特定し、ホスト車両の１つまたは複数のホスト動力および１つまたは複数の対象動力に基づいて、衝突までの時間を特定し、衝突までの時間およびホスト動力に基づいて、ホスト車両が衝突を避けるためのホスト減速度を特定し、衝突までの時間および対象動力に基づいて、対象車両が衝突を避けるための対象減速度を特定し、ホスト減速度および対象減速度に基づいて、ホスト減速度閾値を特定し、ホスト車両の速度およびホスト減速度閾値に基づいて、ホスト車両にブレーキをかけると決定する、ようにプログラムされた少なくとも１つのプロセッサを備える。

Description

［関連出願の相互参照］
本願は、２０１９年１２月９日出願の米国仮特許出願第６２／９４５，５０３号の優先権の利益を主張する。前述の出願は、その全体が参照により本明細書に組み込まれる。
本開示は概して、自動運転車ナビゲーションに関する。
［背景情報］
技術が発展を続けるにつれて、車道をナビゲートできる完全自動運転車の目標が近づいている。自動運転車は様々な要因を考慮し、こうした要因に基づいて適切な判定を行い、意図した目的地に安全且つ正確に到達することが必要になり得る。例えば、自動運転車は、視覚情報（例えば、カメラから取り込まれた情報）を処理して解釈することが必要になる場合があり、他の情報源（例えば、ＧＰＳデバイス、速度センサ、加速度計、サスペンションセンサなどで）から取得した情報も用いることがある。それと同時に、目的地にナビゲートするために、自動運転車は、特定の車道（例えば、複数車線道路での特定の車線）における自車の位置を識別し、他の車両と並んでナビゲートし、障害物や歩行者を避け、交通信号や標識を順守し、適切な交差点またはインターチェンジで、ある道路から別の道路へと走行することも必要になり得る。自動運転車が目的地まで走行するときに当該車両が収集する膨大な情報の利用および解釈は、多くの設計上の課題をもたらす。自動運転車が分析する、アクセスする、および／または格納するのに必要となり得る莫大な量のデータ（例えば、取り込まれた画像データ、マップデータ、ＧＰＳデータ、センサデータなど）は、実際に自動ナビゲーションを制限する可能性のある、または悪影響さえ与える可能性のある課題をもたらす。さらに、自動運転車が従来のマッピング技術を利用してナビゲートする場合、マップの格納および更新を行うのに必要な莫大な量のデータは、非常に困難な課題をもたらす。
本開示と矛盾しない実施形態が、自動運転車ナビゲーション用のシステムおよび方法を提供する。開示する実施形態は、自動運転車ナビゲーション機能を提供するのにカメラを用いることがある。例えば、開示する実施形態と矛盾せずに、開示するシステムは、車両の環境を監視するカメラを１つ、２つ、またはもっと多く含んでよい。開示するシステムは、例えば、これらのカメラのうちの１つまたは複数により取り込まれた画像の分析に基づいて、ナビゲーション応答を提供してよい。
本開示の一実施形態は、ホスト車両用のシステムを対象とする。システムは、ホスト車両の少なくとも１つのセンサの出力に基づいて、ホスト車両の環境における対象車両の１つまたは複数の対象動力を特定し、ホスト車両の１つまたは複数のホスト動力および１つまたは複数の対象動力に基づいて、ホスト車両および対象車両の衝突までの時間を特定し、衝突までの時間および１つまたは複数のホスト動力に基づいて、ホスト車両が衝突を避けるためのホスト減速度を特定し、衝突までの時間および１つまたは複数の対象動力に基づいて、対象車両が衝突を避けるための対象減速度を特定し、ホスト減速度および対象減速度に基づいて、ホスト減速度閾値を特定し、ホスト車両の速度およびホスト減速度閾値に基づいて、ホスト車両にブレーキをかけると決定する、ようにプログラムされた少なくとも１つのプロセッサを備えてもよい。
本開示の別の実施形態は、コンピュータ実装方法を対象とする。方法は、ホスト車両の少なくとも１つのセンサの出力に基づいて、ホスト車両の環境における対象車両の１つまたは複数の対象動力を特定することと、ホスト車両の１つまたは複数のホスト動力および１つまたは複数の対象動力に基づいて、ホスト車両および対象車両の衝突までの時間を特定することと、衝突までの時間および１つまたは複数のホスト動力に基づいて、ホスト車両が衝突を避けるためのホスト減速度を特定することと、衝突までの時間および１つまたは複数の対象動力に基づいて、対象車両が衝突を避けるための対象減速度を特定することと、ホスト減速度および対象減速度に基づいて、ホスト減速度閾値を特定することと、ホスト車両の速度およびホスト減速度閾値に基づいて、ホスト車両にブレーキをかけると決定することと、を備えてもよい。
他の開示する実施形態と矛盾せずに、非一時的コンピュータ可読記憶媒体がプログラム命令を格納してよく、プログラム命令は、少なくとも１つの処理デバイスにより実行されて、本明細書で説明する方法のうちのいずれかを行ってよい。
前述の概要および以下の詳細な説明は、例示的であり説明のためのものでしかなく、特許請求の範囲を限定することはない。
本開示に組み込まれ、本開示の一部を構成する添付図面が、開示する様々な実施形態を示している。その図面は以下の通りである。
開示する実施形態と矛盾しない例示的なシステムの概略図である。
開示する実施形態と矛盾しないシステムを含む例示的な車両の概略側面図である。
開示する実施形態と矛盾しない図２Ａに示す車両およびシステムの概略上面図である。
開示する実施形態と矛盾しないシステムを含む車両の別の実施形態の概略上面図である。
開示する実施形態と矛盾しないシステムを含む車両のさらに別の実施形態の概略上面図である。
開示する実施形態と矛盾しないシステムを含む車両のさらに別の実施形態の概略上面図である。
開示する実施形態と矛盾しない例示的な車両制御システムの概略図である。
開示する実施形態と矛盾しない、車両撮像システム用のバックミラーおよびユーザインタフェースを含む車両の内側の概略図である。
開示する実施形態と矛盾しない、バックミラーの背後に車両のフロントガラスに接触して配置されるように構成された、カメラマウントの一例を示す図である。
開示する実施形態と矛盾しない図３Ｂに示すカメラマウントを別の角度から見た図である。
開示する実施形態と矛盾しない、バックミラーの背後に車両のフロントガラスに接触して配置されるように構成された、カメラマウントの一例を示す図である。
開示する実施形態と矛盾しない、１つまたは複数の動作を行うための命令を格納するように構成された、メモリの例示的なブロック図である。
開示する実施形態と矛盾しない、単眼画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、画像のセットに含まれる１つもしくは複数の車両および／または１人もしくは複数の歩行者を検出するための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、画像のセットに含まれる道路標示および／または車線の幾何構造情報を検出するための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、画像のセットに含まれる信号機を検出するための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、車両経路に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、先行車両が車線を変更中であるかどうかを判定するための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、ステレオ画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、３つのセットの画像の分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、自動運転車ナビゲーションを提供するためのスパースマップを示す図である。
開示する実施形態と矛盾しない、道路セグメントの一部の多項式表現を示す図である。
開示する実施形態と矛盾しないスパースマップに含まれる、特定の道路セグメントについての車両の目標軌跡を表す、３次元空間における曲線を示す図である。
開示する実施形態と矛盾しないスパースマップに含まれ得る例示的なランドマークを示す図である。
開示する実施形態と矛盾しない軌跡の多項式表現を示す図である。
開示する実施形態と矛盾しない、複数車線道路に沿った目標軌跡を示す図である。 開示する実施形態と矛盾しない、複数車線道路に沿った目標軌跡を示す図である。
開示する実施形態と矛盾しない例示的な道路シグネチャプロファイルを示す図である。
開示する実施形態と矛盾しない、複数の車両から受信したクラウドソーシングデータを自動運転車ナビゲーションに用いるシステムの概略図である。
開示する実施形態と矛盾しない、複数の３次元スプラインで表される例示的な自動運転車向け道路ナビゲーションモデルを示す図である。
開示する実施形態と矛盾しない、複数のドライブからの位置情報を組み合わせて生成された、マップの骨組みを示す図である。
開示する実施形態と矛盾しない、ランドマークとなる例示的な標識と２つのドライブとを長手方向に揃えた一例を示す図である。
開示する実施形態と矛盾しない、ランドマークとしての例示的な標識と複数のドライブとを長手方向に揃えた一例を示す図である。
開示する実施形態と矛盾しない、カメラ、車両、およびサーバを用いてドライブデータを生成するためのシステムの概略図である。
開示する実施形態と矛盾しない、スパースマップをクラウドソーシングするためのシステムの概略図である。
開示する実施形態と矛盾しない、道路セグメントに沿った自動運転車ナビゲーション用のスパースマップを生成するための、例示的プロセスを示すフローチャートである。
開示する実施形態と矛盾しないサーバのブロック図を示す図である。
開示する実施形態と矛盾しないメモリのブロック図を示す図である。
開示する実施形態と矛盾しない、車両に関連づけられた車両軌跡をクラスタ化するプロセスを示す図である。
開示する実施形態と矛盾しない、自動ナビゲーションに用いられ得る車両用ナビゲーションシステムを示す図である。
開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。 開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。 開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。 開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。
開示する実施形態と矛盾しない、マッピングされた例示的な車線標示を示す図である。
開示する実施形態と矛盾しない、車線標示の検出に関連した例示的な異常を示す図である。
開示する実施形態と矛盾しない、マッピングされた車線標示に基づくナビゲーション用の、車両の周辺環境についての例示的な画像を示す図である。
開示する実施形態と矛盾しない、道路ナビゲーションモデルにおけるマッピングされた車線標示に基づく、車両の横方向位置特定の補正を示す図である。
開示する実施形態と矛盾しない、自動運転車ナビゲーションに用いるための車線標示をマッピングする、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、マッピングされた車線標示を用いて道路セグメントに沿ってホスト車両を自律的にナビゲートするための、例示的なプロセスを示すフローチャートである。
開示する実施形態と矛盾しない、交差する車両軌跡および衝突推定の上面図の概略図である。
開示する実施形態と矛盾しない、交差する車両の減速度を特定するための例示的なニーポイント関数を示す。
開示する実施形態と矛盾しない、ホスト車両の選択的な減速のための例示的なプロセスを示すフローチャートである。
以下の詳細な説明では、添付図面を参照する。図面および以下の説明では、可能な限り、同じまたは同様の部分を指すために同じ参照番号が用いられる。いくつかの例示的な実施形態が本明細書で説明されるが、変更、改作、および他の実装例も可能である。例えば、図面に示されている構成要素に対して置換、追加、および変更を行ってもよく、本明細書で説明される例示的方法が、開示する方法に対して段階を置き換える、並べ替える、削除する、または追加することによって変更されてよい。したがって、以下の詳細な説明は、開示する実施形態および例に限定されない。その代わりに、添付の特許請求の範囲によって、適切な範囲が定められる。
［自動運転車の概要］
本開示全体にわたって用いられる場合、用語「自動運転車」とは、運転者の入力を必要とすることなく、少なくとも１つのナビゲーション変更を実施できる車両を指す。「ナビゲーション変更」とは、車両の操縦、ブレーキ、もしくは加速のうちの１つまたは複数における変更を指す。自動であるためには、車両が完全に自動（例えば、運転者を必要としない、または運転者の入力を必要としない完全動作）である必要はない。むしろ、自動運転車は、一定の期間の間、運転者の制御の下で動作し、他の期間では運転者の制御を必要とせずに動作できるものも含む。自動運転車には、（例えば、車両車線制限線の間に車両進路を維持するために）操縦などの車両ナビゲーションの一部の側面だけを制御するが、他の側面（例えば、ブレーキ）は運転者に任せる場合がある車両も含まれてよい。場合によっては、車両のブレーキ、速度制御、および／または操縦の一部または全部の側面を、自動運転車が担ってもよい。
人の運転者は通常、視覚的な手がかりや観測結果を利用して車両を制御するので、それに基づいて交通インフラが構築されており、したがって、車線標示、交通標識、および信号機は全て、視覚情報を運転者に提供するように設計されている。交通インフラのこれらの設計的特徴を考慮して、自動運転車が、カメラと、車両の環境から取り込まれた視覚情報を分析する処理ユニットとを含んでよい。視覚情報には、例えば、運転者が観測可能な交通インフラの構成要素（例えば、車線標示、交通標識、信号機など）、および他の障害物（例えば、他の車両、歩行者、ゴミなど）が含まれてよい。さらに、自動運転車は、ナビゲート時に、車両の環境のモデルを提供する情報などの、格納済みの情報も用いてよい。例えば、車両は、ＧＰＳデータ、（例えば、加速度計、速度センサ、サスペンションセンサなど）のセンサデータ、および／または他のマップデータを用いて、車両が走行している間に、その環境に関連する情報を提供してよく、当該車両（および他の車両）は、その情報を用いてモデル上で自車の位置を特定してよい。
本開示のいくつかの実施形態では、自動運転車が、ナビゲートしている間に（例えば、カメラ、ＧＰＳデバイス、加速度計、速度センサ、サスペンションセンサなどから）取得した情報を用いてよい。他の実施形態では、自動運転車が、当該車両（または他の車両）による過去のナビゲーションから取得された情報をナビゲート中に用いてよい。さらに他の実施形態では、自動運転車が、ナビゲート中に取得された情報と過去のナビゲーションから取得された情報とを組み合わせて用いてよい。以下のセクションでは、開示する実施形態と矛盾しないシステムの概要を提供し、その後に、当該システムと矛盾しない前面撮像システムおよび方法の概要が続く。この後のセクションでは、自動運転車ナビゲーション用のスパースマップを構築する、用いる、且つ更新するためのシステムおよび方法を開示する。
［システム概要］
図１は、開示する例示的な実施形態と矛盾しないシステム１００のブロック図である。システム１００は、具体的な実装例の要件に応じて、様々な構成要素を含んでよい。いくつかの実施形態において、システム１００は、処理ユニット１１０、画像取得ユニット１２０、位置センサ１３０、１つまたは複数のメモリユニット１４０、１５０、マップデータベース１６０、ユーザインタフェース１７０、および無線送受信機１７２を含んでよい。処理ユニット１１０は、１つまたは複数の処理デバイスを含んでよい。いくつかの実施形態において、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０、または任意の他の好適な処理デバイスを含んでよい。同様に、画像取得ユニット１２０は、特定の用途についての要件に応じて、任意の数の画像取得デバイスおよび構成要素を含んでよい。いくつかの実施形態において、画像取得ユニット１２０は、画像取り込みデバイス１２２、画像取り込みデバイス１２４、および画像取り込みデバイス１２６などの１つまたは複数の画像取り込みデバイス（例えば、カメラ）を含んでよい。システム１００は、処理デバイス１１０を画像取得デバイス１２０に通信可能に接続するデータインタフェース１２８も含んでよい。例えば、データインタフェース１２８は、画像取得デバイス１２０で取得した画像データを処理ユニット１１０に送信するための、１つまたは複数の任意の有線リンクおよび／または無線リンクを含んでよい。
無線送受信機１７２は、無線周波数、赤外線周波数、磁界、または電界を用いて、１つまたは複数のネットワーク（例えば、セルラ、インターネットなど）に対するエアインターフェースを介した送信をやり取りするように構成された１つまたは複数のデバイスを含んでよい。無線送受信機１７２は、任意の既知の規格（例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｓｍａｒｔ、８０２．１５．４、ＺｉｇＢｅｅ（登録商標）など）を用いて、データの送信および／または受信を行ってよい。そのような送信には、ホスト車両から遠隔に配置された１つまたは複数のサーバへの通信が含まれてよい。そのような送信には、（例えば、ホスト車両の環境内にいる対象車両を考慮して、またはその対象車両と一緒に、ホスト車両のナビゲーションの調整を容易にするための）ホスト車両とホスト車両の環境内にいる１つまたは複数の対象車両との間の通信（一方向または双方向）、または送信車両の近くにいる不特定受信者へのブロードキャスト送信さえも含まれてよい。
アプリケーションプロセッサ１８０および画像プロセッサ１９０は両方とも、様々なタイプの処理デバイスを含んでよい。例えば、アプリケーションプロセッサ１８０および画像プロセッサ１９０のいずれかまたは両方は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサなど）、グラフィックス処理装置（ＧＰＵ）、中央演算処理装置（ＣＰＵ）、支援回路、デジタル信号プロセッサ、集積回路、メモリ、またはアプリケーションの実行並びに画像処理および分析に好適な任意の他のタイプのデバイスを含んでよい。いくつかの実施形態において、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、任意のタイプのシングルコアプロセッサまたはマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、中央演算処理装置などを含んでよい。例えば、Ｉｎｔｅｌ（登録商標）、ＡＭＤ（登録商標）などといった製造業者から入手可能なプロセッサ、またはＮＶＩＤＩＡ（登録商標）、ＡＴＩ（登録商標）などといった製造業者から入手可能なＧＰＵを含む様々な処理デバイスが用いられてよく、様々なアーキテクチャ（例えば、ｘ８６プロセッサ、ＡＲＭ（登録商標）など）を含んでよい。
いくつかの実施形態において、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、Ｍｏｂｉｌｅｙｅ（登録商標）から入手可能なＥｙｅＱシリーズのプロセッサチップのうちのいずれかを含んでよい。これらのプロセッサ設計は各々、ローカルメモリおよび命令セットを有する複数の処理ユニットを含む。そのようなプロセッサは、複数のイメージセンサから画像データを受信するためのビデオ入力を含んでよく、またビデオ出力機能も含んでよい。一例において、ＥｙｅＱ２（登録商標）は９０ｎｍテクノロジを用い、３３２ＭＨｚで動作する。ＥｙｅＱ２（登録商標）アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ型ＣＰＵ（ＭＩＰＳ３２（登録商標）３４Ｋ（登録商標）コア）、５つのビジョン計算エンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ（ＶＭＰ（登録商標））、Ｄｅｎａｌｉの６４ビットモバイルＤＤＲコントローラ、１２８ビット内蔵Ｓｏｎｉｃｓ Ｉｎｔｅｒｃｏｎｎｅｃｔ、１６ビットビデオ入力および１８ビットビデオ出力のデュアルコントローラ、１６チャネルＤＭＡ、およびいくつかの周辺機器で構成される。ＭＩＰＳ３４Ｋ ＣＰＵは、５つのＶＣＥ、３つのＶＭＰ（登録商標）およびＤＭＡ、第２のＭＩＰＳ３４Ｋ ＣＰＵおよびマルチチャネルＤＭＡ並びにその他の周辺機器を管理する。５つのＶＣＥ、３つのＶＭＰ（登録商標）、およびＭＩＰＳ３４Ｋ ＣＰＵは、多機能バンドル型アプリケーションが必要とする集中的なビジョン計算を行うことができる。別の例において、第３世代プロセッサであり、ＥｙｅＱ２（登録商標）より処理能力が６倍高いＥｙｅＱ３（登録商標）が、開示する実施形態に用いられてよい。他の例において、ＥｙｅＱ４（登録商標）および／またはＥｙｅＱ５（登録商標）が、開示する実施形態に用いられてよい。当然ながら、任意の新規または将来のＥｙｅＱ処理デバイスも、開示する実施形態と一緒に用いられてよい。
本明細書で開示する処理デバイスのうちのいずれかが、特定の機能を行うように構成されてよい。説明したＥｙｅＱプロセッサまたは他のコントローラもしくはマイクロプロセッサのうちのいずれかなどの処理デバイスを構成して、特定の機能を行うことには、コンピュータ実行可能命令をプログラムすること、および処理デバイスの動作時にこれらの命令を処理デバイスが実行のために利用できるようにすることが含まれてよい。いくつかの実施形態において、処理デバイスを構成することには、処理デバイスをアーキテクチャ命令で直接プログラムすることが含まれてよい。例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）および特定用途向け集積回路（ＡＳＩＣ）などといった処理デバイスが、例えば、１つまたは複数のハードウェア記述言語（ＨＤＬ）を用いて構成されてよい。
他の実施形態において、処理デバイスを構成することは、処理デバイスが動作時にアクセスできるメモリに実行可能命令を格納することを含んでよい。例えば、処理デバイスが動作時に、メモリにアクセスして、格納された命令を取得し実行してよい。どちらの場合にも、本明細書で開示するセンシング、画像分析、および／またはナビゲーション機能を行うように構成された処理デバイスは、ホスト車両のハードウェアベースの複数の構成要素を制御する専用ハードウェアベースのシステムを表している。
図１は処理ユニット１１０に含まれる２つの別個の処理デバイスを示しているが、もっと多いまたは少ない処理デバイスを用いてもよい。例えば、いくつかの実施形態において、単一の処理デバイスを用いて、アプリケーションプロセッサ１８０および画像プロセッサ１９０のタスクを達成してもよい。他の実施形態において、これらのタスクを２つより多くの処理デバイスで行ってもよい。さらに、いくつかの実施形態において、システム１００は、画像取得ユニット１２０などの他の構成要素を含むことなく、処理ユニット１１０のうちの１つまたは複数を含んでよい。
処理ユニット１１０は、様々なタイプのデバイスを含んでよい。例えば、処理ユニット１１０は、コントローラ、画像プリプロセッサ、中央演算処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、支援回路、デジタル信号プロセッサ、集積回路、メモリ、または画像処理および分析用の任意の他のタイプのデバイスといった様々なデバイスを含んでよい。画像プリプロセッサは、イメージセンサからの画像を取り込み、デジタル化し、処理するためのビデオプロセッサを含んでよい。ＣＰＵは、任意の数のマイクロコントローラまたはマイクロプロセッサを含んでよい。ＧＰＵは、任意の数のマイクロコントローラまたはマイクロプロセッサも含んでよい。支援回路は、例えば、キャッシュ回路、電源回路、クロック回路、および入出力回路を含む、当技術分野で一般によく知られている任意の数の回路であってよい。メモリは、プロセッサにより実行されると、本システムの動作を制御するソフトウェアを格納してよい。メモリは、データベースおよび画像処理ソフトウェアを含んでよい。メモリは、任意の数のランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ、ディスクドライブ、光学ストレージ、テープストレージ、着脱式ストレージ、および他のタイプのストレージを含んでよい。一例において、メモリは処理ユニット１１０から分かれてもよい。別の例において、メモリは処理ユニット１１０に統合されてもよい。
各メモリ１４０、１５０はソフトウェア命令を含んでよく、この命令は、プロセッサ（例えば、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０）によって実行されると、システム１００の様々な態様の動作を制御し得る。例えば、これらのメモリユニットは、様々なデータベースおよび画像処理ソフトウェア、並びに、ニューラルネットワークまたはディープニューラルネットワークなどの訓練システムを含んでよい。メモリユニットは、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ディスクドライブ、光学ストレージ、テープストレージ、着脱式ストレージ、および／または任意の他のタイプのストレージを含んでよい。いくつかの実施形態において、メモリユニット１４０、１５０は、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０から分かれていてもよい。他の実施形態において、これらのメモリユニットは、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０に統合されてもよい。
位置センサ１３０は、システム１００の少なくとも１つの構成要素に関連する位置を決定するのに好適な任意のタイプのデバイスを含んでよい。いくつかの実施形態において、位置センサ１３０はＧＰＳ受信機を含んでよい。そのような受信器は、全地球測位システム用の衛星がブロードキャストする信号を処理することで、ユーザ位置および速度を決定することができる。位置センサ１３０からの位置情報は、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０が利用できるようにしてよい。
いくつかの実施形態において、システム１００は、車両２００の速度を測定するための速度センサ（例えば、回転速度計、速度計）、および／または車両２００の加速度を測定するための加速度計（単軸または多軸のいずれか）などの構成要素を含んでよい。
ユーザインタフェース１７０は、システム１００の１人または複数のユーザに情報を提供するか、またはそのユーザからの入力を受信するのに好適な任意のデバイスを含んでよい。いくつかの実施形態において、ユーザインタフェース１７０はユーザ入力デバイスを含んでよく、そのようなデバイスには、例えば、タッチスクリーン、マイク、キーボード、ポインタデバイス、トラックホイール、カメラ、つまみ、ボタンなどが含まれる。そのような入力デバイスを用いて、ユーザは情報入力またはコマンドをシステム１００に提供することができ、例えば、命令または情報を打ち込む、音声コマンドを提供する、ボタン、ポインタ、または視線追跡機能を用いてスクリーン上のメニューオプションを選択する、あるいは情報をシステム１００に伝えるための任意の他の好適な手法が使われてよい。
ユーザインタフェース１７０は、ユーザとの間で情報の受け渡しを行い、例えば、アプリケーションプロセッサ１８０が用いるために当該情報を処理するように構成された１つまたは複数の処理デバイスを備えてよい。いくつかの実施形態において、そのような処理デバイスは、目の動きを認識して追跡する命令、音声コマンドを受信して解釈する命令、タッチスクリーン上で行われたタッチおよび／またはジェスチャーを認識して解釈する命令、キーボード入力またはメニュー選択に応答する命令などを実行してよい。いくつかの実施形態において、ユーザインタフェース１７０は、ディスプレイ、スピーカ、触知デバイス、および／または、出力情報をユーザに提供するための任意の他のデバイスを含んでよい。
マップデータベース１６０は、システム１００にとって有用なマップデータを格納するための、任意のタイプのデータベースを含んでよい。いくつかの実施形態において、マップデータベース１６０は、様々な種目の基準座標系における位置に関連するデータを含んでよく、そのような種目には、道路、ウォータフィーチャ、地理的特徴、商店、関心のある特定の地点、レストラン、ガソリンスタンドなどが含まれる。マップデータベース１６０は、そのような種目の位置だけでなく、これらの種目に関連する記述子も格納してよく、そのような記述子には、例えば、格納された特徴のうちのいずれかに関連した名称が含まれる。いくつかの実施形態において、マップデータベース１６０は、システム１００の他の構成要素と共に物理的に配置されてよい。あるいは、またはさらに、マップデータベース１６０またはその一部は、システム１００の他の構成要素（例えば、処理ユニット１１０）に対して遠隔に配置されてもよい。そのような実施形態において、マップデータベース１６０からの情報が、ネットワークへの有線データ接続または無線データ接続を介して（例えば、セルラネットワークおよび／またはインターネットなどを介して）ダウンロードされてよい。場合によっては、マップデータベース１６０は、特定の道路特徴（例えば、車線標示）またはホスト車両の目標軌跡の多項式表現を含むスパースデータモデルを格納してよい。そのようなマップを生成するシステムおよび方法を、図８～図１９を参照して以下で論じる。
画像取り込みデバイス１２２、１２４、および１２６は各々、環境から少なくとも１つの画像を取り込むのに好適な任意のタイプのデバイスを含んでよい。さらに、任意の数の画像取り込みデバイスを用いて、画像プロセッサに入力する画像を取得してもよい。いくつかの実施形態では、画像取り込みデバイスを１つだけ含んでよいが、他の実施形態では、画像取り込みデバイスを２つ、３つ、もしくは４つさえも、またはそれより多く含んでよい。画像取り込みデバイス１２２、１２４、および１２６はさらに、図２Ｂ～図２Ｅを参照して以下で説明される。
システム１００またはその様々な構成要素は、様々な別のプラットフォームに組み込まれてもよい。いくつかの実施形態において、システム１００は、図２Ａに示すように、車両２００に含まれてよい。例えば、車両２００は、図１に関連して上述したように、処理ユニット１１０、およびシステム１００の他の構成要素のうちのいずれかを備えてよい。いくつかの実施形態において、車両２００は画像取り込みデバイス（例えば、カメラ）を１つだけ備えてよいが、図２Ｂ～図２Ｅに関連して論じられるもののような他の実施形態では、複数の画像取り込みデバイスを用いることがある。例えば、図２Ａに示すように、車両２００の画像取り込みデバイス１２２および１２４のいずれかが、ＡＤＡＳ（先進運転者支援システム）撮像装置の一部であってよい。
画像取得ユニット１２０の一部として車両２００に含まれる画像取り込みデバイスは、任意の好適な場所に配置されてよい。いくつかの実施形態では、図２Ａ～図２Ｅおよび図３Ａ～図３Ｃに示すように、画像取り込みデバイス１２２をバックミラーの近くに配置してよい。この位置は、車両２００の運転者の視線と同様の視線を提供することができ、そのため、運転者に何が見えるか、何が見えないかを判定するのに役立ち得る。バックミラーに近い任意の場所に画像取り込みデバイス１２２を配置してよいが、ミラーの運転席側に画像取り込みデバイス１２２を配置すると、運転者の視野および／または視線を表す画像を取得するのにさらに役立ち得る。
画像取得ユニット１２０の画像取り込みデバイスについては、他の場所も用いてよい。例えば、画像取り込みデバイス１２４を、車両２００のバンパー上またはバンパー内に配置してもよい。そのような場所は、広い視野を有する画像取り込みデバイスには特に好適かもしれない。バンパーに配置された画像取り込みデバイスの視線は運転者の視線とは異なり得、したがって、バンパーの画像取り込みデバイスおよび運転者は常に同じ物体を見ているとは限らないかもしれない。画像取り込みデバイス（例えば、画像取り込みデバイス１２２、１２４、および１２６）は、他の場所にも配置されてよい。例えば、画像取り込みデバイスは、車両２００の一方または両方のサイドミラー上またはサイドミラー内、車両２００のルーフ上、車両２００のボンネット上、車両２００のトランク上、車両２００の側面上に位置してよく、車両２００の窓ガラスのうちのいずれかに取り付けられても、その背後に配置されても、その前に配置されてもよく、車両２００の前部および／または後部にある照明装置内またはその近くなどに取り付けられてよい。
画像取り込みデバイスに加えて、車両２００はシステム１００の様々な他の構成要素を含んでよい。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）と一体化して、またはＥＣＵから分かれて車両２００に含まれてよい。車両２００は、ＧＰＳ受信機などの位置センサ１３０も備えてよく、マップデータベース１６０並びにメモリユニット１４０および１５０も含んでよい。
先に論じたように、無線送受信機１７２は、１つまたは複数のネットワーク（例えば、セルラネットワーク、インターネットなど）を介してデータの送信および／または受信を行ってよい。例えば、無線送受信機１７２は、システム１００が収集したデータを１つまたは複数のサーバにアップロードし、１つまたは複数のサーバからデータをダウンロードしてよい。無線送受信機１７２を介して、システム１００は、例えば、マップデータベース１６０、メモリ１４０、および／またはメモリ１５０に格納されたデータに対する定期更新または要求に応じた更新を受信してよい。同様に、無線送受信機１７２は、システム１００からのあらゆるデータ（例えば、画像取得ユニット１２０により取り込まれた画像、位置センサ１３０または他のセンサ、車両制御システムなどが受信したデータ）、および／または処理ユニット１１０が処理したあらゆるデータを１つまたは複数のサーバにアップロードしてよい。
システム１００は、プライバシーレベル設定に基づいて、データをサーバに（例えば、クラウドに）アップロードしてよい。例えば、システム１００は、サーバに送られる、車両および／または車両の運転者／所有者を一意に識別し得るデータ（メタデータを含む）のタイプを規制または限定するように、プライバシーレベル設定を実施してよい。そのような設定は、例えば、無線送受信機１７２を介してユーザが設定してもよく、工場出荷時の設定または無線送受信機１７２が受信したデータで初期化されてもよい。
いくつかの実施形態において、システム１００は、プライバシーレベル「高」に従ってデータをアップロードしてよく、設定を設定している最中では、システム１００は、特定の車両および／または運転者／所有者に関するいかなる詳細も用いずに、データ（例えば、ルートに関連する位置情報、取り込まれた画像など）を送信してよい。例えば、プライバシー設定「高」に従ってデータをアップロードする場合、システム１００は、車両登録番号（ＶＩＮ）も車両の運転者または所有者の名称も含まなくてよく、その代わりに、取り込まれた画像および／またはルートに関連する限定された位置情報などのデータを送信してよい。
他のプライバシーレベルも考えられる。例えば、システム１００は、プライバシーレベル「中」に従ってデータをサーバに送信し、プライバシーレベル「高」では含まれない追加の情報、例えば、車両のメーカーおよび／もしくは型式、並びに／または車両タイプ（例えば、乗用車、多目的スポーツ車、トラックなど）といった情報を含めてよい。いくつかの実施形態において、システム１００は、プライバシーレベル「低」に従ってデータをアップロードしてよい。プライバシーレベル設定「低」では、システム１００は、データをアップロードし、特定の車両、所有者／運転者、および／または車両が走行するルートの一部もしくは全体を一意に識別するのに十分な情報を含めることができる。そのようなプライバシーレベル「低」のデータは、例えば、ＶＩＮ、運転者／所有者の名前、出発前の車両の起点、車両の意図した目的地、車両のメーカーおよび／または型式、車両のタイプなどのうちの１つまたは複数を含んでよい。
図２Ａは、開示する実施形態と矛盾しない例示的な車両撮像システムの概略側面図である。図２Ｂは、図２Ａに示す実施形態の概略上面図である。図２Ｂに示すように、開示する実施形態は車両２００を含んでよく、その車体には、車両２００のバックミラーの近くおよび／または運転者の近くに配置された第１の画像取り込みデバイス１２２と、車両２００のバンパー領域（例えば、バンパー領域２１０のうちの１つ）にまたはその中に配置された第２の画像取り込みデバイス１２４と、処理ユニット１１０とを有するシステム１００が含まれる。
図２Ｃに示すように、画像取り込みデバイス１２２および１２４は両方とも、車両２００のバックミラーの近くおよび／または運転者の近くに配置されてよい。さらに、図２Ｂおよび図２Ｃには、２つの画像取り込みデバイス１２２および１２４が示されているが、他の実施形態では２つより多くの画像取り込みデバイスを含んでもよいことを理解されたい。例えば、図２Ｄおよび図２Ｅに示す実施形態では、第１の画像取り込みデバイス１２２、第２の画像取り込みデバイス１２４、および第３の画像取り込みデバイス１２６が、車両２００のシステム１００に含まれている。
図２Ｄに示すように、画像取り込みデバイス１２２は、車両２００のバックミラーの近くおよび／または運転者の近くに配置されてよく、画像取り込みデバイス１２４および１２６は、車両２００のバンパー領域（例えば、バンパー領域２１０のうちの１つ）にまたはその中に配置されてよい。また、図２Ｅに示すように、画像取り込みデバイス１２２、１２４、および１２６が、車両２００のバックミラーの近くおよび／または運転席の近くに配置されてよい。開示する実施形態は、画像取り込みデバイスのいかなる特定の数および構成にも限定されることはなく、画像取り込みデバイスは車両２００の内部および／またはその上の任意の適切な場所に配置されてよい。
開示する実施形態は、車両に限定されることはなく、他の状況にも適用されることがあることを理解されたい。開示する実施形態は、車両２００の特定のタイプに限定されることはなく、自動車、トラック、トレーラ、および他のタイプの車両を含むあらゆるタイプの車両に適用可能であってよいことも理解されたい。
第１の画像取り込みデバイス１２２は、任意の好適なタイプの画像取り込みデバイスを含んでよい。画像取り込みデバイス１２２は、光軸を含んでよい。一例において、画像取り込みデバイス１２２は、グローバルシャッタを備えたＡｐｔｉｎａ製Ｍ９Ｖ０２４ ＷＶＧＡセンサを含んでよい。他の実施形態において、画像取り込みデバイス１２２は、１２８０×９６０画素の解像度を提供してよく、またローリングシャッタを含んでよい。画像取り込みデバイス１２２は、様々な光学素子を含んでよい。いくつかの実施形態では、例えば、所望の焦点距離および視野を画像取り込みデバイスに提供するために、１つまたは複数のレンズが含まれてよい。いくつかの実施形態において、画像取り込みデバイス１２２は、６ｍｍレンズまたは１２ｍｍレンズに関連してよい。いくつかの実施形態では、画像取り込みデバイス１２２は、図２Ｄに示すように、所望の視野（ＦＯＶ）２０２を有する画像を取り込むように構成されてよい。例えば、画像取り込みデバイス１２２は、４６度のＦＯＶ、５０度のＦＯＶ、５２度のＦＯＶ、またはそれより広いＦＯＶを含む４０度～５６度の範囲内といった標準のＦＯＶを有するように構成されてよい。あるいは、画像取り込みデバイス１２２は、２８度のＦＯＶまたは３６度のＦＯＶといった２３～４０度の範囲内の狭ＦＯＶを有するように構成されてもよい。さらに、画像取り込みデバイス１２２は１００～１８０度の範囲内の広ＦＯＶを有するように構成されてもよい。いくつかの実施形態において、画像取り込みデバイス１２２は、広角バンパーカメラ、または、最大１８０度のＦＯＶを有するそれを含んでよい。いくつかの実施形態において、画像取り込みデバイス１２２は、約２：１のアスペクト比（例えば、Ｈ×Ｖ＝３８００×１９００画素）および約１００度の水平ＦＯＶを有する７．２Ｍ画素の画像取り込みデバイスであってよい。そのような画像取り込みデバイスを、３画像取り込みデバイス構成の代わりに用いてよい。そのような画像取り込みデバイスの垂直ＦＯＶは、著しいレンズ歪みにより、画像取り込みデバイスが半径方向に対称なレンズを用いる実装例では５０度より著しく小さいことがある。例えば、そのようなレンズは半径方向に対称でなくてもよく、そうすることで、１００度の水平ＦＯＶで５０度より大きい垂直ＦＯＶが可能になるであろう。
第１の画像取り込みデバイス１２２は、車両２００に関連するシーンに対して複数の第１画像を取得してよい。複数の第１画像の各々は、一連の画像走査線として取得されてよく、これらの画像はローリングシャッタを用いて取り込まれてよい。各走査線は、複数の画素を含み得る。
第１の画像取り込みデバイス１２２は、第１の一連の画像走査線の各々を取得することに関連した走査速度を有してよい。走査速度とは、特定の走査線に含まれる各画素に関連した画像データをイメージセンサが取得できる速度を指してよい。
画像取り込みデバイス１２２、１２４、および１２６は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサを含む、任意の好適なタイプおよび数のイメージセンサを内蔵してよい。一実施形態では、ＣＭＯＳイメージセンサがローリングシャッタと連動して使用されてよく、これにより、ある行の各画素が１つずつ読み出され、画像フレーム全体が取り込まれるまで、行の走査が行ごとに進行する。いくつかの実施形態において、各行は、フレームに対して上部から下部へと順次取り込まれてよい。
いくつかの実施形態において、本明細書で開示する画像取り込みデバイス（例えば、画像取り込みデバイス１２２、１２４、および１２６）のうちの１つまたは複数は、高解像度撮像装置を構成してよく、５Ｍ画素、７Ｍ画素、１０Ｍ画素、またはそれより多くの画を超える解像度を有してよい。
ローリングシャッタを用いると、異なる行の画素が異なる時間に露光され且つ取り込まれることになり得るため、取り込まれた画像フレームにスキューおよび他の画像アーチファクトが生じる場合がある。一方、画像取り込みデバイス１２２がグローバルシャッタまたは同期シャッタで動作するように構成されている場合、全ての画素が同じ時間の間、共通の露光期間に露光され得る。その結果、グローバルシャッタを使用するシステムで収集されたフレームの画像データは、特定の時間におけるＦＯＶ全体（ＦＯＶ２０２など）のスナップショットを表す。これに対して、ローリングシャッタを適用した場合には、異なる時間にフレーム内の各行が露光され、データが取り込まれる。したがって、ローリングシャッタを有する画像取り込みデバイスでは、移動する物体が歪んだように見えることがある。この現象は、以下でより詳細に説明する。
第２の画像取り込みデバイス１２４および第３の画像取り込みデバイス１２６は、任意のタイプの画像取り込みデバイスであってよい。第１の画像取り込みデバイス１２２のように、画像取り込みデバイス１２４および１２６の各々は光軸を含んでよい。一実施形態において、画像取り込みデバイス１２４および１２６の各々は、グローバルシャッタを備えたＡｐｔｉｎａ製Ｍ９Ｖ０２４ ＷＶＧＡセンサを含んでよい。あるいは、画像取り込みデバイス１２４および１２６の各々は、ローリングシャッタを含んでもよい。画像取り込みデバイス１２２のように、画像取り込みデバイス１２４および１２６は、様々なレンズおよび光学素子を含むように構成されてよい。いくつかの実施形態では、画像取り込みデバイス１２４および１２６に関連するレンズが、画像取り込みデバイス１２２に関連するＦＯＶ（ＦＯＶ２０２など）と同じまたはそれより狭いＦＯＶ（ＦＯＶ２０４および２０６など）を提供してよい。例えば、画像取り込みデバイス１２４および１２６は、４０度、３０度、２６度、２３度、２０度、またはそれより狭いＦＯＶを有してよい。
画像取り込みデバイス１２４および１２６は、車両２００に関連するシーンに対して、複数の第２画像および第３画像を取得してよい。複数の第２画像および第３画像の各々は、第２および第３の一連の画像走査線として取得されてよく、これらの画像はローリングシャッタを用いて取り込まれてよい。各々の走査線または行は、複数の画素を含み得る。画像取り込みデバイス１２４および１２６は、第２および第３の一連の画像走査線に含まれる複数の画像走査線の各々を取得することに関連した第２走査速度および第３走査速度を有してよい。
画像取り込みデバイス１２２、１２４、および１２６は各々、車両２００に対して任意の好適な位置および方位で配置されてよい。画像取り込みデバイス１２２、１２４、および１２６の相対配置は、画像取り込みデバイスから取得される情報を融合させるのに役立つように選択されてよい。例えば、いくつかの実施形態では、画像取り込みデバイス１２４に関連するＦＯＶ（ＦＯＶ２０４など）が、画像取り込みデバイス１２２に関連するＦＯＶ（ＦＯＶ２０２など）および画像取り込みデバイス１２６に関連するＦＯＶ（ＦＯＶ２０６など）と部分的にまたは完全に重なり合ってよい。
画像取り込みデバイス１２２、１２４、および１２６は、任意の好適な相対的高さで、車両２００に配置されてよい。一例において、画像取り込みデバイス１２２、１２４、および１２６の間には高さの違いがあってよく、これにより、ステレオ分析を可能とする十分な視差情報が提供され得る。例えば、図２Ａに示すように、２つの画像取り込みデバイス１２２および１２４の高さは異なる。例えば、画像取り込みデバイス１２２、１２４、および１２６の間には横方向の変位差もあってよく、これが、処理ユニット１１０によるステレオ分析に対して追加の視差情報を与える。横方向変位の差異は、図２Ｃおよび図２Ｄに示すように、ｄｘで表されてよい。いくつかの実施形態では、前または後ろへの変位（例えば、範囲変位）が画像取り込みデバイス１２２、１２４、および１２６の間に存在してよい。例えば、画像取り込みデバイス１２２は、画像取り込みデバイス１２４および／または画像取り込みデバイス１２６の０．５～２メートル後ろに、またはもっと後ろに位置してよい。この種の変位によって、これらの画像取り込みデバイスのうちの１つが１つまたは複数の他の画像取り込みデバイスの潜在的な死角を補うことが可能になり得る。
画像取り込みデバイス１２２は、任意の好適な解像能力（例えば、イメージセンサに関連する画素数）を有してよく、画像取り込みデバイス１２２に関連する１つまたは複数のイメージセンサの解像度は、画像取り込みデバイス１２４および１２６に関連する１つまたは複数のイメージセンサの解像度より高くても、低くても、同じであってもよい。いくつかの実施形態において、画像取り込みデバイス１２２並びに／または画像取り込みデバイス１２４および１２６に関連する１つまたは複数のイメージセンサは、６４０×４８０、１０２４×７６８、１２８０×９６０の解像度、または任意の他の好適な解像度を有してよい。
フレームレート（例えば、画像取り込みデバイスが１つの画像フレームの画素データのセットを、次の画像フレームに関連する画素データの取り込みに移る前に取得するレート）が制御可能であってよい。画像取り込みデバイス１２２に関連するフレームレートは、画像取り込みデバイス１２４および１２６に関連するフレームレートより高くても、低くても、同じであってもよい。画像取り込みデバイス１２２、１２４、および１２６に関連するフレームレートは、フレームレートのタイミングに影響を与え得る様々な要因に依存し得る。例えば、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、画像取り込みデバイス１２２、１２４、および／または１２６に含まれるイメージセンサの１つまたは複数の画素に関連する画像データを取得する前または後に課される選択可能な画素遅延期間を含んでよい。一般に、各画素に対応する画像データは、デバイスのクロックレートに従って取得されてよい（例えば、クロックサイクルごとに１つの画素が取得されてよい）。さらに、ローリングシャッタを含む実施形態では、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、画像取り込みデバイス１２２、１２４、および／または１２６に含まれるイメージセンサのある行の画素に関連する画像データを取得する前または後に課される選択可能な水平帰線消去期間を含んでよい。さらに、画像取り込みデバイス１２２、１２４、および／または１２６のうちの１つまたは複数が、画像取り込みデバイス１２２、１２４、および１２６の画像フレームに関連する画像データを取得する前または後に課される選択可能な垂直帰線消去期間を含んでよい。
これらのタイミング制御は、画像取り込みデバイス１２２、１２４、および１２６に関連する各フレームレートの同期を、各々のライン走査速度が異なる場合でさえも可能にし得る。さらに、以下でより詳細に論じられることになるが、これらの選択可能なタイミング制御は、他の要因（例えば、イメージセンサの解像度、最大ライン走査速度など）の中でもとりわけ、画像取り込みデバイス１２２の視野が画像取り込みデバイス１２４および１２６のＦＯＶと異なる場合でさえも、画像取り込みデバイス１２２のＦＯＶが画像取り込みデバイス１２４および１２６のうちの１つまたは複数のＦＯＶと重なり合う領域からの画像取り込みの同期を可能にし得る。
画像取り込みデバイス１２２、１２４、および１２６におけるフレームレートタイミングが、関連するイメージセンサの解像度に依存し得る。例えば、両方のデバイスのライン走査速度が同様であると仮定すると、一方のデバイスが６４０×４８０の解像度を有するイメージセンサを含み、もう一方のデバイスが１２８０×９６０の解像度を有するイメージセンサを含むならば、高解像度を有するセンサの方が、１フレームの画像データを取得するのに必要な時間が長くかかる。
画像取り込みデバイス１２２、１２４、および１２６における画像データ取得のタイミングに影響を与え得る別の要因が、最大ライン走査速度である。例えば、画像取り込みデバイス１２２、１２４、および１２６に含まれるイメージセンサから、ある行の画像データを取得するには、ある程度の最低限の時間が必要になる。画素遅延期間が追加されないと仮定すると、ある行の画像データを取得するためのこの最低限の時間は、特定のデバイスの最大ライン走査速度に関連することになる。高い最大ライン走査速度を提供するデバイスには、低い最大ライン走査速度を有するデバイスより高いフレームレートを提供できる可能性がある。いくつかの実施形態では、画像取り込みデバイス１２４および１２６のうちの一方または両方が、画像取り込みデバイス１２２に関連する最大ライン走査速度より高い最大ライン走査速度を有してよい。いくつかの実施形態において、画像取り込みデバイス１２４および／または１２６の最大ライン走査速度は、画像取り込みデバイス１２２の最大ライン走査速度の１．２５倍、１．５倍、１．７５倍、もしくは２倍、またはそれより大きくてもよい。
別の実施形態において、画像取り込みデバイス１２２、１２４、および１２６は同じ最大ライン走査速度を有してよいが、画像取り込みデバイス１２２は、その最大走査速度より小さいまたはそれに等しい走査速度で動作してよい。本システムは、画像取り込みデバイス１２４および１２６のうちの一方または両方が、画像取り込みデバイス１２２のライン走査速度に等しいライン走査速度で動作するように構成されてよい。他の例において、本システムは、画像取り込みデバイス１２４および／または画像取り込みデバイス１２６のライン走査速度が画像取り込みデバイス１２２のライン走査速度の１．２５倍、１．５倍、１．７５倍、もしくは２倍、またはそれより大きくなり得るように構成されてよい。
いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６は非対称であってよい。すなわち、これらの画像取り込みデバイスは、異なる視野（ＦＯＶ）および焦点距離を有するカメラを含んでよい。画像取り込みデバイス１２２、１２４、および１２６の視野は、例えば、車両２００の環境に対して任意の所望の領域を含んでよい。いくつかの実施形態では、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、車両２００の前方、車両２００の後方、車両２００の側方、またはその組み合わせの環境から画像データを取得するように構成されてよい。
さらに、画像取り込みデバイス１２２、１２４、および／または１２６の各々に関連する焦点距離は、各デバイスが車両２００に対して所望の距離範囲にある物体の画像を取得するように、（例えば、適切なレンズなどを含むことによって）選択可能であってよい。例えば、いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６は、車両から数メートルの範囲内の至近距離にある物体の画像を取得してよい。画像取り込みデバイス１２２、１２４、および１２６は、車両からもっと遠く（例えば、２５ｍ、５０ｍ、１００ｍ、１５０ｍ、またはもっと）離れている範囲の物体の画像を取得するようにも構成されてよい。さらに、画像取り込みデバイス１２２、１２４、および１２６の焦点距離は、１つの画像取り込みデバイス（例えば、画像取り込みデバイス１２２）が車両に比較的近い（例えば、１０ｍの範囲内、または２０ｍの範囲内の）物体の画像を取得でき、その一方で、他の画像取り込みデバイス（例えば、画像取り込みデバイス１２４および１２６）が車両２００からもっと遠く（例えば、２０ｍ、５０ｍ、１００ｍ、１５０ｍを超えるなど）にある物体の画像を取得できるように選択されてよい。
いくつかの実施形態によれば、１つまたは複数の画像取り込みデバイス１２２、１２４、および１２６のＦＯＶは広角であってよい。例えば、１４０度のＦＯＶを有することは、車両２００に近い領域の画像を取り込むのに用いられ得る画像取り込みデバイス１２２、１２４、および１２６に取っては特に有利になり得る。例えば、画像取り込みデバイス１２２は、車両２００の右側または左側の領域の画像を取り込むのに用いられてよく、そのような実施形態では、画像取り込みデバイス１２２が広ＦＯＶ（例えば、少なくとも１４０度）を有することが望ましいかもしれない。
画像取り込みデバイス１２２、１２４、および１２６の各々に関連する視野は、それぞれの焦点距離に依存し得る。例えば、焦点距離が長くなるに連れて、対応する視野は狭くなる。
画像取り込みデバイス１２２、１２４、および１２６は、任意の好適な視野を有するように構成されてよい。１つの特定例において、画像取り込みデバイス１２２は４６度の水平ＦＯＶを有してよく、画像取り込みデバイス１２４は２３度の水平ＦＯＶを有してよく、画像取り込みデバイス１２６は２３度～４６度の間の水平ＦＯＶを有してよい。別の例において、画像取り込みデバイス１２２は５２度の水平ＦＯＶを有してよく、画像取り込みデバイス１２４は２６度の水平ＦＯＶを有してよく、画像取り込みデバイス１２６は２６度～５２度の間の水平ＦＯＶを有してよい。いくつかの実施形態では、画像取り込みデバイス１２２のＦＯＶと、画像取り込みデバイス１２４および／または画像取り込みデバイス１２６のＦＯＶとの比率が、１．５から２．０まで変化し得る。他の実施形態では、この比率が１．２５～２．２５の間で変化し得る。
システム１００は、画像取り込みデバイス１２２の視野が画像取り込みデバイス１２４および／または画像取り込みデバイス１２６の視野と少なくとも部分的に、または完全に重なり合うように構成されてよい。いくつかの実施形態において、システム１００は、例えば、画像取り込みデバイス１２４および１２６の視野が画像取り込みデバイス１２２の視野に含まれ（例えば、画像取り込みデバイス１２２の視野より狭い）、画像取り込みデバイス１２２の視野と共通の中心を共有するように構成されてよい。他の実施形態において、画像取り込みデバイス１２２、１２４、および１２６は、隣接するＦＯＶを取り込んでもよく、それぞれのＦＯＶの中に部分的な重複を有してもよい。いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６の視野は、狭ＦＯＶの画像取り込みデバイス１２４および／または１２６の中心が広ＦＯＶのデバイス１２２の視野の下半分に位置し得るように揃えられてよい。
図２Ｆは、開示する実施形態と矛盾しない例示的な車両制御システムの概略図である。図２Ｆに示すように、車両２００は、スロットル装置２２０と、ブレーキ装置２３０と、操縦装置２４０とを含んでよい。システム１００は、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に、１つまたは複数のデータリンク（例えば、データ送信用の１つまたは複数の任意の有線リンクおよび／または無線リンク）を介して入力（例えば、制御信号）を提供してよい。例えば、画像取り込みデバイス１２２、１２４、および／または１２６が取得した画像の分析に基づいて、システム１００は、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に制御信号を提供して、（例えば、加速、旋回、車線移動などを引き起こすことにより）車両２００をナビゲートしてよい。さらに、システム１００は、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数から、車両２００の動作状態（例えば、速度、車両２００がブレーキをかけているかどうかおよび／または旋回しているかどうかなど）を示す入力を受信してよい。さらなる詳細を、図４～図７に関連して以下に提供する。
図３Ａに示すように、車両２００は、車両２００の運転者または乗員と対話するためのユーザインタフェース１７０も含んでよい。例えば、車両アプリケーションのユーザインタフェース１７０は、タッチスクリーン３２０、つまみ３３０、ボタン３４０、およびマイク３５０を含んでよい。車両２００の運転者または乗員は、ハンドル（例えば、車両２００のステアリングコラムに、またはその近くに位置し、例えば方向指示器レバーを含む）およびボタン（例えば、車両２００のハンドルに位置している）なども用いて、システム１００と対話してよい。いくつかの実施形態において、マイク３５０はバックミラー３１０に隣接して配置されてよい。同様に、いくつかの実施形態において、画像取り込みデバイス１２２はバックミラー３１０の近くに配置されてよい。いくつかの実施形態において、ユーザインタフェース１７０は、１つまたは複数のスピーカ３６０（例えば、車両オーディオシステムのスピーカ）も含んでよい。例えば、システム１００は、スピーカ３６０を介して様々な通知（例えば、アラート）を提供してよい。
図３Ｂ～図３Ｄは、開示する実施形態と矛盾しない、バックミラー（例えば、バックミラー３１０）の背後に車両のフロントガラスに接触して配置されるように構成された、例示的なカメラマウント３７０の図である。図３Ｂに示すように、カメラマウント３７０には、画像取り込みデバイス１２２、１２４、および１２６が含まれてよい。画像取り込みデバイス１２４および１２６は、グレアシールド３８０の背後に配置されてよく、このグレアシールドは、車両のフロントガラスに直接張り付き、フィルム材料および／または反射防止材料の構成物を含んでよい。例えば、グレアシールド３８０は、同じ傾斜を有する車両のフロントガラスに当該シールドが接触して揃うように配置されてよい。いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６の各々は、例えば図３Ｄに示すように、グレアシールド３８０の背後に配置されてよい。開示する実施形態は、画像取り込みデバイス１２２、１２４、および１２６、カメラマウント３７０、並びにグレアシールド３８０のいかなる特定の構成にも限定されない。図３Ｃは、図３Ｂに示すカメラマウント３７０を正面から見た図である。
本開示の恩恵を受ける当業者であれば理解するであろうが、前述の開示した実施形態に対して、多数の変形および／または変更を行うことができる。例えば、全ての構成要素がシステム１００の動作に不可欠であるわけではない。さらに、いかなる構成要素もシステム１００の任意の適切な部分に配置されてよく、これらの構成要素は、開示した実施形態の機能性を提供すると共に、様々な構成に再配置されてよい。したがって、前述の構成は例であり、上述した構成に関係なく、システム１００は幅広い機能性を提供して、車両２００の周囲にあるものを分析し、その分析に応答して車両２００をナビゲートすることができる。
以下でさらに詳細に論じるように、また開示する様々な実施形態と矛盾しないように、システム１００は、自動運転および／または運転者支援技術に関連する様々な機能を提供することができる。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳによる位置情報）、マップデータ、速度データ、および／または、車両２００に含まれるセンサからのデータを分析することができる。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０、および他のセンサから、分析用のデータを収集することができる。さらに、システム１００は、収集したデータを分析して、車両２００が特定の動作を起こすべきか否かを判定し、次に、判定された動作を人の介在なしに自動的に起こすことができる。例えば、車両２００が人の介在なしにナビゲートする場合、システム１００は、（例えば、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に制御信号を送ることにより）車両２００のブレーキ、加速、および／または操縦を自動的に制御することができる。さらに、システム１００は、収集したデータを分析し、収集したデータの分析に基づいて、警告および／またはアラートを車両の乗員に発することができる。システム１００により提供される様々な実施形態に関するさらなる詳細を、以下に提供する。
［前面マルチ撮像システム］
上述したように、システム１００は、マルチカメラシステムを用いる運転支援機能を提供することができる。マルチカメラシステムは、車両の前進方向を向いている１つまたは複数のカメラを用いてよい。他の実施形態において、マルチカメラシステムは、車両の側方または車両の後方を向いている１つまたは複数のカメラを含んでよい。一実施形態において、例えば、システム１００は、２カメラ方式の撮像システムを用いてよく、このシステムでは、第１カメラおよび第２カメラ（例えば、画像取り込みデバイス１２２および１２４）が車両（例えば、車両２００）の前部および／または両側面に配置されてよい。第１カメラは、第２カメラの視野より大きい視野、第２カメラの視野より小さい視野、または第２カメラの視野と部分的に重なり合っている視野を有してよい。さらに、第１カメラは、第１カメラにより提供される画像の単眼画像分析を行う第１画像プロセッサに接続されてよく、第２カメラは、第２カメラにより提供される画像の単眼画像分析を行う第２画像プロセッサに接続されてよい。第１画像プロセッサおよび第２画像プロセッサの出力（例えば、処理された情報）は組み合わされてよい。いくつかの実施形態において、第２画像プロセッサは、第１カメラおよび第２カメラの両方から画像を受信して、ステレオ分析を行ってよい。別の実施形態において、システム１００は、複数のカメラの各々が異なる視野を有する３カメラ方式の撮像システムを用いてよい。したがって、そのようなシステムでは、車両の前部および両側部の両方に対して様々な距離に位置する物体から得られた情報に基づいて判定を行うことができる。単眼画像分析への言及は、単一の視点から（例えば、単一のカメラから）取り込まれた画像に基づいて画像分析を行う場合を意味し得る。ステレオ画像分析とは、画像取り込みパラメータの１つまたは複数の変化を伴って取り込まれた２つまたはそれより多くの画像に基づいて画像分析を行う場合を意味し得る。例えば、ステレオ画像分析を行うのに好適な取り込み画像には、２つまたはそれより多くの異なる位置から取り込まれた画像、異なる視野から取り込まれた画像、異なる焦点距離を用いて取り込まれた画像、視差情報と共に取り込まれた画像などが含まれてよい。
例えば、一実施形態において、システム１００は、画像取り込みデバイス１２２、１２４、および１２６を用いる３カメラ構成を実施してよい。そのような構成において、画像取り込みデバイス１２２は狭い視野（例えば、３４度、または約２０～４５度の範囲から選択した他の値など）を提供してよく、画像取り込みデバイス１２４は広い視野（例えば、１５０度、または約１００～約１８０度の範囲から選択した他の値）を提供してよく、画像取り込みデバイス１２６は中間の視野（例えば、４６度、または約３５～約６０度の範囲から選択した他の値）を提供してよい。いくつかの実施形態において、画像取り込みデバイス１２６は、メインカメラまたは一次カメラとしての役割を果たし得る。画像取り込みデバイス１２２、１２４、および１２６は、バックミラー３１０の背後に配置され、且つ実質的に横並びで（例えば、６ｃｍ離れて）配置されてよい。さらに、いくつかの実施形態では上述したように、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、車両２００のフロントガラスと同一平面にあるグレアシールド３８０の背後に取り付けられてよい。そのようなシールドは、画像取り込みデバイス１２２、１２４、および１２６に対する、自動車の内側からのいかなる反射の影響も最小限に抑えるように作用し得る。
別の実施形態では、図３Ｂおよび図３Ｃに関連して上述したように、広視野カメラ（例えば、上の例では画像取り込みデバイス１２４）は、狭視野カメラおよびメイン視野カメラ（例えば、上の例では画像デバイス１２２および１２６）より低く取り付けられてよい。この構成により、広視野カメラからの自由な視線が提供され得る。反射を低減するために、カメラは、車両２００のフロントガラスに近いところに取り付けられてよく、カメラには反射光を減衰させるために偏光板が含まれてよい。
３カメラシステムが、特定の性能特性を提供し得る。例えば、いくつかの実施形態は、あるカメラによる物体の検出を別のカメラの検出結果に基づいて確認する機能を含んでよい。上述した３カメラ構成において、処理ユニット１１０は、例えば、３つの処理デバイス（例えば上述したような、ＥｙｅＱシリーズの３つのプロセッサチップ）を含んでよく、各処理デバイスは、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数により取り込まれた画像の処理に特化している。
３カメラシステムでは、第１処理デバイスがメインカメラおよび狭視野カメラの両方から画像を受信し、狭ＦＯＶカメラによるビジョン処理を行って、例えば、他の車両、歩行者、車線標示、交通標識、信号機、および他の道路地物を検出してよい。さらに、第１処理デバイスは、メインカメラおよび狭視野カメラからの画像同士の画素の視差を計算し、車両２００の環境の３Ｄ復元図を作成してよい。第１処理デバイスは次に、３Ｄ復元図と、３Ｄマップデータまたは別のカメラからの情報に基づいて計算した３Ｄ情報とを組み合わせてよい。
第２処理デバイスは、メインカメラから画像を受信してビジョン処理を行い、他の車両、歩行者、車線標示、交通標識、信号機、および他の道路地物を検出してよい。さらに、第２処理デバイスは、カメラ変位を計算し、その変位に基づいて、連続する画像間の画素の視差を計算して、シーンの３Ｄ復元図（例えば、ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ：ＳｆＭ）を作成してよい。第２処理デバイスは、ステレオ３Ｄ画像と組み合わされるＳｆＭベースの３Ｄ復元図を第１処理デバイスに送ってよい。
第３処理デバイスは、広ＦＯＶのカメラから画像を受信し、その画像を処理して、車両、歩行者、車線標示、交通標識、信号機、および他の道路地物を検出してよい。第３処理デバイスはさらに、追加の処理命令を実行し、画像を分析して、車線を変更する車両、歩行者などといった画像内を移動する物体を識別してよい。
いくつかの実施形態では、画像ベースの情報のストリームが独立して取り込まれ且つ処理されるようにすることで、システムに冗長性をもたらす機会が提供され得る。そのような冗長性には、例えば、第１の画像取り込みデバイスおよび当該デバイスからの処理された画像を用いて、少なくとも第２の画像取り込みデバイスからの画像情報を取り込んで処理することにより取得された情報を確認する且つ／または補足することが含まれてよい。
いくつかの実施形態において、システム１００は、車両２００にナビゲーション支援を提供する際に、２つの画像取り込みデバイス（例えば、画像取り込みデバイス１２２および１２４）を用いてよく、また第３の画像取り込みデバイス（例えば、画像取り込みデバイス１２６）を用いて、冗長性を提供し、他の２つの画像取り込みデバイスから受信したデータの分析を確認してよい。例えば、そのような構成において、画像取り込みデバイス１２２および１２４は、車両２００をナビゲートするために、システム１００によるステレオ分析用に画像を提供してよく、その一方で、画像取り込みデバイス１２６は、システム１００による単眼分析用に画像を提供して、画像取り込みデバイス１２２および／または画像取り込みデバイス１２４から取り込まれた画像に基づいて取得された情報の冗長性および有効性を提供してよい。すなわち、画像取り込みデバイス１２６（および対応する処理デバイス）は、画像取り込みデバイス１２２および１２４から得られた分析に対してチェックを提供するための冗長サブシステムを提供する（例えば、自動緊急ブレーキ（ＡＥＢ）システムを提供する）とみなされてよい。さらに、いくつかの実施形態では、受信したデータの冗長性および有効性が、１つまたは複数のセンサから受信した情報（例えば、レーダ、ＬＩＤＡＲ、音響センサ、車両の外側にある１つまたは複数の送受信機から受信した情報など）に基づいて補足されてよい。
当業者であれば、上記のカメラ構成、カメラの配置、カメラの数、カメラの位置などは、単なる例であることを認識するであろう。全体的なシステムに対して説明されたこれらの構成要素などは、開示する実施形態の範囲から逸脱することなく、様々な異なる構成で編成され且つ用いられてよい。運転者支援および／または自動運転車機能を提供するマルチカメラシステムの使用に関するさらなる詳細が以下に続く。
図４は、メモリ１４０および／または１５０の例示的な機能ブロック図であり、これらは、開示する実施形態と矛盾しない１つまたは複数の動作を行うための命令と共に格納され／プログラムされてよい。以下ではメモリ１４０を参照するが、当業者であれば、命令がメモリ１４０および／または１５０に格納され得ることを認識するであろう。
図４に示すように、メモリ１４０は、単眼画像分析モジュール４０２、ステレオ画像分析モジュール４０４、速度加速度モジュール４０６、およびナビゲーション応答モジュール４０８を格納してよい。開示する実施形態は、メモリ１４０のいかなる特定の構成にも限定されない。さらに、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、メモリ１４０に含まれるモジュール４０２、４０４、４０６、および４０８のうちのいずれかに格納された命令を実行してよい。当業者であれば、以下の説明における処理ユニット１１０への言及が、アプリケーションプロセッサ１８０および画像プロセッサ１９０を個々にまたは集合的に指し得ることを理解するであろう。したがって、以下のプロセスのうちのいずれかの各段階が、１つまたは複数の処理デバイスによって行われてよい。
一実施形態において、単眼画像分析モジュール４０２は命令（コンピュータビジョンソフトウェアなど）を格納してよく、この命令は、処理ユニット１１０により実行されると、画像取り込みデバイス１２２、１２４、および１２６のうちの１つによって取得された画像のセットの単眼画像分析を行う。いくつかの実施形態において、処理ユニット１１０は、画像のセットからの情報と、追加の知覚情報（例えば、レーダ、ＬＩＤＡＲなどからの情報）とを組み合わせて単眼画像分析を行ってよい。図５Ａ～図５Ｄに関連して以下に説明するように、単眼画像分析モジュール４０２は、画像のセット内にある、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物、および車両の環境に関連する任意の他の特徴といった特徴のセットを検出するための命令を含んでよい。分析に基づいて、システム１００（例えば、処理ユニット１１０）は、ナビゲーション応答モジュール４０８に関連して以下で論じるように、車両２００において１つまたは複数のナビゲーション応答、例えば、旋回、車線移動、および加速の変更などを生じさせてよい。
一実施形態において、ステレオ画像分析モジュール４０４は命令（コンピュータビジョンソフトウェアなど）を格納してよく、この命令は、処理ユニット１１０により実行されると、画像取り込みデバイス１２２、１２４、および１２６のうちのいずれかから選択された画像取り込みデバイスの組み合わせにより取得された第１セットおよび第２セットの画像のステレオ画像分析を行う。いくつかの実施形態において、処理ユニット１１０は、第１セットおよび第２セットの画像からの情報と、追加の知覚情報（例えば、レーダからの情報）とを組み合わせて、ステレオ画像分析を行ってよい。例えば、ステレオ画像分析モジュール４０４は、画像取り込みデバイス１２４により取得された第１セットの画像と、画像取り込みデバイス１２６により取得された第２セットの画像とに基づいて、ステレオ画像分析を行うための命令を含んでよい。図６に関連して以下で説明するように、ステレオ画像分析モジュール４０４は、第１セットおよび第２セットの画像内にある、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、および危険物などといった特徴のセットを検出するための命令を含んでよい。分析に基づいて、処理ユニット１１０は、ナビゲーション応答モジュール４０８に関連して以下で論じるように、車両２００において１つまたは複数のナビゲーション応答、例えば、旋回、車線移動、および加速の変更などを生じさせてよい。さらに、いくつかの実施形態において、ステレオ画像分析モジュール４０４は、訓練システム（ニューラルネットワークまたはディープニューラルネットワークなど）または未訓練システム（コンピュータビジョンアルゴリズムを用いて、知覚情報が取り込まれて処理された環境内の物体を検出する且つ／またはラベルを付けるように構成され得るシステムなど）に関連する手法を実施してよい。一実施形態において、ステレオ画像分析モジュール４０４および／または他の画像処理モジュールは、訓練システムと未訓練システムとの組み合わせを用いるように構成されてよい。
一実施形態において、速度加速度モジュール４０６は、車両２００内の１つまたは複数のコンピューティング電気機械的デバイスであって、車両２００の速度および／または加速度に変化を起こさせるように構成された１つまたは複数のコンピューティング電気機械的デバイスから受信したデータを分析するように構成されたソフトウェアを格納してよい。例えば、処理ユニット１１０は、速度加速度モジュール４０６に関連する命令を実行し、単眼画像分析モジュール４０２および／またはステレオ画像分析モジュール４０４の実行から得られたデータに基づいて、車両２００の目標速度を計算してよい。そのようなデータには、例えば、目標位置、速度および／または加速度、近くの車両、歩行者、または道路地物に対する車両２００の位置および／または速度、並びに道路の車線標示に対する車両２００の位置情報などが含まれてよい。さらに、処理ユニット１１０は、知覚入力（例えば、レーダからの情報）と、車両２００の他のシステム、例えば、車両２００のスロットル装置２２０、ブレーキ装置２３０、および／または操縦装置２４０からの入力とに基づいて、車両２００の目標速度を計算してよい。計算した目標速度に基づいて、処理ユニット１１０は、車両２００のスロットル装置２２０、ブレーキ装置２３０、および／または操縦装置２４０に電子信号を送信し、例えば、車両２００のブレーキを物理的に踏み込むか、またはアクセルを緩めることにより、速度および／または加速度の変化を引き起こしてよい。
一実施形態において、ナビゲーション応答モジュール４０８は、処理ユニット１１０が単眼画像分析モジュール４０２および／またはステレオ画像分析モジュール４０４の実行から得られたデータに基づいて所望のナビゲーション応答を決定するように実行可能なソフトウェアを格納してよい。そのようなデータには、近くの車両、歩行者、および道路地物に関連する位置情報および速度情報、並びに車両２００の目標位置情報などが含まれてよい。さらに、いくつかの実施形態において、ナビゲーション応答は、マップデータ、車両２００の所定の位置、並びに／または車両２００と単眼画像分析モジュール４０２および／もしくはステレオ画像分析モジュール４０４の実行から検出された１つまたは複数の物体との間の相対速度または相対加速度に（部分的にまたは完全に）基づいてよい。ナビゲーション応答モジュール４０８は、知覚入力（例えば、レーダからの情報）と車両２００の他のシステム（車両２００のスロットル装置２２０、ブレーキ装置２３０、および／または操縦装置２４０など）からの入力とに基づいて、所望のナビゲーション応答を決定してもよい。所望のナビゲーション応答に基づいて、処理ユニット１１０は、車両２００のスロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０に電子信号を送信し、例えば、車両２００のハンドルを回して所定の角度の回転を達成することにより、所望のナビゲーション応答を引き起こしてよい。いくつかの実施形態において、処理ユニット１１０は、ナビゲーション応答モジュール４０８の出力（例えば、所望のナビゲーション応答）を、車両２００の速度の変化を計算するために速度加速度モジュール４０６を実行するための入力として用いてよい。
さらに、本明細書で開示するモジュール（例えば、モジュール４０２、４０４、および４０６）のうちのいずれかが、訓練システム（ニューラルネットワークまたはディープニューラルネットワークなど）または未訓練システムに関連する手法を実施してよい。
図５Ａは、開示する実施形態と矛盾しない、単眼画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス５００Ａを示すフローチャートである。段階５１０において、処理ユニット１１０が処理ユニット１１０と画像取得ユニット１２０との間のデータインタフェース１２８を介して複数の画像を受信してよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２を有する画像取り込みデバイス１２２など）が、車両２００の前方（または、例えば車両の側方または後方）の領域についての複数の画像を取り込み、これらの画像をデータ接続（例えば、デジタル、有線、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。処理ユニット１１０は、図５Ｂ～図５Ｄに関連して以下でさらに詳細に説明されるように、段階５２０で、単眼画像分析モジュール４０２を実行して複数の画像を分析してよい。分析を行うことで、処理ユニット１１０は、画像のセット内の特徴のセット、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、および信号機などを検出してよい。
処理ユニット１１０は、段階５２０において、単眼画像分析モジュール４０２を実行して、例えば、トラックのタイヤの一部、落下した道路標識、緩んだ貨物、および小動物などといった様々な道路障害物も検出してよい。道路障害物は、構造、形状、サイズ、および色が異なり得るため、そのような危険要素の検出がより難しいものになる場合がある。いくつかの実施形態において、処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、複数の画像に対してマルチフレーム分析を行い、道路障害物を検出してよい。例えば、処理ユニット１１０は、連続した画像フレーム間のカメラの動きを推定し、フレーム間の画素の視差を計算して道路の３Ｄマップを構築してよい。処理ユニット１１０は次に、３Ｄマップを用いて、路面と路面上に存在する危険要素とを検出してよい。
段階５３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、段階５２０で行われた分析と図４に関連して上述した手法とに基づき、車両２００において１つまたは複数のナビゲーション応答を発生させてよい。ナビゲーション応答には、例えば、旋回、車線移動、および加速度の変更などが含まれてよい。いくつかの実施形態において、処理ユニット１１０は、速度加速度モジュール４０６の実行から得られたデータを用いて、１つまたは複数のナビゲーション応答を発生させてよい。さらに、複数のナビゲーション応答が同時に、順番に、またはそのあらゆる組み合わせで生じてよい。例えば、処理ユニット１１０は、例えば、車両２００の操縦装置２４０およびスロットル装置２２０に制御信号を順次送信することにより、車両２００を、１つの車線を横切って移動させて次いで加速させることができる。あるいは、処理ユニット１１０は、例えば、車両２００のブレーキ装置２３０および操縦装置２４０に制御信号を同時に送信することにより、車両２００にブレーキをかけさせながら、同時に車線を移動させることができる。
図５Ｂは、開示する実施形態と矛盾しない、画像のセットに含まれる１つもしくは複数の車両および／または１人もしくは複数の歩行者を検出するための、例示的なプロセス５００Ｂを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｂを実施してよい。段階５４０において、処理ユニット１１０は、可能性のある車両および／または歩行者を表す候補物体のセットを決定してよい。例えば、処理ユニット１１０は、１つまたは複数の画像をスキャンし、その画像と１つまたは複数の所定のパターンとを比較し、関心のある物体（例えば、車両、歩行者、またはその一部）を含み得る、可能性のある場所を各画像内で識別してよい。所定のパターンは、高確率の「誤検知（ｆａｌｓｅ ｈｉｔ）」および低確率の「見逃し（ｍｉｓｓ）」を達成するようなやり方で設計されてよい。例えば、処理ユニット１１０は、可能性のある車両または歩行者として候補物体を識別するために、所定のパターンとの類似性に低い閾値を用いてよい。そうすることで、処理ユニット１１０が車両または歩行者を表す候補物体を見逃す（例えば、識別しない）確率を低減することが可能になり得る。
段階５４２では、処理ユニット１１０は、候補物体のセットをフィルタにかけて、分類基準に基づいて特定の候補（例えば、無関係または関連性があまりない物体）を排除してよい。そのような基準は、データベース（例えば、メモリ１４０に格納されたデータベース）に格納された物体のタイプに関連する様々な特性から得られてよい。これらの特性には、物体形状、寸法、テクスチャ、および位置（例えば、車両２００に対する位置）などが含まれてよい。したがって、処理ユニット１１０は、１つまたは複数のセットの基準を用いて、候補物体のセットから間違った候補を排除してよい。
段階５４４では、処理ユニット１１０は、画像の複数のフレームを分析して、候補物体のセットに含まれる物体が車両および／または歩行者を表しているかどうかを判定してよい。例えば、処理ユニット１１０は、検出された候補物体を連続したフレーム全体を通して追跡し、検出された物体に関連するフレームごとのデータ（例えば、サイズ、車両２００に対する位置など）を累積してよい。さらに、処理ユニット１１０は、検出された物体のパラメータを推定し、当該物体のフレームごとの位置データと、予測した位置とを比較してよい。
段階５４６では、処理ユニット１１０は、検出された物体の測定値のセットを構築してよい。そのような測定値には、例えば、検出された物体に関連する（車両２００に対する）位置、速度、および加速度値が含まれてよい。いくつかの実施形態において、処理ユニット１１０は、カルマンフィルタもしくは線形２次推定（ＬＱＥ）などの一連の時間ベースの観測結果を用いる推定手法に基づいて、且つ／または様々な物体のタイプ（例えば、自動車、トラック、歩行者、自転車、道路標識など）に利用可能なモデル化データに基づいて、測定値を構築してよい。カルマンフィルタは、物体のスケールの測定値に基づいてよく、スケール測定値は、衝突までの時間（例えば、車両２００が物体に到達するまでの時間）に比例する。したがって、段階５４０～５４６を行うことで、処理ユニット１１０は、取り込まれた画像のセット内に現れる車両および歩行者を識別し、その車両および歩行者に関連する情報（例えば、位置、速度、サイズ）を得ることができる。この識別および得られた情報に基づいて、処理ユニット１１０は、図５Ａに関連して上で説明したように、車両２００において１つまたは複数のナビゲーション応答を発生させることができる。
段階５４８では、処理ユニット１１０は、「誤検知」を検出する確率と、車両または歩行者を表す候補物体を見逃す確率とを低減するために、１つまたは複数の画像のオプティカルフロー分析を行ってよい。オプティカルフロー分析とは、例えば、他の車両および歩行者に関連する１つまたは複数の画像における、車両２００に対する動きパターンの分析を指してよく、この動きパターンは路面の動きとは異なる。処理ユニット１１０は、異なる時間に取り込まれた複数の画像フレーム全体を通して、物体の様々な位置を観測することにより、候補物体の動きを計算してよい。処理ユニット１１０は、位置および時間の値を、候補物体の動きを計算する数学モデルへの入力として用いてよい。したがって、オプティカルフロー分析は、車両２００の近くの車両および歩行者を検出する別の方法を提供し得る。処理ユニット１１０は、段階５４０～５４６と組み合わせてオプティカルフロー分析を行い、車両および歩行者の検出に冗長性を与え、システム１００の信頼性を高めることができる。
図５Ｃは、開示する実施形態と矛盾しない、画像のセットに含まれる道路標示および／または車線の幾何構造情報を検出するための、例示的なプロセス５００Ｃを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｃを実施してよい。段階５５０において、処理ユニット１１０は、１つまたは複数の画像をスキャンすることで、物体のセットを検出してよい。車線標示、車線の幾何構造情報、および他の関連する道路標示のセグメントを検出するために、処理ユニット１１０は、物体のセットをフィルタにかけて、無関係であると判定されたもの（例えば、小さいくぼみ、小石など）を排除してよい。段階５５２において、処理ユニット１１０は、段階５５０で検出された、同じ道路標示または車線標示に属するセグメントを一緒にグループ化してよい。このグループ化に基づいて、処理ユニット１１０は、検出されたセグメントを表す数学モデルなどのモデルを発展させてよい。
段階５５４において、処理ユニット１１０は、検出されたセグメントに関連する測定値のセットを構築してよい。いくつかの実施形態において、処理ユニット１１０は、検出されたセグメントの、画像平面から実際の平面上への投影図を作成してよい。この投影図は、検出された道路の位置、傾き、曲率、および曲率微分などの物理的特性に対応する係数を有する３次多項式を用いることを特徴とし得る。投影図を生成する際に、処理ユニット１１０は、路面の変化、および車両２００に関連するピッチレートおよびロールレートを考慮してよい。さらに、処理ユニット１１０は、位置および路面上に存在するモーションキューを分析することで、道路標高をモデル化してよい。さらに、処理ユニット１１０は、１つまたは複数の画像内の特徴点のセットを追跡することにより、車両２００に関連するピッチレートおよびロールレートを推定してよい。
段階５５６において、処理ユニット１１０は、例えば、検出されたセグメントを連続した画像フレーム全体を通して追跡して、検出されたセグメントに関連するフレームごとのデータを累積することにより、マルチフレーム分析を行ってよい。処理ユニット１１０がマルチフレーム分析を行うと、段階５５４で構築された測定値のセットは、より信頼できるようになり、次第に高い信頼度に関連づけられるようになるであろう。したがって、段階５５０、５５２、５５４、および５５６を行うことで、処理ユニット１１０は、取り込まれた画像のセット内に現れる道路標示を識別し、車線の幾何構造情報を得ることができる。この識別および得られた情報に基づいて、処理ユニット１１０は、図５Ａに関連して上で説明したように、車両２００において１つまたは複数のナビゲーション応答を発生させることができる。
段階５５８において、処理ユニット１１０は、車両２００の安全モデルを、その周囲にあるものとの関連でさらに発展させるために、追加の情報源を考慮してよい。処理ユニット１１０は、安全モデルを用いて、システム１００が車両２００の自動制御を安全な方式で実行し得る状況を定義してよい。安全モデルを発展させるために、いくつかの実施形態において、処理ユニット１１０は、他の車両の位置および動き、検出された道路エッジおよび道路障壁、並びに／またはマップデータ（マップデータベース１６０のデータなど）から抽出された一般的な道路形状描写を考慮してよい。追加の情報源を考慮することで、処理ユニット１１０は、道路標示および車線の幾何構造の検出に冗長性を与え、システム１００の信頼性を高めることができる。
図５Ｄは、開示する実施形態と矛盾しない、画像のセットに含まれる信号機を検出するための、例示的なプロセス５００Ｄを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｄを実施してよい。段階５６０において、処理ユニット１１０は、画像のセットをスキャンして、信号機を含む可能性がある画像内の位置に現れる物体を識別してよい。例えば、処理ユニット１１０は、候補物体のセットを構築するために、識別した物体をフィルタにかけて、信号機に対応する可能性が低い物体を排除してよい。このフィルタリングは、形状、寸法、テクスチャ、および位置（例えば、車両２００に対する位置）などといった、信号機に関連する様々な特性に基づいて行われてよい。そのような特性は、信号機および交通管制信号の複数の例に基づいてよく、データベースに格納されてよい。いくつかの実施形態において、処理ユニット１１０は、可能性のある信号機を反映した候補物体のセットに対してマルチフレーム分析を行ってよい。例えば、処理ユニット１１０は、連続した画像フレーム全体を通して候補物体を追跡し、候補物体の実際の位置を推定し、移動している物体（信号機である可能性が低い物体）を除外してよい。いくつかの実施形態において、処理ユニット１１０は、候補物体に対して色分析を行い、可能性のある信号機の内側に現れる検出された色の相対位置を識別してよい。
段階５６２において、処理ユニット１１０は、交差点の幾何構造を分析してよい。この分析は、（ｉ）車両２００の両側で検出された車線の数、（ｉｉ）道路上で検出された標示（矢印標示など）、および（ｉｉｉ）マップデータ（マップデータベース１６０のデータなど）から抽出された交差点の記述のあらゆる組み合わせに基づいてよい。処理ユニット１１０は、単眼分析モジュール４０２の実行から得られた情報を用いて分析を行ってよい。さらに、処理ユニット１１０は、段階５６０で検出された信号機と車両２００の近くに現れる車線との対応関係を特定してよい。
車両２００が交差点に近づくと、段階５６４において、処理ユニット１１０は、分析した交差点の幾何構造と検出された信号機とに関連する信頼度を更新してよい。例えば、交差点に現れると推定した信号機の数は、交差点に実際に現れる数と比較すると、信頼度に影響を与え得る。したがって、信頼度に基づいて、処理ユニット１１０は、安全条件を向上させるために、制御権を車両２００の運転者に委ねてよい。段階５６０、５６２、および５６４を行うことで、処理ユニット１１０は、取り込まれた画像のセット内に現れる信号機を識別し、交差点の幾何構造情報を分析してよい。この識別および分析に基づいて、処理ユニット１１０は、図５Ａに関連して上で説明したように、車両２００において１つまたは複数のナビゲーション応答を発生させることができる。
図５Ｅは、開示する実施形態と矛盾しない、車両経路に基づいて車両２００において１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス５００Ｅを示すフローチャートである。段階５７０において、処理ユニット１１０は、車両２００に関連する初期車両経路を構築してよい。この車両経路は、座標（ｘ，ｚ）で表現される点のセットを用いて表されてよく、これらの点のセット内の２点間の距離ｄｉは、１～５メートルの範囲に含まれ得る。一実施形態において、処理ユニット１１０は、２つの多項式、例えば、左右の道路多項式を用いて初期車両経路を構築してよい。処理ユニット１１０は、２つの多項式間の幾何中点を計算し、オフセットがもしあれば（ゼロのオフセットは車線の中央を走行していることに対応し得る）、結果として生じる車両経路に含まれる各点を所定のオフセット（例えば、スマート車線オフセット）だけずらしてよい。このオフセットは、車両経路内の任意の２点間のセグメントに対して垂直な方向に存在し得る。別の実施形態において、処理ユニット１１０は、１つの多項式と推定した車線幅とを用いて、車両経路の各点を、推定した車線幅の半分に所定のオフセット（例えば、スマート車線オフセット）を加えた分だけずらしてよい。
段階５７２において、処理ユニット１１０は、段階５７０で構築した車両経路を更新してよい。処理ユニット１１０は、段階５７０で構築した車両経路を高い解像度を用いて再構築してよく、これにより、車両経路を表す点のセット内の２点間の距離ｄｋは上述した距離ｄｉより小さくなる。例えば、距離ｄｋは、０．１～０．３メートルの範囲に含まれ得る。処理ユニット１１０は、放物線スプラインアルゴリズムを用いて車両経路を再構築してよく、これにより、車両経路の全長に対応する（すなわち、車両経路を表す点のセットに基づく）累積距離ベクトルＳがもたらされ得る。
段階５７４において、処理ユニット１１０は、段階５７２で構築した更新後の車両経路に基づいて、（座標（ｘｌ，ｚｌ）として表現される）ルックアヘッド点を決定してよい。処理ユニット１１０は累積距離ベクトルＳからルックアヘッド点を抽出してよく、ルックアヘッド点はルックアヘッド距離およびルックアヘッド時間に関連づけられてよい。ルックアヘッド距離は、１０～２０メートルの範囲にある下限値を有してよく、車両２００の速度とルックアヘッド時間との積として計算されてよい。例えば、車両２００の速度が低下すると、ルックアヘッド距離も（例えば、下限値に到達するまで）減少し得る。ルックアヘッド時間は、０．５～１．５秒の範囲にあってよく、車両２００においてナビゲーション応答を発生させることに関連する１つまたは複数の制御ループ（方位誤差追跡制御ループなど）のゲインに反比例し得る。例えば、方位誤差追跡制御ループのゲインは、ヨーレートループの帯域幅、ステアリングアクチュエータループ、および自動車の横方向の力学などに依存し得る。したがって、方位誤差追跡制御ループのゲインが高いほど、ルックアヘッド時間が短くなる。
段階５７６において、処理ユニット１１０は、段階５７４で決定したルックアヘッド点に基づいて、方位誤差およびヨーレートコマンドを決定してよい。処理ユニット１１０は、ルックアヘッド点の逆正接、例えばａｒｃｔａｎ（ｘｌ／ｚｌ）を計算することにより、方位誤差を決定してよい。処理ユニット１１０は、方位誤差と高レベル制御ゲインとの積として、ヨーレートコマンドを決定してよい。高レベル制御ゲインは、ルックアヘッド距離が下限値にない場合には、（２／［ルックアヘッド時間］）に等しくなり得る。そうでない場合には、高レベル制御ゲインは、（２×［車両２００の速度］／［ルックアヘッド距離］）に等しくなり得る。
図５Ｆは、開示する実施形態と矛盾しない、先行車両が車線を変更中であるかどうかを判定するための、例示的なプロセス５００Ｆを示すフローチャートである。段階５８０において、処理ユニット１１０は、先行車両（例えば、車両２００の前方を走行する車両）に関連するナビゲーション情報を特定してよい。例えば、処理ユニット１１０は、先行車両の位置、速度（例えば、方向および速度）、および／または加速度を、図５Ａおよび図５Ｂに関連して上で説明した手法を用いて決定してよい。処理ユニット１１０は、図５Ｅに関連して上で説明された手法を用いて、１つまたは複数の道路多項式、（車両２００に関連する）ルックアヘッド点、および／またはスネイルトレイル（例えば、先行車両が通った経路を記述する点のセット）を決定してもよい。
段階５８２において、処理ユニット１１０は、段階５８０で特定したナビゲーション情報を分析してよい。一実施形態において、処理ユニット１１０は、スネイルトレイルと道路多項式との間の（例えば、トレイルに沿った）距離を計算してよい。トレイルに沿ったこの距離の分散が所定の閾値（例えば、直線道路では０．１～０．２メートル、緩やかなカーブの道路では０．３～０．４メートル、および急なカーブの道路では０．５～０．６メートル）を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。複数の車両が車両２００の前方を走行していることが検出された場合、処理ユニット１１０は、各車両に関連するスネイルトレイルを比較してよい。この比較に基づいて、処理ユニット１１０は、スネイルトレイルが他の車両のスネイルトレイルと一致しない車両がおそらく車線を変更中であると判定してよい。処理ユニット１１０はさらに、（先行車両に関連する）スネイルトレイルの曲率と、先行車両が走行している道路セグメントの予期される曲率とを比較してよい。予期される曲率は、マップデータ（例えば、マップデータベース１６０からのデータ）、道路多項式、他の車両のスネイルトレイル、および道路に関する予備知識などから抽出されてよい。スネイルトレイルの曲率と道路セグメントの予期される曲率との差異が所定の閾値を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。
別の実施形態において、処理ユニット１１０は、先行車両の瞬時位置と（車両２００に関連する）ルックアヘッド点とを特定の期間（例えば、０．５～１．５秒）にわたって比較してよい。先行車両の瞬時位置とルックアヘッド点との間の距離が特定の期間の間に変化し、且つ変化量の累積合計が所定の閾値（例えば、直線道路では０．３～０．４メートル、緩やかなカーブの道路では０．７～０．８メートル、また急なカーブの道路では１．３～１．７メートル）を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。別の実施形態において、処理ユニット１１０は、トレイルに沿った横方向移動距離とスネイルトレイルの予期される曲率とを比較することにより、スネイルトレイルの幾何構造を分析してよい。予期される曲率半径は、（δｚ ２＋δｘ ２）／２／（δｘ）という計算に従って求められてよい。ここで、δｘは横方向移動距離を表しており、δｚは縦方向移動距離を表している。横方向移動距離と予期される曲率との差異が所定の閾値（例えば、５００～７００メートル）を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。別の実施形態において、処理ユニット１１０は先行車両の位置を分析してよい。先行車両の位置が道路多項式を見えなくさせている（例えば、先行車両が道路多項式の上に重ねられている）場合、処理ユニット１１０は次いで、先行車両がおそらく車線を変更中であると判定してよい。先行車両の前方に別の車両が検出され、２つの車両のスネイルトレイルが平行ではないというような先行車両の位置の場合、処理ユニット１１０は、（近い方の）先行車両がおそらく車線を変更中であると判定してよい。
段階５８４において、処理ユニット１１０は、段階５８２で行われた分析に基づいて、先行車両２００が車線を変更中であるか否かを判定してよい。例えば、処理ユニット１１０は、段階５８２で行われた個々の分析の加重平均に基づいて、判定を行ってよい。そのような方式では、例えば、特定のタイプの分析に基づいた、先行車両がおそらく車線を変更中であるとの処理ユニット１１０による判定には、「１」の値が割り当てられてよい（「０」は、先行車両がおそらく車線を変更中ではないとの判定を表す）。段階５８２で行われる様々な分析には異なる重みが割り当てられてよく、開示する実施形態は、分析および重みのいかなる特定の組み合わせにも限定されない。
図６は、開示する実施形態と矛盾しない、ステレオ画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス６００を示すフローチャートである。段階６１０において、処理ユニット１１０は、データインタフェース１２８を介して第１および第２の複数の画像を受信してよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２および２０４を有する画像取り込みデバイス１２２および１２４など）が、車両２００の前方の領域の第１および第２の複数の画像を取り込み、これらの画像をデジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。いくつかの実施形態において、処理ユニット１１０は、第１および第２の複数の画像を２つまたはそれより多くのデータインタフェースを介して受信してよい。開示する実施形態は、いかなる特定のデータインタフェース構成またはプロトコルにも限定されない。
段階６２０において、処理ユニット１１０はステレオ画像分析モジュール４０４を実行して、第１および第２の複数の画像のステレオ画像分析を行い、車両の前方の道路の３Ｄマップを作成し、これらの画像内の特徴、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、および道路障害物などを検出してよい。ステレオ画像分析は、図５Ａ～図５Ｄに関連して上で説明した段階と同様の方式で行われてよい。例えば、処理ユニット１１０は、ステレオ画像分析モジュール４０４を実行して、第１および第２の複数の画像内の候補物体（例えば、車両、歩行者、道路標示、信号機、道路障害物など）を検出し、様々な基準に基づいて候補物体のサブセットを除外し、さらにマルチフレーム分析を行い、測定値を構築し、残りの候補物体の信頼度を特定してよい。上記の段階を行う際に、処理ユニット１１０は、１つのセットの画像だけからの情報ではなくむしろ、第１および第２の複数の画像の双方からの情報を考慮してよい。例えば、処理ユニット１１０は、第１および第２の複数の画像の双方に現れる候補物体の画素レベルのデータ（または、取り込まれた画像の２つのストリームのうちの他のデータサブセット）における差異を分析してよい。別の例として、処理ユニット１１０は、（例えば、車両２００に対する）候補物体の位置および／または速度を、その物体が複数の画像のうちの１つに現れるが、その他の画像には現れないことを観測することにより推定してもよく、２つの画像ストリームがある場合に現れる物体に関連して存在し得る他の差異と比較して推定してよい。例えば、車両２００に対する位置、速度、および／または加速度が、２つの画像ストリームの一方または両方に現れる物体に関連する特徴の軌跡、位置、運動特性などに基づいて決定されてよい。
段階６３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、段階６２０で行われた分析と図４に関連して上述した手法とに基づき、車両２００において１つまたは複数のナビゲーション応答を発生させてよい。ナビゲーション応答には、例えば、旋回、車線移動、加速度の変更、速度の変更、およびブレーキなどが含まれてよい。いくつかの実施形態において、処理ユニット１１０は、速度加速度モジュール４０６の実行から得られたデータを用いて、１つまたは複数のナビゲーション応答を発生させてよい。さらに、複数のナビゲーション応答が同時に、順番に、またはそのあらゆる組み合わせで生じてよい。
図７は、開示する実施形態と矛盾しない、３つのセットの画像の分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス７００を示すフローチャートである。段階７１０において、処理ユニット１１０は、データインタフェース１２８を介して第１、第２、および第３の複数の画像を受信してよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２、２０４、および２０６を有する画像取り込みデバイス１２２、１２４、および１２６など）が、車両２００の前方および／または側方の領域の第１、第２、および第３の複数の画像を取り込み、これらの画像をデジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。いくつかの実施形態において、処理ユニット１１０は、第１、第２、および第３の複数の画像を３つまたはそれより多くのデータインタフェースを介して受信してよい。例えば、画像取り込みデバイス１２２、１２４、１２６の各々は、処理ユニット１１０にデータを通信するための関連データインタフェースを有してよい。開示する実施形態は、いかなる特定のデータインタフェース構成またはプロトコルにも限定されない。
段階７２０において、処理ユニット１１０は、第１、第２、および第３の複数の画像を分析して、これらの画像内の特徴、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、および道路障害物などを検出してよい。この分析は、図５Ａ～図５Ｄおよび図６に関連して上で説明した段階と同様の方式で行われてよい。例えば、処理ユニット１１０は、（例えば、単眼画像分析モジュール４０２の実行によって、且つ図５Ａ～図５Ｄに関連して上で説明した段階に基づいて）第１、第２、および第３の複数の画像の各々に対して単眼画像分析を行ってよい。あるいは、処理ユニット１１０は、（例えば、ステレオ画像分析モジュール４０４の実行によって、且つ図６に関連して上で説明した段階に基づいて）第１および第２の複数の画像、第２および第３の複数の画像、並びに／または第１および第３の複数の画像に対してステレオ画像分析を行ってよい。第１、第２、および／または第３の複数の画像の分析に対応する処理済み情報は、組み合わされてよい。いくつかの実施形態において、処理ユニット１１０は、単眼画像分析とステレオ画像分析との組み合わせを行ってよい。例えば、処理ユニット１１０は、（例えば、単眼画像分析モジュール４０２の実行によって）第１の複数の画像に対して単眼画像分析を行い、（例えば、ステレオ画像分析モジュール４０４の実行によって）第２および第３の複数の画像に対してステレオ画像分析を行ってよい。画像取り込みデバイス１２２、１２４、および１２６の構成（それぞれの位置および視野２０２、２０４および２０６を含む）は、第１、第２、および第３の複数の画像に対して行われる分析のタイプに影響を与え得る。開示する実施形態は、画像取り込みデバイス１２２、１２４、および１２６の特定の構成、または第１、第２、および第３の複数の画像に対して行われる分析のタイプに限定されない。
いくつかの実施形態において、処理ユニット１１０は、段階７１０および７２０で取得され且つ分析された画像に基づいて、システム１００に対して試験を行ってよい。そのような試験は、画像取り込みデバイス１２２、１２４、および１２６の特定の構成に対して、システム１００の全体的な性能の指標を与え得る。例えば、処理ユニット１１０は、「誤検知」（例えば、システム１００が車両または歩行者の存在を間違って判定した場合）および「見逃し」の割合を求めてよい。
段階７３０において、処理ユニット１１０は、第１、第２、および第３の複数の画像のうちの２つから得られた情報に基づいて、車両２００において１つまたは複数のナビゲーション応答を発生させてよい。第１、第２、および第３の複数の画像のうちの２つの選択は、様々な要因、例えば、複数の画像の各々で検出される物体の数、タイプ、およびサイズなどに依存し得る。処理ユニット１１０は、画質および解像度、画像に反映された有効視野、取り込まれたフレームの数、１つまたは複数の関心のある物体が実際にフレームに現れる程度（例えば、物体が現れるフレームの割合、そのような各フレームに現れる物体の割合など）などに基づいて選択を行ってもよい。
いくつかの実施形態において、処理ユニット１１０は、第１、第２、および第３の複数の画像のうちの２つから得られる情報を、ある画像ソースから得られた情報が他の画像ソースから得られた情報と一致する程度を特定することにより選択してよい。例えば、処理ユニット１１０は、画像取り込みデバイス１２２、１２４、および１２６の各々から得られた処理済みの情報を（単眼分析によるものであろうと、ステレオ分析によるものであろうと、この２つの任意の組み合わせによるものであろうと）組み合わせて、画像取り込みデバイス１２２、１２４、および１２６の各々から取り込まれた画像に一貫している視覚的指標（例えば、車線標示、検出された車両並びにその位置および／または経路、検出された信号機など）を特定してよい。処理ユニット１１０は、取り込まれた画像に一貫していない情報（例えば、車線を変更している車両、車両２００に近過ぎる車両を示す車線モデルなど）を排除してもよい。したがって、処理ユニット１１０は、一貫している情報および一貫していない情報という判定に基づいて、第１、第２、および第３の複数の画像のうちの２つから得られる情報を選択してよい。
ナビゲーション応答には、例えば、旋回、車線移動、および加速度の変更などが含まれてよい。処理ユニット１１０は、段階７２０で行われた分析と図４に関連して上述した手法とに基づいて、１つまたは複数のナビゲーション応答を発生させてよい。処理ユニット１１０は、速度加速度モジュール４０６の実行から得られたデータを用いて、１つまたは複数のナビゲーション応答を発生させてもよい。いくつかの実施形態において、処理ユニット１１０は、車両２００と第１、第２、および第３の複数の画像のうちのいずれかで検出された物体との相対位置、相対速度、および／または相対加速度に基づいて、１つまたは複数のナビゲーション応答を発生させてよい。複数のナビゲーション応答が同時に、順番に、またはその任意の組み合わせで行われてよい。
［自動運転車ナビゲーション用のスパース道路モデル］
いくつかの実施形態において、開示するシステムおよび方法は、自動運転車ナビゲーション用のスパースマップを用いてよい。具体的には、スパースマップは、道路セグメントに沿った自動運転車ナビゲーション用であってよい。例えば、スパースマップは、自動運転車をナビゲートするのに十分な情報を、大量のデータの格納および／または更新を行うことなく提供することができる。以下でさらに詳細に論じるように、自動運転車は、スパースマップを用い、格納された１つまたは複数の軌跡に基づいて１つまたは複数の道路をナビゲートすることができる。
［自動運転車ナビゲーション用のスパースマップ］
いくつかの実施形態において、開示するシステムおよび方法は、自動運転車ナビゲーション用のスパースマップを生成し得る。例えば、スパースマップは、過度のデータストレージまたはデータ転送レートを必要とすることなく、ナビゲーションに十分な情報を提供することができる。以下でさらに詳細に論じるように、車両（自動運転車であってよい）は、スパースマップを用いて１つまたは複数の道路をナビゲートすることができる。例えば、いくつかの実施形態において、スパースマップは、道路および場合によっては道路に沿うランドマークに関連するデータを含んでよく、このデータは車両ナビゲーションに十分かもしれないが、データフットプリントが小さいことも示している。例えば、以下で詳細に説明するスパースデータマップは、詳細なマップ情報（道路に沿って収集した画像データなど）を含むデジタルマップと比較すると、必要なストレージ領域およびデータ転送帯域幅が著しく少なくてよい。
例えば、スパースデータマップは、道路セグメントの詳細な表現を格納するのではなくむしろ、道路に沿った好ましい車両経路の３次元多項式表現を格納することができる。これらの経路は、データストレージ領域をほとんど必要としなくてよい。さらに、説明したスパースデータマップでは、ナビゲーションに役立つように、ランドマークが識別され、スパースマップ道路モデルに含まれてよい。これらのランドマークは、車両ナビゲーションを可能にするのに好適な任意の間隔で配置されてよいが、場合によっては、そのようなランドマークを識別したり、高密度且つ狭い間隔でモデルに含めたりする必要はない。むしろ、場合によっては、少なくとも５０メートル、少なくとも１００メートル、少なくとも５００メートル、少なくとも１キロメートル、または少なくとも２キロメートルの間隔を置いて配置したランドマークに基づいて、ナビゲーションが可能になり得る。他のセクションでより詳細に論じることになるが、スパースマップは、車両が車道に沿って走行するときに、様々なセンサおよびデバイス、例えば、画像取り込みデバイス、全地球測位システム用のセンサ、モーションセンサなどを備えた車両によって収集または測定されたデータに基づいて生成されてよい。場合によっては、スパースマップは、特定の車道に沿った１つまたは複数の車両の複数のドライブで収集されたデータに基づいて生成されてよい。１つまたは複数の車両の複数のドライブを用いてスパースマップを生成することは、スパースマップの「クラウドソーシング」と呼ばれることがある。
開示する実施形態と矛盾せずに、自動運転車システムがナビゲーション用のスパースマップを用いてよい。例えば、開示するシステムおよび方法は、自動運転車用の道路ナビゲーションモデルを生成するためにスパースマップを配信してよく、スパースマップおよび／または生成した道路ナビゲーションモデルを用いて、道路セグメントに沿って自動運転車をナビゲートしてよい。本開示と矛盾しないスパースマップには、自動運転車が関連する道路セグメントに沿って移動するときに通行し得る所定の軌跡を表し得る１つまたは複数の３次元等高線図が含まれてよい。
本開示と矛盾しないスパースマップには、１つまたは複数の道路特徴を表すデータも含まれてよい。そのような道路特徴には、認識済みのランドマーク、ロードシグネチャプロファイル、および車両をナビゲートするのに有用な任意の他の道路関連の特徴が含まれてよい。本開示と矛盾しないスパースマップによって、スパースマップに含まれる比較的少量のデータに基づく車両の自動ナビゲーションが可能になり得る。例えば、開示するスパースマップの実施形態は、道路エッジ、道路曲率、道路セグメントに関連する画像、または道路セグメントに関連する他の物理的特徴を詳述しているデータなどの道路の詳細な表現を含むのではなくむしろ、比較的少ないストレージ領域（およびスパースマップの各部分を車両に転送する場合には比較的少ない帯域幅）しか必要としなくてよいが、それでも、十分に自動運転車ナビゲーションを提供し得る。以下でさらに詳細に論じるが、開示するスパースマップの小さいデータフットプリントは、いくつかの実施形態では、少量のデータしか必要としないが、それでも自動ナビゲーションを可能とする道路関連要素の表現を格納することで達成され得る。
例えば、開示するスパースマップは、道路の様々な態様の詳細な表現を格納するのではなくむしろ、車両が道路に沿って進み得る１つまたは複数の軌跡の多項式表現を格納してよい。したがって、道路に沿ったナビゲーションを可能にするために、道路の物理的性質に関する詳細を格納する（または詳細を転送する必要がある）のではなくむしろ、開示するスパースマップを用いると、場合によっては、道路の物理的態様を解釈する必要がなく、むしろ車両の走行経路と特定の道路セグメントに沿った軌跡（例えば、多項式スプライン）とを揃えることにより、特定の道路セグメントに沿って車両をナビゲートすることができる。このように、車両は、主に格納された軌跡（例えば、多項式スプライン）に基づいてナビゲートされてよく、格納された軌跡は、車道画像、道路パラメータ、道路レイアウトなどの格納を必要とする手法よりもはるかに少ないストレージ領域しか必要としなくてよい。
道路セグメントに沿った軌跡についての格納された多項式表現に加えて、開示するスパースマップは、道路特徴を表し得るスモールデータオブジェクトも含んでよい。いくつかの実施形態において、スモールデータオブジェクトはデジタル署名を含んでよく、デジタル署名は、道路セグメントに沿って走行する車両に搭載されたセンサ（例えば、カメラ、またはサスペンションセンサなどの他のセンサ）により取得されたデジタル画像（またはデジタル信号）から得られる。デジタル署名は、センサにより取得された信号と比較してサイズが小さくてよい。いくつかの実施形態において、デジタル署名は、例えば、その後のドライブでセンサにより取得される信号からの道路特徴を検出して識別するように構成された分類器機能と互換性があるように作成されてよい。いくつかの実施形態において、デジタル署名は、デジタル署名ができるだけ小さいフットプリントを有すると共に、同じ道路セグメントに沿って走行する車両に搭載されたカメラにより次の機会に取り込まれる道路特徴の画像（または、格納された署名が画像に基づいていない且つ／または他のデータを含む場合には、センサにより生成されるデジタル信号）に基づいて、道路特徴を格納された署名に関連づけるまたは一致させる機能を保持するように作成されてよい。
いくつかの実施形態において、データオブジェクトのサイズはさらに、道路特徴の一意性に関連してよい。例えば、車両に搭載されたカメラにより検出可能な道路特徴について、車両に搭載されたカメラシステムが、当該道路特徴に対応する画像データを特定のタイプの道路特徴（例えば、道路標識）に関連しているものとして区別できる分類器に結合される場合、且つそのような道路標識が当該領域で局所的に一意である（例えば、全く同じ道路標識も、同じタイプの道路標識も近くにない）場合、道路特徴のタイプおよびその位置を示すデータを格納することで十分であろう。
以下でさらに詳細に論じられることになるが、道路特徴（例えば、道路セグメントに沿うランドマーク）は、比較的少ないバイト数で道路特徴を表し得るスモールデータオブジェクトとして格納されてよく、その一方で、同時に、そのような特徴をナビゲーション用に認識し且つ用いるのに十分な情報を提供し得る。一例において、道路標識が、車両のナビゲーションが根拠とし得る認識済みのランドマークとして識別されてよい。道路標識の表現がスパースマップに格納されてよく、スパースマップには、例えば、ランドマークのタイプ（例えば、一時停止標識）を示す数バイトのデータ、およびランドマークの位置（例えば、座標）を示す数バイトのデータが含まれる。ランドマークのそのようなデータライト表現に基づいてナビゲートすること（例えば、ランドマークに基づいて、位置特定を行い、認識し、ナビゲートするのに十分な表現を用いること）により、スパースマップに関連するデータオーバーヘッドを著しく増加させることなく、スパースマップに関連する所望のレベルのナビゲーション機能が提供され得る。ランドマーク（および他の道路特徴）のこの効率的な表現は、特定の道路特徴を検出し、識別し、且つ／または分類するように構成されるような車両に搭載されたセンサおよびプロセッサを利用してよい。
例えば、所与の領域において、標識または標識の特定のタイプでさえも局所的に一意である場合（例えば、他の標識もなく、同じタイプの他の標識もない場合）、スパースマップはランドマークのタイプ（標識または特定のタイプの標識）を示すデータを用いてよく、ナビゲーション（例えば、自動ナビゲーション）の際に、自動運転車に搭載されたカメラが標識（または特定のタイプの標識）を含む領域の画像を取り込むと、プロセッサは画像を処理し、標識を（実際に画像内に存在するならば）検出し、画像を標識として（または特定のタイプの標識として）分類し、画像の位置とスパースマップに格納された標識の位置とを関連づけてよい。
［スパースマップの生成］
いくつかの実施形態では、スパースマップが、道路セグメントに沿って延びる路面特徴に関する少なくとも１つのライン表現と、道路セグメントに関連する複数のランドマークとを含んでよい。特定の態様において、スパースマップは「クラウドソーシング」を介して、例えば、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像の画像分析によって生成されてよい。
図８は、１つまたは複数の車両、例えば、車両２００（これは、自動運転車であってよい）が自動運転車ナビゲーションを提供するためにアクセスし得るスパースマップ８００を示している。スパースマップ８００は、メモリ１４０または１５０などのメモリに格納されてよい。そのようなメモリデバイスは、任意のタイプの非一時的ストレージデバイスまたはコンピュータ可読媒体を含んでもよい。例えば、いくつかの実施形態において、メモリ１４０または１５０は、ハードドライブ、コンパクトディスク、フラッシュメモリ、磁気ベースのメモリデバイス、光ベースのメモリデバイスなどを含んでよい。いくつかの実施形態において、スパースマップ８００は、メモリ１４０もしくは１５０、または他のタイプのストレージデバイスに格納され得るデータベース（例えば、マップデータベース１６０）に格納されてよい。
いくつかの実施形態において、スパースマップ８００は、車両２００に搭載されたストレージデバイスまたは非一時的コンピュータ可読媒体（例えば、車両２００に搭載されたナビゲーションシステムに含まれるストレージデバイス）に格納されてよい。車両２００に設けられたプロセッサ（例えば、処理ユニット１１０）が、自動運転車２００が道路セグメントを通行するときに当該車両を誘導するためのナビゲーション命令を生成するために、車両２００に搭載されたストレージデバイスまたはコンピュータ可読媒体に格納されたスパースマップ８００にアクセスしてよい。
しかしながら、スパースマップ８００は、車両に対してローカルに格納される必要はない。いくつかの実施形態において、スパースマップ８００は、車両２００または車両２００に関連するデバイスと通信するリモートサーバに設けられたストレージデバイスまたはコンピュータ可読媒体に格納されてよい。車両２００に設けられたプロセッサ（例えば、処理ユニット１１０）は、スパースマップ８００に含まれるデータをリモートサーバから受信してよく、車両２００の自動運転を誘導するために、このデータを実行してよい。そのような実施形態において、リモートサーバは、スパースマップ８００の全て、またはその一部だけを格納してよい。これを受けて、車両２００に搭載された、および／もしくは、１つまたは複数の追加の車両に搭載されたストレージデバイスまたはコンピュータ可読媒体は、スパースマップ８００の１つまたは複数の残りの部分を格納してよい。
さらに、そのような実施形態では、様々な道路セグメントを通行する複数の車両（例えば、数十台、数百台、数千台、または数百万台の車両など）がスパースマップ８００にアクセスできるようにしてよい。スパースマップ８００は複数のサブマップを含んでよいことにも留意されたい。例えば、いくつかの実施形態において、スパースマップ８００は、車両をナビゲートする際に用いられ得る数百、数千、数百万、またはもっと多くのサブマップを含んでよい。そのようなサブマップはローカルマップと呼ばれることがあり、車道に沿って走行する車両が、車両が走行している場所に関連する任意の数のローカルマップにアクセスしてよい。スパースマップ８００のローカルマップ区域は、スパースマップ８００のデータベースの索引としての全球測位衛星システム（ＧＮＳＳ）キーと共に格納されてよい。したがって、本システムにおいてホスト車両をナビゲートするためのステアリング角の計算が、ホスト車両のＧＮＳＳの位置、道路特徴、またはランドマークに頼ることなく行われてよいが、そのようなＧＮＳＳの情報が関連するローカルマップの検索に用いられてもよい。
一般に、スパースマップ８００は、１つまたは複数の車両が車道に沿って走行するときに当該車両から収集されたデータに基づいて生成されてよい。例えば、１つまたは複数の車両に載せられたセンサ（例えば、カメラ、速度計、ＧＰＳ、加速度計など）を用いて、１つまたは複数の車両が車道に沿って走行する軌跡を記録することができ、この車道に沿ってその後に移動する車両の好ましい軌跡の多項式表現を、１つまたは複数の車両が走行し収集された軌跡に基づいて求めることができる。同様に、１つまたは複数の車両が収集したデータは、特定の車道沿いの可能性のあるランドマークを識別するのに役立ち得る。通行する車両から収集したデータは、道路プロファイル情報、例えば、道路幅プロファイル、道路凹凸プロファイル、車線間隔プロファイル、道路状態などを識別するためにも用いられてよい。収集した情報を用いて、スパースマップ８００は、１つまたは複数の自動運転車をナビゲートする際に用いるのに生成され、（例えば、ローカルストレージ用に、またはオンザフライ方式のデータ送信によって）配信されてよい。しかしながら、いくつかの実施形態では、マップ生成が、マップの初期生成で終了しないことがある。以下でより詳細に論じることになるが、スパースマップ８００は、車両がスパースマップ８００に含まれる車道を継続して通行するときに、当該車両から収集されたデータに基づいて、常にまたは定期的に更新されてよい。
スパースマップ８００に記録されるデータには、全地球測位システム（ＧＰＳ）データに基づく位置情報が含まれてよい。例えば位置情報は、例えば、ランドマークの位置、道路プロファイルの位置などを含む様々なマップ要素についてのスパースマップ８００に含まれてよい。スパースマップ８００に含まれるマップ要素の位置が、車道を通行する車両から収集されたＧＰＳデータを用いて取得されてよい。例えば、識別されたランドマークを通過する車両が、車両に関連するＧＰＳ位置情報と、車両に対する識別されたランドマークの位置の（例えば、車両に搭載された１つまたは複数のカメラから収集されたデータの画像分析に基づく）決定とを用いて、識別されたランドマークの位置を決定してよい。識別されたランドマーク（またはスパースマップ８００に含まれる任意の他の特徴）のそのような位置決定は、識別されたランドマークの位置をさらなる車両が通過するたびに繰り返されてよい。さらなる位置決定の一部または全部が、スパースマップ８００に格納されている識別されたランドマークに関する位置情報を微調整するのに用いられてよい。例えば、いくつかの実施形態では、スパースマップ８００に格納された特定の特徴に関する複数の位置測定値が、まとめて平均化されてよい。しかしながら、マップ要素について決定された複数の位置に基づいて、格納されたマップ要素の位置を微調整するのに、任意の他の数学的操作も用いてよい。
開示する実施形態のスパースマップにより、比較的少量の格納データを用いた車両の自動ナビゲーションが可能になり得る。いくつかの実施形態において、スパースマップ８００は、道路１キロメートル当たり２ＭＢ未満、道路１キロメートル当たり１ＭＢ未満、道路１キロメートル当たり５００ｋＢ未満、または道路１キロメートル当たり１００ｋＢ未満のデータ密度（例えば、目標軌跡、ランドマーク、および任意の他の格納された道路特徴を表すデータを含む）を有してよい。いくつかの実施形態において、スパースマップ８００のデータ密度は、道路１キロメートル当たり１０ｋＢ未満もしくはさらに道路１キロメートル当たり２ｋＢ未満（例えば、１キロメートル当たり１．６ｋＢ）であっても、道路１キロメートル当たり１０ｋＢ以下であっても、道路１キロメートル当たり２０ｋＢ以下であってもよい。いくつかの実施形態において、米国の車道の全てではないとしてもほとんどが、合計４ＧＢ以下のデータを有するスパースマップを用いて自律的にナビゲートされ得る。これらのデータ密度値は、スパースマップ８００全体に関する平均、スパースマップ８００内のローカルマップに関する平均、および／またはスパースマップ８００内の特定の道路セグメントに関する平均を表し得る。
言及したように、スパースマップ８００は、道路セグメントに沿った自動運転またはナビゲーションを誘導するための複数の目標軌跡の表現８１０を含んでよい。そのような目標軌跡は、３次元スプラインとして格納されてよい。スパースマップ８００に格納される目標軌跡は、例えば、特定の道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡に基づいて決定されてよい。道路セグメントは、単一の目標軌跡に関連づけられても、複数の目標軌跡に関連づけられてもよい。例えば、２車線道路では、道路に沿って第１方向に走行する目標経路を表すのに第１目標軌跡が格納されてよく、道路に沿って別の方向（例えば、第１方向とは反対）に走行する目標経路を表すのに第２目標軌跡が格納されてよい。特定の道路セグメントに対して、追加の目標軌跡が格納されることがある。例えば、複数車線道路では、１つまたは複数の目標軌跡を格納して、複数車線道路に関連した１つまたは複数の車線にいる複数の車両用の目標走行経路を表してよい。いくつかの実施形態では、複数車線道路の各車線は、独自の目標軌跡に関連づけられてよい。他の実施形態では、複数車線道路に存在する車線より少ない目標軌跡が格納されることがある。そのような場合には、複数車線道路をナビゲートする車両が、目標軌跡が格納されている車線からの車線オフセット量を考慮して、格納された複数の目標軌跡のうちのいずれかを用いてナビゲーションを誘導してよい（例えば、車両が３車線高速道路の左端車線を走行中であり、且つ高速道路の中央車線用の目標軌跡だけが格納されている場合、車両は、ナビゲーション命令を生成するときに中央車線と左端車線との間の車線オフセット量を考慮することにより、中央車線の目標軌跡を用いてナビゲートしてよい）。
いくつかの実施形態において、目標軌跡は、車両が走行するときに、当該車両が通るべき理想的な経路を表し得る。目標軌跡は、例えば、走行車線のほぼ中心に位置してよい。他の場合では、目標軌跡が道路セグメントに対して他の箇所に位置することがある。例えば、目標軌跡が、道路の中心、道路のエッジ、または車線のエッジなどとほぼ一致してよい。そのような場合、目標軌跡に基づくナビゲーションには、目標軌跡の位置に対して維持される決定済みのオフセット量が含まれてよい。さらに、いくつかの実施形態において、目標軌跡の位置に対して維持される決定済みのオフセット量は、車両のタイプに基づいて異なってもよい（例えば、目標軌跡の少なくとも一部に沿って、２つの車軸を含む乗用車が２つより多くの車軸を含むトラックとは異なるオフセットを有してよい）。
スパースマップ８００は、特定の道路セグメント、ローカルマップなどに関連づけられた複数の所定のランドマーク８２０に関連するデータも含んでよい。以下でより詳細に論じるが、これらのランドマークは、自動運転車のナビゲーションに用いられてよい。例えば、いくつかの実施形態において、これらのランドマークは格納された目標軌跡に対する車両の現在位置を決定するのに用いられてよい。この位置情報を用いて、自動運転車は、決定位置において、目標軌跡の方向と一致するように進行方向を調整することが可能になり得る。
複数のランドマーク８２０は、任意の好適な間隔で識別され、スパースマップ８００に格納されてよい。いくつかの実施形態では、ランドマークが比較的高密度で（例えば、数メートルごとに、またはもっと高密度で）格納されてよい。しかしながら、いくつかの実施形態では、著しく大きいランドマーク間隔値が使用されることがある。例えば、スパースマップ８００では、識別（または認識）されたランドマークが、１０メートル、２０メートル、５０メートル、１００メートル、１キロメートル、または２キロメートルの間隔を置いて配置されてよい。場合によっては、識別されたランドマークは、２キロメートルを超える距離さえも離れて配置されてよい。
ランドマーク間、したがって目標軌跡に対する車両位置の決定の間においては、車両は推測航法に基づいてナビゲートすることができ、推測航法では、車両がセンサを用いて自車のエゴモーションを特定し、目標軌跡に対する自車の位置を推定する。推測航法によるナビゲーションでは誤差が累積され得るため、時間の経過と共に、目標軌跡に対する位置決定の精度が次第に低くなることがある。車両は、スパースマップ８００に存在するランドマーク（および、その既知の位置）を用いて、位置決定での推測航法による誤差を取り除くことができる。このように、スパースマップ８００に含まれる識別されたランドマークは、目標軌跡に対する車両の正確な位置を決定し得るナビゲーションの要としての役割を果たすことができる。位置探索では一定量の誤差であれば許容できることがあるため、識別されたランドマークが必ずしも自動運転車に利用可能である必要はない。むしろ、好適なナビゲーションは、上述したように、１０メートル、２０メートル、５０メートル、１００メートル、５００メートル、１キロメートル、２キロメートル、またはもっと長いランドマーク間隔に基づいてさえも可能であってよい。いくつかの実施形態では、道路１ｋｍごとに１つの識別されたランドマークという密度が、縦方向位置決定の精度を１ｍ以内に維持するのに十分であるかもしれない。したがって、道路セグメント沿いに現れるあらゆる可能性のあるランドマークをスパースマップ８００に格納する必要はない。
さらに、いくつかの実施形態では、ランドマーク間で車両の位置特定を行うのに車線標示が用いられてよい。ランドマーク間で車線標示を用いることにより、推測航法によるナビゲーション時の誤差の累積を最小限に抑えることができる。
目標軌跡および識別したランドマークに加えて、スパースマップ８００は、様々な他の道路特徴に関連する情報を含んでよい。例えば図９Ａは、スパースマップ８００に格納され得る特定の道路セグメントに沿ったカーブの表現を示している。いくつかの実施形態では、道路の単一の車線が、道路の左側および右側を３次元多項式で記述することによってモデル化されてよい。単一車線の左側および右側を表すそのような多項式が、図９Ａに示されている。道路にいくつの車線があり得るかに関係なく、図９Ａに示したのと同様のやり方で、多項式を用いて道路を表すことができる。例えば、複数車線道路の左側および右側が、図９Ａに示すのと同様の多項式で表されてよく、複数車線道路に含まれる中間の車線標示（例えば、車線境界を表す破線標示、異なる方向に走行する車線間の境界を表す黄色の実線など）も図９Ａに示すような多項式を用いて表されてよい。
図９Ａに示すように、車線９００は多項式（例えば、１次、２次、３次、または任意の好適な次数の多項式）を用いて表されてよい。説明のために、車線９００は２次元車線として示されており、多項式は２次元多項式として示されている。図９Ａに示すように、車線９００は、左側９１０および右側９２０を含む。いくつかの実施形態では、１つより多くの多項式を用いて、道路の各々の側または車線境界の位置を表すことがある。例えば、左側９１０および右側９２０の各々は、任意の好適な長さの複数の多項式で表されてよい。場合によっては、これらの多項式は、約１００ｍの長さを有することがあるが、１００ｍより長いまたは短い他の長さも用いてよい。さらに、こうした多項式は、ホスト車両が車道に沿って走行するときに次に遭遇した多項式に基づいてナビゲートする際のシームレスな移行を容易にするために、互いに重なり合ってよい。例えば、左側９１０および右側９２０の各々は、約１００メートルの長さ（第１の所定範囲の一例）のセグメントに分割され且つ互いに約５０メートルが重なり合っている複数の３次多項式で表されてよい。左側９１０および右側９２０を表す多項式は、同じ次数であってもなくてもよい。例えば、いくつかの実施形態では、多項式のなかには２次多項式があってもよく、３次多項式があってもよく、４次多項式があってもよい。
図９Ａに示す例では、車線９００の左側９１０が、２つのグループの３次多項式で表されている。第１グループには、多項式セグメント９１１、９１２、および９１３が含まれている。第２グループには、多項式セグメント９１４、９１５、および９１６が含まれている。２つのグループは、実質的に互いに対して平行であると共に、道路のそれぞれの側の位置に沿って延びている。多項式セグメント９１１、９１２、９１３、９１４、９１５、および９１６は約１００メートルの長さがあり、約５０メートルが隣接するセグメントと連続して重なり合っている。しかしながら前述したように、異なる長さおよび異なる重なり量の多項式も用いてよい。例えば、多項式は、５００ｍ、１ｋｍ、またはもっと長い長さであってもよく、重なり量は、０～５０ｍ、５０ｍ～１００ｍ、または１００ｍを超える量で変化してよい。さらに、図９Ａは２Ｄ空間（例えば、紙面上）に延びる多項式を表すものとして示されているが、これらの多項式は（例えば、高さ成分を含む）３次元に延びる曲線を表し、Ｘ－Ｙ面の曲率に加えて、道路セグメントの標高変動も表してよいことを理解されたい。図９Ａに示す例では、車線９００の右側９２０がさらに、多項式セグメント９２１、９２２、および９２３を有する第１グループと、多項式セグメント９２４、９２５、および９２６を有する第２グループとで表されている。
スパースマップ８００の目標軌跡に戻ると、図９Ｂは、特定の道路セグメントに沿って走行する車両の目標軌跡を表す３次元多項式を示している。目標軌跡は、ホスト車両が特定の道路セグメントに沿って走行すべきＸ－Ｙ面の経路だけでなく、ホスト車両が道路セグメントに沿って走行するときに経験する標高変動も表している。したがって、スパースマップ８００に含まれる各目標軌跡は、図９Ｂに示す３次元多項式９５０のような、１つまたは複数の３次元多項式で表されてよい。スパースマップ８００は、複数の軌跡（例えば、世界中の車道に沿う様々な道路セグメントに沿った車両の軌跡を表す数百万または数十億またはもっと多くの軌跡）を含んでよい。いくつかの実施形態において、各目標軌跡は、３次元多項式セグメントを接続したスプラインに対応してよい。
スパースマップ８００に格納された多項式曲線のデータフットプリントに関しては、いくつかの実施形態において、各々の３次多項式が４つのパラメータで表されてよく、各パラメータは４バイトのデータを必要とする。１００ｍごとに約１９２バイトのデータを必要とする３次多項式を用いて、好適な表現を取得することができる。これは、約１００ｋｍ／ｈｒで走行するホスト車両では、１時間当たり約２００ｋＢのデータ利用／転送要件に相当し得る。
スパースマップ８００は、幾何構造記述子とメタデータとの組み合わせを用いて車線のネットワークを記述してよい。幾何構造は、上述した多項式またはスプラインで記述されてよい。メタデータは、車線数、特別な特性（相乗り車線など）、および場合によっては他のスパースラベルを記述してよい。そのような指標の総フットプリントは、ごくわずかかもしれない。
したがって、本開示の実施形態によるスパースマップが、道路セグメントに沿って延びる路面特徴の少なくとも１つのライン表現を含んでよく、各ライン表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表す。いくつかの実施形態では、上述したように、路面特徴の少なくとも１つのライン表現は、スプライン、多項式表現、または曲線を含んでよい。さらに、いくつかの実施形態において、路面特徴は、道路エッジまたは車線標示のうちの少なくとも一方を含んでよい。さらに、「クラウドソーシング」に関して以下で論じるように、路面特徴は、１つまたは複数の車両が道路セグメントを通行するときに取得される複数の画像の画像分析によって識別されてよい。
前述したように、スパースマップ８００は、道路セグメントに関連する複数の所定のランドマークを含んでよい。ランドマークの実画像を格納して、例えば、取り込まれた画像および格納した画像に基づく画像認識分析を利用するのではなくむしろ、スパースマップ８００に含まれる各ランドマークは、実画像を格納した場合に必要となるよりも少ないデータを用いて表され且つ認識され得る。それでも、ランドマークを表すデータには、道路沿いのランドマークを記述するまたは識別するのに十分な情報が含まれ得る。ランドマークの実画像ではなくむしろ、ランドマークの特性を記述するデータを格納することで、スパースマップ８００のサイズを削減することができる。
図１０は、スパースマップ８００に表され得るランドマークのタイプの例を示している。これらのランドマークには、道路セグメント沿いのあらゆる視認可能で識別可能な物体が含まれてよい。ランドマークは、固定されたものであり且つその位置および／または内容に関する変更が頻繁に行われないように選択されてよい。スパースマップ８００に含まれるランドマークは、車両が特定の道路セグメントを通行するときに、目標軌跡に関する車両２００の位置を決定するのに役立ち得る。ランドマークの例には、交通標識、方向標識、一般標識（例えば、長方形の標識）、路側固定物（例えば、街灯柱、反射鏡など）、および任意の他の好適な種類が含まれてよい。いくつかの実施形態において、道路上の車線標示も、スパースマップ８００のランドマークとして含まれてよい。
図１０に示すランドマークの例には、交通標識、方向標識、路側固定物、および一般標識が含まれている。交通標識には、例えば、制限速度標識（例えば、制限速度標識１０００）、優先道路標識（例えば、優先道路標識１００５）、路線番号標識（例えば、路線番号標識１０１０）、信号機標識（例えば、信号機標識１０１５）、一時停止標識（例えば、一時停止標識１０２０）が含まれてよい。方向標識には、異なる場所への１つまたは複数の方向を示す１つまたは複数の矢印を含む標識が含まれてよい。例えば、方向標識には、異なる道路または場所に車両を誘導する矢印を有する高速道路標識１０２５、道路から降りるように車両を誘導する矢印を有する出口標識１０３０などが含まれてよい。したがって、複数のランドマークのうちの少なくとも１つには道路標識が含まれてよい。
一般標識は、交通に無関係であってよい。例えば、一般標識には、広告に用いる掲示板、または２つの国、州、郡、都市、または町の境界に隣接しているウェルカムボードが含まれてよい。図１０には、一般標識１０４０（「ジョーズ・レストラン」）が示されている。一般標識１０４０は図１０に示すように長方形形状でよいが、一般標識１０４０は、正方形、円形、三角形などといった他の形状であってもよい。
ランドマークには、路側固定物も含まれてよい。路側固定物とは、標識ではない物体であってよく、交通に関連しなくても方向に関連しなくてもよい。例えば、路側固定物には、街灯柱（例えば、街灯柱１０３５）、電柱、信号機柱などが含まれてよい。
ランドマークには、自動運転車ナビゲーションシステムでの使用を目的に特別に設計され得るビーコンも含まれてよい。例えば、そのようなビーコンには、ホスト車両をナビゲートする際に役立つように所定の間隔で配置されたスタンドアローン型構造物が含まれてよい。そのようなビーコンには、道路セグメントに沿って走行する車両が識別または認識できる、既存の道路標識に追加された視覚／図形情報（例えば、アイコン、エンブレム、バーコードなど）も含まれてよい。そのようなビーコンには、電子部品も含まれてよい。そのような実施形態では、電子ビーコン（例えば、ＲＦＩＤタグなど）を用いて、非視覚情報をホスト車両に送信してよい。そのような情報には、例えば、ホスト車両が目標軌跡に沿った自車の位置を決定する際に用いることができるランドマーク識別情報および／またはランドマークの位置情報が含まれてよい。
いくつかの実施形態において、スパースマップ８００に含まれるランドマークは、所定サイズのデータオブジェクトで表されてよい。ランドマークを表すデータには、特定のランドマークを識別するのに好適な任意のパラメータが含まれてよい。例えば、いくつかの実施形態において、スパースマップ８００に格納されたランドマークには、ランドマークの物理的サイズ（例えば、既知のサイズ／スケールに基づいてランドマークまでの距離の推定を支援するためのもの）、直前のランドマークまでの距離、横方向オフセット、高さ、タイプコード（例えば、ランドマークのタイプ、つまり、どのタイプの方向標識、交通標識などであるか）、ＧＰＳ座標（例えば、広範囲な位置特定を支援するためのもの）といったパラメータ、および任意の他の好適なパラメータが含まれてよい。各パラメータは、データサイズに関連づけられてよい。例えば、ランドマークのサイズは、８バイトのデータを用いて格納されてよい。直前のランドマークまでの距離、横方向オフセット、および高さは、１２バイトのデータを用いて指定されてよい。方向標識または交通標識などのランドマークに関連づけられるタイプコードには、約２バイトのデータが必要になり得る。一般標識では、一般標識の識別を可能にする画像署名が、５０バイトのデータストレージを用いて格納されてよい。ランドマークのＧＰＳ位置は、１６バイトのデータストレージに関連づけられてよい。各パラメータのこれらのデータサイズは単なる例であり、他のデータサイズも用いてよい。
このようにしてランドマークをスパースマップ８００に表すことで、ランドマークをデータベースに効率的に表すための効率的な解決策を提供することができる。いくつかの実施形態において、標識は、セマンティックな標識および非セマンティックな標識と呼ばれてもよい。セマンティックな標識には、標準化された意味がある任意のクラスの標識（例えば、制限速度標識、警告標識、方向標識など）が含まれてもよい。非セマンティックな標識には、標準化された意味に関連しない任意の標識（例えば、一般的な広告標識、企業を識別する標識など）が含まれてもよい。例えば、各々のセマンティックな標識は、３８バイトのデータ（例えば、サイズには８バイト、直前のランドマークまでの距離、横方向オフセットおよび高さには１２バイト、タイプコードには２バイト、ＧＰＳ座標には１６バイト）で表されてよい。スパースマップ８００は、タグシステムを用いて、ランドマークのタイプを表してよい。場合によっては、各々の交通標識または方向標識は独自のタグに関連づけられてよく、このタグは、ランドマーク識別情報の一部としてデータベースに格納されてよい。例えば、データベースには、様々な交通標識を表すのに１０００個程度の異なるタグと、方向標識を表すための約１００００個程度の異なるタグが含まれてよい。当然ながら、任意の好適な数のタグを用いてもよく、必要に応じて追加のタグを作成してもよい。いくつかの実施形態では、汎用標識が、約１００バイト未満（例えば、サイズには８バイト、直前のランドマークまでの距離、横方向オフセット、および高さには１２バイト、画像署名には５０バイト、ＧＰＳ座標には１６バイトを含む約８６バイト）を用いて表されてよい。
したがって、画像署名を必要としないセマンティックな道路標識の場合、スパースマップ８００へのデータ密度の影響は、５０ｍ当たり約１つという比較的高いランドマーク密度でさえも、１キロメートル当たり約７６０バイト程度（例えば、［１ｋｍ当たり２０個のランドマーク］×［ランドマーク当たり３８バイト］＝７６０バイト）になり得る。画像署名成分を含む汎用標識の場合でさえも、データ密度の影響は、１ｋｍ当たり約１．７２ｋＢである（例えば、［１ｋｍ当たり２０個のランドマーク］×［ランドマーク当たり８６バイト］＝１，７２０バイト）。セマンティックな道路標識の場合、この影響は、１００ｋｍ／ｈｒで走行する車両にとって、１時間当たり約７６ｋＢのデータ使用量に相当する。汎用標識の場合、この影響は、１００ｋｍ／ｈｒで走行する車両にとって、１時間当たり約１７０ｋＢに相当する。
いくつかの実施形態では、概して長方形の物体、例えば長方形の標識が、１００バイト以下のデータでスパースマップ８００に表されてよい。スパースマップ８００における概して長方形の物体（例えば、一般標識１０４０）の表現には、概して長方形の物体に関連づけられる短縮画像署名（例えば、短縮画像署名１０４５）が含まれてよい。この短縮画像署名を用いると、例えば認識したランドマークとして、例えば汎用標識を識別するのに役立てることができる。そのような短縮画像署名（例えば、ある物体を表す実画像データから得られた画像情報）によって、物体の実画像を格納する必要も、ランドマークを認識するために実画像に対して行われる比較画像分析の必要もなくすことができる。
図１０を参照すると、スパースマップ８００は、一般標識１０４０の実画像ではなくむしろ、一般標識１０４０に関連づけられる短縮画像署名１０４５を含んでも、格納してもよい。例えば、画像取り込みデバイス（例えば、画像取り込みデバイス１２２、１２４、または１２６）が一般標識１０４０の画像を取り込んだ後に、プロセッサ（例えば、ホスト車両に載せられて、またはホスト車両に対して遠隔に位置して、画像を処理できる画像プロセッサ１９０または任意の他のプロセッサ）が、画像分析を行って、一般標識１０４０に関連づけられる一意の署名またはパターンを含む短縮画像署名１０４５を抽出／作成してよい。一実施形態において、短縮画像署名１０４５には、形状、色パターン、明度パターン、または一般標識１０４０の画像から抽出され得る一般標識１０４０を記述するための任意の他の特徴が含まれてよい。
例えば図１０において、短縮画像署名１０４５に示される円形、三角形、および星形は、異なる色の領域を表してよい。円形、三角形、および星形で表されたパターンは、例えば、画像署名を含むように指定された５０バイト以内で、スパースマップ８００に格納されてよい。特に、円形、三角形、および星形は、そのような形状が画像署名の一部として格納されていることを示すことを必ずしも意味するものではない。むしろ、これらの形状は、識別可能な色差、テクスチャ領域、図形形状、または汎用標識に関連し得る特性の他のバリエーションを有する認識可能な領域を概念的に表すことを意図している。そのような短縮画像署名を用いると、一般標識の形でランドマークを識別することができる。例えば、短縮画像署名を用いると、格納された短縮画像署名と、例えば自動運転車に搭載されたカメラを用いて取り込まれた画像データとの比較に基づいて、同定分析を行うことができる。
したがって、複数のランドマークは、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像の画像分析によって、識別されてよい。以下で「クラウドソーシング」に関して説明するように、いくつかの実施形態において、複数のランドマークを識別するための画像分析は、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを受け入れることを含んでよい。さらに、いくつかの実施形態において、複数のランドマークを識別するための画像分析は、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを排除することを含んでよい。
ホスト車両が特定の道路セグメントをナビゲートするのに用い得る目標軌跡に戻ると、図１１Ａは、スパースマップ８００を構築または維持するプロセスで取り込まれた多項式表現の軌跡を示している。スパースマップ８００に含まれる目標軌跡の多項式表現が、同じ道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡に基づいて求められてよい。いくつかの実施形態において、スパースマップ８００に含まれる目標軌跡の多項式表現は、同じ道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡の集合体であってよい。いくつかの実施形態において、スパースマップ８００に含まれる目標軌跡の多項式表現は、同じ道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡の平均であってよい。他の数学的操作も、ある道路セグメントに沿って通行する車両から収集される、再構築された軌跡に基づいて、道路経路に沿った目標軌跡を構築するのに用いられてよい。
図１１Ａに示すように、道路セグメント１１００では、異なる時間に複数の車両２００が走行し得る。各車両２００は、車両が道路セグメントに沿って通った経路に関連するデータを収集してよい。特定の車両が走行する経路は、他の可能性のある情報源の中でもとりわけ、カメラデータ、加速度計情報、速度センサ情報、および／またはＧＰＳ情報に基づいて決定されてよい。そのようなデータを用いて、道路セグメントに沿って走行する車両の軌跡を再構築することができ、これらの再構築された軌跡に基づいて、目標軌跡（または複数の目標軌跡）が特定の道路セグメントに対して決定され得る。そのような目標軌跡は、ホスト車両が道路セグメントに沿って走行するときの（例えば、自動ナビゲーションシステムにより誘導される）当該車両の好ましい経路を表してよい。
図１１Ａに示す例では、第１の再構築された軌跡１１０１が、第１期間（例えば、曜日１）に道路セグメント１１００を通行する第１の車両から受信したデータに基づいて決定されてよく、第２の再構築された軌跡１１０２が、第２期間（例えば、曜日２）に道路セグメント１１００を通行する第２の車両から取得されてよく、第３の再構築された軌跡１１０３が第３期間（例えば、曜日３）に道路セグメント１１００を通行する第３車両から取得されてよい。各軌跡１１０１、１１０２、および１１０３は、３次元多項式などの多項式で表されてよい。いくつかの実施形態では、再構築された軌跡のうちのいずれかが、道路セグメント１１００を通行する車両内で編成されてよいことに留意されたい。
さらに、またはその代わりに、そのような再構築された軌跡は、道路セグメント１１００を通行する車両から受信した情報に基づいてサーバ側で決定されてよい。例えば、いくつかの実施形態において、車両２００は、道路セグメント１１００に沿った自車の動きに関連するデータ（例えば、特に、ステアリング角、進行方向、時間、位置、速度、検知された道路の幾何構造、および／または検知されたランドマーク）を１つまたは複数のサーバに送信してよい。サーバは、受信したデータに基づいて、車両２００の軌跡を再構築してよい。サーバは、後に同じ道路セグメント１１００に沿って走行する自動運転車のナビゲーションを誘導するための目標軌跡も、第１の軌跡１１０１、第２の軌跡１１０２、および第３の軌跡１１０３に基づいて生成してよい。目標軌跡が道路セグメントの単一の以前の通行に関連づけられてよいが、いくつかの実施形態において、スパースマップ８００に含まれる各目標軌跡は、同じ道路セグメントを通行する車両の２つまたはそれより多くの再構築された軌跡に基づいて決定されてよい。図１１Ａには、目標軌跡が１１１０で表されている。いくつかの実施形態において、目標軌跡１１１０は、第１の軌跡１１０１、第２の軌跡１１０２、および第３の軌跡１１０３の平均に基づいて生成されてよい。いくつかの実施形態において、スパースマップ８００に含まれる目標軌跡１１１０は、２つまたはそれより多くの再構築された軌跡の集合体（例えば、重みづけされた組み合わせ）であってよい。
図１１Ｂおよび図１１Ｃはさらに、地理的領域１１１１に存在する道路セグメントに関連づけられる目標軌跡の概念を示している。図１１Ｂに示すように、地理的領域１１１１内の第１道路セグメント１１２０は複数車線道路を含んでよく、この複数車線道路には、第１方向への車両走行に指定された２つの車線１１２２と、第１方向とは反対の第２方向への車両走行に指定された２つの追加車線１１２４とが含まれている。車線１１２２および車線１１２４は、二重黄色線１１２３で分離されてよい。地理的領域１１１１には、道路セグメント１１２０と交差する分岐道路セグメント１１３０も含まれてよい。道路セグメント１１３０には２車線道路が含まれてよく、各車線は異なる方向の走行に指定されている。地理的領域１１１１には、他の道路特徴、例えば、一時停止線１１３２、一時停止標識１１３４、制限速度標識１１３６、および危険標識１１３８も含まれてよい。
図１１Ｃに示すように、スパースマップ８００には、地理的領域１１１１内の車両を自動ナビゲーションで支援するための道路モデルを含むローカルマップ１１４０が含まれてよい。例えば、ローカルマップ１１４０には、地理的領域１１１１内の道路セグメント１１２０および／または１１３０に関連づけられた、１つまたは複数の車線の目標軌跡が含まれてよい。例えば、ローカルマップ１１４０には、自動運転車が車線１１２２を通行するときにアクセスできる、または利用できる目標軌跡１１４１および／または１１４２が含まれてよい。同様に、ローカルマップ１１４０には、自動運転車が車線１１２４を通行するときにアクセスできる、または利用できる目標軌跡１１４３および／または１１４４が含まれてよい。さらに、ローカルマップ１１４０には、自動運転車が道路セグメント１１３０を通行するときにアクセスできる、または利用できる目標軌跡１１４５および／または１１４６が含まれてよい。目標軌跡１１４７は、自動運転車が車線１１２０（具体的には、車線１１２０の右端車線に関連づけられた目標軌跡１１４１に対応）から道路セグメント１１３０（具体的には、道路セグメント１１３０の第１の側に関連づけられた目標軌跡１１４５に対応）に移行するときに進むべき好ましい経路を表してよい。同様に、目標軌跡１１４８は、自動運転車が道路セグメント１１３０（具体的には、目標軌跡１１４６に対応）から道路セグメント１１２４の一部（具体的には図示するように、車線１１２４の左車線に関連づけられた目標軌跡１１４３に対応）に移行するときに進むべき好ましい経路を表している。
スパースマップ８００には、地理的領域１１１１に関連する他の道路関連の特徴についての表現も含まれてよい。例えば、スパースマップ８００には、地理的領域１１１１で識別された１つまたは複数のランドマークについての表現も含まれてよい。そのようなランドマークには、一時停止線１１３２に関連づけられた第１ランドマーク１１５０、一時停止標識１１３４に関連づけられた第２ランドマーク１１５２、制限速度標識１１５４に関連づけられた第３ランドマーク、および危険標識１１３８に関連づけられた第４ランドマーク１１５６が含まれてよい。そのようなランドマークは、例えば、示された目標軌跡のうちのいずれかに対する自車の現在位置を決定する際に、自動運転車を支援するのに用いられてよい。これにより、車両はその決定位置において、目標軌跡の方向と一致するように自車の進行方向を調整することができる。
いくつかの実施形態において、スパースマップ８００には、ロードシグネチャプロファイルも含まれてよい。そのようなロードシグネチャプロファイルは、道路に関連する少なくとも１つのパラメータにおける任意の識別可能／測定可能な変化に関連づけられてよい。例えば、場合によっては、そのようなプロファイルは、路面情報の変化、例えば、特定の道路セグメントの路面凹凸の変化、特定の道路セグメント全体の道路幅の変化、特定の道路セグメントに沿って塗装された破線間の距離の変化、特定の道路セグメントに沿った道路曲率の変化などに関連づけられてよい。図１１Ｄは、ロードシグネチャプロファイル１１６０の一例を示している。プロファイル１１６０は、上述したパラメータなどのうちのいずれかを表してよく、その一方で、一例では、プロファイル１１６０は、例えば、車両が特定の道路セグメントを走行するときのサスペンション変位の量を示す出力を提供する１つまたは複数のセンサを監視することにより取得された、路面凹凸の測定値を表してよい。
その代わりに、または同時に、プロファイル１１６０は道路幅の変化を表してよく、この変化は、特定の道路セグメントを走行する車両に搭載されたカメラによって取得された画像データに基づいて特定される。そのようなプロファイルは、例えば、特定の目標軌跡に対する自動運転車の特定の位置を決定する際に役立ち得る。すなわち、自動運転車が、ある道路セグメントを通行するときに、当該道路セグメントに関連づけられる１つまたは複数のパラメータに関連するプロファイルを測定してよい。測定したプロファイルが、道路セグメントに沿う位置に関するパラメータの変化をプロットした所定のプロファイルに関連づけられ得る／一致し得る場合、次いで、道路セグメントに沿う現在位置、したがって道路セグメントの目標軌跡に対する現在位置を決定するために、測定したプロファイルおよび所定のプロファイルを（例えば、測定したプロファイルおよび所定のプロファイルの対応する部分同士を重ねることにより）用いてよい。
いくつかの実施形態において、スパースマップ８００には、自動運転車のユーザ、環境状態、且つ／または走行に関連する他のパラメータに関連づけられた様々な特性に基づく様々な軌跡が含まれてよい。例えば、いくつかの実施形態では、様々なユーザ嗜好および／またはプロファイルに基づいて、様々な軌跡が生成されてよい。そのような様々な軌跡を含むスパースマップ８００は、様々なユーザの様々な自動運転車に提供されてよい。例えば、一部のユーザは有料道路を避けることを好むかもしれないが、他のユーザは、ルート上に有料道路があるかどうかに関係なく、最短または最速のルートを通ることを好むかもしれない。開示するシステムは、そのような様々なユーザ嗜好またはプロファイルに基づく様々な軌跡を有する様々なスパースマップを生成してよい。別の例として、一部のユーザは高速車線を走行することを好むかもしれないが、他のユーザは、常に位置を中央車線に維持することを好むかもしれない。
様々な軌跡が、日中および夜間、雪、雨、霧などといった様々な環境状態に基づいて生成され、スパースマップ８００に含まれてよい。様々な環境状態下で走行する自動運転車には、そのような様々な環境状態に基づいて生成されたスパースマップ８００が提供されてよい。いくつかの実施形態では、自動運転車に設けられたカメラが環境状態を検出してよく、そのような情報を、スパースマップを生成し且つ提供するサーバに戻す形で提供してよい。例えば、サーバは、検出された環境状態下での自動運転にとって、より好適または安全かもしれない軌跡を含むようにスパースマップ８００を生成しても、すでに生成されているスパースマップ８００を更新してもよい。環境状態に基づくスパースマップ８００の更新は、自動運転車が道路に沿って走行しているときに、動的に行われてよい。
走行に関連する他の様々なパラメータも、様々なスパースマップを生成して様々な自動運転車にこれを提供するための基礎として用いられてよい。例えば、自動運転車が高速で走行している場合、旋回がよりきつくなり得る。自動運転車が特定の軌跡を進むときに、当該車両が特定の車線を維持できるように、道路ではなくむしろ特定の車線に関連づけられた軌跡がスパースマップ８００に含まれてよい。自動運転車に搭載されたカメラにより取り込まれた画像が、車両が車線から外れて移動した（例えば、車線標示を横切った）ことを示した場合、特定の軌跡に従って車両を指定の車線に戻す動作が車両内で作動してよい。
［スパースマップのクラウドソーシング］
いくつかの実施形態において、開示するシステムおよび方法は、自動運転車ナビゲーション用のスパースマップを生成し得る。例えば、開示するシステムおよび方法は、１つまたは複数の自動運転車があるシステムの道路に沿ってナビゲートするのに用い得るスパースマップの生成に、クラウドソーシングによるデータを用いてよい。本明細書で用いる場合、「クラウドソーシング」とは、ある道路セグメントを異なる時間に走行する様々な車両（例えば、自動運転車）からデータを受信することを意味し、そのようなデータは、道路モデルを生成する且つ／または更新するのに用いられる。このモデルは、次に、自動運転車ナビゲーションを支援するために、当該車両または後に当該道路セグメントに沿って走行する他の車両に送信されてよい。道路モデルには、ある道路セグメントを自動運転車が通行するときに進むべき好ましい軌跡を表す複数の目標軌跡が含まれてよい。これらの目標軌跡は、道路セグメントを通行する車両から収集された実際の軌跡を再構築したものと同じであってよく、収集された実際の軌跡は当該車両からサーバに送信されてよい。いくつかの実施形態において、目標軌跡は、１つまたは複数の車両が道路セグメントを通行したときに以前に通った実際の軌跡と異なる場合がある。目標軌跡は、実際の軌跡に基づいて（例えば、平均化、または任意の他の好適な操作により）生成されてよい。
車両がサーバにアップロードし得る車両軌跡データは、車両の実際の再構築された軌跡に対応してもよく、推奨軌跡に対応してもよい。推奨軌跡は、車両の実際の再構築された軌跡に基づいても、これに関連してもよいが、実際の再構築された軌跡と異なる場合がある。例えば、車両は自車の実際の再構築された軌跡を変更し、変更した実際の軌跡をサーバに提出（例えば、推奨）してよい。道路モデルは、推奨された変更済みの軌跡を他の車両の自動ナビゲーション用の目標軌跡として用いてよい。
軌跡情報に加えて、スパースデータマップ８００を構築する際に用いる可能性のある他の情報が、可能性のあるランドマーク候補に関連する情報を含んでよい。例えば、情報のクラウドソーシングによって、開示するシステムおよび方法は、環境内の可能性のあるランドマークを識別し、ランドマークの位置を微調整することができる。これらのランドマークは、自動運転車のナビゲーションシステムが目標軌跡に沿った車両の位置を決定し且つ／または調整するのに用いられてよい。
車両が道路に沿って走行するときに車両が生成し得る再構築された軌跡は、任意の好適な方法で取得されてよい。いくつかの実施形態において、例えば、エゴモーション推定（例えば、カメラ、したがって車両本体の、３次元並進および３次元回転）を用いて、車両の動きの複数の部分をつなぎ合わせることで、再構築された軌跡を発展させることができる。回転および並進の推定は、１つまたは複数の画像取り込みデバイスにより取り込まれた画像を他のセンサまたはデバイス（慣性センサおよび速度センサなど）からの情報と共に分析した結果に基づいて決定されてよい。例えば、慣性センサは、車体の並進および／または回転の変化を測定するように構成された加速度計または他の好適なセンサを含んでよい。車両は、車両の速度を測定する速度センサを含んでよい。
いくつかの実施形態において、カメラ（したがって車体）のエゴモーションは、取り込まれた画像のオプティカルフロー分析に基づいて推定されてよい。一連の画像のオプティカルフロー分析では、当該一連の画像の画素の動きを識別し、識別した動きに基づいて、車両の動きを特定する。エゴモーションは、車両が進んだ道路セグメントに関連づけられた軌跡を再構築するために、時間の経過と共に道路セグメントに沿って集積されてよい。
ある道路セグメントに沿った異なる時間での複数のドライブにおいて複数の車両により収集されたデータ（例えば、再構築された軌跡）が、スパースデータマップ８００に含まれる（例えば、目標軌跡などを含む）道路モデルを構築するのに用いられてよい。ある道路セグメントに沿った異なる時間での複数のドライブにおいて複数の車両により収集されたデータが、モデルの精度を高めるために平均化されてもよい。いくつかの実施形態において、道路の幾何構造および／またはランドマークに関するデータが、共通の道路セグメントを異なる時間に通り抜ける複数の車両から受信されてよい。異なる車両から受信されるそのようなデータは、道路モデルの生成および／または道路モデルの更新のために組み合わされてよい。
道路セグメントに沿った再構築された軌跡の幾何構造は（目標軌跡の幾何構造も）、３次元空間の曲線で表されてよく、この曲線は３次元多項式を接続するスプラインであってよい。再構築された軌跡の曲線は、車両に設置されたカメラにより取り込まれたビデオストリームまたは複数の画像の分析から求められてよい。いくつかの実施形態では、車両の現在位置の数メートル前方にある各フレームまたは画像で位置が識別される。この位置は、所定の期間の後に車両が走行すると予期されているところである。この操作はフレームごとに繰り返されてよく、同時に、車両はカメラのエゴモーション（回転および並進）を計算してよい。各フレームまたは画像では、カメラに取り付けられた基準フレーム内の車両により、所望の経路の短距離モデルが生成される。複数の短距離モデルをつなぎ合わせて、何らかの座標フレーム内の道路の３次元モデルを取得してよく、この座標フレームは任意の座標フレームでも所定の座標フレームでもよい。道路の３次元モデルは次に、スプラインにフィッティングされてよく、このスプラインは好適な次数の１つまたは複数の多項式を含んでも、この多項式を接続してもよい。
各フレームで短距離道路モデルを完成させるために、１つまたは複数の検出モジュールが用いられてよい。例えば、ボトムアップ型車線検出モジュールが用いられてよい。ボトムアップ型車線検出モジュールは、道路上に車線標示が描かれている場合に役立ち得る。このモジュールは、画像内のエッジを探し出し、これらのエッジを一緒に編成して車線標示を形成してよい。第２モジュールが、ボトムアップ型車線検出モジュールと一緒に用いられてよい。第２モジュールはエンドツーエンド型ディープニューラルネットワークであり、このディープニューラルネットワークは、正確な短距離経路を入力画像から予測するように訓練されてよい。どちらのモジュールでも、道路モデルが画像座標フレーム内で検出され、カメラに仮想的に取り付けられ得る３次元空間に変換されてよい。
再構築された軌跡のモデル化方法では、長期間にわたるエゴモーションの集積により、ノイズ成分を含み得る誤差の累積をもたらすことがあるが、そのような誤差は、生成されたモデルが地域規模でのナビゲーションに十分な精度を提供し得るので重要でないかもしれない。さらに、衛星画像または測地測量などの外部の情報源を用いることで、集積誤差を相殺することが可能である。例えば、開示するシステムおよび方法は、ＧＮＳＳ受信機を用いて累積誤差を相殺してよい。しかしながら、ＧＮＳＳ測位信号は、常に利用できて正確であるとは限らないかもしれない。開示するシステムおよび方法によって、ＧＮＳＳ測位の可用性および精度にあまり依存しないステアリングアプリケーションが可能になり得る。そのようなシステムでは、ＧＮＳＳ信号の使用が限定されてよい。例えば、いくつかの実施形態において、開示するシステムは、データベースの索引作成目的のためだけにＧＮＳＳ信号を用いてよい。
いくつかの実施形態において、自動運転車ナビゲーションのステアリングアプリケーションに適切かもしれない距離範囲（例えば、地域規模）は、５０メートル、１００メートル、２００メートル、３００メートル程度などであってもよい。そのような距離が用いられてよいのは、幾何道路モデルが用いられる目的が主に２つ、軌跡を事前に計画すること、および道路モデルで車両の位置を特定することであるためである。いくつかの実施形態において、計画策定タスクは４０メートル前方（または任意の他の好適な前方距離、例えば２０メートル、３０メートル、５０メートル）という典型的な範囲にわたるモデルを用いてよく、このとき制御アルゴリズムは、１．３秒先（または任意の他の時間、例えば、１．５秒、１．７秒、２秒など）に位置する目標地点に従って車両を操縦する。位置特定タスクは、別のセクションでより詳細に説明される「テールアライメント」と呼ばれる方法に従って、自動車の後方６０メートル（または任意の他の好適な距離、例えば、５０メートル、１００メートル、１５０メートルなど）という典型的な範囲にわたる道路モデルを用いる。開示するシステムおよび方法は、計画した軌跡が、例えば、車線中央から３０ｃｍを超えて逸脱することがないように、１００メートルなどの特定の範囲にわたり十分な精度を有する幾何モデルを生成してよい。
上述したように、短距離部分を検出して、これらを一緒につなぎ合わせることから、３次元道路モデルが構築されてよい。このつなぎ合わせは、カメラにより取り込まれた映像および／または画像、車両の動きを反映する慣性センサからのデータ、およびホスト車両の速度信号を用いて、６段階のエゴモーションモデルを計算することにより可能になり得る。累積誤差は、１００メートル程度といった、ある程度の局所的範囲の規模では十分に小さくなり得る。これが全て、特定の道路セグメントの１つのドライブで完了してよい。
いくつかの実施形態では、結果として生じるモデルを平均化して精度をさらに高めるために、複数のドライブが用いられてよい。同じ自動車が同じルートを複数回走行してもよく、複数の自動車がそれぞれ収集したモデルデータを中央サーバに送信してもよい。いずれにしても、目標軌跡を生成するために、重なり合っているモデルを識別して平均化できるように、マッチング手順が行われてよい。構築された（例えば、目標軌跡を含む）モデルは、一旦、収束基準を満たすと、操縦に用いられてよい。さらなるモデルの改良のために、またインフラの変化に適応するために、その後のドライブが用いられてよい。
複数の自動車同士による走行経験（検知データなど）の共有が、これらの自動車が中央サーバに接続されている場合に実現可能になる。各車両クライアントは、それぞれの現在位置に関連し得る汎用道路モデルの部分的コピーを格納してよい。車両とサーバとの間の双方向の更新手順が、車両およびサーバによって行われてよい。上述した小フットプリントの概念により、開示するシステムおよび方法は、非常に小さい帯域幅を用いて双方向の更新を行うことが可能になる。
可能性のあるランドマークに関連する情報も、特定されて中央サーバに転送されてよい。例えば、開示するシステムおよび方法は、可能性のあるランドマークの１つまたは複数の物理的特性を、ランドマークを含む１つまたは複数の画像に基づいて特定してよい。これらの物理的特性には、ランドマークの物理的サイズ（例えば、高さ、幅）、車両からランドマークまでの距離、ランドマークから直前のランドマークまでの距離、ランドマークの横方向位置（例えば、走行車線に対するランドマークの位置）、ランドマークのＧＰＳ座標、ランドマークのタイプ、ランドマークに関するテキストの識別などが含まれてよい。例えば、車両は、カメラにより取り込まれた１つまたは複数の画像を分析して、制限速度標識などの、可能性のあるランドマークを検出してよい。
車両は、１つまたは複数の画像の分析に基づいて、車両からランドマークまでの距離を決定してよい。いくつかの実施形態において、この距離は、ランドマークの画像の分析に基づき、スケーリング法および／またはオプティカルフロー法などの好適な画像分析方法を用いて決定されてよい。いくつかの実施形態において、開示するシステムおよび方法は、可能性のあるランドマークのタイプまたは分類を決定するように構成されてよい。特定の可能性のあるランドマークがスパースマップに格納された所定のタイプまたは分類に対応すると車両が判定した場合、車両が当該ランドマークのタイプまたは分類のインジケーションをランドマークの位置と共にサーバに伝えるだけで十分であろう。サーバは、そのようなインジケーションを格納してよい。後に、他の車両は、ランドマークの画像を取り込み、（例えば分類器を使用して）画像を処理し、且つ、画像を処理することの結果として生じるものと、ランドマークのタイプに関してサーバに格納されているインジケーションとを比較してもよい。様々なタイプのランドマークが存在してもよく、異なるタイプのランドマークは、サーバにアップロードされて格納される異なるタイプのデータに関連してもよく、車両内の様々な処理は、ランドマークを検出して、ランドマークに関する情報をサーバと通信してもよく、且つ、車両内のシステムは、サーバからランドマークのデータを受信し、且つ、ランドマークを識別するためのランドマークのデータを自動ナビゲーションで使用してもよい。
いくつかの実施形態では、ある道路セグメントを走行する複数の自動運転車がサーバと通信してよい。車両（またはクライアント）は、自車のドライブを（例えば、エゴモーションの集積によって）描く曲線を任意の座標フレームに生成してよい。車両は、ランドマークを検出し、当該ランドマークを同じフレームに配置してよい。車両は、曲線およびランドマークをサーバにアップロードしてよい。サーバは、車両から複数のドライブによるデータを収集し、統合された道路モデルを生成してよい。例えば、図１９に関して以下で論じるように、サーバは、アップロードされた曲線およびランドマークを用いて、統合された道路モデルを有するスパースマップを生成してよい。
サーバは、このモデルをクライアント（例えば、車両）に配信してもよい。例えば、サーバはスパースマップを１つまたは複数の車両に配信してよい。サーバは、車両から新たなデータを受信すると、モデルを常にまたは定期的に更新してよい。例えば、サーバは、新たなデータを処理し、サーバでデータの更新または新たなデータの作成を作動させるべき情報が当該データに含まれているかどうかを評価してよい。サーバは、自動運転車ナビゲーションを提供するために、更新されたモデルまたは更新情報を車両に配信してよい。
サーバは、車両から受信した新たなデータがモデルの更新を作動させるのか、または新たなデータの作成を作動させるのかを判定するために、１つまたは複数の基準を用いてよい。例えば、以前に認識した特定の位置にあるランドマークがもはや存在していない、または別のランドマークに置き換えられていることを新たなデータが示している場合、サーバは、新たなデータがモデルの更新を作動させるべきと判定してよい。別の例として、ある道路セグメントが閉鎖されていることを新たなデータが示している場合、且つこのことが他の車両から受信したデータによって裏付けられている場合、サーバは、新たなデータがモデルの更新を作動させるべきと判定してよい。
サーバは、更新したモデル（またはモデルの更新部分）を、モデルの更新が関連づけられている道路セグメントを走行している１つまたは複数の車両に配信してよい。サーバは、モデルの更新が関連づけられている道路セグメントを走行する予定の車両、または当該道路セグメントが自車の移動計画に含まれている車両にも、更新したモデルを配信してよい。例えば、自動運転車が、ある更新に関連づけられている道路セグメントに到達する前に別の道路セグメントに沿って走行している間に、サーバは、当該車両がこの道路セグメントに到達する前に、更新情報または更新したモデルを当該自動運転車に配信してよい。
いくつかの実施形態において、リモートサーバは、複数のクライアント（例えば、共通の道路セグメントに沿って走行する車両）から軌跡およびランドマークを収集してよい。サーバは、ランドマークを用いて曲線を一致させ、複数の車両から収集した軌跡に基づいて平均的な道路モデルを作成してよい。サーバは、道路セグメントの各交点または接続点において、道路のグラフおよび最も可能性の高い経路も計算してよい。例えば、リモートサーバは、収集した軌跡からクラウドソーシングによるスパースマップを生成するために、これらの軌跡を揃えてよい。
サーバは、共通の道路セグメントに沿って走行した複数の車両から受信したランドマークの特性、例えば、複数の車両により測定された、あるランドマークと別のランドマーク（例えば、道路セグメント沿いの直前のランドマーク）との間の距離を平均化して、弧長パラメータを求め、各クライアント車両のために、経路に沿った位置特定および速度較正を支援してよい。サーバは、共通の道路セグメントに沿って走行し且つ同じランドマークを認識した複数の車両により測定されたランドマークの物理的寸法を平均化してよい。平均化した物理的寸法は、車両からランドマークまでの距離といった距離推定を支援するのに用いられてよい。サーバは、共通の道路セグメントに沿って走行し且つ同じランドマークを認識した複数の車両により測定されたランドマークの横方向位置（例えば、車両が走行している車線からランドマークまでの位置）を平均化してよい。平均化した横方向位置は、車線指定を支援するのに用いられてよい。サーバは、同じ道路セグメントに沿って走行し且つ同じランドマークを認識した複数の車両により測定されたランドマークのＧＰＳ座標を平均化してよい。平均化したランドマークのＧＰＳ座標は、道路モデルにおいて、ランドマークの広範囲な位置特定または測位を支援するのに用いられてよい。
いくつかの実施形態において、サーバは、車両から受信したデータに基づいて、モデルの変更点、例えば、工事、迂回路、新たな標識、標識の除去などを識別してよい。サーバは、車両から新たなデータを受信すると、モデルを常にまたは定期的にまたは即座に更新してよい。サーバは、自動ナビゲーションを提供するために、モデルの更新情報または更新されたモデルを車両に配信してよい。例えば、以下でさらに論じるように、サーバは、車両が検出された「ゴースト」ランドマークを除外するために、クラウドソーシングによるデータを用いてよい。
いくつかの実施形態において、サーバは、自動運転時に運転者の介入を分析してよい。サーバは、介入が行われた時間および場所で車両から受信したデータ、および／または介入が行われた時間の前に受信したデータを分析してよい。サーバは、介入を引き起こした、または介入に密接に関連しているデータ、例えば、一時的な車線通行止めの設定を示すデータ、道路に歩行者がいることを示すデータのある程度の部分を識別してよい。サーバは、識別したデータに基づいてモデルを更新してよい。例えば、サーバは、モデルに格納された１つまたは複数の軌跡を変更してよい。
図１２は、クラウドソーシングを用いてスパースマップを生成する（および、クラウドソーシングによるスパースマップを配信し、これを用いてナビゲートする）システムの概略図である。図１２は、１つもしくは複数の車線を含む道路セグメント１２００を示している。複数の車両１２０５、１２１０、１２１５、１２２０および、１２２５は（図１２には道路セグメント１２００に同時に現れるように示されているが）、道路セグメント１２００を同時に走行しても、異なる時間に走行してもよい。車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの少なくとも１つは、自動運転車であってよい。本例を簡単にするために、車両１２０５、１２１０、１２１５、１２２０、および１２２５の全てが自動運転車であると仮定する。
各車両は、他の実施形態で開示された車両（例えば、車両２００）と同様であってよく、他の実施形態で開示された車両に含まれる、またはその車両に関連する構成要素またはデバイスを含んでもよい。各車両は、画像取り込みデバイスまたはカメラ（例えば、画像取り込みデバイス１２２またはカメラ１２２）を備えてよい。各車両は、１つまたは複数のネットワークを介し（例えば、セルラネットワークおよび／またはインターネットなどを介し）、破線で示されている無線通信経路１２３５を通じてリモートサーバ１２３０と通信してよい。各車両は、データをサーバ１２３０に送信し、サーバ１２３０からデータを受信してよい。例えば、サーバ１２３０は、道路セグメント１２００を異なる時間に走行する複数の車両からデータを収集してよく、収集したデータを処理して、自動運転車向け道路ナビゲーションモデルまたは当該モデルの更新を生成してよい。サーバ１２３０は、自動運転車向け道路ナビゲーションモデルまたは当該モデルの更新を、サーバ１２３０にデータを送信した車両に送信してよい。サーバ１２３０は、自動運転車向け道路ナビゲーションモデルまたは当該モデルの更新を、後に道路セグメント１２００を走行する他の車両に送信してよい。
車両１２０５、１２１０、１２１５、１２２０、および１２２５が道路セグメント１２００を走行すると、車両１２０５、１２１０、１２１５、１２２０、および１２２５により収集された（例えば、検出された、検知された、または測定された）ナビゲーション情報がサーバ１２３０に送信されてよい。いくつかの実施形態において、ナビゲーション情報は共通の道路セグメント１２００に関連づけられてよい。ナビゲーション情報は、各車両が道路セグメント１２００を走行するときに車両１２０５、１２１０、１２１５、１２２０、および１２２５の各々に関連づけられる軌跡を含んでよい。いくつかの実施形態において、軌跡は、車両１２０５に設けられた様々なセンサおよびデバイスにより検知されたデータに基づいて再構築されてよい。例えば、軌跡は、加速度計データ、速度データ、ランドマークデータ、道路の幾何構造またはプロファイルデータ、車両測位データ、およびエゴモーションデータのうちの少なくとも１つに基づいて再構築されてよい。いくつかの実施形態において、軌跡は、加速度計などの慣性センサからのデータ、および速度センサにより検知された車両１２０５の速度に基づいて再構築されてよい。さらに、いくつかの実施形態において、軌跡は（例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５の各々に搭載したプロセッサにより）、３次元並進および／または３次元回転（または回転運動）を示し得る検知されたカメラのエゴモーションに基づいて決定されてよい。カメラ（したがって、車体）のエゴモーションは、カメラが取り込んだ１つまたは複数の画像の分析から特定されてよい。
いくつかの実施形態において、車両１２０５の軌跡は、車両１２０５に搭載されたプロセッサにより決定されて、サーバ１２３０に送信されてよい。他の実施形態において、サーバ１２３０は、車両１２０５に設けられた様々なセンサおよびデバイスにより検知されたデータを受信し、車両１２０５から受信したデータに基づいて軌跡を決定してよい。
いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５からサーバ１２３０に送信されるナビゲーション情報には、路面、道路の幾何構造、または道路プロファイルに関するデータが含まれてよい。道路セグメント１２００の幾何構造には、車線構成および／またはランドマークが含まれてよい。車線構成には、道路セグメント１２００の車線総数、車線のタイプ（例えば、一方通行車線、双方向車線、走行車線、追い越し車線など）、車線上の標示、車線の幅などが含まれてよい。いくつかの実施形態において、ナビゲーション情報には、車線指定、例えば複数の車線のうちのどの車線を車両が走行することになるかが含まれてよい。例えば、車線指定は数値に関連づけられてよく、「３」は車両が左または右から３番目の車線を走行することを示している。別の例として、車線指定はテキスト値に関連づけられてよく、「中央車線」は車両が中央車線を走行することを示している。
サーバ１２３０は、ナビゲーション情報を非一時的コンピュータ可読媒体に、例えば、ハードドライブ、コンパクトディスク、テープ、メモリなどに格納してよい。サーバ１２３０は、複数の車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報に基づいて、共通の道路セグメント１２００用の自動運転車向け道路ナビゲーションモデルの少なくとも一部を（例えば、サーバ１２３０に含まれるプロセッサにより）生成してよく、このモデルをスパースマップの一部として格納してよい。サーバ１２３０は、道路セグメントの車線を異なる時間に走行する複数の車両（例えば、１２０５、１２１０、１２１５、１２２０、および１２２５）から受信したクラウドソーシングによるデータ（例えば、ナビゲーション情報）に基づいて、各車線に関連づけられる軌跡を決定してよい。サーバ１２３０は、クラウドソーシングによるナビゲーションデータに基づいて決定された複数の軌跡に基づいて、自動運転車向け道路ナビゲーションモデルまたはそのモデルの一部（例えば、更新部分）を生成してよい。サーバ１２３０は、車両のナビゲーションシステムに提供された既存の自動運転車向け道路ナビゲーションモデルを更新するために、道路セグメント１２００を走行する自動運転車１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つもしくは複数、または後に道路セグメントを走行する任意の他の自動運転車に、モデルまたはモデルの更新部分を送信してよい。自動運転車向け道路ナビゲーションモデルは、自動運転車が共通の道路セグメント１２００に沿って自律的にナビゲートする際に用いられてよい。
上述したように、自動運転車向け道路ナビゲーションモデルは、スパースマップ（例えば、図８に示すスパースマップ８００）に含まれてよい。スパースマップ８００は、道路の幾何構造および／または道路沿いのランドマークに関連するデータのスパース記録を含んでよく、これは、自動運転車の自動ナビゲーションを誘導するのに十分な情報を与えることができ、しかも、過度のデータストレージを必要としない。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルは、スパースマップ８００とは別に格納されてよく、ナビゲーションのためにモデルが実行されると、スパースマップ８００からのマップデータを用いてよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルは、自動運転車１２０５、１２１０、１２１５、１２２０、および１２２５、または後に道路セグメント１２００に沿って走行する他の車両の自動ナビゲーションを誘導するために、スパースマップ８００に含まれるマップデータを用いて、道路セグメント１２００に沿った目標軌跡を決定してよい。例えば、車両１２０５のナビゲーションシステムに含まれるプロセッサによって自動運転車向け道路ナビゲーションモデルが実行されると、モデルは、車両１２０５から受信したナビゲーション情報に基づいて決定された軌跡とスパースマップ８００に含まれる所定の軌跡とをプロセッサに比較させて、車両１２０５の現在の走行コースを確認する且つ／または補正してよい。
自動運転車向け道路ナビゲーションモデルでは、道路特徴または目標軌跡の幾何構造は、３次元空間内の曲線によって符号化されてよい。一実施形態において、この曲線は、１つまたは複数の接続３次元多項式を含む３次元スプラインであってよい。当業者であれば理解しているであろうが、スプラインとは、データをフィッティングするために一連の多項式によって区分的に定義されている数値関数であってよい。道路の３次元幾何構造データをフィッティングするためのスプラインには、線形スプライン（１次）、２次スプライン（２次）、３次スプライン（３次）、もしくは任意の他のスプライン（他の次数）、またはこの組み合わせが含まれてよい。スプラインには、道路の３次元幾何構造データのデータ点を接続する（例えば、フィッティングする）様々な次数の１つまたは複数の３次元多項式が含まれてよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルには、共通の道路セグメント（例えば、道路セグメント１２００）または道路セグメント１２００の車線に沿った目標軌跡に対応する３次元スプラインが含まれてよい。
上述したように、スパースマップに含まれる自動運転車向け道路ナビゲーションモデルは、他の情報、例えば、道路セグメント１２００沿いの少なくとも１つのランドマークの識別情報を含んでもよい。ランドマークは、車両１２０５、１２１０、１２１５、１２２０、および１２２５の各々に設置されたカメラ（例えば、カメラ１２２）の視野内で視認可能であってよい。いくつかの実施形態において、カメラ１２２はランドマークの画像を取り込んでよい。車両１２０５に設けられたプロセッサ（例えば、プロセッサ１８０、１９０、または処理ユニット１１０）は、ランドマークの画像を処理して、ランドマークの識別情報を抽出してよい。ランドマークの実画像ではなくむしろ、ランドマークの識別情報はスパースマップ８００に格納されてよい。ランドマークの識別情報は、実画像よりはるかに少ないストレージ領域しか必要としなくてよい。他のセンサまたはシステム（例えば、ＧＰＳシステム）も、ランドマークの特定の識別情報（例えば、ランドマークの位置）を提供してよい。ランドマークには、交通標識、矢印標示、車線標示、破線の車線標示、信号機、一時停止線、方向標識（例えば、方向を示す矢印付きの高速道路出口標識、別の方向または場所を指し示す矢印付きの高速道路標識）、ランドマークビーコン、または街灯柱のうちの少なくとも１つが含まれてよい。ランドマークビーコンとは、車両に設置された受信器に信号を送信するまたは反射する、道路セグメントに沿って設置されたデバイス（例えば、ＲＦＩＤデバイス）を指し、車両がこのデバイスのそばを通ると、車両が受信するビーコンと（例えば、デバイスのＧＰＳ位置から決定される）デバイスの位置とが、自動運転車向け道路ナビゲーションモデルおよび／またはスパースマップ８００に含まれることになるランドマークとして用いられてよい。
少なくとも１つのランドマークの識別情報は、少なくとも１つのランドマークの位置を含んでよい。ランドマークの位置は、複数の車両１２０５、１２１０、１２１５、１２２０、および１２２５に関連づけられたセンサシステム（例えば、全地球測位システム、慣性ベースの測位システム、ランドマークビーコンなど）を用いて行われた位置測定法に基づいて決定されてよい。いくつかの実施形態において、ランドマークの位置は、異なる車両１２０５、１２１０、１２１５、１２２０、および１２２５のセンサシステムにより複数のドライブで検出され、収集され、または受信された位置測定値を平均化することにより決定されてよい。例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５は位置測定値のデータをサーバ１２３０に送信してよく、サーバは、位置測定値を平均化し、平均化した位置測定値をランドマークの位置として用いてよい。ランドマークの位置は、その後のドライブで車両から受信する測定値によって常に微調整されてよい。
ランドマークの識別情報には、ランドマークのサイズが含まれてよい。車両（例えば、１２０５）に設けられたプロセッサは、画像の分析に基づいてランドマークの物理的サイズを推定してよい。サーバ１２３０は、異なる車両から異なるドライブによる、同じランドマークの物理的サイズに関する複数の推定値を受信してよい。サーバ１２３０は、ランドマークの物理的サイズに到達するように様々な推定値を平均化し、そのランドマークのサイズを道路モデルに格納してよい。物理的サイズの推定値はさらに、車両からランドマークまでの距離を決定または推定するために用いられてよい。ランドマークまでの距離は、車両の現在の速度と、カメラの拡張焦点に対する画像に現れるランドマークの位置に基づく拡張スケールとに基づいて推定されてよい。例えば、ランドマークまでの距離は、Ｚ＝Ｖ×ｄｔ×Ｒ／Ｄで推定されてよく、ここで、Ｖは車両の速度であり、Ｒは時間ｔ１におけるランドマークから拡張焦点までの画像内の距離であり、Ｄはｔ１からｔ２までの画像内のランドマークについての距離の変化である。ｄｔは（ｔ２－ｔ１）を表している。例えば、ランドマークまでの距離は、Ｚ＝Ｖ×ｄｔ×Ｒ／Ｄで推定されてよく、ここで、Ｖは車両の速度であり、Ｒはランドマークと拡張焦点との間の画像内の距離であり、ｄｔは時間間隔であり、Ｄはエピポーラ線に沿ったランドマークの画像変位である。上記の式と等価な他の式、例えば、Ｚ＝Ｖ×ω／Δωが、ランドマークまでの距離を推定するのに用いられてよい。ここで、Ｖは車両速度であり、ωは画像長（物体幅のようなもの）であり、Δωは単位時間における画像長の変化である。
ランドマークの物理的サイズが既知である場合、ランドマークまでの距離も、次式、Ｚ＝ｆ×Ｗ／ωに基づいて決定されてよい。ここで、ｆは焦点距離であり、Ｗはランドマークのサイズ（例えば、高さまたは幅）であり、ωはランドマークが画像を離れたときの画素の数である。上記の式から、距離Ｚの変化が、ΔＺ＝ｆ×Ｗ×Δω／ω２＋ｆ×ΔＷ／ωを用いて計算されてよい。ここで、ΔＷは平均化でゼロに減衰し、Δωは画像のバウンディングボックス精度を表す画素の数である。ランドマークの物理的サイズを推定する値が、複数の観測結果をサーバ側で平均化することで計算されてよい。距離推定で結果として生じる誤差は、非常に小さくなり得る。上記の式を用いるときに生じ得る誤差の発生源は２つある。すなわち、ΔＷおよびΔωである。距離誤差に対するそれぞれの寄与分は、ΔＺ＝ｆ×Ｗ×Δω／ω２＋ｆ×ΔＷ／ωで与えられる。しかしながら、ΔＷは平均化によりゼロに減衰するので、ΔＺはΔω（例えば、画像のバウンディングボックスの不正確さ）で求められる。
未知の寸法のランドマークの場合、ランドマークまでの距離は、連続するフレームにわたってランドマーク上の特徴点を追跡することで推定され得る。例えば、制限速度標識上に現れる特定の特徴が２つまたはそれより多くの画像フレームにわたって追跡されてよい。追跡したこれらの特徴に基づいて、特徴点ごとの距離の分布が生成されてよい。距離推定値は、距離の分布から抽出されてよい。例えば、距離の分布に現れる最も頻度が高い距離を、距離推定値として用いてよい。別の例として、距離の分布の平均を距離推定値として用いてよい。
図１３は、複数の３次元スプライン１３０１、１３０２、および１３０３で表される例示的な自動運転車向け道路ナビゲーションモデルを示している。図１３に示す曲線１３０１、１３０２、および１３０３は、説明目的のためだけのものである。各スプラインには、複数のデータ点１３１０を接続した１つもしくは複数の３次元多項式が含まれてよい。各多項式は、１次多項式、２次多項式、３次多項式、または異なる次数を有する任意の好適な多項式の組み合わせであってもよい。各データ点１３１０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報に関連づけられてよい。いくつかの実施形態において、各データ点１３１０は、ランドマークに関連するデータ（例えば、ランドマークのサイズ、位置、および識別情報）および／またはロードシグネチャプロファイル（例えば、道路の幾何構造、道路凹凸プロファイル、道路曲率プロファイル、道路幅プロファイル）に関連づけられてよい。いくつかの実施形態において、データ点１３１０のなかには、ランドマークに関連するデータに関連づけられるものもあってよく、ロードシグネチャプロファイルに関連するデータに関連づけられるものもあってよい。
図１４は、５つの別々のドライブから受信した未処理の位置データ１４１０（例えば、ＧＰＳデータ）を示している。あるドライブを別々の車両が同時に通行した場合、同じ車両が別々の時間に通行した場合、または別々の車両が別々の時間に通行した場合、当該ドライブは別のドライブから分かれてよい。位置データ１４１０の誤差および同じ車線内の複数の車両の異なる位置（例えば、ある車両が別の車両よりも車線の左側の近くを走行しているかもしれない）を考慮するために、サーバ１２３０は、１つまたは複数の統計的手法を用いてマップの骨組み１４２０を生成し、未処理の位置データ１４１０の変化が実際の相違を表しているのか、統計誤差を表しているのかを判定してよい。マップの骨組み１４２０に含まれる各経路は、その経路を形成した未処理データ１４１０にあらためて関連づけられてよい。例えば、マップの骨組み１４２０に含まれるＡとＢとの間の経路は、ドライブ２、３、４、および５からの未処理データ１４１０に関連づけられるが、ドライブ１からの未処理データには関連づけられない。骨組み１４２０は、（例えば、上述したスプラインと異なり、同じ道路の複数の車線からのドライブを組み合わせるため）車両のナビゲートに用いられるほど詳細でなくてもよいが、有用なトポロジー情報を提供することができ、交差点を定義するのに用いることができる。
図１５は、マップの骨組みのセグメント（例えば、骨組み１４２０に含まれるセグメントＡ～Ｂ）に含まれるスパースマップ用に、さらなる詳細が生成され得る例を示している。図１５に示すように、データ（例えば、エゴモーションデータ、道路標示のデータなど）が、ドライブに沿った位置Ｓ（またはＳ１もしくはＳ２）に応じて示されてよい。サーバ１２３０は、ドライブ１５１０のランドマーク１５０１、１５０３、および１５０５と、ドライブ１５２０のランドマーク１５０７および１５０９との一意の一致を識別することにより、スパースマップ用のランドマークを識別してよい。そのようなマッチングアルゴリズムによって、ランドマーク１５１１、１５１３、および１５１５を識別することになり得る。しかしながら当業者であれば、他のマッチングアルゴリズムを用いてもよいことを認識するであろう。例えば、一意の一致の代わりに、またはこれと組み合わせて確率最適化を用いてもよい。サーバ１２３０は、各ドライブを長手方向に揃えて、一致したランドマークを揃えてよい。例えばサーバ１２３０は、１つのドライブ（例えば、ドライブ１５２０）を基準ドライブとして選択し、次いで１つまたは複数のその他のドライブ（例えば、ドライブ１５１０）を揃えるために移動させる且つ／または弾性的に引き延ばしてよい。
図１６は、スパースマップに用いるためにランドマークのデータを揃えた一例を示している。図１６の例では、ランドマーク１６１０は道路標識を含む。図１６の例はさらに、複数のドライブ１６０１、１６０３、１６０５、１６０７、１６０９、１６１１、および１６１３からのデータを示している。図１６の例では、ドライブ１６１３からのデータは「ゴースト」ランドマークで構成されており、サーバ１２３０はこのデータをそのようなものとして識別してよい。なぜならば、ドライブ１６０１、１６０３、１６０５、１６０７、１６０９、および１６１１のどれにも、ドライブ１６１３で識別されたランドマークの近くにランドマークの識別情報が含まれないからである。したがって、サーバ１２３０は、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを受け入れてよく、且つ／またはランドマークが現れない画像とランドマークが現れる画像との比率が閾値を超える場合、可能性のあるランドマークを排除してよい。
図１７は、スパースマップをクラウドソーシングするのに用いられ得る、ドライブデータを生成するためのシステム１７００を示している。図１７に示すように、システム１７００は、カメラ１７０１と位置特定デバイス１７０３（例えば、ＧＰＳロケータ）を含んでよい。カメラ１７０１および位置特定デバイス１７０３は、車両（例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つ）に取り付けられてよい。カメラ１７０１は、複数のタイプの複数のデータ、例えば、エゴモーションデータ、交通標識データ、または道路データなどを生成してよい。カメラデータおよび位置データは、複数のドライブセグメント１７０５に分割されてよい。例えば、複数のドライブセグメント１７０５は各々、１ｋｍ未満の走行からのカメラデータおよび位置データを有してよい。
いくつかの実施形態において、システム１７００は、ドライブセグメント１７０５の冗長性を取り除いてよい。例えば、カメラ１７０１からの複数の画像にランドマークが現れる場合、ドライブセグメント１７０５にはランドマークの位置およびランドマークに関連する任意のメタデータが１部だけ含まれるように、システム１７００は冗長なデータを取り除いてよい。さらなる例として、カメラ１７０１からの複数の画像に車線標示が現れる場合、ドライブセグメント１７０５には車線標示の位置および車線標示に関連する任意のメタデータが１部だけ含まれるように、システム１７００は冗長なデータを取り除いてよい。
システム１７００は、サーバ（例えば、サーバ１２３０）も含む。サーバ１２３０は、車両からドライブセグメント１７０５を受信し、これらのドライブセグメント１７０５を再結合して１つのドライブ１７０７にしてよい。そのようなやり方によって、車両とサーバとの間でデータを転送するときの帯域幅要件の低減が可能になると共に、サーバがドライブ全体に関連するデータを格納することも可能になり得る。
図１８は、さらにスパースマップをクラウドソーシングするように構成された、図１７のシステム１７００を示す。図１７にあるように、システム１７００は車両１８１０を含み、当該車両は、例えば、カメラ（これは例えば、エゴモーションデータ、交通標識データ、または道路データなどを生成する）および位置特定デバイス（例えば、ＧＰＳロケータ）を用いてドライブデータを取り込む。図１７にあるように、車両１８１０は、収集したデータを複数のドライブセグメント（図１８には「ＤＳ１ １」、「ＤＳ２ １」、「ＤＳＮ １」と示されている）に分割する。サーバ１２３０は次に、ドライブセグメントを受信し、受信したこれらのセグメントから１つのドライブ（図１８には「ドライブ１」と示されている）を再構築する。
図１８にさらに示すように、システム１７００は追加の車両からもデータを受信する。例えば、車両１８２０も、例えば、カメラ（これは例えば、エゴモーションデータ、交通標識データ、または道路データなどを生成する）および位置特定デバイス（例えば、ＧＰＳロケータ）を用いてドライブデータを取り込む。車両１８１０と同様に、車両１８２０は、収集したデータを複数のドライブセグメント（図１８には「ＤＳ１ ２」、「ＤＳ２ ２」、「ＤＳＮ ２」と示されている）に分割する。サーバ１２３０は次に、ドライブセグメントを受信し、受信したこれらのセグメントから１つのドライブ（図１８には「ドライブ２」と示されている）を再構築する。任意の数の追加の車両が用いられてよい。例えば、図１８は自動車Ｎも含み、当該自動車は、ドライブデータを取り込み、そのデータを複数のドライブセグメント（図１８には「ＤＳ１ Ｎ」、「ＤＳ２ Ｎ」、「ＤＳＮ Ｎ」と示されている）に分割し、これらをサーバ１２３０に送信して１つのドライブ（図１８には「ドライブＮ」と示されている）に再構築する。
図１８に示すように、サーバ１２３０は、複数の車両（例えば、「自動車１」（車両１８１０とも表示されている）、「自動車２」（車両１８２０とも表示されている）、および「自動車Ｎ」）から収集した再構築済みのドライブ（例えば、「ドライブ１」、「ドライブ２」、および「ドライブＮ」）を用いて、スパースマップ（「マップ」と示されている）を構築してよい。
図１９は、道路セグメントに沿った自動運転車ナビゲーション用のスパースマップを生成するための例示的なプロセス１９００を示すフローチャートである。プロセス１９００は、サーバ１２３０に含まれる１つまたは複数の処理デバイスにより行われてよい。
プロセス１９００は、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像を受信する段階（段階１９０５）を含んでよい。サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つまたは複数に含まれるカメラから画像を受信してよい。例えば、カメラ１２２は、車両１２０５が道路セグメント１２００に沿って走行するときに、車両１２０５を取り囲む環境に関する１つまたは複数の画像を取り込んでよい。いくつかの実施形態において、サーバ１２３０は、図１７に関して上述したように、車両１２０５に搭載されたプロセッサによって冗長性が取り除かれた、余分なものを除いた画像データも受信してよい。
プロセス１９００はさらに、複数の画像に基づいて、道路セグメントに沿って延びる路面特徴の少なくとも１つのライン表現を識別する段階（段階１９１０）を含んでよい。各ライン表現は、路面特徴と実質的に対応する、道路セグメントに沿った経路を表してよい。例えば、サーバ１２３０は、カメラ１２２から受信した環境画像を分析し、道路エッジまたは車線標示を識別して、道路エッジまたは車線標示に関連づけられる道路セグメント１２００に沿った走行の軌跡を決定してよい。いくつかの実施形態において、軌跡（またはライン表現）は、スプライン、多項式表現、または曲線を含んでよい。サーバ１２３０は、段階１９０５で受信したカメラのエゴモーション（例えば、３次元並進運動および／または３次元回転運動）に基づいて、車両１２０５の走行の軌跡を決定してよい。
プロセス１９００は、複数の画像に基づいて、道路セグメントに関連づけられる複数のランドマークを識別する段階（段階１９１５）も含んでよい。例えば、サーバ１２３０は、カメラ１２２から受信した環境画像を分析し、道路セグメント１２００沿いの道路標識などの１つまたは複数のランドマークを識別してよい。サーバ１２３０は、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像の分析を用いて、ランドマークを識別してよい。クラウドソーシングを可能にするために、分析には、道路セグメントに関連する可能性のあるランドマークを受け入れること、および排除することに関するルールが含まれてよい。例えば、分析には、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを受け入れる段階、および／またはランドマークが現れない画像とランドマークが現れる画像との比率が閾値を超える場合、可能性のあるランドマークを排除する段階を含んでよい。
プロセス１９００は、サーバ１２３０により行われる他の操作または段階を含んでよい。例えば、ナビゲーション情報には車両が道路セグメントに沿って走行するための目標軌跡が含まれてよく、プロセス１９００は、以下でさらに詳細に論じるように、サーバ１２３０が道路セグメントを走行する複数の車両に関連する車両軌跡をクラスタ化して、クラスタ化した車両軌跡に基づいて目標軌跡を決定する段階を含んでよい。車両軌跡をクラスタ化する段階は、サーバ１２３０が、車両の絶対進行方向または車両の車線指定のうちの少なくとも一方に基づいて、道路セグメントを走行する車両に関連する複数の軌跡をクラスタ化して複数のクラスタにする段階を含んでよい。目標軌跡を生成する段階は、サーバ１２３０が、クラスタ化した軌跡を平均化する段階を含んでよい。さらなる例として、プロセス１９００は、段階１９０５で受信したデータを揃える段階を含んでよい。サーバ１２３０により行われる他のプロセスまたは段階も、上述したように、プロセス１９００に含まれてよい。
開示するシステムおよび方法は、他の特徴を含んでよい。例えば、開示するシステムは、グローバル座標ではなくむしろローカル座標を用いてよい。自動運転の場合、いくつかのシステムは、ワールド座標でデータを示すことがある。例えば、地表面の経度および緯度による座標が用いられてよい。ホスト車両は、マップを操縦に用いるために、マップに対する自車の位置および方位を決定してよい。マップ上で車両を測位するために、且つ本体基準フレームとワールド基準フレーム（例えば、北、東、および南）との間の回転変換を求めるために、搭載されたＧＰＳデバイスを用いるのは自然なことのように思われる。一旦本体基準フレームをマップ基準フレームに揃えると、次に、所望のルートを本体基準フレームで表現することができ、操縦コマンドを計算することも、生成することもできる。
開示するシステムおよび方法は、低フットプリントモデルを用いた自動運転車ナビゲーション（例えば、操縦制御）を可能にしてよく、このモデルは、高価な測量機器の助けを借りることなく、自動運転車そのものによって収集されてよい。自動ナビゲーション（例えば、ステアリングアプリケーション）を支援するために、道路モデルは、モデルに含まれる軌跡に沿った車両の位置または位置を決定するのに用いられ得る道路の幾何構造、その車線構成、およびランドマークを有するスパースマップを含んでよい。上述したように、スパースマップの生成は、道路を走行する車両と通信し且つ車両からデータを受信するリモートサーバにより行われてよい。このデータには、検知データ、検知データに基づいて再構築された軌跡、および／または再構築された軌跡の変更を表し得る推奨軌跡が含まれてよい。以下で論じるように、サーバは、車両または後に道路を走行する他の車両にあらためてモデルを送信して、自動ナビゲーションに役立てることができる。
図２０は、サーバ１２３０のブロック図を示している。サーバ１２３０は通信ユニット２００５を含んでよく、このユニットは、ハードウェアコンポーネント（例えば、通信制御回路、スイッチ、およびアンテナ）とソフトウェアコンポーネント（例えば、通信プロトコル、コンピュータコード）とを両方とも含んでよい。例えば、通信ユニット２００５は、少なくとも１つのネットワークインタフェースを含んでよい。サーバ１２３０は、通信ユニット２００５を介して、車両１２０５、１２１０、１２１５、１２２０、および１２２５と通信してよい。例えば、サーバ１２３０は、通信ユニット２００５を介して、車両１２０５、１２１０、１２１５、１２２０、および１２２５から送信されるナビゲーション情報を受信してよい。サーバ１２３０は、通信ユニット２００５を介して、自動運転車向け道路ナビゲーションモデルを１つまたは複数の自動運転車に配信してよい。
サーバ１２３０は、少なくとも１つの非一時的記憶媒体２０１０、例えば、ハードドライブ、コンパクトディスク、テープなどを含んでよい。ストレージデバイス１４１０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報などのデータ、並びに／またはナビゲーション情報に基づいてサーバ１２３０が生成する自動運転車向け道路ナビゲーションモデルを格納するように構成されてよい。ストレージデバイス２０１０は、スパースマップ（例えば、図８に関して上述したスパースマップ８００）などの任意の他の情報を格納するように構成されてよい。
ストレージデバイス２０１０に加えて、またはその代わりに、サーバ１２３０はメモリ２０１５を含んでよい。メモリ２０１５は、メモリ１４０または１５０と同様であっても、これと異なってもよい。メモリ２０１５は、フラッシュメモリ、ランダムアクセスメモリなどといった、非一時的メモリであってよい。メモリ２０１５はデータを格納するように構成されてよく、そのようなデータには、プロセッサ（例えば、プロセッサ２０２０）が実行可能なコンピュータコードもしくは命令、マップデータ（例えば、スパースマップ８００のデータ）、自動運転車向け道路ナビゲーションモデル、並びに／または車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報などがある。
サーバ１２３０は、メモリ２０１５に格納されたコンピュータコードまたは命令を実行して、様々な機能を果たすように構成された少なくとも１つの処理デバイス２０２０を含んでよい。例えば、処理デバイス２０２０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報を分析し、この分析に基づいて自動運転車向け道路ナビゲーションモデルを生成してよい。処理デバイス２０２０は、通信ユニット１４０５を制御して、自動運転車向け道路ナビゲーションモデルを１つまたは複数の自動運転車（例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つまたは複数、あるいは後に道路セグメント１２００を走行する任意の車両）に配信してよい。処理デバイス２０２０は、プロセッサ１８０、１９０、または処理ユニット１１０と同様であっても、異なってもよい。
図２１は、メモリ２０１５のブロック図を示しており、このメモリは、自動運転車ナビゲーションに用いる道路ナビゲーションモデルを生成するのに１つまたは複数の操作を行うためのコンピュータコードまたは命令を格納してよい。図２１に示すように、メモリ２０１５は、車両ナビゲーション情報を処理する操作を行うための１つまたは複数のモジュールを格納してよい。例えば、メモリ２０１５は、モデル生成モジュール２１０５とモデル配信モジュール２１１０とを含んでよい。プロセッサ２０２０は、メモリ２０１５に含まれるモジュール２１０５および２１１０のうちのいずれかに格納された命令を実行してよい。
モデル生成モジュール２１０５は命令を格納してよく、この命令は、プロセッサ２０２０により実行されると、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報に基づいて、共通の道路セグメント（例えば、道路セグメント１２００）用の自動運転車向け道路ナビゲーションモデルの少なくとも一部を生成してよい。例えば、自動運転車向け道路ナビゲーションモデルを生成する際に、プロセッサ２０２０は、共通の道路セグメント１２００に沿った車両軌跡を様々なクラスタにクラスタ化してよい。プロセッサ２０２０は、様々なクラスタの各々のクラスタ化された車両軌跡に基づいて、共通の道路セグメント１２００に沿った目標軌跡を決定してよい。そのような操作には、各クラスタにおいて、クラスタ化された車両軌跡の平均軌跡を（例えば、クラスタ化された車両軌跡を表すデータを平均化することにより）求める段階が含まれてよい。いくつかの実施形態において、目標軌跡は、共通の道路セグメント１２００の単一の車線に関連づけられてよい。
道路モデルおよび／またはスパースマップは、道路セグメントに関連づけられた軌跡を格納してよい。これらの軌跡は、目標軌跡と呼ばれることがあり、自動ナビゲーションのために自動運転車に提供される。目標軌跡は、複数の車両から受信されてもよく、複数の車両から受信した実際の軌跡または推奨軌跡（一部の変更を伴った実際の軌跡）に基づいて生成されてもよい。道路モデルまたはスパースマップに含まれる目標軌跡は、他の車両から受信した新たな軌跡を用いて常に更新（例えば、平均化）されてよい。
道路セグメントを走行する車両は、様々なセンサでデータを収集してよい。データは、ランドマーク、ロードシグネチャプロファイル、車両の動き（例えば、加速度計データ、速度データ）、車両位置（例えば、ＧＰＳデータ）を含んでよく、実際の軌跡そのものを再構築するか、またはデータをサーバに送信するかのいずれかであってもよく、サーバは実際の軌跡を車両用に再構築することになる。いくつかの実施形態において、車両は、軌跡（例えば、任意の基準フレームにおける曲線）に関連するデータ、ランドマークデータ、および走行経路に沿った車線指定をサーバ１２３０に送信してよい。同じ道路セグメントに沿って複数のドライブで走行する様々な車両が、別々の軌跡を有してよい。サーバ１２３０は、クラスタ化プロセスを通じて車両から受信した軌跡から、各車線に関連づけられたルートまたは軌跡を識別してよい。
図２２は、共通の道路セグメント（例えば、道路セグメント１２００）の目標軌跡を決定するために、車両１２０５、１２１０、１２１５、１２２０、および１２２５に関連づけられた車両軌跡をクラスタ化するプロセスを示している。クラスタ化プロセスから決定される目標軌跡または複数の目標軌跡は、自動運転車向け道路ナビゲーションモデルまたはスパースマップ８００に含まれてよい。いくつかの実施形態において、道路セグメント１２００に沿って走行する車両１２０５、１２１０、１２１５、１２２０、および１２２５は、複数の軌跡２２００をサーバ１２３０に送信してよい。いくつかの実施形態において、サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したランドマーク、道路の幾何構造、および車両の動き情報に基づいて、軌跡を生成してよい。自動運転車向け道路ナビゲーションモデルを生成するために、サーバ１２３０は、図２２に示すように、車両軌跡１６００をクラスタ化して複数のクラスタ２２０５、２２１０、２２１５、２２２０、２２２５、および２２３０にしてよい。
クラスタ化は、様々な基準を用いて行われてよい。いくつかの実施形態では、クラスタに含まれる全てのドライブが、道路セグメント１２００に沿った絶対進行方向に関して類似していてよい。絶対進行方向は、車両１２０５、１２１０、１２１５、１２２０、および１２２５により受信されるＧＰＳ信号から取得されてよい。いくつかの実施形態において、絶対進行方向は推測航法を用いて取得されてよい。推測航法は、当業者であれば理解できるように、現在位置、したがって車両１２０５、１２１０、１２１５、１２２０、および１２２５の進行方向を、以前に決定された位置、推定速度などを用いて決定するのに用いられてよい。絶対進行方向によりクラスタ化された軌跡は、車道に沿ってルートを識別するのに役立ち得る。
いくつかの実施形態では、クラスタに含まれる全てのドライブが、道路セグメント１２００のドライブに沿った車線指定（例えば、交差点の前後では同じ車線）に関して類似していてよい。車線指定によりクラスタ化された軌跡は、車道に沿って車線を識別するのに役立ち得る。いくつかの実施形態では、両方の基準（例えば、絶対進行方向および車線指定）がクラスタ化に用いられてよい。
各クラスタ２２０５、２２１０、２２１５、２２２０、２２２５、および２２３０では、これらの軌跡を平均化して、特定のクラスタに関連づけられる目標軌跡を取得してよい。例えば、同じ車線クラスタに関連づけられた複数のドライブからの軌跡を平均化してよい。平均化された軌跡は、特定の車線に関連づけられた目標軌跡であってよい。あるクラスタの軌跡を平均化するために、サーバ１２３０は、任意の軌跡Ｃ０の基準フレームを選択してよい。全ての他の軌跡（Ｃ１、…、Ｃｎ）について、サーバ１２３０は、ＣｉをＣ０にマッピングするリジッド変換を求めてよい。ここで、ｉ＝１、２、…、ｎであり、ｎはクラスタに含まれる軌跡の総数に対応する正の整数である。サーバ１２３０は、Ｃ０基準フレームにおける平均曲線または軌跡を計算してよい。
いくつかの実施形態において、ランドマークは、異なるドライブ間で一致する弧長を規定してよく、これは軌跡と車線とを揃えるのに用いられてよい。いくつかの実施形態では、交差点の前後の車線標示が、軌跡と車線とを揃えるのに用いられることがある。
これらの軌跡から車線を編成するために、サーバ１２３０は、任意の車線の基準フレームを選択してよい。サーバ１２３０は、選択した基準フレームに、部分的に重なり合っている車線をマッピングしてよい。サーバ１２３０は、全ての車線が同じ基準フレームに入るまでマッピングを継続してよい。互いに隣り合う車線が、あたかも同じ車線であるかのように揃えられてよく、後にこれを横方向に移動させてよい。
道路セグメントに沿って認識されたランドマークが、まず車線レベルで、次に交差点レベルで共通の基準フレームにマッピングされてよい。例えば、同じランドマークは、複数のドライブで複数の車両により複数回認識されることがある。異なるドライブで受信した同じランドマークに関するデータは、わずかに異なることがある。そのようなデータは、平均化されて、Ｃ０基準フレームなどの同じ基準フレームにマッピングされてよい。さらに、またはその代わりに、複数のドライブで受信した同じランドマークのデータの分散を計算してもよい。
いくつかの実施形態において、道路セグメント１２０の各車線は、目標軌跡および特定のランドマークに関連づけられてよい。この目標軌跡または複数のそのような目標軌跡は、自動運転車向け道路ナビゲーションモデルに含まれてよく、同じ道路セグメント１２００に沿って走行する他の自動運転車によって後に用いられてよい。車両１２０５、１２１０、１２１５、１２２０、および１２２５が道路セグメント１２００に沿って走行している間に、これらの車両により識別されたランドマークが、目標軌跡と共に記録されてよい。目標軌跡およびランドマークのデータは、その後のドライブで他の車両から受信した新たなデータで常にまたは定期的に更新されてよい。
自動運転車の位置特定のために、開示するシステムおよび方法は、拡張カルマンフィルタを用いてよい。車両の位置は、３次元位置データおよび／または３次元方位データ、エゴモーションの集積による車両の現在位置の前方の将来位置の予測に基づいて決定されてよい。車両の位置特定は、ランドマークの画像観測によって補正されても、調整されてもよい。例えば、車両がカメラにより取り込まれた画像内にあるランドマークを検出した場合、当該ランドマークは道路モデルまたはスパースマップ８００に格納された既知のランドマークと比較されてよい。既知のランドマークは、道路モデルおよび／またはスパースマップ８００に格納された目標軌跡に沿った既知の位置（例えば、ＧＰＳデータ）を有して得る。現在の速度およびランドマークの画像に基づいて、車両からランドマークまでの距離を推定することができる。目標軌跡に沿った車両の位置は、ランドマークまでの距離と（道路モデルまたはスパースマップ８００に格納されている）ランドマークの既知の位置とに基づいて調整されてよい。道路モデルおよび／またはスパースマップ８００に格納されたランドマークの位置／場所データ（例えば、複数のドライブからの平均値）は、正確であると仮定されてよい。
いくつかの実施形態において、開示するシステムは閉ループサブシステムを形成してよく、このサブシステムでは、車両の６自由度（例えば、３次元位置データおよび３次元方位データ）の位置推定を用いて、所望の点（例えば、格納された点の１．３秒先）に到達できるように自動運転車をナビゲート（例えば、自動運転車のハンドルを操縦）してよい。次に、操縦および実際のナビゲーションから測定されたデータを用いて、６自由度の位置を推定してよい。
いくつかの実施形態では、道路沿いのポール、例えば、街灯柱および送電線またはケーブル線の電柱が、車両の位置を特定するためのランドマークとして用いられることがある。交通標識、信号機、道路上の矢印、一時停止線といった他のランドマーク、および道路セグメント沿いの物体の静的な特徴または署名も、車両の位置を特定するためのランドマークとして用いられてよい。ポールを位置特定に用いる場合、ポールのｙ方向の観測（すなわち、ポールまでの距離）ではなくむしろ、ｘ方向の観測（すなわち、車両からの視野角）が用いられてよい。なぜならば、ポールの下部が遮られることがあり、場合によってはポールが道路面上にないからである。
図２３は車両用ナビゲーションシステムを示しており、このシステムは、クラウドソーシングによるスパースマップを用いた自動ナビゲーションに用いられてよい。説明のために、車両は車両１２０５として参照される。図２３に示す車両は、本明細書に開示される任意の他の車両であってよく、例えば、車両１２１０、１２１５、１２２０、および１２２５、並びに他の実施形態に示す車両２００が含まれてよい。図１２に示すように、車両１２０５はサーバ１２３０と通信してよい。車両１２０５には、画像取り込みデバイス１２２（例えば、カメラ１２２）が含まれてよい。車両１２０５には、車両１２０５が道路（例えば、道路セグメント１２００）を走行するためのナビゲーションガイダンスを提供するように構成されたナビゲーションシステム２３００が含まれてよい。車両１２０５には、速度センサ２３２０および加速度計２３２５などの他のセンサも含まれてよい。速度センサ２３２０は、車両１２０５の速度を検出するように構成されてよい。加速度計２３２５は、車両１２０５の加速または減速を検出するように構成されてよい。図２３に示す車両１２０５は自動運転車であってよく、ナビゲーションシステム２３００は自動運転用のナビゲーションガイダンスを提供するのに用いられてよい。あるいは、車両１２０５は、非自律的で人が制御する車両であってもよく、ナビゲーションシステム２３００はそれでも、ナビゲーションガイダンスを提供するのに用いられてよい。
ナビゲーションシステム２３００には、通信経路１２３５を介してサーバ１２３０と通信するように構成された通信ユニット２３０５が含まれてよい。ナビゲーションシステム２３００には、ＧＰＳ信号を受信して処理するように構成されたＧＰＳユニット２３１０も含まれてよい。ナビゲーションシステム２３００にはさらに、少なくとも１つのプロセッサ２３１５が含まれてよく、このプロセッサは、ＧＰＳ信号、スパースマップ８００からのマップデータ（このデータは、車両１２０５に搭載されたストレージデバイスに格納されてもよく且つ／またはサーバ１２３０から受信されてもよい）、道路プロファイルセンサ２３３０により検知された道路の幾何構造、カメラ１２２により取り込まれた画像、並びに／またはサーバ１２３０から受信した自動運転車向け道路ナビゲーションモデルなどのデータを処理するように構成される。道路プロファイルセンサ２３３０には、路面凹凸、道路幅、道路標高、道路曲率などといった異なるタイプの道路プロファイルを測定するための、異なるタイプのデバイスが含まれてよい。例えば、道路プロファイルセンサ２３３０には、道路凹凸プロファイルを得るために、車両２３０５のサスペンションの動きを測定するデバイスが含まれてよい。いくつかの実施形態において、道路プロファイルセンサ２３３０には、車両１２０５から路側部（例えば、路側部の障壁）までの距離を測定するレーダーセンサが含まれてよく、これにより、道路の幅が測定される。いくつかの実施形態において、道路プロファイルセンサ２３３０には、道路の標高の上昇および下降を測定するように構成されたデバイスが含まれてよい。いくつかの実施形態において、道路プロファイルセンサ２３３０には、道路曲率を測定するように構成されたデバイスが含まれてよい。例えば、カメラ（例えば、カメラ１２２または別のカメラ）を用いて、道路曲率を示す道路の画像を取り込んでもよい。車両１２０５は、そのような画像を用いて、道路曲率を検出してよい。
少なくとも１つのプロセッサ２３１５は、車両１２０５に関連する少なくとも１つの環境画像をカメラ１２２から受信するようにプログラムされてよい。少なくとも１つのプロセッサ２３１５は、少なくとも１つの環境画像を分析して、車両１２０５に関連するナビゲーション情報を特定してよい。ナビゲーション情報には、道路セグメント１２００に沿った車両１２０５の走行に関連する軌跡が含まれてよい。少なくとも１つのプロセッサ２３１５は、カメラ１２２（したがって車両）の動き、例えば、３次元並進運動および３次元回転運動などに基づいて軌跡を決定してよい。いくつかの実施形態において、少なくとも１つのプロセッサ２３１５は、カメラ１２２が取得した複数の画像の分析に基づいて、カメラ１２２の並進運動および回転運動を特定してよい。いくつかの実施形態において、ナビゲーション情報には、車線指定情報（例えば、車両１２０５が道路セグメント１２００に沿ってどの車線を走行するか）が含まれてよい。車両１２０５からサーバ１２３０に送信されるナビゲーション情報は、サーバ１２３０が自動運転車向け道路ナビゲーションモデルを生成する且つ／または更新するのに用いられてよく、この情報は、自動ナビゲーションガイダンスを車両１２０５に提供するために、あらためてサーバ１２３０から車両１２０５に送信されてよい。
少なくとも１つのプロセッサ２３１５は、車両１２０５からサーバ１２３０にナビゲーション情報を送信するようにもプログラムされてよい。いくつかの実施形態において、ナビゲーション情報は、道路情報と共にサーバ１２３０に送信されてよい。道路位置情報には、ＧＰＳユニット２３１０が受信するＧＰＳ信号、ランドマーク情報、道路の幾何構造、車線情報などのうちの少なくとも１つが含まれてよい。少なくとも１つのプロセッサ２３１５は、自動運転車向け道路ナビゲーションモデルまたはそのモデルの一部をサーバ１２３０から受信してよい。サーバ１２３０から受信する自動運転車向け道路ナビゲーションモデルには、車両１２０５からサーバ１２３０に送信されたナビゲーション情報に基づく少なくとも１つの更新が含まれてよい。サーバ１２３０から車両１２０５に送信されるモデルの一部には、モデルの更新部分が含まれてよい。少なくとも１つのプロセッサ２３１５は、受信した自動運転車向け道路ナビゲーションモデルまたはモデルの更新部分に基づいた、車両１２０５による少なくとも１つのナビゲーション操作（例えば、旋回を行う、ブレーキをかける、加速する、別の車両を追い越すなどといった操縦）を発生させてよい。
少なくとも１つのプロセッサ２３１５は、車両１２０５に含まれる様々なセンサおよび構成要素と通信するように構成されてよく、そのようなセンサおよび構成要素には、通信ユニット１７０５、ＧＰＳユニット２３１５、カメラ１２２、速度センサ２３２０、加速度計２３２５、および道路プロファイルセンサ２３３０が含まれる。少なくとも１つのプロセッサ２３１５は、様々なセンサおよび構成要素から情報またはデータを収集して、その情報またはデータをサーバ１２３０に通信ユニット２３０５を介して送信してよい。その代わりに、またはさらに、車両１２０５の様々なセンサまたは構成要素も、サーバ１２３０と通信して、センサまたは構成要素が収集したデータまたは情報をサーバ１２３０に送信してよい。
いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５は互いに通信してよく、ナビゲーション情報を互いに共有してよい。これにより、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの少なくとも１つが、クラウドソーシングを用いて、例えば、他の車両により共有された情報に基づいて、自動運転車向け道路ナビゲーションモデルを生成してよい。いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５は、互いにナビゲーション情報を共有してよく、各車両は各車両に提供された自車の自動運転車向け道路ナビゲーションモデルを更新してよい。いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの少なくとも１つ（例えば、車両１２０５）が、ハブ車両として機能してよい。ハブ車両（例えば、車両１２０５）の少なくとも１つのプロセッサ２３１５は、サーバ１２３０により行われる機能の一部または全部を果たしてよい。例えば、ハブ車両の少なくとも１つのプロセッサ２３１５は、他の車両と通信して、他の車両からナビゲーション情報を受信してよい。ハブ車両の少なくとも１つのプロセッサ２３１５は、他の車両から受信した共有情報に基づいて、自動運転車向け道路ナビゲーションモデルまたはモデルの更新を生成してよい。ハブ車両の少なくとも１つのプロセッサ２３１５は、自動ナビゲーションガイダンスを提供するために、自動運転車向け道路ナビゲーションモデルまたはモデルの更新を他の車両に送信してよい。
［車線標示のマッピングおよびマッピングされた車線標示に基づくナビゲーション］
前述したように、自動運転車向け道路ナビゲーションモデルおよび／またはスパースマップ８００には、道路セグメントに関連づけられた、複数のマッピングされた車線標示が含まれてよい。以下でより詳細に論じるように、これらのマッピングされた車線標示は、自動運転車がナビゲートするときに用いられてよい。例えば、いくつかの実施形態において、マッピングされた車線標示は、計画された軌跡に関する横方向位置および／または方位を特定するのに用いられてよい。この位置情報を用いて、自動運転車は、決定位置において、目標軌跡の方向と一致するように進行方向を調整することが可能になり得る。
車両２００は、所与の道路セグメントにおいて車線標示を検出するように構成されてよい。道路セグメントには、車道の車両交通を誘導するための、道路上のあらゆる標示が含まれてよい。例えば、車線標示は、走行車線のエッジを画定する実線または破線であってよい。車線標示には、例えば、隣接車線で追い越しが許可されているかどうかを示す、二重実線、二重破線、または実線と破線との組み合わせなどの二重線も含まれてよい。車線標示には、高速道路の入口および出口の標示も含まれてよく、この標示は、例えば、出口ランプ用の減速車線、または車線が旋回専用であること、もしくは車線が終了することを示す点線を示している。これらの標示はさらに、作業区間、一時的な車線移動、交差点を通り抜ける経路、中央分離帯、専用車線（例えば、自転車専用車線、ＨＯＶ車線など）、または他の様々な標示（例えば、横断歩道、車両減速用ハンプ、踏切、一時停止線など）を示してよい。
車両２００は、画像取得ユニット１２０に含まれる画像取り込みデバイス１２２および１２４などのカメラを用いて、周辺の車線標示の画像を取り込んでよい。車両２００は、これらの画像を分析して、取り込まれた画像のうちの１つまたは複数で識別された特徴に基づいて、車線標示に関連する点の位置を検出してよい。これらの点の位置は、スパースマップ８００に車線標示を表すために、サーバにアップロードされてよい。カメラの位置および視野に応じて、単一の画像から車両の両側の車線標示が同時に検出されることがある。他の実施形態では、車両の複数の面に取り付けた様々なカメラを用いて、画像を取り込むことがある。車線標示の実画像をアップロードするのではなくむしろ、これらの標示は、スプラインまたは一連の点としてスパースマップ８００に格納されてよく、したがって、車両が遠隔にアップロードする必要があるスパースマップ８００および／またはデータのサイズが削減される。
図２４Ａ～図２４Ｄは、車両２００により検出され得る、特定の車線標示を表すための例示的な点の位置を示している。上述したランドマークと同様に、車両２００は様々な画像認識アルゴリズムまたはソフトウェアを用いて、取り込まれた画像内の点の位置を識別してよい。例えば、車両２００は、特定の車線標示に関連づけられる一連のエッジ点、コーナー点、または様々な他の点の位置を認識してよい。図２４Ａは、車両２００により検出され得る実線車線標示２４１０を示している。車線標示２４１０は、車道の外側エッジを表し、実線の白線で表されてよい。図２４Ａに示すように、車両２００は、車線標示に沿った複数のエッジ位置点２４１１を検出するように構成されてよい。これらの位置点２４１１は、スパースマップにおいてマッピングされた車線標示を作成するのに十分な任意の間隔で車線標示を表すように収集されてよい。例えば、車線標示は、検出されたエッジの１メートルごとに１つの点、検出されたエッジの５メートルごとに１つの点、または他の好適な間隔で表されてよい。いくつかの実施形態において、この間隔は、例えば、車両２００が検出点の位置に関する最高信頼度ランキングを有する点に基づくなどの所定の間隔ではなくむしろ、他の要因で決定されてもよい。図２４Ａは、車線標示２４１０の内側エッジ上のエッジ位置点を示しているが、点は線の外側エッジ上で、または両方のエッジに沿って収集されてもよい。さらに、図２４Ａには１つの線が示されているが、二重実線についても同様のエッジ点が検出されてよい。例えば、点２４１１が実線の一方または両方のエッジに沿って検出されてよい。
車両２００は、車線標示のタイプまたは形状に応じて、車線標示も違うように表してよい。図２４Ｂは、車両２００により検出され得る例示的な破線車線標示２４２０を示している。図２４Ａにあるようにエッジ点を識別するのではなくむしろ、車両は、破線の全境界を画定する車線破線のコーナーを表す一連のコーナー点２４２１を検出してよい。図２４Ｂは、所与の破線標示の各コーナーが位置特定されていることを示しているが、車両２００は、図に示すこれらの点のサブセットを検出しても、アップロードしてもよい。例えば、車両２００は、所与の破線標示の先頭エッジまたは先頭コーナーを検出してもよく、車線の内側に最も近い２つのコーナー点を検出してもよい。さらに、全ての破線標示を取り込まなくてもよく、例えば、車両２００は、破線標示のサンプル（例えば、１つおき、３つごと、５つごとなど）を表す点、または所定の間隔（例えば、１メートルごと、５メートルごと、１０メートルごとなど）で破線標示を表す点を取り込む且つ／または記録してよい。同様な車線標示、例えば、ある車線が出口ランプ用であること、特定の車線が終了することを示す標示、または検出可能なコーナー点を有し得る他の様々な車線標示についても、コーナー点が検出されてよい。二重破線または実線と破線との組み合わせで構成される車線標示についても、コーナー点が検出されてよい。
いくつかの実施形態において、マッピングされた車線標示を生成するためにサーバにアップロードされた点は、検出されたエッジ点またはコーナー点のほかに他の点を表してよい。図２４Ｃは、所与の車線標示の中心線を表し得る一連の点を示している。例えば、実線車線２４１０は、車線標示の中心線２４４０に沿った中心線点２４４１で表されてよい。いくつかの実施形態において、車両２００は、これらの中心点を様々な画像認識手法を用いて検出するように構成されてよく、そのような手法には、畳み込みニューラルネットワーク（ＣＮＮ）、スケール不変特徴変換（ＳＩＦＴ）、勾配方向ヒストグラム（ＨＯＧ）特徴、または他の手法などがある。あるいは、車両２００は、図２４Ａに示すエッジ点２４１１などの他の点を検出してよく、また、例えば、各エッジに沿った点を検出してエッジ点間の中点を求めることにより、中心線点２４４１を計算してよい。同様に、破線車線標示２４２０は、車線標示の中心線２４５０に沿った中心線点２４５１で表されてよい。中心線点は、図２４Ｃに示すように破線のエッジに配置されても、中心線に沿った様々な他の場所に配置されてもよい。例えば、各破線は、破線の幾何中心に１つの点で表されてよい。各点は、中心線に沿って所定の間隔を空けて配置されてもよい（例えば、１メートルごと、５メートルごと、１０メートルごとなど）。中心線点２４５１は、車両２００により直接的に検出されてもよく、図２４Ｂに示すように、コーナー点２４２１などの他の検出された基準点に基づいて計算されてもよい。上記と同様の手法を用いて、二重線などの他の車線標示タイプを表すのにも中心線が用いられてよい。
いくつかの実施形態において、車両２００は、２つの交差する車線標示間の交点などの、他の特徴を表している点を識別してよい。図２４Ｄは、２つの車線標示２４６０と２４６５との交差点を表す例示的な点を示している。車両２００は、２つの車線標示間の交差点を表している交点２４６６を計算してよい。例えば、車線標示２４６０または２４６５のうちの一方が、道路セグメント内の列車の交差領域または他の交差領域を表してよい。車線標示２４６０および２４６５は互いに垂直に交差しているように示されているが、様々な他の構成が検出されてもよい。例えば、車線標示２４６０および２４６５は他の角度で交差してもよく、これらの車線標示の一方または両方が交点２４６６で終了してもよい。同様の手法が、破線または他の車線標示タイプ同士の交差点にも適用されてよい。交点２４６６に加えて、車線標示２４６０および２４６５の方位に関するさらなる情報を提供する様々な他の点２４６７も検出されてよい。
車両２００は、実際の座標を車線標示の各々の検出点に関連づけてよい。例えば、各点の座標を含む位置識別子を生成して、車線標示をマッピングするためにサーバにアップロードしてよい。位置識別子はさらに、これらの点がコーナー点を表すのか、エッジ点を表すのか、中心点を表すのかなどを含む、これらの点に関する他の識別情報を含んでよい。したがって、車両２００は、画像の分析に基づいて、各点の実際の位置を決定するように構成されてよい。例えば、車両２００は、上述した様々なランドマークなどの画像内の他の特徴を検出して、車線標示の実際の位置を特定してよい。これには、検出されたランドマークに対する画像内の車線標示の位置を決定すること、または検出されたランドマークに基づいて車両の位置を決定し、次いで車両（または車両の目標軌跡）から車線標示までの距離を決定することが含まれてよい。ランドマークが利用できない場合、車線標示点の位置は、推測航法に基づいて決定された車両の位置に対して決定されてよい。位置識別子に含まれる実際の座標は、絶対座標（例えば、緯度／経度による座標）として表されてもよく、目標軌跡に沿った縦方向位置と目標軌跡からの横方向距離とに基づくなどの、他の特徴に関連してもよい。位置識別子は次に、ナビゲーションモデル（スパースマップ８００など）においてマッピングされた車線標示を生成するために、サーバにアップロードされてよい。いくつかの実施形態において、サーバは、道路セグメントの車線標示を表すスプラインを構築してよい。あるいは、車両２００はスプラインを生成して、このスプラインがナビゲーションモデルに記録されるように、サーバにアップロードしてよい。
図２４Ｅは、マッピングされた車線標示を含む対応する道路セグメントの例示的なナビゲーションモデルまたはスパースマップを示している。スパースマップは、車両が道路セグメントに沿って進むための目標軌跡２４７５を含んでよい。上述したように、目標軌跡２４７５は、車両が対応する道路セグメントを走行するときに通る理想的な経路を表してもよく、道路上の他の箇所（例えば、道路の中心線など）に位置してもよい。目標軌跡２４７５は、例えば、同じ道路セグメントを通行する車両の２つまたはそれより多くの再構築された軌跡の集合体（例えば、重みづけした組み合わせ）に基づいて、上述した様々な方法で計算されてよい。
いくつかの実施形態において、目標軌跡は、全ての車両タイプおよび全ての道路、車両、並びに／または環境状態に対して等しく生成されてよい。しかしながら、他の実施形態では、様々な他の要因または変数も、目標軌跡を生成する際に考慮されてよい。異なるタイプの車両（例えば、自家用車、軽トラック、およびフルトレーラ）には異なる目標軌跡が生成されてよい。例えば、比較的小さい旋回半径を有する目標軌跡が、大型のセミトレーラートラックではなく、小型の自家用車用に生成されてよい。いくつかの実施形態では、道路、車両、および環境状態も考慮されてよい。例えば、異なる道路状態（例えば、ぬれている、雪が積もっている、凍結している、乾いているなど）、車両状態（例えば、タイヤ状態または推定したタイヤ状態、ブレーキ状態または推定したブレーキ状態、燃料の残量など）、または環境要因（例えば、時刻、視認性、天候など）に対して異なる目標軌跡が生成されてよい。目標軌跡は、特定の道路セグメントの１つまたは複数の態様または特徴（例えば、制限速度、旋回の頻度およびサイズ、勾配など）にも依存してよい。いくつかの実施形態において、設定運転モード（例えば、所望の運転積極性、エコノミーモードなど）などの様々なユーザ設定も、目標軌跡を決定するのに用いられてよい。
スパースマップは、道路セグメントに沿った車線標示を表すマッピングされた車線標示２４７０および２４８０も含んでよい。マッピングされた車線標示は、複数の位置識別子２４７１および２４８１で表されてよい。上述したように、位置識別子は、検出された車線標示に関連づけられた点の実際の座標における位置を含んでよい。モデル内の目標軌跡と同様に、車線標示も標高データを含んでよく、３次元空間の曲線として表されてよい。例えば、この曲線は、好適な次数の３次元多項式を接続したスプラインであってよく、この曲線は位置識別子に基づいて計算されてよい。マッピングされた車線標示も、車線標示のタイプ（例えば、同じ走行方向の２つの車線間、反対の走行方向の２つの車線間、車道のエッジなど）の識別子、および／または車線標示の他の特性（例えば、実線、破線、１つの線、二重線、黄色線、白線など）などの、車線標示に関する他の情報またはメタデータを含んでよい。いくつかの実施形態において、マッピングされた車線標示は、例えば、クラウドソーシング手法を用いて、モデル内で常に更新されてよい。同じ車両は、同じ道路セグメントを走行するという複数の機会において位置識別子をアップロードしてもよく、道路セグメントを異なる時間に走行する複数の車両（１２０５、１２１０、１２１５、１２２０、および１２２５など）からデータが選択されてもよい。スパースマップ８００は次に、車両から受信され且つシステムに格納される、その後の位置識別子に基づいて更新されても、微調整されてもよい。マッピングされた車線標示が更新され、微調整されると、更新された道路ナビゲーションモデルおよび／またはスパースマップは、複数の自動運転車に配信されてよい。
スパースマップにおけるマッピングされた車線標示の生成には、画像または実際の車線標示そのものに含まれる異常に基づいた誤りの検出および／または軽減も含まれてよい。図２４Ｆは、車線標示２４９０の検出に関連した例示的な異常２４９５を示している。異常２４９５は、例えば、車線標示に関するカメラの視界を遮る物体、レンズに付着したゴミなどによって、車両２００により取り込まれた画像に現れることがある。場合によっては、異常が車線標示そのものに起因していることがあり、車線標示が傷んでいるもしくは摩耗している、または、例えば、土、ゴミ、水、雪、もしくは道路上の他の物質で部分的に覆われている場合がある。異常２４９５によって、間違った点２４９１が車両２００により検出されることになり得る。スパースマップ８００は、マッピングされた車線標示を補正し、誤りを排除してよい。いくつかの実施形態において、車両２００は、例えば、画像内の異常２４９５を検出することで、または異常の前後で検出された車線標示点に基づいて誤りを識別することで、間違った点２４９１を検出してよい。異常の検出に基づいて、車両は、点２４９１を除外してもよく、この点を他の検出点に従うように調整してもよい。他の実施形態では、この点がアップロードされた後に、例えば、同じ移動中にアップロードされた他の点に基づいて、または同じ道路セグメントに沿った以前の移動からのデータの集合体に基づいて、この点が予期される閾値から外れていると判定することにより、誤りを補正してよい。
ナビゲーションモデルおよび／またはスパースマップにおいてマッピングされた車線標示は、対応する車道を通行する自動運転車によるナビゲーションにも用いられてよい。例えば、目標軌跡に沿ってナビゲートする車両が、スパースマップにおけるマッピングされた車線標示を定期的に用いて、この車線標示そのものを目標軌跡と揃えてよい。上述したように、ランドマーク間では、車両は推測航法に基づいてナビゲートすることができ、推測航法では、車両がセンサを用いて自車のエゴモーションを特定し、目標軌跡に対する自車の位置を推定する。誤差が時間の経過と共に累積され得るため、目標軌跡に対する車両の位置決定の精度が次第に低くなることがある。したがって、車両はスパースマップ８００に存在する車線標示（および、その既知の位置）を用いて、位置決定での推測航法による誤差を低減することができる。このように、スパースマップ８００に含まれる識別された車線標示は、目標軌跡に対する車両の正確な位置を決定し得るナビゲーションの要としての役割を果たすことができる。
図２５Ａは、マッピングされた車線標示に基づく、ナビゲーションに用いられ得る、車両の周辺環境の例示的な画像２５００を示している。画像２５００は、例えば、画像取得ユニット１２０に含まれる画像取り込みデバイス１２２および１２４を介して車両２００により取り込まれてよい。画像２５００には、図２５Ａに示すように、少なくとも１つの車線標示２５１０の画像が含まれてよい。画像２５００には、上述したナビゲーションに用いられる道路標識などの、１つまたは複数のランドマーク２５２１も含まれてよい。取り込まれた画像２５００には現れないが、車両２００により検出される且つ／または特定される要素２５１１、２５３０、および２５２０などの図２５Ａに示す一部の要素も、参照のために示されている。
図２４Ａ～図２４Ｄおよび図２４Ｆに関して上述した様々な手法を用いて、車両が画像２５００を分析し、車線標示２５１０を識別してよい。画像内の車線標示の特徴に対応する様々な点２５１１が、検出されてよい。例えば、点２５１１は、車線標示のエッジ、車線標示のコーナー、車線標示の中点、２つの交差する車線標示同士の交点、または様々な他の特徴または位置に対応してよい。サーバから受信したナビゲーションモデルに格納された点の位置に対応する点２５１１が検出されてよい。例えば、マッピングされた車線標示の中心線を表す点を含むスパースマップが受信された場合、点２５１１も、車線標示２５１０の中心線に基づいて検出されてよい。
車両は、要素２５２０で表され且つ目標軌跡に沿って位置する縦方向位置も決定してよい。縦方向位置２５２０は、例えば、画像２５００内のランドマーク２５２１を検出して、測定した位置と道路モデルまたはスパースマップ８００に格納された既知のランドマークの位置とを比較することにより、画像２５００から決定されてよい。目標軌跡に沿った車両の位置は次に、ランドマークまでの距離とランドマークの既知の位置とに基づいて決定されてよい。縦方向位置２５２０は、車線標示の位置を決定するのに用いられる画像以外の画像からも決定されてよい。例えば、縦方向位置２５２０は、画像取得ユニット１２０内の他のカメラから同時にまたはほぼ同時に画像２５００を撮った画像に含まれるランドマークを検出することによって決定されてよい。場合によっては、車両は、縦方向位置２５２０を決定するための、いかなるランドマークの近くにも、他の基準点の近くにもいないことがある。そのような場合、車両は推測航法に基づいてナビゲートしてよく、したがって、センサを用いて自車のエゴモーションを特定し、目標軌跡に対する縦方向位置２５２０を推定してよい。車両は、車両と、１つまたは複数の取り込まれた画像内で観測される車線標示２５１０との間の実際の距離を表す距離２５３０も決定してよい。カメラアングル、車両の速度、車両の幅、または様々な他の要因が、距離２５３０を決定する際に考慮されてよい。
図２５Ｂは、道路ナビゲーションモデルにおけるマッピングされた車線標示に基づく、車両の横方向位置特定の補正を示している。上述したように、車両２００は、車両２００により取り込まれた１つまたは複数の画像を用いて、車両２００と車線標示２５１０との間の距離２５３０を決定してよい。車両２００は、マッピングされた車線標示２５５０および目標軌跡２５５５を含み得るスパースマップ８００などの道路ナビゲーションモデルにもアクセスできてよい。マッピングされた車線標示２５５０は、上述した手法を用いてモデル化されてよく、例えば、複数の車両により取り込まれたクラウドソーシングによる位置識別子を用いる。目標軌跡２５５５は、上述した様々な手法を用いて生成されてもよい。車両２００は、図２５Ａに関して上述したように、目標軌跡２５５５に沿った縦方向位置２５２０も決定または推定してよい。車両２００は次に、目標軌跡２５５５と、縦方向位置２５２０に対応するマッピングされた車線標示２５５０との間の横方向距離に基づいて、予期される距離２５４０を決定してよい。車両２００の横方向位置特定は、１つまたは複数の取り込まれた画像を用いて測定された実際の距離２５３０と、モデルからの予期される距離２５４０とを比較することにより、補正されても調整されてもよい。
図２６Ａは、開示する実施形態と矛盾しない、自動運転車ナビゲーションに用いるための車線標示をマッピングする例示的なプロセス２６００Ａを示すフローチャートである。段階２６１０において、プロセス２６００Ａは、検出された車線標示に関連づけられた２つまたはそれより多くの位置識別子を受信する段階を含んでよい。例えば、段階２６１０は、サーバ１２３０またはサーバに関連づけられた１つまたは複数のプロセッサにより行われてよい。位置識別子には、図２４Ｅに関して上述したように、検出された車線標示に関連づけられた点の実際の座標における位置が含まれてよい。いくつかの実施形態において、位置識別子は道路セグメントまたは車線標示に関する追加の情報などの、他のデータも含まれてよい。追加のデータ、例えば、加速度計データ、速度データ、ランドマークデータ、道路の幾何構造もしくはプロファイルデータ、車両測位データ、エゴモーションデータ、または上述した様々な他の形式のデータも、段階２６１０で受信されてよい。位置識別子は、車両１２０５、１２１０、１２１５、１２２０、および１２２５などの車両により、この車両が取り込んだ画像に基づいて生成されてよい。例えば、識別子は、ホスト車両に関連づけられたカメラからの、ホスト車両の環境を表す少なくとも１つの画像の取得と、ホスト車両の環境に含まれる車線標示を検出するための少なくとも１つの画像の分析と、ホスト車両に関連づけられた位置に対する検出された車線標示の位置を決定するための少なくとも１つの画像の分析とに基づいて決定されてよい。上述したように、車線標示には様々な異なる標示タイプが含まれてよく、位置識別子は車線標示に関連する様々な点に対応してよい。例えば、検出された車線標示が車線境界を表す破線標示の一部である場合、これらの点は、検出された車線標示のコーナーに対応してよい。検出された車線標示が車線境界を表す実線標示の一部である場合、これらの点は、上述した様々な間隔で検出された車線標示のエッジに対応してよい。いくつかの実施形態において、これらの点は、図２４Ｃに示すように、検出された車線標示の中心線に対応してもよく、図２４Ｄに示すように、２つの交差する車線標示同士の交点と、交差する車線標示に関連づけられた少なくとも一方の他の２つの点とに対応してもよい。
段階２６１２において、プロセス２６００Ａは、検出された車線標示を、対応する道路セグメントに関連づける段階を含んでよい。例えば、サーバ１２３０は、段階２６１０で受信した実際の座標または他の情報を分析し、この座標または他の情報と、自動運転車向け道路ナビゲーションモデルに格納された位置情報とを比較してよい。サーバ１２３０は、車線標示が検出された実際の道路セグメントに対応するモデルにおいて、道路セグメントを決定してよい。
段階２６１４において、プロセス２６００Ａは、検出された車線標示に関連づけられた２つまたはそれより多くの位置識別子に基づいて、対応する道路セグメントに関連する自動運転車向け道路ナビゲーションモデルを更新する段階を含んでよい。例えば、自動道路ナビゲーションモデルはスパースマップ８００であってよく、サーバ１２３０は、スパースマップを更新して、マッピングされた車線標示をモデルに含めても、これを調整してもよい。サーバ１２３０は、図２４Ｅに関して上述した様々な方法またはプロセスに基づいてモデルを更新してよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルを更新する段階には、検出された車線標示の実際の座標における位置の１つまたは複数の指標を格納することが含まれてよい。自動運転車向け道路ナビゲーションモデルには、図２４Ｅに示すように、車両が対応する道路セグメントに沿って進むための少なくとも１つの目標軌跡も含まれてよい。
段階２６１６において、プロセス２６００Ａは、更新した自動運転車向け道路ナビゲーションモデルを複数の自動運転車に配信する段階を含んでよい。例えば、サーバ１２３０は、更新した自動運転車向け道路ナビゲーションモデルを、ナビゲーションのためにこのモデルを用い得る車両１２０５、１２１０、１２１５、１２２０、および１２２５に配信してよい。自動運転車向け道路ナビゲーションモデルは、図１２に示すように、１つまたは複数のネットワークを介し（例えば、セルラネットワークおよび／またはインターネットなどを使い）、無線通信経路１２３５を通じて配信されてよい。
いくつかの実施形態において、車線標示は、図２４Ｅに関して上述したように、クラウドソーシング手法などで複数の車両から受信したデータを用いてマッピングされてよい。例えば、プロセス２６００Ａは、検出された車線標示に関連づけられた位置識別子を含む第１通信を第１ホスト車両から受信する段階と、検出された車線標示に関連づけられた追加の位置識別子を含む第２通信を第２ホスト車両から受信する段階とを含んでよい。例えば、第２通信は同じ道路セグメントを走行するその後の車両から受信されても、同じ道路セグメントに沿ったその後の移動で同じ車両から受信されてもよい。プロセス２６００Ａはさらに、第１通信で受信した位置識別子に基づいて、且つ第２通信で受信した追加の位置識別子に基づいて、検出された車線標示に関連づけられた少なくとも１つの位置の決定を微調整する段階を含んでよい。この段階には、複数の位置識別子の平均を用いること、および／または車線標示の実際の位置を反映していないかもしれない「ゴースト」識別子を除外することが含まれてよい。
図２６Ｂは、マッピングされた車線標示を用いて、道路セグメントに沿ってホスト車両を自律的にナビゲートするための例示的なプロセス２６００Ｂを示すフローチャートである。プロセス２６００Ｂは、例えば、自動運転車２００の処理ユニット１１０により行われてよい。段階２６２０において、プロセス２６００Ｂは、サーバベースのシステムから自動運転車向け道路ナビゲーションモデルを受信する段階を含んでよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルは、道路セグメントに沿ったホスト車両用の目標軌跡と、道路セグメントに関連づけられた１つまたは複数の車線標示に関連づけられた位置識別子とを含んでよい。例えば、車両２００は、プロセス２６００Ａを用いて発展したスパースマップ８００または別の道路ナビゲーションモデルを受信してよい。いくつかの実施形態において、目標軌跡は、例えば図９Ｂに示すように、３次元スプラインとして表されてよい。図２４Ａ～図２４Ｆに関して上述したように、位置識別子は、車線標示に関連づけられた点（例えば、破線車線標示のコーナー点、実線車線標示のエッジ点、２つの交差する車線標示同士の交点および交差する車線標示に関連づけられた他の点、車線標示に関連づけられた中心線など）の実際の座標における位置を含んでよい。
段階２６２１において、プロセス２６００Ｂは、車両の環境を表す少なくとも１つの画像を受信する段階を含んでよい。この画像は、画像取得ユニット１２０に含まれる画像取り込みデバイス１２２および１２４を介するなどして、車両の画像取り込みデバイスから受信されてよい。この画像には、上述した画像２５００と同様に、１つまたは複数の車線標示の画像が含まれてよい。
段階２６２２において、プロセス２６００Ｂは、目標軌跡に沿ったホスト車両の縦方向位置を決定する段階を含んでよい。図２５Ａに関して上述したように、これは、取り込まれた画像に含まれる他の情報（例えば、ランドマークなど）に基づいてもよく、検出されたランドマーク間での車両の推測航法によってもよい。
段階２６２３において、プロセス２６００Ｂは、目標軌跡に沿ったホスト車両の決定された縦方向位置に基づいて、且つ少なくとも１つの車線標示に関連づけられた２つまたはそれより多くの位置識別子に基づいて、車線標示までの予期される横方向距離を決定する段階を含んでよい。例えば、車両２００は、スパースマップ８００を用いて車線標示までの予期される横方向距離を決定してよい。図２５Ｂに示すように、目標軌跡２５５５に沿った縦方向位置２５２０は、段階２６２２において決定されてよい。スパースマップ８００を用いると、車両２００は、縦方向位置２５２０に対応するマッピングされた車線標示２５５０までの予期される距離２５４０を決定することができる。
段階２６２４において、プロセス２６００Ｂは、少なくとも１つの画像を分析して、少なくとも１つの車線標示を識別する段階を含んでよい。車両２００は、例えば上述したように、様々な画像認識手法またはアルゴリズムを用いて、画像内の車線標示を識別してよい。例えば、車線標示２５１０は、図２５Ａに示すように、画像２５００の画像分析によって検出されてよい。
段階２６２５において、プロセス２６００Ｂは、少なくとも１つの画像の分析に基づいて、少なくとも１つの車線標示までの実際の横方向距離を決定する段階を含んでよい。例えば、車両は、図２５Ａに示すように、車両と車線標示２５１０との間の実際の距離を表す距離２５３０を決定してよい。カメラアングル、車両の速度、車両の幅、車両に対するカメラの位置、または様々な他の要因が、距離２５３０を決定する際に考慮されてよい。
段階２６２６において、プロセス２６００Ｂは、少なくとも１つの車線標示までの予期される横方向距離と、少なくとも１つの車線標示までの決定された実際の横方向距離との差異に基づいて、ホスト車両の自動操縦動作を決定する段階を含んでよい。例えば、図２５Ｂに関して上述したように、車両２００は、実際の距離２５３０と予期される距離２５４０とを比較してよい。実際の距離と予期される距離との差異は、車両の実際の位置と車両が進む目標軌跡との誤差（およびその大きさ）を示し得る。したがって、車両は、この差異に基づいて、自動操縦動作または他の自動動作を決定してよい。例えば、図２５Ｂに示すように、実際の距離２５３０が予期される距離２５４０より小さい場合、車両は、車両を車線標示２５１０から離れて左側に誘導するための自動操縦動作を決定してよい。したがって、目標軌跡に対する車両の位置を補正することができる。例えば、プロセス２６００Ｂは、ランドマーク間の車両のナビゲーションを向上させるのに用いられてよい。
［車両交差点で選択的に減速するためのシステム］
開示する実施形態は、車両交差点における衝突を避けるためのシステムおよび方法を備えてもよい。例えば、システムは、ホスト車両の軌跡、および、少なくとも１つの周辺車両を特定するべく、ホスト車両の画像取得ユニット１２０および／または位置センサ１３０（図１）から情報を取り込んでもよい。そのような実施形態において、処理ユニット１１０は、ホスト車両が交差する車両と衝突するまでの時間を計算するべく取り込んだ情報を処理し、（ホスト車両および交差する車両のどちらも）対象減速度を計算し、且つ、衝突を避けるべく選択的な減速警報および／または自動ブレーキ信号を作動させてもよい。いくつかの実施形態では、システムは、自動であってもよい。他の実施形態では、システムは、半自動であってもよい。さらに他の実施形態では、システムは、最新運転者支援（ＡＤＡＳ）システムを備えてもよい。
四方交差点または交差道路交差点などの車両交差点での衝突を避けることは、処理が２つの独立した車両の軌跡と将来の動きとを推定することを含み得るため、課題を提示する。さらに、車両交差点では、別の車両との衝突コースでホスト車両にブレーキをかけるだけでは望ましくない場合がある。例えば、交差点において、ブレーキをかけると渋滞が発生し、（例えば流入交通）様々な事故が生じ、もしくは、（例えば、必要とされる減速度が高過ぎるならば）乗員に危害を加えるまたは乗員の快適さを低下させる場合があるので、ホスト車両にブレーキをかけることは非効率的であるかもしれない。代わりに、車両交差点に対して、他の車両が、ブレーキをかけるか、またはそうでなければ予想される衝突から離れるようにナビゲートするか、を評価した後で、ホスト車両にブレーキをかけるまたは減速させることが望ましいかもしれない。他の車両の有り得そうな軌跡の評価に基づいてホスト車両に減速させる（すなわち、選択的に減速させる）ことによって、代わりとなる事故のリスクを最小限に抑え、且つ、両方の車両の乗員を保護するかもしれない。さらに、選択的にホスト車両に減速させることは、乗員の邪魔にならず且つ自動運転車ナビゲーションを向上させもする、より安全な衝突回避メカニズムがもたらされることになり得る。
開示するシステムおよび方法は、交差点に近づく車両の動力を評価してホスト車両にブレーキをかけるかどうか、および、いつブレーキをかけるかを判定するによって、車両交差点での衝突を避けるという課題に対処する。例えば、開示するシステムおよび方法は、ホスト車両と、交差点または十字路に近づく対象車両との両方の動力に基づき、減速閾値を決定する機能を使用して、車両交差点でホスト車両が選択的に減速することを容易にしてもよい。さらに、開示するシステムは、車両交差点でホスト車両をいつ減速させ且つどのように減速させるかを高速かつ効率的に決定することを容易にするために、複数のセンサを使用して流入交通動力を取り込み、且つ、ホスト動力および対象動力に基づく適応関数を提供してもよい。さらに、開示するシステムおよび方法は、車両交差点において別の車両との衝突を避けるべくホスト車両がいつブレーキをかけるべきかの評価を継続的に更新することによって、車両交差点における衝突を解消するという課題を解決してもよい。
図２７は、開示する実施形態と矛盾しない、交差する車両の軌跡と衝突推定の上面図の概略図である。図２７は、交差する軌跡におけるホスト車両２７０２および対象車両２７０８を示す。いくつかの実施形態では、システム１００（図１）は、ホスト車両２７０２および／または対象車両２７０８のうちの一方または両方に含まれてもよい。例えば、ホスト車両２７０は、自動ナビゲーション動作（例えば、自動、半自動または衝突回避動作）を実行するシステム１００を有してもよい。
図２７に示されるように、ホスト車両２７０２および対象車両２７０８が、車両交差点（例えば四方交差点）に入ってきており、且つ、衝突することになり得る軌跡を有している。具体的には、ホスト軌跡２７０６および目標軌跡２７１６は、車両交差点で交差しており、したがって、システム１００は、ホスト車両２７０２と対象車両２７０８との間の衝突を推定してもよい。いくつかの実施形態では、衝突判定はホスト車両２７０２および対象車両２７０８の物理的境界または放射状近似値に基づいてもよく、その一方で、（図２７に示されるような）他の実施形態では、衝突判定はホスト車両２７０２および対象車両２７０８についてのバッファ領域に基づいてもよい。バッファ領域は、衝突推定または軌跡計算により大きな許容誤差を提供するべく使用される、車両を取り囲む領域を含んでもよい。いくつかの実施形態では、複数の車両のうちの１つまたは複数の周りにバッファ領域を割り当てることが有用かもしれない。バッファ領域は、衝突計算に使用される車両の領域を増加させてもよい。実際の車両は、自己の物理的境界に基づくフットプリントを占有または包含し、その一方で、バッファ領域は、より大きく安全な領域を提供してもよく、且つ、様々な形状（例えば、前方に細長い形状）を有してもよい。システム１００は、衝突までの時間または衝突軌跡の計算中に、バッファ領域を使用してもよい。例えば、いつ車両領域が重複するかを判定することによって予測される衝突を判定する代わりに、システム１００は、バッファ領域を使用して、より安全な衝突判定を可能にしてもよい。いくつかの実施形態では、システム１００は、２つの車両のバッファ領域が重複する場合に、これらが衝突経路にいると決定してもよい。バッファ領域は通常、実際の車両フットプリントよりも大きいものであり得るので、バッファ領域を使用することにより、安全性および／または乗員の快適性を高める、保守的な衝突推定が生成される。
いくつかの実施形態では、システム１００は、ホストバッファ２７０４および対象バッファ２７１０を特定してもよい。図２７に示されるように、ホストバッファ２７０４は、ホスト車両２７０２用のバッファ領域であってもよく、その一方で、対象バッファ２７１０は、対象車両２７０８に割り当てられるバッファ領域であってもよい。そのような実施形態において、システム１００は、ホスト車両２７０２および対象車両２７０８が衝突し得るかどうかを判定するだけでなく、高められた安全性または快適性を提供するバッファ空間を生成してもよい。ホストバッファ２７０４と対象バッファ２７１０との間で衝突が生じ得るかどうかを判定することによって、システム１００は、衝突の確率を最小限に抑えてもよい。そのような実施形態において、システム１００は、車両動力、車両サイズ、および／または、（例えば車両製造業者に応じた）ブレーキ能力に基づいて、ホストバッファ２７０４および対象バッファ２７１０を動的に割り当ててもよい。そのような実施形態において、システム１００は、停止するのがより困難であり得るより大きな車両により大きなバッファ領域を割り当ててもよく、その一方で、停止するのがより簡単であり得る小さな車両により小さなバッファ領域を割り当ててもよい。さらに、またはその代わりに、システム１００は、（誤差の潜在的な許容誤差またはマージンを考慮に入れるべく）より高速に移動する車両にはより大きなバッファを割り当てて、車両が減速するに連れてバッファ領域のサイズを小さくしてもよい。さらに、システム１００は、道路または環境状態に基づいてバッファ領域を割り当てまたは調整してもよい。例えば、システム１００は、凍結状態がある場合または道路が砂利である場合には、ホスト車両２７０２および対象車両２７０８の両方に、より大きなバッファ領域を割り当ててもよい。ホストバッファ２７０４および対象バッファ２７１０の判定は、図２９に関連してさらに記述する。
システム１００は、ホスト車両２７０２および対象車両２７０８の動力を取り込むように構成可能であってもよい。例えば、システム１００が、ホスト車両２７０２が交差点に近づいてきており、且つ、（例えば画像取得ユニット１２０を使用して）対象車両２７０８が衝突経路にいると判定した場合、システム１００は、ホスト車両２７０２および対象車両２７０８の両方について車両動力を特定してもよい。いくつかの実施形態では、車両動力は、車両加速度、速度および軌跡のうちの１つまたは複数を含んでもよい。さらに、またはその代わりに、車両動力は、車両運動量、ブレーキ能力、操縦範囲、質量分布、および／または、空力特性のうちの１つまたは複数を含んでもよい。さらに、いくつかの実施形態では、ホスト車両２７０２および対象車両２７０８の車両動力は、環境状況および／または道路状態に基づいて調整されてもよい。例えば、システム１００は、湿度、視認性、温度、路面プロファイル（例えば垂直等高線）、および／または、道路牽引係数のうちの１つまたは複数に基づいて、推定された車両動力を調整してもよい。そのような実施形態において、システム１００は、ホスト車両２７０２および対象車両２７０８の車両動力に基づいて衝突判定を行ってもよい。
いくつかの実施形態では、システム１００は、道路および／またはナビゲーション分析に基づいて、ホスト車両２７０２および対象車両２７０８の軌跡を予測するようにも構成されてよい。例えば、システム１００は、道路曲率、形状、および／または、一般道路状態もしくは気象状態、のうちの１つまたは複数に基づいて、ホスト軌跡２７０６および目標軌跡２７１６を特定してもよい。さらに、システム１００は、ナビゲーション命令および／またはマップを使用して軌跡を特定してもよい。
システム１００はまた、交差点または十字路の後の、予測される軌跡を計算してもよい。例えば、ホスト車両２７０２におけるシステム１００は、交差点後のホスト軌跡２７１２と、交差点後目標軌跡２７１４とを特定してもよい。システム１００が、（図２９に関連してさらに記述されるように）車両の選択的な減速を計算する間に、システム１００はまた、他の衝突を避けるために代替的な動作、減速または操縦を実行するかどうかを評価するべく、複数の車両の各々の交差点後の経路を推定してもよい。
図２８は、開示する実施形態と矛盾しない、複数の交差する車両の減速を判定するための例示的なニーポイント関数２８００を示す。関数２８００は、車両用の閾値減速度を動的に決定するべく、および／または、アラートおよび／またはブレーキ信号を引き起こすべく、システム１００によって使用されてもよい。
２つの独立したシステムを用いて車両交差点における衝突を避けるという課題を解決するべく、システム１００は、関数２８００に基づいて、ブレーキまたは減速判定を行ってもよい。いくつかの実施形態では、図２８に示されるように、関数２８００は、ニーポイント関数であってもよい。しかしながら、他の実施形態では、関数２８００は、多項式および／または指数関数などの異なるタイプの関数であってもよい。関数２８００がニーポイント関数である実施形態において、関数２８００は、線形補間法を使用して表される（例えば曲線フィッティングされる）曲線関数を指してもよい。例えば、関数２８００は、「ニー」または「キーポイント」を使用して異なるセグメントにおける関数を定義する、区間で定義されたマルチパート線形関数であってもよい。ニーポイント関数は、複数の区間の集まりによって定義されてもよく、それらの各々が線形関数を含む。したがって、いくつかの実施形態では、関数２８００は、傾きの変化が、区切り点、変化点、閾値、ニー、または、節点である、複数の線分または半直線を含むニーポイント関数であってもよい。図２８に示されるように、ニーポイント関数は、連続であってもよい。しかしながら、他の実施形態では、ニーポイント関数は、不連続であってもよい。
関数２８００は、（例えば、複数の車両のうちの１つがブレーキすべき場合に）減速閾値を推定するべく、ホスト車両２７０２および対象車両２７０８の両方の減速度を考慮に入れてもよい。関数２８００は、どの車両が最初に減速すべきかを決定するための、対象減速度およびホスト減速度の間の逆相関の一例を示す。いくつかの実施形態では、この逆の関係により、システム１００は、２つの車両のどちらが最初に減速するべきかを、より単純な回避を備える車両の減速を選択することによって決定することが可能になってもよい。例えば、ホスト車両２７０２が対象車両２７０８よりも交差点内へとより高速に移動しており、衝突を避けるためにより高い減速度を必要とし得るならば、システム１００は、対象車両２７０８が最初に減速するべきと決定し、より高いホスト減速度閾値を設定してもよい。しかしながら、対象車両２７０８がホスト車両２７０２よりも高速に移動している（且つ、衝突を避けるために高い減速度を必要とする）ならば、ホスト車両２７０２は衝突を避けるために減速できる可能性がより高そうなので、システム１００は、ホスト車両２７０２に対してより低いホスト減速度閾値を設定してもよい。
他の実施形態は、ニーポイント関数に加えてまたは代えて、１つまたは複数の他の関数を使用してもよい。例えば、いくつかの実施形態は、指数関数または多項式関数などの、代替的な関数タイプを使用してもよい。そのような実施形態では、関数はまた、ホスト車両２７０２用の減速度と対象車両２７０８用の減速度との間の関係を設定してもよいが、ニーポイント補間なしでその関係をモデル化してもよい。例えば、それらの減速度間の関係は、（例えば、ニーポイント関数の線形補間法を使用する代わりに）指数関数の様々なセグメントを用いてモデル化されてもよい。そのような実施形態において、システム１００は、例えば（ｘ＋ｅ－ａｔ）のような、一般に定義される指数関数のセグメントを使用して、複数の減速度間の関係を特定してもよく、ここで、ｘは、ホスト車両減速に関連してもよく、ａｔは、複数の車両の減速度間の減少率を設定する。そのような実施形態において、システム１００は、減速関係を補間するカスタマイズ指数関数を生成するべく、複数の車両の減速度を使用してもよい。その代わりに、またはそれに加えて、システム１００は、多項式関数を使用して複数の減速度間の関連をモデル化してもよい。例えば、システム１００は、例えばａｘｔ＋ｂｙｔのような、一般に定義される多項式関数のセグメントを使用して、複数の減速度間の関係を特定してもよく、ここで、ａおよびｂは、関数係数であり、ｘｔおよびｙｔは、複数の減速度間の関係をモデル化する。そのような実施形態において、ホスト車両２７０２の減速度および対象車両２７０８の減速度の間の関係は、車両減速度を関連付ける区分多項式関数を用いてモデル化されてもよい。したがって、システム１００はまた、複数の減速閾値を特定するべく、多項式関数を使用して複数の車両間の減速度を関連付けてもよい。
（とりわけ）ニーポイント関数、指数関数、および／または、多項式関数のうちのいずれかとして実装される、関数２８００を通じて、システム１００は、ホスト車両２７０２の必要とされる減速度および対象車両２７０８の減速度に基づいて、ホスト車両をいつ減速させるかを識別してもよい。図２９に関連してさらに記述されるように、システム１００は、衝突を避けるべく、ホスト車両２７０２および対象車両２７０８によって独立して必要とされる最小の減速度を特定してもよい。この、回避のための、独立した最小の減速度は、いつブレーキをかけるかについての、および／または、必要とされる減速度の大きさの、ホスト車両２７０２用の閾値減速度を特定するべく、関数２８００と組み合わせて使用されてもよい。例えば、ホストの閾値減速度は、衝突を避ける、ホスト車両２７０２の最小減速度と対象車両２７０８の最小減速度との間の関数２８００に基づいてもよい。
図２８に示されるように、関数２８００に基づいて、異なる閾値減速度が抽出されてもよい。例えば、第１閾値２８１０は、ホスト車両２７０２の必要とされる高い減速度に関連してもよい。したがって、ホスト車両が高速で交差点または十字路に近づいている状況では、システム１００は、（関数２８００に基づいて）第１閾値２８１０のような、より高い減速閾値を設定してもよい。これに対して、対象車両２７０８に必要とされる減速度が、ホスト車両２７０２と比べて非常に高い状況（例えば、対象車両２７０８が高速で交差点に近づいている状況）では、システム１００は、ホスト車両２７０２用に低い第３閾値２８１４を決定してもよく、これにより、衝突を避けるべくホスト車両２７０２が対象車両２７０８の前に減速する可能性が高まる。例えば、対象車両２７０８がホスト車両２７０２よりも高速で交差点に近づいているならば、システム１００は、通行権を譲って低い減速閾値を設定するのが好ましいと決定してもよい。第３閾値２８１４に低い減速閾値を設定することによって、システム１００は、ホスト車両２７０２をより速やかに減速させる。さらに、図２８に示されるように、ホスト車両２７０２の必要とされる減速度が第１閾値２８１０より低いが第３閾値２８１４より高い場合には、第２閾値２８１２が取得されてもよい。第２閾値２８１２について、システム１００は、ホスト車両２７０２および対象車両２７０８の相対速度に基づいて異なる減速度を特定してもよい。
図２８に示される閾値決定は、動的であってもよく、且つ、車両が交差点または十字路に近づくと繰り返し計算されてもよい。例えば、システム１００は、ホスト車両用の減速閾値を連続する反復で再計算してもよく、且つ、関数２８００を使用して推定される減速閾値を変更してもよい。そのような実施形態において、システム１００が最初に（対象車両２７０８が減速すると予期して第１閾値２８１０のような）高い減速閾値を設定するが、対象車両２７０８が減速しないならば、システム１００は、衝突までの時間が短くなるに連れて減速閾値を低くしてもよい。
図２９は、開示する実施形態と矛盾しない、複数の交差する車両の選択的な減速のための例示的なプロセス２９００を示すフロー図である。いくつかの実施形態では、以下に開示されるように、システム１００（図１）はプロセス２９００の複数の段階または動作を実行してもよい。例えば、処理ユニット１１０、画像取得ユニット１２０および位置センサ１３０は、プロセス２９００の１つまたは複数の段階を実行してもよい。あるいは、いくつかの実施形態では、処理ユニット１１０はプロセス２９００の各段階を実行してもよい。さらに、特定の実施形態では、システム１００の外側の他の構成要素がプロセス２９００の１つまたは複数の動作を実行してもよい。例えば、図１２に関連して開示されるように、リモートサーバ１２３０は、道路にいる車両と通信してもよい。そのような実施形態では、ホスト車両２７０２（図２７）は、取得された画像を、情報を遠隔で処理するリモートサーバ１２３０（図１２）に伝えてもよい。そのような実施形態では、プロセス２９００の特定の動作は、システム１００の範囲外で、サーバによって、遠隔に行われてもよい。しかしながら、以下の段階の説明は、システム１００がプロセス２９００の段階を実行する例を示す。
段階２９０２において、システム１００は、ホスト車両２７０２の少なくとも１つのセンサの出力に基づいて、ホスト車両２７０２の環境における対象車両２７０８の１つまたは複数の対象動力を特定してもよい。図２７に関連して論じられるように、車両の動力は、車両加速度、速度および軌跡のうちの１つまたは複数を含んでもよい。さらに、またはその代わりに、対象車両２７０８の車両動力は、車両運動量、ブレーキ能力、操縦範囲、質量分布、および／または、空力特性のうちの１つまたは複数を含んでもよい。さらに、いくつかの実施形態では、対象車両２７０８（またはホスト車両２７０２）の車両動力は、環境状況および／または道路状態に基づいて調整されてもよい。段階２９０２において、システム１００は例えば、画像取り込みユニット１０２を用いて、周辺環境の画像を取り込んでもよい。この情報に基づいて、システム１００は、十字路または交差点に近づいている対象車両２７０８の１つまたは複数の動力を特定してもよい。例えば、図２７に関連してさらに記述されるように、段階２９０２において、システム１００は、対象車両２７０８の加速度、速度および／または方向を特定してもよい。いくつかの実施形態では、システム１００は、例えば画像取り込ユニット１０２（図１）によって取り込まれた画像相違点を計算することによって、１つまたは複数の対象動力を特定してもよい。複数の取り込まれた画像間の相違点に基づいて、システム１００は、対象車両２７０８の動力を特定してもよい。しかしながら、他の実施形態では、システム１００は、様々なセンサを使用して対象車両２７０８の動きを取り込んでもよい。例えば、システム１００は、カメラ、ＬＩＤＡＲまたはレーダのうちの１つまたは複数を含んでもよく、複数のセンサのうちの１つまたは複数から収集されたデータを使用して１つまたは複数の動力を特定してもよい。例えば、システム１００は、これら複数のセンサのうちの２つまたはそれより多くから収集されたデータを組み合わせて１つまたは複数の動力を特定してもよい。
段階２９０４において、システム１００は、ホスト車両２７０２の１つまたは複数のホスト動力、および、（段階２９０２で特定された）１つまたは複数の対象動力に基づいて、衝突までの時間を特定してもよい。１つまたは複数のホスト動力は、ホスト車両２７０２にあるコンピュータから、または、ホスト車両２７０２にあるセンサから直接、収集されてもよい。例えば、段階２９０４において、処理ユニット１１０（図１）は、速度加速度モジュール４０６（図４）と通信して、ホスト車両２７０２の速度および／または加速度を特定してもよい。その代わりに、またはそれに加えて、処理ユニット１１０は、ナビゲーション応答モジュール４０８（図４）と通信して、ホスト車両２７０２の加速度、速度および／または方向を特定してもよい。さらに、いくつかの実施形態では、システム１００は、ステレオ画像分析モジュール４０４（図４）からの分析に基づいて、ホスト車両２７０２の動力を特定してもよい。代替的な例として、段階２９０４において、システム１００は、通信ユニット１７０５、ＧＰＳユニット２３１５、カメラ１２２、速度センサ２３２０、加速度計２３２５、および道路プロファイルセンサ２３３０（図２３）を含む、ホスト車両２７０２に含まれる様々なセンサおよび構成要素と通信して、ホスト動力を特定してもよい。さらに、システム１００は、ＧＰＳデータ、（例えば、加速度計、速度センサ、サスペンションセンサなど）のセンサデータ、および／または他のマップデータを用いてホスト車両２７０２の動力を特定し、車両が走行している間に、その環境に関連する情報を提供してよく、当該車両（および他の車両）は、その情報を用いてモデル上で自車の位置を特定してよい。さらに、いくつかの実施形態では、システム１００は、サーバ１２３０（図１２）のようなシステム外のデバイスからのホスト動力を要求してもよい。
ホスト動力および対象動力に基づいて、システム１００は、衝突までの時間（ＴＴＣ）（すなわち、複数の車両が現在の速度で同じ経路上を進み続ければ衝突するであろう時間）を特定してもよい。そのような実施形態では、システム１００は、軌跡を推定してもよく、且つ、速度および加速度に基づいて衝突の時間および地点を特定してもよい。さらに、またはその代わりに、システム１００は、円形、長方形および／または（楕円－長方形のような）合成図などの地理的形状を用いて車両フットプリントまたは領域をモデル化するアルゴリズムに基づき、衝突までの時間を特定してもよい。例えば、システム１００は、いつ複数の円形の中心間の距離が選択された半径未満となるか、に基づいてＴＴＣを特定する円形アルゴリズムを使用してもよい。
いくつかの実施形態では、図２７に関連してさらに論じられるように、システム１００は、バッファ領域に基づいて衝突までの時間を特定してもよい。例えば、システム１００は、ホストバッファ空間（例えばホストバッファ２７０４）および対象バッファ空間（例えば対象バッファ２７１０）を特定することによって、衝突までの時間を調整してもよく、当該ホストバッファ空間は、ホスト車両２７０２のサイズに基づいており、当該対象バッファ空間は、対象車両２７０８のサイズに基づいている。例えば、システム１００は、ホストバッファ２７０４および対象バッファ２７１０（図２７）を割り当てて、且つ、複数のバッファ領域間で衝突が発生する時期を予測することによって衝突までの時間を特定してもよい。そのような実施形態では、システム１００は、楕円を使用してホスト車両２７０２を表し、その一方で、長方形で対象車両２７０８を表す楕円－長方形アルゴリズムを使用してもよい。このように、システム１００は、非対称なバッファ領域を生成するために、方向を考慮するＴＴＣ決定を行ってもよい。
段階２９０６において、システム１００は、衝突を避けるべく、（段階２９０４からの）衝突までの時間、および、１つまたは複数のホスト動力に基づいて、ホスト車両２７０２用のホスト減速度を特定してもよい。いくつかの実施形態では、ホスト減速度は、ホスト車両２７０２が衝突を避けるための最小減速度であってもよい。例えば、ＴＴＣ、軌跡およびホスト動力に基づいて、システム１００は、衝突を避けるであろう、独立した減速度を計算してもよい。段階２９０６において、システム１００は、対象車両２７０８が自身の複数の動力のうちのいずれかを変更しないことを前提として、衝突を避けるであろう、ホスト車両２７０２の減速度を特定してもよい。したがって、段階２９０６において、システム１００は、対象車両２７０８に関係なく、衝突を避けるであろう、ホスト車両２７０２用の独立した減速度を特定してもよい。段階２９０６で計算されるホスト減速度は、例えば、ホスト車両２７０２が交差点に到達しないようにブレーキをかけること（すなわち、ホスト車両２７０２を完全に停止させること）に基づいてもよい。あるいは、段階２９０６で計算される減速度は、対象車両２７０８が現在の対象動力を継続するならば、それに通行権を譲るための減速度であってもよい。
段階２９０８において、システム１００は、衝突を避けるべく、（段階２９０４の）衝突までの時間、および、（段階２９０２の）１つまたは複数の対象動力に基づいて、対象車両用の対象減速度を特定してもよい。いくつかの実施形態では、対象減速度は、対象車両２７０８が衝突を避けるための最小減速度であってもよい。例えば、ＴＴＣおよび対象動力に基づいて、システム１００は、衝突を避けるであろう、対象車両２７０８による独立した減速度を計算してもよい。段階２９０６において、システム１００は、ホスト車両２７０２の動作に関係なく、および／または、ホスト車両２７０２が現在の動力を維持するならば、衝突を避けるであろう、対象車両２７０８の減速度を特定してもよい。段階２９０８で計算される対象減速度は、例えば、対象車両２７０８が交差点に到達しないようにブレーキをかけること、および／または、ホスト車両２７０２が現在の動力を継続するならば、それに通行権を譲るべく対象車両２７０８にブレーキをかけること、に基づいてもよい。
いくつかの実施形態では、減速度計算は、たとえ許容誤差が高い場合であっても、計算リソースの消費を最小限に抑え、且つ、短期間に推定値を提供するように構成されてもよい。例えば、そのような実施形態において、減速度計算は、最大０．２５ｍ／ｓ２の粒度で行われてもよい。さらに、最小減速度計算は、計算の一部として、「開始時間」を使用してもよい。開始時間は、車両において減速を開始するために必要とされる時間であってもよく、［システムサイレントタイム（Ｓｙｓｔｅｍ ｓｉｌｅｎｔ ｔｉｍｅ）］＋［ブレーキング ビルドタイム補償（Ｂｒａｋｉｎｇ ｂｕｉｌｄ ｔｉｍｅ ｃｏｍｐｅｎｓａｔｉｏｎ）］として定義されてもよい。開始時間は、減速を開始する車両に必要とされる時間を提供することによって、対象減速度を特定するのに役立ってもよい。「開始時間」中に、システム１００は、関連する物体で使用される動力を測定してもよい。そのような実施形態では、ホスト車両２７０２は、現在の必要とされる減速度に応じて構成可能であり得る開始時間に関連してもよい。これに対して、計算時間を最小限に抑えるべく、システム１００は、開始時間中に、対象車両２７０８の複数の変数を０に設定してもよい。そのような実施形態において、システム１００は、「開始時間」に統合されるブレーキプロファイルを、［開始時間］＝［システムサイレントタイム（Ｓｙｓｔｅｍ ｓｉｌｅｎｔ ｔｉｍｅ）］＋［ブレーキング ビルドタイム補償（Ｂｒａｋｉｎｇ ｂｕｉｌｄ ｔｉｍｅ ｃｏｍｐｅｎｓａｔｉｏｎ）］として特定してもよい。
段階２９０６および２９０８で特定される、最小且つ独立した対象減速度の情報は、次いで、段階２９１０で使用されて、ホスト減速度閾値を特定してもよい。段階２９１０において、システムは、ホスト減速度および対象減速度に基づいて、ホスト減速度閾値を特定してもよい。例えば、システム１００は、（段階２９０６の）独立したホスト減速度および（段階２９０８の）独立した対象減速度を、ニーポイント関数に入力し、閾値ホスト減速度を特定してもよい。図２８に関連してさらに論じられるように、ニーポイント関数は、ホスト減速度および対象減速度に関連してもよい。例えば、ニーポイント関数は、少なくとも４つのニーポイントを含んでもよい。当該関数におけるホスト減速度および対象減速度の関係に基づいて、システム１００は、ホスト減速度閾値を特定してもよい。そのような実施形態では、ホスト減速度閾値は、ホスト車両２７０２が衝突を避けるべくブレーキをかけることを必要とするときに特定されてもよい。
図２８に関連して記述されるように、ホスト減速度閾値は、動的であってもよく、且つ、ホスト車両２７０２と対象車両２７０８との間の速度の関係に基づいてもよい。複数の車両間の速度および／または減速度の相違点に応じて、システム１００は、衝突を避けるべく、ホスト車両２７０２用の異なる閾値減速度を特定してもよい。さらに、ホスト減速度閾値は、道路および車両状態に基づいて調整可能であるようにも構成されよい。例えば、いくつかの実施形態では、システム１００は、例えばホスト車両の製造業者に関連する１つまたは複数の仕様に従って、ホスト車両の最大減速能力に従うホスト減速度閾値を調整してもよく、またはそれを基準にしてもよい。
段階２９１０によって、システム１００は、急激な変化を最小限に抑えるためには交差している車両のいずれが最初にブレーキをかけるべきかを識別することが容易になり得、その一方で、衝突が遠方過ぎる、および／または、経路が依然として不明である場合に、アラートを出すことを防止する。例えば、対象車両２７０８が、（段階２９０８で推定された）最小且つ独立した高い減速度を必要として、非常に速やかに交差点に近づいているならば、システム１００は、ホスト車両２７０２によるより早いブレーキを引き起こさせるべく、低いホスト減速度閾値を決定してもよい。ホスト車両２７０２および対象車両２７０８の動力に基づく、そのような選択的な減速度は、急激な変化を最小限に抑え、代わりとなる事故を回避し、且つ、交差点の衝突を解決したときの安全性を高めるかもしれない。さらに、段階２９１０におけるホスト減速度閾値の決定は、（例えば、車両が遠方に離れているときにホスト減速度を高く設定することによって）早々にアラートを出すことを防止し、または、車両の軌跡が依然として不明である場合に減速を避けるかもしれない。
いくつかの実施形態では、ホスト減速度閾値の選択は、車両の動力および／または道路状態に基づく条件付きの関数を使用してもよい。例えば、ホスト減速度を特定するべく、システム１００は、複数の所定の減速関数から１つの減速関数を選択してもよい。減速関数の選択は、衝突までの時間、対象車両２７０８の速度、および、ホスト車両２７０２の速度に基づいてもよい。さらに、減速関数の選択は、温度や湿度などの周囲状況に基づいてもよい。そのような実施形態において、システム１００は、複数のニーポイント関数を格納し、且つ、段階２９１０において、車両動力に基づき、これらの関数から選択してもよい。例えば、ホスト閾値減速度の決定では、車両が５０ｍｐｈを上回って移動している場合にはある関数を使用し、且つ、車両が１０ｍｐｈ未満で移動している場合には別の関数を使用してもよい。そのような実施形態では、複数の所定の減速関数は、第１減速率に関連する第１関数および第２減速率に関連する第２関数を含んでもよく、第１減速率は第２減速率より小さい。第１減速関数は、遅い場合（例えば車両が２０ｍｐｈ未満で移動している場合）に使用されてもよく、その一方で、第２減速関数は、より積極的な減速閾値を含み、より早く危険な場合（例えば車両が６０ｍｐｈを上回って移動している場合）に使用されてもよい。
段階２９１０の一部として、システム１００は、ホスト減速度閾値を特定するのに使用される減速関数を構成してもよい。例えば、段階２９１０において、システム１００は、結果としてのホスト減速度閾値をカスタマイズするべく、交差する車両の特定のシナリオに基づいて関数２８００（図２８）を構成してもよい。複数の減速関数の構成には、一般構成および基準構成が含まれてもよい。例えば、一般構成は、関数における少なくとも４つのニーポイントを用いて、最小距離閾値とホスト速度との間の関係を特定することを含んでもよい。一般構成はまた、減速用の４×４のニーポイントの関数として開始時間を含んでもよい。例えば、基準構成は、ホスト車両２７０２の速度に基づいて、４つのニーポイントのＴＴＣ閾値を含んでもよい。基準構成はまた、ブレーキ基準用に４つのニーポイントを備える減速閾値（すなわち対象減速度の関数）と、非ブレーキ基準用に最小距離関数とを含んでもよい。さらに、基準オプションもまた、関数エンベロープ構成および／または目標エンベロープ構成を含んでもよい。
段階２９１２において、システム１００は、速度および閾値に基づいて、ホスト車両にブレーキをかけるかどうかを判定してもよい。例えば、段階２９１２において、システム１００は、ホスト車両２７０２が、（段階２９１０からの）ホスト減速度閾値、および、（段階２９０６で特定された）ホスト車両２７０２の速度に基づいてブレーキをかけるべきかどうかを判定してもよい。いくつかの実施形態では、システム１００は、ホスト減速度閾値を、関数２８００（図２８）などのニーポイント関数によって特定されるような、回避用に必要とされる外挿されたホスト減速度と比較してもよい。推定された減速度レベルがホスト減速度閾値未満ならば、システム１００は、ホスト車両２７０２が特定の時間にまたは特定の時間間隔でブレーキをかける必要がないと決定してもよい。推定された減速レベルがホスト減速度閾値を上回っているならば、システム１００は、ホスト車両２７０２が特定の時間にまたは特定の時間間隔でブレーキをかけるべきと決定してもよい（例えば、対象車両２７０８があまりに高速に移動していて、ホスト車両２７０２はブレーキをかけるべきである）。したがって、速度、必要とされる減速度、および、ホスト減速度閾値を比較することによって、システム１００は、選択的な減速度を特定し、且つ、選択的な減速信号を提供してもよい。
システム１００がホスト車両２７０２にブレーキをかけないと決定するならば（段階２９１２：いいえ）、システム１００は、ＴＴＣおよび軌跡を更新するべく、段階２９０２に戻り、ホスト動力および対象動力を再特定することによってプロセス２９００を再開してもよい。例えば、システム１００が、ホスト車両２７０２はブレーキをかけるべきではないと決定するならば、システム１００は、対象車両２７０８の追加の画像を取り込み、且つ、ホスト閾値減速度の決定を更新してもよい。したがって、システム１００は、衝突までの時間が減少するに連れて定期的にホスト減速度閾値を再計算するように構成されてもよい。図示されていない他の実施形態において、システム１００は、（新たな動力特定を行うことなく）単にＴＴＣを減少させることによってコンピュータリソースを節約し、（２９０２の代わりに）段階２９０４でプロセス２９００を再開し、且つ、ＴＴＣのカウントダウンに基づいてホスト減速度閾値を再計算してもよい。システム１００が、ＴＴＣは短く且つホスト動力および対象動力の再計算を可能にしないであろうと判定する場合、システム１００は、単にＴＴＣを減少させ、且つ、ホスト動力を再計算することなく減速度を直接特定してもよい。
システム１００がホスト車両２７０２にブレーキをかけると決定するならば（段階２９１２：はい）、システム１００は、段階２９１４および／または段階２９１６を続けてもよい。段階２９１４において、システム１００は、ホスト車両２７０２にブレーキをかけるとの決定に基づいて、ホスト車両２７０２にブレーキを引き起こすように構成された信号を出力してもよい。例えば、段階２９１４において、システム１００は、ブレーキ信号を引き起こし、且つ、それをブレーキ装置２３０（図２Ｆ）に送信して、ホスト車両２７０２に減速させ、またはブレーキをかけさせてもよい。その代わりに、またはそれに加えて、システム１００は、方向を制御および／または意図しない加速を回避するべく、減速信号をスロットル装置２２０および操縦装置２４０（図２Ｆ）に伝えてもよい。いくつかの実施形態では、ホスト車両２７０２にブレーキをかけさせる出力信号は、減速力または大きさを指定してもよい。例えば、（段階２９１２において）ホスト車両にブレーキをかけるとの決定の一部として、システム１００は、ブレーキの大きさを特定してもよい。そのような実施形態において、出力信号は、ホスト車両２７０２にブレーキをかけるまでの時間、または、ホスト車両２７０２のブレーキに加えられる圧力量、のうちの少なくとも一方を含んでもよい。例えば、ホスト閾値減速度と、ホスト車両２７０２について推定される減速度との間の相違点に基づいて、システム１００は減速度の大きさを特定してもよい。そのような実施形態では、段階２９１４において、ブレーキシステム２３０に送られる出力信号は、ブレーキに加えられる力、または、ブレーキ装置によって達成される必要がある目標ブレーキ力を指定してもよい。
その代わりに、またはそれに加えて、ホスト車両２７０２にブレーキをかけると決定した後、システム１００は、ホスト車両にブレーキをかけるとの決定に基づいてシステム１００がアラートを出力する段階２９１６を続けてもよい。アラートは、ホスト車両２７０２の運転者を対象としてもよい。例えば、システム１００は、車両にブレーキをかけるべく、運転者のダッシュボードにおいて信号を生成してもよい。いくつかの実施形態では、アラートは、可聴アラート、視覚アラート、または触覚アラートのうちの少なくとも１つを含んでもよい。例えば、ダッシュボードアラートに加えて、システム１００は、車両のホーンを作動させることによって音アラートを生成し、および／または、運転者の席および／または運転者のハンドルを振動させることによって触覚アラートを生成してもよい。
段階２９１４および２９１６は排他的ではなく、システム１００は、両方を実行すると決定してもよい。したがって、特定の実施形態では、システム１００は、（１）出力信号を生成してホスト車両２７０２にブレーキをかけること、および、（２）ブレーキをかけるべきアラートを生成すること、の両方を行ってもよい。他の実施形態において、ユーザ嗜好は、システム１００が段階２９１４を実行するか、または段階２９１６を実行するかを決定してもよい。例えば、ユーザは、自動減速をできなくさせ、且つ、段階２９１６のアラートだけを受信してもよい。あるいは、ユーザは、アラートを無効にし、且つ、段階２９１４の、ブレーキをかける出力信号を有するだけでもよい。
プロセス２９００は、システム１００が、交差する車両のシナリオにおいて、代わりとなる事故のリスクを最小限に抑え、（予測不可能で乗員に害を引き起こす可能性が有る）急激な軌跡変更を回避し、且つ、渋滞または不必要なアラートを回避しつつ、ホスト車両を選択的に減速することを許容する。プロセス２９００はさらに、どの車両が減速すべきか、それがいつ減速すべきか、および、それがどれだけ減速すべきか、を特定するために周期的に起こるプロセスを有することによって、複数の独立した要素を備えたシステムを有することの問題を解決する。
前述の記載事項は、説明のために提示されている。これは網羅的ではなく、また開示したそのままの形式または実施形態に限定されない。本明細書を検討し且つ開示した実施形態を実践することから、当業者には複数の変更および改作が明らかになるであろう。さらに、開示した実施形態の各態様がメモリに格納されるものとして説明されているが、これらの態様は、二次ストレージデバイスなどの他のタイプのコンピュータ可読媒体、例えば、ハードディスクもしくはＣＤ－ＲＯＭ、または他の形式のＲＡＭもしくはＲＯＭ、ＵＳＢ媒体、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、４Ｋ超高精細度Ｂｌｕ－ｒａｙ（登録商標）、あるいは他の光ドライブ媒体にも格納できることを、当業者であれば理解するであろう。
記載した明細書および開示した方法に基づくコンピュータプログラムは、経験ある開発者の技能の範囲内である。様々なプログラムまたはプログラムモジュールは、当業者に知られている手法のうちのいずれかを用いて作成することもでき、既存のソフトウェアに関連して設計することもできる。例えば、プログラムセクションまたはプログラムモジュールの設計は、．Ｎｅｔ Ｆｒａｍｅｗｏｒｋ、．Ｎｅｔ Ｃｏｍｐａｃｔ Ｆｒａｍｅｗｏｒｋ（および、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｃなどといった関連言語）、Ｊａｖａ（登録商標）、Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ－Ｃ、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸの組み合わせ、ＸＭＬ、またはＪａｖａ（登録商標）アプレットを含んだＨＴＭＬで行うことも、これを用いて行うこともできる。
さらに、例示的実施形態が本明細書に説明されているが、あらゆる実施形態の範囲には、均等な要素、変更、省略、（例えば、様々な実施形態にわたる態様の）組み合わせ、改作、および／または改変が含まれており、こうしたことは当業者が本開示に基づいて理解するであろう。特許請求の範囲における限定は、特許請求の範囲で使用されている用語に基づいて広く解釈されるべきであり、本明細書においてまたは本願の審査手続き中に説明される例に限定されない。これらの例は、非排他的であると解釈されるべきである。さらに、開示した方法の段階は、段階の並べ替え、および／または段階の挿入もしくは削除を含む任意の方式で変更されてよい。したがって、本明細書および例は単なる例示に過ぎないとみなされることが意図されており、実際の範囲および趣旨は以下の特許請求の範囲およびその均等物の全範囲によって示されている。

Claims (20)

  1. ホスト車両用のシステムであって、
    前記ホスト車両の少なくとも１つのセンサの出力に基づいて、前記ホスト車両の環境における対象車両の１つまたは複数の対象動力を特定し、
    前記ホスト車両の１つまたは複数のホスト動力および前記１つまたは複数の対象動力に基づいて、前記ホスト車両および前記対象車両の衝突までの時間を特定し、
    前記衝突までの時間および前記１つまたは複数のホスト動力に基づいて、前記ホスト車両が前記衝突を避けるためのホスト減速度を特定し、
    前記衝突までの時間および前記１つまたは複数の対象動力に基づいて、前記対象車両が前記衝突を避けるための対象減速度を特定し、
    前記ホスト減速度および前記対象減速度に基づいて、ホスト減速度閾値を特定し、
    前記ホスト車両の速度および前記ホスト減速度閾値に基づいて、前記ホスト車両にブレーキをかけると決定する、
    ようにプログラムされた少なくとも１つのプロセッサを備える、
    システム。
  2. 前記少なくとも１つのプロセッサはさらに、
    前記ホスト車両にブレーキをかけるとの前記決定に基づいて、前記ホスト車両にブレーキをかけさせるように構成された信号を出力するようにプログラムされている、
    請求項１に記載のシステム。
  3. 前記信号は、前記ホスト車両にブレーキをかけるまでの時間、または、前記ホスト車両のブレーキに加えられる圧力量のうちの少なくとも一方を含む、
    請求項２に記載のシステム。
  4. 前記少なくとも１つのプロセッサはさらに、
    前記ホスト車両にブレーキをかけるとの前記決定に基づいて、アラートを出力するようにプログラムされ、
    前記アラートは、可聴アラート、視覚アラート、または触覚アラートのうちの少なくとも１つを含む、
    請求項１から３の何れか一項に記載のシステム。
  5. 前記ホスト車両の前記少なくとも１つのセンサは、カメラ、ＬＩＤＡＲまたはレーダのうちの少なくとも１つを含む、
    請求項１から４の何れか一項に記載のシステム。
  6. 前記対象車両の前記１つまたは複数の対象動力は、前記対象車両の速度、または、前記対象車両の予測された経路、のうちの少なくとも一方を含み、
    前記ホスト車両の前記１つまたは複数のホスト動力は、前記ホスト車両の速度、または、前記ホスト車両の予測された経路、のうちの少なくとも一方を含む、
    請求項１から５の何れか一項に記載のシステム。
  7. 前記ホスト減速度は、前記ホスト車両が前記衝突を避けるための最小減速度であり、
    前記対象減速度は、前記対象車両が前記衝突を避けるための最小減速度である、
    請求項１から６の何れか一項に記載のシステム。
  8. 前記ホスト減速度閾値を特定することは、ニーポイント関数を使用することを含む、
    請求項１から７の何れか一項に記載のシステム。
  9. 前記ニーポイント関数は、少なくとも４つのニーポイントを含む、
    請求項８に記載のシステム。
  10. 前記衝突までの前記時間を特定することは、ホストバッファ空間および対象バッファ空間を特定することをさらに含み、
    前記ホストバッファ空間は前記ホスト車両のサイズに基づき、前記対象バッファ空間は前記対象車両のサイズに基づく、
    請求項１から９の何れか一項に記載のシステム。
  11. 前記ホスト減速度閾値はさらに、前記ホスト車両の製造業者に関連する１つまたは複数の仕様に従う、前記ホスト車両の最大減速能力に基づく、
    請求項１から１０の何れか一項に記載のシステム。
  12. 前記少なくとも１つのプロセッサはさらに、
    前記衝突までの前記時間が減少するに連れて定期的に前記ホスト減速度閾値を再計算するようにプログラムされている、
    請求項１から１１の何れか一項に記載のシステム。
  13. 前記ホスト減速度閾値を特定することは、前記衝突までの前記時間、前記対象車両の速度、および、前記ホスト車両の前記速度に基づいて、複数の予め定められた減速関数から１つの減速関数を選択することをさらに含む、
    請求項１から１２の何れか一項に記載のシステム。
  14. 前記複数の予め定められた減速関数は、第１減速率に関連する第１関数および第２減速率に関連する第２関数を含み、前記第１減速率は前記第２減速率より小さい、
    請求項１３に記載のシステム。
  15. ホスト車両の少なくとも１つのセンサの出力に基づいて、前記ホスト車両の環境における対象車両の１つまたは複数の対象動力を特定することと、
    前記ホスト車両の１つまたは複数のホスト動力および前記１つまたは複数の対象動力に基づいて、前記ホスト車両および前記対象車両の衝突までの時間を特定することと、
    前記衝突までの時間および前記１つまたは複数のホスト動力に基づいて、前記ホスト車両が前記衝突を避けるためのホスト減速度を特定することと、
    前記衝突までの前記時間および前記１つまたは複数の対象動力に基づいて、前記対象車両が前記衝突を避けるための対象減速度を特定することと、
    前記ホスト減速度および前記対象減速度に基づいて、ホスト減速度閾値を特定することと、
    前記ホスト車両の速度および前記ホスト減速度閾値に基づいて、前記ホスト車両にブレーキをかけると決定することと
    を備える、コンピュータ実装方法。
  16. 前記ホスト車両にブレーキをかけるとの決定に基づいて、前記ホスト車両にブレーキをかけさせるように構成された信号を出力することをさらに備える、
    請求項１５に記載のコンピュータ実装方法。
  17. 前記信号は、前記ホスト車両にブレーキをかけるまでの時間、または、前記ホスト車両のブレーキに加えられる圧力量のうちの少なくとも一方を含む、
    請求項１６に記載のコンピュータ実装方法。
  18. 前記ホスト車両にブレーキをかけるとの前記決定に基づいて、アラートを出力することをさらに備え、
    前記アラートは、可聴アラート、視覚アラート、または触覚アラートのうちの少なくとも１つを含む、
    請求項１５から１７の何れか一項に記載のコンピュータ実装方法。
  19. 前記ホスト車両の前記少なくとも１つのセンサは、カメラ、ＬＩＤＡＲまたはレーダのうちの少なくとも１つを含む、
    請求項１５から１８の何れか一項に記載のコンピュータ実装方法。
  20. プログラムであって、
    前記プログラムは、少なくとも１つの処理デバイスによって実行された場合に、前記少なくとも１つの処理デバイスに、
    ホスト車両の少なくとも１つのセンサの出力に基づいて、前記ホスト車両の環境における対象車両の１つまたは複数の対象動力を特定する手順と、
    前記ホスト車両の１つまたは複数のホスト動力および前記１つまたは複数の対象動力に基づいて、前記ホスト車両および前記対象車両の衝突までの時間を特定する手順と、
    前記衝突までの時間および前記１つまたは複数のホスト動力に基づいて、前記ホスト車両が前記衝突を避けるためのホスト減速度を特定する手順と、
    前記衝突までの前記時間および前記１つまたは複数の対象動力に基づいて、前記対象車両が前記衝突を避けるための対象減速度を特定する手順と、
    前記ホスト減速度および前記対象減速度に基づいて、ホスト減速度閾値を特定する手順と、
    前記ホスト車両の速度および前記ホスト減速度閾値に基づいて、前記ホスト車両にブレーキをかけると決定する手順と
    を実行させる命令を含む、プログラム。
JP2022529914A 2019-12-09 2020-12-09 車両を選択的に減速させるシステムおよび方法 Pending JP2023504604A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962945503P 2019-12-09 2019-12-09
US62/945,503 2019-12-09
PCT/IB2020/001001 WO2021116752A1 (en) 2019-12-09 2020-12-09 Systems and methods for selectively decelerating a vehicle

Publications (2)

Publication Number Publication Date
JP2023504604A true JP2023504604A (ja) 2023-02-06
JPWO2021116752A5 JPWO2021116752A5 (ja) 2023-12-19

Family

ID=74215983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022529914A Pending JP2023504604A (ja) 2019-12-09 2020-12-09 車両を選択的に減速させるシステムおよび方法

Country Status (5)

Country Link
US (1) US20220371583A1 (ja)
JP (1) JP2023504604A (ja)
CN (1) CN115151454A (ja)
DE (1) DE112020005275T5 (ja)
WO (1) WO2021116752A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230347880A1 (en) * 2022-04-29 2023-11-02 Zoox, Inc. Systems and methods for determining buffer regions
CN115056754B (zh) * 2022-08-18 2022-10-28 江苏天一航空工业股份有限公司 一种物流行李牵引车制动控制系统及方法
US11904889B1 (en) * 2022-11-04 2024-02-20 Ghost Autonomy Inc. Velocity adjustments based on roadway scene comprehension

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8265850B2 (en) * 2009-02-02 2012-09-11 GM Global Technology Operations LLC Method and apparatus for target vehicle following control for adaptive cruise control
JP6126573B2 (ja) * 2014-12-25 2017-05-10 本田技研工業株式会社 衝突回避支援装置
DE102015212250A1 (de) * 2015-06-30 2017-01-05 Conti Temic Microelectronic Gmbh Verbesserte Berechnung der Zeit bis zur Kollision für ein Fahrzeug
JP2017117344A (ja) * 2015-12-25 2017-06-29 株式会社デンソー 走行支援装置
EP3196089B1 (en) * 2016-01-21 2021-10-13 Volvo Car Corporation Vehicle safety assist system, vehicle comprising a vehicle safety assist system and a method for providing driver warning or performing autonomous braking
US10446033B2 (en) * 2017-09-22 2019-10-15 Ford Global Technologies, Llc Vehicle detection and avoidance
US10723351B1 (en) * 2017-09-30 2020-07-28 Physician Electronic Networks, L.L.C. Collision prevention system
EP3539837B1 (en) * 2018-03-13 2023-07-19 Veoneer Sweden AB A vehicle radar system for detecting preceding vehicles

Also Published As

Publication number Publication date
US20220371583A1 (en) 2022-11-24
DE112020005275T5 (de) 2022-09-15
WO2021116752A1 (en) 2021-06-17
CN115151454A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
JP7302934B2 (ja) ナビゲーション情報を匿名化するためのシステム及び方法
US11254329B2 (en) Systems and methods for compression of lane data
EP3972882B1 (en) Systems and methods for predicting blind spot incursions
JP2022166185A (ja) 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信
JP2022553491A (ja) 車両ナビゲーション用のシステムおよび方法
JP2022535351A (ja) 車両ナビゲーションのためのシステム及び方法
CN115380196A (zh) 用于确定道路安全性的系统和方法
US20220282990A1 (en) Generating a Navigational Map
JP2023509468A (ja) 車両ナビゲーション用のシステムおよび方法
CN115031743A (zh) 对收集的相对于公共道路路段的信息关联的系统和方法
US20220332349A1 (en) Navigation based on partially occluded pedestrians
CN113924462A (zh) 用于确定物体尺寸的导航系统和方法
JP2023532482A (ja) 開いている扉を検出するためのシステムおよび方法
US20220371583A1 (en) Systems and Methods for Selectively Decelerating a Vehicle
US20230211726A1 (en) Crowdsourced turn indicators
JP2023509292A (ja) 信号機を検出するためのシステムおよび方法
JP2023539868A (ja) マップベースの現実世界モデル化のシステム及び方法
EP4275192A2 (en) Systems and methods for common speed mapping and navigation
JP2023519940A (ja) 車両をナビゲートするための制御ループ
WO2023133420A1 (en) Traffic light oriented network
WO2023067385A2 (en) Radar-camera fusion for vehicle navigation
CN116601671A (zh) 关于行人和确定交通工具自由空间的交通工具导航

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231211