JP6748244B2 - 自動運転車に用いられる学習に基づく速度計画装置 - Google Patents

自動運転車に用いられる学習に基づく速度計画装置 Download PDF

Info

Publication number
JP6748244B2
JP6748244B2 JP2019026730A JP2019026730A JP6748244B2 JP 6748244 B2 JP6748244 B2 JP 6748244B2 JP 2019026730 A JP2019026730 A JP 2019026730A JP 2019026730 A JP2019026730 A JP 2019026730A JP 6748244 B2 JP6748244 B2 JP 6748244B2
Authority
JP
Japan
Prior art keywords
model
feature vector
grid
autonomous vehicle
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019026730A
Other languages
English (en)
Other versions
JP2019182401A (ja
Inventor
ジャン、リアンリアン
リ、ドン
フー、ジアンタオ
タオ、ジアミン
ジアン、イーフェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2019182401A publication Critical patent/JP2019182401A/ja
Application granted granted Critical
Publication of JP6748244B2 publication Critical patent/JP6748244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0008Feedback, closed loop systems or details of feedback error signal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Description

本願は主に自動運転車を動作させることに関する。より具体的に、本願は、潜在的な障害物の存在下で自動運転車(ADV)をナビゲートするための速度計画に関する。
速度計画は、ADVによって選択されたルートにおいて、一つ以上の障害物に関して自動運転車(ADV)をナビゲートするときに重要である。従来技術において、速度計画方法は、動的計画法(dynamic programming)又は二次計画法(quadratic programming)を使用してADVの速度を最適化する。従来技術の方法は、計算コストが高く、しかも人間の運転行動に匹敵するのが困難である。
本願は、自動運転車をナビゲートするための速度計画方法を提供し、前記方法は、前記自動運転車が自動運転モードで辿る経路上の、前記自動運転車の一つ以上の障害物に基づいてセルのグリッドを生成するステップであって、前記セルのグリッドは前記経路を含む領域を表し、前記セルのグリッドのうちの前記一つ以上の障害物と重ね合うグリッドセルは第1の値に設定され、他のすべてのグリッドセルは第2の値に設定される、ステップと、前記セルのグリッドから特徴ベクトルF’を生成するステップと、前記特徴ベクトルF’及び速度モデルW MODEL を使用して、前記自動運転モードで前記経路に沿って前記自動運転車をナビゲートするための初期速度v を決定するステップと、前記自動運転モードで前記経路を前記初期速度v で通過するように前記自動運転車をナビゲートするステップと、を含む。
本願の実施形態によれば、前記セルのグリッドは、前記経路のステーション−タイム(S−T)のグラフを含み、前記セルのグリッドのサイズはK×Pであり、前記特徴ベクトルF’の長さはK×Pである。
本願の実施形態によれば、前記第1の値は1であり、前記第2の値は0である。
本願の実施形態によれば、前記初期速度v を決定するステップは、特徴ベクトルF’ (F’の転置)と速度モデルW MODEL の点乗積(dot product)を計算するステップを含む。
本願の実施形態によれば、リモートサーバから前記速度モデルW MODEL を受信し、且つ、特徴ベクトルFと、人間の運転する自動運転車の複数の運転記録のそれぞれからの初期経路速度とを使用して前記速度モデルW MODEL を訓練し、ここで、前記特徴ベクトルF及び前記初期経路速度が前記運転記録によって異なることができる。
本願の実施形態によれば、前記方法は、前記特徴ベクトルF’に最も密接に対応する特徴ベクトルF MODEL を複数の特徴ベクトルから選択し、選択された特徴ベクトルF MODEL に対応する速度モデルW MODEL を決定するステップを更に含む。
本願は、実行可能命令でプログラムされた非一時的コンピュータ可読媒体を提供し、前記実行可能命令がプロセッサシステムによって実行されるとき、自動運転車での速度計画のための動作を実行し、前記動作は、前記自動運転車が自動運転モードで辿る経路上の、前記自動運転車の一つ以上の障害物に基づいてセルのグリッドを生成するステップであって、前記セルのグリッドは前記経路を含む領域を表し、前記セルのグリッドのうちの前記一つ以上の障害物と重ね合うグリッドセルは第1の値に設定され、他のすべてのグリッドセルは第2の値に設定される、ステップと、前記セルのグリッドから特徴ベクトルF’を生成するステップと、前記特徴ベクトルF’及び速度モデルW MODEL を使用して、前記自動運転モードで前記経路に沿って前記自動運転車をナビゲートするための初期速度v を決定するステップと、前記自動運転モードで前記経路を前記初期速度v で通過するように前記自動運転車をナビゲートするステップと、を含む。
本願は、少なくとも一つのハードウェアプロセッサを有する処理システムを備える速度計画システムを提供し、前記処理システムは、実行可能命令でプログラムされたメモリに接続され、前記実行可能命令が前記処理システムによって実行されるとき、自動運転車での速度計画のための動作を実行し、前記動作は、前記自動運転車が自動運転モードで辿る経路上の、前記自動運転車の一つ以上の障害物に基づいてセルのグリッドを生成するステップであって、前記セルのグリッドは前記経路を含む領域を表し、前記セルのグリッドのうちの前記一つ以上の障害物と重ね合うグリッドセルは第1の値に設定され、他のすべてのグリッドセルは第2の値に設定される、ステップと、前記セルのグリッドから特徴ベクトルF’を生成するステップと、前記特徴ベクトルF’及び速度モデルW MODEL を使用して、前記自動運転モードで前記経路に沿って前記自動運転車をナビゲートするための初期速度v を決定するステップと、前記自動運転モードで前記経路を前記初期速度v で通過するように前記自動運転車をナビゲートするステップと、を含む。
本願は、速度モデルW MODEL を決定するコンピュータ実施方法を提供し、前記方法は、人間の運転する自動運転車の複数の運転記録からN個の運転記録を選択するステップであって、前記N個の記録のそれぞれは、特徴ベクトルFと、初期速度v とを含み、前記初期速度v は、前記自動運転車の走行経路の開始点における速度を表し、前記特徴ベクトルFは、前記自動運転車が経路を通過するときに、前記自動運転車に対する一つ以上の障害物の少なくとも一部を表すステップと、前記特徴ベクトルFと、選択されたN個の記録のそれぞれからの初期速度v とを用いて速度モデルW MODEL を訓練するステップと、自動運転車の走行区間をナビゲートするときに前記自動運転車の速度計画効率を向上するために、自動運転モードで前記自動運転車によって使用されるための前記速度モデルW MODEL を用いて少なくとも一つの自動運転車のロジックを更新するステップと、を含む。
本願の実施形態によれば、前記速度モデルW MODEL を訓練するステップは、総和Σ i=1 (F MODEL −v を最小化するW MODEL を決定するステップを含み、式中、F は、F の転置、F は、選択されたi番目の特徴ベクトルであり、v は、前記特徴ベクトルF で表される前記一つ以上の障害物に基づいて、前記自動運転車の人間の運転手によって運転される経路の開始点におけるi番目の初期速度v である。
本願の実施形態によれば、特徴ベクトルF MODEL を前記速度モデルW MODEL と関連付けることを更に含み、ここで、前記特徴ベクトルF MODEL は、前記N個の運転記録における特徴ベクトルFと同一まである。
本願は、図面の各図において限定的ではなく例示的な形態で示され、図面における同じ符号が類似の素子を示す。
一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現するためのネットワークシステムを示すブロック図である。
一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現するための自動運転車の例を示すブロック図である。
一実施形態に係る、自動運転車(ADV)においてADVに用いられる学習に基づく速度計画装置を実現するための感知及び計画システムの例を示すブロック図である。
一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現するための、人間の運転手によって経路に沿った複数の障害物に基づいてADV経路区間を通るようにナビゲートされるADV経路の例を示す図である。
一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現するための方法を示すブロック図である。
一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現するためにADVに人間の運転を記録する方法を示すブロック図である。
一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現するために、リモートサーバによってADVの人間運転データから速度モデルを訓練することを示すブロック図である。
一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現することによってADVのナビゲーションを向上する方法を示すブロック図である。
一実施形態に係るデータ処理システムを示すブロック図である。
以下、説明の詳細を参照しながら本願の様々な実施形態及び態様を説明し、かつ添付図面には様々な実施形態が示される。下記の説明及び図面は、本願を説明するためのものであり、本願を限定するものとして解釈すべきではない。本願の様々な実施形態を全面的に理解するために、いくつかの特定の詳細を説明する。ところが、いくつかの場合には、本願の実施形態に対する簡潔的な説明を提供するために、周知又は従来技術の詳細について説明していない。
本明細書において、「一実施形態」又は「実施形態」とは、当該実施形態を参照しながら説明された特定の特徴、構造又は特性が本願の少なくとも一実施形態に含まれてもよいと意味する。「一実施形態において」という語句は、本明細書の全体において同一の実施形態を指すとは限らない。
いくつかの実施形態によれば、一つ以上の障害物及びナビゲーションルート区間(「経路」という)に基づいて、人間の運転手によって運転されるADVから初期速度データを収集する。ADVは、人間運転モードに設定されている。人間運転モードでは、人間がADVを制御できるようにADVの制御システムがバイパスされる。他のADVロジックは、有効で動作可能な状態を保持する。経路は、ADVの計画モジュールによって確定される。経路に沿う一つ以上の障害物は、ADVの感知モジュールによって確定される。ステーション−タイム(S−T)のグラフと、経路と障害物の少なくとも一部を含むセルのK×Pグリッドとを生成する。障害物と重ね合うセルを第1の値(例えば、1)に設定する。他のセルを第2の値(例えば、0)に設定する。セルのグリッドを長さK×Pの特徴ベクトルFに変換する。ADVは、経路の開始点(グリッドセル(0,0))で記録された、人間の運転手によって選択された初期速度vを記録する。初期速度v及び特徴ベクトルFは、リモートサーバへ送信するための運転記録として記録される。実施形態では、運転記録をリアルタイム又はほぼリアルタイムでリモートサーバに送信する。実施形態において、運転記録は、後でリモートサーバに送信するためにADVに記憶されることができる。
実施形態では、一つ以上の速度モデルを機械学習するための方法がリモートサーバ上で実施される。リモートサーバは、人間運転モードで人間の運転手によって運転される複数のADVからの複数の運転記録を受信し記憶する。各運転記録は、ナビゲーションルートの一部(「経路」)に沿ったADVに対する一つ以上の障害物を表す特徴ベクトルFと、経路の第1の点で人間の運転手によって選択された初期速度vとを含む。特徴ベクトルFは、経路と、経路上の一つ以上の障害物のうちの少なくとも一部とを含むセルのK×Pグリッドを表す。リモートサーバは、複数の運転記録から複数(N個)の運転記録を選択し、機械学習によって初期速度モデルWMODELを訓練することができる。リモートサーバは、速度モデルWMODELを一つ以上のADVに送信できる。WMODELは、速度モデルベクトルとして表すことができる。
別の実施形態では、ADVは、リモートサーバから速度モデルWMODELを受信することができる。自動運転モードにおいて、ADVは、経路に沿った一つ以上の障害物に基づいて、ADVがナビゲートすべき経路を決定することができる。ADVは、障害物をセルのK×Pグリッドにマッピングすることができ、それぞれのグリッドセルは、特定の値を有する。実施形態では、グリッドセルが障害物と重ね合う場合、ADVはグリッドセル値を1に設定することができる。それ以外の場合、グリッドセルを0に設定する。次に、ADVは、グリッドセルからK×Pの長さの特徴ベクトルF’を生成することができる。実施形態において、vは、F’転置(F’)とWMODELの点乗積から決定することができる。次に、ADVは、特徴ベクトルF’によって表される障害物に基づいて、経路の開始点で経路を速度vで自動的にナビゲートし始めることができる。実施形態では、選択的に、初期加速度aを決定するためにWMODELを訓練することができる。経路をナビゲートするための初期加速度aは、F’転置(F’)とWMODELの点乗積から決定することができる。
図1は、一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現するためのネットワークシステムを示すブロック図である。図1に示すように、ネットワーク構成100には、ネットワーク102を介して一つ以上のサーバ103〜104に通信可能に接続される自動運転車101が備えられる。一つの自動運転車が示されたが、複数の自動運転車がネットワーク102を介して互いに接続され、及び/又はサーバ103〜104に接続可能である。ネットワーク102は、任意のタイプのネットワークであってもよく、例えば、有線又は無線のローカルエリアネットワーク(LAN)、インターネットなどのワイドエリアネットワーク(WAN)、セルラーネットワーク、衛星ネットワーク、又はこれらの組み合わせが挙げられる。サーバ103〜104は、任意のタイプのサーバ又はサーバクラスタであってもよく、例えば、ネットワーク又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、又はこれらの組み合わせが挙げられる。サーバ103〜104は、データ解析サーバ、コンテンツサーバ、交通情報サーバ、地図及び興味点(MPOI)サーバ又は位置サーバなどであってもよい。
自動運転車とは、自動運転モードで動作するように構成可能な車両を指し、前記自動運転モードにおいて、車両が運転手からの入力が非常に少ないか又は全くない場合に環境を通過するようにナビゲートされる。このような自動運転車は、センサシステムを備えてもよい。前記センサシステムは、車両の走行環境に関する情報を検出するように配置される一つ以上のセンサを備える。前記車両及びその関連コントローラは、検出された情報を使用して前記環境を通過するようにナビゲートする。自動運転車101は、手動モード、完全自動運転モード、又は部分自動運転モードで走行することができる。
一実施形態において、自動運転車101は、感知及び計画システム110、車両制御システム111、無線通信システム112、ユーザインターフェースシステム113、及びセンサシステム115を含むが、これらに限定されない。自動運転車101には、通常の車両に備えられているいくつかの一般的な構成要素、例えばエンジン、車輪、ハンドル、変速機などが更に備えられてもよい。前記構成要素は、車両制御システム111及び/又は感知及び計画システム110により複数種の通信信号及び/又はコマンドを使用して制御可能である。当該複数種の通信信号及び/又はコマンドは、例えば、加速信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンドなどである。
構成要素110〜115は、インターコネクタ、バス、ネットワーク又はこれらの組み合わせを介して互いに通信可能に接続されることができる。例えば、構成要素110〜115は、コントローラローカルエリアネットワーク(CAN)バスを介して互いに通信可能に接続されることができる。CANバスは、マイクロコントローラ及び装置がホストコンピュータのないアプリケーションにおいて互いに通信することを可能にする車両バス基準として設計される。それは、もともと自動車内の多重電気配線のために設計されたメッセージに基づくプロトコルであるが、他の多くの環境にも用いられる。
ここで、図2を参照し、一実施形態において、センサシステム115は、一つ以上のカメラ211、全地球測位システム(GPS)ユニット212、慣性計測ユニット(IMU)213、レーダユニット214並びに光検出及び測距(LIDAR)ユニット215を含むが、これらに限定されない。GPSシステム212は、自動運転車の位置に関する情報を提供するように動作可能な送受信機を含んでもよい。IMUユニット213は、慣性加速度に基づいて自動運転車の位置及び方位変化を感知することができる。レーダユニット214は、無線信号を利用して自動運転車のローカル環境におけるオブジェクトを感知するシステムを表してもよい。いくつかの実施形態において、オブジェクトを感知することだけでなく、レーダユニット214は、更にオブジェクトの速度及び/又は進行方向を感知することができる。LIDARユニット215は、自動運転車の所在環境におけるオブジェクトをレーザで感知することができる。他のシステム構成要素に加えて、LIDARユニット215は、更に一つ以上のレーザ光源、レーザスキャナ及び一つ以上の検出器を含んでもよい。カメラ211は、自動運転車の周囲環境の画像を取得するための一つ以上の装置を含んでもよい。カメラ211は、スチルカメラ及び/又はビデオカメラであってもよい。カメラ211は、赤外線カメラを含んでもよい。カメラは、例えば、回転及び/又は傾斜のプラットフォームに取り付けることによって、機械的に移動可能であってもよい。
センサシステム115には、他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ及びオーディオセンサ(例えば、マイクロフォン)が含まれてもよい。オーディオセンサは、自動運転車の周囲の環境から音声を取得するように配置されてもよい。ステアリングセンサは、ステアリングホイール、車両の車輪又はこれらの組み合わせの操舵角を感知するように配置されてもよい。スロットルセンサ及びブレーキセンサはそれぞれ車両のスロットル位置及びブレーキ位置を感知する。ある場合に、スロットルセンサ及びブレーキセンサは集積型スロットル/ブレーキセンサとして統合されてもよい。
一実施形態において、車両制御システム111はステアリングユニット201、スロットルユニット202(加速ユニットともいう)及びブレーキユニット203を含むが、これらに限定されない。ステアリングユニット201は、車両の方向又は進行方向を調整するために用いられる。スロットルユニット202は、モータ又はエンジンの速度を制御するために用いられ、モータ又はエンジンの速度によって更に車両の速度及び加速度を制御する。ブレーキユニット203は、摩擦を提供することによって車両の車輪又はタイヤを減速させることで、車両を減速させる。なお、図2に示す構成要素は、ハードウェア、ソフトウェア、又はこれらの組み合わせで実現されることができる。以下に図3を参照して説明するように、制御システム111は、制御システム111の各制御の故障を検出するためのロジックを含むことができる。
図1を再び参照して、無線通信システム112は、自動運転車101と、装置、センサ、他の車両などのような外部システムとの通信を可能にする。例えば、無線通信システム112は、直接又は通信ネットワークを介して一つ以上の装置と無線通信することができ、例えば、ネットワーク102を介してサーバ103〜104と通信することができる。無線通信システム112は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク(WLAN)(例えばWiFi(登録商標))を使用して他の構成要素又はシステムと通信することができる。無線通信システム112は、例えば赤外線リンク、ブルートゥース(登録商標)などを使用して、装置(例えば、乗客のモバイルデバイス、表示装置、車両101内のスピーカ)と直接通信することができる。ユーザインターフェースシステム113は、例えば、キーボード、タッチスクリーン表示装置、マイクロホン、及びスピーカなどを含む、車両101内に実現された周辺装置の部分であってもよい。
自動運転車101の機能のうちの一部又は全部は、特に自動運転モードで動作する場合に、感知及び計画システム110により制御され、又は管理されることができる。感知及び計画システム110は、センサシステム115、制御システム111、無線通信システム112及び/又はユーザインターフェースシステム113から情報を受信し、受信された情報を処理し、出発地から目的地までのルート又は経路を計画した後に、計画及び制御情報に基づいて車両101を運転するように、必要なハードウェア(例えば、プロセッサ、メモリ、記憶デバイス)並びにソフトウェア(例えば、オペレーティングシステム、計画及びルーティングプログラム)を含む。あるいは、感知及び計画システム110は車両制御システム111と一体に集積されてもよい。
例えば、乗客であるユーザは、例えばユーザインターフェースを介して旅程の出発位置及び目的地を指定することができる。感知及び計画システム110は旅程関連データを取得する。例えば、感知及び計画システム110は、MPOIサーバから位置及びルート情報を取得することができる。前記MPOIサーバは、サーバ103〜104の一部であってもよい。位置サーバは位置サービスを提供し、MPOIサーバは地図サービス及び特定位置のPOIを提供する。あるいは、このような位置及びMPOI情報は、感知及び計画システム110の永続性記憶装置にローカルキャッシュされてもよい。
自動運転車101がルートに沿って移動している場合に、感知及び計画システム110は交通情報システム又はサーバ(TIS)からリアルタイム交通情報を取得することもできる。注意すべきことは、サーバ103〜104は第三者エンティティにより動作されてもよい。あるいは、サーバ103〜104の機能は、感知及び計画システム110と一体に集積されてもよい。感知及び計画システム110は、リアルタイム交通情報、MPOI情報及び位置情報、並びにセンサシステム115により検出又は感知されたリアルタイムローカル環境データ(例えば、障害物、オブジェクト、付近の車両)に基づいて、所定の目的地まで安全的且つ効率的に到達するために、最適経路を計画し、且つ計画された経路に従って例えば制御システム111を介して車両101を運転することができる。最適経路は、複数の区間を含むことができ、それぞれの区間は、感知及び計画システム110によって当該区間の複数の候補経路曲線から該区間の最適経路曲線を決定することによって最適化することができ、それぞれの候補経路曲線は感知及び計画システム110によって生成される。
サーバ103は、様々なクライアントに対してデータ解析サービスを実行するデータ解析システムであってもよい。一実施形態において、データ解析システム103は、データコレクタ121と、機械学習エンジン122とを含む。データコレクタ121は、様々な車両(自動運転車又は人間の運転手によって運転される一般車両)から運転統計データ123を収集する。運転統計データ123には、発行された運転コマンド(例えば、スロットルコマンド、ブレーキコマンド及びステアリングコマンド)と、異なる時点で車両のセンサにより捕捉された車両の応答(例えば、速度、加速度、減速度、方向)とを示す情報が含まれる。運転統計データ123には更に、異なる時点における運転環境を記述する情報、例えば、ルート(出発地位置及び目的地位置を含む)、MPOI、道路状況、天気状況などが含まれてもよい。
実施形態では、運転統計データには、ADVが人間運転モードにあるときの運転記録が含まれてもよい。人間運転モードは、人間の運転手がADVを制御できるようにADV制御システムロジックをバイパスする。実施形態では、運転記録は、機械学習エンジン122を使用して人間の運転判断を学習するために使用可能である。人間の運転手がナビゲートすべきADV走行ルート区間に対してナビゲーション経路を決定することができる。経路には一つ以上の障害物があってもよい。経路と障害物の少なくとも一部とを含むセルのグリッドを生成することができる。障害物と重ね合うセルのグリッドは1に設定でき、他のすべてのセルのグリッドは0に設定される。セルのグリッドは、特徴ベクトルFとして表すことができる。ADV101が人間の制御下で経路をナビゲートし始めると、特徴ベクトルF及びADV初期速度v、及び/又は初期加速度aを運転記録として記憶し、リモートサーバ(例えば、機械学習アルゴリズム124を有し、機械学習エンジン122を使用するサーバ103)に送信することができる。
機械学習エンジン122は、運転統計データ123に基づいて、自動運転車の運転手に警報を発する警報システムに用いられるマルチレベル警報アルゴリズムを含む様々な目的のために、ルールセット、アルゴリズム及び/又は予測モデル124を生成するか又は訓練する。例えば、機械学習エンジン122は、複数のADV運転統計データ123を使用して速度モデルWMODEL124を訓練(トレーニング)することができる。ADVが特徴ベクトルFを有する経路をナビゲートし始めるときに、訓練された速度モデルWMODEL124は、初期速度選択v又は初期加速度aを向上するために、一つ以上のADVにダウンロードすることができる。
図3は、一実施形態に係る、自動運転車(ADV)においてADVに用いられる学習に基づく速度計画装置を実現するための感知及び計画システムの例を示すブロック図である。システム300は、図1の自動運転車101の一部として実現されてもよく、感知及び計画システム110、制御システム111及びセンサシステム115を含むが、これらに限定されない。図3に示すように、感知及び計画システム110には、位置決めモジュール301、感知モジュール302、予測モジュール303、決定モジュール304、計画モジュール305、制御モジュール306、ルーティングモジュール307、速度データコレクタ308及び速度計画モジュール309が含まれるが、これらに限定されない。位置決めモジュール301は、地図及びルートデータ311とルーティングモジュール307とを含んでもよい。
モジュール301〜309のうちの一部又は全部は、ソフトウェア、ハードウェア又はこれらの組み合わせで実現されてもよい。例えば、これらのモジュールは、永続性記憶装置352にインストールされ、メモリ351にロードされ、一つ以上のプロセッサ(図示せず)によって実行されることができる。なお、これらのモジュールの一部又は全部は、図2の車両制御システム111のモジュールの一部又は全部と通信可能に接続されるか、又は一体化されてもよい。モジュール301〜309のいくつかは、集積モジュールとして一体化されることができる。
位置決めモジュール301は、自動運転車300の現在位置を(例えば、GPSユニット212により)決定し、ユーザの旅程又はルートに関する如何なるデータを管理する。位置決めモジュール301は、地図及びルートモジュールともいう。ユーザは、例えばユーザインターフェースを経由して登録して旅程の出発地位置及び目的地を指定することができる。位置決めモジュール301は、自動運転車300における地図及びルート情報311のような他の構成要素と通信して旅程に関するデータを取得する。例えば、位置決めモジュール301は、位置サーバ並びに地図及びPOI(MPOI)サーバから位置及びルート情報を取得することができる。位置サーバは位置サービスを提供し、MPOIサーバは地図サービス及びいくつかの位置のPOIを提供し、これらは地図及びルート情報311の一部としてキャッシュされることができる。自動運転車300がルートに沿って移動するとき、位置決めモジュール301は交通情報システム又はサーバからリアルタイム交通情報を得ることもできる。
感知モジュール302は、センサシステム115により提供されたセンサデータと、位置決めモジュール301により取得された測位情報とに基づいて、周囲環境への感知を決定する。感知情報は、一般の運転手が運転手により運転されている車両の周囲において感知すべきものを示すことができる。感知は、例えばオブジェクトの形式で、車線配置(例えば、直進車線又はカーブ車線)、信号機信号、他の車両の相対位置、歩行者、建築物、横断歩道又は他の交通関連標識(例えば、止まれ標識、ゆずれ標識)などを含むことができる。
感知モジュール302は、一つ以上のカメラにより取り込まれた画像を処理し解析して自動運転車の環境におけるオブジェクト及び/又は特徴を認識するために、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含むことができる。前記オブジェクトは、交通信号、道路の境界、他の車両、歩行者及び/又は障害物などを含むことができる。コンピュータビジョンシステムは、オブジェクト認識アルゴリズム、ビデオトラッキング及び他のコンピュータビジョン技術を使用することができる。いくつかの実施形態では、コンピュータビジョンシステムは、環境地図を描画し、オブジェクトを追跡し、及びオブジェクトの速度などを推定することができる。感知モジュール302は、レーダ及び/又はLIDARのような他のセンサにより提供される他のセンサデータに基づいてオブジェクトを検出することもできる。
各オブジェクトについて、予測モジュール303は、この場合における当該オブジェクトの挙動を予測する。地図/ルート情報311と交通ルール312のセットを考慮した上で、当該時点で運転環境を感知する感知データに基づいて予測を実行する。例えば、オブジェクトが反対方向に沿った車両で、且つ現在の運転環境に交差点が含まれている場合に、予測モジュール303は、車両が直進するか又はカーブ走行するかを予測する。感知データが、交差点に信号機がないことを示す場合、予測モジュール303は、交差点に入る前に車両が完全に停止する必要があると予測する可能性がある。感知データが、車両が現在左折専用車線又は右折専用車線にあることを示す場合、予測モジュール303は、車両がそれぞれ左折又は右折する可能性がより高いと予測することができる。
各オブジェクトについて、決定モジュール304はオブジェクトをどのように対応するかを決定する。例えば、特定のオブジェクト(例えば、交差のルートにおける他の車両)及びオブジェクトを記述するメタデータ(例えば、速度、方向、操舵角)について、決定モジュール304は前記オブジェクトと遇うときに如何に対応するか(例えば、追い越し、道譲り、停止、追い抜き)を決定する。決定モジュール304は、交通ルール又は運転ルール312のようなルールセットに基づいてそのような決定を行うことができ、前記ルールセットは永続性記憶装置352に記憶することができる。
感知されたオブジェクトのそれぞれに対する決定、及び経路の走行区間に対する複数の候補経路曲線から決定された最小経路曲線に基づいて、計画モジュール305は、ルーティングモジュール307によって提供された基準線をベースとして、自動運転車に対して経路又はルート並びに運転パラメータ(例えば、距離、速度及び/又は操舵角)を計画する。つまり、特定のオブジェクトについて、決定モジュール304は当該オブジェクトに対して何をするかを決定し、計画モジュール305はどのようにするかを決定する。例えば、所定のオブジェクトについて、決定モジュール304は前記オブジェクトを追い抜くかを決定することができ、計画モジュール305は前記オブジェクトを左側又は右側から追い抜くかを決定することができる。計画及び制御データは、計画モジュール305により生成され、車両300が次の移動周期(例えば、次のルート/経路区間)にはどのように移動するかを記述する情報を含む。例えば、計画及び制御データは、車両300が30マイル/時間(mph)の速度で10メートル移動し、その後に25mphの速度で右側の車線に変更するように示すことができる。
制御モジュール306は、計画及び制御データに基づいて、計画及び制御データにより限定されたルート又は経路に基づいて、適当なコマンド又は信号を車両制御システム111に送信することにより、自動運転車を制御及び運転するようにする。前記計画及び制御データは、経路又はルートに沿って異なる時点で適切な車両配置又は運転パラメータ(例えば、スロットル、ブレーキ、及びステアリングコマンド)を使用して、車両をルート又は経路の第1の点から第2の点まで運転するのに十分な情報を含む。
一実施形態において、計画段階は、コマンドサイクルともいう複数の計画周期(例えば、時間間隔が100ミリ秒(ms)ごと)で実行される。計画周期又はコマンドサイクルのそれぞれについて、計画データ及び制御データに基づいて一つ以上の制御コマンドを発する。すなわち、100msごとに、計画モジュール305は、次のルート区間又は経路区間(例えば、目標位置及びADVが目標位置に到着するのに必要な時間を含む)を計画する。あるいは、計画モジュール305は、具体的な速度、方向、及び/又は操舵角などを更に指定することができる。一実施形態において、計画モジュール305は、次の所定期間(例えば、5秒)のルート区間又は経路区間を計画する。各計画周期について、計画モジュール305は、前の周期において計画された目標位置に基づいて現在の周期(例えば、次の5秒)における目標位置を計画する。そして、制御モジュール306は、現在の周期における計画データ及び制御データに基づいて、一つ以上の制御コマンド(例えば、スロットルコマンド、ブレーキコマンド、ステアリング制御コマンド)を生成する。制御モジュール306は、人間の運転手がADVを制御しながらADVの他のロジックが動作し続けることができるようにバイパスされることができる。
なお、決定モジュール304及び計画モジュール305は、集積モジュールとして一体化されてもよい。決定モジュール304/計画モジュール305は、自動運転車の走行経路を決定するために、ナビゲーションシステム又はナビゲーションシステムの機能を具備することができる。例えば、ナビゲーションシステムは、自動運転車が下記の経路に沿って移動することを実現するための一連の速度及び進行方向を決定することができる。前記経路では、自動運転車が最終的な目的地に通じる走行車線ベースの経路に沿って進行すると共に、感知された障害物を実質的に回避できる。目的地は、ユーザインターフェースシステム113を経由して行われたユーザ入力に基づいて設定されることができる。ナビゲーションシステムは自動運転車が走行していると同時に走行経路を動的に更新することができる。ナビゲーションシステムは、自動運転車に用いられる走行経路を決定するように、GPSシステム及び一つ以上の地図からのデータをマージすることができる。
決定モジュール304/計画モジュール305は、自動運転車の環境における潜在的な障害物を認識、評価、回避又は他の方法で追い抜くための衝突防止システム又は衝突防止システムの機能を更に含むことができる。例えば、衝突防止システムは、制御システム111の一つ以上のサブシステムを動作させることで、方向変更動作、カーブ走行動作、ブレーキ動作などを行うことによって、自動運転車のナビゲーション中の変更を実現することができる。衝突回避システムは、周囲の交通モード、道路状況などに基づいて実現可能な障害物回避動作を自動的に決定することができる。衝突回避システムは、他のセンサシステムにより自動運転車が方向変更して進入する隣接領域における車両、建築障害物などが検出された時に、ステアリング動作を行わないように配置されることができる。衝突回避システムは、使用可能で且つ自動運転車の乗員の安全性を最大化させる動作を自動的に選択することができる。衝突回避システムは、自動運転車の客室内に最小値の加速度を発生させると予測される回避動作を選択することができる。
ルーティングモジュール307は、出発地から目的地までの一つ以上のルート又は経路を提供するように構成される。ルーティングモジュール307は、出発地位置から目的地位置までの所与の(例えば、ユーザから受信された)旅程について、ルート及び地図情報311を取得し、出発地位置から目的地位置までのすべての可能なルート又は経路を決定する。ルーティングモジュール307は、決定された出発地位置から目的地位置までの各ルートに対して地形図の形で基準線を生成することができる。基準線とは、例えば他の車両、障碍物又は交通状況からの如何なる干渉を受けていない理想的なルート又は経路を指す。つまり、道路に他の車両、歩行者又は障害物がない場合、ADVは基準線に精確的に又は密接的に従うべきである。そして、地形図は、決定モジュール304及び/又は計画モジュール305に提供される。決定モジュール304及び/又は計画モジュール305は、他のモジュールにより提供された他のデータ(例えば位置決めモジュール301からの交通状況、感知モジュール302により感知された運転環境及び予測モジュール303により予測された交通状況)に基づいて、全ての走行可能なルートを調べて最適ルートの一つを選択及び補正する。ADVを制御するための実際の経路又はルートは、その時点における特定の運転環境に応じて、ルーティングモジュール307によって提供された基準線に近いか又は異なっていてもよい。全ての可能な経路を調べることは、可能な経路から選択された経路について、選択された経路区間を決定すること、及び選択された経路区間をナビゲートするための複数の候補経路曲線を決定することを含んでもよい。運転区間(又は「経路」)をナビゲートすることは、経路の出発地におけるADVの初期速度vを決定することを含んでもよい。初期速度vは、経路上の一つ以上の障害物に依存する可能性がある。初期速度vに対する人間の意思決定をエミュレートするために、人間が人間運転モードで運転している間に収集された速度データは、機械学習を使用して一つ以上の速度モデルを訓練するように使用されることができる。
速度データコレクタ308は、特定の運転条件を運転記録に記録する。人間運転モードでは、ADVは一つ以上の障害物を有する経路に沿ってナビゲートすることができる。当該経路は、経路と一つ以上の障害物の少なくとも一部とを含む値のセルのグリッドを含むステーション−タイム(S−T)のグラフとして表すことができる。例えば、グリッドセルが障害物と重ね合う場合、グリッドセルの値を1に設定し、そうでなければグリッドセルを0に設定することによって、ADVに対する一つ以上の障害物をセルのグリッドに組み込むことができる。セルのグリッドは、特徴ベクトルFとして表すことができる。ADVを人間運転モードに設定すると、人間の運転手は初期速度vで経路での運転を開始することができる。速度データコレクタ308は、特徴ベクトルF及び初期速度vを運転記録に記録することができる。速度データコレクタ308は、走行経路に沿った複数の経路のそれぞれについて運転記録を記録することができる。実施形態では、運転経路の各区間について特徴ベクトルF及び初期運転速度v、及び/又は初期加速度aを複数回決定することができる。実施形態では、該経路を含むセルのグリッドを含む領域に障害物が出入りするなど、経路上の一つ以上の障害物の変化に応答して、新しい特徴ベクトルF及び初期速度v及び/又は初期加速度aを記録することができる。記録された運転記録は、リアルタイム又はほぼリアルタイムでADVからリモートサーバに送信されることができる。実施形態において、記録された運転記録は、指定された時間に、又はADVが経路上の目的地に到着するなどのイベントの際に、バッチでリモートサーバに送信することができる。リモートサーバ(例えば、図1のサーバ103)は、自動運転モードのADVにおける速度計画を向上するために、後で一つ以上のADVにダウンロードするための速度モデルを訓練するために使用することができる。速度計画は、速度計画モジュール309によって実行することができる。
速度計画モジュール309は、リモートサーバ103から速度モデルWMODELを受信することができる。速度計画モジュール309は、特徴ベクトルF’で表されるADVへの一つ以上の障害物に基づいて、速度モデルWMODELを使用して自動運転モードで経路上のADVの走行を開始するための初期速度v又は初期加速度aを決定する。速度計画モジュール309は、特徴ベクトルF’及び速度モデルWMODELを使用して経路上の走行を開始するための初期速度v又は初期加速度aを決定することができる。実施形態において、初期速度v又は初期加速度aは、F’転置(F’)とWMODELの点乗積を計算することによって決定することができる。
なお、以上に例示及び説明された構成要素の一部又は全ては、ソフトウェア、ハードウェア、又はこれらの組み合わせで実現されることができる。例えば、このような構成要素は、永続性記憶装置にインストールされるとともに記憶されたソフトウェアとして実現されてもよく、前記ソフトウェアは、本願にわたって記載されたプロセス又は動作を実施するように、プロセッサ(図示せず)でメモリにロードして実行されてもよい。あるいは、このような構成要素は、集積回路(例えば、特定用途向け集積回路又はASIC)、デジタルシグナルプロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA)のような専用ハードウェアにプログラミング又は埋め込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードはアプリケーションからの対応するドライバー及び/又はオペレーティングシステムを介してアクセスすることができる。さらに、このような構成要素は、ソフトウェア構成要素が一つ以上の特定のコマンドによってアクセス可能なコマンドセットの一部として、プロセッサ又はプロセッサコアにおける特定のハードウェアロジックとして実現されることができる。
図4は、一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現するための、経路に沿った複数の障害物に基づいて、ADV経路区間を通るようにナビゲートされるADV経路の例を示す。図4では、第1の障害物401と第2の障害物402との間を通過する走行経路410が示されている。感知モジュール302によって障害物を感知し、予測モジュール303によって障害物の挙動を予測することで、障害物401及び402を決定することができる。障害物及び障害物の挙動に基づいて、計画モジュール305は、障害物401及び402の周りをナビゲートするための経路410を決定することができる。障害物は、経路と障害物401及び402の少なくとも一部とを含むセルのグリッドで表すことができる。障害物と重ね合うグリッドセルは1の値に設定し、残りのグリッドセルは0の値に設定することができる。グリッドは、K×Pセルのサイズであってもよい。セルのグリッドは、長さK×Pを有する特徴ベクトルFとして表すことができる。
図4は、ADVが人間運転モードにある場合のデータ収集シナリオに適用でき、特徴ベクトルFが生成され、人間の運転手がセルのグリッド上の点(0,0)からの経路の運転を開始するために初期速度vを選択する。走行データ記録は速度データコレクタ308によって記録される。図4は、更にADVが自動運転モードにある場合の速度計画シナリオにも適用することができ、速度計画モジュール309は、特徴ベクトルF’及び速度モデルWMODELを使用して自動運転モードにおける経路410をナビゲートするための初期速度v又は初期加速度aを決定することができる。
図5は、一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現するための方法500を示すフローチャートである。
動作505では、ADV101を人間運転モードに設定することができる。人間運転モードにおいて、制御モジュール306は、人間の運転手がADVを制御しながらADVの他のロジックが動作し続けるようにバイパスされることができる。ADV計画モジュール305は、人間の運転手がナビゲートすべき経路を生成することができる。感知モジュール302及び予測モジュール303は、経路に沿ってADVへの一つ以上の障害物を検出し、その障害物の挙動を予測することができる。ADVロジックは、経路と障害物の少なくとも一部とを含むセルのグリッドを生成できる。障害物と重ね合うグリッドセルは、1の値に設定することができる。残りのグリッドセルは0に設定することができる。セルのグリッドは、特徴ベクトルFとして表すことができる。
動作510では、人間の運転手は初期速度vで経路上でADVを運転し始める。速度データコレクタ308は、特徴ベクトル及び初期速度v及び/又は初期加速度aを運転記録に記録することができる。動作515では、運転記録をリモートサーバに送信することができる。実施形態において、一つ以上の運転記録の送信は、リアルタイムでも、ほぼリアルタイムでもよく、又は後まで遅らせることもできる。動作505から動作515については、図6を参照しながら以下で更に詳細に説明する。
動作520において、リモートサーバは、複数の運転経路及び障害物に対して、複数のADVから受信された運転記録を検索することができ、各運転記録は、特徴ベクトルF及び初期速度v及び/又は初期加速度aを含む。リモートサーバ(例えば、サーバ103)は、大量の特徴ベクトルF及び関連する初期速度vに対して速度モデルの機械学習を実行することができる。以下、図7を参照しながら動作520を更に詳細に説明する。
動作525では、リモートサーバは、速度モデルWMODELを一つ以上のADVへ送信し、又は別な方法で速度モデルWMODELを一つ以上のADVにダウンロード可能にすることができる。特徴ベクトルF’を有するADVの新しい運転状況に対して、速度モデルWMODEL及び特徴ベクトルF’を使用して、自動運転モードで経路上のADVをナビゲートし始めるための初期速度v又は初期加速度aを決定することができる。
動作530では、自動運転モードで運転している間、ADVは、特徴ベクトルF’内の障害物に基づいて、経路をナビゲートするための初期速度vを計算する。実施形態において、vを計算することは、特徴ベクトルF’の転置(F’)とWMODELの点乗積を計算することを含む。以下、図8を参照し、動作525及び動作530を更に詳細に説明する。
図6は、一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現するためにADVに人間の運転データを記録する方法600を示すフローチャートである。動作605では、ADVを人間運転モードに設定する。人間運転モードでは、人間の運転手がステアリング、ブレーキ、及びスロットル制御などの制御機能を実行できるように、制御ユニット306がバイパスされる。ADVロジックの他のモジュールは動作可能な状態に保持される。
動作610では、計画モジュール305はナビゲーションのためのルートを計画し、ルーティングモジュール307はルートの一部を含む経路を提供することができる。感知モジュール302は、経路に沿った一つ以上の障害物を検出することができ、予測モジュール303は一つ以上の障害物の挙動を予測することができる。
動作615では、ADVは、一つ以上の障害物を、経路と一つ以上の障害物の少なくとも一部とを含むセルのK×Pグリッドにマッピングする。障害物と重ね合うグリッドセルは、1の値を持つことができ、それ以外の場合は0の値を持つことができる。
動作620では、ADVが障害物を通る経路をナビゲートし始めると、ADV速度データコレクタ308は、人間の運転手によって選択された初期速度v及び/又は初期加速度aを記録する。
動作625では、ADVロジックは、セルのグリッドを、K×Pのサイズを有する特徴ベクトルFに変換することができ、特徴ベクトルFを初期速度v及び/又は初期加速度aに関連付けて運転記録に記憶することができる。
動作630では、ADVは、速度運転記録を、一つ以上の速度モデルWMODELの機械学習のためにリモートサーバに送信することができ、当該速度運転記録のそれぞれは、特徴ベクトルF並びに初期速度v及び/又は初期加速度aを含む。
図7は、一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画モジュール309を実現するために、リモートサーバによってADVの人間運転データから速度モデルWMODELを訓練する方法700を示すフローチャートである。速度モデルWMODELはベクトルとして表すことができる。WMODELという用語は、ベクトルとして表す速度モデルを含み、如何なる表現における速度モデルを意味するために使用される。
動作705において、サーバは、複数のADVの人間運転モードの期間中に生成されたN個のADV運転記録を選択する。各運転記録は、特徴ベクトルF、並びに初期速度v及び/又は初期加速度aを含むことができる。特徴ベクトルは、経路上のADVに対する一つ以上の障害物のマッピングを表す。人間の運転手は経路に沿って運転し始めるときに初期速度vを選択する。実施形態において、運転記録の選択は、一組の特定の障害物に対して速度モデルWMODELを訓練するように、同一又は実質的に同一の特徴ベクトルFを有する運転記録を選択することを含むことができる。このような実施形態は、一組の障害物が既知の困難な又は危険な運転状況をもたらす場合など、様々な状況下で使用可能である。このような場合、特定のWMODELと、WMODELが生成された代表的な対応するFMODELとを関連付けて記憶することができるので、ADV特徴ベクトルF’がFMODELに対応するADV運転状況において、FMODELに対応する特定のWMODELを決定することができる。動作710では、サーバは、選択された運転記録を使用して速度モデルWMODELを訓練する。速度モデルWMODELの訓練は、総和Σi=1 (F MODEL−vを最小化するWMODELを決定することを含む。ここで、F は、Fの転置であり、Fは、選択されたi番目の特徴ベクトルであり、vは、特徴ベクトルFで表される一つ以上の障害物に基づいて、ADVの人間の運転手によって運転される経路の出発位置におけるi番目の初期速度vである。動作715において、サーバは、自動運転モードでADVによって使用されるように長さK×Pのベクトルとして速度モデルWMODELを生成し、特徴ベクトルF’を有する経路を走行するための初期速度vを決定する。動作720において、サーバは、自動運転モードでADVの経路をナビゲートするための速度計画で使用するための速度モデルWMODELを一つ以上のADVに送信する。
図8は、一実施形態に係る、自動運転車(ADV)に用いられる学習に基づく速度計画装置を実現することによってADVのナビゲーションを向上する方法800を示すフローチャートである。方法800は、自動運転モードのADVによって実施される。動作805において、ADVはリモートサーバから速度モデルWMODELを受信する。WMODELは、各々が特徴ベクトル並びに初期速度v及び/又は初期加速度aを含む複数の運転記録に基づいて、リモートサーバによって訓練される。
動作810において、ADV感知及び計画モジュールは、ADVがナビゲートするためのルート区間である経路、及びルート区間(又は「経路」)に沿うADVへの一つ以上の障害物を決定することができる。動作815において、ADVロジックは、経路と障害物の少なくとも一部とを含むK×P個のセルのグリッドを生成することができる。障害物と重ね合うグリッドセルは1の値に設定することができ、他のグリッドセルは0の値に設定することができる。セルのグリッドは、障害物を表す特徴ベクトルF’に生成することができる。
動作825において、速度計画モジュール309は、特徴ベクトルF’及び速度モデルWMODELを使用して、経路をナビゲートし始めるための初期速度vを計算する。初期速度vは、F’の転置(F’)とWMODELの点乗積で計算される。動作830において、ADVは、自動運で特徴ベクトルF’を生成するためのセルのK×Pグリッドの点(0,0)から速度vで経路をナビゲートし始める。
図9は、本願の一実施形態と共に使用可能なデータ処理システムの例を示すブロック図である。例えば、システム1500は、図1の感知及び計画システム110、又はサーバ103〜104のいずれかのような、前記プロセス又は方法のいずれかを実行するデータ処理システムのいずれかを表すことができる。システム1500は、いくつかの異なる構成要素を含むことができる。これらの構成要素は、集積回路(IC)、集積回路の一部、ディスクリート型電子デバイス、又は回路基板(例えば、コンピュータシステムのマザーボード又はアドインカード)に適するその他のモジュールとして実現されることができ、又は、他の形態でコンピュータシステムのシャーシ内に組み込まれた構成要素として実現されることができる。
なお、システム1500は、コンピュータシステムのいくつかの構成要素の高レベルビューを示すことを意図している。しかしながら、理解すべきことは、特定の実施例において付加的構成要素が存在してもよく、また、その他の実施例において示された構成要素を異なる配置にすることが可能である。システム1500は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレイヤー、パーソナルデジタルアシスタント(PDA)、スマートウォッチ、パーソナルコミュニケーター、ゲーム装置、ネットワークルーター又はハブ、無線アクセスポイント(AP)又はリピーター、セット・トップボックス、又はこれらの組み合わせを表すことができる。さらに、単一の機械又はシステムのみが示されたが、「機械」又は「システム」という用語は、本明細書で説明されるいずれか一種以上の方法を実行するための、単独で又は共同で一つ(又は複数)のコマンドセットを実行する機械又はシステムの任意の組み合わせも含まれると解釈されるものとする。
一実施形態において、システム1500は、バス又はインターコネクト1510を介して接続される、プロセッサ1501と、メモリ1503と、装置1505〜1508とを含む。プロセッサ1501は、単一のプロセッサコア又は複数のプロセッサコアが含まれる単一のプロセッサ又は複数のプロセッサを表すことができる。プロセッサ1501は、マイクロプロセッサ、中央処理装置(CPU)などのような、一つ以上の汎用プロセッサを表すことができる。より具体的には、プロセッサ1501は、複雑コマンドセットコンピューティング(CISC)マイクロプロセッサ、縮小コマンドセットコンピューティング(RISC)マイクロプロセッサ、超長コマンド語(VLIW)マイクロプロセッサ、又はその他のコマンドセットを実行するプロセッサ、又はコマンドセットの組み合わせを実行するプロセッサであってもよい。プロセッサ1501は更に、例えば、特定用途向け集積回路(ASIC)、セルラー又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号化プロセッサ、コプロセッサ、組込みプロセッサ、又はコマンドを処理可能な任意の他のタイプのロジックのような、一つ以上の専用プロセッサであってもよい。
プロセッサ1501は、超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよく、前記システムの様々な構成要素と通信するための主処理ユニット及び中央ハブとして機能することができる。このようなプロセッサは、システムオンチップ(SoC)として実現されることができる。プロセッサ1501は、本明細書で説明される動作及びステップを実行するためのコマンドを実行するように構成される。システム1500は、更に所望によるグラフィックサブシステム1504と通信するグラフィックインターフェースを含むことができ、グラフィックサブシステム1504は、表示コントローラ、グラフィックプロセッサ、及び/又は表示装置を含むことができる。
プロセッサ1501は、メモリ1503と通信することができ、メモリ1503は、一実施形態において、所定量のシステムメモリを提供するための複数のメモリ装置によって実現されることができる。メモリ1503は、例えば、ランダムアクセスメモリ(RAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、スタティックRAM(SRAM)、又はその他のタイプの記憶装置のような、一つ以上の揮発性記憶(又はメモリ)装置を含むことができる。メモリ1503は、プロセッサ1501又はその他の任意の装置により実行されるコマンドシーケンスを含む情報を記憶することができる。例えば、様々なオペレーティングシステム、デバイスドライバ、ファームウェア(例えば、ベーシックインプット/アウトプットシステム又はBIOS)、及び/又はアプリケーションの実行可能なコード及び/又はデータは、メモリ1503にロードされ、プロセッサ1501により実行されることができる。オペレーティングシステムは、例えば、ロボットオペレーティングシステム(ROS)、Microsoft(登録商標)社のWindows(登録商標)オペレーティングシステム、アップル社のMacOS(登録商標)/iOS(登録商標)、Google(登録商標)社のAndroid(登録商標)、LINUX(登録商標)、UNIX(登録商標)、又はその他のリアルタイム若しくは組込みオペレーティングシステムのような、任意のタイプのオペレーティングシステムであってもよい。
システム1500は、例えば、ネットワークインターフェース装置1505、所望による入力装置1506、及びその他の所望によるIO装置1507を含む装置1505〜1508のようなIO装置を更に含むことができる。ネットワークインターフェース装置1505は、無線送受信機及び/又はネットワークインターフェースカード(NIC)を含むことができる。前記無線送受信機は、WiFi送受信機、赤外線送受信機、ブルートゥース送受信機、WiMax送受信機、無線携帯電話送受信機、衛星送受信機(例えば、全地球測位システム(GPS)送受信機)、又はその他の無線周波数(RF)送受信機、又はこれらの組み合わせであってもよい。NICは、イーサネット(登録商標)カード(Ethernet(登録商標)card)であってもよい。
入力装置1506は、マウス、タッチパネル、タッチスクリーン(表示装置1504と統合されてもよい)、ポインター装置(例えば、スタイラス)、及び/又はキーボード(例えば、物理キーボード又はタッチスクリーンの一部として表示された仮想キーボード)を含むことができる。例えば、入力装置1506は、タッチスクリーンと接続するタッチスクリーンコントローラを含むことができる。タッチスクリーン及びタッチスクリーンコントローラは、例えば、様々なタッチ感応技術(コンデンサ、抵抗、赤外線、及び表面音波の技術を含むが、これらに限定されない)のいずれか、並びにその他の近接センサアレイ、又は、タッチスクリーンと接触する一つ以上の点を決定するためのその他の素子を用いて、それらの接触及び移動又は間欠を検出することができる。
IO装置1507は、音声装置を含むことができる。音声装置は、例えば、音声認識、音声複製、デジタル記録、及び/又は電話機能のような音声サポートの機能を促進するために、スピーカ及び/又はマイクロフォンを含んでもよい。その他のIO装置1507は、ユニバーサルシリアルバス(USB)ポート、パラレルポート、シリアルポート、プリンタ、ネットワークインターフェース、バスブリッジ(例えば、PCIーPCIブリッジ)、センサ(例えば、加速度計のようなモーションセンサ、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサなど)、又はこれらの組み合わせを更に含むことができる。装置1507は、結像処理サブシステム(例えば、カメラ)を更に含むことができ、前記結像処理サブシステムは、写真及びビデオ断片の記録のようなカメラ機能を促進するための、電荷結合素子(CCD)又は相補型金属酸化物半導体(CMOS)光学センサのような光学センサを含むことができる。特定のセンサは、センサハブ(図示せず)を介してインターコネクト1510に接続されることができ、キーボード又はサーマルセンサのようなその他の装置はシステム1500の具体的な配置又は設計により、組込みコントローラ(図示せず)により制御されることができる。
データ、アプリケーション、一つ以上のオペレーティングシステムなどの情報の永続性記憶を提供するために、プロセッサ1501には、大容量記憶装置(図示せず)が接続されることもできる。様々な実施形態において、より薄くて軽量なシステム設計を可能にしながら、システムの応答性を向上するために、このような大容量記憶装置は、ソリッドステート装置(SSD)によって実現されることができる。しかしながら、その他の実施形態において、大容量記憶装置は、主にハードディスクドライブ(HDD)を使用して実現されることができ、より小さい容量のSSD記憶装置をSSDキャッシュとして機能することで、停電イベントの間にコンテキスト状態及び他のそのような情報の不揮発性記憶を可能にし、それによりシステム動作が再開するときに通電を速く実現することができる。また、フラッシュデバイスは、例えば、シリアルペリフェラルインターフェース(SPI)を介してプロセッサ1501に接続されることができる。このようなフラッシュデバイスは、前記システムのBIOS及びその他のファームウェアを含むシステムソフトウェアの不揮発性記憶のために機能することができる。
記憶装置1508は、コンピュータアクセス可能な記憶媒体1509(機械可読記憶媒体又はコンピュータ可読記憶媒体ともいう)を含むことができ、前記コンピュータアクセス可能な記憶媒体1509には、本明細書で記載されたいずれか一種以上の方法又は機能を具体化する一つ以上のコマンドセット又はソフトウェア(例えば、モジュール、ユニット、及び/又はロジック1528)が記憶されている。処理モジュール/ユニット/ロジック1528は、例えば、計画モジュール305、制御モジュール306、及び/又は速度データコレクタ308、及び速度計画モジュール309のような、前記構成要素のいずれかを表すことができる。処理モジュール/ユニット/ロジック1528は、更に、データ処理システム1500、メモリ1503、及びプロセッサ1501による実行中に、メモリ1503内及び/又はプロセッサ1501内に完全的に又は少なくとも部分的に存在してもよく、データ処理システム1500、メモリ1503、及びプロセッサ1501も機械アクセス可能な記憶媒体を構成する。処理モジュール/ユニット/ロジック1528は、更に、ネットワークインターフェース装置1505を介して、ネットワークを経由して送受信されてもよい。
コンピュータ可読記憶媒体1509は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶するために用いることができる。コンピュータ可読記憶媒体1509は、例示的な実施形態において単一の媒体として示されるが、「コンピュータ可読記憶媒体」という用語は、前記一つ以上のコマンドセットが記憶される単一の媒体又は複数の媒体(例えば、集中型又は分散型データベース、及び/又は関連するキャッシュとサーバ)を含むと解釈されるものとする。また、「コンピュータ可読記憶媒体」という用語は、コマンドセットを記憶又は符号化できる任意の媒体を含むと解釈されるものであり、前記コマンドセットは機械により実行され、本願のいずれか一種以上の方法を前記機械に実行させるためのものである。それゆえに、「コンピュータ可読記憶媒体」という用語は、ソリッドステートメモリ、光学媒体及び磁気媒体、又はその他の任意の非一時的な機械可読媒体を含むが、これらに限定されないと解釈されるものとする。
本明細書に記載の処理モジュール/ユニット/ロジック1528、構成要素及びその他の特徴は、ディスクリートハードウェア構成要素として実現されてもよく、又はASICS、FPGA、DSP又は類似の装置のようなハードウェア構成要素の機能に統合されてもよい。更に、処理モジュール/ユニット/ロジック1528は、ハードウェア装置におけるファームウェア又は機能性回路として実現されてもよい。更に、処理モジュール/ユニット/ロジック1528は、ハードウェア装置とソフトウェア構成要素の任意の組み合わせで実現されてもよい。
なお、システム1500は、データ処理システムの様々な構成要素を有するものとして示されているが、構成要素を相互接続する任意の特定のアーキテクチャ又は方式を表すことを意図するものではなく、そのような詳細は、本願の実施形態と密接な関係がない。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ、及び/又はその他のデータ処理システムも、本願の実施形態と共に使用することができることを理解されたい。
前記具体的な説明の一部は、既に、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムと記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。本明細書では、一般的に、アルゴリズムは、所望の結果につながるセルフコンシステントシーケンスと考えられる。これらの動作は、物理量の物理的処置が必要なものである。
しかしながら、念頭に置くべきことは、これらの用語及び類似の用語の全ては、適切な物理量に関連付けられるものであり、これらの量を標識しやすくするためのものに過ぎない。以上の説明で他に明示的に記載されていない限り、本明細書の全体にわたって理解するべきことは、添付された特許請求の範囲に記載するもののような用語による説明とは、コンピュータシステム、又は類似の電子計算装置の動作又はプロセスを指し、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリにおける物理(電子)量として示されるデータを制御するとともに、前記データをコンピュータシステムメモリ又はレジスタ又はこのようなその他の情報記憶装置、伝送又は表示装置において同様に物理量として示される別のデータに変換する。
本願の実施形態は、本明細書の動作を実行するための装置にも関する。このようなコンピュータプログラムは、非一時的なコンピュータ可読媒体に記憶される。機械可読媒体は、機械(例えば、コンピュータ)により読み取り可能な形式で情報を記憶するための任意のメカニズムを含む。例えば、機械可読(例えば、コンピュータ可読)媒体は、機械(例えば、コンピュータ)可読記憶媒体(例えば、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ装置)を含む。
上述した図面において説明されたプロセス又は方法は、ハードウェア(例えば、回路、専用ロジックなど)、ソフトウェア(例えば、非一時的なコンピュータ可読媒体に具現化されるもの)、又は両方の組み合わせを含む処理ロジックにより実行されることができる。前記プロセス又は方法は、以上で特定の順序に応じて説明されたが、前記動作の一部が異なる順序で実行されてもよいことを理解されたい。また、一部の動作は、順番ではなく並行して実行できる。
本願の実施形態は、いずれの特定のプログラミング言語を参照することなく記載されている。理解すべきことは、本明細書に記載の本願の実施形態の教示を実現するために、様々なプログラミング言語を使用することができる。
前記明細書において、本願の実施形態は、既にその具体的な例示的な実施形態を参照しながら記載された。明らかなように、添付された特許請求の範囲に記載された本願のより広い趣旨及び範囲を逸脱しない限り、本発明に対して様々な変更を行うことができる。それゆえに、本明細書及び図面は、限定的な意味でなく、例示的な意味で理解されるべきである。

Claims (23)

  1. 自動運転車(ADV)をナビゲートするための速度計画方法であって、
    前記自動運転車が自動運転モードで辿る経路上の、前記自動運転車の一つ以上の障害物に基づいてセルのグリッドを生成するステップであって、前記セルのグリッドは前記経路を含む領域を表し、前記セルのグリッドのうちの前記一つ以上の障害物と重ね合うグリッドセルは第1の値に設定され、他のすべてのグリッドセルは第2の値に設定される、ステップと、
    前記セルのグリッドから特徴ベクトルF’を生成するステップと、
    前記特徴ベクトルF’及び速度モデルWMODELを使用して、前記自動運転モードで前記経路に沿って前記自動運転車をナビゲートするための初期速度vを決定するステップであって、前記初期速度v は、前記自動運転車が前記グリッドを通過し始める際に、その経路と前記グリッドとが交差する経路セグメントの開始点における走行速度を示すステップと、
    前記自動運転モードで前記経路を前記初期速度vで通過するように前記自動運転車をナビゲートするステップと、を含む、
    自動運転車をナビゲートするための速度計画方法。
  2. 前記セルのグリッドは、前記経路のステーション−タイム(S−T)のグラフを含み、前記セルのグリッドのサイズはK×Pであり、前記特徴ベクトルF’の長さはK×Pである、
    請求項1に記載の方法。
  3. 前記第1の値は1であり、前記第2の値は0である、
    請求項1に記載の方法。
  4. 前記初期速度vを決定するステップは、特徴ベクトルF’(F’の転置)と速度モデルWMODELの点乗積(dot product)を計算するステップを含む、
    請求項1に記載の方法。
  5. 前記自動運転車はリモートサーバから前記速度モデルWMODELを受信し、ここで、前記速度モデルW MODEL は、前記リモートサーバにより、特徴ベクトルFと、人間の運転する自動運転車の複数の運転記録のそれぞれからの初期経路速度とを使用して訓されたものであり、ここで、前記特徴ベクトルF及び前記初期経路速度が前記運転記録によって異なることができる、
    請求項1に記載の方法。
  6. 前記特徴ベクトルF’に最も密接に対応する特徴ベクトルFMODELを複数の特徴ベクトルから選択し、選択された特徴ベクトルFMODELに対応する速度モデルWMODELを決定するステップを更に含む、
    請求項1に記載の方法。
  7. 実行可能命令でプログラムされた非一時的コンピュータ可読媒体であって、前記実行可能命令がプロセッサシステムによって実行されるとき、自動運転車での速度計画のための動作を実行し、前記動作は、
    前記自動運転車が自動運転モードで辿る経路上の、前記自動運転車の一つ以上の障害物に基づいてセルのグリッドを生成するステップであって、前記セルのグリッドは前記経路を含む領域を表し、前記セルのグリッドのうちの前記一つ以上の障害物と重ね合うグリッドセルは第1の値に設定され、他のすべてのグリッドセルは第2の値に設定される、ステップと、
    前記セルのグリッドから特徴ベクトルF’を生成するステップと、
    前記特徴ベクトルF’及び速度モデルWMODELを使用して、前記自動運転モードで前記経路に沿って前記自動運転車をナビゲートするための初期速度vを決定するステップであって、前記初期速度v は、前記自動運転車が前記グリッドを通過し始める際に、その経路と前記グリッドとが交差する経路セグメントの開始点における走行速度を示すステップと、
    前記自動運転モードで前記経路を前記初期速度vで通過するように前記自動運転車をナビゲートするステップと、を含む、
    非一時的コンピュータ可読媒体。
  8. 前記セルのグリッドは、前記経路のステーション−タイム(S−T)のグラフを含み、前記セルのグリッドのサイズはK×Pであり、前記特徴ベクトルF’の長さはK×Pである、
    請求項7に記載の媒体。
  9. 前記第1の値は1であり、前記第2の値は0である、
    請求項7に記載の媒体。
  10. 前記初期速度vを決定するステップは、特徴ベクトルF’(F’の転置)と速度モデルWMODELの点乗積(dot product)を計算するステップを含む、
    請求項7に記載の媒体。
  11. 前記自動運転車はリモートサーバから前記速度モデルWMODELを受信し、ここで、前記速度モデルW MODEL は、前記リモートサーバにより、特徴ベクトルFと、人間の運転する自動運転車の複数の運転記録のそれぞれからの初期経路速度とを使用して訓されたものであり、ここで、前記特徴ベクトルF及び前記初期経路速度が前記運転記録によって異なることができる、
    請求項7に記載の媒体。
  12. 前記特徴ベクトルF’に最も密接に対応する特徴ベクトルFMODELを複数の特徴ベクトルから選択し、選択された特徴ベクトルFMODELに対応する速度モデルWMODELを決定するステップを更に含む、
    請求項7に記載の媒体。
  13. 少なくとも一つのハードウェアプロセッサを有する処理システムを備える速度計画システムであって、前記処理システムは、実行可能命令でプログラムされたメモリに接続され、前記実行可能命令が前記処理システムによって実行されるとき、自動運転車での速度計画のための動作を実行し、前記動作は、
    前記自動運転車が自動運転モードで辿る経路上の、前記自動運転車の一つ以上の障害物に基づいてセルのグリッドを生成するステップであって、前記セルのグリッドは前記経路を含む領域を表し、前記セルのグリッドのうちの前記一つ以上の障害物と重ね合うグリッドセルは第1の値に設定され、他のすべてのグリッドセルは第2の値に設定される、ステップと、
    前記セルのグリッドから特徴ベクトルF’を生成するステップと、
    前記特徴ベクトルF’及び速度モデルWMODELを使用して、前記自動運転モードで前記経路に沿って前記自動運転車をナビゲートするための初期速度vを決定するステップであって、前記初期速度v は、前記自動運転車が前記グリッドを通過し始める際に、その経路と前記グリッドとが交差する経路セグメントの開始点における走行速度を示すステップと、
    前記自動運転モードで前記経路を前記初期速度vで通過するように前記自動運転車をナビゲートするステップと、を含む、システム。
  14. 前記セルのグリッドは、前記経路のステーション−タイム(S−T)のグラフを含み、前記セルのグリッドのサイズはK×Pであり、前記特徴ベクトルF’の長さはK×Pである、
    請求項13に記載のシステム。
  15. 前記第1の値は1であり、前記第2の値は0である、
    請求項13に記載のシステム。
  16. 前記初期速度vを決定するステップは、特徴ベクトルF’(F’の転置)と速度モデルWMODELの点乗積(dot product)を計算するステップを含む、
    請求項13に記載のシステム。
  17. 前記自動運転車はリモートサーバから前記速度モデルWMODELを受信し、ここで、前記速度モデルW MODEL は、前記リモートサーバにより、特徴ベクトルFと、人間の運転する自動運転車の複数の運転記録のそれぞれからの初期経路速度とを使用して訓されたものであり、ここで、前記特徴ベクトルF及び前記初期経路速度が前記運転記録によって異なることができる、
    請求項13に記載のシステム。
  18. 前記動作は、
    前記特徴ベクトルF’に最も密接に対応する特徴ベクトルFMODELを複数の特徴ベクトルから選択し、選択された特徴ベクトルFMODELに対応する速度モデルWMODELを決定するステップを更に含む、
    請求項13に記載のシステム。
  19. 速度モデルWMODELを決定するコンピュータ実施方法であって、
    ナビゲーションルートの一部である所定の経路に対して、人間の運転する自動運転車の複数の運転記録からN個の運転記録を選択するステップであって、前記N個の記録のそれぞれは、特徴ベクトルFと、初期速度vとを含み、前記初期速度vは、前記自動運転車が前記所定の経路を通過し始める際、該経路の開始点における走行速度を表し、前記特徴ベクトルFは、前記自動運転車が前記所定の経路を通過するときに、前記自動運転車に対する一つ以上の障害物の少なくとも一部を表すステップと、
    前記特徴ベクトルFと、選択されたN個の記録のそれぞれからの初期速度vとを用いて速度モデルWMODELを訓練するステップと、
    自動運転車の走行区間をナビゲートするときに前記自動運転車の速度計画効率を向上するために、自動運転モードで前記自動運転車によって使用されるための前記速度モデルWMODELを用いて少なくとも一つの自動運転車のロジックを更新するステップと、を含む、
    速度モデルWMODELを決定するコンピュータ実施方法。
  20. 前記速度モデルWMODELを訓練するステップは、
    総和Σi=1 (F MODEL−vを最小化するWMODELを決定するステップを含み、式中、F は、Fの転置、Fは、選択されたi番目の特徴ベクトルであり、
    は、前記特徴ベクトルFで表される前記一つ以上の障害物に基づいて、前記自動運転車の人間の運転手によって運転される経路の開始点におけるi番目の初期速度vである、
    請求項19に記載の方法。
  21. 特徴ベクトルFMODELを前記速度モデルWMODELと関連付けることを更に含み、ここで、前記特徴ベクトルFMODELは、前記N個の運転記録における特徴ベクトルFと同一である、
    請求項19に記載の方法。
  22. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項1ないし請求項6のいずれか一項に記載の方法を実現させるコンピュータプログラム。
  23. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項19ないし請求項21のいずれか一項に記載の方法を実現させるコンピュータプログラム。
JP2019026730A 2018-04-16 2019-02-18 自動運転車に用いられる学習に基づく速度計画装置 Active JP6748244B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/954,366 2018-04-16
US15/954,366 US11126199B2 (en) 2018-04-16 2018-04-16 Learning based speed planner for autonomous driving vehicles

Publications (2)

Publication Number Publication Date
JP2019182401A JP2019182401A (ja) 2019-10-24
JP6748244B2 true JP6748244B2 (ja) 2020-08-26

Family

ID=68161760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019026730A Active JP6748244B2 (ja) 2018-04-16 2019-02-18 自動運転車に用いられる学習に基づく速度計画装置

Country Status (3)

Country Link
US (1) US11126199B2 (ja)
JP (1) JP6748244B2 (ja)
CN (1) CN110389585B (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11077756B2 (en) * 2017-11-23 2021-08-03 Intel Corporation Area occupancy determining device
US10816985B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method on moving obstacle representation for trajectory planning
FR3086073B1 (fr) * 2018-09-19 2020-12-11 Transdev Group Dispositif electronique de determination d'une trajectoire d'arret d'urgence d'un vehicule autonome, vehicule et procede associes
US11269336B2 (en) * 2018-09-21 2022-03-08 Tata Consultancy Services Limited Method and system for free space detection in a cluttered environment
CN113260936A (zh) * 2018-12-26 2021-08-13 三菱电机株式会社 移动体控制装置、移动体控制学习装置及移动体控制方法
US10809736B2 (en) * 2018-12-27 2020-10-20 Baidu Usa Llc ST-graph learning based decision for autonomous driving vehicle
US10928827B2 (en) * 2019-01-07 2021-02-23 Toyota Research Institute, Inc. Systems and methods for generating a path for a vehicle
US10843728B2 (en) * 2019-01-31 2020-11-24 StradVision, Inc. Method and device for delivering steering intention of autonomous driving module or driver to steering apparatus of subject vehicle more accurately
JP7207256B2 (ja) * 2019-10-15 2023-01-18 トヨタ自動車株式会社 車両制御システム
CN110794839B (zh) * 2019-11-07 2022-04-29 中国第一汽车股份有限公司 一种异形路口的自动驾驶控制方法及车辆
EP4090567A4 (en) * 2020-01-23 2023-08-09 Baidu.com Times Technology (Beijing) Co., Ltd. CROSS-PLATFORM CONTROL PROFILING FOR AUTONOMOUS VEHICLE CONTROL
US11760381B1 (en) * 2020-03-24 2023-09-19 Gm Cruise Holdings Llc Contextually-aware dynamic safety envelope for autonomous vehicles
US11560159B2 (en) * 2020-03-25 2023-01-24 Baidu Usa Llc Group and combine obstacles for autonomous driving vehicles
JP7369077B2 (ja) * 2020-03-31 2023-10-25 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US11787440B2 (en) * 2020-08-04 2023-10-17 Baidu Usa Llc Lane boundary and vehicle speed based nudge decision
US11945469B2 (en) * 2020-11-25 2024-04-02 Zoox, Inc. Object uncertainty models
US11851062B2 (en) * 2020-12-09 2023-12-26 Waymo Llc Physics-informed optimization for autonomous driving systems
KR102614256B1 (ko) * 2021-02-02 2023-12-15 우석대학교 산학협력단 자율주행을 위한 3차원 벡터좌표시스템
CN113076697B (zh) * 2021-04-20 2022-11-29 潍柴动力股份有限公司 典型驾驶工况的构建方法、相关装置及计算机存储介质
US20230082264A1 (en) * 2021-09-14 2023-03-16 Waymo Llc Flow-based motion planning blueprint for autonomous vehicles
CN113665590B (zh) * 2021-09-24 2024-04-19 阿波罗智联(北京)科技有限公司 控制车辆的方法、装置、设备、介质和车辆
KR20230147414A (ko) * 2022-04-14 2023-10-23 주식회사 베스텔라랩 벡터기반 동적지도에 의한 자율주행차량의 길 및 위험요소 안내

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL72685A (en) * 1983-08-30 1988-08-31 Gen Electric Advanced video object generator
JPH03263993A (ja) * 1990-03-14 1991-11-25 Hitachi Denshi Ltd レジストレーション検出装置
JPH10100737A (ja) * 1996-09-27 1998-04-21 Honda Motor Co Ltd 自動運転車
JP3540142B2 (ja) * 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
JP4159711B2 (ja) * 1999-11-16 2008-10-01 本田技研工業株式会社 自立型移動体および移動計画検査装置
JP3861623B2 (ja) * 2001-06-05 2006-12-20 ソニー株式会社 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム
US20040244138A1 (en) * 2003-03-14 2004-12-09 Taylor Charles E. Robot vacuum
US7805220B2 (en) * 2003-03-14 2010-09-28 Sharper Image Acquisition Llc Robot vacuum with internal mapping system
US20050010331A1 (en) * 2003-03-14 2005-01-13 Taylor Charles E. Robot vacuum with floor type modes
US8005677B2 (en) * 2003-05-09 2011-08-23 Cisco Technology, Inc. Source-dependent text-to-speech system
JP3952305B2 (ja) * 2004-02-06 2007-08-01 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
US20050273967A1 (en) * 2004-03-11 2005-12-15 Taylor Charles E Robot vacuum with boundary cones
JP4107605B2 (ja) * 2005-02-01 2008-06-25 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
JP4241673B2 (ja) * 2005-06-17 2009-03-18 本田技研工業株式会社 移動体の経路生成装置
EP1924981B1 (en) * 2005-07-26 2012-09-12 MacDonald Dettwiler & Associates Inc. Traffic management system for a passageway environment
EP1770365B1 (en) * 2005-09-30 2011-11-16 Saab Ab Method for planning the velocity of a craft along a route
WO2008013568A2 (en) * 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
KR100791386B1 (ko) * 2006-08-18 2008-01-07 삼성전자주식회사 이동 로봇의 영역 분리 방법 및 장치
EP2072947B1 (en) * 2007-08-07 2016-03-16 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
US7788614B1 (en) * 2007-09-04 2010-08-31 Altera Corporation Method and apparatus for performing analytic placement techniques on logic devices with restrictive areas
US7979174B2 (en) * 2007-09-28 2011-07-12 Honeywell International Inc. Automatic planning and regulation of the speed of autonomous vehicles
CN101650189B (zh) * 2008-08-14 2012-07-04 恩斯迈电子(深圳)有限公司 行走路径规划方法与避开动态障碍物的导航方法
JP5408143B2 (ja) * 2009-02-03 2014-02-05 日本電気株式会社 パターン認識装置、パターン認識方法およびパターン認識プログラム
KR101633889B1 (ko) * 2009-02-18 2016-06-28 삼성전자주식회사 격자지도를 이용한 경로 생성 장치 및 방법
JP5161845B2 (ja) * 2009-07-31 2013-03-13 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
EP2602761A4 (en) * 2010-08-03 2017-11-01 Panasonic Intellectual Property Management Co., Ltd. Object detection device, object detection method, and program
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
KR101203897B1 (ko) * 2011-02-25 2012-11-23 동국대학교 산학협력단 이동체(mobile body)를 위한 셀?기반 경로 계획 장치 및 방법
CN102254192B (zh) * 2011-07-13 2013-07-31 北京交通大学 基于模糊k近邻的三维模型半自动标注方法及系统
DE102013200387A1 (de) * 2013-01-14 2014-07-17 Robert Bosch Gmbh Erstellung einer Hinderniskarte
JP5494845B1 (ja) 2013-01-17 2014-05-21 株式会社デンソーアイティーラボラトリ 情報提供システム
CN103217981A (zh) * 2013-04-18 2013-07-24 东南大学 一种基于积分变结构控制的四旋翼飞行器速度控制方法
IL227860B (en) * 2013-08-08 2019-05-30 Israel Aerospace Ind Ltd Classification of objects in a scanned environment
US9834207B2 (en) * 2014-04-15 2017-12-05 GM Global Technology Operations LLC Method and system for detecting, tracking and estimating stationary roadside objects
GB2521491B (en) * 2014-06-17 2016-10-19 Imagination Tech Ltd Motion estimation
US9766625B2 (en) * 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
US9778056B2 (en) * 2014-09-30 2017-10-03 General Electric Company System and method for displaying planned speed values
CN104298114A (zh) * 2014-10-29 2015-01-21 西南科技大学 自适应鲁棒s型速度规划算法
CN104391902A (zh) * 2014-11-12 2015-03-04 清华大学 一种基于最大熵话题模型的在线文档分类方法及装置
EP3032454B1 (en) 2014-12-10 2018-09-26 Honda Research Institute Europe GmbH Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
CN104699102B (zh) * 2015-02-06 2017-07-18 东北大学 一种无人机与智能车协同导航与侦查监控系统及方法
US9868211B2 (en) * 2015-04-09 2018-01-16 Irobot Corporation Restricting movement of a mobile robot
US9818043B2 (en) * 2015-06-24 2017-11-14 Microsoft Technology Licensing, Llc Real-time, model-based object detection and pose estimation
JP6559535B2 (ja) * 2015-10-22 2019-08-14 株式会社東芝 障害物マップ生成装置、その方法、及び、そのプログラム
US10309790B2 (en) * 2015-10-28 2019-06-04 Honda Motor Co., Ltd. Automatic driving system
US9798327B2 (en) * 2016-01-08 2017-10-24 King Fahd University Of Petroleum And Minerals Apparatus and method for deploying sensors
JP2017162438A (ja) 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 危険予測方法
US20170329347A1 (en) * 2016-05-11 2017-11-16 Brain Corporation Systems and methods for training a robot to autonomously travel a route
EP3460613B1 (en) * 2016-06-08 2020-10-07 Uisee Technologies (Beijing) Ltd Speed planning method and apparatus and calculating apparatus for automatic driving of vehicle
JP6684681B2 (ja) 2016-08-10 2020-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 動的地図構成方法、動的地図構成システム及び移動端末
US10571925B1 (en) * 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and task planning
US10571926B1 (en) * 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance
US10635913B2 (en) * 2016-10-17 2020-04-28 Mediatek Inc. Path planning method and related navigation device
US10579065B2 (en) * 2016-11-23 2020-03-03 Baidu Usa Llc Algorithm and infrastructure for robust and efficient vehicle localization
US20180170392A1 (en) * 2016-12-20 2018-06-21 Baidu Usa Llc Method and System to Recognize Individual Driving Preference for Autonomous Vehicles
US10721859B2 (en) * 2017-01-08 2020-07-28 Dolly Y. Wu PLLC Monitoring and control implement for crop improvement
CN106828493B (zh) * 2017-02-20 2019-03-29 北理慧动(常熟)车辆科技有限公司 一种自动驾驶车辆分层式纵向规划控制系统及方法
US10754351B2 (en) * 2017-02-28 2020-08-25 Toyota Jidosha Kabushiki Kaisha Observability grid-based autonomous environment search
KR101888963B1 (ko) * 2017-03-06 2018-08-17 (주)오앤드리메디컬로봇 레이저 치료를 위한 영역 분할 방법, 그를 이용한 레이저 치료 방법 및 장치
JP6640777B2 (ja) * 2017-03-17 2020-02-05 株式会社東芝 移動制御システム、移動制御装置及びプログラム
US10509947B1 (en) * 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US10593042B1 (en) * 2017-04-11 2020-03-17 Zoox, Inc. Perspective conversion for multi-dimensional data analysis
JP6828579B2 (ja) * 2017-04-27 2021-02-10 トヨタ自動車株式会社 環境整備ロボットおよびその制御プログラム
JP6673293B2 (ja) * 2017-05-24 2020-03-25 トヨタ自動車株式会社 車両システム
CN107168335B (zh) * 2017-06-28 2020-06-23 大连海事大学 一种考虑混合多目标避障的水面无人艇路径跟踪制导方法
US10496104B1 (en) * 2017-07-05 2019-12-03 Perceptin Shenzhen Limited Positional awareness with quadocular sensor in autonomous platforms
CN107331182A (zh) * 2017-07-13 2017-11-07 北京航空航天大学 一种面向连续信号交叉口的网联环境下自动驾驶车速控制方法
EP3460516B1 (en) * 2017-09-20 2020-05-27 Aptiv Technologies Limited A device and a method for distinguishing between traversable and non-traversable objects
DE112017008101T5 (de) * 2017-09-27 2020-07-02 Intel Corporation Autonome roboter und verfahren zum betreiben derselben
US10503172B2 (en) * 2017-10-18 2019-12-10 Luminar Technologies, Inc. Controlling an autonomous vehicle based on independent driving decisions
US10303178B1 (en) * 2017-12-15 2019-05-28 Waymo Llc Collision mitigation static occupancy grid
US11210537B2 (en) * 2018-02-18 2021-12-28 Nvidia Corporation Object detection and detection confidence suitable for autonomous driving
US10948918B2 (en) * 2018-02-23 2021-03-16 Tata Consultancy Services Limited Context based path planning for vector navigation in hexagonal spatial maps
US11243540B2 (en) * 2018-05-17 2022-02-08 University Of Connecticut System and method for complete coverage of unknown environments
US10800408B2 (en) * 2018-05-24 2020-10-13 Baidu Usa Llc Determining driving paths for autonomous driving that avoid moving obstacles
US10810792B2 (en) * 2018-05-31 2020-10-20 Toyota Research Institute, Inc. Inferring locations of 3D objects in a spatial environment
US10642275B2 (en) * 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
US11048265B2 (en) * 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US11186276B2 (en) * 2018-07-27 2021-11-30 Baidu Usa Llc Adjusting speeds along a path for autonomous driving vehicles
US11521009B2 (en) * 2018-09-04 2022-12-06 Luminar, Llc Automatically generating training data for a lidar using simulated vehicles in virtual space
US11353577B2 (en) * 2018-09-28 2022-06-07 Zoox, Inc. Radar spatial estimation
US11097748B2 (en) * 2018-10-23 2021-08-24 Baidu Usa Llc Two-step reference line smoothing method to mimic human driving behaviors for autonomous driving cars
US10311324B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device for detecting objectness by detecting bottom lines and top lines of nearest obstacles and testing method, testing device using the same
US11465633B2 (en) * 2018-11-14 2022-10-11 Huawei Technologies Co., Ltd. Method and system for generating predicted occupancy grid maps
US11300959B2 (en) * 2019-08-30 2022-04-12 Huawei Technologies Co., Ltd. System and method for predictive path planning in autonomous vehicles

Also Published As

Publication number Publication date
US20190317520A1 (en) 2019-10-17
CN110389585A (zh) 2019-10-29
US11126199B2 (en) 2021-09-21
CN110389585B (zh) 2023-01-03
JP2019182401A (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
JP6748244B2 (ja) 自動運転車に用いられる学習に基づく速度計画装置
JP6738932B2 (ja) シミュレーションプラットフォームに配置された、機械学習モデルを訓練するためのシステム及び方法
JP6722312B2 (ja) 自動運転に用いられる感知と計画のコラボレーションフレームワーク
JP6517891B2 (ja) 自律走行車用のグループ運転スタイル学習フレーム
US11545033B2 (en) Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction
JP6720296B2 (ja) 自律走行のための地図画像に基づく交通予測
KR102048646B1 (ko) 자율 주행 차량 이동을 시뮬레이트하기 위한 물리 모델 및 머신 러닝과 결합된 방법
JP6667686B2 (ja) 自動運転車両のための走行軌跡生成方法、システム及び機械可読媒体
KR101975728B1 (ko) 자율 주행 차량을 위한 사이드슬립 보상 제어 방법
JP6517897B2 (ja) 自律走行車用のバネシステムに基づく車線変更方法
KR101975725B1 (ko) 학습 기반 모델 예측 제어를 이용한 자율 주행 차량의 노면 마찰 결정 방법 및 시스템
JP6494715B2 (ja) 自律走行車の速度制御率の動的調整方法
JP6578331B2 (ja) 自律走行車のコマンド遅延を決定するための方法
JP2020009412A (ja) 自動運転車両のための計画運転感知システム
KR102398256B1 (ko) 비전 기반 인식 시스템에 의한 대립적 샘플들 검출 방법
JP2020514145A (ja) シミュレーションに基づく自動運転車の感知要求の評価方法
JP7116065B2 (ja) 自律走行車に用いられるトンネルに基づく計画システム
KR20180074676A (ko) 자율 주행 차량의 조향률의 동적 조정
JP6543373B2 (ja) 自動運転車両に用いられる制御型の計画と制御システム
JP2020060553A (ja) 自動運転のための事前収集の静的反射図に基づく自動lidarキャリブレーション
JP2020061125A (ja) 自動運転のための交差検証に基づく自動lidarキャリブレーション
JP7149288B2 (ja) 自動運転車両のための螺旋曲線に基づく垂直駐車計画システム
JP6932196B2 (ja) 自動運転車両のための螺旋経路に基づく3ポイントターン計画
JP2020083310A (ja) 車両挙動予測のための圧縮環境特徴の表示
JP7017582B2 (ja) 自動運転車のトルクフィードバックに基づく車両縦方向自動キャリブレーションシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200806

R150 Certificate of patent or registration of utility model

Ref document number: 6748244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250