JP6602352B2 - 自律走行車用の計画フィードバックに基づく決定改善システム - Google Patents

自律走行車用の計画フィードバックに基づく決定改善システム Download PDF

Info

Publication number
JP6602352B2
JP6602352B2 JP2017157837A JP2017157837A JP6602352B2 JP 6602352 B2 JP6602352 B2 JP 6602352B2 JP 2017157837 A JP2017157837 A JP 2017157837A JP 2017157837 A JP2017157837 A JP 2017157837A JP 6602352 B2 JP6602352 B2 JP 6602352B2
Authority
JP
Japan
Prior art keywords
decision
autonomous vehicle
driving
changing
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017157837A
Other languages
English (en)
Other versions
JP2018081673A (ja
Inventor
ジアン イィフェイ
フ ジンタオ
タオ ジアミン
リー ドン
リー リユン
ヤン グアン
ワン ジンガオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2018081673A publication Critical patent/JP2018081673A/ja
Application granted granted Critical
Publication of JP6602352B2 publication Critical patent/JP6602352B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/06Combustion engines, Gas turbines
    • B60W2710/0605Throttle position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed

Description

本発明の実施形態は、全体として自律走行車(ADV:autonomous driving vehicle)を動作させることに関する。より具体的には、本発明の実施形態は自律走行車で作られた運転決定を改善することに関する。
自律モード(例えば、自律運転)で走行している車両は、乗員(特に運転者)を、特定の運転に関連する責任から解放できる。自律モードで走行している場合、車両は車載センサで様々な場所にナビゲートすることができ、それにより車両がヒューマンコンピュータインタラクションの最も少ない場合又は乗客なしの場合でも運行することを可能にさせる。
運動計画及び制御は、自律走行の重要な動作(操作)である。自律走行車(以下、ADVとも呼ばれ)の決定システムは、周囲の障害物、前方の交通信号、及び近くの交通標識(対象)への応答に応じて車両の走行を案内することである。決定命令は、対象に対する意図及び該意図の1つ以上の関連パラメータで構成される。例えば、赤信号に対する決定は、好適な停止線の位置を含むパラメータに関連する「停止」としてもよい。1つ以上の起因で、ADV決定システムで作られた決定は完璧ではない可能性がある。例えば、ADV計画及び/又は制御システムは、前記決定を実行できない可能性がある。ADV計画及び制御システム可以は、前記決定に従うことができるが、ADV1つ以上の決定パラメータを満たしてもよい。ADV決定は、乗客にとって不快な乗車経験を引き起こしたり、交通ルール違反を引き起こしたりする可能性がある。また、ADV決定は、危険な運転状況を引き起こしたり、通常の走行時間より長い時間をかけたりする可能性がある。
本発明の一態様によれば、自律走行車を動作させるためのコンピュータ実現方法を提供し、当該方法には、前記自律走行車の第1状態及び前記自律走行車の外部の対象の第2状態に基づいて第1運転決定を生成し、前記第1状態及び前記第2状態のいずれかが前記自律走行車の速度、位置及び方向と、前記対象の速度、位置及び方向とをそれぞれ含むステップと、前記第1運転決定、前記第1状態、及び前記第2状態に基づいて、前記第1運転決定に関連する計画フィードバックを受信するステップと、前記計画フィードバックに応答し、前記第1運転決定に関連する第1決定パラメータを変更し、変更後の第1決定パラメータを有する第1運転決定を実行し、又は、前記第1運転決定を前記第2運転決定に変更して前記第2運転決定を実行するステップとを含む。
一実施形態において、前記方法は、前記自律走行車の前記第1状態を決定し、前記自律走行車の前記第1状態を運転ログに記録するステップと、前記自律走行車の外部の1つ以上の対象の1つ以上の状態を決定し、前記第2状態を記録するステップを含む前記対象の前記状態を感知ログに記録するステップとをさらに含み、前記第1運転決定が前記感知ログ及び前記運転ログに基づいて生成される。
一実施形態において、前記方法は、前記第1運転決定を分類するステップを含む第1運転決定問題を検出するステップをさらに含み、前記第1運転決定は、保守的な運転決定、急進的な運転決定、1つ以上の保守的なパラメータを有する運転決定、1つ以上の急進的なパラメータを有する運転決定、早期運転決定、後期運転決定、又は非決定問題を有する運転決定のうちのいずれかに分類される。
一実施形態において、前記方法は、第1運転決定において問題を検出していない場合、前記第1運転決定を実行するステップをさらに含む。
一実施形態において、前記第1運転決定には、前記対象を追い越す決定、前記対象に道を譲る決定、前記対象までの所定距離内に自律走行車を停止させる決定、又は前記対象を無視する決定のうちの1つを含む。
一実施形態において、前記第1運転決定の前記第1決定パラメータを変更するステップには、前記自律走行車が前記対象を追い越す時の速度を変更するステップ、前記自律走行車が減速して前記対象に道を譲る時の速度を変更するステップ、前記自律走行車が停止する時の前記所定距離を変更するステップ、前記自律走行車で占有される進行車線内における前記自律走行車の位置を変更するステップ、又は前記対象を追い越すために選択された自律走行車の進行ルートを変更するステップのうちの1つを含む。
一実施形態において、前記第1運転決定を前記第2運転決定に変更するステップには、追い越し決定を譲り決定又は停止決定に変更するステップと、譲り決定を停止決定又は追い越し決定に変更するステップと、無視決定を追い越し決定、譲り決定又は停止決定に変更するステップとのうちの1つを含む。
一実施形態において、前記計画フィードバックには、前記対象の位置又は速度、及び前記自律走行車の位置又は速度に対して自律走行車の速度が速すぎる又は遅すぎるという指示、前記自律走行車が第1運転決定を実行できないという指示、第1運転決定の実施に必要なステアリング入力が大きすぎるという指示、又は天気と光照量と前記自律走行車の車線位置とを含む1つ以上の道路状況に基づいて、前記第1運転決定が不安全であるという指示のうちの少なくとも1つを含む。
本発明の他の態様によれば、非一時的な機械可読媒体を提供し、それは命令が記憶された非一時的な機械可読媒体であって、前記命令は、プロセッサにより実行される場合、前記プロセッサに自律走行車を操作する動作を実行させ、前記動作には、前記自律走行車の第1状態及び前記自律走行車の外部の対象の第2状態に基づいて第1運転決定を生成し、前記第1状態及び前記第2状態のいずれかが前記自律走行車の速度、位置及び方向と、前記対象の速度、位置及び方向とをそれぞれ含む動作と、前記第1運転決定、前記第1状態、及び前記第2状態に基づいて、前記第1運転決定に関連する計画フィードバックを受信する動作と、前記計画フィードバックに応答し、前記第1運転決定に関連する第1決定パラメータを変更し、変更後の第1決定パラメータを有する第1運転決定を実行し、又は前記第1運転決定を前記第2運転決定に変更して前記第2運転決定を実行する動作とを含む。
一実施形態において、前記動作には、前記自律走行車の前記第1状態を決定し、前記自律走行車の前記第1状態を運転ログに記録する動作と、前記自律走行車の外部の1つ以上の対象の1つ以上の状態を決定し、前記第2状態を記録することを含む前記対象の前記状態を感知ログに記録する動作とをさらに含み、前記第1運転決定は前記感知ログ及び前記運転ログに基づいて生成される。
一実施形態において、前記動作には、前記第1運転決定を分類することを含む前記第1運転決定問題を検出する動作をさらに含み、前記第1運転決定は、保守的な運転決定、急進的な運転決定、1つ以上の保守的なパラメータを有する運転決定、1つ以上の急進的なパラメータを有する運転決定、早期運転決定、後期運転決定、又は非決定問題を有する運転決定のうちのいずれかに分類される。
一実施形態において、前記動作には、前記第1運転決定において問題を検出していない場合、前記第1運転決定を実行する動作をさらに含む。
一実施形態において、前記第1運転決定には、前記対象を追い越す決定、前記対象に道を譲る決定、前記対象までの所定距離内に前記自律走行車を停止させる決定、又は前記対象を無視する決定のうちの1つを含む。
一実施形態において、前記第1運転決定の前記第1決定パラメータを変更することは、前記自律走行車が前記対象を追い越す時の速度を変更すること、前記自律走行車が減速して前記対象に道を譲る時の速度を変更すること、前記自律走行車が停止する時の前記所定距離を変更すること、前記自律走行車で占有される進行車線内における前記自律走行車の位置を変更すること、又は前記対象を追い越すために選択された自律走行車の進行ルートを変更することのうちの1つを含む。
一実施形態において、前記第1運転決定を前記第2運転決定に変更することには、追い越し決定を譲り決定又は停止決定に変更することと、譲り決定を停止決定又は追い越し決定に変更することと、無視決定を追い越し決定、譲り決定又は停止決定に変更することとのうちの1つを含む。
一実施形態において、前記計画フィードバックには、前記対象の位置又は速度、及び前記自律走行車の位置又は速度に対して自律走行車の速度が速すぎる又は遅すぎるという指示、前記自律走行車が第1運転決定を実行できないという指示、第1運転決定の実施に必要なステアリング入力が大きすぎるという指示、又は天気と、光照量と、前記自律走行車の車線位置とを含む1つ以上の道路状況に基づいて、前記第1運転決定が不安全であるという指示のうちの少なくとも1つを含む。
また、本発明の他の態様によれば、データ処理システムを提供し、それはプロセッサと、前記プロセッサに接続され、命令を記憶するために用いられるメモリとを備え、前記命令は、前記プロセッサにより実行される場合、前記プロセッサに自律走行車を操作する動作を実行させ、前記動作には、前記自律走行車の第1状態及び前記自律走行車の外部の対象の第2状態に基づいて第1運転決定を生成し、前記第1状態及び前記第2状態のいずれかが前記自律走行車の速度、位置及び方向と、前記対象の速度、位置及び方向とをそれぞれ含む動作と、前記第1運転決定、前記第1状態、及び前記第2状態に基づいて、前記第1運転決定に関連する計画フィードバックを受信する動作と、前記計画フィードバックに応答し、前記第1運転決定に関連する第1決定パラメータを変更し、変更後の第1決定パラメータを有する第1運転決定を実行し、又は、前記第1運転決定を前記第2運転決定に変更して前記第2運転決定を実行する動作とを含む。
一実施形態において、前記動作には、前記自律走行車の前記第1状態を決定し、前記自律走行車の前記第1状態を運転ログに記録する動作と、前記自律走行車の外部の1つ以上の対象の1つ以上の状態を確定し、前記第2状態を記録することを含む前記対象の前記状態を感知ログに記録する動作とをさらに含み、前記第1運転決定は前記感知ログ及び前記運転ログに基づいて生成される。
一実施形態において、前記動作には、前記第1運転決定を分類することを含む前記第1運転決定問題を検出する動作をさらに含み、前記第1運転決定は、保守的な運転決定、急進的な運転決定、1つ以上の保守的なパラメータを有する運転決定、1つ以上の急進的なパラメータを有する運転決定、早期運転決定、後期運転決定、又は非決定問題を有する運転決定のうちのいずれかに分類される。
一実施形態において、前記動作には、前記第1運転決定において問題を検出していない場合、前記第1運転決定を実行する動作をさらに含む。
一実施形態において、前記第1運転決定には、前記対象を追い越す決定、前記対象に道を譲る決定、前記対象までの所定距離内に前記自律走行車を停止させる決定、又は前記対象を無視する決定のうちの1つを含む。
一実施形態において、前記第1運転決定の第1決定パラメータを変更することには、
前記自律走行車が前記対象を追い越す時の速度を変更すること、前記自律走行車が減速して前記対象に道を譲る時の速度を変更すること、前記自律走行車が停止する時の前記所定距離を変更すること、前記自律走行車で占有される進行車線内における前記自律走行車の位置を変更すること、又は前記対象を追い越すために選択された自律走行車の進行ルートを変更することのうちの1つを含む。
一実施形態において、第1運転決定を前記第2運転決定に変更することには、追い越し決定を譲り決定又は停止決定に変更することと、譲り決定を停止決定又は追い越し決定に変更することと、無視決定を追い越し決定、譲り決定又は停止決定に変更することのうちの1つを含む。
一実施形態において、前記計画フィードバックには、前記対象の位置又は速度、及び前記自律走行車の位置又は速度に対して前記自律走行車の速度が速すぎる又は遅すぎるという指示、前記自律走行車が前記第1運転決定を実行できないという指示、前記第1運転決定の実施に必要なステアリング入力が大きすぎるという指示、又は天気と、光照量と、前記自律走行車の車線位置とを含む1つ以上の道路状況に基づいて、前記第1運転決定が不安全であるという指示のうちの少なくとも1つを含む。
本発明の実施形態は、図面の各図に例として非限定的に示され、図面における同一符号は、類似の構成要素(部材)を示す。
本発明の一実施形態に係るネットワーク化システムの概要を示すブロック図である。 本発明の一実施形態に係る自律走行車(ADV)センサ及び制御モジュールの例を示すブロック図である。 本発明の一実施形態に係るADV感知及び計画システムの例を示すブロック図である。 いくつかの実施形態に係るADV用の計画フィードバックに基づく決定改善システムの方法の概要をブロック形式で示す図である。 1つ以上の運転決定をすることができる例示的な運転状況を示す図である。 いくつかの実施形態に係るADVの運転決定を局所的に改善する方法をブロック形式で示す図である。 いくつかの実施形態に係る複数のADVの運転決定を全局的に改善する方法をブロック形式で示す図である。 いくつかの実施形態に係る感知ログの例を示す図である。 いくつかの実施形態に係る運転ログの例を示す図である。 いくつかの実施形態に係るADV運転決定ログの例を示すである。 いくつかの実施形態に係るADVによって検知された対象に関連する運転決定の計画モジュールフィードバックの例を示す図である。 いくつかの実施形態に係る運転決定問題の分類の例を示す図である。 いくつかの実施形態に係る運転決定の全局的な改善の例を示す図である。 一実施形態に係るデータ処理システムを示すブロック図である。
以下、説明の詳細を参照しながら、本出願の様々な実施形態及び方法を説明し、図面は、前記様々な実施形態を示す。以下の説明及び図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する簡単な説明を提供するために、周知又は従来技術の詳細について説明していない。
本明細書では「一実施形態/一つの実施形態」又は「実施形態」とは、当該実施形態について組み合わせて説明された特定特徴、構造又は特性が、本出願の少なくとも一つの実施形態に含まれてもよい。語句「一実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。
いくつかの実施形態によれば、自律走行車用の運転シナリオ(例えば経路、目的地又は交通タイプ(例えば、高速道路や都会での運転))を選択してもい。ADVが走行する時、複数種のセンサは自律走行車の外部の対象の位置、距離、速度及び配向(方向決め)を検出できる。センサ出力を周期的に感知ログに記録する。一実施形態において、記録前にセンサ出力を処理する。運転制御入力(例えば運転者によるハンドル、アクセルやブレーキの使用)も周期的に運転ログに記録できる。自律走行車の運転決定モジュールはセンサ出力と制御入力に応答して運転決定を生成する。一実施形態において、運転決定を生成してADV運転決定ログに記録する。運転決定を運転決定の実行を計画する計画モジュールに伝達する。運転決定は、運転決定パラメータを含んでもよい。例えば、運転決定が「追い越し」であると、運転決定パラメータは、自動車を追い越す時の速度、ADVと追い越される自動車との間の最小距離等を含む。計画モジュールは、決定に存在する問題を決定してもよい。計画モジュールは、決定モジュールへフィードバックを提供してもよい。フィードバックは、運転決定を実行できないか、運転決定が安全でないか、何らかの形で乱暴になるかの警告、運転決定を実施するために示唆された速度、距離や方向、運転決定モジュールによりADV外部の対象に関して作られた運転決定が遅すぎる又は早すぎるという指示を含む。次に、前記運転決定モジュールは、運転決定問題を、保守的な決定、急進的な決定、保守的なパラメータを有する決定、急進的なパラメータを有する決定、早期決定、後期決定及び非運転決定モジュール問題に分類できる。局所運転決定モジュールは運転決定を改善できる。運転が終了した後、センサ出力、制御入力及び自律走行車の運転決定の記録を終了する。一実施形態において、感知ログ、運転ログ及びADV運転決定ログ(「ログ情報」)をサーバにアップロードして分析する。
別の実施形態では、データ分析システムは複数のADVのログ情報を受信する。全局運転決定改善モジュールは、ADVのログを抽出して特定運転決定を改善する。全局運転決定改善モジュールは、抽出されたログを、さらに同一対象(例えば、移動自動車)及び類似の運転パラメータ(例えばADV速度、配向及び方向、類似速度、配向、移動自動車までの距離等)に対応して作られた運転決定に制限する。運転パラメータは、計画モジュールフィードバック及び/又は局所運転決定改善をさらに含む。全局運転決定改善モジュールは、各ADVのこれら運転パラメータの固有ベクトルを形成する。機器学習で運転決定への全局改善を確定できる。改善された決定は運転決定メトリクス(例えば、安全性、乗客の快適性、交通法や安全運転行為に対する規則遵守度や時間効率)を最適化させる。運転決定はこれら運転決定メトリクスに基づいて分級することができる。
図1は一実施形態に係る自律走行車のネットワーク配置100を示すブロック図である。図1を参照して、ネットワーク配置100は、ネットワーク102によって1つ以上のサーバ103〜104に通信可能に接続することができる自律走行車101を含む。1つの自律走行車101を示すが、ネットワーク102によって複数の自律走行車は互いに接続され、及び/又はサーバ103〜104に接続されることができる。ネットワーク102は、有線や無線の任意タイプのネットワーク、例えば、ローカルエリアネットワーク(LAN)、およびインターネットのワイドエリアネットワーク(WAN)、セルラーネットワーク、衛星ネットワーク、またはそれらの組合せであってもよい。サーバ103〜104は、任意のタイプのサーバ又はサーバクラスタ、例えばWebサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はその組み合わせであってもよい。サーバ103〜104は、データ分析サーバ、内容サーバ、交通情報サーバ、地図(マップ)及び観光スポット(MPOI)サーバ又は位置サーバ等であってもよい。以下、図9を参照して例示的なサーバシステムを説明する。以下、図9を参照して例示的なサーバシステムを説明する。サーバ103は、分析システムを含んでもよく、前記分析システムは、機器学習モジュール(機器学習エンジン)103Aと、全局決定改善モジュール103Bと、運転決定分級モジュール103Cとを含む。
自律走行車101とは、自律モードにあるように配置できる車両を指し、前記自律モードで車両が運転者からの制御入力が非常に少ない又はない場合にもナビゲーションして環境を通過する。このような自律走行車101は、センサシステム105を含んでもよく、前記センサシステム105は車両走行環境に関連する情報を検出するように配置される1つ以上のセンサを有する。前記車両及びその関連するコントローラは検出した情報を使用してナビゲーションし環境を通過する。自律走行車101は、手動モード、完全自律モード又は部分自律モードで運行することができる。
一実施形態において、自律走行車101は、感知及び計画システム110と、車両制御システム111と、無線通信システム112と、ユーザインターフェースシステム113と、センサシステム115とを含むが、これらに制限されない。自律走行車101は、通常の車両に含まれるある一般的な構成要素(部材)、例えばエンジン、車輪、ハンドル、変速器等をさらに含んでもよく、前記構成要素は、車両制御システム111及び/又は感知及び計画システム110により多種の通信信号及び/又は命令(例えば、加速度信号又は命令、減速度信号又は命令、ステアリング信号又は命令、ブレーキ信号又は命令等)を使用して制御することができる。
サーバ103は、データ分析システムを含んでもよく、前記データ分析システムは、機器学習モジュール(機器学習エンジン)103Aと、全局運転決定改善モジュール103Bと、運転決定分級モジュール103Cとを含む。このようなモジュールのそれぞれは、ソフトウェア、ハードウェア又はその組み合わせで実現できる。一実施形態において、モジュール103A、103B及び103Cは、少なくとも1つのハードウェアを備える。
構成要素110〜115は、相互接続部材、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素110〜115は、コントローラローカルエリアネットワーク(CAN)バスを介して互いに通信可能に接続することができる。CANバスは、マイクロコントローラ及び装置がホストコンピューターのない使用において互いに通信することを許可するような車両バス標準として設計される。それはメッセージに基づくプロトコルであり、最初に自動車内における複数の電線のために設計されたが、数多くのその他の環境(状況)にも用いられる。
図2は、本出願の一実施形態に係る自律走行車101(ADV)のセンサ及び制御モジュールの例を示すブロック図である。
現在、図2を参照して、一実施形態において、センサシステム115は、1つ以上のカメラ211と、全地球位置決めシステム(GPS)ユニット212と、慣性計測ユニット(IMU)213と、レーダーユニット214と、LIDAR(光検出及び測距)ユニット215とを含むが、これらに制限されない。GPSシステム212は、送受信機を含んでもよく、前記送受信機は、自律走行車の位置に関する情報を提供するように操作することができる。IMUユニット213は、慣性加速度に基づいて自律走行車の位置及び方向変化を感知することができる。レーダーユニット214は、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、対象を感知する以外、レーダーユニット214は、さらに対象の速度及び/又は進行方向を感知することができる。LIDARユニット215はレーザを使用して自律走行車の所在する環境における対象を感知することができる。その他のシステム構成要素以外、LIDARユニット215は1つ以上のレーザ光源、レーザースキャナ及び1つ以上の検出器をさらに含んでもよい。カメラ211は、自律走行車の周辺環境の画像をキャプチャするための1つ以上の装置を含んでもよい。カメラ211は、スチルカメラ又はカメラであってもよい。カメラは、例えば回転及び/又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。
センサシステム115は、その他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、及びオーディオセンサ(例えばマイクロフォン)をさらに含んでもよい。オーディオセンサは、自律走行車101周辺の環境から音をキャプチャするように配置されてもよい。ステアリングセンサは、ハンドル、車両の車輪又はその組み合わせのステアリング角を感知するように配置できる。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合、スロットルセンサ及びブレーキセンサは、集積型スロットル/ブレーキセンサに一体化されてもよい。
スロットルセンサ、ブレーキセンサ、及びブレーキセンサの出力値は、運転制御入力ログに記録されてもよい。外部対象を監視するセンサ、及び自律走行車の速度、位置及び配向は、センサ出力又は「感知」ログに記録されてもよい。
一実施形態において、車両制御システム111は、ステアリングユニット201と、スロットルユニット202(加速ユニットとも呼ばれる)と、ブレーキユニット203とを含むが、これらに制限されない。ステアリングユニット201は、車両の方向又は進行方向を調整することに用いられる。スロットルユニット202は、モーター又はエンジンの速度を制御して、続いて車両の速度及び加速度を制御することに用いられる。ブレーキユニット203は、摩擦を提供することによって車両の車輪又はタイヤをスローダウンして車両を減速させることに用いられる。注意すべきなのは、図2に示すような構成要素はハードウェア、ソフトウェア又はその組み合わせで実現されることができる。
図1を再び参照して、無線通信システム112は、自律走行車101と、例えば装置、センサ、その他の車両等の外部システムとの間に通信することを許可する。例えば、無線通信システム112は、1つ以上の装置に直接に又は通信ネットワークを介して無線通信し、例えばネットワーク102によってサーバ103〜104に通信できる。無線通信システム112は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク(WLAN)(例えばWiFi)を使用して他の構成要素やシステムに通信できる。無線通信システム112は、例えば赤外線リンク、ブルートゥース(登録商標)等を使用して装置(例えば、乗客の移動装置、表示装置、車両101内のスピーカー)に直接に通信できる。ユーザインターフェースシステム113は、車両101内で実行される周辺装置の一部であってもよく、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカー等を含む。
自律走行車101の一部又は全ての機能は、特に自律運転モードで操作する場合、感知及び計画システム110により制御したり管理したりすることができる。感知及び計画システム110は、必要なハードウェア(例えば、プロセッサ、メモリ、メモリ)、及びソフトウェア(例えば、オペレーティングシステム、計画、及び経路プログラム)を含み、センサシステム115、制御システム111、無線通信システム112、及び/又はユーザインターフェースシステム113から情報を受信し、受信された情報を処理し、出発地から目的地までの経路や路線を計画し、そして計画及び制御情報に基づいて車両101を運転させる。あるいは、感知及び計画システム110と車両制御システム111とは一体化されてもよい。一実施形態において、感知及び計画モジュール110の計画部分はクローズされてもよい。一実施形態において、制御システム111は、クローズされてもよい。その後、計画及び制御モジュールがクローズされた場合、人間ドライバーにより自律走行車101を運転することができる。本明細書に記載の実施形態では、オープンされた計画モジュール110及び制御システム111が用いられている。
走行中、乗客のユーザとして、例えばユーザインターフェース113によって旅程の出発位置及び目的位置を指定することができる。感知及び計画システム110は旅関連データを取得する。例えば、感知及び計画システム110は、MPOIサーバから位置及び経路情報を取得することができ、前記MPOIサーバはサーバ103〜104の一部であってもよい。位置サーバは、位置サービスを提供し、かつMPOIサーバはマップサービス及びある位置のPOIを提供する。あるいは、このような位置及びMPOI情報は、感知及び計画システム110の永続的記憶装置(不揮発性メモリ)にローカルでキャッシュされることができる。
自律走行車101が路線に沿って移動する際に、感知及び計画システム110は、さらに交通情報システムやサーバ(TIS)からリアルタイム交通情報を取得できる。注意すべきなのは、サーバ103〜104は、第三者エンティティにより操作できる。あるいは、サーバ103〜104の機能は、感知及び計画システム110と一体化されてもよい。リアルタイム交通情報、MPOI情報、位置情報、及びセンサシステム115が検出又は感知したリアルタイムなローカル環境データ(例えば、障害物、対象、付近車両)に基づいて、感知及び計画システム110は、安全で効果的に指定した目的地に到達するように、最適な路線を計画し、かつ計画した路線により例えば制御システム111を介して自律走行車(車両)101を運転することができる。
自律走行車101において、実際または物理的ウィンドウがない可能性がある。それに対して、「ウィンドウ(窓)」(本明細書に仮想ウィンドウ(仮想窓)と呼ばれる)は、タッチスクリーンを有してもよい表示装置(すなわち、窓の形状に成形される平面または曲面の画面表示装置)により表され、または代替されてもよい。表示装置は、1つまたは複数の適切なカメラによってリアルタイムで動的にキャプチャされた画像または画像ストリーム(例えば、ビデオ)を表示し、ユーザが透明窓を通して実際の物理コンテンツを見ているまたは確認するようである。各「ウィンドウ」(例えば、表示装置)に対して、リアルタイムに表示しようとする対応するコンテンツをストリーミング伝送するための対応する表示チャネルがあり、前記対応するコンテンツは、例えばデータ処理システム900のような拡張現実システムにより集中処理されてもよい。この場合、仮想現実方式(拡張現実方式とも呼称される)でインフォテイメントシステム114を介して強化した画像が表示されている。
本明細書に記載の実施形態において、センサシステム115における各センサからの出力は、計画及び制御モジュールがオンになった状態で、自律走行車101が自動モードで運転されている間に記録される。制御システム111の構成要素への入力は計画モジュール110で提供できる。自律走行車101が走行している時、ステアリングユニット201、スロットルユニット202、及びブレーキユニット203の入力は、「運転ログ」に記録することができ、「運転ログ」は自動制御システム111で取られた動作を収集する。センサログ、及び運転ログは、サーバ103へアップロードできる。一実施形態において、センサログ、及び運転ログは、リアルタイム又は準リアルタイムにアップロードできる。
図3は本発明の一実施形態に係る自律走行車101用の感知及び計画システム110の例を示すブロック図300である。システム300は、図1の自律走行車101の一部として実現されてもよく、感知及び計画システム110、制御システム111及びセンサシステム115を含むが、これらに制限されない。図3を参照すると、感知及び計画システム110は、位置決めモジュール301、感知モジュール302、決定モジュール303、計画モジュール304、制御モジュール305、記録モジュール306、決定問題認識モジュール307、及び決定問題改善モジュール308を含むが、これらに制限されない。
モジュール301〜308における一部又は全部は、ソフトウェア、ハードウェア又はその組み合わせで実現されてもよい。例えば、これらのモジュールは、永続的記憶装置352に取り付けられ、メモリ351にロードされ、かつ1つ以上のプロセッサ(図示せず)により実行されてもよい。注意すべきなのは、これらのモジュールにおける一部又は全部は、図2の車両制御システム111の一部又は全部のモジュールに通信可能に接続されてもよく、一体化されてもよい。モジュール301〜308における一部は、一緒に集積モジュールとして一体化されてもよい。
位置決めモジュール301(地図及びルーティングモジュールとも言われる)は、ユーザの旅程又は路線に関連する任意のデータを管理する。ユーザは、例えばユーザインターフェースを介してログインするとともに旅程の出発位置及び目的位置を指定してもい。位置決めモジュール301は、旅程に関連するデータを取得するように、自律走行車300のその他の構成要素(例えば地図及び経路情報311)と通信する。例えば、位置決めモジュール301は、位置サーバと、地図及びPOI(MPOI)サーバから位置及び路線情報を取得することができる。位置サーバは、位置サービスを提供し、かつMPOIサーバは、地図及び経路情報311の一部としてキャッシュされてもよい地図サービスと特定な位置のPOIとを提供する。自律走行車300が路線に沿って移動する場合、位置決めモジュール301は、さらに交通情報システムやサーバからリアルタイム交通情報を取得することができる。
センサシステム115により提供されたセンサデータ、及び位置決めモジュール301により得られた位置決め情報に基づいて、感知モジュール302は周辺環境に対する感知を確定する。感知情報は、普通の運転者が自分で運転している車両周辺から感知したもの(状況)を示すことができる。感知は、例えば対象形式で現される車線配置(例えば、ストレート又はカーブ)、トラフィック信号、他の車両の相対位置、歩行者、建築物、横断歩道又はその他の交通関連標識(例えば、停止標識、譲れ標識)などを含んでもよい。
感知モジュール302は、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含んでもよく、自律走行車環境における対象及び/又は特徴を認識するように、1つ以上のカメラによりキャプチャされた画像を処理及び分析することに用いられる。前記対象は交通信号、道路の境界線、他の車両、歩行者及び/又は障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオトラッキング及びその他のコンピュータビジョン技術を使用することができる。いくつかの実施形態において、コンピュータビジョンシステムは、環境をマッピングし、対象を追跡し、かつ対象の速度を推定することなどができる。感知モジュール302は、その他のセンサ(例えばレーダー及び/又はLIDAR)により提供されたその他のセンサデータに基づいて対象を検出することもできる。
それぞれの対象に対して、決定モジュール303は、如何に対象を処理する決定を作ることができる。例えば、特定な対象(例えば、交差路線における他の車両)及び対象を記述するメタデータ(例えば、速度、方向、ステアリング角)に対して、決定モジュール303は、遇う対象に如何に対応する(例えば、追い越し、道譲り、停止、通過)ことを決定する。決定モジュール303は、永続的記憶装置352(図示せず)に記憶されてもよい1セットのルール(例えば交通ルール)に基づきこのような決定を作ることができる。
感知したそれぞれ対象に対する決定に基づいて、計画モジュール304は、自律走行車のために経路又は路線及び運転パラメータ(例えば、距離、速度及び/又はステアリング角)を計画する。すなわち、所定対象に対して、決定モジュール303は前記対象に対して如何に対応するかを決定し、計画モジュール304は如何に実行するかを確定する。例えば、所定対象に対して、決定モジュール303は、前記対象を追い越す(通過する)ことを決定することができ、計画モジュール304は、前記対象の左側に追い越す(通過する)か、右側に追い越す(通過する)を確定することができる。計画モジュール304は、計画及び制御データを生成し、自律走行車300が次の移動周期(例えば、次の路線/経路セグメント)に如何に移動するかを記述する情報を含む。例えば、計画及び制御データは自律走行車300が毎時間30マイル(mph)の速度で10メートル移動し、次に25mphの速度で右車線まで変わることを命令することができる。
計画及び制御データに基づいて、制御モジュール305は計画及び制御データにより定義された路線又は経路に基づいて、車両制御システム111へ適切な命令又は信号を送信することによって自律走行車を制御及び運転する。前記経路又は路線に沿って違う場所で適時に適切な車両設置又は駆動パラメータ(例えば、スロットル、ブレーキ及びステアリング命令)を使用して車両を第1点から第2点まで運転するように、計画及び制御データは十分な情報を含む。
注意すべきなのは、決定モジュール303及び計画モジュール304は、集積モジュールに一体化されてもよい。決定モジュール303/計画モジュール304は、自律走行車の走行経路を確定するために、ナビゲーションシステム又はナビゲーションシステムの機能を含んでもよい。例えば、ナビゲーションシステムは、自律走行車が以下の経路に沿って移動することを実現するための一連の速度及びディレクショナ進行方向を確定することができ、前記経路は、自律走行車を総体的に最終目的位置を向けて通じる車線経路に進ませると同時に、基本的に感知された障害物を避けることができる。目的地はユーザインターフェースシステム113により実現されたユーザ入力に基づいて設置できる。ナビゲーションシステムは、自律走行車が走行していると同時に走行経路を動的に更新することができる。ナビゲーションシステムは、自律走行車用の走行経路を確定するように、GPSシステム及び1つ以上の地図からのデータを合併することができる。
決定モジュール303/計画モジュール304は、自律走行車環境における潜在障害物を、認識・評価・回避又はその他の方式で迂回するために、衝突回避システム又は衝突回避システムの機能をさらに含んでもよい。例えば、衝突回避システムは、制御システム111の中の1つ以上のサブシステムを動作させてターン操縦、ステアリング操縦、ブレーキ操縦等を採ることにより、自律走行車のナビゲーションにおける変更を実現することができる。衝突回避システムは、周辺の交通モード、道路状況等に基づいて障害物を回避可能な操縦を自動的に確定することができる。衝突回避システムは、その他のセンサシステムは、自律走行車がターンして入ろうとする隣接領域における車両、建築障害物等を検出する際にターン操縦を採らないように配置できる。衝突回避システムは、使用可能でありかつ自律走行車の乗員の安全性を最大化させる操縦を自動的に選択することができる。衝突回避システムは、自律走行車の乗員室内で最小の加速度を出現させることが予測された回避操縦を選択することができる。
記録モジュール306は、感知モジュール302からのデータ、決定モジュール303からのADV決定、及び制御システム111からの制御システム入力を受信できる。一実施形態において、選択的に又は付加的には、制御システム111からの制御入力が制御モジュール305から取得できる。記録モジュール306は、センサシステム115が検知した対象の感知データを感知モジュール302を介して受信できる。一実施形態において、感知情報を記録モジュール306へ伝達する前、感知モジュール302はセンサシステム115からの1つ以上のセンサ出力を処理できる。例えば、感知モジュール302は、LIDARで確定された距離とGPSやレーダーで確定された配向とを組み合わせて対象の位置を確定する。感知モジュール302は、生センサデータを記憶するのではなく、対象の位置を記録モジュール306へ伝達して感知ログに記録できる。記録モジュール306は、感知ログデータを感知ログ312に書き込み、運転制御入力をADV 101における永続的記憶体352での運転ログ313に書き込むことができる。
記録モジュール306は、制御システム111からの運転制御入力を受信できる。運転制御入力は、ブレーキユニット203からのブレーキ入力量、ステアリングユニット201からのステアリング入力量及びスロットルユニット202からのスロットル入力量を含むことができる。これらの入力は計画モジュール304と制御モジュール305で確定される。
記録モジュール306は、さらに決定モジュール303からADV運転決定を受信できる。ADV運転決定は対象ごとに行ってもよい。ADV運転決定は、対象を追い越す決定、対象に道を譲る決定、ADVを停止させる決定、又は対象を無視する決定を含んでもよい。ADV運転決定ログは、永続的記憶体352におけるADV決定ログ314に記憶できる。
運転ログ313、感知ログ312及びADV運転決定ログ313はログ情報を含む。記録モジュール306は、リアルタイム又は準リアルタイムにログ情報をADV 101の永続的記憶装置352に記憶できる。加えて、又は選択的に、記録モジュール306は、ネットワーク102を介してログ情報をサーバ103へ伝送できる。一実施形態において、記録モジュール306は、リアルタイム又は準リアルタイムにログ情報をサーバ103へ伝送できる。一実施形態において、記録モジュール306は、運転シナリオが完了した後又は別の時間にログ情報をサーバ103へ伝送できる。
決定問題認識モジュール307は、教師付き学習で計画フィードバックを、保守的な決定、急進的な決定、保守的なパラメータ、急進的なパラメータ、早期決定、後期決定、及び非決定問題のタイプに分類できる。教師付き学習用の特徴は、感知モジュール302から取得した、対象とADVとの間の距離、対象とDVとの相対位置、ADVの速度、ADVの配向、ADVの車線位置、対象の速度、対象の配向、及びADV車線位置を基準とする対象位置を含むがこれらに制限されない情報を利用できる。教師付き学習前に、ラベリング過程を使用できる。決定カテゴリーは次のように記述される。
保守的な決定は、より安全であり、運転規則への遵守度がより高く、及び/又は乗客にとってより快適であるが、通常の走行時間より長い時間がかかる可能性がある。このような決定をより急進的なものに変更できる。例えば、「停止」決定を「譲り」決定や「追い越し」決定に変更できる。
急進的な決定は、安全性が低く、乗客にとって快適ではなく、又は交通ルール違反を増加させるような危険な運転状況を引き起こす可能性がある。この問題が認識されると、より保守的な運転決定を取った方がよいかもしれない。例えば、「追い越し」決定を「譲り」決定に変更する。
保守的なパラメータ決定は、決定を変更する必要がないことを除いて保守的な決定に類似している。しかし、決定のパラメータをより保守的なパラメータに変更できる必要がある場合がある。例えば、対象を「追い越す」決定は最適な運転決定であり得るが、ADVが対象を追い越すべき速度又は加速度の決定パラメータをより保守的なものに変更できる必要がある場合がある。変更したパラメータは、安全性、乗客の快適性及び/又は交通法や良好な行為に対する遵守を増加させると、より保守的なものであり得る。
急進的な決定パラメータは、決定を変更する必要がないことを除いて、急進的な決定に類似している。しかし、決定のパラメータをより急進的なものに変更する必要がある場合がある。例えば、対象に道を「譲る」決定が最適な運転決定であり得るが、譲り決定を実行するためのブレーキ時間又はブレーキ量を指示する決定パラメータをより急進的なのパラメータ値に変更する必要がある場合がある。ADVが時間効率を犠牲にして対象に対してあまりにも早く又は遅く減速すると、パラメータをより急進的なものに変更する必要がある。道を譲るためにあまりにも早く減速すると、ADVが道を譲っている対象に関して、他の運転者を混乱させる可能性もある。
早期運転決定は、あまりにも早く実行された正確な運転決定である。上記譲りの例と同様に、ADVは、あまりにも早く減速して対象に道を譲る可能性がある。早期運転決定は、時間効率を低下させ、且つADVが道を譲っている対象に関して、他の運転者を混乱させる可能性もある。
後期運転決定は、あまりにも遅く実行された正確な運転決定である。後期運転決定は、道路状況や乗客の快適性にとって安全である速度よりも速くADVにブレーキ及び減速をさせなければならない可能性がある。後期運転決定はまた、他の運転者を驚かせたり、事故を引き起こしたりする可能性もある。
非決定問題は、運転決定モジュールにより引き起こされない問題を示す。決定を改善する必要がない。
局所決定問題改善モジュール308は、強化学習で運転決定問題の最適な解決手段を見つけることができる。局所運転決定の改善は特定のADVのみのためであり、さらに運転決定の変化又は運転決定パラメータの変更によって運転決定問題を一時的に解決できる。
注意すべきなのは、前記の言及された一部又は全部の構成要素(部材)は、ソフトウェア、ハードウェア又はその組み合わせで実現できる。例えば、このような構成要素は、永続的記憶装置(不揮発性メモリ)にインストールされるとともに記憶されたソフトウェアとして実現されてもよく、前記ソフトウェアは、プロセッサ(図示せず)でメモリには、本出願にわたって記載のプロセス(過程)又は動作(操作)を実施するようにロードして実行されてもよい。あるいは、このような構成要素は、専用ハードウェア(例えば、集積回路(例えば専用集積回路又はASIC)、デジタル信号プロセッサ(DSP)、又はフィールドプログラマブルゲートアレイ(FPGA))にプログラミングされ又は嵌め込みされた実行可能なコードとして実現されてもよく、前記実行可能なコードは、アプリケーションからの対応するドライバープログラム及び/又はオペレーティングシステムによってアクセスされてもよい。なお、このような構成要素は、プロセッサ又はプロセッサコアにおける特定のハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が1つ以上の特定命令によってアクセスできる命令セットの一部とする。
図4はいくつかの実施形態に係るADV用の計画フィードバックに基づく決定改善システムの方法400の概要をブロック形式で示す。
図3を参照して上述したように、ADV感知及び計画システム110は、感知モジュール302、運転決定モジュール303、計画モジュール304、運転決定を実行するための制御モジュール305、記録モジュール306、運転決定問題を認識するための決定問題認識モジュール307、運転決定を改善するための決定問題改善モジュール308を含んでもよい。運転決定は、感知モジュール302が検知した対象を参照できる。運転決定は、対象を追い越す決定、対象に道を譲る決定、対象のために停止する決定、又は対象を無視する決定を含んでもよい。決定の安全性、ADV乗客の快適性、交通法規に対する遵守度及び時間効率を含む1つ以上のメトリクスを参照して各運転決定を分級できる。運転決定は、運転決定パラメータ(例えばスロットル入力量、ブレーキ量又はステアリング入力)を含むことができる。運転決定パラメータは計画モジュール304によって確定できる。計画モジュール304は、さらに感知モジュール302が検知した対象を配慮して、運転決定パラメータの大きさを評定し、さらに運転決定パラメータが保守的であるか急進的であるかを指示することができる。
動作405では、決定モジュール303は、計画モジュール304へ運転決定命令を送信する。運転決定命令は、ADV計画モジュール304と制御モジュール305が運転決定を計画して実行すべきであるという命令であってもよい。
動作410では、計画モジュール304は、運転決定命令を受信して、運転決定に対するフィードバックを生成する。次に、計画モジュール304は、運転決定と運転決定フィードバックを決定モジュール303へ送信する。次に、決定モジュール303は、運転決定と決定フィードバックを決定問題認識モジュール307へ伝達する。
動作415では、決定問題認識モジュール307は、計画フィードバックで運転決定問題を認識する。一実施形態において、決定問題認識モジュール307は、運転決定フィードバックで運転決定を分級する。
動作420では、決定問題認識モジュール307は、運転決定を、保守的な決定、急進的な決定、保守的なパラメータ、急進的なパラメータ、早期決定、後期決定又は非決定問題カテゴリーのうちのいずれかに分類する。教師付き学習で計画フィードバックを上記7つの運転決定問題のカテゴリーに分類できる。教師付き学習用の特徴は、感知モジュール302から取得した、対象とADVとの間の距離、対象とDVとの相対位置、ADVの速度、ADVの配向、ADVの車線位置、対象の速度、対象の配向、及びADV車線位置を基準とする対象位置を含むがこれらに制限されない情報を利用できる。教師付き学習の前にラベリング過程を使用できる。以上、決定カテゴリーは、運転決定問題認識モジュール307及び図3によって説明された。認識した運転決定問題を局所決定改善モジュール308とサーバ103(サーバ分析システム)の全局決定改善モジュール103Bとの両方へ送信できる。
動作425では、局所運転決定改善モジュール308は、運転決定、運転決定パラメータ及び計画フィードバック(運転決定情報)を受信する。局所運転決定改善は、このADVのみのために行われて一時的に運転決定問題を解決する。局所運転決定改善は、決定モジュール303の問題を示していない可能性がある。局所決定改善は、例えば運転決定がなされた時点の地元の天気に基づく決定に関連し得る。一実施形態において、局所運転決定改善モジュール308は、強化学習の方法に基づいて、局所決定改善用の最適な解決手段を探すことができる。解決手段は動的に変化することができ、例えば、場所、道路タイプや天気に応じて変化する。
動作430では、分析サーバ(例えばサーバ103)は、運転決定情報を受信し、運転決定情報を全局決定改善モジュール103Bへ伝達する。一実施形態において、全局決定改善モジュール103Bはサーバ103で実現される。
動作435において、全局決定改善モジュール103Bは、決定モジュール303の問題を永続的に解決することを試みることができる。サーバ103は、複数のADVの共同問題を認識することを図るために、複数のADVから運転決定情報を収集できる。全局決定改善モジュールは、図8Fを参照して以下に詳細に説明される。
図5は、1つ以上の運転決定を行うことができる例示的な運転シナリオ500である。以下の運転シナリオでは、対象の速度、距離及び配向はADV 101に関する。一実施形態において、運転シナリオにおける対象の速度、距離及び配向は、例えばGPSの座標系又は地図座標系に対して表現する。速度、距離及び配向がADV 101に関する一実施形態において、ADV 101の配向は0°であってもよく、又は、↑はADV 101の「直線前進」を意味してもよく、ADVの前で左から右に移動する対象(例えば自動車510)は正の配向(例えば+90°又は→)としてもよい。ADV101の前で右から左に移動する対象(例えば歩行者/犬512)は、負の配向(例えば、−90°又は←)としてもよい。
このシナリオにおいて、ADV 101は、各隅箇所に横断歩道513を有する十字路にアプローチしている。ADV 101は、ADV 101のADV決定ログ、運転ログ及び感知ログを収集できるサーバ103と通信する。また、このシナリオにおける各種の対象は、検出されてADV 101の感知ログに記憶される。対象は、接近する自動車510、建物511、歩行者と犬512、ADV 101に隣接する左車線標識514と右車線標識515を含む。
ADV 101は、ADV 101に対応する速度、距離及び配向で交差点の横断歩道513にアプローチしている。時刻t0に、ADV 101は、ADV101に対応して0°(直線前進)となるように、25 mphで走行できる。自動車510は、ADV 101と101フィート離れて且つADV 101に対して−75°となり、ADV 101に対して+90°となるように、25 mphで走行できる。簡単に言えば、自動車510は、ADV 101から約100フィート離れており、且つADV 101の左側から25 mphで交差点にアプローチする。時刻t0に、ADV 101は、自動車510を追い越す決定、停止する決定、自動車510に道を譲る決定、又は自動車510を無視する決定を下してもよい。
ADV 101はさらに建物511を感知できる。建物が静止対象であるため、時刻t0に、建物511の速度が0 mphになる。時刻t0に、建物511は、ADV 101に対して−28°に位置し、且つADV 101との距離が111フィートになるようにしてもよい。建物511が静止であるため、すべての建物511は配向がない。
また、ADV 101は、さらに、交差点にアプローチしている歩行者及び犬(又は「歩行者」だけ)512を、異なる方向から感知できる。時刻t0に、歩行者512は、+36°箇所に位置し、ADV 101との距離が40フィートになり、3 mphで移動する場合がある。簡単に言えば、自動車101が住宅配向の進行速度で左側から交差点にアプローチしているとほぼ同時に、歩行者と彼の犬が歩行速度で右側から横断歩道513にアプローチしている。ADV 101、自動車510及び歩行者512がそれぞれの現在速度及び方向で続いて持続する場合、自動車510が交差点を超えるとほぼ同時に、さらに、ADV 101が横断歩道を超えて交差点に入るとほぼ同時に、歩行者512が横断歩道513に入る可能性がある。一部の国(または地区)で、その法律によれば、横断歩道に入った歩行者は、横断歩道を含む交差点に入った自動車より優先な先立ち権を有する。一部の国(または地区)では、2つの自動車が同時に交差点にアプローチする場合、その法律によれば、右側の自動車(ここでADV 101)が左側の車両(ここで自動車510)に道を譲るように要求される。本発明の運転決定問題改善フレームワークでは、ADV 101は、ADV 101、自動車510、建物511、歩行者512、及び横断歩道513を含むすべての対象を配慮した運転決定を下す必要がある。各対象510〜513については、対象を追い越す決定、対象に道を譲る決定、対象を停止する決定、又は対象を無視する決定を下す。
運転シナリオは、ADV速度、配向及び位置と、1つ以上の対象(それぞれの速度、位置及び配向を有する)までの距離を含む。ADV 101は客観的な運転決定を下す。同一又は類似した運転シナリオが設定された場合、ADV 101は、毎回同じ運転決定を下す。運転決定は最適でない可能性がある。従って、局所決定改善モジュール308は、複数のADVに最適な決定に近い決定を取得するのに寄与する。全局決定改善モジュール103Bは、複数のADVの決定の改善に寄与する。ADVの運転決定モジュール303は、自動車510及び歩行者512(並びに横断歩道513)を追い越し、そして建物511を無視することを決定し、1番目に交差点を通過することができる。この決定は、速度、交差点箇所に他の車両に道を譲ること、及び横断歩道にいる歩行者のために停止することの規則に違反する可能性があるが、運転時間を節約する。前記決定は、さらに車両510又は歩行者512を避けるように、車線位置において加速、及びナッジや逸れを必要とする。ADVが前方及び側方加速の両方をするため、乗客の快適さを減少させる可能性がある。その代わりに、より安全な決定としては、横断歩道513に沿って通りを横切ることを歩行者512にさせるために、ADVは減速して交差点において自動車510に道を譲り、横断歩道513の前の5フィート箇所に停止する。この決定は、すべての法律を遵守し、車両510との衝撃可能性や歩行者512への怪我を避けるように安全性を向上させ、さらに快適に減速する。しかしながら、前記決定はより長い時間がかかる。
図6はいくつかの実施形態に係る運転決定問題認識モジュール307とローカル運転決定改善モジュール308でADVの運転決定を改善する方法600をブロック形式で示す。一実施形態において、方法600は、オンラインでリアルタイム又は準リアルタイムに実現される。一実施形態において、例えば収集した情報をネットワーク102を介してサーバ103へ伝送する。さらに又は代わりに、ADVが進行すると同時に収集した情報を例えばADVの永続的記憶装置352に記憶できる。
動作(ステップ)605において、運転シナリオを選択する。運転シナリオは、特定目的地、交通タイプ(渋滞又はスムーズ)、運転速度(高速道路又は町道)、時刻(通勤交通又は週末の交通、又は曜日の正午の交通)、旅程の長さ(短く又は長く)、人間運転者が運転領域及び他の運転シナリオに慣れているか否かを含んでもよい。
動作610において、ADVの計画及び制御モジュールをオープンする。ADVの運転決定モジュールはアクティブであり、且つADVはADV運転決定を下し、記録し計画して実行する。
動作615において、ADVの自動運転を開始する。
動作620において、記録モジュール306はADVセンサシステム115からの複数のセンサの出力を受信する。複数のセンサ出力は1つ以上の対象の属性を検出又は表示できる。例えば、カメラ211は、移動対象(例えば、自動車510又は歩行者512)の存在を検出でき、LIDARユニット215は、対象とADV 101との距離を検出できる。レーダーユニット214は対象の運動を検出できる。GPSユニット212は対象のGPS座標に対する位置を検出できる。計画モジュール304と制御モジュール305がADV運転決定を実行する時、運転制御入力を生成する。運転制御入力は、スロットル入力202(減速を含む)、ブレーキ入力203及びステアリング入力201(右折、左折又はセンタリングの量)を含むことができる。運転制御入力111はさらに、入力の導関数、例えば入力が印加された速度を含んでもよい。運転制御入力は記録モジュール306へ伝達して記録できる。
動作625において、ADVの運転決定モジュール303は運転決定を下して記録する。ADV運転決定は運転決定パラメータを含むことができる。例えば、横断歩道513に関連する運転決定は、ADVが停止すべき位置と横断歩道513との距離(例えば、横断歩道513の前の6フィート箇所で停止する)を指示するパラメータを含むことができる。ADVの運転決定モジュール303は、ADV運転決定と運転決定パラメータを計画モジュール304へ伝達できる。
動作630において、計画モジュール304はADV運転決定と運転決定パラメータを受信する。計画モジュール304は感知ログ312にアクセスしてADVの速度、位置及び配向とADVに関連する1つ以上の対象の速度、距離及び配向を確定することができる。計画モジュール304はADV運転ログ313にアクセスしてスロットル、ステアリング及びブレーキに対する現在制御入力を確定することができる。感知ログ312、運転ログ313、運転決定及び運転決定パラメータを用いて、計画モジュール304は決定モジュール303へ返送する運転決定フィードバックを確定できる。決定問題認識モジュール307は教師付き学習で計画フィードバックを、保守的な決定、急進的な決定、保守的なパラメータ、急進的なパラメータ、早期決定、後期決定及び非決定問題の種類に分類できる。教師付き学習用の特徴は、感知モジュール302から取得した、対象とADVとの間の距離、対象とADVの相対位置、ADVの速度、ADVの配向、ADVの車線位置、対象の速度、対象の配向及びADV車線位置を基準とする対象位置を含むがこれらに制限されない情報を利用できる。教師付き学習の前にラベリング過程を使用できる。
動作635において、運転決定問題認識モジュール307は計画モジュール304から受信したフィードバックが運転決定問題を示しているかどうかを確定する。動作635で運転決定問題を認識した場合、方法600は動作640まで実行し、さもないと、方法600は動作650まで実行する。
動作640において、決定問題認識モジュール307は、保守的な決定、急進的な決定、保守的なパラメータ、急進的なパラメータ、早期決定、後期決定、及び非決定モジュール303問題というカテゴリから選ばれる1つに、決定問題を分類する。
動作645において、局所運転決定改善モジュール308は、第1運転決定問題タイプを有する第1運転決定を第2運転決定に変更できる。それに加えて、または必要に応じて、局所運転決定改善モジュール308は運転決定の1つ以上の運転決定パラメータを変更して運転決定を改善できる。例えば、濡れている又は滑りやすい路面では、局所運転決定改善モジュール308は運転決定パラメータを変化して、横断歩道513の前の6フィート箇所で停止する代わりに、ADVが横断歩道513の箇所で停止するようにする。あまりに早く停止すると、ADVの追跡を失ってしまい、且つ、制御停止できない可能性がある。運転決定が「横断歩道513の箇所に停止する」であり且つ決定が早すぎる場合、運転決定改善モジュール308は、横断歩道513の箇所に停止する決定の実行を遅延したり、又は、ADVがあまりにも速く減速しないように運転パラメータを変えて横断歩道513での減速を緩和させたりすることができる。運転決定が「横断歩道513の箇所に停止する」であり且つ運転決定の分類により「後期決定」が指示される場合、運転決定改善モジュールは決定を「横断歩道513を通過する」に変更することができる。運転決定改善モジュール308はどのように運転決定を改善するかを確定するにあたって、道路状況、既知又は予測したADV性質(例えばADVの最大加速度、牽引力を保持したままの最小停止距離、設定速度に対する最小ステアリング半径、反転特性等)を利用できる。
動作650において、制御モジュール305は、動作640及び645で、位置決定によって変更して改善され得る運転決定を実行できる。方法600は動作620まで実行する。
図7はサーバ103においてオフライン分析を用いて複数のADVに対応する運転決定をグローバルに改善する方法700をブロック形式で示す。一実施形態において、サーバ103における全局運転決定改善モジュール103Bは、大量のADVから感知ログ、運転ログ及び運転決定ログ(「ログ情報」と総称される)を受信する。運転決定問題のカテゴリー又は特定の決定タイプを改善するように、ログ情報の1つ以上のサブセットを抽出できる。すべての問題は自動化機器学習のみで解決でき又は解決すべきであるわけではない。一実施形態において、エンジニアは、特定のカテゴリーの運転決定を見直すことができる。一実施形態において、方法700で運転決定問題への改善を自動的に生成しても、人間のエンジニアはすべての運転決定及びそれらのそれぞれの改善を見直す。
動作705において、改善すべき運転決定問題が発生する可能性がある状況を減少させるように、全局運転決定改善モジュール103Bは、運転シナリオを選択する。運転シナリオは、ADVの特定経路、目的地、交通タイプ(都会道路や高速道路や農村道路)、時刻、天気状況タイプ、最大又は最小速度、対面交通を有する又は有さない運転、歩行者(例えば感知対象)を有する又は有さない運転、特定の地区、国家又は他の地方などであってもよい。
動作710において、全局運転決定改善モジュール103Bは、改善待ちの運転決定問題のカテゴリーを選択する。運転決定問題カテゴリーは、保守的な決定、急進的な決定、保守的なパラメータ、急進的なパラメータ、早期決定、後期決定及び非決定モジュール運転決定問題を含んでもよい。
動作715において、全局運転決定改善モジュール103Bは、運転決定を改善するための問い合わせ範囲を縮小するために、使用可能なADVログ情報のサブセットを選択する。一実施形態において、同じ運転決定、運転決定問題及び(必要に応じて)同じ又は類似した運転決定パラメータを有するログ情報を選択する。
動作720において、全局運転決定改善モジュール103Bは、必要に応じて、問い合わせを同じ又は類似した局所運転決定の改善を有する運転決定に制限することによって、運転決定を改善するための範囲を更に縮小する。
動作725において、全局運転決定改善モジュール103Bは、必要に応じて、同じ又は類似した計画フィードバック又は運転パラメータを有するADVログを要求することで、運転決定の改善範囲に焦点を合わせる。
動作730において、動作710〜725で縮小された運転決定問題が機器学習で運転決定問題を改善待ちのであるか否かを決定できる。改善待ちのであると、方法700は動作740まで実行し、さもないと、方法700は動作750まで実行する。
動作740において、運転決定を改善するために、機器学習を運転決定問題の特徴に適用する。機器学習用の特徴は、(1)対象とADVとの間の距離、(2)対象とDVとの相対位置、(3)対象の速度、(4)対象の配向、(5)ADV車線位置を基準とする対象位置、(6)ADVの速度、(7)ADVの配向、(8)ADVの車線位置を含むが、これらに制限されない。例えば以上に示したような数字で特徴を標識できるとともに、特徴に値を与えることができる。次に、特徴を機器学習に使用可能な順序付きセットとしてコーディングできる。例えば、対象は、自動車であり、且つ、運転決定は(1)〜(8)の特徴を有する。(1)自動車とADVとの距離が100フィートである。(2)自動車がADVに対して−72°である。(3)自動車が25 mphで走行する。(4)自動車がADV方向に対して+90°で進行する。(5)自動車がADV走行道位置の左側から60フィート離れた箇所に位置する。(6)ADV速度が27 mphである。(7)ADVがADVの前進運動に対して0°である。(8)ADVがADV車線左端の右側から2フィート離れている。従って、特徴は、(100,−72,25,+90,60,27,0,2)としてコーディングできる。動作705〜725からログ情報が選択された各ADVは、ADVの運転決定に対応した固有ベクトルを有することができる。これら固有ベクトルは機器学習モジュール(機器学習エンジン)103Aに入力されて、複数のADVの改善決定を生成することに用いる。
動作745において、必要に応じて、出力を生成してエンジニアチームへ運転決定、運転決定パラメータ、選択したログ情報、使用する固有ベクトル及び決定改善を通知する。1つ以上のADVにおいて決定を実施することが確定される前、エンジニアは前記決定を見直すことができる。一実施形態において、非テストADVにおいて運転決定を実施する前、1群のテストADVにおいて改善した運転決定をテストできる。方法700は動作760まで実行する。
動作750において、全局運転決定改善モジュール103Bは、エンジニアチームに改善待ちの運転決定、運転決定パラメータ、選択したログ情報、使用する固有ベクトル及び決定改善を通知する。エンジニアは決定を確定して、1つ以上のADVにおいて前記決定を実施することを確定する前に前記決定を見直してテストする。
動作755において、全局運転決定改善モジュール103Bは、エンジニアチームから運転決定への改善を受信する。
動作760において、改善した運転決定で複数のADVを更新する。
図8Aはいくつかの実施形態に係る感知ログ800の例を示す。感知ログ312(例として感知ログ800)は、運転シナリオの間に記録したセンサ出力ログである。前記ログは複数の時間増分に対してADVセンサが感知した対象、各対象の速度、各対象の位置及び各対象の配向を認識する。例として感知ログ800は、時刻t0、t1及びt2に取得した対象の次の101:ADV、510:自動車、511:建物、512:歩行者/犬、513:横断歩道、514:ADV 101の車線左端、及び515:ADV 101の車線右端といった情報を示す。これらは例示的なものにすぎない。データはテーブル、スプレッドシート、データベーステーブル又は他のフォーマットを含む複数種のフォーマットで表示できる。各対象については、各時間増分に、対象の速度、対象の位置及び対象の配向を感知ログに記録できる。一実施形態において、位置は2D又は3D座標で表示でき、前記座標から距離を計算できる。一実施形態において、極座標フォーマット(ADVとの距離及び既知点との回転角度を含む)で位置(例えばグリッド又はADVの前進方向の配向)を記憶できる。一実施形態において、配向は汎用標準(例えば北方)又はGPSグリッドに関するものであってもよい。一実施形態において、配向は、ADVの前進方向に関するものであってもよい。一実施形態において、感知ログは、1つ以上の対象の画像をログに追加記録できる。
一実施形態において、生センサ出力を処理して所望の情報を取得する。例えば、複数のセンサからの複数のセンサ出力で対象(例えば、自動車510)の配向を取得する。LIDARは、自動車510とADV 101との距離(例えば、時刻t0に、101フィート)の確定に用いられ得る。1つ以上のレーダーの測定値で自動車510のADV 101に対する配向(時刻t0に−75)を取得できる。時刻t0とt1との間の自動車510の位置差で定自動車510の速度(例えば、t1箇所に23mphである)を確定できる。
感知ログに基づいて推定が得られ得る。例えば、ADVについての列(row)101を観察して分かるように、時刻t0とt2のとの間に、ADV 101は停止するまで減速している。この情報を用い、列512の歩行者/犬及び列513の横断歩道を観察して分かるように、歩行者/犬512がADV 101の右側からADV 101に接近し、且つADVが横断歩道513に到達する前に停止する。ADV運転決定は、横断歩道513の前に停止し、且つ歩行者/犬512が横断歩道513を使用することを可能にすることである。同様に、自動車510用の列を観察して分かるように、自動車510が左側からADV 101にアプローチし、且つ自動車510がADV 101の前方を横切る時にわずかに減速すると同時に、歩行者/犬512が横断歩道513を使用する。
図8Bはいくつかの実施形態に係る運転ログ805の例を示す。運転シナリオの期間に、運転ログは、複数の時間増分で運転制御入力をADV制御システム111に記録する。一実施形態において、運転制御入力を記録する時、運転制御入力データも、ADVの速度、位置や配向に関連してもよい。一実施形態において、ADV 101の速度、位置及び配向が感知ログ800に記憶されると、運転ログ805は、感知ログ800におけるこの情報へのポインタ又は他の参照を含む。運転制御入力は、スロットル入力202の量、ブレーキ入力203の量及びステアリング入力201の量を含むことができる。ステアリング入力201の量は、入力の方向(左又は右、時計回り又は反時計回り)を指示できる。運転制御入力はさらに、運転制御入力の変化率を指示するためのこれらの入力の導関数(図示せず)を含むことができる。例えば、スロットル入力202の高い変化率は、制御モジュールが急激な加速を達成するための鋭い、急進的なスロットル入力を与えたことを示す。同様に、ブレーキ入力203の高い変化率は、制御モジュール111がブレーキの鋭い又は急進的な応用を行うことを示し、且つ、ステアリング入力201における高変化率もそれと類似している。これらの高レート入力のそれぞれは、乗客と運転者の快適性、安全性及び場合によって規則遵守度の運転決定分級メトリクスに悪影響を与える。
図8Cはいくつかの実施形態に係るADV運転決定ログ810の例を示す。ADV運転決定ログは、運転シナリオの期間にADVの運転決定モジュール303によって行われた運転決定の記録である。
感知ログ800に示すように、ADV 101は各感知対象に対する運転決定を下す。例としてADV運転決定ログは、時刻t0、t1及びt2のそれぞれに、510自動車、511建物、512歩行者/犬及び513横断歩道の各対象に対し下した運転決定を示す。例えば、時刻t0に、ADV運転決定は、歩行者/犬512と自動車510を追い越すことであってもよい。時刻t1に、ADV 101決定モジュール303は、ADV 101が現在自動車510に近すぎるため、自動車510を追い越すことができず、且つ、横断歩道513と歩行者/犬512にも近すぎて追い越すことができないことを、感知モジュール302におけるデータ及び/又は感知ログ800におけるデータによって、確定できる。従って、時刻t1に、ADV 101を含む1つ以上の対象の速度、位置及び/又は配向の変化に基づいて、ADVは、1つ以上の対象に対する運転決定を変えることができる。
図8Dはいくつかの実施形態に係る特定時間での対象に対する運転決定815の計画フィードバックの例を示す。上述したように、感知モジュール302が感知した各対象及び/又は感知ログ800に記憶された各対象に対してADV運転決定を下す。運転決定モジュール303は、運転決定及び(必要に応じて)1つ以上の運転決定パラメータを計画モジュール304へ伝達できる。例えば、ADVの運転決定モジュール303は、時刻t1に対象510自動車に道を譲ることを確定する。必要に応じて、運転決定モジュールは、自動車510に道を譲る時の減速レート、又は自動車510がADV 101より先に通過する時にADVが位置すべきターゲット位置を指示する。計画モジュール304は、決定と必要に応じて決定パラメータを受信し、自動車510に道を譲る決定の実施に問題がある可能性があるかどうかを確定する。例えば、道路が濡れて、且つ減速して自動車510に道を譲るのに十分な時間がない場合がある。それに加えて、または必要に応じて、ADVの速度を10%低下させない限り、計画モジュール304は、自動車510がADV 101より先に通過するとあまりにも近接することを確定できる。計画モジュール304は、運転決定問題があるかもしれないという指示を決定モジュール304へ伝達できる。計画モジュール304は、運転決定フィードバックと運転決定を運転決定モジュール303に返送できる。この例では、運転決定フィードバックは、自動車510が道に譲る箇所にADVに近すぎるようになるという警告を含む。運転決定フィードバックはさらに、より保守的なパラメータの推薦(すなわち、ADVの速度を10%低下させる)を含んでもよい。
図8Eは、必要に応じて運転決定、運転決定フィードバック及びログ情報に基づいて運転決定問題を分類する運転決定問題認識モジュール307の一例である。図8Eはさらに局所運転決定改善の例を示す。ログ情報は、感知ログ312、運転ログ313及び運転決定ログ314を含むことができる。運転決定モジュール303は計画モジュール304から運転決定フィードバックを受信できる。運転決定モジュール303は、運転決定問題認識モジュール307を呼び出して潜在的な運転決定問題を分類できる。運転決定問題は、保守的な決定、急進的な決定、保守的なパラメータ、急進的なパラメータ、早期決定、後期決定、非決定問題(運転決定問題が存在するが、決定モジュール303と関係ない)を含む。
この例では、運転決定モジュール303は、例えば27mphの運転決定パラメータで自動車510に道に譲ることを確定した。計画モジュールフィードバックは、運転決定パラメータがあまりにも急進的であるかもしれないことを示し、ADV速度を10%低下させるように提案する。運転決定問題認識モジュール307は、運転決定問題カテゴリーが「急進的なパラメータ」であることを確定し、さらに、運転決定を変える必要がないが、運転決定のパラメータをより保守的な値に変更すべきである。
運転決定改善モジュール308は運転決定問題カテゴリー、計画モジュールフィードバック及びログ情報で自動車510に道を譲るための決定のより保守的なパラメータを確定できる。例えば、局所運転決定改善モジュール308はADV速度を提案された10%又は運転決定改善モジュール308で確定された別の値に低下させることができる。
図8Fは複数のADVからのログ情報を用いて複数のADVに対する運転決定を改善する全局運転決定問題認識モジュール103Bの一例820を示す。この例では、運転決定は対象(例えば自動車510)に道を譲ることである。この例では、全局運転決定改善モジュール103Bが分析するように、3つのADV(欄見出し821の下に1、2及び3として示される)のそれぞれは、ログ情報をサーバ103へアップロードした。ログ情報は、感知ログ312と、運転ログ213と、運転決定ログ313とを含み、前記運転決定ログ313は、運転決定パラメータと、運転分類と、計画モジュールフィードバックとを含んでもよい。ログ情報から、各ADVの特徴と運転決定対象となる対象の特徴を含む特徴を抽出できる。各ADV 1、2及び3からの、対象(例えば、自動車510)に「道を譲る」運転決定に対するグ情報が抽出される。ADV 1、2及び3のそれぞれについて、運転決定は「急進的なパラメータ」として分類される。
ADVのログ情報から各ADV運転決定の固有ベクトルを抽出できる。特徴は、ADV速度831と、配向832と、車線位置833とを含んでもよい。特徴は、さらに対象510とADVとの距離841、ADVとの相対位置842、対象の速度843、対象のグリッド又はADVが前へ走行する方向の配向844、対象の車線位置845及び道路状況846を含んでもよい。ADVの計画モジュールが運転決定を受信した時、特徴は、計画モジュール304が提案したパラメータ変更850をさらに含んでもよい。ADVの固有値は固有ベクトルとして設定できる。例えば、ADV 1固有ベクトルは(25,0°,3' left,60',−72°,24,+90°,−1,3)であってもよく、ただし、↑(直線前進)の運転配向は0で指示することができ、且つ、道路状況は1〜5のスケールで示されることができ、例えば1=乾燥、2=湿っぽい、3=潤湿、4=雪、5=氷、日の出=10、昼=20、雲=30、日没=40、及び暗黒=50である。道路状況は組み合わせであってもよく、潤湿暗黒日の場合は、3+50=53としてもよい。ADV 2の固有ベクトルは、(32,0°,2' left,80',+28°,30,−90°,−1,1)であってもよく、且つADV 3固有ベクトルは(28,0°,2' left,72',−2°,30,180°,3'left,51)であってもよい。
機器学習モジュール103Aは、運転決定と対象用の固有ベクトルで操作して、最小の決定変更又はパラメータ変更を必要とする(又はまったく必要としない)提案特徴を取得できる。全局変化は、25 mphのADV速度831、0°(又は↑)の運転配向832に対して、ADV進行車線の左端右側から2〜3フィート離れた車線位置では、約68フィート離れた距離841にあり、相対位置842が任意であり、配向844が任意の値であってもよく、速度844が約28 mphである対象に対する決定を調整する必要がなく、対象845の車線位置は任意の位置であってもよく、さらに、決定はすべての天気と光線に適することを指示できる。運転決定は、ADVが約25 mphで走行する時、約28 mphで移動している移動対象を参照として実施する大部分の「道を譲る」運転決定に適用すべきである。
製品ADVにおいて決定改善を実施する前、エンジニアチームは決定改善出力を見直すことができる。製品ADVにおいて全局運転決定改善を実施した後にも、自動車毎に局所運転決定改善モジュール308によって改善した決定を変更できる。
図9は、本発明の一実施形態と組み合わせて使用されるデータ処理システム900を例示的に示すブロック図である。例えば、システム900は、上記のプロセス(手順)又は方法のいずれか(例えば、図1に示す自律走行車101システム(例えば、感知及び計画システム110、制御システム111、インフォテイメントシステム114など)またはサーバ103〜104のいずれか)を実行する上記任意のデータ処理システムを示してもよい。システム900は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路(IC)、集積回路の一部、分散型電子装置、またはコンピュータシステムのマザーボードまたはアドインカードのような回路基板に適用された他のモジュール、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。
さらに、システム900は、コンピュータシステムの多数の構成要素の高レベルビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素が存在する場合があることを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を呈してもよい。システム900は、デスクトップコンピュータ、ノートパソコン、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント(PDA)、埋め込み式プロセスコントローラ、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント(AP)又はリピーター、セットトップボックス、又はそれらの組合せを示してもよい。また、単一の機器又はシステムのみを示したが、用語「機器」又は「システム」は、さらに、独立又は共同で1つ(又は複数)の命令セットを実行することにより本明細書に説明される任意の1種又は複数種の方法を実行する機器又はシステムの任意のセットを含むことを理解すべきである。
一実施形態において、システム900は、バス又は相互接続部材910によって接続されたプロセッサ901、メモリ903及び装置905〜908を備える。プロセッサ901は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサであってもよい。プロセッサ901は、マイクロプロセッサ、中央処理装置(CPU)等のような1つ以上の汎用プロセッサであってもよい。より具体的には、プロセッサ901は、複雑命令セット計算(CISC)マイクロプロセッサ、縮小命令セットコンピュータ(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、又は他の命令セットを実現するプロセッサ、又は命令セットの組合せを実現するプロセッサであってもよい。プロセッサ901は、さらに、専用集積回路(ASIC)、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、グラフィックスプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような1つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
一実施形態において、プロセッサ901は、少なくとも1つのハードウェアを備える。プロセッサ901(超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい)は、前記システムの各種構成要素と通信するための主処理ユニット及び中央ハブとして用いられてもよい。このようなプロセッサは、システムオンチップ(SoC)として実現されることができる。プロセッサ901は、命令を実行することにより本明細書に説明される動作及びステップを実行するための命令を実行するように構成される。また、システム900は、選択可能なグラフィックサブシステム904と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム904は、表示コントローラ、グラフィックプロセッサ及び/又は表示装置をさらに備えてもよい。
プロセッサ901は、メモリ903と通信してもよく、メモリ903は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ903は、ランダムアクセスメモリ(RAM)、動的RAM(DRAM)、シンクロナスDRAM(SDRAM)、静的RAM(SRAM)又は他のタイプのメモリのような1つ以上の揮発性記憶装置(又はメモリ)を備えてもよい。メモリ903は、プロセッサ901又は任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア(例えば、基本入出力システム(BIOS))及び/又はアプリケーションの実行可能なコード及び/又はデータはメモリ903にロードされてもよく、プロセッサ901により実行される。オペレーティングシステムは、ロボットオペレーティングシステム(ROS)、Microsoft(登録商標)会社からのWindows(登録商標)オペレーティングシステム、アップル会社からのMac OS(登録商標)/iOS(登録商標)、Google(登録商標)会社からのAndroid(登録商標)、Linux(登録商標)、Unix又は他のリアルタイム又は組み込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであってもよい。
システム900は、I/O装置、例えば装置905〜908をさらに備えてもよく、ネットワークインターフェース装置905、選択可能な入力装置906及び他の選択可能なI/O装置907を備える。ネットワークインターフェース装置905は、無線送受信機及び/又はネットワークインターフェースカード(NIC)を備えてもよい。前記無線送受信機は、WiFi送受信機、赤外送受信機、ブルートゥース(登録商標)送受信機、WiMax送受信機、無線セルラーホン送受信機、衛星送受信機(例えば、全地球位置決めシステム(GPS)送受信機)又は他の無線周波数(RF)送受信機又はそれらの組合せであってもよい。NICはイーサネット(登録商標)カードであってもよい。
入力装置906は、マウス、タッチパッド、タッチスクリーン(それは表示装置904と一体化されてもよい)、ポインタデバイス(例えばスタイラス)及び/又はキーボード(例えば、物理キーボード又はタッチスクリーンの一部として表示された仮想キーボード)を備えてもよい。例えば、入力装置906は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数種のタッチ感度技術(容量、抵抗、赤外及び表面音波の技術を含むが、それらに限定されない)のいずれか、及びタッチスクリーンの1つ以上の接触点を決定するための他の近接センサアレイ又は他の素子を用いてそのタッチ点及び移動又は断続を検出することができる。
I/O装置907は音声装置を備えてもよい。音声装置は、スピーカ及び/又はマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録及び/又は電話機能のような音声サポートの機能を促進する。他のI/O装置907は、汎用シリアルバス(USB)ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ(例えば、PCI−PCIブリッジ)、センサ(例えば、加速度計の動きセンサ、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ)又はそれらの組合せをさらに備えてもよい。装置907は、結像処理サブシステム(例えば、カメラ)をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能(例えば、写真及びビデオ断片の記録)を促進するための電荷カップリング装置(CCD)又は相補型金属酸化物半導体(CMOS)光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ(図示せず)によって相互接続部材910に接続されてもよく、キーボード又は熱センサのような他の装置は、組み込みコントローラ(図示せず)により制御されてもよく、これはシステム900の特定配置又は設計により決められる。
I/O装置907は、さらにレーダーシステム(無線探知及び測距)と、LIDARシステム(光検出及び測距)と、GPSシステム(全地球位置決めシステム)とを含んでもよく、また、セルラータワーで検出・三角測量できるセルラーホンサブシステム、マイク及び他のオーディオレコーダー/ビデオレコーダー、位置、距離、時間、速度、加速度、水平及び垂直水準器検定器、配向センサ及び方位センサを用いてもよい。
データ、アプリケーション、1つ以上のオペレーティングシステム等のような情報の永続的記憶を提供するために、大容量メモリ(図示せず)は、プロセッサ901に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現しかつシステムの応答能力を向上させるために、このような大容量メモリは、ソリッドステート装置(SSD)によってされることが実現できる。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ(HDD)で実現されてもよく、少量のSSD記憶量は、SSDキャッシュとして停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム操作が再開する時に通電を速く実現することができる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース(SPI)によってプロセッサ901に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのBIOS(基本入出力システム)及び他のファームウェアを備える。
メモリ908は、任意の1種又は複数種の本明細書に記載の方法又は機能を体現する1つ以上の命令セット又はソフトウェア(例えば、モジュール、ユニット及び/又はロジック928)が記憶されるコンピュータアクセス可能な記憶媒体909(機械可読記憶媒体又はコンピュータ可読媒体とも呼ばれる)を備えてもよい。処理モジュール/ユニット/ロジック928は、例えば、自律走行車101(AV)の位置決めモジュール301、感知モジュール302、決定モジュール303、計画モジュール304、制御モジュール305、ルーティングモジュール306、決定問題認識モジュール307、及び決定問題改善モジュール308のような上記構成要素のいずれかを示してもよい。処理モジュール/ユニット/ロジック928は、さらにデータ処理システム900により実行される期間にメモリ903内及び/又はプロセッサ901内に完全又は少なくとも部分的に存在してもよく、ここで、メモリ903及びプロセッサ901も、機器アクセス可能な記憶媒体を構成する。処理モジュール/ユニット/ロジック928は、さらにネットワークによってネットワークインターフェース装置905を経由して送受信されてもよい。
コンピュータ可読記憶媒体909は、以上に説明されたいくつかのソフトウェア機能の一部又は全部を永続的に記憶してもよい。コンピュータ可読記憶媒体909は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記1つ以上の命令セットが記憶される単一の媒体又は複数の媒体(例えば、集中型又は分散型データベース、及び/又は関連するキャッシュ及びサーバ)を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶又はコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行されかつ前記機器に本出願の任意の1種又は複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載の処理モジュール/ユニット/ロジック928、構成要素及び他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、又はハードウェアコンポーネント(例えばASICs、FPGA、DSP又は類似装置)の機能に統合されてもよい。さらに、処理モジュール/ユニット/ロジック928は、ハードウェア装置内のファームウェア又は機能回路として実現されてもよい。また、処理モジュール/ユニット/ロジック928は、ハードウェア装置及びソフトウェアコンポーネントの任意の組合せで実現されてもよい。
なお、システム900は、データ処理システムの各種の構成要素を有するように示されているが、構成要素に相互接続させる任意の具体的な構造又は方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ及び/又は他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列(動作列)(sequence of operations)と考えられる。これらの操作(動作)とは、物理量に対して物理的操作(動作)を行う必要となること(ステップ)を指す。
ただし、これらの全ての及び類似の用語は、いずれも適切な物理量に関連付けられ、かつただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語(例えば、添付している特許請求の範囲に説明された用語)による説明とは、コンピュータシステム又は類似の電子計算装置の操作及び処理であり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリに物理(例えば、電子)量としてデータを示し、かつ前記データをコンピュータシステムメモリ又はレジスタ又は他のこのような情報メモリ、伝送又は表示装置内において類似に物理量として示される他のデータに変換する。
本出願の実施形態は、さらに本明細書における操作を実行するための装置に関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器可読媒体は、機器(例えば、コンピュータ)可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読(例えば、コンピュータ可読)媒体は、機器(例えば、コンピュータ)可読記憶媒体(例えば、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ)を備える。
上記図面に示されるプロセス(手順)又は方法は、ハードウェア(例えば、回路、専用ロジック等)、ソフトウェア(例えば、非一時的コンピュータ可読媒体に具現化される)、又は両方の組合せを含む処理ロジックにより実行されてもよい。前記プロセス(手順)又は方法は、本明細書において特定の順序に応じて説明されるが、説明された動作(操作)の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。
本出願の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本出願の実施形態の教示を実現できることを理解すべきである。
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。したがって、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。

Claims (12)

  1. 自律走行車の第1状態を決定し、前記自律走行車の前記第1状態を運転ログに記録するステップと、
    前記自律走行車の外部の1つ以上の対象の1つ以上の第2状態を決定し、前記第2状態を記録することを含む、前記対象の前記第2状態を感知ログに記録するステップと、
    前記運転ログに記録された自律走行車の第1状態及び前記感知ログに記録された前記自律走行車の外部の対象の第2状態に基づいて第1運転決定を生成し、前記第1状態及び前記第2状態のいずれかが前記自律走行車の速度、位置及び方向と、前記対象の速度、位置及び方向とをそれぞれ含むステップと、
    前記第1運転決定、前記第1状態、及び前記第2状態に基づいて、前記第1運転決定に関連する計画フィードバックを受信するステップと、
    前記計画フィードバックに応答し、
    前記第1運転決定に関連する第1決定パラメータを変更し、変更後の第1決定パラメータを有する第1運転決定を実行し、又は、
    前記第1運転決定を第2運転決定に変更して前記第2運転決定を実行するステップとを含み、
    前記第1運転決定の生成は、複数の自律走行車の運転ログの情報に基づいて改善されるものであり、
    前記第1運転決定には、
    前記対象を追い越す決定、
    前記対象に道を譲る決定、
    前記対象までの所定距離内に自律走行車を停止させる決定、又は
    前記対象を無視する決定のうちの1つを含み、
    前記計画フィードバックには、
    前記対象の位置又は速度、及び前記自律走行車の位置又は速度に対して自律走行車の速度が速すぎる又は遅すぎるという指示、
    前記自律走行車が第1運転決定を実行できないという指示、
    第1運転決定の実施に必要なステアリング入力が大きすぎるという指示、又は
    天気と光照量と前記自律走行車の車線位置とを含む1つ以上の道路状況に基づいた前記第1運転決定が不安全であるという指示、のうちの少なくとも1つを含む、ことを特徴とする、
    自律走行車を動作させるためのコンピュータ実現方法。
  2. 第1運転決定において問題を検出していない場合、前記第1運転決定を実行するステップをさらに含む、請求項1に記載の方法。
  3. 前記第1運転決定の前記第1決定パラメータを変更するステップには、
    前記自律走行車が前記対象を追い越す時の速度を変更するステップ、
    前記自律走行車が減速して前記対象に道を譲る時の速度を変更するステップ、
    前記自律走行車が停止する時の前記所定距離を変更するステップ、
    前記自律走行車で占有される進行車線内における前記自律走行車の位置を変更するステップ、又は
    前記対象を追い越すために選択された自律走行車の進行ルートを変更するステップのうちの1つを含む、請求項1に記載の方法。
  4. 前記第1運転決定を前記第2運転決定に変更するステップには、
    追い越し決定を譲り決定又は停止決定に変更するステップと、
    譲り決定を停止決定又は追い越し決定に変更するステップと、
    無視決定を追い越し決定、譲り決定又は停止決定に変更するステップとのうちの1つを含む、請求項1に記載の方法。
  5. 命令が記憶された非一時的な機械可読媒体であって、
    前記命令は、プロセッサにより実行される場合、前記プロセッサに自律走行車を操作する動作を実行させ、前記動作には、
    前記自律走行車の前記第1状態を決定し、前記自律走行車の前記第1状態を運転ログに記録する動作と、
    前記自律走行車の外部の1つ以上の対象の1つ以上の第2状態を決定し、前記第2状態を記録することを含む前記対象の前記状態を感知ログに記録する動作と、
    前記運転ログに記録された前記自律走行車の第1状態及び前記感知ログに記録された前記自律走行車の外部の対象の第2状態に基づいて第1運転決定を生成し、前記第1状態及び前記第2状態のいずれかが前記自律走行車の速度、位置及び方向と、前記対象の速度、位置及び方向とをそれぞれ含む動作と、
    前記第1運転決定、前記第1状態、及び前記第2状態に基づいて、前記第1運転決定に関連する計画フィードバックを受信する動作と、
    前記計画フィードバックに応答し、
    前記第1運転決定に関連する第1決定パラメータを変更し、変更後の第1決定パラメータを有する第1運転決定を実行し、又は
    前記第1運転決定を前記第2運転決定に変更して前記第2運転決定を実行する動作とを含み、
    前記第1運転決定の生成は、複数の自律走行車の運転ログの情報に基づいて改善されるものであり、
    前記第1運転決定には、
    前記対象を追い越す決定、
    前記対象に道を譲る決定、
    前記対象までの所定距離内に前記自律走行車を停止させる決定、又は
    前記対象を無視する決定のうちの1つを含み、
    前記計画フィードバックには、
    前記対象の位置又は速度、及び前記自律走行車の位置又は速度に対して自律走行車の速度が速すぎる又は遅すぎるという指示、
    前記自律走行車が第1運転決定を実行できないという指示、
    第1運転決定の実施に必要なステアリング入力が大きすぎるという指示、又は
    天気と光照量と前記自律走行車の車線位置とを含む1つ以上の道路状況に基づいた前記第1運転決定が不安全であるという指示、のうちの少なくとも1つを含む、
    ことを特徴とする非一時的な機械可読媒体。
  6. 前記動作には、前記第1運転決定において問題を検出していない場合、前記第1運転決定を実行する動作をさらに含む、請求項に記載の媒体。
  7. 前記第1運転決定の前記第1決定パラメータを変更することは、
    前記自律走行車が前記対象を追い越す時の速度を変更すること、
    前記自律走行車が減速して前記対象に道を譲る時の速度を変更すること、
    前記自律走行車が停止する時の前記所定距離を変更すること、
    前記自律走行車で占有される進行車線内における前記自律走行車の位置を変更すること、又は
    前記対象を追い越すために選択された自律走行車の進行ルートを変更することのうちの1つを含む、請求項に記載の媒体。
  8. 前記第1運転決定を前記第2運転決定に変更することには、
    追い越し決定を譲り決定又は停止決定に変更することと、
    譲り決定を停止決定又は追い越し決定に変更することと、
    無視決定を追い越し決定、譲り決定又は停止決定に変更することとのうちの1つを含む、請求項に記載の媒体。
  9. プロセッサと、
    前記プロセッサに接続され、命令を記憶するために用いられるメモリとを備え、
    前記命令は、前記プロセッサにより実行される場合、前記プロセッサに自律走行車を操作する動作を実行させ、前記動作には、
    前記自律走行車の前記第1状態を決定し、前記自律走行車の前記第1状態を運転ログに記録する動作と、
    前記自律走行車の外部の1つ以上の対象の1つ以上の第2状態を確定し、前記第2状態を記録することを含む前記対象の前記状態を感知ログに記録する動作と、
    前記運転ログに記録された前記自律走行車の第1状態及び前記感知ログに記録された前記自律走行車の外部の対象の第2状態に基づいて第1運転決定を生成し、前記第1状態及び前記第2状態のいずれかが前記自律走行車の速度、位置及び方向と、前記対象の速度、位置及び方向とをそれぞれ含む動作と、
    前記第1運転決定、前記第1状態、及び前記第2状態に基づいて、前記第1運転決定に関連する計画フィードバックを受信する動作と、
    前記計画フィードバックに応答し、
    前記第1運転決定に関連する第1決定パラメータを変更し、変更後の第1決定パラメータを有する第1運転決定を実行し、又は、
    前記第1運転決定を前記第2運転決定に変更して前記第2運転決定を実行する動作とを含み、
    前記第1運転決定の生成は、複数の自律走行車の運転ログの情報に基づいて改善されるものであり、
    前記第1運転決定には、
    前記対象を追い越す決定、
    前記対象に道を譲る決定、
    前記対象までの所定距離内に前記自律走行車を停止させる決定、又は
    前記対象を無視する決定のうちの1つを含み、
    前記計画フィードバックには、
    前記対象の位置又は速度、及び前記自律走行車の位置又は速度に対して自律走行車の速度が速すぎる又は遅すぎるという指示、
    前記自律走行車が第1運転決定を実行できないという指示、
    第1運転決定の実施に必要なステアリング入力が大きすぎるという指示、又は
    天気と光照量と前記自律走行車の車線位置とを含む1つ以上の道路状況に基づいた前記第1運転決定が不安全であるという指示、のうちの少なくとも1つを含む、
    ことを特徴とする、データ処理システム。
  10. 前記動作には、前記第1運転決定において問題を検出していない場合、前記第1運転決定を実行する動作をさらに含む、請求項に記載のシステム。
  11. 前記第1運転決定の第1決定パラメータを変更することには、
    前記自律走行車が前記対象を追い越す時の速度を変更すること、
    前記自律走行車が減速して前記対象に道を譲る時の速度を変更すること、
    前記自律走行車が停止する時の前記所定距離を変更すること、
    前記自律走行車で占有される進行車線内における前記自律走行車の位置を変更すること、又は
    前記対象を追い越すために選択された自律走行車の進行ルートを変更することのうちの1つを含む、請求項1に記載のシステム。
  12. 第1運転決定を前記第2運転決定に変更することには、
    追い越し決定を譲り決定又は停止決定に変更することと、
    譲り決定を停止決定又は追い越し決定に変更することと、
    無視決定を追い越し決定、譲り決定又は停止決定に変更することのうちの1つを含む、請求項1に記載のシステム。
JP2017157837A 2016-11-14 2017-08-18 自律走行車用の計画フィードバックに基づく決定改善システム Active JP6602352B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/351,128 2016-11-14
US15/351,128 US10802484B2 (en) 2016-11-14 2016-11-14 Planning feedback based decision improvement system for autonomous driving vehicle

Publications (2)

Publication Number Publication Date
JP2018081673A JP2018081673A (ja) 2018-05-24
JP6602352B2 true JP6602352B2 (ja) 2019-11-06

Family

ID=59772378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017157837A Active JP6602352B2 (ja) 2016-11-14 2017-08-18 自律走行車用の計画フィードバックに基づく決定改善システム

Country Status (4)

Country Link
US (1) US10802484B2 (ja)
EP (1) EP3321757B1 (ja)
JP (1) JP6602352B2 (ja)
CN (1) CN108068815B (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017200786A (ja) * 2016-05-02 2017-11-09 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US10421460B2 (en) * 2016-11-09 2019-09-24 Baidu Usa Llc Evaluation framework for decision making of autonomous driving vehicle
US10730531B1 (en) * 2017-02-02 2020-08-04 Uatc, Llc Machine-learning based vehicle motion control system
US10262234B2 (en) * 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
US10216191B1 (en) * 2017-06-13 2019-02-26 Wells Fargo Bank, N.A. Property hunting in an autonomous vehicle
US10438074B2 (en) * 2017-06-14 2019-10-08 Baidu Usa Llc Method and system for controlling door locks of autonomous driving vehicles based on lane information
US20190011275A1 (en) * 2017-07-06 2019-01-10 Andrew Whinston System and method for routing autonomous vehicles
US20190018409A1 (en) * 2017-07-11 2019-01-17 GM Global Technology Operations LLC Systems and methods for providing an intelligent override for a driving automation system
US10994418B2 (en) * 2017-12-13 2021-05-04 X Development Llc Dynamically adjusting roadmaps for robots based on sensed environmental data
US10546202B2 (en) * 2017-12-14 2020-01-28 Toyota Research Institute, Inc. Proving hypotheses for a vehicle using optimal experiment design
US10706002B2 (en) * 2018-03-13 2020-07-07 Micron Technology, Inc. Resources sharing among vehicle applications connected via a bus
CN108762271A (zh) * 2018-06-04 2018-11-06 北京智行者科技有限公司 车辆控制单元
US11066067B2 (en) * 2018-06-29 2021-07-20 Baidu Usa Llc Planning parking trajectory for self-driving vehicles
CN110736460B (zh) * 2018-07-19 2023-08-04 博泰车联网科技(上海)股份有限公司 基于神经网络的位置融合方法及系统、车载终端
CN109460016A (zh) * 2018-09-06 2019-03-12 百度在线网络技术(北京)有限公司 自动驾驶协助方法、驾驶设备、协助设备及可读存储介质
US11670123B2 (en) 2018-10-03 2023-06-06 Micron Technology, Inc. Automatic collection of autonomous vehicle logging data
US11182986B2 (en) 2018-10-10 2021-11-23 Micron Technology, Inc. Real-time selection of data to collect in autonomous vehicle
US10940863B2 (en) * 2018-11-01 2021-03-09 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
CN109871010B (zh) * 2018-12-25 2022-03-22 南方科技大学 基于强化学习型的方法及系统
WO2020133208A1 (zh) * 2018-12-28 2020-07-02 驭势科技(北京)有限公司 一种自动驾驶车辆的控制方法和自动驾驶系统
CN109808707B (zh) * 2019-02-19 2020-12-08 武汉理工大学 一种基于随机模型预测的汽车转向控制方法及控制器
US20200293041A1 (en) * 2019-03-15 2020-09-17 GM Global Technology Operations LLC Method and system for executing a composite behavior policy for an autonomous vehicle
CN111724577A (zh) * 2019-03-19 2020-09-29 北京新能源汽车股份有限公司 一种车辆遥控驾驶的方法、装置及汽车
CN110069064B (zh) 2019-03-19 2021-01-29 驭势科技(北京)有限公司 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备
US11155258B2 (en) * 2019-03-25 2021-10-26 GM Global Technology Operations LLC System and method for radar cross traffic tracking and maneuver risk estimation
CN110187707B (zh) * 2019-05-30 2022-05-10 北京三快在线科技有限公司 无人驾驶设备运行轨迹的规划方法、装置及无人驾驶设备
US10818169B1 (en) * 2019-06-04 2020-10-27 Antonio Ribeiro Vehicular speed detection and warning system
CN110320910B (zh) * 2019-07-01 2023-10-10 阿波罗智能技术(北京)有限公司 车辆的避让控制方法、装置、电子设备与存储介质
US11420625B2 (en) * 2019-07-03 2022-08-23 Ford Global Technologies, Llc Vehicle intersection operation
EP3798838B1 (en) * 2019-09-30 2022-04-06 Fujitsu Limited Method and system for reconciling values of a feature
CN112835346A (zh) * 2019-11-04 2021-05-25 大众汽车(中国)投资有限公司 用于控制车辆的方法和系统、及车载自动驾驶系统
US10981507B1 (en) * 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
CN111681452B (zh) * 2020-01-19 2022-05-31 重庆大学 一种基于Frenet坐标系下的无人驾驶汽车动态换道轨迹规划方法
CN111258314B (zh) * 2020-01-20 2022-07-15 中国科学院深圳先进技术研究院 一种基于协同演化的自动驾驶车辆决策涌现方法
US11897468B2 (en) * 2020-03-03 2024-02-13 Ford Global Technologies, Llc Vehicle control system
CN111497847B (zh) * 2020-04-23 2021-11-16 江苏黑麦数据科技有限公司 车辆的控制方法和装置
CN112540365B (zh) * 2020-12-10 2022-07-12 中国第一汽车股份有限公司 一种评估方法、装置、设备及存储介质
KR102568277B1 (ko) * 2021-02-03 2023-08-22 한양대학교 에리카산학협력단 자율주행 차량의 구조 시스템
CN112896187B (zh) * 2021-02-08 2022-07-26 浙江大学 一种考虑社会兼容的自动驾驶决策的系统与方法
CN113093570A (zh) * 2021-04-15 2021-07-09 云物大智(厦门)教育科技有限公司 一种无人驾驶科研模拟平台及其控制方法
CN113119999B (zh) * 2021-04-16 2024-03-12 阿波罗智联(北京)科技有限公司 自动驾驶特征的确定方法、装置、设备、介质及程序产品

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979174B2 (en) 2007-09-28 2011-07-12 Honeywell International Inc. Automatic planning and regulation of the speed of autonomous vehicles
US8589014B2 (en) 2011-06-01 2013-11-19 Google Inc. Sensor field selection
US8457827B1 (en) 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
KR101465649B1 (ko) 2012-09-28 2014-11-28 성균관대학교산학협력단 차량 경로 산출 방법 및 장치, 및 차량 조향 제어 방법 및 장치
US10493985B2 (en) 2014-12-19 2019-12-03 Hitachi, Ltd. Travel control device
JP6294247B2 (ja) * 2015-01-26 2018-03-14 株式会社日立製作所 車両走行制御装置
JP2016157837A (ja) 2015-02-25 2016-09-01 関東天然瓦斯開発株式会社 光電変換用増感色素、その製造方法および該色素を用いた光電変換素子
US9868443B2 (en) 2015-04-27 2018-01-16 GM Global Technology Operations LLC Reactive path planning for autonomous driving
US9481366B1 (en) 2015-08-19 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and animals
US9873428B2 (en) * 2015-10-27 2018-01-23 Ford Global Technologies, Llc Collision avoidance using auditory data
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10121367B2 (en) * 2016-04-29 2018-11-06 Ford Global Technologies, Llc Vehicle lane map estimation
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities

Also Published As

Publication number Publication date
CN108068815B (zh) 2020-12-11
CN108068815A (zh) 2018-05-25
US10802484B2 (en) 2020-10-13
EP3321757B1 (en) 2020-05-13
US20180136652A1 (en) 2018-05-17
JP2018081673A (ja) 2018-05-24
EP3321757A1 (en) 2018-05-16

Similar Documents

Publication Publication Date Title
JP6602352B2 (ja) 自律走行車用の計画フィードバックに基づく決定改善システム
JP6906011B2 (ja) オブジェクトの二次元境界枠を自動運転車両の三次元位置に転換するための方法[method for transforming 2d bounding boxes of objects into 3d positions for autonomous driving vehicles (advs)]
JP6722280B2 (ja) 自律走行車の交通予測における予測軌跡の評価フレームワーク
JP6506805B2 (ja) 自律走行車の決定の評価フレームワーク
JP6498246B2 (ja) グラフベースの車線変更ガイドを用いて自律走行車を動作させる方法及びシステム
JP6975512B2 (ja) 自動運転車両の周辺車両の挙動に基づくリアルタイム感知調整と運転調整
JP6720296B2 (ja) 自律走行のための地図画像に基づく交通予測
KR102062608B1 (ko) 자율 주행 차량의 제어 피드백에 기초한 맵 업데이트 방법 및 시스템
JP6892464B2 (ja) 自動運転車両に用いられる検知支援
JP7072581B2 (ja) 自動運転車両の経路計画のための運転シナリオに基づく車線ガイドライン
JP6578439B2 (ja) 自律走行車の移動をシミュレートするための物理モデル及び機械学習結合方法
JP6799592B2 (ja) 自律走行車を完全に停止させるための速度制御
JP6588592B2 (ja) 自動運転車両に用いられる衝突予測及びエアバッグ事前展開システム
JP6494715B2 (ja) 自律走行車の速度制御率の動的調整方法
JP6578331B2 (ja) 自律走行車のコマンド遅延を決定するための方法
JP2019182399A (ja) 自動運転に用いられる感知と計画のコラボレーションフレームワーク
KR102223346B1 (ko) 자율 주행 차량을 위한 보행자 확률 예측 시스템
JP2020514145A (ja) シミュレーションに基づく自動運転車の感知要求の評価方法
JP2018535871A (ja) 自律走行車のための横滑り補償制御方法
JP2018116705A (ja) ブレーキライトを利用して自動運転車両と追従車両との間の距離を保持する方法
JP2020521191A (ja) 自動運転車両の高速道路における自動運転に用いる、地図及びポジショニングなしで車線に沿う走行方法
CN111103876A (zh) 自动驾驶车辆的基于雷达通信的扩展感知
JP7017582B2 (ja) 自動運転車のトルクフィードバックに基づく車両縦方向自動キャリブレーションシステム
JP2021511999A (ja) 自動運転車両の3ポイントターンの最適プランナー切り替え方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191008

R150 Certificate of patent or registration of utility model

Ref document number: 6602352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250