JP7145867B2 - 自動運転車両のための低速シーンにおける歩行者インタラクションシステム - Google Patents

自動運転車両のための低速シーンにおける歩行者インタラクションシステム Download PDF

Info

Publication number
JP7145867B2
JP7145867B2 JP2019546236A JP2019546236A JP7145867B2 JP 7145867 B2 JP7145867 B2 JP 7145867B2 JP 2019546236 A JP2019546236 A JP 2019546236A JP 2019546236 A JP2019546236 A JP 2019546236A JP 7145867 B2 JP7145867 B2 JP 7145867B2
Authority
JP
Japan
Prior art keywords
autonomous vehicle
moving obstacle
adv
speed limit
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019546236A
Other languages
English (en)
Other versions
JP2021501714A (ja
Inventor
ヂュ、ファン
マ、リン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd, Baidu USA LLC filed Critical Baidu com Times Technology Beijing Co Ltd
Publication of JP2021501714A publication Critical patent/JP2021501714A/ja
Application granted granted Critical
Publication of JP7145867B2 publication Critical patent/JP7145867B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/143Speed control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/143Speed control
    • B60W30/146Speed limiting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/08Predicting or avoiding probable or impending collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/14Cruise control
    • B60Y2300/143Speed control
    • B60Y2300/146Speed limiting

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明の実施形態は全体として自動運転車両の操作に関するものである。より具体的には、本発明の実施形態は自動運転車両(ADV)のための低速シーンにおける歩行者インタラクションシステムに関する。
自動運転モード(例えば、無人運転)で操作される車は、乗員、特に運転手を一部の運転に関する責務から解放することができる。自動運転モードで操作する場合、車は車載センサを用いて様々な位置までナビゲートし、車を人との最小限のインタラクションで、又は一部の場合には乗員がいないままで走行させることができる。
自動運転モードが実行されるとき、都市道路上の自動運転車両のインタラクション戦略は、低速シーンで走行する車両に適しないことがある。このような低速シーンの場所としては、駐車場、車線、大学、並びに教育機関、施設の建物のキャンパスランドなどを含むことができる。自動運転車両と歩行者とのインタラクションは、都市道路よりもキャンパスランドにおいてより多く行われる。
第1の態様では、本発明は、自動運転車両(ADV)のためのコンピュータ実施方法を提供し、この方法は、ADVの画像キャプチャ装置からADVの環境を感知するキャプチャ画像を受信するステップであって、キャプチャ画像はADV付近の移動中の障害物を認識するものであるステップと、移動障害物の投影に基づいて移動障害物周囲の実行可能領域を生成するステップと、ADVが実行可能領域内にある場合に、ADVの上限速度制限を確定するステップと、上限速度制限未満の軌跡速度を有する軌跡を生成して、ADVが実行可能領域内にある場合に、ADVが減速するように、該軌跡に従ってADVを自律的に制御するステップとを含む。
第2の態様では、本発明は、命令が格納されている非一時的機械可読媒体を提供し、前記命令はプロセッサにより実行されるときにプロセッサに動作を実行させ、該動作は、ADVの画像キャプチャ装置からADVの環境を感知するキャプチャ画像を受信するステップであって、キャプチャ画像はADV付近の移動中の障害物を認識するものであるステップと、移動障害物の投影に基づいて、移動障害物周囲の実行可能領域を生成するステップと、ADVが実行可能領域内にある場合に、ADVの上限速度制限を確定するステップと、上限速度制限未満の軌跡速度を有する軌跡を生成して、ADVが実行可能領域内にある場合に、ADVが減速するように、該軌跡に従ってADVを自律的に制御するステップとを含む。
第3の態様では、本発明はデータ処理システムを提供し、該データ処理システムは、プロセッサと、命令を格納するためにプロセッサに接続されるメモリとを備えるデータ処理システムであって、前記命令は、前記プロセッサにより実行されるときに、前記プロセッサに動作を実行させ、該動作は、ADVの画像キャプチャ装置からADVの環境を感知するキャプチャ画像を受信するステップであって、キャプチャ画像はADV付近の移動中の障害物を認識するものであるステップと、移動障害物の投影に基づいて、移動障害物周囲の実行可能領域を生成するステップと、ADVが実行可能領域内にある場合に、ADVの上限速度制限を確定するステップと、上限速度制限未満の軌跡速度を有する軌跡を生成して、ADVが実行可能領域内にある場合に、ADVが減速するように、該軌跡に従ってADVを自律的に制御するステップとを含む。
本発明の実施形態は添付図面の各図において例示的且つ非制限的に示されており、添付図面における同じ参考符号は類似素子を示す。
一実施形態に係るネットワーク化システムを示すブロック図である。
一実施形態に係る自動運転車両のためのセンサと制御システムとの一例を示すブロック図である。
いくつかの実施形態に係る自動運転車両のための感知・計画システムの一例を示すブロック図である。 いくつかの実施形態に係る自動運転車両のための感知・計画システムの一例を示すブロック図である。
一実施形態に係る速度制限モジュールの一例を示すブロック図である。
一実施形態に係るキャンパスシーンの一例を示すブロック図である。
一実施形態に係る方法を示すフローチャートである。
一実施形態に係るデータ処理システムを示すブロック図である。
本発明の様々な実施形態と態様は、以下で論述される詳細を参照しながら記載され、添付図面が様々な実施形態を説明する。下記説明及び添付図面は本発明を説明するためのものであり、本発明を限定するものとして解釈されてはいけない。多くの具体的な詳細は、本発明の様々な実施形態に対する全面的な理解を提供するために記載される。しかしながら、特定の場合において、本発明の実施形態に対する簡潔な論述を提供するために、公知又は通常の詳細は記載されないことがある。
本明細書において、「一実施形態」又は「実施形態」とは、当該実施形態に記載されている特定の特徴、構成又は特性を組み合わせて本発明の少なくとも一つの実施形態に含むことができることを意味する。「一実施形態において」という表現は、本明細書の全体において全てが同一の実施形態を指すとは限らない。
本発明の実施形態は自動運転車両のための低速シーンにおける車両-歩行者のインタラクションシステムを開示した。一実施形態によれば、システムはADVの画像キャプチャ装置からADVの環境を感知するキャプチャ画像を受信し、うち、キャプチャ画像はADV付近の移動中の障害物を認識する。システムは、移動障害物の投影に基づいて移動障害物周囲の実行可能領域を生成する。ADVが実行可能領域内にある場合、システムはADVの上限速度制限を確定する。システムは、上限速度制限未満の軌跡速度を有する軌跡を生成して、ADVが実行可能領域内にある場合に、ADVが減速するように、該軌跡に従って自律的にADVを制御する。
一実施形態において、生成された実行可能領域は、時間Tにおける移動障害物の位置及び/又は速度方向に基づいて確定される中心位置と、移動障害物の速度に基づいて確定される半径とを含む。別の実施形態では、移動障害物の投影の位置は、移動障害物及びADVの位置に基づいて確定され、例えば、ADV及び移動障害物の移動方向との間の垂直交差点(例えば、90度)において、別の実施形態では、上限速度制限が現在時間におけるADVと移動障害物の投影との間の距離に基づいて確定される。
別の実施形態では、時間TにおけるADVの上限速度制限又は速度制限(v制限)はv-α/dであり、vはADVの現在速度であり、αは減衰率であり、dは現在時間におけるADVと移動障害物の投影との間の距離である。別の実施形態では、時間TはT=v上限/accmax+kによって確定され、v上限はADVの最大速度またはADVの道路によって確定される最大速度であり、accmaxはADVの最大加速度であり、kは定数である。一実施形態では、移動障害物は歩行者である。
図1は、一実施形態に係る自動運転車両のネットワーク配置を示すブロック図である。図1を参照し、ネットワーク配置100は、ネットワーク102を介して1つまたは複数のサーバ103~104に通信可能に接続される自動運転車両101を含む。1台の自動運転車両が示されているが、複数の自動運転車両がネットワーク102を介して互いに、および/またはサーバ103~104に接続されてもよい。ネットワーク102は、有線または無線のローカルエリアネットワーク(LAN)、インターネットなどのようなワイドエリアネットワーク(WAN)、セルラーネットワーク、衛星ネットワーク、またはそれらの組み合わせなど任意の種類のネットワークであってもよい。サーバ103~104は、ネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、またはそれらの組み合わせなど、任意のタイプのサーバまたはサーバクラスタであってもよい。サーバ103~104は、データ解析サーバ、コンテンツサーバ、交通情報サーバ、地図・ポイントオブインタレスト(MPOI)サーバ、または位置サーバなどであってもよい。
自動運転車両とは、車両が運転者からの入力が非常に少なくまたはない場合でもナビゲーションして環境を通過するように、自律走行モードに設定できる車両のことである。このような自動運転車両は、車両走行環境に関連する情報を検出するように構成された1つまたは複数のセンサを有するセンサシステムを備えてもよい。前記車両およびそれに関連するコントローラは、検出された情報を用いてナビゲーションして前記環境を通過できる。自動運転車両101は、手動モード、完全自律運転モード、又は部分自律運転モードで走行することができる。
一実施形態では、自動運転車両101は、感知・計画システム110、車両制御システム111、無線通信システム112、ユーザインターフェースシステム113、及びセンサシステム115を含むが、これらに限定されない。自動運転車両101には、一般車両に備えられているいくつかの一般的な構成要素、例えば、エンジン、車輪、ステアリングホイール、変速機などが更に備えられてもよく、前記構成要素は、車両制御システム111及び/又は感知・計画システム110により複数種類の通信信号及び/又はコマンド、例えば、加速信号又はコマンド、減速信号又はコマンド、ステアリング信号又はコマンド、ブレーキ信号又はコマンドなどを使用して制御可能である。
構成要素110~115は、インターコネクタ、バス、ネットワーク又はこれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素110~115は、コントローラエリアネットワーク(CAN)バスを介して互いに通信可能に接続することができる。CANバスは、ホストコンピュータなしのアプリケーションにおいてマイクロコントローラ及びデバイスが互いに通信できるように許容された車両通信規格である。それは、もともとは自動車内の多重電気配線のために設計されたメッセージに基づくプロトコルであるが、他の多くの環境にも用いられる。
以下図2を参照すると、一実施形態では、センサシステム115は、一つ以上のカメラ211、全地球測位システム(GPS)ユニット212、慣性計測ユニット(IMU)213、レーダユニット214並びに光検出・測距(LIDAR)ユニット215を含むが、これらに限定されない。GPSユニット212は、自動運転車両の位置に関する情報を提供するように操作可能な送受信機を含んでもよい。IMUユニット213は、慣性加速度に基づいて自動運転車両の位置及び向きの変化を感知することができる。レーダユニット214は、無線信号を用いて自動運転車両のローカル環境におけるオブジェクトを感知するシステムを表してもよい。いくつかの実施形態において、オブジェクトを感知することに加えて、レーダユニット214は、更にオブジェクトの速度及び/又は進行方向を感知することもできる。LIDARユニット215は、自動運転車両が位置する環境におけるオブジェクトをレーザで感知することができる。他のシステム構成要素に加えて、LIDARユニット215は、更に一つ以上のレーザ光源、レーザスキャナ及び一つ以上の検出器を含んでもよい。カメラ211は、自動運転車両の周囲環境における画像を取り込むための一つ以上のデバイスを含んでもよい。カメラ211は、固定カメラ及び/又はPTZ(パンチルトズーム)カメラであってもよい。カメラは、例えば、回転及び/又は傾斜のプラットフォームにカメラを取り付けることによって、機械的に移動可能なものであってもよい。
センサシステム115は更に他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ及びオーディオセンサ(例えば、マイクロホン)を含んでもよい。オーディオセンサは、自動運転車両の周囲の環境から音声を取得するように構成されてもよい。ステアリングセンサ(例えば、電動パワーステアリングシステム(EPS))は、ステアリングホイール、車両の車輪又はこれらの組み合わせの操舵角を感知するように構成されてもよい。スロットルセンサ及びブレーキセンサはそれぞれ車両のスロットル位置及びブレーキ位置を感知する。ある場合に、スロットルセンサ及びブレーキセンサは集積型スロットル/ブレーキセンサとして統合されてもよい。
車両制御システム111は、ステアリングユニット201、スロットルユニット202(加速ユニットともいう)及びブレーキユニット203を含むが、これらに限定されない。ステアリングユニット201は、車両の方向又は進行方向を調整するために用いられる。スロットルユニット202は、モータ又はエンジンの速度を制御するために用いられ、モータ又はエンジンの速度によって更に車両の速度及び加速度を制御する。ブレーキユニット203は、摩擦を提供することによって車両の車輪又はタイヤを減速させることで、車両を減速させる。注意すべきことは、図2に示された構成要素は、ハードウェア、ソフトウェア又はこれらの組み合わせで実施することができる。
再び図1を参照し、無線通信システム112は、自動運転車両101と、デバイス、センサ、他の車両などのような外部システムとの通信を可能にする。例えば、無線通信システム112は、直接又は通信ネットワークを介して一つ以上のデバイスと無線通信することができ、例えば、ネットワーク102を介してサーバ103~104と通信することができる。無線通信システム112は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク(WLAN)を使用して、例えばWiFi(登録商標)を使用して他の構成要素又はシステムと通信することができる。無線通信システム112は、例えば赤外線リンク、ブルートゥース(登録商標)などを使用して、デバイス(例えば、乗員のモバイルデバイス、表示装置、車両101内のスピーカ)と直接通信することができる。ユーザインターフェースシステム113は、車両101内で実施された周辺装置の部分、例えば、キーボード、タッチスクリーン表示装置、マイクロホン及びスピーカなどを含んでもよい。
自動運転車両101の機能のうちの一部又は全部は、特に自動運転モードで操作する場合に、感知・計画システム110により制御されるか、又は管理されることができる。感知・計画システム110は、センサシステム115、制御システム111、無線通信システム112及び/又はユーザインターフェースシステム113から情報を受信し、受信された情報を処理し、出発地から目的地までのルート又は経路を計画した後に、計画及び制御情報に基づいて車両101を運転するために、必要なハードウェア(例えば、プロセッサ、メモリ、記憶デバイス)並びにソフトウェア(例えば、オペレーティングシステム、計画及びルーティングプログラム)を含む。あるいは、感知・計画システム110は車両制御システム111と一体に集積されてもよい。
例えば、乗員であるユーザは、例えば、ユーザインターフェースを介して旅程の出発地位置及び目的地を指定することができる。感知・計画システム110は旅程関連データを取得する。例えば、感知・計画システム110は、MPOIサーバから位置及びルート情報を取得することができる、前記MPOIサーバは、サーバ103~104の一部であってもよい。位置サーバは位置サービスを提供し、MPOIサーバは地図サービス及びある位置のPOIを提供する。あるいは、このような位置及びMPOI情報は、感知・計画システム110の永続性記憶装置にローカルキャッシュされてもよい。
自動運転車両101がルートに沿って移動している場合に、感知・計画システム110は交通情報システム又はサーバ(TIS)からリアルタイム交通情報を取得することもできる。注意すべきことは、サーバ103~104は第三者エンティティにより操作させることができる。場合に応じて、サーバ103~104の機能は、感知・計画システム110と一体に集積されてもよい。リアルタイム交通情報、MPOI情報及び位置情報、並びにセンサシステム115によって検出されたか又は感知されたリアルタイムローカル環境データ(例えば、障害物、オブジェクト、周辺車両)に基づいて、感知・計画システム110は、指定された目的地までに安全かつ効率的に到着するように、最適なルートを計画し、計画されたルートに従って、例えば、制御システム111によって、車両101を運転することができる。
サーバ103は、様々なクライアントに対してデータ解析サービスを実行するためのデータ解析システムであってもよい。一実施形態において、データ解析システム103は、データコレクタ121と、機械学習エンジン122とを含む。データコレクタ121は、様々な車両(自動運転車両又は人間の運転手によって運転される一般車両)から運転統計データ123を収集する。運転統計データ123は、発した運転命令(例えば、スロットル、ブレーキ、ステアリングの命令)及び車両のセンサによって異なる時点で取得された車両の応答(例えば、速度、加速、減速、方向)を指示する情報を含む。運転統計データ123は更に、異なる時点における運転環境を記述する情報、例えば、ルート(出発地及び目的地を含む)、MPOI、道路状況、天気状況などを含んでもよい。
機械学習エンジン122は、運転統計データ123に基づいて、様々な目的に応じてルールセット、アルゴリズム及び/又はモデル124を生成するか又は訓練する。一実施形態では、例えば、アルゴリズム/モデル124は、歩行者などのオブジェクトを検出し、これらのオブジェクトに関する情報を識別するように、1つ以上の機械学習モデル及び/又は画像分割モデルを含んでもよい。機械学習モデルは、ADVの自動運転にリアルタイムで使用されるように、トレーニングされるとともにADVにアップロードされる。アルゴリズム/モデル124は、ADVが使用する速度制限を確定するためのアルゴリズム/モデルを含むことができる。
図3A~図3Bは、一実施形態に係る自動運転車両に併用される感知・計画システムの一例を示すブロック図である。システム300は、図1の自動運転車両101の一部として実現されてもよく、感知・計画システム110、制御システム111及びセンサシステム115を含むが、これらに限定されない。図3A及び図3Bを参照すると、感知・計画システム110は、測位モジュール301、感知モジュール302、予測モジュール303、決定モジュール304、計画モジュール305、制御モジュール306、ルーティング/サンプリングモジュール307及び速度制限モジュール308を含むが、これらに限定されない。
モジュール301~308のうちの一部又は全部は、ソフトウェア、ハードウェア又はこれらの組み合わせで実現されてもよい。例えば、これらのモジュールは、永続性記憶装置352にインストールされ、メモリ351にロードされ、且つ一つ以上のプロセッサ(図示せず)により実行されてもよい。注意すべきことは、これらのモジュールのうちの一部又は全部は、図2の車両制御システム111の一部又は全部のモジュールに通信可能に接続されるか、又はそれらと一体に統合されてもよい。モジュール301~308のうちの一部は集積モジュールとして一体に統合されてもよい。速度制限モジュール308及び計画モジュール305は集積モジュールとして一体化されてもよい。
測位モジュール301は、(例えば、GPSユニット212を利用して)自動運転車両300の現在の位置を確定し、ユーザの旅程又はルートに関連する如何なるデータを管理する。測位モジュール301(地図及びルーティングモジュールともいう)は、ユーザの旅程又はルートに関連する如何なるデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインして旅程の出発地及び目的地を指定することができる。測位モジュール301は、自動運転車両300における地図及びルート情報311のような他の構成要素と通信して、旅程関連データを取得する。例えば、測位モジュール301は、位置サーバ並びに地図・ポイントオブインタレスト(MPOI)サーバから位置及びルート情報を取得することができる。位置サーバは位置サービスを提供し、MPOIサーバは地図サービス及びある位置のPOIを提供することにより、地図及びルート情報311の一部としてキャッシュされることができる。自動運転車両300がルートに沿って移動している場合に、測位モジュール301は交通情報システム又はサーバからリアルタイム交通情報を取得することもできる。
感知モジュール302は、センサシステム115により提供されたセンサデータと、測位モジュール301により取得された測位情報とに基づいて、周囲環境への感知を確定する。感知情報は、一般の運転手が運転手により運転されている車両の周囲において感知すべきものを示すことができる。感知は、例えば、オブジェクト形式を採用した車線構成(例えば、直線車線、曲がり車線)、信号機信号、他の車両の相対位置、歩行者、建築物、横断歩道又は他の交通関連標識(例えば、止まれ標識、ゆずれ標識)などを含むことができる。車線構成は、例えば、車線の形状(例えば、直線または湾曲)、車線の幅、道路内の車線数、一方向または二方向車線、合流または分流車線、退出車線などのような、1つまたは複数の車線を記述する情報を含む。
感知モジュール302は、一つ以上のカメラにより取り込まれた画像を処理、解析して、自動運転車両の環境におけるオブジェクト及び/又は特徴を認識するために、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含むことができる。前記オブジェクトは、交通信号、道路の境界、他の車両、歩行者及び/又は障害物などを含むことができる。コンピュータビジョンシステムは、オブジェクト認識アルゴリズム、ビデオトラッキング及び他のコンピュータビジョン技術を使用することができる。いくつかの実施形態では、コンピュータビジョンシステムは、環境地図の描画、オブジェクトの追跡、及びオブジェクトの速度推定などを行うことができる。感知モジュール302は、レーダ及び/又はLIDARのような他のセンサにより提供される他のセンサデータに基づいてオブジェクトを検出することもできる。
各オブジェクトについて、予測モジュール303は、様々な場合にオブジェクトがどのように挙動するかを予測する。予測は、地図及びルート情報311と交通ルール312のセットに応じて、該時点において運転環境が感知された感知データに基づいて実行される。例えば、オブジェクトが反対方向における車両で、且つ現在の運転環境に交差点が含まれている場合に、予測モジュール303は車両が直進するか又は方向転換するかを予測する。感知データが、交差点に信号機がないことを示す場合、予測モジュール303は、交差点に入る前に車両が完全に停止する必要があると予測する可能性がある。感知データが、車両が現在左折専用車線又は右折専用車線にあることを示す場合、予測モジュール303は、車両がそれぞれ左折又は右折する可能性がより高いと予測することができる。
各オブジェクトに対して、決定モジュール304はオブジェクトをどのように対応するかを決定する。例えば、特定のオブジェクト(例えば、交差のルートにおける他の車両)及びオブジェクトを記述するメタデータ(例えば、速度、方向、方向転換角)について、決定モジュール304は前記オブジェクトと遇うときに如何に対応するか(例えば、追い越し、道譲り、停止、追い抜き)を決定する。決定モジュール304は、交通ルール又は運転ルール312のルールセットに基づいてこのような決定を下すことができ、前記ルールセットは永続性記憶装置352に格納されてもよい。
ルーティングモジュール307は、出発地から目的地までの一つ以上のルート又は経路を提供するように構成される。例えば、ユーザから受信した出発地から目的地までの所定の旅程に対して、ルーティングモジュール307は地図及びルート情報311を取得して出発地から目的地に到着する全ての可能なルート又は経路を決定する。決定された出発地から目的地に到着するルート毎に、ルーティングモジュール307は地形図の形式で基準線を生成することができる。基準線とは、他の車両、障害物又は交通状況のような如何なる干渉を受けない理想的なルート又は経路を指す。即ち、路上に他の車両、歩行者又は障害物がなければ、ADVは基準線に完全に又は緊密に従うべきである。そして、地形図が決定モジュール304及び/又は計画モジュール305に提供される。決定モジュール304及び/又は計画モジュール305は全ての可能なルートを検査して他のモジュールから提供された他のデータ、例えば測位モジュール301からの交通状況、感知モジュール302により感知された運転環境及び予測モジュール303により予測された交通状況に基づいて最適ルートのうちの一つを選択し修正する。ADVを制御するための実際のルート又は経路は、その時点における特定運転環境によって、ルーティングモジュール307から提供された基準線に近接するか又は異なっていてもよい。
計画モジュール305は、感知されたオブジェクトのそれぞれに対する決定に基づいて、自動運転車両のために経路又はルート並びに運転パラメータ(例えば、距離、速度及び/又は方向転換角)を計画する。言い換えれば、所定のオブジェクトについて、決定モジュール304は当該オブジェクトに対して何をするかを決定し、計画モジュール305はどのようにするかを確定する。例えば、所定のオブジェクトについて、決定モジュール304は前記オブジェクトを追い抜くかを決定することができ、計画モジュール305は前記オブジェクトを左側から追い抜くかそれとも右側から追い抜くかを確定することができる。計画及び制御データは計画モジュール305により生成され、車両300が次の移動周期(例えば、次のルート/経路区間)にはどのように移動するかを記述する情報を含む。例えば、計画及び制御データは、車両300が30マイル/時間(mph)の速度で10メートル移動し、その後25mphの速度で右側車線に変更するように指示することができる。
制御モジュール306は、計画及び制御データに基づいて、計画及び制御データにより限定されたルート又は経路に応じて適当なコマンド又は信号を車両制御システム111に送信することにより自動運転車両を制御しながら運転する。前記計画及び制御データは、経路又はルートに沿って異なる時点で適切な車両構成又は運転パラメータ(例えば、スロットル、ブレーキ、及びステアリングコマンド)を使用して、車両をルート又は経路の第1の点から第2の点まで運転するのに十分な情報を含む。
一実施形態では、計画段階は、例えば、時間間隔100ミリ秒(ms)あたりの周期など、複数の計画周期(命令周期ともいう)で実行される。計画周期又は命令周期のそれぞれについては、計画及び制御データに基づいて一つ以上の制御コマンドを発する。すなわち、100msごとに、計画モジュール305は、例えば、目標位置及びADVが目標位置に到着するのに必要な時間を含む次のルート区間又は経路区間を計画する。あるいは、計画モジュール305は更に具体的な速度、方向及び/又は操舵角などを指定することもできる。一実施形態では、計画モジュール305は、次の所定時間周期(例えば、5秒)のルート区間又は経路区間を計画する。各計画周期について、計画モジュール305は、前の周期で計画された目標位置に基づいて、現在の周期(例えば、次の5秒)のための目標位置を計画する。次に、制御モジュール306は、現在の周期の計画及び制御データに基づいて、一つ以上の制御コマンド(例えば、スロットル、ブレーキ、ステアリング制御コマンド)を生成する。
注意すべきことは、決定モジュール304及び計画モジュール305は、集積モジュールとして一体化されてもよい。決定モジュール304/計画モジュール305は、自動運転車両の運転経路を確定するために、ナビゲーションシステム又はナビゲーションシステムの機能を具備することができる。例えば、ナビゲーションシステムは、自動運転車両が下記の経路に沿って移動することを実現するための一連の速度及び進行方向を確定することができる。すなわち、前記経路では、自動運転車両が最終的な目的地に通じる走行車線に基づく経路に沿って進行するとともに、感知された障害物を実質的に回避できる。目的地は、ユーザインターフェースシステム113を経由して行われたユーザ入力に応じて設定されることができる。ナビゲーションシステムは、自動運転車両が走行していると同時に運転経路を動的に更新することができる。ナビゲーションシステムは、自動運転車両のための運転経路を確定するために、GPSシステム及び一つ以上の地図からのデータをマージすることができる。
決定モジュール304/計画モジュール305は、自動運転車両の環境内の潜在的な障害物を識別し、評価し、回避し、またはその他の方式で追い越すために、衝突回避システムまたは衝突回避システムの機能をさらに含むことができる。例えば、衝突回避システムは以下の方式によって自動運転車両のナビゲーションにおける変更を実現することができる。すなわち、制御システム111における1つ以上のサブシステムを操作することで、急ハンドル操作、方向転換操作、ブレーキ操作などを行う。衝突回避システムは、周囲の交通モード、道路状況などに基づいて、実行可能な障害物回避操作を自動的に決定することができる。衝突回避システムは、自動運転車両が方向転換して進入しようとする隣接領域における車両、建物障害物などが他のセンサシステムによって検出された場合に、方向転換操作を取らないように構成されてもよい。衝突回避システムは、使用可能で且つ自動運転車両乗員の安全性を最大化する操作を自動的に選択することができる。衝突回避システムは、自動運転車両の車室内に最小限の加速度が発生すると予測される退避操作を選択することができる。
図4は、一実施形態に係る速度制限モジュールの一例を示すブロック図である。図4を参照すると、速度制限モジュール308は、1人以上の歩行者周囲の一つ以上の実行可能領域(例えば、警戒領域)に基づいてADVの上限速度制限を確定することができる。また、速度制限モジュール308は、ADVが実行可能な領域内である場合にADVが減速するように、上限速度制限に基づいてADVの運転軌跡を生成することができる。一実施形態では、速度制限モジュール308は、画像受信機/前処理モジュール401、実行可能領域生成モジュール403、速度制限確定モジュール405、及び軌跡生成モジュール407を含む。画像受信機/前処理モジュール401は、ADVの画像キャプチャ装置(例えば、1つ以上のカメラ)によってキャプチャされた画像を受信することができる。画像受信機/前処理モジュール401は画像を前処理することもできる。前処理は、画像に適用される露出制御、ゲイン制御、トーンマッピング、ホワイトバランス、並びにデモザイク及びバイラテラルフィルタを調整することを含むが、これらに限らない。画像を前処理することにより、異なる時間および天候条件を有する画像内のオブジェクト(例えば、歩行者)をよりよく識別するために画像を前もって準備しておくことができる。例えば、オブジェクトがより明晰に認識されるように、夜間では画像の露出量を日中よりも多くする必要がある。前処理は、別の例として、異なる構成を有する異なるカメラが画像キャプチャ装置に適用されるように、画像を標準画像サイズにスケーリング及び/又は切り取ることを含む。実行可能領域生成モジュール403は、検出されたオブジェクト(例えば、歩行者)毎に実行可能領域を生成することができる。実行可能領域は警戒領域であり、実行可能領域内のADVが慎重に進むことを示し、例えば、ADVは、所定の速度制限に基づいて車両速度を低下させ、毎秒より高いフレームレートで画像をキャプチャし、及び/又は停止するまでブレーキをかけることなどを示す。速度制限確定モジュール405は、速度制限モデル(例えば、図3Aの速度制限モデル313の一部)に従って、与えられたオブジェクト/障害物(例えば、歩行者)の速度制限を確定することができる。軌跡生成モジュール407は、如何なる確定された速度制限に基づいて軌跡を生成してADVを制御し、それによって、歩行者の近くにおけるADVの速度を制限することができる。
図5は、一実施形態に係るキャンパスシーンの一例を示すブロック図である。図5を参照すると、一実施形態では、シーン500は、移動中のオブジェクト501(例えば、歩行者)及びADV101を含む。シーン500は、大学キャンパス内の低速エリアまたは如何なる低速エリアを表してもよい。ADV101が低速エリアに入り始まるか、または低速エリア内に位置しているとき(地図及びルート情報311によって確定)、ADV101は、速度制限モジュール308を有効化/起動する。同様に、ADV101が低速エリアから退出するか、または低速エリア外に位置する場合(地図及びルート情報311によって確定)、ADV101は速度制限モジュール308を無効化/退出することができる。
低速エリアにあるとき、一実施形態では、画像受信モジュール(図4の速度制限モジュール308の画像受信機/前処理モジュール401など)は、ADVの画像センサから画像を受信する。画像受信機401は、ADV101の近くの複数の障害物又はオブジェクトを認識するために画像を処理することができる。例えば、ADV101は歩行者501を移動中の障害物として認識することができる。画像受信機401は、後続の画像フレームを受信し、機械学習モデル又は画像セグメンテーションモデルを介して、歩行者501の方向、速度及び/又は向きを検出することができる。他の一実施形態では、速度制限モジュール308は、図3Aの感知モジュール302などの感知モジュールから歩行者501の歩行者情報(例えば、方向、速度及び/又は向き)を受信することができる。
次に、図4のモジュール403などの実行可能領域生成モジュールは、歩行者/障害物の情報に基づいて、ADV-歩行者間のインタラクションのための歩行者501用の実行可能領域505を生成する。例えば、ADV101が実行可能領域505内にある場合、図4のモジュール405のような速度制限確定モジュールは、ADV101に適用されるべき上限速度制限を確定することができる。一実施形態では、移動障害物の投影(例えば、投影507)は、歩行者501の現在位置(例えば、(x,y))とADV101との垂直交差点として確定される。一実施形態では、速度制限は、ADV101と歩行者501の投影(例えば、投影507)との間の距離(例えば、距離d)に基づいて決定されてもよい。また、ADV101は、歩行者501が進路を変更しようと判断されたか又は移動を停止しようと判断された場合、新たな実行可能領域を生成するとともに、新たな速度制限を確定することができる。注意されたいことは、実行可能領域の形状は円形に限定されなく、楕円形や矩形など他の形状であってもよい。
速度制限に基づいて、図4のモジュール407などの軌跡生成モジュールは、速度が速度制限未満である軌跡を生成することができる。速度制限は、ADV101を歩行者501から安全な距離に保つことができ、例えばADV101が歩行者501に接近すると、ADV101はADV101と歩行者501との間の距離に応じて減速するか、又はADV101が単に歩行者501の側方を通過すると、ADV101の速度が速度制限まで徐々に減少する。図5では、説明のために一人の歩行者501しか示していないが、複数の歩行者が検出され、複数の実行可能領域が生成されてもよい。このような場合は、複数の実行可能領域に基づいて、最低速度制限を使用して軌跡を生成することができる。
実行可能領域を生成するために、一実施形態では、実行可能領域のサイズおよび中心点は、歩行者501の向き(および/または速度方向)並びに速度に応じて確定される。一実施形態では、実行可能領域505は円形であってもよい。実行可能領域505は、歩行者501の速度に比例する円の半径を有することができる。一実施形態では、該半径は歩行者501の速度に線形比例し、例えば、半径∝pvであり、pは定数であり、vは歩行者501の速度である。別の実施形態では、実行可能領域は卵形または楕円形であってもよい。
実施可能領域505について、中心点503は中心(x,y)=f(θ)+(x,y)と確定することができ、式中、θは歩行者501の速度方向であり、(x,y)は歩行者501の現在位置の座標である。ここで、f(θ)は、歩行者501が現在の座標(例えば、歩行者の投影)から離れるときのその後の動きの予測値であってもよい。一実施形態では、時間Tにおける歩行者501のための実行可能領域505の中心点503を確定し、ここで、Tはv上限/accmax+kであり、v上限はADV101の最大速度、または低速エリアにおけるADVの道路によって確定される最大速度であり、accmaxはADVの最大加速度または減速度(例えば、ブレーキ)であり、kは定数である。一実施形態において、時間間隔Tの方向速度θに基づいてf(θ)をT*θと確定し、中心点503を式:中心(x,y)=f(θ)+(x,y)に従って確定することができる。
そして、時間Tにおける速度制限を式:(v制限)=v-α/dに基づいて確定し、うち、vはADV101の現在の速度、αは減衰率、dは現在時刻におけるADVと移動障害物の投影507との間の距離である。一実施形態では、投影507は、歩行者501の現在位置(例えば、(x,y))とADV101との間の垂直交差部に位置する。減衰率は、距離dに対する速度制限の変化速度を調整するために使用され得る。一実施形態では、αは一定値(たとえば、>1)またはADV101のユーザによって予め設定された値である。速度制限が確定されると、当該速度制限は、図4のモジュール407などの軌跡生成モジュールによって生成された軌跡に適用可能となり、軌跡の速度がv制限まで徐々に減少するように、軌跡の速度を制限する。
図6は、一実施形態に係る方法を示すフローチャートである。プロセス600は、ソフトウェア、ハードウェア、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。例えば、プロセス600は、図3Aの速度制限モジュール308によって実行され得る。図6を参照すると、ブロック601で、処理ロジックは、ADVの画像キャプチャ装置からADVの環境を感知するキャプチャ画像を受信し、ここで、キャプチャ画像はADV付近の移動中の障害物を認識する。ブロック602では、処理ロジックは、移動障害物の投影に基づいて移動障害物周囲の実行可能領域を生成する。ブロック603において、ADVが実行可能領域内にある場合、処理ロジックはADVの上限速度制限を確定する。ブロック604で、処理ロジックは、上限速度制限未満の軌跡速度を有する軌跡を生成し、ADVが実行可能領域内にあればADVが減速するように、ADVを軌跡に従って自律的に制御する。
一実施形態において、生成された実行可能領域は、時間Tにおける移動障害物の速度方向に基づいて確定される中心位置と、移動障害物の速度に基づいて確定される半径とを含む。別の実施形態では、移動障害物の投影位置は、移動障害物の現在位置と移動障害物の速度方向とに基づいて確定される。別の実施形態では、移動障害物の投影位置は、移動障害物とADVとの間の垂直交差点として確定される(例えば、図5を参照)。別の実施形態では、上限速度制限は、現在時間ADVと移動障害物の投影との間の距離に基づいて確定される。
別の実施形態では、時間TにおけるADVの上限速度制限又は速度制限v制限はv-α/dであり、vはADVの現在速度であり、αは減衰率であり、dは現在時間におけるADVと移動障害物の投影との間の距離である。別の実施形態では、時間Tは式:T=v上限/accmax+kによって確定され、v上限はADVの最大速度またはADVの道路によって確定される最大速度であり、accmaxはADVの最大加速度であり、kは定数である。一実施形態では、移動障害物は歩行者である。
なお、上記の構成要素の一部または全部は、ソフトウェア、ハードウェアまたはそれらの組み合わせにより実現できる。例えば、このような構成要素は、永続性記憶装置にインストールされ且つ格納されたソフトウェアとして実現でき、前記ソフトウェアは、プロセッサ(図示せず)でメモリにロードされ且つ実行されることにより、本明細書にわたって説明されるプロセスまたは操作を実行する。あるいは、このような構成要素は専用ハードウェア(例えば、集積回路(例えば、特定用途向け集積回路またはASIC)、デジタル信号プロセッサ(DSP)またはフィールドプログラマブルゲートアレイ(FPGA))にプログラミングされまたは組み込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードは対応するドライバーおよび/またはオペレーティングシステムによってアプリケーションからアクセスできる。また、このような構成要素は、プロセッサまたはプロセッサコアにおける特定ハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が1つまたは複数の特定命令によってアクセスされる命令セットの一部となる。
図7は、本発明の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム1500は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム、例えば、図1の感知・計画システム110またはサーバ103~104を示すことができる。システム1500は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路(IC)、集積回路の一部、分散型電子デバイスまたは回路基板に適用された他のモジュール(例えば、コンピュータシステムのマザーボードまたはアドインカード)、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる
さらに、システム1500は、コンピュータシステムの多数の構成要素の高レベルビューを示すことを意図している。しかしながら、いくつかの実現形態では、付加的構成要素を要してもよいことを理解すべきであり、また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム1500は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント(PDA)、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント(AP)またはリピーター、セット・トップボックス、またはそれらの組み合わせを示してもよい。また、単一の機械またはシステムのみを示したが、用語「機械」または「システム」は、さらに、本明細書で説明されるいずれか1つ又は複数の方法を実行するための、1つ(又は複数)の命令セットを単独で又は共同で実行する機械又はシステムの任意の組み合わせも含まれることを理解されたい。
一実施形態において、システム1500は、バスまたはインターコネクト1510によって接続されたプロセッサ1501、メモリ1503およびデバイス1505~1508を備える。プロセッサ1501は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサであってもよい。プロセッサ1501は、マイクロプロセッサ、中央処理装置(CPU)等のような1つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ1501は、複雑命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組み合わせを実現するプロセッサであってもよい。プロセッサ1501は、さらに、特定用途向け集積回路(ASIC)、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組込みプロセッサのような1つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ1501(超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい)は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ(SoC)として実現できる。プロセッサ1501は、本明細書に説明される操作およびステップを実行するための命令を実行するように構成される。システム1500は、選択可能なグラフィックサブシステム1504と通信するグラフィックインターフェースをさらに含んでもよく、グラフィックサブシステム1504は、表示コントローラ、グラフィックプロセッサおよび/または表示装置を備えてもよい。
プロセッサ1501は、メモリ1503と通信してもよく、メモリ1503は、一実施形態において所定量のシステムメモリを提供するための複数のメモリデバイスによって実装されてもよい。メモリ1503は、ランダムアクセスメモリ(RAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、スタティックRAM(SRAM)または他のタイプの記憶デバイスのような1つまたは複数の揮発性記憶(またはメモリ)デバイスを備えてもよい。メモリ1503は、プロセッサ1501または任意の他のデバイスにより実行される命令シーケンスを含む情報を格納できる。例えば、複数種のオペレーティングシステム、デバイスドライバ、ファームウェア(例えば、基本入出力システムまたはBIOS)および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ1503にロードされてもよく、プロセッサ1501により実行されてもよい。オペレーティングシステムは、例えば、ロボットオペレーティングシステム(ROS)、Microsoft(登録商標)社からのWindows(登録商標)オペレーティングシステム、アップル社からのMac OS(登録商標)/iOS(登録商標)、Google(登録商標)社からのAndroid(登録商標)、LINUX(登録商標)、UNIX(登録商標)または他のリアルタイムまたは組込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであってもよい。
システム1500は、I/Oデバイス、例えばデバイス1505~1508をさらに備えてもよく、ネットワークインターフェースデバイス1505、選択可能な入力デバイス1506および他の選択可能なI/Oデバイス1507を備える。ネットワークインターフェースデバイス1505は、無線送受信機および/またはネットワークインターフェースカード(NIC)を備えてもよい。前記無線送受信機は、WiFi(登録商標)送受信機、赤外線送受信機、ブルートゥース(登録商標)送受信機、WiMax送受信機、無線セルラーホン送受信機、衛星送受信機(例えば、全地球測位システム(GPS)送受信機)または他の無線周波数(RF)送受信機またはそれらの組み合わせであってもよい。NICはイーサネット(登録商標)カードであってもよい。
入力デバイス1506は、マウス、タッチパッド、タッチスクリーン(それは表示装置1504と一体化されてもよい)、ポインタデバイス(例えば、スタイラス)および/またはキーボード(例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード)を備えてもよい。例えば、入力デバイス1506は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば、複数種のタッチ感応技術(コンデンサ、抵抗、赤外線および表面弾性波の技術を含むが、それらに限定されない)のいずれか、および他の近接センサアレイまたはタッチスクリーンとの1つまたは複数の接触点を確定するための他の素子を用いてそれらの接触、移動または中断を検出できる。
I/Oデバイス1507は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声複製、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のI/Oデバイス1507は、ユニバーサルシリアルバス(USB)ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ(例えば、PCI-PCIブリッジ)、センサ(例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のモーションセンサ)またはそれらの組み合わせをさらに備えてもよい。デバイス1507は、結像処理サブシステム(例えば、カメラ)をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能(例えば、写真およびビデオ断片の記録)を促進するための電荷結合素子(CCD)または相補型金属酸化物半導体(CMOS)光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ(図示せず)によってインターコネクト1510に接続されてもよく、キーボードまたはサーマルセンサのような他のデバイスは、システム1500の具体的な構成または設計に応じて組込みコントローラ(図示せず)により制御されてもよい。
データ、アプリケーション、1つまたは複数のオペレーティングシステム等のような情報の永続性記憶を提供するために、大容量記憶デバイス(図示せず)は、プロセッサ1501に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶デバイスは、ソリッドステートデバイス(SSD)によって実現できる。しかし、他の実施形態において、大容量記憶デバイスは、主にハードディスクドライブ(HDD)で実現されてもよく、より小さい容量のSSD記憶デバイスは、SSDキャッシュとして機能することで、停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース(SPI)を介してプロセッサ1501に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのBIOSおよび他のファームウェアを備える。
記憶デバイス1508は、本明細書に記載の方法または機能のいずれか1つ又は複数を具現化する1つまたは複数の命令セットまたはソフトウェア(例えば、モジュール、ユニットおよび/またはロジック1528)が格納されるコンピュータアクセス可能な記憶媒体1509(機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる)を備えてもよい。処理モジュール/ユニット/ロジック1528は、例えば、図3Aの速度制限モジュール308のような上記構成要素のいずれかを示してもよい。処理ジュール/ユニット/ロジック1528は、さらにデータ処理システム1500、メモリ1503、及びプロセッサ1501により実行される期間にメモリ1503内および/またはプロセッサ1501内に完全または少なくとも部分的に存在してもよく、データ処理システム1500、メモリ1503およびプロセッサ1501も、機械アクセス可能な記憶媒体を構成する。処理モジュール/ユニット/ロジック1528は、さらにネットワークによってネットワークインターフェースデバイス1505を経由して送受信されてもよい。
コンピュータ可読記憶媒体1509は、以上に説明されたいくつかのソフトウェア機能を永続的に格納してもよい。コンピュータ可読記憶媒体1509は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記1つまたは複数の命令セットが格納される単一の媒体または複数の媒体(例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ)を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを格納または符号化可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機械により実行され且つ前記機械に本発明のいずれか1種または複数種の方法を実行させるためのものである。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ、光学媒体および磁気媒体、または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載の処理モジュール/ユニット/ロジック1528、構成要素および他の特徴は、ディスクリートハードウェア構成要素として実現されてもよく、またはハードウェア構成要素(例えば、ASICS、FPGA、DSPまたは類似のデバイス)の機能に統合されてもよい。さらに、処理モジュール/ユニット/ロジック1528は、ハードウェアデバイス内のファームウェアまたは機能性回路として実現されてもよい。また、処理モジュール/ユニット/ロジック1528は、ハードウェアデバイスとソフトウェア構成要素の任意の組み合わせで実現されてもよい。
なお、システム1500は、データ処理システムの各種の構成要素を有するように示されているが、構成要素を相互接続させる任意の特定のアーキテクチャ又は方法を表すことは意図されていないことに留意されたい。それは、このような詳細が本発明の実施形態とは密接な関係がない。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本発明の実施形態と共に使用されてもよいことを理解されたい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。本明細書において、アルゴリズムは、通常、所望の結果につながるセルフコンシステントシーケンスと考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量を標識しやすくするためのものに過ぎないことに注意すべきである。特に断らない限り、本明細書の全体にわたって理解すべきなのは用語(例えば、添付している特許請求の範囲に説明された用語)による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリにおける物理(例えば、電子)量として示されたデータを制御するとともに、前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報記憶デバイス、伝送または表示装置内において同様に物理量として示された他のデータに変換する。
本発明の実施形態は、さらに本明細書における操作を実行するための装置に関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に格納される。機械可読媒体は、機械(例えば、コンピュータ)により読み取り可能な形態で情報を格納するための任意の機構を備える。例えば、機械可読(例えば、コンピュータ可読)媒体は、機械(例えば、コンピュータ)可読記憶媒体(例えば、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス)を備える。
上記図面に示されるプロセスまたは方法は、ハードウェア(例えば、回路、専用ロジック等)、ソフトウェア(例えば、非一時的コンピュータ可読媒体に具現化されるもの)、または両方の組み合わせを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序で実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。
本発明の実施形態は、いずれかの特定のプログラミング言語を参照することなく記載されている。本明細書に記載の本発明の実施形態の教示を実現するために様々なプログラミング言語を使用できることを理解すべきである。
本明細書では、本発明の実施形態は、既にその具体的な例示的な実施形態を参照しながら記載された。明らかなように、添付している特許請求の範囲に記載の本発明のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。

Claims (16)

  1. 自動運転車両のためのコンピュータ実施方法であって、前記方法は、処理ロジックによって実行され、前記処理ロジックはソフトウェアおよび/またはハードウェアから構成され、
    自動運転車両の画像キャプチャ装置から、前記自動運転車両の環境を感知するキャプチャ画像を受信するステップであって、前記キャプチャ画像は前記自動運転車両付近の移動中の障害物を認識するものであるステップと、
    移動障害物の投影に基づいて、前記移動障害物周囲の実行可能領域を生成するステップであって、生成された実行可能領域の中心位置が、前記移動障害物の、現在の速度方向に沿って現在位置から時間T経過時における予測位置であり、前記実行可能領域の半径が、前記移動障害物の現在速度に基づいて確定される、ステップと、
    前記自動運転車両が前記実行可能領域内にある場合に、前記自動運転車両の上限速度制限を確定するステップと、
    前記上限速度制限未満の軌跡速度を有する軌跡を生成して、前記自動運転車両が前記実行可能領域内にある場合に前記自動運転車両が減速するように、前記自動運転車両を前記軌跡に従って自律的に制御するステップと、を含み、
    前記時間Tは次式によって確定され、
    T=v上限/accmax+k
    ここで、v上限はADVの最大速度またはADVが走行している道路の最大制限速度であり、accmaxはADVの最大加速度または最大減速度であり、kは誤差修正のためのパラメータで、その数値が予め設定された定数である、自動運転車両のためのコンピュータ実施方法。
  2. 前記移動障害物の投影位置は、前記移動障害物及び前記自動運転車両の現在位置に基づいて確定される、請求項1に記載の方法。
  3. 前記上限速度制限は、現在時刻における前記自動運転車両と前記移動障害物の前記自動運転車両の進行方向における投影との間の距離に基づいて確定される、請求項2に記載の方法。
  4. 前記上限速度制限はv-α/dであり、式中、vは前記自動運転車両の現在速度であり、αは前記自動運転車両と前記移動障害物の投影との間の距離に対する前記上限速度制限の速度変化を調整するための減衰率であって、1よりも大きいプリセット値であり、dは現在時刻における前記自動運転車両と前記移動障害物の前記自動運転車両の進行方向における投影との間の距離である、請求項1に記載の方法。
  5. 前記移動障害物は歩行者である、請求項1に記載の方法。
  6. 命令が格納されている非一時的機械可読媒体であって、前記命令はプロセッサにより実行されるときに前記プロセッサに動作を実行させ、前記動作は、
    自動運転車両の画像キャプチャ装置から前記自動運転車両の環境を感知するキャプチャ画像を受信するステップであって、前記キャプチャ画像は前記自動運転車両付近の移動中の障害物を認識するものであるステップと、
    移動障害物の投影に基づいて、前記移動障害物周囲の実行可能領域を生成するステップであって、生成された実行可能領域の中心位置が、前記移動障害物の、現在の速度方向に沿って現在位置から時間T経過時における予測位置であり、前記実行可能領域の半径が、前記移動障害物の現在速度に基づいて確定される、ステップと、
    前記自動運転車両が前記実行可能領域内にある場合に、前記自動運転車両の上限速度制限を確定するステップと、
    前記上限速度制限未満の軌跡速度を有する軌跡を生成して、前記自動運転車両が前記実行可能領域内にある場合に前記自動運転車両が減速するように、前記自動運転車両を前記軌跡に従って自律的に制御するステップとを含み、
    前記時間Tは次式によって確定され、
    T=v上限/accmax+k
    ここで、v上限はADVの最大速度またはADVが走行している道路の最大制限速度であり、accmaxはADVの最大加速度または最大減速度であり、kは誤差修正のためのパラメータで、その数値が予め設定された定数である、非一時的機械可読媒体。
  7. 前記移動障害物の投影位置は、前記移動障害物及び前記自動運転車両の現在位置に基づいて確定される、請求項6に記載の非一時的機械可読媒体。
  8. 前記上限速度制限は、現在時刻における前記自動運転車両と前記移動障害物の前記自動運転車両の進行方向における投影との間の距離に基づいて確定される、請求項7に記載の非一時的機械可読媒体。
  9. 前記上限速度制限はv-α/dであり、式中、vは前記自動運転車両の現在速度であり、αは前記自動運転車両と前記移動障害物の投影との間の距離に対する前記上限速度制限の速度変化を調整するための減衰率であって、1よりも大きいプリセット値であり、dは現在時刻における前記自動運転車両と前記移動障害物の前記自動運転車両の進行方向における投影との間の距離である、請求項6に記載の非一時的機械可読媒体。
  10. 前記移動障害物は歩行者である、請求項6に記載の非一時的機械可読媒体。
  11. プロセッサと、命令を格納するために前記プロセッサに接続されるメモリと、を備えるデータ処理システムであって、
    前記命令は、前記プロセッサにより実行されるときに、前記プロセッサに動作を実行させ、
    前記動作は、
    自動運転車両の画像キャプチャ装置から前記自動運転車両の環境を感知するキャプチャ画像を受信するステップであって、前記キャプチャ画像は前記自動運転車両付近の移動中の障害物を認識するステップと、
    移動障害物の投影に基づいて、前記移動障害物周囲の実行可能領域を生成するステップであって、生成された実行可能領域の中心位置が、前記移動障害物の、現在の速度方向に沿って現在位置から時間T経過時における予測位置であり、前記実行可能領域の半径が、前記移動障害物の現在速度に基づいて確定される、ステップと、
    前記自動運転車両が前記実行可能領域内にある場合に、前記自動運転車両の上限速度制限を確定するステップと、
    前記上限速度制限未満の軌跡速度を有する軌跡を生成して、前記自動運転車両が前記実行可能領域内にある場合に前記自動運転車両が減速するように、前記自動運転車両を前記軌跡に従って自律的に制御するステップとを含み、
    前記時間Tは次式によって確定され、
    T=v上限/accmax+k
    ここで、v上限はADVの最大速度またはADVが走行している道路の最大制限速度であり、accmaxはADVの最大加速度または最大減速度であり、kは誤差修正のためのパラメータで、その数値が予め設定された定数である、データ処理システム。
  12. 前記移動障害物の投影位置は、前記移動障害物及び前記自動運転車両の現在位置に基づいて確定される、請求項11に記載のシステム。
  13. 前記上限速度制限は、現在時刻における前記自動運転車両と前記移動障害物の前記自動運転車両の進行方向における投影との間の距離に基づいて確定される、請求項12に記載のシステム。
  14. 前記上限速度制限はv-α/dであり、式中、vは前記自動運転車両の現在速度であり、αは前記自動運転車両と前記移動障害物の投影との間の距離に対する前記上限速度制限の速度変化を調整するための減衰率であって、1よりも大きいプリセット値であり、dは現在時刻における前記自動運転車両と前記移動障害物の前記自動運転車両の進行方向における投影との間の距離である、請求項11に記載のシステム。
  15. 前記移動障害物は歩行者である、請求項11に記載のシステム。
  16. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項1~5のいずれか一項に記載の方法を実現する、コンピュータプログラム。
JP2019546236A 2018-09-28 2018-09-28 自動運転車両のための低速シーンにおける歩行者インタラクションシステム Active JP7145867B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/108356 WO2020062031A1 (en) 2018-09-28 2018-09-28 A pedestrian interaction system for low speed scenes for autonomous vehicles

Publications (2)

Publication Number Publication Date
JP2021501714A JP2021501714A (ja) 2021-01-21
JP7145867B2 true JP7145867B2 (ja) 2022-10-03

Family

ID=69949861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546236A Active JP7145867B2 (ja) 2018-09-28 2018-09-28 自動運転車両のための低速シーンにおける歩行者インタラクションシステム

Country Status (6)

Country Link
US (1) US11117597B2 (ja)
EP (1) EP3655940A1 (ja)
JP (1) JP7145867B2 (ja)
KR (2) KR102354615B1 (ja)
CN (1) CN111247495B (ja)
WO (1) WO2020062031A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
WO2020077117A1 (en) 2018-10-11 2020-04-16 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
JP7360792B2 (ja) * 2018-12-27 2023-10-13 株式会社ダイヘン 移動体、学習器、及び学習器製造方法
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US10917764B2 (en) * 2019-05-02 2021-02-09 GM Global Technology Operations LLC System and method to responsively send vehicle information to a data center
US20210150892A1 (en) * 2019-11-19 2021-05-20 Ford Global Technologies, Llc Vehicle operating parameters
JP7196205B2 (ja) * 2020-05-15 2022-12-26 バイドゥドットコム タイムズ テクノロジー (ベイジン) カンパニー リミテッド 部分的ポイントクラウドベースの歩行者速度推定方法
JP7351805B2 (ja) * 2020-07-01 2023-09-27 トヨタ自動車株式会社 情報処理方法、プログラム、車載装置及び車両
CN112158197B (zh) * 2020-08-21 2021-08-27 恒大新能源汽车投资控股集团有限公司 一种车辆盲区障碍物规避方法、装置及系统
US12030485B2 (en) 2021-01-28 2024-07-09 Motional Ad Llc Vehicle operation using maneuver generation
US20220234618A1 (en) * 2021-01-28 2022-07-28 Motional Ad Llc Homotopic-based planner for autonomous vehicles
KR102568288B1 (ko) * 2021-02-09 2023-08-18 한양대학교 에리카산학협력단 자율주행 차량 간 통신에 의한 교통 안전 시스템
CN114407919B (zh) * 2021-12-31 2023-06-02 武汉中海庭数据技术有限公司 一种基于自动驾驶的碰撞检测方法及系统
CN115628736B (zh) * 2022-09-23 2024-10-11 北京智行者科技股份有限公司 行人轨迹的预测方法、设备、移动装置和存储介质
CN115601972B (zh) * 2022-11-28 2023-03-21 青岛慧拓智能机器有限公司 无人矿山行驶区域的障碍物处理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039698A (ja) 2004-07-23 2006-02-09 Denso Corp 車両用物体検知装置
JP2017035927A (ja) 2015-08-07 2017-02-16 株式会社日立製作所 車両走行制御装置及び速度制御方法
JP2017117157A (ja) 2015-12-24 2017-06-29 マツダ株式会社 運転支援装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
CN1914060B (zh) * 2004-01-28 2013-05-29 丰田自动车株式会社 车辆行驶支持系统
JP5016889B2 (ja) * 2006-10-11 2012-09-05 日立オートモティブシステムズ株式会社 予防安全装置
AT505798B1 (de) * 2007-09-20 2011-12-15 Naderhirn Michael Verfahren zur automatischen vermeidung von kollisionen eines objektes mit weiteren objekten
EP2388756B1 (en) * 2010-05-17 2019-01-09 Volvo Car Corporation Forward collision risk reduction
JP5397565B2 (ja) * 2011-02-23 2014-01-22 トヨタ自動車株式会社 運転支援装置、運転支援方法及び運転支援プログラム
US9229450B2 (en) * 2011-05-31 2016-01-05 Hitachi, Ltd. Autonomous movement system
US8781721B2 (en) * 2012-06-06 2014-07-15 Google Inc. Obstacle evaluation technique
JP6237256B2 (ja) * 2014-01-21 2017-11-29 日産自動車株式会社 車速制御装置
KR101628503B1 (ko) * 2014-10-27 2016-06-08 현대자동차주식회사 운전자 보조장치 및 그 작동 방법
JP6537251B2 (ja) * 2014-11-14 2019-07-03 シャープ株式会社 自律走行装置
KR102338554B1 (ko) * 2015-03-16 2021-12-15 주식회사 만도모빌리티솔루션즈 자동 긴급 제동장치 및 그 제어방법
JP6481520B2 (ja) 2015-06-05 2019-03-13 トヨタ自動車株式会社 車両の衝突回避支援装置
US9494940B1 (en) * 2015-11-04 2016-11-15 Zoox, Inc. Quadrant configuration of robotic vehicles
CN106338996B (zh) * 2016-10-20 2019-05-31 上海物景智能科技有限公司 一种移动机器人安全控制的方法及系统
US10353393B2 (en) * 2016-12-29 2019-07-16 Baidu Usa Llc Method and system for improving stability of autonomous driving vehicles
JP6922617B2 (ja) * 2017-09-28 2021-08-18 トヨタ自動車株式会社 車両制御装置
GB2568883B (en) * 2017-11-28 2020-08-12 Jaguar Land Rover Ltd Projection apparatus
US20180150080A1 (en) * 2018-01-24 2018-05-31 GM Global Technology Operations LLC Systems and methods for path planning in autonomous vehicles
US10480952B2 (en) * 2018-02-01 2019-11-19 Didi Research America, Llc Probabilistic navigation system and method
KR102423172B1 (ko) * 2018-03-20 2022-07-22 모빌아이 비젼 테크놀로지스 엘티디 차량의 항법을 위한 시스템 및 방법
RU2756872C1 (ru) * 2018-05-31 2021-10-06 Ниссан Норт Америка, Инк. Структура вероятностного отслеживания объектов и прогнозирования

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039698A (ja) 2004-07-23 2006-02-09 Denso Corp 車両用物体検知装置
JP2017035927A (ja) 2015-08-07 2017-02-16 株式会社日立製作所 車両走行制御装置及び速度制御方法
JP2017117157A (ja) 2015-12-24 2017-06-29 マツダ株式会社 運転支援装置

Also Published As

Publication number Publication date
EP3655940A4 (en) 2020-05-27
WO2020062031A1 (en) 2020-04-02
CN111247495A (zh) 2020-06-05
CN111247495B (zh) 2023-11-10
US11117597B2 (en) 2021-09-14
KR102354615B1 (ko) 2022-01-24
JP2021501714A (ja) 2021-01-21
US20200361485A1 (en) 2020-11-19
EP3655940A1 (en) 2020-05-27
KR20210069111A (ko) 2021-06-10
KR20200037736A (ko) 2020-04-09

Similar Documents

Publication Publication Date Title
JP7145867B2 (ja) 自動運転車両のための低速シーンにおける歩行者インタラクションシステム
JP7050025B2 (ja) 自動運転車両のための計画運転感知システム
CN111076732B (zh) 基于车辆行驶的轨迹标记和生成高清地图的标记方案
JP6975512B2 (ja) 自動運転車両の周辺車両の挙動に基づくリアルタイム感知調整と運転調整
JP6517891B2 (ja) 自律走行車用のグループ運転スタイル学習フレーム
JP7108583B2 (ja) 自動運転車両のための曲率補正経路サンプリングシステム
US10569651B2 (en) Speed control and steering control assistant based on pitch status and roll status of autonomous driving vehicle
JP7116065B2 (ja) 自律走行車に用いられるトンネルに基づく計画システム
JP6972150B2 (ja) 自動運転車両のための歩行者確率予測システム
JP2019182399A (ja) 自動運転に用いられる感知と計画のコラボレーションフレームワーク
CN110621541B (zh) 用于生成轨迹以操作自动驾驶车辆的方法和系统
JP2020001679A (ja) 自動運転車両の駐車軌跡の計画
CN111857118B (zh) 对停车轨迹分段以控制自动驾驶车辆停车
JP7149288B2 (ja) 自動運転車両のための螺旋曲線に基づく垂直駐車計画システム
US20210188282A1 (en) Methods for obstacle filtering for a non-nudge planning system in an autonomous driving vehicle
CN111328385A (zh) 用于自动驾驶车辆的基于螺旋路径的三点转弯规划
CN111683851B (zh) 用于自动驾驶的自反向车道的相互避开算法
CN111649751A (zh) 一种用于参考线平滑的超自由缝合方法
CN112041774A (zh) 用于3级自动驾驶车辆的基于摄像机的横向位置校准
CN111629947A (zh) 自动驾驶车辆的用于生成参考线的方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220920

R150 Certificate of patent or registration of utility model

Ref document number: 7145867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150