JP7050025B2 - 自動運転車両のための計画運転感知システム - Google Patents

自動運転車両のための計画運転感知システム Download PDF

Info

Publication number
JP7050025B2
JP7050025B2 JP2019058926A JP2019058926A JP7050025B2 JP 7050025 B2 JP7050025 B2 JP 7050025B2 JP 2019058926 A JP2019058926 A JP 2019058926A JP 2019058926 A JP2019058926 A JP 2019058926A JP 7050025 B2 JP7050025 B2 JP 7050025B2
Authority
JP
Japan
Prior art keywords
driving
self
planning
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019058926A
Other languages
English (en)
Other versions
JP2020009412A (ja
Inventor
ヂュ、ファン
コン、チー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2020009412A publication Critical patent/JP2020009412A/ja
Application granted granted Critical
Publication of JP7050025B2 publication Critical patent/JP7050025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • B60W2050/065Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot by reducing the computational load on the digital processor of the control computer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318Controlling the steering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明の実施形態は、主に自動運転車両の操作に関する。より具体的には、本発明の実施形態は、自動運転車両の感知システムに関する。
自動運転モード(例えば、無人運転)で運転している車両は、運転に関連するいくつかの責任から乗員、特に運転手を解放することができる。自動運転モードで運転しているとき、車両は車載センサーを使用してさまざまな地点にナビゲートされることができるため、車両が最小限のヒューマンコンピュータインタラクションや乗客なしなどの状況で走行することができる。
運動計画および制御は自動運転における重要な操作である。ほとんどの計画及び制御は、慣性計測ユニット(IMU)、光検出・測距(LIDAR)ユニット、レーダセンサーなどの様々なセンサーから取得されたセンサーデータに基づいて実行される。また、自動運転車両(AVD)には複数の冗長センサーが配置されているが、これらのセンサーのセンサーデータを処理すると、計算コストが高くなる。センサーデータの計算コストを低減するための効率的な方法がない。
本発明の一態様は、自動運転車両を操作するためのコンピュータ実施方法であって、計画モジュールによって、感知モジュールから前記自動運転車両の周囲の運転環境を記述する第1の感知データを受信することと、前記計画モジュールによって、前記第1の感知データに基づいて現在の運転サイクルのための軌道を計画することにより、前記自動運転車両を第1の位置から第2の位置に駆動することと、前記軌道に基づいて、運転意図および前記自動運転車両の周囲の1つ以上の関心領域を決定することと、アプリケーションプログラミングインターフェースを介して前記運転意図および前記1つ以上の関心領域を前記感知モジュールに送信することと、前記感知モジュールによって、前記運転意図および前記1つ以上の関心領域に基づいて、次の運転サイクルのための第2の感知データを生成することと、を含む方法に関する。
本発明の他の一態様は、命令が記憶されている非一時的な機械可読媒体であって、前記命令がプロセッサによって実行される場合に、計画モジュールによって、感知モジュールから自動運転車両の周囲の運転環境を記述する第1の感知データを受信することと、
前記計画モジュールによって、前記第1の感知データに基づいて現在の運転サイクルのための軌道を計画することにより、前記自動運転車両を第1の位置から第2の位置に駆動することと、前記軌道に基づいて、運転意図および前記自動運転車両の周囲の1つ以上の関心領域を決定することと、アプリケーションプログラミングインターフェースを介して前記運転意図および前記1つ以上の関心領域を前記感知モジュールに送信することと、前記感知モジュールによって、前記運転意図および前記1つ以上の関心領域に基づいて、次の運転サイクルのための第2の感知データを生成することと、を前記プロセッサに実行させる非一時的な機械可読媒体に関する。
本発明の他の一態様は、プロセッサと、前記プロセッサに接続されて命令を記憶するメモリとを含むデータ処理システムであって、前記命令がプロセッサによって実行され場合に、計画モジュールによって、感知モジュールから前記自動運転車両の周囲の運転環境を記述する第1の感知データを受信することと、前記計画モジュールによって、前記第1の感知データに基づいて現在の運転サイクルのための軌道を計画することにより、前記自動運転車両を第1の位置から第2の位置に駆動することと、前記軌道に基づいて、運転意図および前記自動運転車両の周囲の1つ以上の関心領域を決定することと、アプリケーションプログラミングインターフェースを介して前記運転意図および前記1つ以上の関心領域を前記感知モジュールに送信することと、前記感知モジュールによって、前記運転意図および前記1つ以上の関心領域に基づいて、次の運転サイクルのための第2の感知データを生成することと、を前記プロセッサに実行させるデータ処理システムに関する。
本発明の実施形態は、例として説明され、添付の図面に限定されない。図面において、同様の符号は同様の要素を示す。
一実施形態に係るネットワーク化システムを示すブロック図である。
一実施形態に係る自動運転車両の例を示すブロック図である。
一実施形態に係る自動運転車両と共に使用される感知・計画システムの例を示すブロック図である。 一実施形態に係る自動運転車両と共に使用される感知・計画システムの例を示すブロック図である。
一実施形態に係る計画モジュールの例を示すブロック図である。
一実施形態に係る関心領域構成の例を示すブロック図である。
一実施形態に係る関心領域を決定するプロセスを示すブロック図である。
別の実施形態に係る関心領域を決定するプロセスを示すブロック図である。
一実施形態に係る自動運転車両を操作するためのプロセスを示すフローチャートである。
一実施形態に係るデータ処理システムを示すブロック図である。
本発明の様々な実施形態および態様を以下に検討される詳細を参照して記載し、図面には、前記様々な実施形態が示されている。以下の記載及び図面は本発明を説明するためのものであり、本発明を限定するものと解釈されるべきではない。特定の詳細を多く記載することは、本発明の様々な実施形態を完全に理解するためである。しかしながら、本発明の実施形態を簡潔に検討するために、周知または従来の詳細は記載しない場合もある。
本明細書における「一実施形態」または「実施形態」への言及は、当該実施形態に関連して説明された特定の特徴、構造、または特性が本発明の少なくとも1つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所に出現する「一実施形態では」とは、必ずしも全て同じ実施形態を指すわけではない。
いくつかの実施形態によれば、感知モジュールは、さまざまなセンサー(例えばLIDAR、IMU、レーダーおよびカメラなど)から取得されたセンサーデータに基づいて、AVDの周囲の運転環境を感知する。前記感知モジュールから受信した感知データに基づいて、計画モジュールは、現在の運転サイクルのための軌道を計画することにより、前記AVDを第1の位置から第2の位置に駆動する。また、前記計画モジュールは、前記軌道に基づいて、運転意図および前記AVDの周囲の1つ以上の関心領域(ROIs)を決定する。前記運転意図および前記ROIsの情報は、フィードバックとして前記感知モジュールに提供される。次に、前記感知モジュールは選択的なセンサーからの前記センサーデータを処理して次の運転サイクルのための感知データを生成することができる。前記選択的なセンサーを前記運転意図および前記ROIsに基づいて決定して選択することができる。したがって、前記運転意図および前記ROIsを利用して、次のサイクルのための計画に関連するセンサーを識別することができ、それによって無関係なセンサーのセンサーデータを無視して感知モジュールの計算コストを低減することができる。
一実施形態によれば、運転意図は、追従車線、交差点での車線変更、左折、右折、車線合流、または後退のうちの1つであることができる。前記ROIsは、ADVを実質的に囲む前領域、後領域、左領域、右領域、前左領域、前右領域、後左領域、または後右領域を含む。
一実施形態では、運転意図および1つ以上の関心領域(ROIs)を決定する際に、前記ROIsのそれぞれに対し、前記自動運転車両の現在位置からの前記関心領域(ROI)の距離範囲と前記ROIの走査角度範囲を計算する。前記ROIの領域は、前記距離範囲と前記走査角度範囲によって定義される。一実施形態では、前記距離範囲は、前記ADVの現在速度と車線(例えば、前記ADVが走行している現在の車線または交差点でのクロス車線)の制限速度に基づいて計算される。前記距離範囲は、前記ADVの前記現在速度および前記制限速度に基づいて計算された速度値に所定の時間(例えば、8秒)を乗じることにより計算される。具体的な実施形態では、前記速度値は、前記ADVの前記現在速度の大きい値または前記制限速度の所定の割合(例えば150%)に基づいて計算される。あるいは、別の実施形態によれば、前記速度値は、前記ADVの前記現在速度と前記制限速度の所定の割合(例えば150%)との差に基づいて計算される。さらに、前記距離範囲は、前記ADVの前記現在位置と前記ADVが走行している現在の車線の車線境界との間の距離に基づいて計算されてもよい。あるいは、前記距離範囲は、さらに隣接する車線の車線幅に基づいて計算されてもよい。
図1は、本発明の一実施形態に係る自動運転車両ネットワーク構成を示すブロック図である。図1を参照すると、ネットワーク構成100は、ネットワーク102を介して1つまたは複数のサーバ103~104に通信可能に接続された自動運転車両101を含む。1つの自動運転車両が示されているが、複数の自動運転車両がネットワーク102を介して互いに接続され、および/またはサーバ103~104に接続されることが可能である。ネットワーク102は、有線または無線のローカルエリアネットワーク(LAN)、インターネットなどの広域ネットワーク(WAN)、セルラーネットワーク、衛星ネットワーク、またはそれらの組み合わせなどの任意のタイプのネットワークであってもよい。サーバ103~104は、ウェブまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、またはそれらの組み合わせなどの任意のタイプのサーバまたはサーバ・クラスタであってもよい。サーバ103~104は、データ分析サーバ、コンテンツサーバ、交通情報サーバ、地図・関心点(MPOI:map and point of interest)サーバまたはロケーションサーバなどであってもよい。
自動運転車両とは、自動運転モードになるように配置可能な車両を指し、前記自動運転モードで、運転者からの入力がほとんどまたは全くない状況で、車両が周囲の環境をナビゲートして通過する。このような自動運転車両は、車両の運転環境に関連する情報を検出するように構成された1つ以上のセンサーを有するセンサーシステムを含むことが可能である。前記車両及びかかるコントローラは、検出された情報を使用して周囲の環境をナビゲートして通過する。自動運転車両101は、手動モード、全自動運転モード、または一部自動運転モードで運転することができる。
一実施形態では、自動運転車両101は、感知・計画システム110、車両制御システム111、無線通信システム112、ユーザインタフェースシステム113、情報システム114およびセンサーシステム115を含むが、これらに限定されない。自動運転車両101はエンジン、ホイール、ステアリングホイール、トランスミッションなどの一般の車両に含まれるいくつかの共通の要素をさらに含み、例えば加速信号または命令、減速信号または命令、ステアリング信号または命令、ブレーキ信号または命令などの様々な通信信号および/または命令を使用して、車両制御システム111および/または感知・計画システム110によって、前記要素を制御してもよい。
要素110~115同士は、インターコネクト、バス、ネットワーク、またはそれらの組み合わせを介して通信可能に接続されることが可能である。例えば、要素110~115同士は、コントローラエリアネットワーク(CAN)バスを介して通信可能に接続されることができる。CANバスは、マイクロコントローラとデバイスがホストコンピュータなしのアプリケーションで互いに通信することを許容するように設計された車両バス規格である。これは、もともと自動車内の多重電気配線のために設計されたメッセージベースのプロトコルでしたが、他の多くの環境でも使用されている。
次に、図2を参照すると、一実施形態では、センサーシステム115は、1つ以上のカメラ211と、全地球測位システム(GPS)ユニット212と、慣性計測ユニット(IMU)213と、レーダユニット214と、光検出・測距(LIDAR)ユニット215とを含むが、これらに限定されない。GPSユニット212は、自動運転車両の位置に関する情報を提供するように動作できる送受信機を含むことができる。IMUユニット213は、慣性加速度に基づいて自動運転車両の位置および向きの変化を検知することができる。レーダユニット214は、無線信号を利用して自動運転車両のローカル環境内の対象物を感知するシステムを表すことができる。いくつかの実施形態では、対象物を感知することに加えて、レーダーユニット214は、対象物の速度および/または進行方向をさらに感知することができる。LIDARユニット215は、レーザを使用することにより自動運転車両が存在する環境における対象物を感知することができる。他のシステム要素を除いて、LIDARユニット215は、1つ以上のレーザ源、レーザスキャナ、および1つ以上の検出器も含むことができる。カメラ211は、自動運転車両の周囲の環境の画像を取得するための1つ以上の装置を含むことができる。カメラ211は、カメラおよび/またはビデオカメラであってもよい。カメラは、例えば回転および/または傾斜プラットフォーム上にカメラを取り付けることによって、機械的に移動可能なものであってもよい。
センサーシステム115は、ソナーセンサー、赤外線センサー、ステアリングセンサー、スロットルセンサー、ブレーキセンサー、およびオーディオセンサー(例えば、マイクロフォン)などの他のセンサーをさらに含むことができる。オーディオセンサーは、自動運転車両の周囲の環境から音を集音するように構成されることができる。ステアリングセンサーは、ステアリングホイール、車両の車輪、またはそれらの組み合わせの操舵角を感知するように構成されることができる。スロットルセンサーおよびブレーキセンサーは、それぞれ車両のスロットル位置およびブレーキ位置を検知する。スロットルセンサー及びブレーキセンサーは、集積式スロットル/ブレーキセンサーとして集積される場合もある。
一実施形態では、車両制御システム111は、ステアリングユニット201、スロットルユニット202(加速ユニットとも呼ばれる)、およびブレーキユニット203を含むが、これらに限定されない。ステアリングユニット201は、車両の向きまたは進行方向を調整するために使用される。スロットルユニット202は、モータまたはエンジンの速度を制御して車両の速度および加速度を制御するために使用される。ブレーキユニット203は、摩擦を与えて車両の車輪またはタイヤを減速させることによって車両を減速させる。なお、図2に示される要素は、ハードウェア、ソフトウェア、またはそれらの組み合わせによって実施されることができる。
図1に戻って参照すると、無線通信システム112は、自動運転車両101と装置、センサー、他の車両などの外部システムとの間の通信を可能にする。例えば、無線通信システム112は、直接またはネットワーク102上のサーバ103~104などの通信ネットワークを介して1つ以上の装置と無線通信することができる。無線通信システム112は、別の要素またはシステムと通信するために、例えばWiFi(登録商標)などの任意のセルラー通信ネットワークまたは無線ローカルエリアネットワーク(WLAN)を使用することができる。無線通信システム112は、例えば赤外線リンク、Bluetooth(登録商標)などを使用して装置(例えば、乗客の移動装置、表示装置、車両101内のスピーカー)と直接通信することができる。ユーザインタフェースシステム113は、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、およびスピーカなどを含む車両101内に実施される周辺装置の一部であってもよい。
特に自動運転モードで動作しているときに、感知・計画システム110によって自動運転車両101の機能の一部または全部を制御または管理することができる。感知・計画システム110は、必要なハードウェア(例えば、プロセッサ、メモリ、記憶装置)およびソフトウェア(例えば、オペレーティングシステム、計画・ルーティングプログラム)を含むことにより、センサーシステム115、制御システム111、無線通信システム112および/またはユーザインターフェースシステム113から情報を受信し、受信した情報を処理し、出発地から目的地までのルートまたは経路を計画し、その後、計画および制御情報に基づいて車両101を運転する。代わりに、感知・計画システム110を車両制御システム111と統合することができる。
例えば、乗客であるユーザは、例えばユーザインターフェースを介して、旅程の出発地と目的地を指定することができる。感知・計画システム110は旅程関連データを取得する。例えば、感知・計画システム110は、MPOIサーバから位置および経路情報を取得することができ、MPOIサーバはサーバ103~104の一部である可能である。ロケーションサーバはロケーションサービスを提供し、MPOIサーバはマップサービスとあるロケーションのPOIを提供する。代わりに、このような位置およびMPOI情報を感知・計画システム110の永続記憶装置にローカルキャッシュすることができる。
自動運転車両101が経路に沿って移動するときに、感知・計画システム110は、交通情報システムまたはサーバ(TIS)からリアルタイム交通情報を取得することができる。なお、サーバ103~104は第三者のエンティティによって操作されることが可能である。代わりに、サーバ103~104の機能を感知・計画システム110に集積されてもよい。リアルタイム交通情報、MPOI情報およびロケーション情報、ならびにセンサーシステム115によって検出または感知されたリアルタイムローカル環境データ(例えば、障害物、対象物、近くの車両)に基づいて、感知・計画システム110は最適経路を計画し、計画された最適経路に従って、例えば、制御システム111を介して、安全かつ効率的に指定された目的地に到達するように車両101を運転することができる。
サーバ103は、様々なクライアントに対してデータ分析サービスを実行するためのデータ分析システムであってもよい。一実施形態では、データ分析システム103は、データコレクタ121と機械学習エンジン122を含む。データコレクタ121は、自動運転車両であっても人間の運転手によって運転される一般車両であっても、様々な車から運転統計123を収集する。運転統計123は、発された運転指令(例えば、スロットル、ブレーキ、ステアリング指令)および異なる時点で車両のセンサーによって取得された車両の応答(例えば、速度、加速度、減速度、方向)を示す情報を含む。運転統計123は、例えば、ルート(出発地および目的地を含む)、MPOIs、道路状況、気象状況などの、異なる時点での運転環境を記述する情報をさらに含むことができる。
機械学習エンジン122は、様々な目的のために、駆動統計123に基づいて、ルールセット、アルゴリズム、および/または予測モデル124を生成または訓練する。一実施形態では、アルゴリズム124は、上記のように運転意図およびROIsを定義し、ROIの領域または範囲を計算するためのアルゴリズムまたはルールを含んでもよい。次いで、アルゴリズム124をADVsにアップロードして、自動運転中にリアルタイムでROIsを決定するために利用することができる。
図3Aと図3Bは、一実施形態に係る自動運転車両と共に使用される感知・計画システムの例を示すブロック図である。システム300は、図1の自動運転車両101の一部として実施されることができ、感知・計画システム110、制御システム111、およびセンサーシステム115を含むが、これらに限定されない。図3A~図3Bを参照すると、感知・計画システム110は、測位モジュール301、感知モジュール302、予測モジュール303、決定モジュール304、計画モジュール305、制御モジュール306、およびルーティングモジュール307を含むが、これらに限定されない。
モジュール301~307のうちのいくつかまたはすべては、ソフトウェア、ハードウェア、またはそれらの組み合わせで実施されることが可能である。例えば、これらのモジュールは、永続記憶装置352にインストールされ、メモリ351にロードされ、そして1つ以上のプロセッサ(図示せず)によって実行されることができる。なお、これらのモジュールのうちのいくつかまたはすべてが、図2の車両制御システム111のモジュールのうちのいくつかまたはすべてに通信可能に接続されるかまたはそれらと一体に集積される。モジュール301~307のいくつかは、統合モジュールとして一体に集積されてもよい。
測位モジュール301、自動運転車両300の現在位置を(例えば、GPSユニット212を利用し)特定するとともに、ユーザの旅程または経路に関連するいかなるデータを管理する。測位モジュール301(地図・ルーティングモジュールとも呼ばれる)は、ユーザの旅程または経路に関連するいかなるデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインして、旅程の出発地と目的地を指定することができる。測位モジュール301は、旅程関連データを取得するために、地図・経路情報311などの自動運転車両300の他の要素と通信する。例えば、測位モジュール301は、ロケーションサーバおよび地図およびPOI(MPOI)サーバからロケーションおよび経路情報を取得することができる。ロケーションサーバはロケーションサービスを提供し、MPOIサーバはマップサービスとあるロケーションのPOIを提供することにより、マップおよびルート情報の一部としてキャッシュされる。自動運転車両300が経路に沿って移動するときに、測位モジュール301は、交通情報システムまたはサーバからリアルタイム交通情報を取得することができる。
センサーシステム115によって提供されたセンサーデータと測位モジュール301によって得られた測位情報とに基づいて、感知モジュール302は周囲環境への感知を特定する。感知情報は、普通の運転者が運転者が運転している車両の周りで感知するであろうものを表すことができる。感知は、例えば、対象物の形態の車線構成、信号機信号、他の車両の相対位置、歩行者、建物、横断歩道、または他の交通関連標識(例えば、停止標識、道譲り標識)を含むことができる。上記車線構成は、例えば、車線の形状(例えば直線または曲線)、車線の幅、道路内の車線数、一方通行または双方向の車線、合流または分割の車線、退出車線等の車線を記述する情報を含む。
感知モジュール302は、1つ以上のカメラによって取得された画像を処理し分析するためのコンピュータビジョンシステムまたはコンピュータビジョンシステムの機能を含むことにより、自動運転車両環境内の対象物および/または特徴を識別することができる。前記対象物は、交通信号、道路境界、他の車両、歩行者および/または障害物などを含む。コンピュータビジョンシステムは、対象物認識アルゴリズム、ビデオ追跡、およびその他のコンピュータビジョン技術を使用できる。いくつかの実施形態では、コンピュータビジョンシステムは、環境地図を描き、物体を追跡し、そして対象物の速度等を推定することができる。感知モジュール302は、レーダおよび/またはLIDARなどの他のセンサーによって提供される他のセンサーデータに基づいて対象物を検出することもできる。
各対象物に対し、予測モジュール303は、この状況において対象物がどのように動作するかを予測する。予測は、一組の地図・経路情報311および交通ルール312を考慮した時点で運転環境を感知する感知データに基づいて実行される。例えば、対象物が反対方向の車両であり、且つ、現在の運転環境が交差点を含む場合、予測モジュール303は、車両が直進するか、または会見旋回するかを予測する。感知データが交差点に信号機がないことを示す場合、予測モジュール303は、交差点に入る前に車両が完全に停止しなければいけない可能性があると予測することがある。感知データが車両が現在左折専用車線または右折専用車線にあることを示す場合、予測モジュール303は、車両がそれぞれ左折または右折する可能性が高いと予測することができる。
各対象物に対し、決定モジュール304は、対象物をどのように対応するかを決定する。例えば、特定の対象物(例えば、交差ルート内の他の車両)及び対象物を記述するメタデータ(例えば、速度、方向、回転角度)に対し、決定モジュール304は、前記対象物に遭遇する時どのように動作するか(例えば、追い越し、道譲り、停止、超過)を決定する。決定モジュール304は、永続記憶装置352に記憶されることができる交通ルールまたは運転ルール312などのルールセットに基づいてこのような決定を下すことができる。
ルーティングモジュール307は、出発地から目的地までの1つ以上の経路またはルートを提供するように構成される。例えばユーザから受信した所与の旅程などの出発地から目的地までの所与の旅程に対し、ルーティングモジュール307は、地図・経路情報311を取得し、出発地から目的地までのすべての可能な経路またはルートを決定する。ルーティングモジュール307は、出発地から目的地までの各経路を決定する地形図の形態の基準線を生成することができる。基準線とは、他の車両、障害物、または交通状況などの他のものからの干渉がない理想的な経路またはルートを指す。つまり、道路上に他の車両、歩行者、または障害物がない場合、ADVは基準線に正確にまたは密接に従うべきである。そして、地形図を決定モジュール304および/または計画モジュール305に提供する。決定モジュール304および/または計画モジュール305は、他のモジュールによって提供される他のデータに基づいて最適の経路のうちの1つを選択し変更するためにすべての可能な経路を検査し、ここで、他のデータは、測位モジュール301からの交通状況、感知モジュール302によって感知された運転環境、および予測モジュール303によって予測された交通状況などである。時点での特定の運転環境に応じて、ADVを制御するための実際の経路またはルートは、ルーティングモジュール307によって提供される基準線に近いかまたは異なることがある。
感知された対象物に対する各決定に基づいて、計画モジュール305は、基礎としてルーティングモジュール307によって提供される基準線を使用することにより、自動運転車両に対し経路またはルートおよび運転パラメータ(例えば、距離、速度および/または旋回角度)を計画する。言い換えれば、所与の対象物に対し、決定モジュール304は当該対象物をどうするかを決定し、計画モジュール305はどのようにするかを決定する。例えば、所与の対象物に対し、決定モジュール304は前記対象物を超過することと決定することができ、計画モジュール305は前記対象物の左側または右側のどちらを超過するかを決定することができる。計画・制御データは、計画モジュール305によって生成され、車両300が次の移動サイクル(例えば、次のルート/経路セグメント)においてどのように移動するかを記述する情報を含む。例えば、計画・制御データは、30マイル/時(mph)の速度で10メートル移動し、次に25mphの速度で右車線に変更するように車両300に指示することができる。
計画・制御データに基づいて、制御モジュール306は、計画・制御データによって限られた経路またはルートに基づいて適切な命令または信号を車両制御システム111に送信することによって自動運転車両を制御し運転する。前記計画・制御データは、十分な情報を含むことにより、経路またはルートに沿って異なる時点で適切な車両設定または運転パラメータ(例えば、スロットル、ブレーキ、および旋回命令)を使用して、経路またはルートの第1の地点から第2の地点まで車両を走行させる。
一実施形態では、計画段階は、複数の計画サイクル(命令サイクルとも呼ばれる)で、例えば各時間間隔100ミリ秒(ms)のサイクルで実行される。計画サイクルまたは命令サイクルのそれぞれについて、計画・制御データに基づいて1つ以上の制御命令を発する。すなわち、100msごとに、計画モジュール305は、例えば対象物位置およびADVが対象物位置に到達するのに必要な時間を含めて、次のルートセグメントまたは経路セグメントを計画する。代わりに、計画モジュール305は、具体的な速度、方向、および/または操舵角などを計画することもできる。一実施形態では、計画モジュール305は、次の所定の期間(例えば5秒間)についてルートセグメントまたは経路セグメントを計画する。各計画サイクルに対して、計画モジュール305は、前のサイクルで計画された目標位置に基づいて現在のサイクル(例えば次の5秒間)の目標位置を計画する。次に、制御モジュール306は、現在のサイクルの計画・制御データに基づいて、1つ以上の制御命令(例えば、スロットル、ブレーキ、ステアリング制御命令)を生成する。
なお、決定モジュール304および計画モジュール305は集積モジュールとして集積されてもよい。決定モジュール304 /計画モジュール305は、自動運転車両の運転経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含むことができる。例えば、ナビゲーションシステムは、自動運転車両が自動運転車両を最終目的地に至る車道に基づく経路に沿って前進させながら感知された障害物を実質的に避ける経路に沿って移動することを達成するための一連の速度及び進行方向を決定することができる。目的地は、ユーザインタフェースシステム113を介したユーザ入力に従って設定されることができる。ナビゲーションシステムは、自動運転車両の運転中に運転経路を動的に更新することができる。ナビゲーションシステムは、GPSシステムと1つ以上の地図からのデータを組み合わせることにより、自動運転車両の運転経路を決定することができる。
一実施形態によれば、感知モジュール302は、LIDAR、IMU、RADAR、およびカメラなどのような様々なセンサーから取得されたセンサーデータに基づいて、ADV300の周囲の運転環境を感知する。上記感知モジュール302から受信した感知データに基づいて、計画モジュール305は、現在の運転サイクルのための軌道を計画することにより、ADV300を第1の位置から第2の位置に駆動するように構成される。また、上記計画モジュール305は、ROI決定アルゴリズム313を使用して、上記軌道に基づいて、運転意図および上記ADVの周囲の1つ以上の関心領域(ROIs)320を決定する。次に、運転意図および上記ROIsの情報は、フィードバックとして上記感知モジュール302に提供される。次に、上記感知モジュール302は選択的なセンサーからの上記センサーデータを処理して次の運転サイクルのための上記感知データを生成することができる。上記選択的なセンサーを上記運転意図および上記ROIsに基づいて決定して選択することができる。したがって、前記運転意図および前記ROIsを利用して、次のサイクルのための計画に関連するセンサーを識別することができ、それによって無関係なセンサーのセンサーデータを無視して感知モジュールの計算コストを低減することができる。
図4は、一実施形態に係る計画モジュールの例を示すブロック図である。図4を参照すると、計画モジュール305は、意図決定モジュール401とROI決定モジュール402とを含む。意図決定モジュール401は上記軌道に基づいて上記ADVの意図を決定するように構成され、ROI決定モジュール402はROIアルゴリズム313を使用して上記ROIsを計算するように構成される。一実施形態によれば、運転意図は、追従車線、交差点での車線変更、左折、右折、車線合流、または後退のうちの1つであることができる。上記ROIsは、上記ADVを実質的に囲む前領域、後領域、左領域、右領域、前左領域、前右領域、後左領域、または後右領域を含む。ROI決定モジュール402は、個別のROIsを計算するために個別のROIサブモジュールをさらに含んでもよい。例えば、ROI決定モジュール402は、前領域計算機、後領域計算機、左領域計算機、右領域計算機、前左領域計算機、前右領域計算機、後左領域計算機および後右領域計算機(図示せず)を含むことにより、前領域、後領域、左領域、右領域、前左領域、前右領域、後左領域、または後右領域をそれぞれに計算することができる。
次に、図5を参照すると、一実施形態によれば、上記ROIsは、少なくともADV500を囲む前左ROI501、前ROI502、前右ROI503、左ROI504、右ROI505、後左ROI506、後ROI507、および後右ROI508を含む。ROI501~508の各々について、ROI決定モジュール402は、ROIのための特定のアルゴリズムを使用して上記ROIの領域を決定するように構成される。ROI501~508の各々は、同じまたは異なるROI決定アルゴリズムに関連してもよい。各ROIは、距離範囲および走査角度範囲によって定義される領域を含む。
一実施形態では、ROIの走査角度範囲は、ROIを表すブロックの最外縁に所定の角度マージンを加えることにより算出される。具体的な実施形態では、上記所定の角度マージンは約±15度である。一実施形態では、ROIを表すブロックは、上記ADVの車両長に対応する大きさの正方形ブロックまたは矩形ブロックである。例えば、ブロックのより長いまたは最も長いエッジの長さは、少なくとも車両の長さである。±角度マージンを加えることによって、少なくとも隣接するROIが重なって、ROIsが上記ADVを囲むすべての可能な領域をカバーすることを保証する。特定のROIに対し、上記ROIの位置および/または上記ADVに対する運転意図に応じて、上記距離範囲および/または走査角度を異なるように決定してもよい。
例えば、図6に示された前ROIに対し、±15度が角度マージンとしてブロック502の最外縁に加えられる。したがって、ブロック502に関連する前ROIの領域は、点またはコーナー601~604を介して接続されたエッジおよび曲線、ならびに距離範囲610によって定義されることができる。距離範囲610は、その時点での運転意図に応じて計算されることができる。一実施形態によれば、前ROI502に対し、距離範囲610は、ADV500の現在速度およびADV500が走行している車線の制限速度に基づいて計算されてもよい。上記距離範囲610は、上記ADVの上記現在速度および上記制限速度に基づいて計算された速度値に所定の時間(例えば、8秒)を乗じることにより計算される。具体的な実施形態では、上記速度値は、例えば上記ADVの上記現在速度のより大きい値および上記制限速度の所定の割合に基づいて計算され、例えば、距離範囲= max(制限速度の150%、ADVの現在速度)*8秒である。上記前ROI502は、通常、運転意図が現在の車線または車線変更に追従するときに利用される。車線の制限速度は、関連車線または車線に対応する地図の地図データから取得されることができる。
後ROI507の角度範囲は、前ROI502の角度範囲と同様に決定されることができる。一実施形態では、後ROI507の距離範囲は、制限速度とADVの現在速度との差に所定の時間(例えば、8秒)を乗じることにより決定される。具体的な実施形態では、後ROI507の上記距離範囲は、上記制限速度の所定の割合と上記ADVの上記現在速度との差に上記所定の時間を乗じることにより決定され、例えば、距離範囲=(150%*制限速度-ADVの現在速度)*8秒である。上記後ROI507は、通常、運転意図が後退であるときに利用される。
左ROI504と右ROI505の角度範囲は、前ROI502または後ROI507の角度範囲を決定するのと同様のアルゴリズムを使用することにより決定されることができる。上記左ROI504と右ROI505の距離範囲は、対応する運転意図に応じて決定されることができる。例えば、運転意図が交差点にあることである場合、一実施形態によれば、上記左ROI504または右ROI505の上記距離範囲は、クロス車線の上記制限速度に基づいて計算されることができる。具体的な実施形態では、上記交差点における上記左ROI504または右ROI505の上記距離範囲は、上記クロス車線の上記制限速度の所定の割合(例えば150%)に所定の時間(例えば8秒)を乗じることにより計算されることができ、例えば、距離範囲=制限速度の150%* 8秒である。
上記運転意図が車線を変更することである場合、上記左ROI504と右ROI505の距離範囲は異なってもよい。例えば、運転意図が車線を左に変更することである場合、一実施形態によれば、上記左ROI504の距離範囲は、ADVの現在位置(例えば、ADVの後車軸の中心)と現在の車線の左側境界との間の距離、および左側の隣接車線の車線幅に基づいて計算される。具体的な実施形態では、上記左ROI504の距離範囲は、次のように決定されることができ、即ち、距離範囲=現在の車線の左側境界までの距離+左側の隣接車線の車線幅+追加マージンである。一実施形態では、追加マージンは約1メートルである。上記車線幅および上記ADVと車線の境界との間の距離は、LIDAR、カメラ、超音波センサーなどのような様々なセンサーを使用することにより測定されることができる。同様に、車線を右に変更する運転意図については、同様の技術を使用して上記右ROI505の距離範囲を決定することができる。
上記運転意図が現在の車線内で左折することである場合、一実施形態によれば、上記左ROI504の距離範囲は、ADVの現在位置と現在の車線の左境界との間の距離に基づいて決定されることができる。具体的に、具体的な実施形態では、上記左ROI504の距離範囲は、次のように決定されることができ、即ち、距離範囲=ADVと現在の車線の左側境界との間の距離+追加バッファ(例えば、1メートル)である。同様に、車線を右に変更する運転意図については、同様の技術を使用して上記右ROI505の距離範囲を決定することができる。
図6に示されたように、前左ROI501、前右ROI503、後左ROI506、および後右ROI508の角度範囲は、上述されたように前ROI502と同様に決定されることができる。次に、図7を参照すると、前右ROI503の角度範囲を決定する際に、ブロック503の最外縁から±15度が加算される。ROIの領域は点701~703を通る境界によって定義される。一実施形態によれば、ADV(例えば後車軸の中心)から曲線704までの距離範囲710は、隣接ROI(この例ではROI502およびROI505)の距離範囲に基づいて決定される。上述したように、ROI502およびROI505の距離範囲は、その時点での運転意図に基づいて決定されることができる。一実施形態では、前右ROI503の距離範囲は、隣接ROI(この例では前ROI503および右ROI505)のより大きい距離範囲に基づいて決定される。前左ROI501、後左ROI506、および後右ROI508の距離範囲を上記と同様の技術を使用して決定することができる。
運転意図およびROI情報が感知モジュールによって受信されると、感知モジュールは、運転意図およびROIsに関連するセンサーからのセンサーデータを選択的に処理することができる。例えば、運転意図が現在の車線に追従する場合には、感知モジュールは、前左ROI501、前ROI502、および前右ROI503をカバーするセンサーから取得されたセンサーデータにより着目する。運転意図が車線を現在の車線から左の隣接車線に変更することである場合、感知モジュールは、前右ROI501、前ROI502、前右ROI503、左ROI504、および後左ROI506をカバーするセンサーから取得されたセンサーデータにより注意する。
図8は、一実施形態に係る自動運転車両を操作するためのプロセスを示すフローチャートである。プロセス800は、ソフトウェア、ハードウェアまたはそれらの組み合わせを含む処理ロジックによって実行されることができる。例えば、プロセス800は、感知モジュール302と計画モジュール305によって実行されることが可能である。図8を参照すると、操作801において、ADVの計画モジュールは、感知モジュールから第1の感知データを受信する。第1の感知データは、上述のように様々なセンサーから取得されたセンサーデータに基づいて感知モジュールによって生成された。第1の感知データは、ADVの周囲の運転環境を記述する。操作802において、計画モジュールは、第1の感知データに基づいて現在の運転サイクルのための軌道を計画することにより、ADVを第1の位置から第2の位置に駆動する。操作803において、計画モジュールは、軌道および/または第1の感知データに基づいて、運転意図および1つ以上の関心領域を決定する。操作804において、計画モジュールは、アプリケーションプログラミングインターフェースを介して運転意図および1つ以上の関心領域を感知モジュールに送信する。操作805において、感知モジュールは、運転意図および1つ以上の関心領域に基づいて、次の運転サイクルのための第2の感知データを生成する。例えば、感知モジュールは、運転意図およびROI情報に基づいて特定のセンサーからのセンサーデータを選択的に処理することができ、それによって計算コストが低減される。
なお、上述のように記載され説明された要素のいくつかまたはすべては、ソフトウェア、ハードウェア、またはそれらの組合せで実施されることが可能である。例えば、このような要素は、永続記憶装置にインストールされ記憶されるソフトウェアとして実施されることができ、前記ソフトウェアは、プロセッサ(図示せず)によってメモリにロードされ、メモリ内で実行されることにより、本願を通じて説明されるプロセスまたは操作を実施することができる。代わりに、このような要素は、(集積回路(例えば、特定用途向け集積回路またはASIC)、デジタル信号プロセッサ(DSP)、またはフィールドプログラマブルゲートアレイ(FPGA)などの専用ハードウェアにプログラムされまたは埋め込まれる実行可能コードとして実施されることができ、前記実行可能コードは、アプリケーションからの対応するドライバおよび/またはオペレーティングシステムを介してアクセスすることができる。また、このような要素は、ソフトウェア要素によって1つ以上の特定の命令を介してアクセスすることができる命令セットの一部として、プロセッサまたはプロセッサコア内の特定のハードウェアロジックとして実施されることが可能である。
図9は、本発明の一実施形態と共に使用されることができるデータ処理システムの一例を示すブロック図である。例えば、システム1500は、上記プロセスまたは方法のうちのいずれかを実行する上記のデータ処理システムのうちのいずれかを表すことができ、例えば、感知・計画システム110または図1のサーバ103~104のいずれかを挙げられる。システム1500は多くの異なる要素を含むことができる。これらの要素は、集積回路(IC)、集積回路の一部、個別電子デバイス、または回路基板(コンピュータシステムのマザーボードまたはアドインカードなど)に適した他のモジュールとして実施されることが可能であり、あるいは他の形態でコンピュータシステムのラックに組み込まれる要素として実施されることが可能である。
なお、システム1500は、コンピュータシステムの多くの要素の高レベルビューを示すことを意図している。しかしながら、いくつかの実施形態では、追加の要素を有してもよく、また、他の実施形態では、示されている要素の異なる構成を有してもよいことを理解すべきである。システム1500は、デスクトップパソコン、ラップトップパソコン、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤ、パーソナルデジタルアシスタント(PDA)、スマートウォッチ、パーソナルコミュニケータ、ゲーム装置、ネットワークルータまたはハブ、ワイヤレスアクセスポイント(AP)またはリピーター、セットトップボックスあるいはそれらの組み合わせを表示することができる。また、単一の機械またはシステムのみが示されているが、「機械」または「システム」という用語は、本明細書で検討されている任意の1種類または複数の種類の方法を実行するために、1つ(または複数)の命令セットを個別でまたは共同で実行するための機械またはシステムの任意の組み合わせも含むと理解されるべきである。
一実施形態では、システム1500は、バスまたはインターコネクト1510を介して接続されたプロセッサ1501、メモリ1503、および装置1505~1508を含む。プロセッサ1501は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを示してもよい。プロセッサ1501は、マイクロプロセッサ、中央処理装置(CPU)などの1つまたは複数の汎用プロセッサを示してもよい。より具体的には、プロセッサ1501は、複雑命令セット計算(CISC)マイクロプロセッサ、縮小命令セット計算(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、他の命令セットを実行するプロセッサ、または命令セットの組み合わせを実行するプロセッサであってもよい。プロセッサ1501は、また、特定用途向け集積回路(ASIC)、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、グラフィックスプロセッサ、通信プロセッサ、暗号化プロセッサ、コプロセッサ、組み込みプロセッサ、または命令を処理できるその他のタイプのロジックなどの1つまたは複数の専用プロセッサであってもよい。
プロセッサ1501(これは、超低電圧プロセッサなどの低電力マルチコアプロセッサソケットであってもよい)は、前記システムの様々な要素と通信するための主処理ユニットおよび中央ハブとして機能することができる。このようなプロセッサは、システムオンチップ(SoC)として実装されてもよい。プロセッサ1501は、本明細書で論じられる操作およびステップを実行するための命令を実行するように構成される。システム1500は、オプションのグラフィックサブシステム1504と通信するグラフィックインタフェースを含んでもよく、グラフィックサブシステム1504は、ディスプレイコントローラ、グラフィックプロセッサおよび/またはディスプレイデバイスを含み得る
プロセッサ1501はメモリ1503と通信することができ、一実施形態では、メモリ1503は複数のメモリデバイスを介して、所与の量のシステムストレージを提供するように作動する。メモリ1503は、ランダムアクセスメモリ(RAM)、ダイナミックRAM(DRAM)、同期DRAM(SDRAM)、スタティックRAM(SRAM)、または他のタイプの記憶装置などの1つまたは複数の揮発性記憶(またはメモリ)装置を含むことができる。メモリ1503は、プロセッサ1501または他の任意の装置によって実行される一連の命令を含む情報を記憶することができる。例えば、さまざまなオペレーティングシステム、デバイスドライバ、ファームウェア(例えば、入出力基本システムまたはBIOS)および/またはアプリケーションの実行可能コードおよび/またはデータをメモリ1503にロードし、プロセッサ1501によって実行することができる。オペレーティングシステムは、例えば、ロボットオペレーティングシステム(ROS)、マイクロソフト(登録商標)からのウィンドウズ(登録商標)オペレーティングシステム、アップルからのマックOS(登録商標)/iOS(登録商標)、グーグル(登録商標)からのアンドロイド(登録商標)、リナックス(登録商標)、UNIX(登録商標)、またはその他のリアルタイムまたは組み込みオペレーティングシステムなどの任意のタイプのオペレーティングシステムであってもよい。
システム1500は、ネットワークインターフェースデバイス1505、選択可能な入力デバイス1506、および他の選択可能なIOデバイス1507を含む、デバイス1505~1508などのIOデバイスも含むことができる。ネットワークインターフェースデバイス1505は、無線送受信機および/またはネットワークインターフェースカード(NIC)を含み得る。前記無線送受信機は、WiFi送受信機、赤外線送受信機、ブルートゥース(登録商標)送受信機、WiMax送受信機、無線セルラー携帯電話送受信機、衛星送受信機(例えば全地球測位システム(GPS)送受信機)、他の無線周波数(RF)送受信機またはそれらの組み合わせであってもよい。NICはイーサネット(登録商標)カードであってもよい。
入力装置1506は、マウス、タッチパネル、(ディスプレイ装置1504と統合することができる)タッチセンシティブスクリーン、(スタイラスなどの)ポインティングデバイスおよび/またはキーボード(例えば、物理的キーボードまたはタッチセンシティブスクリーンの一部として表示される仮想キーボード)を含み得る。例えば、入力装置1506は、タッチスクリーンに接続されたタッチスクリーンコントローラを含み得る。タッチスクリーンおよびタッチスクリーンコントローラは、例えば、複数の種類のタッチ感度技術(容量式、抵抗式、赤外線式、および表面弾性波式の技術を含むがこれらに限定されない)のいずれか、および、他の近接センサーアレイまたはタッチスクリーンと接触する1つまたは複数の点を決定するための他の要素を用いて、その接触および移動または不連続性を検出できる。
IOデバイス1507はオーディオデバイスを含むことができる。音声装置は、音声認識、音声コピー、デジタル録音および/または電話機能などの音声対応機能を容易にするために、スピーカおよび/またはマイクロフォンを含むことができる。他のIOデバイス1507は、ユニバーサルシリアルバス(USB)ポート、パラレルポート、シリアルポート、プリンタ、ネットワークインターフェース、バスブリッジ(例えば、PCI-PCIブリッジ)、センサー(例えば、加速度計モーションセンサー、ジャイロ、磁力計、光センサー、コンパス、近接センサーなど)またはそれらの組み合わせをさらに含み得る。IOデバイス1507は画像処理サブシステム(例えば、カメラ)をさらに含むことができ、前記画像処理サブシステムは、(写真およびビデオセグメントの記録などの)カメラ機能を容易にするための電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)光センサーなどの光センサーを含むことができる。特定のセンサーはセンサーハブ(図示せず)を介してインターコネクト1510に接続されることができ、キーボードまたは熱センサーなどの他の装置はシステム1500の特定の構成または設計に応じて埋め込みコントローラ(図示せず)によって制御されることができる。
データ、アプリケーション、1つまたは複数のオペレーティングシステムなどの情報の永続記憶を提供するために、大容量記憶装置(図示せず)もプロセッサ1501に接続することができる。様々な実施形態において、より薄くより軽いシステム設計を可能にし、かつシステムの応答性を改善するために、このような大容量記憶装置はソリッドステートデバイス(SSD)を介して実施されることができる。しかしながら、他の実施形態では、大容量記憶装置は、主にハードディスクドライブ(HDD)を使用して実施することができ、ここで、少数のSSD記憶装置はSSDキャッシュとして機能してパワーダウン事件中にコンテキスト状態および他のこのような情報の不揮発性記憶を可能にすることにより、システムアクティビティの再起動時に高速のパワーアップを可能にする。また、フラッシュ装置は、例えばシリアル周辺インターフェース(SPI)を介してプロセッサ1501に接続されてもよい。このようなフラッシュ装置は、前記システムのBIOSおよび他のファームウェアを含むシステムソフトウェアの不揮発性記憶を提供してもよい。
記憶装置1508は、コンピュータがアクセス可能な記憶媒体1509(機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる)を含むことができ、その中に本明細書に記載の方法または機能のうちの任意の1つまたは複数を表す1つまたは複数の命令セットまたはソフトウェア(例えば、モジュール、ユニットおよび/またはロジック1528)が記憶される。処理モジュール/ユニット/ロジック1528は、例えば計画モジュール305および/または制御モジュール306の上記要素のうちのいずれかを表すことができる。処理モジュール/ユニット/ロジック1528は、それがデータ処理システム1500、メモリ1503およびプロセッサ1501によって実行される期間に、メモリ1503内および/またはプロセッサ1501内に完全的にまたは少なくとも部分的に存在でき、データ処理システム1500、メモリ1503およびプロセッサ1501は、機械がアクセス可能な記憶媒体を構成することもできる。処理モジュール/ユニット/ロジック1528はさらに、ネットワークによってネットワークインターフェースデバイス1505を介して送信または受信することができる。
コンピュータ可読記憶媒体1509を使用して、上記のいくつかのソフトウェア機能を永続的に記憶することもできる。例示的な実施形態では、コンピュータ可読記憶媒体1509は単一の媒体として示されているが、「コンピュータ可読記憶媒体」という用語は前記1つまたは複数の命令セットを記憶する単一の媒体または複数の媒体(例えば、集中型または分散型データベースおよび/または関連付けられるキャッシュとサーバー)を含むと解釈されるべきである。「コンピュータ可読記憶媒体」という用語はまた、命令セットを記憶または符号化することができる任意の媒体を含むと解釈されるべきであり、前記命令セットは、機器による実行に使用され、前記機器に本発明の方法のうちの任意の1つまたは複数を実行させる。したがって、「コンピュータ可読記憶媒体」という用語は、ソリッドステートメモリ、ならびに光媒体および磁気媒体、または他の任意の非一時的な機械可読媒体を含むが、これらに限定しないと解釈されるべきである。
本明細書に記載の処理モジュール/ユニット/ロジック1528、要素および他の特徴は、個別のハードウェア要素として実施され、または(ASIC、FPGA、DSP、または同様のデバイスなど)のハードウェア要素の機能に統合されることができる。また、処理モジュール/ユニット/ロジック1528は、ハードウェアデバイス内のファームウェアまたは機能回路として実施されることができる。さらに、処理モジュール/ユニット/ロジック1528は、ハードウェアデバイスとソフトウェア要素との任意の組み合わせで実施されることができる。
システム1500はデータ処理システムの様々な要素を有するように示されているが、要素を相互接続する任意の特定のアーキテクチャまたは方法を表すことを意図しない。これは、このような詳細と本発明の実施形態とは密接な関係がないからである。本発明の実施形態と共に、より少ない要素またはおそらくより多くの要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムも本発明の実施形態とともに使用され得ることも理解されるべきである。
前述の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する計算のアルゴリズムおよび記号表現に従って提示されてきた。これらのアルゴリズムの説明および表現は、データ処理分野の当業者が彼らの仕事の本質を他の当業者に最も効果的に伝えるために使用する方法である。本明細書では、アルゴリズムは、一般的に、所望の結果をもたらす自己矛盾のない一連の操作であると考えられる。これらの操作は、物理量の物理的操作を必要とするものである。
しかしながら、これらの用語および類似の用語はすべて適切な物理量に関連付けられるように意図され、これらの量に適用される便利なラベルにすぎないことに留意されたい。上記の説明において他の形態で明示的に述べられていない限り、明細書全体において、用語(添付の特許請求の範囲に記載の用語など)を利用した説明とは、コンピュータシステムまたは類似の電子計算装置の動作およびプロセスを指すことを理解しべきであり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリ内の物理(電子)量として表されるデータを操作し、前記データをコンピュータシステムのメモリまたはレジスタまたは他のこのような情報記憶装置、伝送または表示装置内の類似に物理量として表される他のデータに変換する。
本発明の実施形態は、本明細書の操作を実行するための装置にも関する。そのようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機械可読媒体は、機械(例えばコンピュータ)可読な形式で情報を記憶するための任意のメカニズムを含む。例えば、機械可読(例えばコンピュータ可読)媒体は、機械(例えばコンピュータ)可読記憶媒体(例えば、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置)を含む。
前述の図面に示したプロセスまたは方法は、ハードウェア(例えば、回路、専用ロジックなど)、ソフトウェア(例えば、非一時的コンピュータ可読媒体上に反映される)、またはその両方の組み合わせを含む処理ロジックによって実行されることができる。前記プロセスまたは方法は、いくつかの逐次的な操作に従って上で説明されているが、前記操作のいくつかは異なる順序で実行されてもよいことを理解されたい。さらに、いくつかの操作は、順次ではなく並列に実行されてもよい。
本発明の実施形態は、任意の特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語を使用することにより、本明細書に記載の本発明の実施形態の教示を実施することができることを理解しべきである。
上記の明細書において、本発明の実施形態を本発明の具体の例示的な実施形態を参照して説明した。添付の特許請求の範囲に記載された本発明のより広い要旨および範囲から逸脱することなく、本発明に対して様々な修正がなされ得ることは明らかである。したがって、本明細書および図面は限定的な意味ではなく例示的な意味で理解されるべきである。

Claims (22)

  1. 自動運転車両を操作するためのコンピュータ実施方法であって、
    計画モジュールによって、感知モジュールから感知データを受信することと、
    前記計画モジュールによって、前記感知データに基づいて前記自動運転車両を第1の位置から第2の位置に駆動するための現在の運転サイクルの軌道を計画するこであって、前記運転サイクルは、前記軌道を計画する計画段階と、前記自動運転車両を前記計画した軌道に沿って走行させるように制御するための運転命令を出す制御段階とを含むことと、
    前記軌道に基づいて、運転意図および前記自動運転車両の周囲の、当該運転意図に関連する1つ以上の関心領域を決定することと、
    アプリケーションプログラミングインターフェースを介して前記運転意図および前記1つ以上の関心領域を前記感知モジュールに送信することと、
    前記感知モジュールによって、前記運転意図および前記1つ以上の関心領域に基づいて、次の運転サイクルの軌跡計画に関連する一つ又は複数のセンサを識別し、前記識別したセンサからのセンサデータに基づいて前記自動運転車両の周囲の運転環境における対象物及び又は特徴を検出する処理を実行することにより、前記自動運転車両の周囲の運転環境を記述する感知データを生成することであって、前記生成した感知データは、前記計画モジュールによる次の運転サイクルの軌道計画に利用されるものであることと、
    を含む方法。
  2. 前記運転意図は、追従車線、交差点での車線変更、左折、右折、車線合流、または後退のうちの1つである請求項1に記載の方法。
  3. 前記1つ以上の関心領域は、前領域、後領域、左領域、右領域、前左領域、前右領域、後左領域、または後右領域を含む請求項1に記載の方法。
  4. 運転意図および1つ以上の関心領域を決定することは、
    前記1つ以上の関心領域のそれぞれに対し、前記自動運転車両の現在位置からの前記関心領域の距離範囲を計算することと、
    前記関心領域の走査角度範囲を計算することと、
    を含み、
    前記関心領域は、前記距離範囲及び前記走査角度範囲に基づいて計算された領域によって定義される、
    請求項1に記載の方法。
  5. 車線の制限速度を考慮して、前記自動運転車両の現在速度に基づいて前記距離範囲を計算する請求項4に記載の方法。
  6. 前記距離範囲は、前記自動運転車両の前記現在速度および前記制限速度に基づいて計算された速度値に所定の時間を乗じることにより計算される請求項5に記載の方法。
  7. 前記速度値は、前記自動運転車両の前記現在速度の大きい値と前記制限速度の所定の割合に基づいて計算される請求項6に記載の方法。
  8. 前記速度値は、前記自動運転車両の前記現在速度と前記制限速度の所定の割合との差に基づいて計算される請求項6に記載の方法。
  9. 前記距離範囲は、前記自動運転車両の前記現在位置と前記自動運転車両が走行している現在の車線の車線境界との間の距離に基づいて計算される請求項4に記載の方法。
  10. 前記距離範囲は、さらに隣接する車線の車線幅に基づいて計算される請求項9に記載の方法。
  11. 命令が記憶されている非一時的な機械可読媒体であって、
    前記命令がプロセッサによって実行される場合に、
    計画モジュールによって、感知モジュールから感知データを受信することと、
    前記計画モジュールによって、前記感知データに基づいて自動運転車両を第1の位置から第2の位置に駆動するための現在の運転サイクルの軌道を計画するこであって、前記運転サイクルは、前記軌道を計画する計画段階と、前記自動運転車両を前記計画した軌道に沿って走行させるように制御するための運転命令を出す制御段階とを含むことと、
    前記軌道に基づいて、運転意図および前記自動運転車両の周囲の、当該運転意図に関連する1つ以上の関心領域を決定することと、
    アプリケーションプログラミングインターフェースを介して前記運転意図および前記1つ以上の関心領域を前記感知モジュールに送信することと、
    前記感知モジュールによって、前記運転意図および前記1つ以上の関心領域に基づいて、次の運転サイクルの軌跡計画に関連する一つ又は複数のセンサを識別し、前記識別したセンサからのセンサデータに基づいて前記自動運転車両の周囲の運転環境における対象物及び又は特徴を検出する処理を実行することにより、前記自動運転車両の周囲の運転環境を記述する感知データを生成することであって、前記生成した感知データは、前記計画モジュールによる次の運転サイクルの軌道計画に利用されるものであることと、
    を前記プロセッサに実行させる非一時的な機械可読媒体。
  12. 前記運転意図は、追従車線、交差点での車線変更、左折、右折、車線合流、または後退のうちの1つである請求項11に記載の非一時的な機械可読媒体。
  13. 前記1つ以上の関心領域は、前領域、後領域、左領域、右領域、前左領域、前右領域、後左領域、または後右領域を含む請求項11に記載の非一時的な機械可読媒体。
  14. 運転意図および1つ以上の関心領域を決定することは、
    前記1つ以上の関心領域のそれぞれに対し、前記自動運転車両の現在位置からの前記関心領域の距離範囲を計算することと、
    前記関心領域の走査角度範囲を計算することと、
    を含み、
    前記関心領域は、前記距離範囲及び前記走査角度範囲に基づいて計算された領域によって定義される、
    請求項11に記載の非一時的な機械可読媒体。
  15. 車線の制限速度を考慮して、前記自動運転車両の現在速度に基づいて前記距離範囲を計算する請求項14に記載の非一時的な機械可読媒体。
  16. 前記距離範囲は、前記自動運転車両の前記現在速度および前記制限速度に基づいて計算された速度値に所定の時間を乗じることにより計算される請求項15に記載の非一時的な機械可読媒体。
  17. 前記速度値は、前記自動運転車両の前記現在速度の大きい値と前記制限速度の所定の割合に基づいて計算される請求項16に記載の非一時的な機械可読媒体。
  18. 前記速度値は、前記自動運転車両の前記現在速度と前記制限速度の所定の割合との差に基づいて計算される請求項16に記載の非一時的な機械可読媒体。
  19. 前記距離範囲は、前記自動運転車両の前記現在位置と前記自動運転車両が走行している現在の車線の車線境界との間の距離に基づいて計算される請求項14に記載の非一時的な機械可読媒体。
  20. 前記距離範囲は、さらに隣接する車線の車線幅に基づいて計算される請求項19に記載の非一時的な機械可読媒体。
  21. プロセッサと、前記プロセッサに接続されて命令を記憶するメモリとを含むデータ処理システムであって、
    前記命令がプロセッサによって実行され場合に、
    計画モジュールによって、感知モジュールから感知データを受信することと、
    前記計画モジュールによって、前記感知データに基づいて自動運転車両を第1の位置から第2の位置に駆動するための現在の運転サイクルの軌道を計画するこであって、前記運転サイクルは、前記軌道を計画する計画段階と、前記自動運転車両を前記計画した軌道に沿って走行させるように制御するための運転命令を出す制御段階とを含むことと、
    前記軌道に基づいて、運転意図および前記自動運転車両の周囲の、当該運転意図に関連する1つ以上の関心領域を決定することと、
    アプリケーションプログラミングインターフェースを介して前記運転意図および前記1つ以上の関心領域を前記感知モジュールに送信することと、
    前記感知モジュールによって、前記運転意図および前記1つ以上の関心領域に基づいて、次の運転サイクルの軌跡計画に関連する一つ又は複数のセンサを識別し、前記識別したセンサからのセンサデータに基づいて前記自動運転車両の周囲の運転環境における対象物及び又は特徴を検出する処理を実行することにより、前記自動運転車両の周囲の運転環境を記述する感知データを生成することであって、前記生成した感知データは、前記計画モジュールによる次の運転サイクルの軌道計画に利用されるものであることと、
    を前記プロセッサに実行させるデータ処理システム。
  22. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項1~10のいずれか一項に記載の方法を実現させるコンピュータプログラム。
JP2019058926A 2018-07-02 2019-03-26 自動運転車両のための計画運転感知システム Active JP7050025B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/025,653 US10551840B2 (en) 2018-07-02 2018-07-02 Planning driven perception system for autonomous driving vehicles
US16/025,653 2018-07-02

Publications (2)

Publication Number Publication Date
JP2020009412A JP2020009412A (ja) 2020-01-16
JP7050025B2 true JP7050025B2 (ja) 2022-04-07

Family

ID=66776099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019058926A Active JP7050025B2 (ja) 2018-07-02 2019-03-26 自動運転車両のための計画運転感知システム

Country Status (4)

Country Link
US (1) US10551840B2 (ja)
EP (1) EP3633408B1 (ja)
JP (1) JP7050025B2 (ja)
CN (1) CN110667591B (ja)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US20140156901A1 (en) 2005-10-26 2014-06-05 Cortica Ltd. Computing device, a system and a method for parallel processing of data streams
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US20160085733A1 (en) 2005-10-26 2016-03-24 Cortica, Ltd. System and method thereof for dynamically associating a link to an information resource with a multimedia content displayed in a web-page
US11537636B2 (en) 2007-08-21 2022-12-27 Cortica, Ltd. System and method for using multimedia content as search queries
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
US11037015B2 (en) 2015-12-15 2021-06-15 Cortica Ltd. Identification of key points in multimedia data elements
WO2019008581A1 (en) 2017-07-05 2019-01-10 Cortica Ltd. DETERMINATION OF DRIVING POLICIES
US11899707B2 (en) 2017-07-09 2024-02-13 Cortica Ltd. Driving policies determination
US10732632B2 (en) * 2018-01-31 2020-08-04 Baidu Usa Llc Method for generating a reference line by stitching multiple reference lines together using multiple threads
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
US11613261B2 (en) 2018-09-05 2023-03-28 Autobrains Technologies Ltd Generating a database and alerting about improperly driven vehicles
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US11126870B2 (en) * 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US11392738B2 (en) 2018-10-26 2022-07-19 Autobrains Technologies Ltd Generating a simulation scenario
US11904863B2 (en) 2018-10-26 2024-02-20 AutoBrains Technologies Ltd. Passing a curve
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
US11170647B2 (en) 2019-02-07 2021-11-09 Cartica Ai Ltd. Detection of vacant parking spaces
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US12055408B2 (en) 2019-03-28 2024-08-06 Autobrains Technologies Ltd Estimating a movement of a hybrid-behavior vehicle
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11908242B2 (en) 2019-03-31 2024-02-20 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US11488290B2 (en) 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
US11704292B2 (en) 2019-09-26 2023-07-18 Cortica Ltd. System and method for enriching a concept database
WO2021090299A2 (en) * 2019-11-07 2021-05-14 Cortica Ltd. Ensemble of narrow ai agents
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
CN111231977B (zh) * 2020-01-14 2022-04-08 浙江吉利汽车研究院有限公司 一种车辆速度的确定方法、装置、车辆及存储介质
CN111267838B (zh) * 2020-01-20 2021-07-23 北京百度网讯科技有限公司 泊车处理方法、系统、装置及车辆控制器
CN111175733B (zh) * 2020-02-05 2022-04-29 北京小马慧行科技有限公司 车身的角度的识别方法及装置、存储介质、处理器
CN113795801B (zh) * 2020-02-26 2024-06-21 百度时代网络技术(北京)有限公司 自动驾驶车辆的避障轨迹规划
US12055407B2 (en) 2020-02-26 2024-08-06 Baidu Usa Llc Mixed regular and open-space trajectory planning method for autonomous driving vehicle
US11428550B2 (en) * 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
US11851088B2 (en) * 2020-03-11 2023-12-26 Baidu Usa Llc Method for determining capability boundary and associated risk of a safety redundancy autonomous system in real-time
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11479265B2 (en) * 2020-03-25 2022-10-25 Baidu Usa Llc Incremental lateral control system using feedbacks for autonomous driving vehicles
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US20210316755A1 (en) * 2020-04-09 2021-10-14 Baidu Usa Llc Method for real-time monitoring of safety redundancy autonomous driving system (ads) operating within predefined risk tolerable boundary
EP3935413B1 (en) * 2020-05-15 2024-07-24 Baidu.com Times Technology (Beijing) Co., Ltd. Partial point cloud-based pedestrians' velocity estimation method
US11904890B2 (en) * 2020-06-17 2024-02-20 Baidu Usa Llc Lane change system for lanes with different speed limits
US11807274B2 (en) * 2020-06-30 2023-11-07 Baidu Usa Llc L4 auto-emergency light system for future harsh brake
CN112896191B (zh) * 2021-03-08 2022-11-08 京东鲲鹏(江苏)科技有限公司 轨迹处理方法、装置、电子设备和计算机可读介质
RU2767826C1 (ru) 2021-05-24 2022-03-22 Общество с ограниченной ответственностью «Яндекс Беспилотные Технологии» Способ и устройство для управления автомобилем
CN114153202B (zh) * 2021-11-08 2024-02-27 北京三快在线科技有限公司 一种无人设备的控制方法及控制装置
WO2023130125A1 (en) * 2022-01-03 2023-07-06 Innovusion, Inc. Systems and methods for scanning a region of interest using a light detection and ranging scanner
CN114415688A (zh) * 2022-01-24 2022-04-29 广州佩誉电子科技有限公司 一种汽车自动驾驶遥控控制系统
CN116933218B (zh) * 2023-07-13 2024-08-16 广州汽车集团股份有限公司 一种感知数据融合方法、系统、存储介质及车辆
CN116588125B (zh) * 2023-07-17 2023-09-19 四川中普盈通科技有限公司 一种车载边缘侧数据处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052297A (ja) 1999-08-06 2001-02-23 Fujitsu Ltd 安全走行支援装置、その方法及び記録媒体
JP2002296057A (ja) 2001-03-29 2002-10-09 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーションプログラム
JP2004340641A (ja) 2003-05-13 2004-12-02 Alpine Electronics Inc ナビゲーション装置及びナビゲーション方法
JP2018045482A (ja) 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8552848B2 (en) * 2007-08-16 2013-10-08 Ford Global Technologies, Llc System and method for combined blind spot detection and rear crossing path collision warning
DE102012200216A1 (de) * 2012-01-09 2013-07-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
KR102255432B1 (ko) * 2014-06-17 2021-05-24 팅크웨어(주) 전자 장치 및 그의 제어 방법
DE102014218429A1 (de) * 2014-09-15 2016-03-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausführung einer zumindest teilweise automatisierten Bewegung eines Fahrzeugs innerhalb eines räumlich begrenzten Bereichs
US9746550B2 (en) * 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
DE102015205133A1 (de) * 2015-03-20 2016-09-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Bewegungsplanung für ein zumindest teilweise automatisiertes Fahren eines Fahrzeugs
US9747506B2 (en) * 2015-10-21 2017-08-29 Ford Global Technologies, Llc Perception-based speed limit estimation and learning
KR101942527B1 (ko) * 2015-11-09 2019-01-25 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
US9889859B2 (en) * 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems
DE102015226460A1 (de) * 2015-12-22 2017-06-22 Robert Bosch Gmbh LIDAR-Abtasteinrichtung und LIDAR-Abtasteinrichtungssystem
KR102495782B1 (ko) * 2016-08-15 2023-02-06 아리조나 보드 오브 리전츠 온 비해프 오브 더 유니버시티 오브 아리조나 3d 프린트된 루네부르크 렌즈를 사용하는 새로운 차량 레이더
CN111542860B (zh) * 2016-12-30 2024-08-27 辉达公司 用于自主车辆的高清地图的标志和车道创建
CN107161141B (zh) * 2017-03-08 2023-05-23 深圳市速腾聚创科技有限公司 无人驾驶汽车系统及汽车
US10503172B2 (en) * 2017-10-18 2019-12-10 Luminar Technologies, Inc. Controlling an autonomous vehicle based on independent driving decisions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052297A (ja) 1999-08-06 2001-02-23 Fujitsu Ltd 安全走行支援装置、その方法及び記録媒体
JP2002296057A (ja) 2001-03-29 2002-10-09 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーションプログラム
JP2004340641A (ja) 2003-05-13 2004-12-02 Alpine Electronics Inc ナビゲーション装置及びナビゲーション方法
JP2018045482A (ja) 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム

Also Published As

Publication number Publication date
JP2020009412A (ja) 2020-01-16
EP3633408B1 (en) 2021-07-21
CN110667591A (zh) 2020-01-10
EP3633408A1 (en) 2020-04-08
US20200004251A1 (en) 2020-01-02
US10551840B2 (en) 2020-02-04
CN110667591B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
JP7050025B2 (ja) 自動運転車両のための計画運転感知システム
KR102223270B1 (ko) 여분의 초음파 radar를 구비한 자율 주행 차량
JP6975512B2 (ja) 自動運転車両の周辺車両の挙動に基づくリアルタイム感知調整と運転調整
JP7145867B2 (ja) 自動運転車両のための低速シーンにおける歩行者インタラクションシステム
JP6878493B2 (ja) 自動運転車両(adv)に用いるピッチ角の補正方法
JP6619778B2 (ja) 自律走行車の車両交通行動を予測して運転決定をするための方法及びシステム
JP6567617B2 (ja) 自律走行車の安定性を向上させるための方法、媒体、及びシステム
KR102020163B1 (ko) 자율 주행 차량의 조향률의 동적 조정
JP7108583B2 (ja) 自動運転車両のための曲率補正経路サンプリングシステム
JP6972150B2 (ja) 自動運転車両のための歩行者確率予測システム
JP6494715B2 (ja) 自律走行車の速度制御率の動的調整方法
JP7046119B2 (ja) 視覚ベース知覚システムによる敵対的サンプルの検出
JP7116065B2 (ja) 自律走行車に用いられるトンネルに基づく計画システム
JP2020001679A (ja) 自動運転車両の駐車軌跡の計画
JP2020066428A (ja) 自動運転車両のための人間の運転行動を模倣する2段階基準線平滑化方法
JP2018063703A (ja) 自律走行車用のグループ運転スタイル学習フレーム
CN110621541B (zh) 用于生成轨迹以操作自动驾驶车辆的方法和系统
JP7149288B2 (ja) 自動運転車両のための螺旋曲線に基づく垂直駐車計画システム
JP7001708B2 (ja) 自動運転車の高速計画のための多項式フィッティングベースの基準線平滑化方法
JP7009490B2 (ja) 自動運転車両のための制御主導型の3ポイントターン計画
JP6932196B2 (ja) 自動運転車両のための螺旋経路に基づく3ポイントターン計画
JP6935507B2 (ja) 自動運転のための自己反転線の相互回避アルゴリズム
JP6892516B2 (ja) 列挙に基づく自動運転車両の3ポイントターン計画
JP2020529348A (ja) 自動運転車両のためのスピード制御コマンド自動較正システム
JP6987150B2 (ja) 自動運転車両の3ポイントターンの最適プランナー切り替え方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R150 Certificate of patent or registration of utility model

Ref document number: 7050025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150