JP7073456B2 - 自動運転システムに対するスプーフィング攻撃を検出する方法 - Google Patents

自動運転システムに対するスプーフィング攻撃を検出する方法 Download PDF

Info

Publication number
JP7073456B2
JP7073456B2 JP2020134274A JP2020134274A JP7073456B2 JP 7073456 B2 JP7073456 B2 JP 7073456B2 JP 2020134274 A JP2020134274 A JP 2020134274A JP 2020134274 A JP2020134274 A JP 2020134274A JP 7073456 B2 JP7073456 B2 JP 7073456B2
Authority
JP
Japan
Prior art keywords
route
destination
change
planned route
adv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020134274A
Other languages
English (en)
Other versions
JP2021063795A (ja
Inventor
シャオドン リュウ,
ニン クー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2021063795A publication Critical patent/JP2021063795A/ja
Application granted granted Critical
Publication of JP7073456B2 publication Critical patent/JP7073456B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/1483Countermeasures against malicious traffic service impersonation, e.g. phishing, pharming or web spoofing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225Failure correction strategy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • B60W50/045Monitoring control system parameters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/554Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047Optimisation of routes or paths, e.g. travelling salesman problem
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/1466Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/1491Countermeasures against malicious traffic using deception as countermeasure, e.g. honeypots, honeynets, decoys or entrapment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/12Detection or prevention of fraud
    • H04W12/121Wireless intrusion detection systems [WIDS]; Wireless intrusion prevention systems [WIPS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本開示の実施形態は、一般に、自律車両を動作させることに関する。より具体的には、本開示の実施形態は、自律運転車両(ADV)に対するサイバー攻撃およびスプーフィング攻撃を検出して軽減することに関する。
自律モード(例えば、無人)で動作している車両は、乗車者、特にドライバーを運転に関連した責任から解放することができる。自律モードで動作している場合、車両は、車載センサを用いて様々な場所へと航行でき、最低限の人とのやりとりで、あるいは、場合によっては搭乗者なしに、車両が移動できるようになる。
モーションプランニングおよび制御は自律運転における重要な動作である。モーションプランニングおよび制御動作の精度および効率は、車両のセンサとセンサから抽出された情報とに多くを依存する。モーションプランニングおよび制御のために、車両のまわりの環境の映像および電磁画像を取り込むように、カメラ、光検出および測距(LIDAR)ユニット、レーダーなどのセンサが使用される。ADVはまた、リアルタイム交通情報、データ解析、経路選択サービス、近くのADVの情報などを得るために、モーションプランニングおよび制御の一部として、通信ネットワークを通じてインフラストラクチャサーバまたは他のADVと通信してもよい。ADVの急増ならびにADVとインフラストラクチャとの間の接続性の向上により、第三者が、ADVの脆弱なポイントに対して、ADVの制御を乗っ取ろうとするサイバー攻撃またはスプーフィング攻撃を始めるリスクが増加している。例えば、遠隔攻撃が、車両の行程のルートまたは目的地を変更するために、車両とインフラストラクチャとの間の通信ゲートウェイを通じてアクセスする可能性がある。意図されたルートまたは目的地から車両を遠方へ逸らすために、知覚システムに偽情報を供給するように、センサを非活性化するか、劣化させるか、そうでなければ騙すために、車両のセンサシステムに対してスプーフィング攻撃を始められる可能性もある。
ADVのなかには、車両通信ゲートウェイを保護すること、個々のセンサの頑健性を高めること、またはセンサ情報を使用して外部のスプーフィングをかわすように知覚システムのアルゴリズムを改善することにより、攻撃の脅威を軽減しようとするものもある。しかしながら、これらの対策のうちのいくつかは実装するのが高くつき、変化する脅威に対して反対行動をとるように適応するのは容易ではない可能性がある。
本開示の実施形態は、同様の参照符号が同様の要素を示す、添付の図面の図中に例として示されており、限定として示されていない。
一実施形態に係るネットワーク化システムを示すブロック図である。 一実施形態に係る自律車両の例を示すブロック図である。 いくつかの実施形態に係る、自律車両によって使用される知覚プランニングシステムの例を示すブロック図である。 いくつかの実施形態に係る、自律車両によって使用される知覚プランニングシステムの例を示すブロック図である。 一実施形態に係る自律運転システムのアーキテクチャを示すブロック図である。 一実施形態に係るADVの行程のルートまたは目的地を変更しようとする攻撃を検出するために、マップ上の既定の静止物体をグラウンドトゥルースとして使用するための技術を示す図である。 一実施形態に係るADVを動作させるプロセスの一例を示す流れ図である。 一実施形態に係る、ADVが、行程のルートまたは目的地を変更しようとするサイバー攻撃を検出して反対行動をとるためのグラウンドトゥルースポイントとして既定の静止物体を使用するための方法を示す流れ図である。 一実施形態に係るADVを動作させるプロセスの一例を示す流れ図である。 一実施形態に係るADVが、センサシステムに対するスプーフィング攻撃を検出して反対行動をとるために、既定の静止物体、動的物体、および様々なセンサを使用するための方法を示す流れ図である。
本開示の様々な実施形態および態様が、以下で論じられる詳細を参照しながら説明され、添付の図面は様々な実施形態を示す。以下の説明および図面は、本開示を例示するものであり、本開示を限定するものとして解釈されるべきではない。本開示の様々な実施形態への完全な理解を与えるために、多数の具体的な詳細について説明する。しかしながら、いくつかの事例では、本開示の実施形態の簡潔な議論を提供するために、よく知られている、あるいは、従来の詳細については説明しない。
本明細書における「一実施形態」または「実施形態」に対する言及は、実施形態に関して説明される特定の特徴、構造または特性が本開示の少なくとも1つの実施形態に含まれ得ることを意味する。本明細書中の様々な個所における「一実施形態では」というフレーズの出現は、必ずしも全てが同じ実施形態を指すとは限らない。
いくつかの実施形態によれば、目的地または計画されたルートを変更するためにADVの通信ゲートウェイにアクセスしようとする攻撃を検出して反対行動をとるために、ADVの行程の計画されたルートに沿って既定の静止物体を導入するための方法が開示される。静止物体は、高精細(HD)マップ上の既定の識別可能な物体である。静止物体は、車両センサシステムが同システムのリアルタイムセンサカバレッジを決定するために使用し得るルートに沿った注目点(POI)または注目範囲(ROI)ロケーションの一部でもよい。例えば、車両がセンサシステムの稼働状況を検証するために静止物体の既定のロケーションを通って移動するとき、センサシステムは静止物体を検出して識別し得る。ADVは、ルートプランニング中に、HDマップから、グラウンドトゥルースポイントとして静止物体をあらかじめロードしてもよい。ADVは、計画されたルートの静止物体をロードした後に、ルートに沿って移動するとき静止物体が識別されることを確認してもよい。静止物体は、ルート変更中に、または目的地が変更されたとき、動的に更新され得る。ADVは、サイバー攻撃による異常なルート変更または目的地変更を検出するために、静止物体の更新に関する情報を導入してもよい。
一実施形態では、この方法は、行程が終了する前に静止物体が更新されているかどうかを判定するための静止物体検査を実行し得る。静止物体が更新されていたら、この方法は、ルートの目的地が変更されたかどうかを判定してもよい。一実施形態では、この方法は、変更された静止物体が辿るルートを解析することにより、目的地が変更されたと判定し得る。目的地が変更されていたら、この方法は、(いる場合には)車両内の搭乗者に、目的地変更の確認を要求してもよい。搭乗者が目的地変更を確認しなければ、または車両内に搭乗者がいなければ、この方法は、疑わしい目的地変更をサービスプロバイダに報告してもよい。
目的地が変更されていなければ、この方法は、ルート変更があったと判定し得る。一実施形態では、この方法は、新規のルートに関連した新規の静止物体がセンサシステムによって識別されるまで待つことにより、または前のルートに関連した前の静止物体が識別されないことを検証して、ルート変更を確認してもよい。ルート変更が検出されるかまたは確認されると、この方法は、新規のルートおよびルート変更をめぐる情報を解析して、ルート変更が異常であるかどうかを判定してもよい。例えば、この方法は、交通条件、ルート変更の頻度、新規のルートの距離、前のルートとの距離の差、新規のルートの予期される移動時間、前のルートとの移動時間の差などを解析して、ルート変更が異常であるかどうかを判定してもよい。一実施形態では、この方法は、ルート変更が異常であると推論するために、学習された経験に基づく機械学習を使用してもよい。ルート変更が異常であれば、この方法は、異常なルート変更を搭乗者またはサービスプロバイダに報告し得る。一実施形態では、搭乗者は、ADVに、最も近い安全な場所に停止するように要求することによって旅程から外れることができ、または、サービスプロバイダがADVから直接報告を受信することがなければ、追加の安全対策としてサービスプロバイダに通知するように促されてもよい。
いくつかの実施形態によれば、ADVのセンサシステムに対するスプーフィング攻撃を検出して反対行動をとるために、既定の静止物体、動的物体、および様々なセンサを導入するための方法が開示される。この方法は、センサが、スプーフィング攻撃または環境要因によって不能になったり性能が損なわれたりしていないかどうかを判定し得る。この方法は、行程の目的地またはルートを変更しようとする攻撃を検出するために静止物体を導入する方法と同様に、ルートプランニング中に、HDマップから、既定の識別可能な静止物体をグラウンドトゥルースポイントとしてあらかじめロードしてもよい。ルートが動的に更新されるとき、静止物体は動的に更新され得る。この方法は、ADVが計画されたルートに沿って移動するとき、センサシステムのセンサが静止物体を識別することができるかどうかを判定してもよい。センサが静止物体を識別することができなければ、この方法は、損なわれたセンサを、センサシステムまたは知覚システムによる使用から一時的に除外してもよい。一実施形態では、この方法は、損なわれたセンサを除外することを裁定する前に、別のセンサがこの静止物体を正確に識別することができるかどうかを判定してもよく、または損なわれたセンサが追加の静止物体を識別し得ないことを検証してもよい。
一実施形態では、この方法は、障害物、気象条件などの環境要因によって損なわれたセンサとスプーフィング攻撃によって損なわれたセンサとを区別するために、複数のセンサによって検出された動的物体に対するクロスチェックを実行してもよい。例えば、この方法は、センサカバレッジエリアの範囲内の、HDマップによってあらかじめ定義されていない動的物体(例えば車両、歩行者)または静止物体を全てのセンサが識別することができるかどうかを判定してもよい。複数のセンサが、HDマップから導出されたものではない動的物体または静止物体を識別することができず、これが一時的にのみ起こるのであれば、複数のセンサによる一時的障害は環境要因によるものである可能性が高い。他方では、センサシステムの中の1つのセンサだけが物体を識別することができず、この1つのセンサの障害が長時間にわたるかまたは多くの物体に対して生じる場合には、この障害はスプーフィング攻撃によるものである可能性が高い。この方法は、損なわれたセンサを除外することにより、知覚のためにセンサシステムカバレッジをリアルタイムで動的に調節し得る。一実施形態では、リアルタイムセンサカバレッジが連続動作を許容しない場合には、この方法は、車両の速度を落とすため、または(いる場合には)ドライバーが車両の運転を引き継ぐことを可能にするために、劣化した動作を活性化し得る。一実施形態では、この方法は、車両を最も近い安全な場所に停止させるための故障動作を活性化し得、搭乗者またはサービスプロバイダに通知してもよい。
図1は、本開示の一実施形態に係る自律車両ネットワーク構成を示すブロック図である。図1を参照すると、ネットワーク構成100は、ネットワーク102を介して1または複数のサーバ103~104に通信可能に接続され得る自律車両101を備えている。1つの自律車両が示されているが、複数の自律車両が、ネットワーク102を介して互いに、および/または、サーバ103~104に接続されていてもよい。ネットワーク102は、ローカルエリアネットワーク(LAN)、インターネットなどのワイドエリアネットワーク(WAN)、セルラーネットワーク、衛星ネットワーク、またはこれらの組合せなど、有線または無線の任意のタイプのネットワークであり得る。サーバ103~104は、ウェブまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、またはそれらの組合せなど、任意の種類のサーバまたはサーバのクラスタであり得る。サーバ103~104は、データ解析サーバ、コンテンツサーバ、交通情報サーバ、MPOI(map and point of interest)サーバまたはロケーションサーバなどであり得る。一実施形態では、自律車両101は、自律車両101に対するサイバー攻撃またはスプーフィング攻撃を検出して反対行動をとるのに用いる既定の静止物体を、サーバ103または104からHDマップにダウンロードしてもよい。
自律車両とは、ドライバーからの入力が殆どまたは全くない環境下で車両が航行する自律モードにあるように構成され得る車両をいう。そのような自律車両は、車両が動作する環境についての情報を検出するように構成された1または複数のセンサを有するセンサシステムを備えることができる。車両およびこれに関連するコントローラは、検出された情報を使用して、この環境下で航行する。自律車両101は、手動モード、完全自律モードまたは部分自律モードで動作することができる。
一実施形態では、自律車両101は、これに限定されないが、知覚プランニングシステム110と、車両制御システム111と、ワイヤレス通信システム112と、ユーザインターフェースシステム113と、センサシステム115とを備えている。自律車両101は、例えば、加速信号またはコマンド、減速信号またはコマンド、操舵信号またはコマンド、制動信号またはコマンドなど、様々な通信信号および/またはコマンドを使用して、車両制御システム111および/または知覚プランニングシステム110によって制御され得る、エンジン、ホイール、ステアリングホイール、トランスミッションなど、通常の車両中に備えられるいくつかの一般的な構成要素をさらに備えていてもよい。
構成要素110~115は、相互接続、バス、ネットワークまたはこれらの組合せを介して互いに通信可能に接続され得る。例えば、構成要素110~115は、コントローラエリアネットワーク(CAN)バスを介して互いに通信可能に接続され得る。CANバスは、マイクロコントローラおよびデバイスが、ホストコンピュータなしにアプリケーション内で互いに通信することを可能にするように設計されたビークルバス規格である。CANバスは、元来は、自動車内の多重化電気配線のために設計されたメッセージベースのプロトコルであるが、多くの他の状況においても使用される。
次に図2を参照すると、一実施形態では、センサシステム115は、これに限定されないが、1または複数のカメラ211と、全地球測位システム(GPS)ユニット212と、慣性測定ユニット(IMU)213と、レーダーユニット214と、光検出および測距(LIDAR)ユニット215とを備えている。GPSシステム212は、自律車両の位置に関する情報を与えるように動作可能なトランシーバを備えていてもよい。IMUユニット213は、慣性加速度に基づいて自律車両の位置姿勢の変化を感知し得る。レーダーユニット214は、無線信号を利用して、自律車両のローカル環境内の物体を感知するシステムであってもよい。いくつかの実施形態では、物体を感知することに加えて、レーダーユニット214は、さらに、物体の速度および/または進路を感知し得る。LIDARユニット215は、自律車両がレーザーを使用して位置される環境中の物体を感知し得る。LIDARユニット215は、いくつかあるシステム構成要素の中でも特に、1または複数のレーザー源、レーザースキャナおよび1または複数の検出器を備えることができる。カメラ211は、自律車両を囲む環境の画像を取得する1または複数のデバイスを備えていてもよい。カメラ211はスチールカメラおよび/またはビデオカメラであってもよい。カメラは、例えば、回転するおよび/または傾斜するプラットフォーム上にカメラを取り付けることによって、機械的に移動可能であってもよい。
センサシステム115は、ソナーセンサ、赤外線センサ、操舵センサ、スロットルセンサ、制動センサ、およびオーディオセンサ(例えば、マイクロフォン)など、他のセンサをさらに備えてもよい。オーディオセンサは、自律車両を囲む環境から音を取得するように構成されていてもよい。操舵センサは、車両のステアリングホイール、ホイールの操舵角またはこれらの組合せを感知するように構成されていてもよい。スロットルセンサおよび制動センサは、それぞれ、車両のスロットル位置および制動位置を感知する。いくつかの状況では、スロットルセンサおよび制動センサは一体型スロットル/制動センサとして一体化され得る。
一実施形態では、車両制御システム111は、これに限定されないが、ステアリングユニット201、(加速ユニットとも呼ばれる)スロットルユニット202、および制動ユニット203を備えている。ステアリングユニット201は、車両の方向または進路を調整するためのものである。スロットルユニット202は、車両の速度および加速度を順に制御するモーターまたはエンジンの速度を制御するためのものである。制動ユニット203は、摩擦を与えることによって車両を減速させ、車両のホイールまたはタイヤを遅くするためのものである。なお、図2に示されている構成要素は、ハードウェア、ソフトウェアまたはこれらの組合せで実装されてもよい。
再び図1を参照すると、ワイヤレス通信システム112は、自律車両101と、デバイス、センサ、他の車両など、外部システムとの間の通信を可能にするためのものである。例えば、ワイヤレス通信システム112は、1または複数のデバイスと直接、またはネットワーク102上のサーバ103~104など、通信ネットワークを介して、ワイヤレスで通信することができる。ワイヤレス通信システム112は、任意のセルラー通信ネットワーク、または、例えば、WiFiを使用するワイヤレスローカルエリアネットワーク(WLAN)を使用して、別の構成要素またはシステムと通信することができる。ワイヤレス通信システム112は、例えば、赤外リンク、Bluetooth(登録商標)などを使用して、デバイス(例えば、車両101内の搭乗者のモバイルデバイス、ディスプレイデバイス、スピーカ)と直接通信することができる。ユーザインターフェースシステム113は、例えば、キーワード、タッチスクリーンディスプレイ、マイクロフォンおよびスピーカなどを含む、車両101内に実装された周辺デバイスの一部であり得る。
自律車両101の機能のいくつかまたは全ては、特に、自律運転モードで動作しているとき、知覚プランニングシステム110によって制御または管理され得る。知覚プランニングシステム110は、センサシステム115、制御システム111、ワイヤレス通信システム112、および/またはユーザインターフェースシステム113から情報を受信し、受信された情報を処理し、出発地点から目的地点までのルートまたは経路を計画し、次いで、プランニングおよび制御情報に基づいて車両101を走らせるために必要なハードウェア(例えば、プロセッサ、メモリ、ストレージ)およびソフトウェア(例えば、オペレーティングシステム、プランニングおよびルーティングプログラム)を備えている。あるいは、知覚プランニングシステム110が車両制御システム111と一体化されていてもよい。
例えば、搭乗者としてのユーザは、例えば、ユーザインターフェースを介して、旅程の出発地および目的地を指定し得る。知覚プランニングシステム110は旅程関連データを取得する。例えば、知覚プランニングシステム110は、サーバ103~104の一部であり得るMPOIサーバから、ロケーションおよびルート情報を取得し得る。ロケーションサーバはロケーションサービスを提供し、MPOIサーバは、マップサービスと、自律車両101に対するサイバー攻撃またはスプーフィング攻撃を検出して反対行動をとるのに用いる、HDマップ上の計画されたルートの既定の静止物体など特定のロケーションのPOIとを提供する。あるいは、そのようなロケーションおよびMPOI情報は、知覚プランニングシステム110の永続性ストレージデバイス内にローカルでキャッシュされてもよい。
自律車両101がルートに沿って移動している間、知覚プランニングシステム110はまた、交通情報システムまたはサーバ(TIS)からリアルタイム交通情報を取得し得る。なお、サーバ103~104は、知覚プランニングシステム110がルートを計画するために、知覚プランニングシステム110に出発位置および目的位置をダウンロードするサービスプロバイダなどの第三者エンティティによって動作させられてもよい。第三者はまた、計画されたルートに従って移動し始めるように自律車両101に指令するために、知覚プランニングシステム110に対するコマンドを発行してもよい。あるいは、サーバ103~104の機能は知覚プランニングシステム110と一体化されていてもよい。リアルタイム交通情報、MPOI情報およびロケーション情報、ならびにセンサシステム115によって検出または感知されたリアルタイムのローカル環境データ(例えば、障害物、物体、近くの車両)に基づいて、知覚プランニングシステム110は、最適ルートを計画し、指定された目的地に安全にかつ効率的に到達するために計画されたルートに従って、例えば、制御システム111を介して車両101を走らせることができる。
サーバ103は、様々なクライアントのためにデータ解析サービスを実行するためのデータ解析システムであってもよい。一実施形態では、データ解析システム103はデータコレクタ121と機械学習エンジン122とを備えている。データコレクタ121は、自律車両でも人間のドライバーによって運転される通常の車両でも、様々な車両から運転統計123を収集する。運転統計123は、異なる時点において車両のセンサによって取得された、発行された運転コマンド(例えば、スロットル、制動、ステアリングコマンド)および車両の応答(例えば、速度、加速、減速、方向)を示す情報を含む。運転統計123は、例えば、ルート(出発地および目的地を含む)、MPOI、道路条件、天候条件など、異なる時点における運転環境を記述する情報をさらに含んでいてもよい。
運転統計123に基づいて、機械学習エンジン122は、様々な目的で、ルール、アルゴリズム、および/または予測モデルのセット124を生成するか、またはトレーニングする。一実施形態では、アルゴリズム124は、知覚、予測、決定、計画、および/または制御プロセスに関するルールまたはアルゴリズムを含み得、これらは以下でさらに詳細に説明される。アルゴリズム124は、その後、リアルタイムで自律運転中に利用されるように、ADV上にアップロードされ得る。
図3Aおよび図3Bは、一実施形態に係る、自律車両とともに使用される知覚プランニングシステムの一例を示すブロック図である。システム300は、これに限定されないが、知覚プランニングシステム110、制御システム111、およびセンサシステム115を備える、図1の自律車両101の一部として実装され得る。図3A~図3Bを参照すると、知覚プランニングシステム110は、これに限定されないが、ローカライゼーションモジュール301、知覚モジュール302、予測モジュール303、決定モジュール304、プランニングモジュール305、制御モジュール306、およびルーティングモジュール307を備えている。
モジュール301~307のいくつかまたは全ては、ソフトウェア、ハードウェア、またはこれらの組合せにおいて実装され得る。例えば、これらのモジュールは、永続性ストレージデバイス352内にインストールされ、メモリ351にロードされ、1または複数のプロセッサ(図示せず)によって実行され得る。なお、これらのモジュールのいくつかまたは全ては、図2の車両制御システム111のいくつかまたは全てのモジュールに通信可能に接続され得るか、またはそれらのモジュールと一体化されてもよい。モジュール301~307のうちのいくつかは一体型モジュールとして一体化されてもよい。例えば、決定モジュール304とプランニングモジュール305は単一モジュールとして一体化されてもよい。
ローカライゼーションモジュール301は、(例えば、GPSユニット212を活用して)自律車両300の現在のロケーションを決定し、ユーザの旅程またはルートに関する任意のデータを管理する。(マップおよびルートモジュールとも呼ばれる)ローカライゼーションモジュール301は、ユーザの旅程またはルートに関する任意のデータを管理する。ユーザは、例えば、ユーザインターフェースを介して、ログインし、旅程の出発地および目的地を指定し得る。ローカライゼーションモジュール301は、旅程関連データを取得するために、マップおよびルート情報311など、自律車両300の他の構成要素と通信する。例えば、ローカライゼーションモジュール301は、ロケーションサーバならびにマップおよびPOI(MPOI)サーバから、HDマップ上の計画されたルートに関するロケーション、ルート情報および既定の静止物体を取得し得る。ロケーションサーバはロケーションサービスを与え、MPOIサーバは、マップおよびルート情報311の一部としてキャッシュされ得る、マップサービスおよびいくつかのロケーションのPOIを提供する。自律車両300がルートに沿って移動している間、ローカライゼーションモジュール301はまた、交通情報システムまたはサーバからリアルタイム交通情報を取得し得る。
センサシステム115によって提供されたセンサデータ、およびローカライゼーションモジュール301によって取得されたローカライゼーション情報に基づいて、周囲環境の知覚が知覚モジュール302によって決定される。知覚情報は、通常のドライバーが、運転している車両の周囲で知覚するであろうことを表し得る。知覚は、例えば、物体の形態として、車線構成(例えば、真っすぐな車線または曲がった車線)、信号機信号、他の車両の相対位置、歩行者、建築物、横断歩道または他の交通関係標識(例えば、停止標識、前方優先道路標識)などを含むことができる。車線構成は、例えば、車線の形状(例えば、直線または湾曲)、車線の幅、道路にいくつの車線があるか、一方向車線か両方向車線か、合流車線か分割車線か、出車車線など、車線または複数の車線を記述する情報を含む。知覚情報は、HDマップからダウンロードされた静止物体に対応する静止物体をグラウンドトゥルースポイントとして含み得る。
知覚モジュール302は、自律車両の環境における物体および/または特徴を識別するために1または複数のカメラによって取得された画像を処理し、分析するためのコンピュータ視覚システムまたはコンピュータ視覚システムの機能を含み得る。物体は、交通信号、車道境界、他の車両、歩行者、グラウンドトゥルースポイントおよび/または障害物などを含むことができる。コンピュータ視覚システムは、物体認識アルゴリズム、ビデオ追跡および他のコンピュータ視覚技法を使用し得る。いくつかの実施形態では、コンピュータ視覚システムは、環境をマッピングすること、物体を追跡すること、物体の速度を推定することなどが可能である。知覚モジュール302はまた、レーダーおよび/またはLIDARなど、他のセンサによって提供された他のセンサデータに基づいて物体を検出することができる。
物体の各々について、予測モジュール303は、物体がそのような状況下でどのような挙動をするかを予測する。予測は、マップ/ルート情報311および交通ルール312のセットに鑑みて、その時点における運転環境を知覚する知覚データに基づいて実行される。例えば、物体が反対方向にある車両であり、現在の運転環境が交差点を含む場合、予測モジュール303は、車両が直進しそうなのか、または曲がりそうなのかを予測する。知覚データが、交差点に信号機がないことを示す場合、予測モジュール303は、車両が交差点に入る前に完全に停止しなければならないかもしれないことを予測し得る。知覚データが、車両が現在左折専用車線または右折専用車線にあることを示す場合、予測モジュール303は、それぞれ、車両が左折するまたは右折する可能性がより高いことを予測し得る。
各々の物体について、決定モジュール304は、どのように物体を処理するかに関する決定を行う。例えば、特定の物体(例えば、交差するルートにある別の車両)ならびに物体を記述するその物体のメタデータ(例えば、速度、方向、転向角)について、決定モジュール304は、どのように物体に遭遇するか(例えば、追い越し、道を譲る、停止、通過)を決定する。決定モジュール304は、永続性ストレージデバイス352中に記憶され得る交通ルールまたは運転ルール312など、ルールのセットに従ってそのような決定を行い得る。
知覚された物体の各々についての決定に基づいて、プランニングモジュール305は、自律車両のための経路またはルートならびに運転パラメータ(例えば、距離、速度、および/または転向角)を計画する。すなわち、所与の物体について、決定モジュール304は物体にどのように対処するかを決定し、一方、プランニングモジュール305はその対処をどのように行うかを決定する。例えば、所与の物体について、決定モジュール304は、物体を通過することを決定し得、一方、プランニングモジュール305は、物体の左側を通るのか、または右側を通るのかを決定し得る。車両300が次の移動サイクル(例えば、次のルート/経路セグメント)中にどのように移動するかを記述する情報を含む、プランニングおよび制御データがプランニングモジュール305によって生成される。例えば、プランニングおよび制御データは、時速30マイル(mph)の速度で10メートル移動し、次いで、25mphの速度で右側車線に変更するように車両300に命令し得る。
プランニングおよび制御データに基づいて、制御モジュール306は、プランニングおよび制御データによって定義されたルートまたは経路に従って、車両制御システム111に適切なコマンドまたは信号を送ることによって、自律車両を制御し、運転する。プランニングおよび制御データは、経路またはルートに沿って異なる時点における適切な車両設定または運転パラメータ(例えば、スロットル、制動、およびターニングコマンド)を使用してルートまたは経路の第1のポイントから第2のポイントまで車両を運転するために十分な情報を含む。
一実施形態では、プランニング段階は、例えば、100ミリ秒(ms)の時間間隔ごとなど、コマンドサイクルとも呼ばれるいくつかのプランニングサイクル中に実行される。プランニングサイクルまたはコマンドサイクルの各々について、1または複数の制御コマンドがプランニングおよび制御データに基づいて発行される。すなわち、100msごとに、プランニングモジュール305は、例えば、ターゲット位置およびADVがターゲット位置に到達するために必要とされる時間を含む、次のルートセグメントまたは経路セグメントを計画する。あるいは、プランニングモジュール305は、特定の速度、方向および/または操舵角などをさらに指定し得る。一実施形態では、プランニングモジュール305は、5秒など、次の事前決定された時間期間のためにルートセグメントまたは経路セグメントを計画する。各プランニングサイクルについて、プランニングモジュール305は、前のサイクル中に計画されたターゲット位置に基づいて現在のサイクル(例えば、次の5秒)のためのターゲット位置を計画する。制御モジュール306は、次いで、現在のサイクルのプランニングおよび制御データに基づいて1または複数の制御コマンド(例えば、スロットル、ブレーキ、ステアリング制御コマンド)を生成する。
なお、決定モジュール304およびプランニングモジュール305は一体型モジュールとして一体化されてもよい。決定モジュール304/プランニングモジュール305は、自律車両のための運転経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含んでいてもよい。例えば、ナビゲーションシステムは、概して、最終目的地に至る車道ベースの経路に沿って自律車両を進めながら、知覚された障害物を実質的に回避する経路に沿って自律車両の動きに影響を及ぼすために、一連の速度および方向進路を決定し得る。目的地は、ユーザインターフェースシステム113を介してユーザ入力に従って設定され得る。ナビゲーションシステムは、自律車両が動作中である間、運転経路を動的に更新し得る。ナビゲーションシステムは、自律車両のための運転経路を決定するように、GPSシステムからのデータおよび1または複数のマップを組み込むことができる。
決定モジュール304/計画モジュール305は、自律車両の環境における可能性のある障害物を、識別し、評価し、かつ回避するための、そうでなければ交渉するための、衝突回避システムまたは衝突回避システムの機能性をさらに備え得る。例えば、衝突回避システムは、制御システム111の1または複数のサブシステムを、進路から外れる操縦、進路変更操縦、制動操縦などを引き受けるように動作させることによって、自律車両のナビゲーションの変更を達成してもよい。衝突回避システムは、周囲の交通パターン、道路条件などに基づいて、実現可能な障害物回避の操縦を自動的に決定してもよい。衝突回避システムは、自律車両が進路から逸れて進入しようとしている隣接した領域において、車両、工事防護壁などが他のセンサシステムによって検出されたときには、進路から逸れる操縦に取りかからないように構成され得る。衝突回避システムは、有効でしかも自律車両の乗員の安全性を最大化する操縦を自動的に選択してもよい。衝突回避システムは、自律車両の客室の加速度が最小限になると予測される回避操縦を選択し得る。
ルーティングモジュール307は、出発地点から目的地点までの1または複数のルートまたは経路を提供するように構成される。例えば、ユーザから受信された出発地から目的地までの所与の旅程について、ルーティングモジュール307は、ルートおよびマップ情報311を取得し、目的地に到達するための出発地からの全ての可能なルートまたは経路を決定する。ルーティングモジュール307は、ルーティングモジュール307が決定した、目的地に到達するための出発地からのルートの各々について、地形図の形態の基準線を生成し得る。基準線とは、他の車両、障害物または交通条件など、他からの干渉がない理想的なルートまたは経路をいう。すなわち、道路上に他の車両、歩行者または障害物がない場合、ADVは基準線に正確にまたは厳密に従うべきである。地形図は、次いで、決定モジュール304および/またはプランニングモジュール305に与えられる。決定モジュール304および/またはプランニングモジュール305は、ローカライゼーションモジュール301からの交通条件、知覚モジュール302によって知覚された運転環境、および予測モジュール303によって予測された交通条件など、他のモジュールによって提供された他のデータに鑑みて、最適なルートのうちの1つを選択し、変更するために、すべての可能なルートを検査する。ADVを制御するための実際の経路またはルートは、その時点における特定の運転環境に依存してルーティングモジュール307によって提供された基準線に近くなり得るか、またはその基準線とは異なり得る。
一実施形態では、セキュリティモジュール308は、セキュリティルールのセット313に基づいてスプーフ攻撃を検出するように構成される。セキュリティモジュール308は知覚モジュール302の一部として実装されてよく、または知覚モジュール302もしくは他のモジュールと通信してもよい。セキュリティモジュール308は、ルートに沿ったマップ上の動的に更新される静止物体と、自律車両の内部の搭乗者またはサービスプロバイダからの確認とを一緒に検査することにより、自律車両の目的地変更または異常なルート変更アクティビティにおけるサイバー攻撃を検出する。セキュリティモジュール308は、スプーフィングされたセンサ/アルゴリズムが自律車両の連続動作または故障動作において使用されるのを防止するために、HDマップのグラウンドトゥルースとともに複数のセンサ確認を使用することにより、自律車両のセンサシステムにおけるスプーフィングを検出する。
なお、上記で図示し、説明したような構成要素のいくつかのまたは全ては、ソフトウェア、ハードウェアまたはこれらの組合せにおいて実装されてもよい。例えば、そのような構成要素は、永続性ストレージデバイス中にインストールされ、記憶されるソフトウェアとして実装されてもよく、そのソフトウェアは、本出願全体にわたって説明されるプロセスまたは動作を実行するためのプロセッサ(図示せず)によってメモリにロードされ、実行されてもよい。あるいは、そのような構成要素は、アプリケーションから、対応するドライバおよび/またはオペレーティングシステムを介してアクセスされ得る集積回路(例えば、特定用途向けICまたはASIC)、デジタル信号プロセッサ(DSP)またはフィールドプログラマブルゲートアレイ(FPGA)など、専用のハードウェアにプログラムされるか、または埋め込まれる実行可能コードとして実装されてもよい。さらに、そのような構成要素は、1または複数の特定の命令を介してソフトウェア構成要素によってアクセス可能な命令セットの一部としてプロセッサまたはプロセッサコア中の特定のハードウェア論理として実装されてもよい。
図4は、一実施形態に係る自律運転のためのシステムアーキテクチャを示すブロック図である。システムアーキテクチャ400は、図3Aおよび図3Bで示されたような自律運転システムのシステムアーキテクチャを表し得る。図4を参照して、システムアーキテクチャ400は、これに限定されないが、アプリケーションレイヤ401、プランニングおよび制御(PNC)レイヤ402、知覚レイヤ403、ドライバレイヤ404、ファームウェアレイヤ405、およびハードウェアレイヤ406を備えている。アプリケーションレイヤ401は、例えばユーザインターフェースシステム113に関連した機能性など、自律運転車両のユーザまたは搭乗者と相互作用するユーザインターフェースまたは構成アプリケーションを備え得る。PNCレイヤ402は、少なくともプランニングモジュール305および制御モジュール306の機能性を含み得る。知覚レイヤ403は、少なくとも知覚モジュール302の機能性を含み得る。一実施形態では、予測モジュール303および/または決定モジュール304の機能性を含んでいる追加のレイヤが存在する。あるいは、そのような機能性はPNCレイヤ402および/または知覚レイヤ403に含まれ得る。
システムアーキテクチャ400は、ドライバレイヤ404、ファームウェアレイヤ405、およびハードウェアレイヤ406をさらに備える。ファームウェアレイヤ405は、少なくとも、フィールドプログラマブルゲートアレイ(FPGA)の形態で実装され得るセンサシステム115の機能性を表し得る。ハードウェアレイヤ406は、制御システム111など自律運転車両のハードウェアを表し得る。レイヤ401~403は、デバイスドライバレイヤ404を通じてファームウェアレイヤ405およびハードウェアレイヤ406と通信することができる。一実施形態では、知覚レイヤ403は、目的地を変更するかまたはルートを変更しようとする攻撃を検出するために、HDマップからの既定の静止物体における処理変更を含み得る。知覚レイヤ403はまた、センサにおけるスプーフィング攻撃を複数のセンサによって検出するために、センサによってHDマップからの既定の静止物体の識別を評価することと、静止物体とHDマップからのものではない静止物体との識別をクロスチェックすることとを含み得る。
図5は、一実施形態に係るADVの行程のルートまたは目的地を変更しようとする攻撃を検出するために、マップ上の既定の静止物体をグラウンドトゥルースとして使用するための技術を示す図である。ADVは現在の位置501にあり、現在のルート505に沿って現在の目的地503の方へ移動している。ADVの知覚プランニングシステム110は、ルートプランニング中に、現在のルート505に沿ったグラウンドトゥルースポイントとして、HDマップから、既定の静止物体511、513および515(例えば道路標識、マイル数標識など)をダウンロードしてもよい。静止物体511、513および515は、物体および物体のロケーションについての情報を含み得る。知覚プランニングシステム110は、同システムのリアルタイムセンサカバレッジを決定するために、ADVが物体のロケーションに近づくとき、センサシステム115によって取り込んだ情報を基に、静止物体511、513、および515を検出して識別し得る。
知覚プランニングシステム110は、移動時間を短縮するために、交通条件、事故、道路閉鎖、および他のリアルタイム状況を基に、現在のルート505をルート変更してもよい。他の状況では、サービスプロバイダまたは搭乗者は、現在のルート505を変更してよく、中間の停車ポイントを追加してよく、または現在の目的地503を変更してもよい。知覚プランニングシステム110のリアルタイムルート変更機能を利用するサイバー攻撃の場合には、攻撃が、サービスプロバイダまたは搭乗者に知られることなく現在のルート505または現在の目的地503を変更する可能性がある。例えば、サイバー攻撃は、現在の目的地503を同一に保ったまま現在のルート505をルート変更507に変更してよく、または、現在のルート505を、変更された目的地509として示された別の目的地へ移動する新規のルート508に変更してもよい。現在のルートが変更されたとき、知覚プランニングシステム110はHDマップから静止物体を更新し得る。例えば、ルート変更507のために、更新される静止物体517、519、521がダウンロードされ得る。新規のルート508のために、更新される静止物体523および525がダウンロードされ得る。知覚プランニングシステム110は、サイバー攻撃による異常なルート変更または疑わしい目的地変更を検出するために、静止物体の更新に関する情報を解析してもよい。
一実施形態では、知覚プランニングシステム110は、ルート変更507へのルート変更を指示する静止物体517、519、および521がダウンロードされたことを検出し得る。一実施形態では、知覚プランニングシステム110は、ルート変更507に関連した静止物体517の検出および識別によってルート変更が生じたことを確認するのを待ってもよい。一実施形態では、知覚プランニングシステム100は、現在のルート505に関連した静止物体511が識別され得ないと判定するまで、ルート変更が生じたことを検出しない可能性がある。ルート変更507が検出されるかまたは確認されると、知覚プランニングシステム110は、交通条件、現在の目的地503までの計画されたルートが変更された頻度、ルート変更507の距離、ルート変更507と現在のルート505間のルート距離の差、交通条件に基づいて予期されるルート変更507の移動時間、ルート変更507と現在のルート505間の予期される移動時間の差などを解析して、ルート変更507が異常であるかどうかを判定し得る。例えば、ルート変更507が、現在のルート505に沿った交通条件であったとしても距離および移動時間が大幅に増加する場合、知覚プランニングシステム100は、ルート変更507が異常であるとのフラグを立ててもよい。知覚プランニングシステム100は、サービスプロバイダまたは(ADV内に1人でもいれば)搭乗者に、異常なルート変更を報告してもよい。搭乗者は、最も近い安全な場所に停止するかまたは現在のルート505に戻るようにADVに要求することによって、旅程から外れることが可能になり得る。
一実施形態では、知覚プランニングシステム110は、ダウンロードされた静止物体523および525が辿る新規のルート508を解析することにより、新規のルート508が変更された目的地509へ行くと判定し得る。一実施形態では、知覚プランニングシステム110は、新規のルート508に関連した静止物体523を検出して識別するか、または現在のルート505に関連した静止物体511が識別され得ないと判定することにより、新規のルート508が確認されるのを待ってもよい。目的地が変更され、ADV内に搭乗者がいる場合、この方法は、目的地変更が搭乗者によって開始されたという搭乗者からの追認を要求してもよい。搭乗者は、目的地変更を追認しない場合には、最も近い安全な場所に停止するかまたは現在のルート505に戻るようにADVに要求することによって、旅程から外れることが可能になり得る。車両内に搭乗者がいない場合には、知覚プランニングシステム110は、疑わしい目的地変更をサービスプロバイダに報告してもよい。
知覚プランニングシステム110は、1または複数のセンサに対するスプーフィング攻撃があるかどうかを判定するために、センサシステム115のセンサの、静止物体を正確に識別する能力が正常に機能しなくなっているかどうかさらに評価してもよい。例えば、知覚プランニングシステム110は、カメラ211、レーダーユニット214およびLIDARユニット215が静止物体511を検出して識別することができるかどうか評価してもよい。センサのうちの1つが静止物体511を検出することまたは識別することができず、他のセンサができる場合には、知覚プランニングシステム110は、正常に機能していないセンサを知覚のための使用から一時的に除外してもよい。一実施形態では、知覚プランニングシステム110は、障害が障害物などの環境要因によるものではないことを確認するために、正常に機能していないセンサが静止物体513など追加の静止物体を検出して識別することができないかどうか評価してもよい。
一実施形態では、知覚プランニングシステム110は、センサカバレッジエリアの範囲内の、HDマップによって定義されていない動的物体(例えば車両、歩行者)または静止物体を、センサが検出して識別することができるかどうか評価してもよい。知覚プランニングシステム110は、1つのセンサの障害が環境要因ではなくスプーフィング攻撃によるものであるという強い確信を得るために、センサによって識別された物体間のクロスチェックを実行することによってセンサの多様性を利用し得る。例えば、センサシステム115の複数のカメラ211のうちの1つだけが、可視性が優れていても複数の動的物体および静止物体を識別することができない場合には、このカメラはスプーフィング攻撃によって正常に機能しなくなった可能性が高い。知覚プランニングシステム110は、知覚のために、正常に機能しなくなったセンサを除外することにより、使用されるセンサをリアルタイムで動的に調節してもよい。
図6は、一実施形態に係るADVを動作させるプロセスの一例を示す流れ図である。このプロセスを実行し得る処理ロジックは、ソフトウェア、ハードウェアまたはこれらの組合せを備え得る。図6を参照して、ブロック651において、処理ロジックは出発位置から目的地までの計画されたルートを決定し、これはADVの運転中に更新され得る。ブロック652において、処理ロジックは、マップから所定の静止物体のセットを取得する。ブロック653において、処理ロジックは、所定の静止物体に対する更新を検出する。ブロック654において、処理ロジックは、目的地までの計画されたルートのルート変更は異常である、または目的地に対する無許可の変更に由来する新規のルートがある、と判定する。ブロック655において、処理ロジックは、計画されたルートの異常なルート変更または新規のルートに、警報を生成するなどして応答する。
図7は、一実施形態に係るADVが、行程のルートまたは目的地を変更しようとするサイバー攻撃を検出して反対行動をとるためのグラウンドトゥルースポイントとして既定の静止物体を使用するための方法600を示す流れ図である。方法600を実行し得る処理ロジックは、ソフトウェア、ハードウェア、またはこれらの組合せを備え得る。例えば、方法600は知覚プランニングシステム110によって実行されてもよい。
動作601において、この方法は、HDマップによって与えられた情報およびリアルタイム交通情報に基づいて、出発地点から目的地点までのルートを計画する。ADVにおける搭乗者または搭乗者なしのADVを動作させる運送会社などのサービスプロバイダが、出発地点および目的地点を指定してもよい。
動作603において、この方法は、計画されたルートに沿った既定の静止物体を、グラウンドトゥルースポイントとして、HDマップからロードして更新する。静止物体のセットは、車両センサシステムがリアルタイムセンサカバレッジを決定するために使用し得る、計画されたルートに沿った注目点(POI)または注目範囲(ROI)ロケーションの一部でもよい。
動作605において、この方法は、静止物体のセットに対して何らかの更新があったかどうかを判定するために静止物体検査を実行する。搭乗者またはサービスプロバイダによって認証されて、目的地が変更されるとき、またはサイバー攻撃によって、計画されたルートもしくは目的地が変更されるとき、静止物体は、交通条件の変化によるルート変更中に動的に更新されてもよい。
この方法は、動作607において、静止物体のセットが更新されていると判定した場合には、動作609において、計画されたルートに沿った移動が完了しているかどうかを判定する。計画されたルートに沿った行程が完了していなければ、この方法は、動作601に戻って、計画されたルートに対する何らかの更新を行い、動作603においてあらゆる静止物体を更新し、動作605において静止物体検査を実行する。計画されたルートに沿った行程が完了していれば、この方法は終結する。
動作611において、静止物体が更新されている場合には、この方法は、静止物体が目的地の変更またはルート変更によって更新されたのかどうかを判定する。この方法は、変更された静止物体が辿るルートを解析することにより、目的地が変更されたと判定し得る。目的地が変更されていなければ、この方法は、同一の目的地までの計画されたルートが変更されていると判定し得る。一実施形態では、この方法は、新規のルートに関連した新規の静止物体がセンサシステムによって識別されるまで待つことにより、または前のルートに関連した前の静止物体が識別されないことを検証して、ルート変更を確認してもよい。
ルート変更によって静止物体が更新されていれば、この方法は、動作613において、ルート変更が異常かどうかを判定するためにルート変更およびルート変更を取り巻く情報を解析する。例えば、この方法は、ルート変更が異常かどうかを判定するために、交通条件、目的地までの計画されたルートが変更された頻度、ルート変更の距離、以前に計画されたルートの距離とルート変更後の距離との差、ルート変更において予期される移動時間、以前に計画されたルートとルート変更との予期される移動時間の差などを解析してもよい。一実施形態では、この方法は、ルート変更が異常であると推論するために、学習された経験に基づく機械学習を使用してもよい。
この方法は、動作615においてルート変更が異常であると判定した場合には、動作617において、サービスプロバイダまたは(ADVの中にいれば)搭乗者に、異常なルート変更を報告する。サービスプロバイダがADVから直接報告を受信することがなければ、搭乗者が、追加の安全対策としてサービスプロバイダと連絡を取るように求められてもよい。
この方法は、ルート変更が正常であると判定すると、動作619においてルート変更の情報を記録する。目的地までの計画されたルートがルート変更された頻度などの記録された情報は、将来のルート変更が異常であるかどうかを判定するために動作613によって解析されてもよい。この方法は、動作601に戻って、計画されたルートに対する何らかの更新を行い、動作603においてあらゆる静止物体を更新し、動作605において静止物体検査を実行する。
この方法は、動作611において、目的地の変更のために静止物体が更新されたと判定した場合には、動作621において、ADV内に搭乗者がいれば、搭乗者に対して目的地変更を確認する。
動作623において、目的地変更が搭乗者による要求であることを搭乗者が追認しない場合、またはADVの中に搭乗者がいない場合には、この方法は、動作617において、疑わしい目的地変更をサービスプロバイダに報告する。搭乗者がいる場合には、サービスプロバイダがADVから直接報告を受信することがなければ、搭乗者が、追加の安全対策としてサービスプロバイダと連絡を取るように求められてもよい。
目的地変更が搭乗者による要求であることを搭乗者が追認すれば、この方法は、動作619において目的地変更の情報を記録する。この方法は、動作601に戻って、計画されたルートに対する何らかの更新を行い、動作603にてあらゆる静止物体を更新し、動作605において静止物体検査を実行する。
疑わしい目的地変更または異常なルート変更がある場合、この方法は、動作625において、旅程を継続するべきかどうかについての命令を搭乗者に促す。搭乗者が旅程を終結することを選ぶと、この方法は、動作627において、最も近い安全な場所に停止することをADVに要求し、サービスプロバイダに対して旅程の終了を報告する。搭乗者が旅程の継続を望む場合には、この方法は、動作619において、疑わしい目的地変更または異常なルート変更の情報を記録し、旅程を継続する。
図8は、一実施形態に係るADVを動作させるプロセスの一例を示す流れ図である。処理750を遂行し得る処理ロジックは、ソフトウェア、ハードウェアまたはこれらの組合せを備え得る。図8を参照して、処理ロジックは、ブロック751において、計画されたルートに沿った既定の静止物体のセットをマップから取得する。ブロック752において、処理ロジックは、ADVのセンサの各々が既定の静止物体を識別することができるかどうか評価する。ブロック753において、処理ロジックは、センサの各々が、計画されたルートに沿った動的物体を識別することができるかどうか評価する。ブロック754において、処理ロジックは、正常に機能していないセンサが静的物体や動的物体を識別することができないという評価に基づいて、1または複数の正常に機能していないセンサを識別する。ブロック755において、正常に機能していないセンサは、ADVの知覚機能による使用から除外される。
図9は、一実施形態に係る、ADVが、センサシステムに対するスプーフィング攻撃を検出して反対行動をとるために、既定の静止物体、動的物体および様々なセンサを使用するための方法700を示す流れ図である。方法700を実行し得る処理ロジックは、ソフトウェア、ハードウェアまたはこれらの組合せを備え得る。例えば、方法700は知覚プランニングシステム110によって実施されてもよい。
動作701および703は、図7の動作601および603と同様である。簡単のため、動作701および703の説明は繰り返さない。動作705において、この方法は、センサシステムカバレッジ検査を実行するために、ADVのロケーションが、HDマップからの静止物体がある計画されたルートに沿ったものであるかどうかを判定する。センサシステムカバレッジ検査は、知覚機能用に使用されるセンサシステムのセンサを識別し得る。
動作707において、この方法は、HDマップからの少なくとも1つの静止物体が現在のロケーションにある場合には、この静止物体を使用してセンサシステムカバレッジ検査を実行する。この方法は、センサシステムのセンサが静止物体を検出して識別することができるかどうかを判定し得る。
この方法は、動作709において、センサシステムのセンサは現在のロケーションにおいてHDマップからの静止物体を検出して識別することができないと判定した場合には、動作711においてセンサシステムカバレッジを一時的に更新して、正常に機能していないセンサを知覚機能から除外する。この方法は、センサの障害が障害物などの環境要因によるものではないことを確認するために、正常に機能していないセンサが、HDマップからの追加の静止物体、動的物体またはHDマップ以外から導出された静止物体も検出して識別することができないかどうかを評価してもよい。
現在のロケーションにおいて利用可能なHDマップからの静止物体がない場合、センサシステムの全てのセンサが現在のロケーションにおいてHDマップからの静止物体を検出することができる場合、または、センサシステムカバレッジが、正常に機能していないセンサを除外するように更新されている場合、この方法は、動作713で、現在のロケーションにおいて、センサカバレッジエリアの範囲内にHDマップによってあらかじめ定義されていない何らかの動的物体(例えば車両、歩行者)または静止物体があるかどうかを判定する。
この方法は、現在のロケーションにおいて、センサシステムカバレッジ検査に利用可能な、少なくとも1つの動的物体またはHDマップから導出されたものではない静止物体があると判定した場合には、動作715において、センサシステムカバレッジにおける全てのセンサが、動的物体またはHDマップから導出されたものではない静止物体を検出して識別することができるかどうかを判定する。この方法は、センサが環境要因またはスプーフィング攻撃によって正常に機能しなくなっているかどうかを確認するために、複数のセンサによって識別された動的物体またはHDマップから導出されたものではない静止物体に対するクロスチェックを実行してもよい。例えば、複数のセンサが、動的物体またはHDマップから導出されたものではない静止物体をわずかな時間で同時に識別することができない場合には、複数のセンサによる一時的障害が環境要因によるものである可能性が高い。他方では、センサシステムの中の1つのセンサだけが物体を識別することができず、この1つのセンサの障害が長時間にわたるか、または多くの物体に対して生じる場合には、この障害はスプーフィング攻撃によるものである可能性が高い。一実施形態では、この方法は、HDマップからの静止物体を検出することができずにセンサシステムカバレッジから除外された、いずれかの正常に機能していないセンサが、動的物体またはHDマップから導出されたものではない静止物体を検出して識別することが依然としてできないかどうかを確認してもよい。
センサのうちのいずれか1つが、動的物体またはHDマップから導出されたものではない静止物体を検出して識別することができなければ、この方法は、動作717において、正常に機能していないセンサを知覚機能から除外するためにセンサシステムカバレッジを更新してもよい。全てのセンサが、動的物体またはHDマップから導出されたものではない静止物体を検出して識別することができる場合には、この方法は、全てのセンサを、知覚機能に対してセンサ入力を供給することができるものとして含めるように、センサシステムカバレッジを更新してもよい。
動作719において、この方法は、センサシステムカバレッジが知覚機能の連続動作を許容するかどうかを判定する。一実施形態では、この方法は、センサシステムカバレッジ内に最小数のセンサがあるかどうかを判定してもよい。
センサシステムカバレッジが知覚機能の連続動作を許容しない場合には、この方法は、動作721において、車両の速度を落とすため、または(いる場合には)ドライバーが車両の運転を引き継ぐことを可能にするために、劣化した動作を活性化する。一実施形態では、この方法は、車両を最も近い安全な場所に停止させるための故障動作を活性化し得、搭乗者またはサービスプロバイダに故障動作を通知してもよい。
センサシステムカバレッジが知覚機能の連続動作を許容する場合には、この方法は、動作723において、旅程が完了しているかどうかを判定する。旅程が計画されたルートに沿って完了していなければ、この方法は、動作701に戻って、HDマップからの追加の静止物体、動的物体またはHDマップから導出されたものではない静止物体を使用して、センサの多様性に基づき、センサシステムカバレッジ検査を実行する。旅程が完了していれば、この方法は終結する。
データ処理システムは、例えばサイバー攻撃またはスプーフィングを検出する方法など、上記で説明されたプロセスまたは方法のうちの任意のものを実行し得る。データ処理システムは多くの異なる構成要素を備えることができる。これらの構成要素は、集積回路(IC)、集積回路(IC)の部分、個別電子デバイスまたはコンピュータシステムのマザーボードもしくはアドインカードなど、回路板に適応される他のモジュールとして、またはコンピュータシステムのシャーシ内に別段に組み込まれる構成要素として実装されてもよい。
データ処理システムは、1または複数のプロセッサと、1または複数の記憶装置と、バスを介して接続されたデバイスとを備え得る。プロセッサは、マイクロプロセッサ、中央処理ユニット(CPU)など、1または複数の汎用プロセッサを表し得る。より詳細には、プロセッサは、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実装するプロセッサ、または命令セットの組合せを実装するプロセッサであり得る。プロセッサはまた、特定用途向け集積回路(ASIC)、セルラーまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、グラフィックスプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、埋込みプロセッサまたは命令を処理することが可能な任意の他のタイプの論理など、1または複数の専用プロセッサであってもよい。プロセッサは、本明細書で論じられた動作およびステップを実行するために、記憶装置に記憶された命令を実行するように構成され得る。
本明細書で説明する処理モジュール/ユニット/論理、構成要素および他の特徴は、個別ハードウェア構成要素として実装されるか、またはASIC、FPGA、DSPまたは同様のデバイスなど、ハードウェア構成要素の機能に一体化されてもよい。加えて、処理モジュール/ユニット/論理は、ハードウェアデバイス内でファームウェアまたは機能回路として実装されてもよい。さらに、処理モジュール/ユニット/論理は、任意の組合せハードウェアデバイスおよびソフトウェア構成要素中に実装されてもよい。
コンピュータメモリ内のデータビットに対する動作のアルゴリズムおよび記号表現に関して、上記の詳細な説明のいくつかの部分を提示した。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって、それらの当業者の作業の要旨を最も効果的に他の当業者に伝達するために使用される方法である。ここで使用されるアルゴリズムは、一般に、所望の結果につながる動作の自己矛盾のないシーケンスとして想到される。動作は、物理量の物理的操作を必要とする動作である。
しかしながら、すべてのこれらの用語および同様の用語は適切な物理量に関連するものであり、これらの量に付される便宜上のラベルに過ぎないことに留意されたい。上記の説明から明らかなように、別段に明記されていない限り、説明全体にわたって、以下の特許請求の範囲に記載された用語などの用語を利用する議論は、コンピュータシステムのレジスタおよびメモリ内で物理(電子)量として表されるデータを操作し、コンピュータシステムメモリまたはレジスタまたは他のそのような情報ストレージ、送信またはディスプレイデバイス内で物理量として同様に表される他のデータに変換する、コンピュータシステムまたは同様の電子計算デバイスのアクションおよびプロセスを指すことを諒解されたい。
本開示の実施形態は、本明細書における動作を実行するための装置にも関する。そのようなコンピュータプログラムは非一時的コンピュータ可読媒体に記憶されている。マシン可読媒体は、マシン(例えばコンピュータ)に可読の形態で情報を記憶するための任意の機構を含む。例えば、マシン可読(例えばコンピュータ可読)媒体は、マシン(例えばコンピュータ)可読記憶媒体(例えば読み取り専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ素子)を含む。
上記の図に示されたプロセスまたは方法は、ハードウェア(例えば回路、専用論理など)、(例えば、非一時的コンピュータ可読媒体上で具現化される)ソフトウェアまたは両方の組合せを備える処理ロジックによって実行され得る。プロセスまたは方法について、いくつかの逐次動作に関して上記で説明したが、説明した動作のうちのいくつかは異なる順序で実行され得ることを諒解されたい。その上、いくつかの動作は連続的にではなく並行して実行され得る。
本開示の実施形態は、何らかの特定のプログラム言語を基準として説明されているわけではない。本明細書で説明されたような本開示の実施形態の教示を実装するために、種々のプログラム言語が使用され得ることが理解されよう。
上記の明細書では、本開示の実施形態について、本発明の特定の例示的な実施形態を参照しながら説明した。以下の特許請求の範囲に記載されているように、本開示のより広い趣旨および範囲から逸脱することなく本発明の実施形態に様々な変更が行われ得ることが明らかになろう。明細書および図面は、したがって、限定的な意味ではなく、例示的な意味であると見なされるべきである。

Claims (18)

  1. 自律運転車両(ADV)に対するスプーフィング攻撃を検出するためのコンピュータ実装方法であって、
    出発位置から目的地までの計画されたルートを決定するステップであって、前記ADVが前記計画されたルートを移動するとき前記目的地までの前記計画されたルートが更新可能であるステップと、
    前記計画されたルートに沿った複数の既定の静止物体をマップデータベースから取得するステップであって、前記複数の既定の静止物体が、前記計画されたルートが更新されるとき更新可能であるステップと、
    前記複数の既定の静止物体に対する更新を検出するステップと、
    前記複数の既定の静止物体に対する更新を検出するステップに応答して、前記目的地までの前記計画されたルートのルート変更は異常である、または前記目的地に対する無許可の変更に由来する新規のルートがある、と判定するステップと、
    前記計画されたルートのルート変更が異常であることまたは前記新規のルートに対して応答するステップと、
    を含み、
    前記目的地までの計画されたルートのルート変更は異常であると判定するステップが、
    交通条件、前記計画されたルートの過去のルート変更の頻度、前記計画されたルートの距離、前記異常なルート変更と前記計画されたルートの間の距離の差、前記計画されたルートの移動時間または前記異常なルート変更と前記計画されたルートの間の移動時間の差を含む1または複数の要因を解析するステップを含む方法。
  2. 前記目的地までの前記計画されたルートのルート変更は異常である、または、前記目的地に対する無許可の変更に由来する新規のルートがある、と判定するステップが、
    前記計画されたルートがルート変更されたことまたは前記新規のルートを確認するために、更新された既定の静止物体が識別されることを検証するステップを含む請求項1に記載の方法。
  3. 前記目的地に対する無許可の変更に由来する新規のルートがあると判定するステップが、
    前記目的地に対する変更を判定するために、複数の更新された既定の静止物体が辿る前記新規のルートを解析するステップと、
    前記ADV内に搭乗者がいる場合には、該搭乗者が前記目的地に対する変更を要求していないことを確認するステップと、
    を含む請求項1に記載の方法。
  4. 前記目的地に対する無許可の変更に由来する新規のルートがあると判定するステップが、
    前記目的地に対する変更を判定するために、複数の更新された既定の静止物体が辿る前記新規のルートを解析するステップと、
    前記ADV内に搭乗者がいないことを確認するステップと、
    を含む請求項1に記載の方法。
  5. 前記計画されたルートのルート変更が異常であることまたは前記新規のルートに対して応答するステップが、
    前記ADV内の搭乗者またはサービスプロバイダに、前記目的地までの前記計画された経路の異常なルート変更または前記目的地に対する無許可の変更の警告を出すステップを含む請求項1に記載の方法。
  6. 前記計画されたルートのルート変更が異常であることまたは前記新規のルートに対して応答するステップが、
    前記ADV内の搭乗者が前記ADVの停止を要求することを許容するステップを含む、請求項1に記載の方法。
  7. 命令を記憶した非一時的マシン可読媒体であって、前記命令がプロセッサによって実行されたとき、該プロセッサに、自律運転車両(ADV)に対するスプーフィング攻撃を検出するための動作を実行させ、該動作が、
    出発位置から目的地までの計画されたルートを決定するステップであって、前記ADVが前記計画されたルートを移動するとき前記目的地までの前記計画されたルートが更新可能であるステップと、
    前記計画されたルートに沿った複数の既定の静止物体をマップデータベースから取得するステップであって、前記複数の既定の静止物体が、前記計画されたルートが更新されるとき更新可能であるステップと、
    前記複数の既定の静止物体に対する更新を検出するステップと、
    前記複数の既定の静止物体に対する更新を検出するステップに応答して、前記目的地までの前記計画されたルートのルート変更は異常である、または前記目的地に対する無許可の変更に由来する新規のルートがある、と判定するステップと、
    前記計画されたルートのルート変更が異常であることまたは前記新規のルートに対して応答するステップと、
    を含み、
    記目的地までの計画されたルートのルート変更は異常であると判定するステップが、
    交通条件、前記計画されたルートの過去のルート変更の頻度、前記計画されたルートの距離、前記異常なルート変更と前記計画されたルートの間の距離の差、前記計画されたルートの移動時間または前記異常なルート変更と前記計画されたルートの間の移動時間の差を含む1または複数の要因を解析するステップを含む非一時的マシン可読媒体。
  8. 前記目的地までの前記計画されたルートのルート変更は異常である、または前記目的地に対する無許可の変更に由来する新規のルートがある、と判定するステップが、
    前記計画されたルートがルート変更されたこと、または前記新規のルートを確認するために、更新された既定の静止物体が識別されることを検証するステップを含む、請求項に記載の非一時的マシン可読媒体。
  9. 前記目的地に対する無許可の変更に由来する新規のルートがあると判定するステップが、
    前記目的地に対する変更を判定するために、複数の更新された既定の静止物体が辿る前記新規のルートを解析するステップと、
    前記ADV内に搭乗者がいる場合には、該搭乗者が前記目的地に対する変更を要求していないことを確認するステップと、
    を含む請求項に記載の非一時的マシン可読媒体。
  10. 前記目的地に対する無許可の変更に由来する新規のルートがあると判定するステップが、
    前記目的地に対する変更を判定するために、複数の更新された既定の静止物体が辿る前記新規のルートを解析するステップと、
    前記ADV内に搭乗者がいないことを確認するステップと、
    を含む請求項に記載の非一時的マシン可読媒体。
  11. 前記計画されたルートのルート変更が異常であることまたは前記新規のルートに対して応答するステップが、
    前記ADV内の搭乗者またはサービスプロバイダに、前記目的地までの前記計画された経路の異常なルート変更または前記目的地に対する無許可の変更の警告を出すステップを含む請求項に記載の非一時的マシン可読媒体。
  12. 前記計画されたルートのルート変更が異常であることまたは前記新規のルートに対して応答するステップが、
    前記ADV内の搭乗者が前記ADVの停止を要求することを許容するステップを含む、請求項8に記載の非一時的マシン可読媒体。
  13. 自律運転車両(ADV)のセンサシステムに対するスプーフィング攻撃を検出するためのコンピュータ実装方法であって、
    出発位置から目的地までの計画されたルートを決定するステップと、
    該計画されたルートに沿った複数の既定の静止物体をマップデータベースから取得するステップと、
    前記ADVが前記複数の既定の静止物体のうちの1つに対応するロケーションにあるとき、前記ADVの複数のセンサの各々が前記マップデータベースからの前記複数の既定の静止物体のうちの一つを識別することができるかどうか評価するステップと、
    前記複数のセンサの各々が前記計画されたルートに沿った動的物体を識別することができるかどうか評価するステップと、
    前記1つの既定の静止物体または前記動的物体を識別することができない1または複数の正常に機能していないセンサの評価に基づいて、該1または複数の正常に機能していないセンサを識別するステップと、
    該1または複数の正常に機能していないセンサを前記ADVの知覚機能から除外するステップと、
    を含む方法。
  14. 前記1つの既定の静止物体または前記動的物体を識別することができない1または複数の正常に機能していないセンサの評価に基づいて、前記1または複数の正常に機能していないセンサを識別するステップが、
    前記複数のセンサのうちの1つのセンサが前記1つの既定の静止物体を識別することができないと判定するステップと、
    前記1つのセンサが前記動的物体を識別することができないと確認するステップと、
    前記1つのセンサを前記正常に機能していないセンサのうちの1つであると識別するステップと、
    を含む請求項13に記載の方法。
  15. 前記1つの既定の静止物体または前記動的物体を識別することができない1または複数の正常に機能していないセンサの評価に基づいて、前記1または複数の正常に機能していないセンサを識別するステップが、
    前記複数のセンサのうちの1つのセンサのみが前記動的物体を識別することができないと判定するステップと、
    前記1つのセンサを、前記正常に機能していないセンサのうちの1つであると識別するステップと、
    を含む請求項13に記載の方法。
  16. 前記1つの既定の静止物体または前記動的物体を識別することができない1または複数の正常に機能していないセンサの評価に基づいて、前記1または複数の正常に機能していないセンサを識別するステップが、
    前記ADVが前記複数の既定の静止物体の追加された1つに対応するロケーションにあるときまたは前記1もしくは複数の正常に機能していないセンサが追加の動的物体を識別することができないとき、前記1または複数の正常に機能していないセンサが前記マップデータベースからの前記追加された既定の静止物体を識別することができないことを確認するステップを含む請求項13に記載の方法。
  17. 前記動的物体が、HDマップから導出されたものではない静止物体を含む請求項13に記載の方法。
  18. 前記1または複数の正常に機能していないセンサ以外の前記複数のセンサが、前記ADVの前記知覚機能の連続動作を許容するかどうかを判定するステップと、
    前記1または複数の正常に機能していないセンサ以外の前記複数のセンサが前記知覚機能の連続動作を許容しないとの判定に応答して、前記ADVの劣化した動作を活性化するか、または前記ADVを停止するステップと、
    を含む請求項13に記載の方法。
JP2020134274A 2019-10-15 2020-08-07 自動運転システムに対するスプーフィング攻撃を検出する方法 Active JP7073456B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/653,711 US11310269B2 (en) 2019-10-15 2019-10-15 Methods to detect spoofing attacks on automated driving systems
US16/653,711 2019-10-15

Publications (2)

Publication Number Publication Date
JP2021063795A JP2021063795A (ja) 2021-04-22
JP7073456B2 true JP7073456B2 (ja) 2022-05-23

Family

ID=72826686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020134274A Active JP7073456B2 (ja) 2019-10-15 2020-08-07 自動運転システムに対するスプーフィング攻撃を検出する方法

Country Status (4)

Country Link
US (1) US11310269B2 (ja)
EP (1) EP3828502B1 (ja)
JP (1) JP7073456B2 (ja)
CN (1) CN112464229B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
JP7259716B2 (ja) * 2019-11-28 2023-04-18 トヨタ自動車株式会社 車両制御システム及び車両制御方法
JP2022175060A (ja) * 2021-05-12 2022-11-25 株式会社日立製作所 移動体管制システム、攻撃通知方法
US20240249624A1 (en) * 2021-05-26 2024-07-25 Hitachi, Ltd. Safety management system and autonomous control system
US20230039537A1 (en) * 2021-08-05 2023-02-09 Here Global B.V. Apparatus and methods for providing vehicle signature reduction
US11636688B1 (en) 2021-10-06 2023-04-25 Ford Global Technologies, Llc Enhanced vehicle operation
JP2023134153A (ja) * 2022-03-14 2023-09-27 日立Astemo株式会社 電子制御装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170008487A1 (en) 2014-04-09 2017-01-12 Empire Technology Development, Llc Sensor data anomaly detector
JP2017033186A (ja) 2015-07-30 2017-02-09 トヨタ自動車株式会社 攻撃検知システムおよび攻撃検知方法
JP2019046176A (ja) 2017-09-01 2019-03-22 クラリオン株式会社 車載装置、インシデント監視方法
US20200094847A1 (en) 2018-09-20 2020-03-26 Toyota Research Institute, Inc. Method and apparatus for spoofing prevention

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135952B2 (en) * 2006-10-10 2012-03-13 Recursion Ventures LLC Method and system for secure position determination
US9218741B2 (en) * 2012-04-06 2015-12-22 Saab-Sensis Corporation System and method for aircraft navigation based on diverse ranging algorithm using ADS-B messages and ground transceiver responses
US9019155B2 (en) * 2012-05-03 2015-04-28 Raytheon Company Global positioning system (GPS) and doppler augmentation (GDAUG) and space location inertial navigation geopositioning system (SPACELINGS)
US10223517B2 (en) * 2013-04-14 2019-03-05 Kunal Kandekar Gesture-to-password translation
KR101518929B1 (ko) * 2013-12-16 2015-05-15 현대자동차 주식회사 텔레매틱스 원격 제어 차량의 외부 해킹 차단 방법 및 시스템
US10495759B2 (en) * 2014-02-13 2019-12-03 The Mitre Corporation GPS spoofing detection techniques
WO2016085554A2 (en) * 2014-09-05 2016-06-02 The Board Of Trustees Of The Leland Stanford Junior University Spoofing detection and anti-jam mitigation for gps antennas
GB201420496D0 (en) * 2014-10-01 2014-12-31 Continental Intelligent Transporation Systems Llc Package delivery to and pick-up from a vehicle
US9601022B2 (en) * 2015-01-29 2017-03-21 Qualcomm Incorporated Systems and methods for restricting drone airspace access
US9552736B2 (en) * 2015-01-29 2017-01-24 Qualcomm Incorporated Systems and methods for restricting drone airspace access
US10024973B1 (en) * 2015-04-03 2018-07-17 Interstate Electronics Corporation Global navigation satellite system spoofer identification technique
US9774414B2 (en) * 2015-08-17 2017-09-26 Kay Nishimoto Methods and apparatus for providing and utilizing virtual timing markers
US20170070971A1 (en) * 2015-09-04 2017-03-09 Qualcomm Incorporated Methods and systems for collaborative global navigation satellite system (gnss) diagnostics
US9847033B1 (en) * 2015-09-25 2017-12-19 Amazon Technologies, Inc. Communication of navigation data spoofing between unmanned vehicles
US10705221B2 (en) * 2016-06-08 2020-07-07 The Boeing Company On-board backup and anti-spoofing GPS system
US10545246B1 (en) * 2016-07-08 2020-01-28 Interstate Electronics Corporation Global navigation satellite system spoofer identification technique based on carrier to noise ratio signatures
CN106372545B (zh) * 2016-08-29 2020-09-11 北京新能源汽车股份有限公司 一种数据处理方法、车载自动诊断系统obd控制器及车辆
KR101887077B1 (ko) * 2017-01-24 2018-09-10 엘지전자 주식회사 차량용 전자 디바이스 해킹 테스트 장치
JP6862257B6 (ja) * 2017-04-14 2021-06-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 自動運転車両、自動運転車両の停車方法及びプログラム
CN107194248B (zh) * 2017-04-21 2023-02-28 百度在线网络技术(北京)有限公司 无人驾驶车辆的反黑客劫持方法、装置、设备及存储介质
EP3437022A1 (en) * 2017-06-22 2019-02-06 Baidu.com Times Technology (Beijing) Co., Ltd. Traffic prediction based on map images for autonomous driving
WO2019168571A2 (en) * 2017-11-20 2019-09-06 Javad Gnss, Inc. Spoofing detection and rejection
US11269352B2 (en) * 2017-12-15 2022-03-08 Baidu Usa Llc System for building a vehicle-to-cloud real-time traffic map for autonomous driving vehicles (ADVS)
US11105932B2 (en) * 2017-12-20 2021-08-31 Board Of Regents, The University Of Texas System Method and system for detecting and mitigating time synchronization attacks of global positioning system (GPS) receivers
US10921823B2 (en) * 2017-12-28 2021-02-16 Bendix Commercial Vehicle Systems Llc Sensor-based anti-hacking prevention in platooning vehicles
CN110058265A (zh) * 2018-01-18 2019-07-26 孙宏民 全球定位系统的分析方法
US20190268371A1 (en) * 2018-02-23 2019-08-29 Walmart Apollo, Llc Systems and methods for identifying a hacked data communication received by an unmanned vehicle
US10817610B2 (en) * 2018-03-23 2020-10-27 Wipro Limited Method and system for providing hack protection in an autonomous vehicle
AU2019366249C1 (en) * 2018-08-06 2022-11-24 Transportation Ip Holdings, Llc Positioning data verification system
US11023756B2 (en) * 2018-10-26 2021-06-01 Advanced New Technologies Co., Ltd. Spoof detection using iris images
CN109447048B (zh) * 2018-12-25 2020-12-25 苏州闪驰数控系统集成有限公司 一种人工智能预警系统
CN109902018B (zh) * 2019-03-08 2021-12-31 同济大学 一种智能驾驶系统测试案例的获取方法
US20200371245A1 (en) * 2019-05-23 2020-11-26 The Boeing Company Digital Controlled Reception Pattern Antenna for Satellite Navigation
US11280913B2 (en) * 2019-05-31 2022-03-22 At&T Intellectual Property I, L.P. Global positioning system spoofing countermeasures
US20210331712A1 (en) * 2019-08-05 2021-10-28 Lg Electronics Inc. Method and apparatus for responding to hacking on autonomous vehicle
US11222542B2 (en) * 2019-08-22 2022-01-11 Qualcomm Incorporated Planning and control framework with communication messaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170008487A1 (en) 2014-04-09 2017-01-12 Empire Technology Development, Llc Sensor data anomaly detector
JP2017033186A (ja) 2015-07-30 2017-02-09 トヨタ自動車株式会社 攻撃検知システムおよび攻撃検知方法
JP2019046176A (ja) 2017-09-01 2019-03-22 クラリオン株式会社 車載装置、インシデント監視方法
US20200094847A1 (en) 2018-09-20 2020-03-26 Toyota Research Institute, Inc. Method and apparatus for spoofing prevention

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kexiong (Curtis) Zeng,All Your GPS Are Belong to Us:Towards Stealthy Manipulation of Road Navigation Systems,USENIX Association,27th USENIX Security Symposium,米国,2018年08月14日,1527-1544

Also Published As

Publication number Publication date
JP2021063795A (ja) 2021-04-22
CN112464229B (zh) 2023-07-21
CN112464229A (zh) 2021-03-09
EP3828502A2 (en) 2021-06-02
US20210112094A1 (en) 2021-04-15
US11310269B2 (en) 2022-04-19
EP3828502A3 (en) 2021-08-11
EP3828502B1 (en) 2024-01-31

Similar Documents

Publication Publication Date Title
JP7073456B2 (ja) 自動運転システムに対するスプーフィング攻撃を検出する方法
US11724708B2 (en) Fail-safe handling system for autonomous driving vehicle
EP3602220B1 (en) Dynamic sensor selection for self-driving vehicles
CN108973990B (zh) 用于自动驾驶控制的方法、介质和系统
EP3882100B1 (en) Method for operating an autonomous driving vehicle
CN112540592A (zh) 用于确保安全的具有双自主驾驶系统的自主驾驶车辆
CN111775945A (zh) 用于自动驾驶的用于检测最接近的路径内对象的方法和装置
CN111532253A (zh) 用于自动驾驶系统的具有功能安全监视器的故障运行结构
US11225228B2 (en) Method for enhancing in-path obstacle detection with safety redundancy autonomous system
US11662730B2 (en) Hierarchical path decision system for planning a path for an autonomous driving vehicle
CN112829769A (zh) 自动驾驶车辆的混合规划系统
US20200391729A1 (en) Method to monitor control system of autonomous driving vehicle with multiple levels of warning and fail operations
US11609576B2 (en) Emergency vehicle audio detection
JP2022058592A (ja) 自律運転車両のための音源の検出及び位置特定
CN113391614B (zh) 用于实时确定安全冗余自动驾驶系统的能力边界和关联风险的方法
US12017681B2 (en) Obstacle prediction system for autonomous driving vehicles
CN113060140A (zh) 基于中心线移位的变道前路径规划
CN113002534A (zh) 碰撞后减损制动系统
US11656262B2 (en) Software simulation system for indoor EMC test
CN212391730U (zh) 用于自动驾驶车辆的光探测和测距装置
US11679761B2 (en) Forward collision warning alert system for autonomous driving vehicle safety operator
US11662219B2 (en) Routing based lane guidance system under traffic cone situation
US11440567B2 (en) System to handle communication delays between an autonomous driving system and vehicle
WO2024150476A1 (ja) 確認装置及び確認方法
CN113859111A (zh) 用于未来紧急制动的l4紧急状态灯光系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220511

R150 Certificate of patent or registration of utility model

Ref document number: 7073456

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150