JP6845894B2 - 自動運転車両におけるセンサー故障を処理するための方法 - Google Patents

Description

本発明の実施形態は、自動運転車両の操作に関する。より具体的には、本発明の実施形態は、自動運転車両におけるセンサー故障の処理に関する。

自動運転モード（例えば、無人運転）で運転している車両は、運転に関連するいくつかの責任から乗員、特に運転手を解放することができる。自動運転モードで運転しているとき、車両は車載センサーを使用してさまざまな地点にナビゲートすることができるため、車両が最小限のヒューマンコンピュータインタラクションまたは乗客なしの状況などで走行することが可能である。

自動運転モード（例えば、無人運転）で運転している車両は、運転に関連するいくつかの責任から乗員、特に運転手を解放することができる。自動運転モードで運転しているとき、車両は車載センサーを使用してさまざまな地点にナビゲートすることができるため、車両が最小限のヒューマンコンピュータインタラクションまたは乗客なしの状況などで走行することが可能である。

しかし、ＡＤＶが１つ以上のセンサー故障に遭遇すると、世界座標内でナビゲートされるＡＤＶは、センサーデータをまったく受信していないか、または１つ以上のセンサーからセンサーデータを受信するのに遅延が発生する可能性がある。そのため、ＡＤＶを世界座標内で正確にナビゲートすることができない可能性がある。

本発明に係る一態様は、自動運転車両におけるセンサー故障を処理するためのコンピュータ実施方法であって、センサー故障処理モジュールによって、絶対座標系である世界座標内でナビゲートする前記自動運転車両における1つ以上のセンサーの故障を検出することと、前記センサー故障処理モジュールによって、前記故障を示すメッセージを前記自動運転車両における複数のモジュールによって購読されるメッセージチャネルに送信することと、複数の購読モジュールのうちの少なくとも１つによって、前記自動運転車両を前記世界座標内でナビゲートすることから前記自動運転車両が走行している車線内の前記自動運転車両の現在位置に関する相対座標であるローカル座標内でナビゲートすることに変換することと、前記世界座標の絶対座標情報を使用せずに、前記ローカル座標に基づいて前記自動運転車両が前記車線内を走行するための軌跡を計画することと、を含む方法に関する。

本発明に係る別の一態様は、命令を格納する非一時的な機械可読媒体であって、前記命令は、プロセッサによって実行される場合に、
センサー故障処理モジュールによって、絶対座標系である世界座標内でナビゲートする前記自動運転車両における1つ以上のセンサーの故障を検出することと、
前記センサー故障処理モジュールによって、前記故障を示すメッセージを前記自動運転車両における複数のモジュールによって購読されるメッセージチャネルに送信することと、
複数の購読モジュールのうちの少なくとも１つによって、前記自動運転車両を前記世界座標内でナビゲートすることから前記自動運転車両が走行している車線内の前記自動運転車両の現在位置に関する相対座標であるローカル座標内でナビゲートすることに変換することと、
前記世界座標の絶対座標情報を使用せずに、前記ローカル座標に基づいて前記自動運転車両が前記車線内を走行するための軌跡を計画することと、
を含む、自動運転車両におけるセンサー故障を処理するための操作を前記プロセッサに実行させる非一時的な機械可読媒体に関する。

本発明に係るさらに別の一態様は、自動運転車両におけるセンサー故障を処理するためのシステムであって、プロセッサと、前記プロセッサに接続され、命令を格納するメモリと、を含み、前記命令が前記プロセッサによって実行される場合に、センサー故障処理モジュールによって、絶対座標系である世界座標内でナビゲートする前記自動運転車両における1つ以上のセンサーの故障を検出することと、前記センサー故障処理モジュールによって、前記故障を示すメッセージを前記自動運転車両における複数のモジュールによって購読されるメッセージチャネルに送信することと、複数の購読モジュールのうちの少なくとも１つによって、前記自動運転車両を前記世界座標内でナビゲートすることから前記自動運転車両が走行している車線内の前記自動運転車両の現在位置に関する相対座標であるローカル座標内でナビゲートすることに変換することと、前記世界座標の絶対座標情報を使用せずに、前記ローカル座標に基づいて前記自動運転車両が前記車線内を走行するための軌跡を計画することと、を前記プロセッサに実行させるシステム。

本発明の実施態様は図面の各図において限定的ではなく例示的に示され、図面において同一の参照符号が同様な素子を示す。

いくつかの実施形態にかかるネットワーク化システムを示すブロック図である。

いくつかの実施形態にかかる自動運転車両の例を示すブロック図である。

いくつかの実施形態にかかる自動運転車両と共に使用される感知・計画システムの例を示すブロック図である。 いくつかの実施形態にかかる自動運転車両と共に使用される感知・計画システムの例を示すブロック図である。

一実施形態にかかるＡＤＶで使用するための例示的なセンサー故障処理システムを示す図である。

一実施形態にかかる世界座標系からローカル座標系への変換を示す図である。

一実施形態にかかる自動運転車両（例えばＡＤＶ）におけるセンサー故障を処理するためのプロセスの例示を示すフローチャートである。

いくつかの実施形態にかかるデータ処理システムを示すブロック図である。

本発明の様々な実施形態および態様を以下に検討される詳細を参照して説明し、図面には、前記様々な実施形態が示されている。以下の説明及び図面は本発明を説明するためのものであり、本発明を限定するものと解釈されるべきではない。具体的な詳細を多く記載することは、本発明の様々な実施形態を完全に理解するためである。しかしながら、本発明の実施形態を簡潔に説明するために、周知のまたは従来の詳細は記載しない場合もある。

本明細書における「一実施形態」または「実施形態」への言及は、当該実施形態に関連して説明された特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所に出現する「一実施形態では」とは、必ずしも全て同じ実施形態を指すわけではない。

いくつかの実施形態によれば、絶対座標系である世界座標内でナビゲートする自動運転車両（ＡＤＶ）におけるセンサー故障を処理するためのシステムおよび方法を本明細書で説明する。ＡＤＶにセンサー故障が発生しても、少なくとも１つのカメラが正常に動作している場合、センサー故障処理システムは、ＡＤＶを世界座標内でナビゲートすることからローカル座標内或は相対座標内でナビゲートすることに変換することが可能であり、ここで、ＡＤＶは、1台以上のカメラに頼って車線追跡を使用してナビゲートされることにより、人が離れるまで減速し、または必要に応じて道路縁石に沿って駐車するまで減速することができる。センサー故障処理システムは座標変換を迅速に、シームレスにそして自動的に実行できる。

一実施形態では、世界座標系内をナビゲートされるＡＤＶにおける１つ以上のセンサーのセンサー故障を検出するために、センサー故障処理モジュールをＡＤＶに設けることが可能である。センサー故障処理モジュールは、１つ以上のセンサーにおける故障を検出したことに応答して、故障を示すメッセージをＡＤＶにおける１つ以上のモジュールによって購読されるメッセージチャネルに送信する。メッセージを受信すると、少なくとも１つの購読モジュールが、ＡＤＶを世界座標内でナビゲートすることからＡＤＶが走行している車線内のＡＤＶの現在位置に関するローカル座標内でナビゲートすることに変換するように動作する。世界座標の絶対座標情報を使用しない場合、少なくとも１つの購読モジュールは、ローカル座標に基づいてＡＤＶが車線内を走行するための軌跡を計画することができる。

本明細書で使用されるように、センサー故障は、センサーにおける物理的故障であってもよく、センサーデータの受信側から見たセンサーの感知故障であってもよい。例えば、ＧＰＳ信号が遮断された場合、ＧＰＳセンサーに物理的故障がなくても、ＡＤＶはＧＰＳセンサーからのセンサーデータを使用することができず、センサー故障処理モジュールはＧＰＳ信号の欠如またはＧＰＳ信号の誤差をＧＰＳセンサの故障とし、メッセージチャネルにメッセージを送信する。別の例として、コンピューティングデバイスにおけるコンピューティングリソースの高利用率は、コンピューティングデバイスがセンサーからのセンサーデータをタイムリーに処理することを妨げる場合、適切なモジュールによるセンサーデータの受信が遅延し、センサー故障処理モジュールは同様にこのような遅延をセンサー故障と見なす。

一実施形態では、センサー故障処理モジュールは、ＡＤＶの温度、ＡＤＶにおけるコンピューティングデバイス上のＣＰＵ使用率、メモリ使用率とディスク使用率、およびＡＤＶにおけるセンサーを監視するように構成される。したがって、センサー故障処理モジュールは、センサー故障を検出することができ、またセンサー故障の１つまたは複数の原因を識別することもできる。センサー故障を示すメッセージをメッセージチャネルに送信すると、センサー故障処理モジュールは、故障の原因を示すメタデータを送信することができる。購読モジュールは、メタデータを使用することにより、その購読モジュールがこのセンサー故障を処理する必要があるかどうかを判断することができる。購読モジュールが当該センサー故障を処理できない場合、センサー故障処理モジュールはデフォルトで当該センサー故障を処理する。例えば、センサー故障が検出されたときにコンピューティングデバイス上のディスク使用率が高すぎる場合、センサー故障処理モジュール自体がディスクスペースをいくらか解放するように動作することができる。

［自動運転車両］
図１は、本発明のいくつかの実施形態にかかる自動運転車両ネットワーク構成を示すブロック図である。図１を参照すると、ネットワーク構成１００は、ネットワーク１０２を介して１つまたは複数のサーバ１０３〜１０４に通信可能に接続された自動運転車両１０１を含む。１つの自動運転車両が示されているが、複数の自動運転車両がネットワーク１０２を介して互いに接続され、および／またはサーバ１０３〜１０４に接続されることが可能である。ネットワーク１０２は、有線または無線のローカルエリアネットワーク（ＬＡＮ）、インターネットなどの広域ネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク、またはそれらの組み合わせなどの任意のタイプのネットワークであってもよい。サーバ１０３〜１０４は、ネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、またはそれらの組み合わせなどの任意のタイプのサーバまたはサーバ・クラスタであってもよい。サーバ１０３〜１０４は、データ分析サーバ、コンテンツサーバ、交通情報サーバ、地図・関心点（ＭＰＯＩ：map and point of interest）サーバまたはロケーションサーバなどであってもよい。

自動運転車両とは、自動運転モードになるように配置可能な車両を指し、前記自動運転モードで、運転者からの入力がほとんどまたは全くない状況で、車両が周囲の環境をナビゲートして通過する。このような自動運転車両は、車両の走行環境に関連する情報を検出するように構成された１つ以上のセンサを有するセンサーシステムを含むことが可能である。前記車両及びかかるコントローラは、検出された情報を使用して周囲の環境をナビゲートして通過する。自動運転車両１０１は、手動モード、全自動運転モード、または一部自動運転モードで運転することができる。

一実施形態では、自動運転車両１０１は、感知・計画システム１１０、車両制御システム１１１、無線通信システム１１２、ユーザインタフェースシステム１１３、およびセンサーシステム１１５を含むが、これらに限定されない。自動運転車両１０１はエンジン、ホイール、ステアリングホイール、トランスミッションなどの一般の車両に含まれるいくつかの共通の要素をさらに含み、例えば加速信号または命令、減速信号または命令、ステアリング信号または命令、ブレーキ信号または命令などの様々な通信信号および／または命令を使用して、車両制御システム１１１および／または感知・計画システム１１０によって、前記要素を制御してもよい。

要素１１０〜１１５同士は、接続部品、バス、ネットワーク、またはそれらの組み合わせを介して通信可能に接続されることが可能である。例えば、要素１１０〜１１５同士は、コントローラエリアネットワーク（ＣＡＮ）バスを介して通信可能に接続されることができる。ＣＡＮバスは、マイクロコントローラとデバイスがホストコンピュータなしのアプリケーションで互いに通信することを許可するように設計された車両バス規格である。これは、もともと自動車内の多重電気配線のために設計されたメッセージベースのプロトコルでしたが、他の多くの環境でも使用されている。

次に、図２を参照すると、一実施形態では、センサーシステム１１５は、１つ以上のカメラ２１１と、全地球測位システム（ＧＰＳ）ユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダユニット２１４と、光検出・測距（ＬＩＤＡＲ）ユニット２１５とを含むが、これらに限定されない。ＧＰＳユニット２１２は、自動運転車両の位置に関する情報を提供するように動作できる送受信機を含むことができる。ＩＭＵユニット２１３は、慣性加速度に基づいて自動運転車両の位置および向きの変化を検知することができる。レーダユニット２１４は、無線信号を利用して自動運転車両のローカル環境内の対象物を感知するシステムを表すことができる。いくつかの実施形態では、対象物を感知することに加えて、レーダーユニット２１４は、対象物の速度および／または進行方向をさらに感知することができる。ＬＩＤＡＲユニット２１５は、レーザを使用することにより自動運転車両が存在する環境における対象物を感知することができる。他のシステム要素を除いて、ＬＩＤＡＲユニット２１５は、１つ以上のレーザ源、レーザスキャナ、および１つ以上の検出器も含むことができる。カメラ２１１は、自動運転車両の周囲の環境の画像を取得するための１つ以上の装置を含むことができる。カメラ２１１は、スチルカメラおよび／またはビデオカメラであってもよい。カメラは、例えば回転および／または傾斜プラットフォーム上にカメラを取り付けることによって、機械的に移動可能なものであってもよい。

センサーシステム１１５は、ソナーセンサー、赤外線センサー、ステアリングセンサー、スロットルセンサー、ブレーキセンサー、およびオーディオセンサー（例えば、マイクロフォン）などの他のセンサーをさらに含むことができる。オーディオセンサーは、自動運転車両の周囲の環境から音を集音するように構成されることができる。ステアリングセンサーは、ステアリングホイール、車両の車輪、またはそれらの組み合わせの操舵角を感知するように構成されることができる。スロットルセンサーおよびブレーキセンサーは、それぞれ車両のスロットル位置およびブレーキ位置を検知する。スロットルセンサー及びブレーキセンサーは、集積式スロットル/ブレーキセンサーとして集積される場合もある。

一実施形態では、車両制御システム１１１は、ステアリングユニット２０１、スロットルユニット２０２（加速ユニットとも呼ばれる）、およびブレーキユニット２０３を含むが、これらに限定されない。ステアリングユニット２０１は、車両の向きまたは進行方向を調整するために使用される。スロットルユニット２０２は、モータまたはエンジンの速度を制御して車両の速度および加速度を制御するために使用される。ブレーキユニット２０３は、摩擦を与えて車両の車輪またはタイヤを減速させることによって車両を減速させる。なお、図２に示される要素は、ハードウェア、ソフトウェア、またはそれらの組み合わせによって実施されることができる。

図１に戻って参照すると、無線通信システム１１２は、自動運転車両１０１と装置、センサー、他の車両などの外部システムとの間の通信を可能にする。例えば、無線通信システム１１２は、直接またはネットワーク１０２とサーバ１０３〜１０４などの通信ネットワークを介して１つ以上の装置と無線通信することができる。無線通信システム１１２は、別の要素またはシステムと通信するために、例えばＷｉＦｉ（登録商標）などの任意のセルラー通信ネットワークまたは無線ローカルエリアネットワーク（ＷＬＡＮ）を使用することができる。無線通信システム１１２は、例えば赤外線リンク、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを使用して装置（例えば、乗客の移動装置、表示装置、車両１０１内のスピーカー）と直接通信することができる。ユーザインタフェースシステム１１３は、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、およびスピーカなどを含む車両１０１内に実施される周辺装置の一部であってもよい。

特に自動運転モードで動作しているときに、自動運転車両１０１の機能の一部または全部を感知・計画システム１１０によって制御または管理することができる。感知・計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）およびソフトウェア（例えば、オペレーティングシステム、計画・ルーティングプログラム）を含むことにより、センサーシステム１１５、制御システム１１１、無線通信システム１１２および/またはユーザインターフェースシステム１１３から情報を受信し、受信した情報を処理し、出発地から目的地までのルートまたは経路を計画し、その後、計画および制御情報に基づいて車両１０１を運転する。代わりに、感知・計画システム１１０を車両制御システム１１１と統合することができる。

例えば、乗客であるユーザは、例えばユーザインターフェースを介して、旅程の出発地と目的地を指定することができる。感知・計画システム１１０は旅程関連データを取得する。例えば、感知・計画システム１１０は、ＭＰＯＩサーバから位置および経路情報を取得することができ、ＭＰＯＩサーバはサーバ１０３〜１０４の一部である可能である。ロケーションサーバはロケーションサービスを提供し、ＭＰＯＩサーバはマップサービスとあるロケーションのＰＯＩを提供する。代わりに、このような位置およびＭＰＯＩ情報を感知・計画システム１１０の永続記憶装置にローカルキャッシュすることができる。いくつかの実施形態において、感知・計画システム１１０は、ＭＰＯＩ情報（例えば、地図データ）を持たなくてもよい。例えば、感知・計画システム１１０は、他の環境または地理的領域/ロケーションについての地図データを持たなくてもよく、感知・計画システム１１０は、自動運転車両１０１が現在走行または測位している環境または地理的領域/ロケーションについての地図データを持たなくてもよい（例えば、 感知・計画システム１１０は、ある都市の地図データを持っていてもよいが、他の都市の地図データを持っていなくてもよい）。別の例では、感知・計画システム１１０は、いかなる地図データまたはＭＰＯＩ情報を持たなくてもよい（例えば、感知・計画システム１１０は、いかなる地図データを記憶しなくてもよい）。

自動運転車両１０１が経路に沿って移動するときに、感知・計画システム１１０は、交通情報システムまたはサーバ（ＴＩＳ）からリアルタイム交通情報を取得することができる。なお、サーバ１０３〜１０４は第三者のエンティティによって操作されることが可能である。代わりに、サーバ１０３〜１０４の機能を感知・計画システム１１０に集積されてもよい。リアルタイム交通情報、ＭＰＯＩ情報およびロケーション情報、ならびにセンサーシステム１１５によって検出または感知されたリアルタイムローカル環境データ（例えば、障害物、対象物、近くの車両）に基づいて、感知・計画システム１１０は最適経路を計画し、計画された最適経路に従って、例えば、制御システム１１１を介して、安全かつ効率的に指定された目的地に到達するように車両１０１を運転することができる。

サーバ１０３は、様々な顧客に対してデータ分析サービスを実行するためのデータ分析システムであってもよい。一実施形態では、データ分析システム１０３は、データ収集装置１２１と機械学習エンジン１２２とを含む。データ収集装置１２１は、様々な車両（自動運転車両または人間の運転手によって運転される従来の車両）から運転統計データ１２３を収集する。運転統計データ１２３は、出された運転命令（例えば、スロットル、ブレーキ、ステアリング命令）および異なる時点で車両のセンサーによって捕捉された車両の応答（例えば、速度、加速度、減速度、方向）を示す情報を含む。運転統計データ１２３は、ルート（出発地および目的地を含む）、ＭＰＯＩ、道路状況、気象状況などの異なる時点における運転環境を記述する情報を含むこともできる。

運転統計データ１２３に基づいて、機械学習エンジン１２２は、様々な目的のために１組の規則、アルゴリズム、および／または予測モデル１２４を生成または訓練する。例えば、アルゴリズム１２４は、特定のセンサが故障したかどうかを判定するためのアルゴリズムまたはモデルを含むことができる。アルゴリズム１２４は、センサーの故障に応答して、ローカル座標系または相対座標系を使用してＡＤＶを運転するための１つ以上のアルゴリズムをさらに含んでもよい。そして、例えば図３Ａのセンサー故障検出アルゴリズム３１３の一部として、リアルタイムナビゲーションのためにアルゴリズム１２４をＡＤＶにアップロードすることにより、センサー故障に応答してローカル座標系または相対座標系を使用してＡＤＶを運転することができる

図３Ａと図３Ｂは、いくつかの実施形態による自動運転車両と共に使用される感知・計画システムの例を示すブロック図である。システム３００は、図１の自動運転車両１０１の一部として実施されることができ、感知・計画システム１１０、制御システム１１１、およびセンサーシステム１１５を含むが、これらに限定されない。図３Ａ〜図３Ｂを参照すると、感知・計画システム１１０は、測位モジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、ルーティングモジュール３０７、およびセンサー故障処理モジュール３０８を含むが、これらに限定されない。

モジュール３０１〜３０８のうちのいくつかまたはすべては、ソフトウェア、ハードウェア、またはそれらの組み合わせで実施されることが可能である。例えば、これらのモジュールは、永続記憶装置３５２にインストールされ、メモリ３５１にロードされ、そして１つ以上のプロセッサ（図示せず）によって実行されることができる。なお、これらのモジュールのうちのいくつかまたはすべてが、図２の車両制御システム１１１のモジュールのうちのいくつかまたはすべてに通信可能に接続されるかまたはそれらと一体に集積されている。モジュール３０１〜３０８のいくつかは、統合モジュールとして一体に集積されてもよい。

測位モジュール３０１、自動運転車両３００の現在位置を（例えば、ＧＰＳユニット２１２を利用し）特定するとともに、ユーザの旅程または経路に関連するいかなるデータを管理する。測位モジュール３０１（地図・ルーティングモジュールとも呼ばれる）は、ユーザの旅程または経路に関連するいかなるデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインして、旅程の出発地と目的地を指定することができる。測位モジュール３０１は、旅程関連データを取得するために、地図・経路情報３１１などの自動運転車両３００の他の要素と通信する。例えば、測位モジュール３０１は、ロケーションサーバおよび地図およびＰＯＩ（ＭＰＯＩ）サーバからロケーションおよび経路情報を取得することができる。ロケーションサーバはロケーションサービスを提供し、ＭＰＯＩサーバはマップサービスとあるロケーションのＰＯＩを提供することにより、マップおよびルート情報の一部としてキャッシュされる。自動運転車両３００が経路に沿って移動するときに、測位モジュール３０１は、交通情報システムまたはサーバからリアルタイム交通情報を取得することができる。一実施形態では、地図・経路情報３１１は、永続記憶装置３５２に予め記憶されてもよい。例えば、地図・経路情報３１１は、永続記憶装置３５２に予めダウンロードまたはコピーされていてもよい。

センサーシステム１１５によって提供されたセンサーデータと測位モジュール３０１によって得られた測位情報とに基づいて、感知モジュール３０２は周囲環境への感知を特定する。感知情報は、普通の運転者が運転者が運転している車両の周りで感知するであろうものを表すことができる。感知は、例えば、対象物の形態の車線構成（例えば、直線車線または曲線車線）、信号機信号、他の車両の相対位置、歩行者、建物、横断歩道、または他の交通関連標識（例えば、停止標識、道譲り標識）を含むことができる。

感知モジュール３０２は、１つ以上のカメラによって取得された画像を処理し分析するためのコンピュータビジョンシステムまたはコンピュータビジョンシステムの機能を含むことにより、自動運転車両環境内の対象物および／または特徴を識別することができる。前記対象物は、交通信号、道路境界、他の車両、歩行者および／または障害物などを含む。コンピュータビジョンシステムは、対象物認識アルゴリズム、ビデオ追跡、およびその他のコンピュータビジョン技術を使用できる。いくつかの実施形態では、コンピュータビジョンシステムは、環境地図を描き、物体を追跡し、そして対象物の速度等を推定することができる。感知モジュール３０２は、レーダおよび／またはＬＩＤＡＲなどの他のセンサーによって提供される他のセンサーデータに基づいて対象物を検出することもできる。

各対象物に対し、予測モジュール３０３は、この状況において対象物がどのように動作するかを予測する。予測は、一組の地図・経路情報３１１および交通ルール３１２を考慮した時点で運転環境を感知する感知データに基づいて実行される。例えば、対象物が反対方向の車両であり、且つ、現在の運転環境が交差点を含む場合、予測モジュール３０３は、車両が直進するか、または旋回するかを予測する。感知データが交差点に信号機がないことを示す場合、予測モジュール３０３は、交差点に入る前に車両が完全に停止しなければいけない可能性があると予測することがある。感知データが車両が現在左折専用車線または右折専用車線にあることを示す場合、予測モジュール３０３は、車両がそれぞれ左折または右折する可能性が高いと予測することができる。いくつかの実施形態では、以下で詳しく説明したように、自動運転車両が環境または地理的領域/ロケーションを通過するとき、その環境または地理的領域/ロケーションための地図・経路情報３１１が作動中で生成されることが可能である（例えば、感知モジュール３０２によって生成される）。

各対象物に対し、決定モジュール３０４は、対象物をどのように対応するかを決定する。例えば、特定の対象物（例えば、交差ルート内の他の車両）及び対象物を記述するメタデータ（例えば、速度、方向、回転角度）に対し、決定モジュール３０４は、前記対象物に遭遇する時どのように動作するか（例えば、追い越し、道譲り、停止、超過）を決定する。決定モジュール３０４は、永続記憶装置３５２に記憶されることができる交通ルールまたは運転ルール３１２などのルールセットに基づいてこのような決定を下すことができる。

さまざまな移動している障害物/対象物が予想外に移動することがある。例えば、歩行者は、経路に沿って移動していても、突然に方向を変える（例えば、左に曲がる）可能性があり、または加速／減速する可能性もある。これは、移動対象物との突き合い、衝突、または打ち当てを避けるために移動対象物の経路を予測しようとするときに、問題を引き起こす可能性がある。したがって、移動障害物が移動する可能性のある場所を含む領域を（例えば、計算、推定、取得などを行って）特定することが有用である。これにより、ＡＤＶは移動障害物を避ける可能性を高めることができる。

ルーティングモジュール３０７は、出発地から目的地までの１つ以上の経路またはルートを提供するように構成される。例えばユーザから受信した所与の旅程などの出発地から目的地までの所与の旅程に対し、ルーティングモジュール３０７は、地図・経路情報３１１を取得し、出発地から目的地までのすべての可能な経路またはルートを決定する。いくつかの実施形態では、以下で詳しく説明したように、地図・経路情報３１１が感知モジュール３０２によって生成されることができる。ルーティングモジュール３０７は、出発地から目的地までの各経路を決定する地形図の形態の基準線を生成することができる。基準線とは、他の車両、障害物、または交通状況などの他のものからの干渉がない理想的な経路またはルートを指す。つまり、道路上に他の車両、歩行者、または障害物がない場合、ＡＤＶは基準線に正確にまたは密接に従うべきである。そして、地形図を決定モジュール３０４および／または計画モジュール３０５に提供する。決定モジュール３０４および／または計画モジュール３０５は、他のモジュールによって提供される他のデータに基づいて最適の経路のうちの１つを選択し変更するためにすべての可能な経路を検査し、ここで、他のデータは、測位モジュール３０１からの交通状況、感知モジュール３０２によって感知された運転環境、および予測モジュール３０３によって予測された交通状況などである。時点での特定の運転環境に応じて、ＡＤＶを制御するための実際の経路またはルートは、ルーティングモジュール３０７によって提供される基準線に近いかまたは異なることがある。

感知された対象物に対する各決定に基づいて、計画モジュール３０５は、基礎としてルーティングモジュール３０７によって提供される基準線を使用することにより、自動運転車両に対し経路またはルートおよび運転パラメータ（例えば、距離、速度および／または旋回角度）を計画する。言い換えれば、所与の対象物に対し、決定モジュール３０４は当該対象物をどうするかを決定し、計画モジュール３０５はどのようにするかを決定する。例えば、所与の対象物に対し、決定モジュール３０４は前記対象物を超過することと決定することができ、計画モジュール３０５は前記対象物の左側または右側のどちらを超過するかを決定することができる。計画・制御データは、計画モジュール３０５によって生成され、車両３００が次の移動サイクル（例えば、次のルート／経路セグメント）においてどのように移動するかを記述する情報を含む。例えば、計画・制御データは、３０マイル/時（ｍｐｈ）の速度で１０メートル移動し、次に２５ｍｐｈの速度で右車線に変更するように車両３００に指示することができる。

計画・制御データに基づいて、制御モジュール３０６は、計画・制御データによって限られた経路またはルートに基づいて適切な命令または信号を車両制御システム１１１に送信することによって自動運転車両を制御し運転する。前記計画・制御データは、十分な情報を含むことにより、経路またはルートに沿って異なる時点で適切な車両設定または運転パラメータ（例えば、スロットル、ブレーキ、および旋回命令）を使用して、経路またはルートの第１の地点から第２の地点まで車両を走行させる。

一実施形態では、計画段階は、複数の計画サイクル（命令サイクルとも呼ばれる）で、例えば各時間間隔１００ミリ秒（ｍｓ）のサイクルで実行される。計画サイクルまたは命令サイクルのそれぞれについて、計画・制御データに基づいて１つ以上の制御命令を発する。すなわち、１００ｍｓごとに、計画モジュール３０５は、例えば対象物位置およびＡＤＶが対象物位置に到達するのに必要な時間を含めて、次のルートセグメントまたは経路セグメントを計画する。代わりに、計画モジュール３０５は、具体的な速度、方向、および／または操舵角などを計画することもできる。一実施形態では、計画モジュール３０５は、次の所定の期間（例えば５秒間）についてルートセグメントまたは経路セグメントを計画する。各計画サイクルに対して、計画モジュール３０５は、前のサイクルで計画された目標位置に基づいて現在のサイクル（例えば次の５秒間）の目標位置を計画する。次に、制御モジュール３０６は、現在のサイクルの計画・制御データに基づいて、１つ以上の制御命令（例えば、スロットル、ブレーキ、ステアリング制御命令）を生成する。

なお、決定モジュール３０４および計画モジュール３０５は集積モジュールとして集積されてもよい。決定モジュール３０４ ／計画モジュール３０５は、自動運転車両の運転経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含むことができる。例えば、ナビゲーションシステムは、自動運転車両が自動運転車両を最終目的地に至る車道に基づく経路に沿って前進させながら感知された障害物を実質的に避ける経路に沿って移動することを達成するための一連の速度及び進行方向を決定することができる。目的地は、ユーザインタフェースシステム１１３を介したユーザ入力に従って設定されることができる。ナビゲーションシステムは、自動運転車両の運転中に運転経路を動的に更新することができる。ナビゲーションシステムは、ＧＰＳシステムと１つ以上の地図からの（感知モジュール３０２によって生成され、または予め記憶されるかもしくはダウンロードされる）データを組み合わせることにより、自動運転車両の運転経路を決定することができる。

決定モジュール３０４ ／計画モジュール３０５は、自動運転車両の環境における潜在的な障害物を識別、評価、回避、または他の方法で追い越すための衝突回避システムまたは衝突回避システムの機能をさらに含む。例えば、衝突回避システムは、制御システム１１１における１つ以上のサブシステムを操作して、方向変更操作、旋回操作、ブレーキ操作などを行うことによって、ナビゲーション中の自動運転車両の変化を実現することができる。衝突回避システムは、周囲の交通パターン、道路状況などに基づいて実現可能な障害物回避操作を自動的に決定することができる。衝突回避システムは、他のセンサーシステムが、自動運転車両が方向変更して入る隣接領域に位置する車両、建物の障害物などを検出したとき、方向変更操作を行わないように構成される。衝突回避システムは、使用可能であり、かつ自動運転車両の乗員の安全性を最大限にする操作を自動的に選択することができる。衝突回避システムは、自動運転車両の客室内で最小量の加速度を発生させると予測される回避操作を選択することができる。

ルーティングモジュール３０７は、（道路区間の情報、道路区間の車線情報、車線から道路縁石までの距離情報などの）地図情報から基準ルートを生成することができる。たとえば、道路を｛Ａ、Ｂ、Ｃ｝の３つの道路区間を表す区画やセグメントに分割することができます。道路区間Ａの３つの車線は、｛Ａ１、Ａ２、Ａ３｝として例示できる。基準ルートは、基準ルートに沿った基準点を生成することによって生成される。例えば、車両の車線に対し、ルーティングモジュール３０７は、（感知モジュール３０２によって生成することができ、または予め記憶／ダウンロードすることができる）地図データによって提供される車両の車線の２つの対向する道路縁石または端点の中間点を接続することができる。異なる時点で以前に車両の車線上を走行している車両の収集されたデータ点を表す中間点および機械学習データに基づいて、ルーティングモジュール３０７は、車両の車線の所定の近接範囲内に収集されたデータ点のサブセットを選択し、収集されたデータ点のサブセットによる中間点に平滑化関数を適用することによって基準点を計算することができる。

基準点または車線基準点に基づいて、ルーティングモジュール３０７は、基準点を補間して基準線を生成することによって、生成された基準線を車両の車線上のＡＤＶを制御するための基準線として使用するようにことができる。いくつかの実施形態では、基準線を表す基準点表および道路区間表は、ＡＤＶがＡＤＶの地理的位置および進行方向に基づいて基準線を生成できるように、リアルタイムでＡＤＶにアップロードされる。例えば、一実施形態では、ＡＤＶは、もうすぐ着く前方の道路区間を表す経路セグメント識別子および／またはＡＤＶのＧＰＳ位置に基づいて、経路セグメントの経路スケジューリングサービスを要求することによって、基準線を生成することができる。ＡＤＶは、車両の車線上のＡＤＶを制御するための基準線を生成するために経路セグメント用の車線の基準点を調べることができる。

センサー故障処理モジュール３０８は、ＧＰＳセンサーまたはＬＩＤＡＲセンサーの故障を検出し、他のモジュール３０１〜３０７に通知を送信するように構成されることにより、これらのモジュールの少なくとも１つが当該センサーの故障を処理することができる。

［センサー故障処理システム］
図４は、一実施形態にかかるＡＤＶで使用するための例示的なセンサー故障処理システムを示す図である。システム４００は、ＡＤＶの温度、ＡＤＶにおけるコンピューティングデバイス上のＣＰＵ利用率、メモリ利用率とディスク利用率、およびＡＤＶにおける複数のセンサーを監視するように構成されたセンサー故障処理モジュール３０８を含む。センサー故障処理モジュール３０８によって監視されるセンサーは、カメラ２１１、ＧＰＳユニット２１２、ＩＭＵ２１３、レーダユニット２１４、およびＬＩＤＡＲユニット２１５を含むが、これらに限定されない。

一実施形態では、当該複数のセンサーはセンサーデータを生成することができる。カメラ２１１は、画像を撮影または記録することができる。レーダユニット２１４は、無線電波（例えば、無線周波数の電波または信号）を使用して、ＡＤＶの周囲の対象物の位置、範囲、角度および／または速度を決定することができる。ＬＩＤＡＲユニット２１５は、光（例えば、レーザ）を使用して、ＡＤＶの周囲の対象物の位置、程度、角度および／または速度を決定することができる。ＧＰＳユニット２１２は、ＡＤＶの位置（例えば、実際の位置または地理的位置）を決定することができる。ＧＰＳユニット２１２によって生成されたセンサーデータは、ＧＰＳデータ（ＧＰＳ座標と呼ばれることがある）であってもよい。

一実施形態では、センサーデータは、ＡＤＶが現在位置しているかまたは移動している環境または地理的領域／ロケーションに関する情報を示すことができる。例えば、センサーデータは、対象物（例えば、歩行者、車両、バリケード、障害物、バリア、車線、標識、信号機など）の位置および／またはレイアウトを示すことができる。別の例では、センサーデータは、環境または地理的区域の道路状況（例えば、道路が乾いた道路、湿った道路、平坦な道路、でこぼこの道路などであるかどうか）を示すことができる。別の例では、センサーデータは、環境または地理的地域の気象条件（例えば、気温、雨、風、雪、あられなどがあるかどうか）を示すことができる

一実施形態では、障害物要素４１２は、センサー要素４１１によって取得／受信されたセンサーデータに基づいて、１つ以上の移動障害物または静止障害物を検出することができる。例えば、障害物要素４１２は、カメラによって取得された画像またはビデオ（例えば、ビデオデータ）を分析して、ＡＤＶが位置する／移動している地理的領域内の移動障害を識別することができる。別の例では、障害物要素４１２は、レーダデータを分析して、ＡＤＶが位置する／移動している地理的領域内の障害物を識別することができる。別の例では、障害物要素４１２は、ＬＩＤＡＲデータを分析して、ＡＤＶが位置する／移動している地理的領域内の障害物を識別することができる。

一実施形態では、障害物要素４１２は、様々な技術、方法、アルゴリズム、操作などを使用することにより、センサーデータに基づいて認識移動障害物を生成することができる。例えば、障害物要素４１２は、画像またはビデオ処理／分析技術またはアルゴリズムを使用することにより、ビデオデータに基づいて障害物を識別することができる。別の例では、障害物要素４１２は、様々な対象物検出技術またはアルゴリズムを使用することにより、レーダおよび／またはＬＩＤＡＲデータに基づいて障害物を識別することができる。説明された例、実施例および／または実施形態は、さまざまな種類のセンサーデータおよび／またはさまざまな関数、技術、方法、アルゴリズム、操作などを使用することにより、障害物を識別することができる。例えば、障害物要素４１２は、機械学習、人工知能、統計モデル、ニューラルネットワーク、クラスタリング技術などを使用することができる。

一実施形態では、センサー２１１〜２１５は、ＡＤＶが絶対座標系である世界座標内でナビゲートするために通常動作中にセンサーデータを生成することができる。計画モジュール３０５は、ＬＩＤＡＲユニット２１５、ＧＰＳユニット２１２、およびカメラ２１１の組み合わせからのセンサーデータを使用することにより、ＡＤＶをナビゲートすることができる。

ＧＰＳセンサーまたはＬＩＤＡＲセンサーが期待通りに動作していないとき、計画モジュール３０５は、世界座標内でＡＤＶをナビゲートする問題を経験する可能性がある。例えば、ＧＰＳ信号が弱いか又は建物によって遮断されると、ＧＰＳセンサーは、位置標準偏差が所定の閾値よりも大きいＧＰＳデータを生成することができ、したがって、計画モジュール３０５はＧＰＳデータおよび地図データを用いて世界座標内でＡＤＶを正確にナビゲートすることができない可能性がある。同様に、感知モジュール３０２は、ＬＩＤＡＲからのいかなるセンサーデータを受信しないか、またはセンサーデータを受信する際により長い遅延を経験する可能性があり、これは、計画モジュール３０５が世界座標においてＡＤＶを正確にナビゲートすることを妨げる可能性がある。

一実施形態では、センサー故障処理モジュール３０８は、センサー２１１〜２１５のうちの１つまたは複数が期待通りに動作しないという指示を検出し、ＡＤＶにおけるモジュール３０１、３０２、３０３、３０４、３０５、３０６、および３０７によって購読されたメッセージチャネル４０３に故障を示すメッセージを送信することができる。故障を示すメッセージを受信すると、購読モジュールのうちの少なくとも１つ（例えば、計画モジュール３０５）は、ＡＤＶを世界座標４０５内でナビゲートすることからローカル座標４０７内でナビゲートすることに変換することができる。

ローカル座標４０７は、ＡＤＶが走行している車線内のＡＤＶの現在位置の相対座標である。座標変換の後、世界座標の絶対座標情報を使用しない場合、計画モジュール３０５は、ローカル座標に基づいてＡＤＶをナビゲートし、ＡＤＶが車線内を走行するための軌跡を計画することができる

一実施形態では、１つのカメラが機能するときに、計画モジュール３０５はカメラからのセンサーデータを使用することにより特定の車線を検出して追跡し、人が離れるまで減速する。２つ以上のカメラが機能するときに、計画モジュール３０５は２つ以上のカメラからのセンサーデータを使用することにより複数の車線を検出して追跡し、道路の片側で停止する。

図５は、一実施形態による世界座標系からローカル座標系への変換を示す図である。図５に示すシステム５００では、ＡＤＶ５０９におけるＬＩＤＡＲ５１５センサーまたはＧＰＳセンサー５１７が故障した場合、カメラによる障害物検出および車線マーキング検出は、ＡＤＶが最初にナビゲートしていた世界座標５３５の代わりに、ローカル座標５３７内でＡＤＶをナビゲートするために使用されることができる。

世界座標５３５では、ＡＤＶはＬＩＤＡＲ５１５とＧＰＳ/ＩＭＵ５１７からのセンサーデータに依存してナビゲートする。当該センサーデータは、経度と緯度を提供してＡＤＶの位置と向き/方向を表す。

一実施形態では、ＬＩＤＡＲセンサー５１５および／またはＧＰＳセンサー５１７の故障に応答して、ＡＤＶは経路５２１および５３１を介して世界座標５１１からローカル座標５１３に誤って切り替え、ローカル座標５１３では、ＡＤＶがカメラ５１９による障害物検出および車線（例えば、車線Ａ５３９および車線Ｂ５４１）マーキング検出に依存してナビゲートすることができる。

絶対座標系内でナビゲートするとき、感知データに基づいて、感知モジュール（または測位モジュール３０１、ルーティングモジュール３０７などの他のモジュール）は絶対座標情報（ＧＰＳおよびＩＭＵデータなど）を使用することにより、ＡＤＶの位置および感知された各障害物（例えば、他の車両、バイカー、道路標識、歩行者、建物など）を決定する。ＡＤＶおよび障害物を記述するセンサーデータを地図（例えば、高精細度またはＨＤ地図）にマッピングすることによって、ＡＤＶおよび障害物の正確な位置（例えば、絶対ｘ、ｙ座標）を決定することができる。ＡＤＶおよび障害物の絶対位置情報は、障害物が近い将来どのように移動するかを予測するために予測モジュール３０３によって使用され、また、ＡＤＶの現在位置に基づいてＡＤＶがどのようにするべきかを決定するために決定モジュール３０４によって使用される。

次に、計画モジュール３０５は、予測モジュール２０３および決定モジュール３０４によって実行される予測および決定に基づいて、ＡＤＶが次の運転サイクルで走行するように案内するための軌跡を計画し生成する。具体的には、計画モジュール３０５は、障害物およびＡＤＶの絶対位置を軌跡を計画するための駅-横（Station-lateral、ＳＬ）マップおよび駅-時間（station-time、ＳＴ）グラフにマッピングする。ＳＬマップは、ＡＤＶの現在位置に関連する各障害物の位置を記述する情報を含む。ＳＬマップにおいて、Ｘ軸は、ＡＤＶの現在位置と各障害物との間の縦方向距離を表す。Ｙ軸は、ＡＤＶの異なる位置におけるＡＤＶの現在位置（または車線の基準線）と各障害物との間の横方向距離（例えば、左または右）を表す。ＳＴグラフにおいて、Ｘ軸は時間を表し、Ｙ軸は異なる時点での各障害物とＡＤＶとの間の距離を表す。ＳＬマップおよびＳＴグラフに基づいて、計画モジュール３０５は、周囲でナビゲートする軌跡を計画することにより、ＳＬマップおよびＳＴグラフに示される障害物のいかなる危険な状態（例えば、衝突）を回避することができる。

いくつかのセンサー（例えば、ＧＰＳ、ＩＭＵ、ＬＩＤＡＲ、ＲＡＤＡＲ）が故障したときに、ＡＤＶおよび障害物の絶対位置情報は利用不可能または無効である。当該故障に応答して、故障メッセージを購読する全てのモジュールは、絶対座標系からローカル／相対座標系に変換するように構成される。この場合、感知モジュール３０２および／または測位モジュール３０１は、カメラなどの他のセンサーによって取得されたセンサーデータに基づいて障害物の位置を決定する。具体的には、画像認識を行って障害物を認識し、ＡＤＶのカメラと障害物との間の距離および視野角を測定する。また、画像に基づいて車線構成を決定してもよい。

測定された距離および視野角に基づいて、ＡＤＶと障害物との間の縦方向距離および横方向距離を計算することができる。従って、ＡＤＶの現在位置に対する各障害物の相対位置を決定することができる。車線構成は、各方向の車線数、車線幅、ＡＤＶと車線境界との間の距離などに関する情報を含むことができる。次に、障害物の相対位置をＳＬマップおよびＳＴグラフにマッピングすることにより、計画モジュール３０５が危険な状態なしで障害物の周りを移動するための軌跡を生成することを可能にする。

このように、世界座標におけるＡＤＶのナビゲーションに悪影響を与えるセンサー故障が発生した場合、システム５００は、世界座標内でＡＤＶをナビゲートすることからローカル座標内でＡＤＶをナビゲートすることに自動的で迅速かつシームレスに変換する。

座標変換の後、一実施形態によれば、カメラによる障害物検出および車線マーキング検出は、人が離れるまで、またはＡＤＶが道路脇に沿って駐車されるまで、ＡＤＶをローカル座標で安全に運転させる。代わりに、ＡＤＶは、ローカル座標系または相対座標系を使用して単に車線に従うことができる。

図６は、一実施形態にかかる自動運転車両（例えばＡＤＶ）におけるセンサー故障を処理するためのプロセス６００の例示を示すフローチャートである。プロセス６００は、ソフトウェア、ハードウェア、またはそれらの組み合わせを含み得る処理ロジックによって実行されることができる。一実施形態では、プロセス６００は、図３Ａおよび図４に示すように、測位モジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、ルーティングモジュール３０７、およびセンサー故障処理モジュール３０８のうちの１つまたは複数によって実行されることができる。

図６を参照すると、操作６１１において、ＡＤＶ内にセンサー故障処理モジュールを設けて、絶対座標系である世界座標内でナビゲートしているＡＤＶ内の１つ以上のセンサーにおけるセンサー故障を検出する。

操作６１３において、１つ以上のセンサにおける故障の検出に応答して、センサー故障処理モジュールは、故障を示すメッセージをＡＤＶ内の複数のモジュールによって購読されているメッセージチャネルに送信する。

操作６１５において、メッセージを受信すると、少なくとも１つの購読モジュールは、ＡＤＶを世界座標内でナビゲートすることからＡＤＶが走行している車線内のＡＤＶの現在位置に関するローカル座標内でナビゲートすることに変換するように動作する。

操作６１７において、少なくとも１つの購読モジュールは、世界座標の絶対座標情報を使用せずに、ローカル座標に基づいてＡＤＶが車線内を走行するための軌跡を計画する。

なお、上述のように記載され説明された要素のいくつかまたはすべては、ソフトウェア、ハードウェア、またはそれらの組合せで実施されることが可能である。例えば、このような要素は、永続記憶装置にインストールされ記憶されるソフトウェアとして実施されることが可能であり、前記ソフトウェアは、プロセッサ（図示せず）によってメモリにロードされ、メモリ内で実行されることにより、本願を通じて説明されるプロセスまたは操作を実施することができる。代わりに、このような要素は、（集積回路（例えば、特定用途向け集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの専用ハードウェアにプログラムされまたは埋め込まれる実行可能コードとして実施されることができ、前記実行可能コードは、アプリケーションからの対応するドライバおよび／またはオペレーティングシステムを介してアクセスすることができる。また、このような要素は、ソフトウェア要素によって１つ以上の特定の命令を介してアクセスすることができる命令セットの一部として、プロセッサまたはプロセッサコア内の特定のハードウェア論理として実施されることができる。

図７は、本発明の一実施形態と共に使用されることができるデータ処理システムの一例を示すブロック図である。例えば、システム１５００は、上記プロセスまたは方法のうちのいずれかを実行する上記のデータ処理システムのうちのいずれかを表すことができ、例えば、感知・計画システム１１０または図１のサーバ１０３〜１０４のいずれかを挙げられる。システム１５００は多くの異なる要素を含むことができる。
これらの要素は、集積回路（ＩＣ）、集積回路の一部、個別電子デバイス、または回路基板（コンピュータシステムのマザーボードまたはアドインカードなど）に適した他のモジュールとして実施されることができ、あるいは他の形態でコンピュータシステムのラックに組み込まれる要素として実施されることが可能である。

なお、システム１５００は、コンピュータシステムの多くの要素の高レベルビューを示すことを意図している。しかしながら、いくつかの実施形態では、追加の要素を有してもよく、また、他の実施形態では、示されている要素の異なる構成を有してもよいことを理解すべきである。システム１５００は、デスクトップパソコン、ラップトップパソコン、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤ、パーソナルデジタルアシスタント（ＰＤＡ）、スマートウォッチ、パーソナルコミュニケータ、ゲーム装置、ネットワークルータまたはハブ、ワイヤレスアクセスポイント（ＡＰ）またはリピーター、セットトップボックスあるいはそれらの組み合わせを表示することができる。また、単一の機械またはシステムのみが示されているが、「機械」または「システム」という用語は、本明細書で検討されている任意の１種類または複数の種類の方法を実行するために、１つ（または複数）の命令セットを個別でまたは共同で実行するための機械またはシステムの任意の組み合わせも含むと理解されるべきである。

一実施形態では、システム１５００は、バスまたはインターコネクト１５１０を介して接続されたプロセッサ１５０１、メモリ１５０３、および装置１５０５〜１５０８を含む。プロセッサ１５０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを示してもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）などの１つまたは複数の汎用プロセッサを示してもよい。より具体的には、プロセッサ１５０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット計算（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実行するプロセッサ、または命令セットの組み合わせを実行するプロセッサであってもよい。プロセッサ１５０１は、また、特定用途向け集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックスプロセッサ、通信プロセッサ、暗号化プロセッサ、コプロセッサ、組み込みプロセッサ、または命令を処理できるその他のタイプのロジックなどの１つまたは複数の専用プロセッサであってもよい。

プロセッサ１５０１（これは、超低電圧プロセッサなどの低電力マルチコアプロセッサソケットであってもよい）は、前記システムの様々な要素と通信するための主処理ユニットおよび中央ハブとして機能することができる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実装されてもよい。プロセッサ１５０１は、本明細書で論じられる操作およびステップを実行するための命令を実行するように構成される。システム１５００は、オプションのグラフィックサブシステム１５０４と通信するグラフィックインタフェースを含んでもよく、グラフィックサブシステム１５０４は、ディスプレイコントローラ、グラフィックプロセッサおよび／またはディスプレイデバイスを含み得る

プロセッサ１５０１はメモリ１５０３と通信することができ、一実施形態では、メモリ１５０３は複数のメモリデバイスを介して、所与の量のシステムストレージを提供するように作動する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、または他のタイプの記憶装置などの１つまたは複数の揮発性記憶（またはメモリ）装置を含むことができる。メモリ１５０３は、プロセッサ１５０１または他の任意の装置によって実行される一連の命令を含む情報を記憶することができる。例えば、さまざまなオペレーティングシステム、デバイスドライバ、ファームウェア（例えば、入出力基本システムまたはＢＩＯＳ）および／またはアプリケーションの実行可能コードおよび／またはデータをメモリ１５０３にロードし、プロセッサ１５０１によって実行することができる。オペレーティングシステムは、例えば、ロボットオペレーティングシステム（ＲＯＳ）、マイクロソフト（登録商標）からのウィンドウズ（登録商標）オペレーティングシステム、アップルからのマックＯＳ（登録商標）／ｉＯＳ（登録商標）、グーグル（登録商標）からのアンドロイド（登録商標）、リナックス（登録商標）、ＵＮＩＸ（登録商標）、またはその他のリアルタイムまたは組み込みオペレーティングシステムなどの任意のタイプのオペレーティングシステムであってもよい。

システム１５００は、ネットワークインターフェースデバイス１５０５、選択可能な入力デバイス１５０６、および他の選択可能なＩＯデバイス１５０７を含む、デバイス１５０５〜１５０８などのＩＯデバイスも含むことができる。ネットワークインターフェースデバイス１５０５は、無線送受信機および／またはネットワークインターフェースカード（ＮＩＣ）を含み得る。前記無線送受信機は、ＷｉＦｉ（登録商標）送受信機、赤外線送受信機、ブルートゥース（登録商標）送受信機、ＷｉＭａｘ送受信機、無線セルラー携帯電話送受信機、衛星送受信機（例えば全地球測位システム（ＧＰＳ）送受信機）、他の無線周波数（ＲＦ）送受信機またはそれらの組み合わせであってもよい。ＮＩＣはイーサネット（登録商標）カードであってもよい。

入力装置１５０６は、マウス、タッチパネル、（ディスプレイ装置１５０４と統合することができる）タッチセンシティブスクリーン、（スタイラスなどの）ポインティングデバイスおよび／またはキーボード（例えば、物理的キーボードまたはタッチセンシティブスクリーンの一部として表示される仮想キーボード）を含み得る。例えば、入力装置１５０６は、タッチスクリーンに接続されたタッチスクリーンコントローラを含み得る。タッチスクリーンおよびタッチスクリーンコントローラは、例えば、複数の種類のタッチ感度技術（容量式、抵抗式、赤外線式、および表面弾性波式の技術を含むがこれらに限定されない）のいずれか、および、他の近接センサーアレイまたはタッチスクリーンと接触する１つまたは複数の点を決定するための他の要素を用いて、その接触および移動または不連続性を検出できる。

ＩＯデバイス１５０７はオーディオデバイスを含むことができる。音声装置は、音声認識、音声コピー、デジタル録音および／または電話機能などの音声対応機能を容易にするために、スピーカおよび／またはマイクロフォンを含むことができる。他のＩＯデバイス１５０７は、ユニバーサルシリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、プリンタ、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサー（例えば、加速度計モーションセンサー、ジャイロ、磁力計、光センサー、コンパス、近接センサーなど）またはそれらの組み合わせをさらに含み得る。ＩＯデバイス１５０７は画像処理サブシステム（例えば、カメラ）をさらに含むことができ、前記画像処理サブシステムは、（写真およびビデオセグメントの記録などの）カメラ機能を容易にするための電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）光センサーなどの光センサーを含むことができる。特定のセンサーはセンサーハブ（図示せず）を介してインターコネクト１５１０に接続されることができ、キーボードまたは熱センサーなどの他の装置はシステム１５００の特定の構成または設計に応じて埋め込みコントローラ（図示せず）によって制御されることができる。

データ、アプリケーション、１つまたは複数のオペレーティングシステムなどの情報の永続記憶を提供するために、大容量記憶装置（図示せず）もプロセッサ１５０１に接続することができる。様々な実施形態において、より薄くより軽いシステム設計を可能にし、かつシステムの応答性を改善するために、このような大容量記憶装置はソリッドステートデバイス（ＳＳＤ）を介して実施されることができる。しかしながら、他の実施形態では、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）を使用して実施することができ、ここで、少数のＳＳＤ記憶装置はＳＳＤキャッシュとして機能してパワーダウン事件中にコンテキスト状態および他のこのような情報の不揮発性記憶を可能にすることにより、システムアクティビティの再起動時に高速のパワーアップを可能にする。また、フラッシュ装置は、例えばシリアル周辺インターフェース（ＳＰＩ）を介してプロセッサ１５０１に接続されてもよい。このようなフラッシュ装置は、前記システムのＢＩＯＳおよび他のファームウェアを含むシステムソフトウェアの不揮発性記憶を提供してもよい。

記憶装置１５０８は、コンピュータがアクセス可能な記憶媒体１５０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を含むことができ、その中に本明細書に記載の方法または機能のうちの任意の１つまたは複数を表す１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび/またはロジック１５２８）が記憶される。処理モジュール／ユニット／ロジック１５２８は、例えば計画モジュール３０５、制御モジュール３０６などの上記要素のうちのいずれかを表すことができる。処理モジュール／ユニット／ロジック１５２８は、それがデータ処理システム１５００、メモリ１５０３およびプロセッサ１５０１によって実行される期間に、メモリ１５０３内および／またはプロセッサ１５０１内に完全的にまたは少なくとも部分的に存在でき、データ処理システム１５００、メモリ１５０３およびプロセッサ１５０１は、機械がアクセス可能な記憶媒体を構成することもできる。処理モジュール／ユニット／ロジック１５２８はさらに、ネットワークによってネットワークインターフェースデバイス１５０５を介して送信または受信することができる。

コンピュータ可読記憶媒体１５０９を使用して、上記のいくつかのソフトウェア機能を永続的に記憶することもできる。例示的な実施形態では、コンピュータ可読記憶媒体１５０９は単一の媒体として示されているが、「コンピュータ可読記憶媒体」という用語は前記１つまたは複数の命令セットを記憶する単一の媒体または複数の媒体（例えば、集中型または分散型データベースおよび／または関連付けられるキャッシュとサーバー）を含むと解釈されるべきである。「コンピュータ可読記憶媒体」という用語はまた、命令セットを記憶または符号化することができる任意の媒体を含むと解釈されるべきであり、前記命令セットは、機器による実行に使用され、前記機器に本発明の方法のうちの任意の１つまたは複数を実行させる。したがって、「コンピュータ可読記憶媒体」という用語は、ソリッドステートメモリ、ならびに光媒体および磁気媒体、または他の任意の非一時的な機械可読媒体を含むが、これらに限定しないと解釈されるべきである。

本明細書に記載の処理モジュール／ユニット／ロジック１５２８、要素および他の特徴は、個別のハードウェア要素として実施され、または（ＡＳＩＣ、ＦＰＧＡ、ＤＳＰ、または同様のデバイスなど）のハードウェア要素の機能に統合されることができる。また、処理モジュール／ユニット／ロジック１５２８は、ハードウェアデバイス内のファームウェアまたは機能回路として実施されることができる。さらに、処理モジュール／ユニット／ロジック１５２８は、ハードウェアデバイスとソフトウェア要素との任意の組み合わせで実施されることができる。

システム１５００はデータ処理システムの様々な要素を有するように示されているが、要素を相互接続する任意の特定のアーキテクチャまたは方法を表すことを意図しない。これは、このような詳細と本発明の実施形態とは密接な関係がないからである。本発明の実施形態と共に、より少ない要素またはおそらくより多くの要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび／または他のデータ処理システムも本発明の実施形態とともに使用され得ることも理解されるべきである。

前述の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する計算のアルゴリズムおよび記号表現に従って提示されてきた。これらのアルゴリズムの説明および表現は、データ処理分野の当業者が彼らの仕事の本質を他の当業者に最も効果的に伝えるために使用する方法である。本明細書では、アルゴリズムは、一般的に、所望の結果をもたらす自己矛盾のない一連の操作であると考えられる。これらの操作は、物理量の物理的操作を必要とするものである。

しかしながら、これらの用語および類似の用語はすべて適切な物理量に関連付けられるように意図され、これらの量に適用される便利なラベルにすぎないことに留意されたい。上記の説明において他の形態で明示的に述べられていない限り、明細書全体において、用語（添付の特許請求の範囲に記載の用語など）を利用した説明とは、コンピュータシステムまたは類似の電子計算装置の動作およびプロセスを指すことを理解しべきであり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されるデータを操作し、前記データをコンピュータシステムのメモリまたはレジスタまたは他のこのような情報記憶装置、伝送または表示装置内の類似に物理量として表される他のデータに変換する。

本発明の実施形態は、本明細書の操作を実行するための装置にも関する。そのようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機械可読媒体は、機械（例えばコンピュータ）可読な形式で情報を記憶するための任意のメカニズムを含む。例えば、機械可読（例えばコンピュータ可読）媒体は、機械（例えばコンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置）を含む。

前述の図面に示したプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（例えば、非一時的コンピュータ可読媒体上に反映される）、またはその両方の組み合わせを含む処理ロジックによって実行されることができる。前記プロセスまたは方法は、いくつかの逐次的な操作に従って上で説明されているが、前記操作のいくつかは異なる順序で実行されてもよいことを理解すべきである。さらに、いくつかの操作は、順次ではなく並列に実行されてもよい。

本発明の実施形態は、任意の特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語を使用することにより、本明細書に記載の本発明の実施形態の教示を実施することができることを理解すべきである。

上記の明細書において、本発明の実施形態を本発明の具体の例示的な実施形態を参照して説明した。添付の特許請求の範囲に記載された本発明のより広い要旨および範囲から逸脱することなく、本発明に対して様々な修正がなされ得ることは明らかである。したがって、本明細書および図面は限定的な意味ではなく例示的な意味で理解されるべきである。

Claims (21)

1. 自動運転車両におけるセンサー故障を処理するためのコンピュータ実施方法であって、
   センサー故障処理モジュールによって、絶対座標系である世界座標内でナビゲートする前記自動運転車両における1つ以上のセンサーの故障を検出することと、
   前記センサー故障処理モジュールによって、前記故障を示すメッセージを前記自動運転車両における複数のモジュールによって購読されるメッセージチャネルに送信することと、
   前記メッセージチャネルを購読した複数の購読モジュールのうちの少なくとも１つによって、前記自動運転車両を前記世界座標内でナビゲートすることから前記自動運転車両が走行している車線内の前記自動運転車両の現在位置に関する相対座標であるローカル座標内でナビゲートすることに変換することと、
   前記世界座標の絶対座標情報を使用せずに、前記ローカル座標に基づいて前記自動運転車両が前記車線内を走行するための軌跡を計画することと、
   を含む方法。
2. 前記自動運転車両を前記世界座標内でナビゲートすることから前記ローカル座標内でナビゲートすることに変換するモジュールは、計画モジュールである請求項１に記載のコンピュータ実施方法。
3. 前記センサー故障を検出することは、センサーからデータを受信していないことを検出すること、センサーからデータを受信する際の長い遅延を検出し、またはセンサーによって生成されたデータの標準偏差を検出することを含み、前記標準偏差は所定の閾値より大きい請求項１に記載のコンピュータ実施方法。
4. 前記世界座標内でナビゲートするときに、前記計画モジュールは、光検出・測距センサー、全地球測位システムセンサー、及び１つ以上のカメラの組み合わせからのセンサーデータを使用する請求項２に記載のコンピュータ実施方法。
5. 前記ローカル座標内でナビゲートするときに、前記計画モジュールは、光検出・測距センサーまたは全地球測位システムセンサーからのセンサーデータを使用せずに、１つ以上のカメラからのセンサーデータを使用する請求項２に記載のコンピュータ実施方法。
6. １つのカメラが機能するときに、前記計画モジュールは前記カメラからのセンサーデータを使用することにより特定の車線を検出して追跡し、乗員が自動運転車両から離れるまで減速する請求項５に記載のコンピュータ実施方法。
7. ２つ以上のカメラが機能するときに、前記計画モジュールは前記２つ以上のカメラからのセンサーデータを使用することにより複数の車線を検出して追跡し、道路の片側で停止する請求項５に記載のコンピュータ実施方法。
8. 前記センサー故障処理モジュールは、前記自動運転車両の温度、前記自動運転車両におけるコンピューティングデバイス上のＣＰＵ使用率、メモリ使用率とディスク使用率、および前記自動運転車両における複数のセンサーを監視するように構成される請求項１に記載のコンピュータ実施方法。
9. 命令を格納する非一時的な機械可読媒体であって、
   前記命令は、プロセッサによって実行される場合に、
   センサー故障処理モジュールによって、絶対座標系である世界座標内でナビゲートする自動運転車両における1つ以上のセンサーの故障を検出することと、
   前記センサー故障処理モジュールによって、前記故障を示すメッセージを前記自動運転車両における複数のモジュールによって購読されるメッセージチャネルに送信することと、
   前記メッセージチャネルを購読した複数の購読モジュールのうちの少なくとも１つによって、前記自動運転車両を前記世界座標内でナビゲートすることから前記自動運転車両が走行している車線内の前記自動運転車両の現在位置に関する相対座標であるローカル座標内でナビゲートすることに変換することと、
   前記世界座標の絶対座標情報を使用せずに、前記ローカル座標に基づいて前記自動運転車両が前記車線内を走行するための軌跡を計画することと、
   を含む、自動運転車両におけるセンサー故障を処理するための操作を前記プロセッサに実行させる非一時的な機械可読媒体。
10. 前記自動運転車両を前記世界座標内でナビゲートすることから前記ローカル座標内でナビゲートすることに変換するモジュールは、計画モジュールである請求項９に記載の非一時的な機械可読媒体。
11. 前記センサー故障を検出することは、センサーからデータを受信していないことを検出すること、センサーからデータを受信する際の長い遅延を検出し、またはセンサーによって生成されたデータの標準偏差を検出することを含み、前記標準偏差は所定の閾値より大きい請求項９に記載の非一時的な機械可読媒体。
12. 前記世界座標内でナビゲートするときに、前記計画モジュールは、光検出・測距センサー、全地球測位システムセンサー、及び１つ以上のカメラの組み合わせからのセンサーデータを使用する請求項１０に記載の非一時的な機械可読媒体。
13. 前記ローカル座標内でナビゲートするときに、前記計画モジュールは、光検出・測距センサーまたは全地球測位システムセンサーからのセンサーデータを使用せずに、１つ以上のカメラからのセンサーデータを使用する請求項１０に記載の非一時的な機械可読媒体。
14. １つのカメラが機能するときに、前記計画モジュールは前記カメラからのセンサーデータを使用することにより特定の車線を検出して追跡し、乗員が自動運転車両から離れるまで減速する請求項１３に記載の非一時的な機械可読媒体。
15. ２つ以上のカメラが機能するときに、前記計画モジュールは前記２つ以上のカメラからのセンサーデータを使用することにより複数の車線を検出して追跡し、道路の片側で停止する請求項１３に記載の非一時的な機械可読媒体。
16. 前記センサー故障処理モジュールは、前記自動運転車両の温度、前記自動運転車両におけるコンピューティングデバイス上のＣＰＵ使用率、メモリ使用率とディスク使用率、および前記自動運転車両における複数のセンサーを監視するように構成される請求項９に記載の非一時的な機械可読媒体。
17. 自動運転車両におけるセンサー故障を処理するためのシステムであって、
    プロセッサと、
    前記プロセッサに接続され、命令を格納するメモリと、
    を含み、
    前記命令が前記プロセッサによって実行される場合に、
    センサー故障処理モジュールによって、絶対座標系である世界座標内でナビゲートする前記自動運転車両における1つ以上のセンサーの故障を検出することと、
    前記センサー故障処理モジュールによって、前記故障を示すメッセージを前記自動運転車両における複数のモジュールによって購読されるメッセージチャネルに送信することと、
    前記メッセージチャネルを購読した複数の購読モジュールのうちの少なくとも１つによって、前記自動運転車両を前記世界座標内でナビゲートすることから前記自動運転車両が走行している車線内の前記自動運転車両の現在位置に関する相対座標であるローカル座標内でナビゲートすることに変換することと、
    前記世界座標の絶対座標情報を使用せずに、前記ローカル座標に基づいて前記自動運転車両が前記車線内を走行するための軌跡を計画することと、
    を前記プロセッサに実行させるシステム。
18. 前記自動運転車両を前記世界座標内でナビゲートすることから前記ローカル座標内でナビゲートすることに変換するモジュールは、計画モジュールである請求項１７に記載のシステム。
19. 前記センサー故障を検出することは、センサーからデータを受信していないことを検出すること、センサーからデータを受信する際の長い遅延を検出すること、またはセンサーによって生成されたデータの標準偏差を検出することを含み、前記標準偏差は所定の閾値より大きい請求項１７に記載のシステム。
20. 前記世界座標内でナビゲートするときに、前記計画モジュールは、光検出・測距センサー、全地球測位システムセンサー、及び１つ以上のカメラの組み合わせからのセンサーデータを使用する請求項１８に記載のシステム。
21. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜８のいずれか一項に記載の方法を実現させるコンピュータプログラム。

Images