JP7355930B2 - 自動運転システム内の慣性ナビゲーションシステムの時間決定 - Google Patents

Description

本開示の実施形態は、一般に、自動運転車両の操作に関する。より具体的には、本開示の実施形態は、自動運転システム内の慣性ナビゲーションシステムの時間決定に関する。

自動運転モード（例えば、無人運転）で運転している車両は、乗員、特に運転者をいくつかの運転関連の責任から解放することができる。自動運転モードで運転している場合、車両が車載用センサを使用して様々な場所に移動できるため、車両は、ヒューマンマシンインタラクションが最小限に抑えられた場合または乗客がいない場合にも、走行することができる。車載処理システムは、センサデータ（グローバルナビゲーション衛星システムデータ、慣性測定データなど）を使用して車両の概略位置を提供することができる。

本開示の実施形態は、自動運転車両（ＡＤＶ）を操作するための方法、慣性ナビゲーションシステム（ＩＮＳ）、および非一時的な機械可読媒体を提供する。

第一様態によれば、本開示のいくつかの実施形態は、自動運転車両（ＡＤＶ）を操作するための方法を提供する。この方法は、慣性ナビゲーションシステム（ＩＮＳ）の処理装置を利用して、グローバルナビゲーション衛星システム（ＧＮＳＳ）データが利用できないと決定することであって、ＩＮＳがＡＤＶの複数の位置に取り付けられた複数のセンサに接続されることと、時間情報の予備ソースを識別することと、時間情報の予備ソースから時間情報を検索することと、時間情報の予備ソースからの時間情報を使用して第一センサデータを同期させることであって、第一センサデータがセンサの少なくとも１つから取得されることと、時間情報を使用して同期された第一センサデータをホストシステムに送信することであって、ホストシステムが、ＡＤＶの周囲の運転環境を感知し、運転環境に基づいて軌跡を計画し、軌跡に基づいて運転環境でのＡＤＶのナビゲーションを制御するように構成されることと、を含む。

第二様態によれば、本開示のいくつかの実施形態は、慣性ナビゲーションシステム（ＩＮＳ）を提供する。このシステムは、自動運転車両（ＡＤＶ）の複数の位置に取り付けられた複数のセンサに接続されたセンサインターフェースと、ＡＤＶを操作するホストシステムに接続されたホストインターフェースと、センサインターフェースおよびホストインターフェースに接続された処理装置と、を含み、この処理装置は、グローバルナビゲーション衛星システム（ＧＮＳＳ）データがＩＮＳにとって利用できないと決定することと、時間情報の予備ソースを識別することと、時間情報の予備ソースから時間情報を検索することと、時間情報の予備ソースからの時間情報を使用して第一センサデータを同期させることであって、第一センサデータがセンサの少なくとも１つから取得されることと、時間情報を使用して同期された第一センサデータをホストシステムに送信することであって、ホストシステムが、ＡＤＶの周囲の運転環境を感知し、運転環境に基づいて軌跡を計画し、軌跡に基づいて運転環境でのＡＤＶのナビゲーションを制御するように構成されることと、を実行するように構成される。

第三様態によれば、本開示のいくつかの実施形態は、命令を記憶する非一時的な機械可読媒体を提供する。この機械可読媒体は、この命令がプロセッサによって実行されると、このプロセッサに自動運転車両（ＡＤＶ）の操作を実行させるものであり、この操作は、慣性ナビゲーションシステム（ＩＮＳ）の処理装置を利用して、グローバルナビゲーション衛星システム（ＧＮＳＳ）データが利用できないと決定することであって、ＩＮＳがＡＤＶの複数の位置に取り付けられた複数のセンサに接続されることと、時間情報の予備ソースを識別することと、時間情報の予備ソースから時間情報を検索することと、時間情報の予備ソースからの時間情報を使用して第一センサデータを同期させることであって、第一センサデータがセンサの少なくとも１つから取得されることと、時間情報を使用して同期された第一センサデータをホストシステムに送信することであって、ホストシステムが、ＡＤＶの周囲の運転環境を感知し、運転環境に基づいて軌跡を計画し、軌跡に基づいて運転環境でのＡＤＶのナビゲーションを制御するように構成されることと、を含む。

第四態様によれば、本開示のいくつかの実施形態は、プロセッサにより実行されると、本開示の第一態様に記載の方法を実行させるコンピュータプログラムを提供する。
図面の各図において、本開示の実施形態は、例示的かつ非限定的な例として示されており、図面中の類似の図面記号は、類似の要素を示す。

一実施形態に係るネットワークシステムを示すブロック図である。 一実施形態に係る自動運転車両の一例を示すブロック図である。 一実施形態に係る、自動運転車両とともに使用される感知・計画システムの一例を示すブロック図である。 一実施形態に係る自動運転のためのシステムアーキテクチャの一例を示すブロック図である。 一実施形態に係る自動運転車両のセンサシステムの一例を示すブロック図である。 一実施形態に係る自動運転車両の慣性ナビゲーションシステムの一例を示すブロック図である。 一実施形態に係るセンサシステムの慣性ナビゲーションシステムの一例を示すブロック図である。 一実施形態に係る、自動運転システム内の慣性ナビゲーションシステムの時間決定を実行するための方法の一例を示すフローチャートである。 一実施形態に係る、自動運転システム内の慣性ナビゲーションシステムの時間決定を実行するための方法の別の例を示すフローチャートである。

本開示の様々な実施形態および態様は、以下に説明される詳細を参照して説明され、図面は、前記様々な実施形態を示す。以下の説明および図面は、本開示を説明するものであり、本開示を限定するものとして解釈されるべきではない。本開示の様々な実施形態の包括的な理解を提供するために、多くの特定の詳細が説明される。しかしながら、場合によっては、本開示の実施形態の簡潔な説明を提供するために、周知または従来の詳細は説明されていない。

本明細書における「一実施形態」または「実施形態」への言及は、この実施形態に関連して説明される特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な場所での「一実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指すとは限らない。

自動運転車両の位置を計算するために、慣性ナビゲーションシステム（ＩＮＳ）などのセンサユニットは、グローバルナビゲーション衛星システム（ＧＮＳＳ）、および慣性測定ユニット（ＩＭＵ）を含み得る。ＧＮＳＳは、車両の位置、速度、および進行方向を測定することができる。ＩＭＵは、車両の加速度、およびジャイロスコープ方向を測定することができる。処理装置は、ＧＮＳＳデータおよびＩＭＵデータに基づいて、（例えば、カルマンフィルタを使用して）車両の位置を推定することができる。従来のシステムでは、ＧＮＳＳデータからのタイムスタンプは、ＩＭＵデータとＧＮＳＳデータを同期させるために使用される。例えば、ＧＮＳＳデータの受信と略同時に受信されたＩＭＵデータには、ＧＮＳＳデータからのタイムスタンプが追加される。次に、ＩＭＵデータのタイムスタンプ（即ち、タイムスタンプ）は、位置決め（即ち、ＡＤＶの位置決め）を実行するための追加のセンサデータを同期させるために使用される。しかしながら、ＧＮＳＳデータが利用できなくなる場合、ＩＭＵデータはＧＮＳＳタイムスタンプと同期できない。これは、追加のセンサデータが同期できないことを意味する。同期できるセンサデータが足りないため、位置決めが実行できない。

上記問題を解決するために、本開示の実施形態は、ＩＮＳ内の時間決定に使用される時間情報の予備ソースを提供する。ＩＮＳは、リアルタイムクロック（ＲＴＣ）またはネットワークタイムプロトコル（ＮＴＰ）などの時間情報の予備ソースを含み得るため、ＧＮＳＳデータが利用できない場合でも、現在時間を使用してセンサデータのタイムスタンプを追加することができる。例えば、ＧＮＳＳ時間データが利用できない場合、ＩＮＳの処理ロジックは、時間情報の予備ソースから時間情報を検索して、タイムスタンプのＩＭＵデータを追加することができる。次に、ＩＭＵデータおよび関連するタイムスタンプを位置決めモジュールに転送して、追加のセンサデータを同期させ、ＡＤＶの位置決めを実行することができる。

いくつかの実施形態によれば、方法は、慣性ナビゲーションシステム（ＩＮＳ）の処理装置を利用して、グローバルナビゲーション衛星システム（ＧＮＳＳ）データが利用できないと決定することと、時間情報の予備ソースを識別することと、を含む。この方法は、時間情報の予備ソースから時間情報を検索することと、予備ソースからの時間情報を使用してセンサデータを同期させることと、をさらに含む。同期時間を有するセンサデータを使用して、ＡＤＶの周囲の運転環境を感知し、運転環境をナビゲーションする経路を計画し、経路に基づいてＡＤＶを自動的に制御する。

いくつかの実施形態によれば、システムは、メモリ、およびメモリに接続された処理装置を含む。処理装置は、グローバルナビゲーション衛星システム（ＧＮＳＳ）データが慣性ナビゲーションシステムにとって利用できないと決定することと、時間情報の予備ソースを識別することと、予備ソースから時間情報を検索することと、を実行することができる。次に、処理装置は、予備ソースからの時間情報を使用してセンサデータを同期させることができる。

いくつかの実施形態によれば、非一時的なコンピュータ可読記憶媒体は、処理装置によって実行される命令を含む。命令が実行されると、処理装置は、グローバルナビゲーション衛星システム（ＧＮＳＳ）データが慣性ナビゲーションシステムにとって利用できないと決定することと、時間情報の予備ソースを識別することと、時間情報の予備ソースから時間情報を検索することと、を実行することができる。処理装置は、予備ソースからの時間情報を使用してセンサデータを同期させることもできる。

図１は、本開示の一実施形態に係る自動運転車両のネットワーク構成を示すブロック図である。図１を参照すると、ネットワーク構成１００は、ネットワーク１０２を介して１つまたは複数のサーバ１０３～１０４に通信接続され得る自動運転車両１０１を含む。１つの自動運転車両が示されているが、複数の自動運転車両が、ネットワーク１０２を介して、互いに接続され、および／またはサーバ１０３～１０４に接続され得る。ネットワーク１０２は、有線または無線のローカルエリアネットワーク（ＬＡＮ）、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク、またはそれらの組み合わせなどの任意のタイプのネットワークであり得る。サーバ１０３～１０４は、ネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、またはそれらの組み合わせなどの任意のタイプのサーバまたはサーバクラスタであり得る。サーバ１０３～１０４は、データ分析サーバ、コンテンツサーバ、交通情報サーバ、地図・ポイントオブインタレスト（ＭＰＯＩ）サーバ、または位置サーバなどであり得る。

自動運転車両とは、運転者からの入力がほとんどまたはまったくない場合に車両がナビゲートして環境を通り抜ける自動運転モードで動作できるように構成され得る車両を指す。このような自動運転車両は、車両の動作環境に関連する情報を検出するように構成される１つまたは複数のセンサを有するセンサシステムを含み得る。車両およびそれに関連付けられたコントローラは、検出された情報を使用して、ナビゲートして環境を通り抜ける。自動運転車両１０１は、手動モード、全自動運転モード、または部分自動運転モードで動作することができる。

一実施形態では、自動運転車両１０１は、感知・計画システム１１０、車両制御システム１１１、無線通信システム１１２、ユーザインターフェースシステム１１３、およびセンサシステム１１５を含むが、これらに限定されない。自動運転車両１０１は、エンジン、ホイール、ステアリングホイール、トランスミッションなど、一般的な車両に含まれるいくつかの一般的なコンポーネントをさらに含み得る。コンポーネントは、加速信号または命令、減速信号または命令、ステアリング信号または命令、ブレーキ信号または命令などの様々な通信信号および／または命令を使用して、車両制御システム１１１および／または感知・計画システム１１０によって制御され得る。

コンポーネント１１０～１１５は、インターコネクト、バス、ネットワーク、またはそれらの組み合わせを介して互いに通信接続され得る。例えば、コンポーネント１１０～１１５は、コントローラエリアネットワーク（ＣＡＮ）バスを介して互いに通信接続され得る。ＣＡＮバスは、マイクロコントローラおよび装置がホストなしのアプリケーション内で互いに通信できるように設計された車両バス規格である。これは、最初に自動車内の多重電気配線のために設計されるが、他の多くの環境でも使用されるメッセージベースのプロトコルである。

図２を参照すると、一実施形態では、センサシステム１１５は、１つまたは複数のカメラ２１１、全地球測位システム（ＧＰＳ）ユニット２１２、慣性測定ユニット（ＩＭＵ）２１３、レーダーユニット２１４、および光検出・測距（ＬＩＤＡＲ）ユニット２１５を含むが、これらに限定されない。ＧＰＳユニット２１２およびＩＭＵ２１３は、慣性ナビゲーションシステム（ＩＮＳ）２１０に一緒に含まれ得る。ＩＮＳ２１０は、ＧＰＳユニット２１２およびＩＭＵ２１３からのデータに基づいて、自動運転車両の正確な位置を計算することができる。ＧＰＳユニット２１２（本明細書では、ＧＮＳＳとも呼ばれる）は、自動運転車両の位置に関する情報を提供するように動作可能な送受信機を含み得る。ＩＭＵユニット２１３は、慣性加速度に基づいて自動運転車両の位置および向きの変化を感知することができる。レーダーユニット２１４は、無線信号を使用して自動運転車両のローカル環境内のオブジェクトを感知するシステムを表すことができる。いくつかの実施形態では、オブジェクトを感知することに加えて、レーダーユニット２１４は、オブジェクトの速度および／または進行方向をさらに感知することができる。ＬＩＤＡＲユニット２１５は、レーザーを使用して、自動運転車両が配置されている環境内のオブジェクトを感知することができる。他のシステムコンポーネントに加えて、ＬＩＤＡＲユニット２１５は、１つまたは複数のレーザー源、レーザースキャナ、および１つまたは複数の検出器をさらに含み得る。カメラ２１１は、自動運転車両の周囲環境の画像を収集するための１つまたは複数の装置を含み得る。カメラ２１１は、スチルカメラおよび／またはビデオカメラであり得る。カメラは、例えば、カメラを回転および／または傾斜プラットフォームに取り付けることにより、機械的に移動できる。

センサシステム１１５は、ソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、およびオーディオセンサ（例えば、マイクロフォン）などの他のセンサをさらに含み得る。オーディオセンサは、自動運転車両の周囲環境から音声を収集するように構成され得る。ステアリングセンサは、ステアリングホイール、車両のホイール、またはそれらの組み合わせのステアリング角度を感知するように構成され得る。スロットルセンサおよびブレーキセンサは、それぞれ車両のスロットル位置およびブレーキ位置を感知する。いくつかの場合では、スロットルセンサおよびブレーキセンサは、統合型スロットル／ブレーキセンサとして統合され得る。

一実施形態では、車両制御システム１１１は、ステアリングユニット２０１、スロットルユニット２０２（加速ユニットとも呼ばれる）、およびブレーキユニット２０３を含むが、これらに限定されない。ステアリングユニット２０１は、車両の方向または前進方向を調整するために使用される。スロットルユニット２０２は、モータまたはエンジンの速度を制御して、車両の速度および加速度を制御するために使用される。ブレーキユニット２０３は、摩擦を与えることにより、車両のホイールまたはタイヤを減速させて車両を減速させるために使用される。なお、図２に示すコンポーネントは、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装され得る。

図１に戻って参照すると、無線通信システム１１２は、自動運転車両１０１と、装置、センサ、他の車両などの外部システムとの間の通信を可能にする。例えば、無線通信システム１１２は、１つまたは複数の装置と直接無線通信するか、またはネットワーク１０２を介してサーバ１０３～１０４と通信するなど、通信ネットワークを介して無線通信を実行することができる。無線通信システム１１２は、ＷｉＦｉ（登録商標）などの任意のセルラー通信ネットワークまたは無線ローカルエリアネットワーク（ＷＬＡＮ）を介して、別のコンポーネントまたはシステムと通信することができる。無線通信システム１１２は、例えば、赤外線リンク、ブルートゥース（登録商標）などを介して、装置（例えば、乗客の携帯機器、表示装置、および車両１０１内のスピーカ）と直接通信することができる。ユーザインターフェースシステム１１３は、例えば、キーボード、タッチスクリーン表示装置、マイクロフォン、スピーカなどを含む、車両１０１内に実装された周辺装置の一部であり得る。

自動運転車両１０１の機能の一部または全部は、特に自動運転モードで動作する場合に、感知・計画システム１１０によって制御または管理され得る。感知・計画システム１１０は、センサシステム１１５、制御システム１１１、無線通信システム１１２、および／またはユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、出発地から目的地までのルートまたは経路を計画し、計画および制御情報に基づいて車両１０１を運転するために必要なハードウェア（例えば、プロセッサ、メモリ、記憶装置）およびソフトウェア（例えば、オペレーティングシステム、計画・ルーティングプログラム）を含む。あるいは、感知・計画システム１１０は、車両制御システム１１１と統合され得る。

例えば、乗客としてのユーザは、例えばユーザインターフェースを介して、行程の出発地および目的地を指定することができる。感知・計画システム１１０は、行程関連データを取得する。例えば、感知・計画システム１１０は、サーバ１０３～１０４の一部であり得るＭＰＯＩサーバから位置およびルート情報を取得することができる。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは地図サービスおよび特定の位置のＰＯＩを提供する。あるいは、そのような位置およびＭＰＯＩ情報は、感知・計画システム１１０の永久記憶装置にローカルにキャッシュされ得る。

自動運転車両１０１がルートに沿って移動しているとき、感知・計画システム１１０は、交通情報システムまたはサーバ（ＴＩＳ）からリアルタイムの交通情報を取得することもできる。なお、サーバ１０３～１０４は、サードパーティエンティティによって操作され得る。あるいは、サーバ１０３～１０４の機能は、感知・計画システム１１０と統合され得る。リアルタイムの交通情報、ＭＰＯＩ情報、および位置情報、ならびにセンサシステム１１５によって検出または感知されたリアルタイムのローカル環境データ（例えば、障害物、オブジェクト、近くの車両）に基づいて、感知・計画システム１１０は、最適なルートを計画し、計画されたルートに従って、例えば、制御システム１１１を介して車両１０１を運転して、指定された目的地に安全かつ効率的に到達することができる。

サーバ１０３は、様々なクライアントのためのデータ分析サービスを実行するためのデータ分析システムであり得る。一実施形態では、データ分析システム１０３は、データコレクタ１２１および機械学習エンジン１２２を含む。データコレクタ１２１は、様々な車両（自動運転車両または運転者によって運転される従来の車両）から運転統計データ１２３を収集する。運転統計データ１２３は、発行された運転命令（例えば、スロットル、ブレーキ、ステアリング命令）と、異なる時点で車両のセンサによって取得された車両の応答（例えば、速度、加速、減速、方向）とを示す情報を含む。運転統計データ１２３は、異なる時点での運転環境を説明する情報、例えば、ルート（出発地および目的地を含む）、ＭＰＯＩ、道路状況、気象条件などをさらに含み得る。

運転統計データ１２３に基づいて、機械学習エンジン１２２は、様々な目的のために１組の規則、アルゴリズム、および／または予測モデル１２４を生成または訓練する。例えば、アルゴリズム１２４は、様々な時間ソース（例えば、ＧＮＳＳ、ＲＴＬ、および／またはＮＴＰソース）からのタイミング情報を同期させるためのアルゴリズムを含み得る。次に、アルゴリズム１２４は、自動運転中にリアルタイムで使用されるようにＡＤＶにアップロードされ得る。

図３は、一実施形態に係る、自動運転車両とともに使用される感知・計画システムの一例を示すブロック図である。システム３００は、自動運転システム（ＡＤＳ）とも呼ばれており、感知・計画システム１１０、制御システム１１１、およびセンサシステム１１５を含むがこれらに限定されない、図１の自動運転車両１０１の一部として実装され得る。図３を参照すると、感知・計画システム１１０は、位置決めモジュール３０１、感知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、およびルーティングモジュール３０７を含むが、これらに限定されない。

モジュール３０１～３０７の一部または全部は、ソフトウェア、ハードウェア、またはそれらの組み合わせで実装され得る。例えば、これらのモジュールは、永久記憶装置３５２にインストールされ、メモリ３５１にロードされ、１つまたは複数のプロセッサ（図示せず）によって実行され得る。なお、これらのモジュールの一部または全部は、図２の車両制御システム１１１のモジュールの一部または全部に通信接続され得るか、またはこれらと統合され得る。モジュール３０１～３０７の一部は、統合モジュールとして一緒に統合され得る。

位置決めモジュール３０１は、（例えば、ＩＮＳ２１０およびセンサシステム１１５を使用して）自動運転車両３００の現在位置を決定し、ユーザの行程またはルートに関連するすべてのデータを管理する。位置決めモジュール３０１（地図／ルートモジュールとも呼ばれる）は、ユーザの行程またはルートに関連するすべてのデータを管理する。ユーザは、例えば、ユーザインターフェースを介してログインし、行程の出発地および目的地を指定することができる。位置決めモジュール３０１は、地図／ルート情報３１１などの自動運転車両３００の他のコンポーネントと通信して、行程関連データを取得する。例えば、位置決めモジュール３０１は、位置サーバおよび地図・ＰＯＩ（ＭＰＯＩ）サーバから位置およびルート情報を取得することができる。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは地図サービスおよび特定の位置のＰＯＩを提供する。これらは、地図／ルート情報３１１の一部としてキャッシュされ得る。自動運転車両３００がルートに沿って移動しているとき、位置決めモジュール３０１はまた、交通情報システムまたはサーバからリアルタイムの交通情報を取得することができる。

センサシステム１１５によって提供されたセンサデータ、および位置決めモジュール３０１によって取得された位置決め情報に基づいて、感知モジュール３０２は、周囲環境の感知を決定する。感知情報は、一般的な運転者が運転者の運転している車両の周囲で何を感知するかを表すことができる。感知情報は、オブジェクトの形態などを採用した車線構成、交通信号灯信号、別の車両の相対位置、歩行者、建物、横断歩道、または他の交通関連標識（例えば、止まれの標識、譲れの標識）などを含み得る。車線構成は、１つまたは複数の車線を説明する情報、例えば、車線の形状（例えば、直線または曲線）、車線の幅、道路内の車線数、一方向または双方向の車線、合流車線または分岐車線、出口車線などを含む。

感知モジュール３０２は、１つまたは複数のカメラによって収集された画像を処理および分析して、自動運転車両の環境内のオブジェクトおよび／または特徴を識別するためのコンピュータビジョンシステムまたはコンピュータビジョンシステムの機能を含み得る。オブジェクトは、交通信号、道路境界、他の車両、歩行者、および／または障害物などを含み得る。コンピュータビジョンシステムは、オブジェクト識別アルゴリズム、ビデオ追跡、および他のコンピュータビジョン技術を使用することができる。いくつかの実施形態では、コンピュータビジョンシステムは、環境地図の作成、オブジェクト追跡、オブジェクトの速度の推定などを実行することができる。感知モジュール３０２はまた、レーダーおよび／またはＬＩＤＡＲなどの他のセンサによって提供された他のセンサデータに基づいてオブジェクトを検出することができる。

オブジェクトのそれぞれについて、予測モジュール３０３は、オブジェクトがこの状況でどのように動作するかを予測する。予測は、１組の地図／ルート情報３１１および交通規則３１２を考慮してその時点での運転環境を感知する感知データに基づいて、実行される。例えば、オブジェクトが反対方向の車両であり、現在の運転環境が交差点を含む場合、予測モジュール３０３は、車両が直接前進する可能性が高いか、それともステアリングする可能性が高いかを予測する。感知データが、交差点に交通信号灯がないことを示す場合、予測モジュール３０３は、車両が交差点に入る前に完全に停止しなければならない可能性があることを予測することができる。感知データが、車両が現在左折専用車線または右折専用車線にあることを示す場合、予測モジュール３０３は、車両がそれぞれ左折または右折する可能性が高いことを予測することができる。

オブジェクトのそれぞれについて、決定モジュール３０４は、オブジェクトをどのように処理するかについての決定を行う。例えば、特定のオブジェクト（例えば、交差点にある別の車両）、およびオブジェクトを説明するメタデータ（例えば、速度、方向、ステアリング角度）について、決定モジュール３０４は、どのようにオブジェクトとすれ違うか（例えば、追い越し、譲れ、停止、通過）を決定する。決定モジュール３０４は、永久記憶装置３５２に記憶され得る交通規則または運転規則３１２などの規則セットに基づいてこのような決定を実行することができる。

ルーティングモジュール３０７は、出発地から目的地までの１つまたは複数のルートまたは経路を提供するように構成される。出発地から目的地までの所与の行程、例えば、ユーザから受信された所与の行程について、ルーティングモジュール３０７は、地図／ルート情報３１１を取得し、出発地から目的地までのすべての可能なルートまたは経路を決定する。ルーティングモジュール３０７は、出発地から目的地までの各ルートを決定する地形図の形態での基準線を生成することができる。基準線とは、他の車両、障害物、または交通状況などからの干渉を受けない理想的なルートまたは経路を指す。即ち、道路上に他の車両、歩行者、または障害物がない場合、ＡＤＶは、基準線に正確にまたは密接に従うべきである。次に、地形図は、決定モジュール３０４および／または計画モジュール３０５に提供される。決定モジュール３０４および／または計画モジュール３０５は、すべての可能なルートをチェックして、位置決めモジュール３０１からの交通状況、感知モジュール３０２によって感知された運転環境、および予測モジュール３０３によって予測された交通状況など、他のモジュールによって提供された他のデータに基づいて、最適なルートのうちの１つを選択して変更する。その時点での特定の運転環境に応じて、ＡＤＶを制御するための実際の経路またはルートは、ルーティングモジュール３０７によって提供された基準線に近いか、または異なる場合がある。

感知されたオブジェクトのそれぞれの決定に基づいて、計画モジュール３０５は、ルーティングモジュール３０７によって提供された基準線を基礎として使用して、自動運転車両の経路またはルートおよび運転パラメータ（例えば、距離、速度、および／またはステアリング角度）を計画する。即ち、所与のオブジェクトについて、決定モジュール３０４はこのオブジェクトに対して何を処理するかを決定するが、計画モジュール３０５はどのように処理するかを決定する。例えば、所与のオブジェクトについて、決定モジュール３０４はオブジェクトを追い越すことを決定することができるが、計画モジュール３０５はオブジェクトの左側または右側のどちらを追い越すかを決定することができる。計画および制御データは、計画モジュール３０５によって生成され、車両３００が次の移動周期（例えば、次のルート／経路セグメント）でどのように移動するかを説明する情報を含む。例えば、計画および制御データは、車両３００に、時速３０マイル（ｍｐｈ）の速度で１０メートル移動し、次に２５ｍｐｈの速度で右側車線に変更するように指示することができる。

計画および制御データに基づいて、制御モジュール３０６は、計画および制御データによって定義されたルートまたは経路に従って、適切な命令または信号を車両制御システム１１１に送信することにより、自動運転車両を制御して運転する。計画および制御データは、経路またはルートに沿って異なる時点で適切な車両設定または運転パラメータ（例えば、スロットル、ブレーキ、ステアリング命令）を使用して、ルートまたは経路の第一点から第二点まで車両を運転するのに十分な情報を含む。

一実施形態では、計画段階は、例えば時間間隔が１００ミリ秒（ｍｓ）である周期などの複数の計画周期（運転周期とも呼ばれる）で実行される。計画周期または運転周期ごとに、計画および制御データに基づいて１つまたは複数の制御命令が発行される。即ち、１００ｍｓごとに、計画モジュール３０５は、次のルートセグメントまたは経路セグメント、例えば、目標位置およびＡＤＶが目標位置に到達するのに必要な時間を計画する。あるいは、計画モジュール３０５は、特定の速度、方向、および／またはステアリング角度などをさらに指定することができる。一実施形態では、計画モジュール３０５は、次の所定の期間（例えば、５秒）内にルートセグメントまたは経路セグメントを計画する。各計画周期について、計画モジュール３０５は、前の周期で計画された目標位置に基づいて、現在の周期（例えば、次の５秒）に使用される目標位置を計画する。次に、制御モジュール３０６は、現在の周期の計画および制御データに基づいて、１つまたは複数の制御命令（例えば、スロットル、ブレーキ、ステアリング制御命令）を生成する。

なお、決定モジュール３０４および計画モジュール３０５は、統合モジュールとして統合され得る。決定モジュール３０４／計画モジュール３０５は、自動運転車両の運転経路を決定するためのナビゲーションシステムまたはナビゲーションシステムの機能を含み得る。例えば、ナビゲーションシステムは、経路に沿った自動運転車両の移動に影響を与えるための一連の速度および前進方向を決定することができる。前記経路は、自動運転車両が、感知された障害物を基本的に回避しながら、最終目的地に通じる車道ベースの経路に沿って前進することを可能にする。目的地は、ユーザインターフェースシステム１１３を介したユーザ入力に従って設定され得る。ナビゲーションシステムは、自動運転車両の運転中に運転経路を動的に更新することができる。ナビゲーションシステムは、ＧＰＳユニット、慣性ナビゲーションシステム、および１つまたは複数の地図からのデータを統合して、自動運転車両の運転経路を決定することができる。

図４は、一実施形態に係る自動運転のためのシステムアーキテクチャを示すブロック図である。システムアーキテクチャ４００は、図３に示す自動運転システムのシステムアーキテクチャを表すことができる。図４を参照すると、システムアーキテクチャ４００は、アプリケーション層４０１、計画・制御（ＰＮＣ）層４０２、感知層４０３、ドライバ層４０４、ファームウェア層４０５、およびハードウェア層４０６を含むが、これらに限定されない。アプリケーション層４０１は、ユーザインターフェースシステム１１３に関連付けられた機能など、自動運転車両のユーザまたは乗客と対話するユーザインターフェースまたは構成アプリケーションを含み得る。ＰＮＣ層４０２は、少なくとも計画モジュール３０５および制御モジュール３０６の機能を含み得る。感知層４０３は、少なくとも感知モジュール３０２の機能を含み得る。一実施形態では、予測モジュール３０３および／または決定モジュール３０４の機能を含む追加層が存在する。あるいは、そのような機能は、ＰＮＣ層４０２および／または感知層４０３に含まれ得る。システムアーキテクチャ４００は、ドライバ層４０４、ファームウェア層４０５、およびハードウェア層４０６をさらに含む。ファームウェア層４０５は、センサシステム１１５の機能を少なくとも表すことができ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）の形態で実装され得る。ハードウェア層４０６は、制御システム１１１などの自動運転車両のハードウェアを表すことができる。層４０１～４０３は、デバイスドライバ層４０４を介してファームウェア層４０５およびハードウェア層４０６と通信することができる。

図５Ａは、本発明の一実施形態に係るセンサシステムの一例を示すブロック図である。図５Ａを参照すると、センサシステム１１５は、複数のセンサ５１０、およびホストシステム１１０に接続されたセンサユニット５００を含む。ホストシステム１１０は、上記の計画・制御システムを表し、図３に示すモジュールの少なくともいくつかを含み得る。センサユニット５００は、ＦＰＧＡデバイスまたはＡＳＩＣ（特定用途向け集積回路）デバイスの形態で実装され得る。一実施形態では、センサユニット５００は、特に、１つまたは複数のセンサデータ処理モジュール５０１（センサ処理モジュールとも略称する）、データ送信モジュール５０２、およびセンサ制御モジュールまたはロジック５０３を含む。モジュール５０１～モジュール５０３は、センサインターフェース５０４を介してセンサ５１０と通信することができ、ホストインターフェース５０５を介してホストシステム１１０と通信することができる。任意選択的に、内部または外部バッファ５０６は、処理のためにデータをバッファリングするために使用され得る。

一実施形態では、センサ５１０は、ＧＰＳユニットおよびＩＭＵであり得る。図５Ｂに示すように、ＧＰＳユニットおよびＩＭＵは、単一のＦＰＧＡまたはＡＳＩＣ上のセンサユニット５００に接続され得、慣性測定システム（ＩＮＳ）と呼ばれる。センサ処理モジュール５０１は、ＧＰＳユニットおよびＩＭＵからデータを受信してデータに基づいて（例えば、カルマンフィルタを使用して）自動運転車両の位置を推定するために使用される、ロジックを含み得る。センサ処理モジュール５０１は、ＲＴＣ、ＮＴＰまたは他の時間情報ソースから時間情報を検索するために、図５に関して以下に説明するようなロジックをさらに含み得る。

一実施形態では、受信経路または上流方向について、センサ処理モジュール５０１は、センサインターフェース５０４を介してセンサからセンサデータを受信し、バッファ領域５０６に一時的に記憶され得るセンサデータ（例えば、フォーマット変換、エラーチェック）を処理するように構成される。データ送信モジュール５０２は、ホストインターフェース５０５と互換性のある通信プロトコルを使用して、処理されたデータをホストシステム１１０に送信するように構成される。同様に、送信経路または下流方向について、データ送信モジュール５０２は、ホストシステム１１０からデータまたは命令を受信するように構成される。次に、センサ処理モジュール５０１は、対応するセンサと互換性のあるフォーマットにデータのフォーマットを処理する。次に、処理されたデータをセンサに送信する。

一実施形態では、センサ制御モジュールまたはロジック５０３は、ホストインターフェース５０５を介してホストシステム（例えば、感知モジュール）から受信された命令に応答して、取得されたセンサデータのタイミングのアクティブ化など、センサ５１０のいくつかの動作を制御するように構成される。ホストシステム１１０は、センサデータを協調的および／または同期的に取得して任意の時点でセンサデータを使用して車両の周囲の運転環境を感知するように、センサ５１０を構成することができる。

センサインターフェース５０４は、イーサネット、ＵＳＢ（ユニバーサル・シリアル・バス）、ＬＴＥ（ロングタームエボリューション）またはセルラー、ＷｉＦｉ（登録商標）、ＧＰＳ、カメラ、ＣＡＮ、シリアル（例えば、ユニバーサル非同期受信機／送信機またはＵＡＲＴ）、ＳＩＭ（加入者識別モジュール）カード、および他のユニバーサル入力／出力（ＧＰＩＯ）インターフェースのうちの１つまたは複数を含み得る。ホストインターフェース５０５は、ＰＣＩｅ（ペリフェラル・コンポーネント・インターコネクトまたは高速ＰＣＩ）インターフェースなど、任意の高速または高帯域幅インターフェースであり得る。センサ５１０は、カメラ、ＬＩＤＡＲデバイス、ＲＡＤＡＲデバイス、ＧＰＳ受信機、ＩＭＵ、超音波センサ、ＧＮＳＳ（グローバルナビゲーション衛星システム）受信機、ＬＴＥまたはセルラーＳＩＭカード、車両センサ（例えば、スロットル、ブレーキ、ステアリングセンサ）、システムセンサ（例えば、温度、湿度、圧力センサ）など、自動運転車両に使用される様々なセンサを含み得る。

例えば、カメラは、イーサネットまたはＧＰＩＯインターフェースを介して接続され得る。ＧＰＳセンサは、ＵＳＢまたは特定のＧＰＳインターフェースを介して接続され得る。車両センサは、ＣＡＮインターフェースを介して接続され得る。ＲＡＤＡＲセンサまたは超音波センサは、ＧＰＩＯインターフェースを介して接続され得る。ＬＩＤＡＲデバイスは、イーサネットインターフェースを介して接続され得る。外部ＳＩＭモジュールは、ＬＴＥインターフェースを介して接続され得る。同様に、内部ＳＩＭモジュールは、センサユニット５００のＳＩＭソケットに挿入され得る。ＵＡＲＴなどのシリアルインターフェースは、デバッグのためにコンソールシステムに接続され得る。

なお、センサ５１０は、任意のタイプのセンサであり得、様々な供給業者または供給者によって提供され得る。センサ処理モジュール５０１は、異なるタイプのセンサおよびそれらのそれぞれのデータフォーマットおよび通信プロトコルを処理するように構成される。一実施形態によれば、各センサ５１０は、センサデータを処理し、処理されたセンサデータをホストシステム１１０と対応するセンサとの間で送信するために使用される特定のチャネルに関連付けられる。各チャネルは、特定のセンサ処理モジュールおよび特定のデータ送信モジュール（対応するセンサデータおよびプロトコルを処理するように構成またはプログラミングされるもの）を含み得る。

低遅延モードで動作する場合、一実施形態によれば、データ送信モジュール（例えば、データ送信モジュール５０２）は、センサから受信されたセンサデータを、遅延なしまたは最小遅延でできるだけ早くホストシステムに送信するように構成される。いくつかのセンサデータは、できるだけ早く処理すべきタイミングの面で非常に敏感である。このようなセンサデータの一例は、車速、加速度、ステアリング角度などの車両状態を含む。

一実施形態によれば、高帯域幅モードで動作する場合、データ送信モジュール（例えば、データ送信モジュール５０２）は、センサから受信されたセンサデータを所定量まで累積するが、それをデータ送信モジュールとホストシステム１１０との間の接続の帯域幅範囲内に維持するように構成される。次に、累積されたセンサデータは、データ送信モジュールとホストシステム１１０との間の接続の最大帯域幅を利用して、ホストシステム１１０にバッチで送信される。一般に、高帯域幅モードは、大量のセンサデータを生成するセンサに使用される。このようなセンサデータの一例は、カメラのピクセルデータを含む。

一実施形態によれば、メモリモードで動作する場合、データ送信モジュールは、共有メモリページと同様に、センサから受信されたセンサデータをホストシステム１１０のマッピングメモリのメモリ位置に直接書き込むように構成される。メモリモードで送信されるセンサデータの一例は、温度、ファン速度などのシステム状態データを含む。

一実施形態では、センサシステム１１５は、リアルタイムクロック５４２およびネットワークタイムプロトコル５４４の一方または両方を含み得る。なお、コンポーネント５４２および／またはコンポーネント５４４は、センサユニット５００の一部として実装され得る。リアルタイムクロック５４２は、集積回路、ソフトウェア、またはそれらの組み合わせなど、現在時間データをセンサシステムのローカルに提供するハードウェアであり得る。ＲＴＣ５４２は、センサ５１０またはセンサユニット５００の電源以外の電源（例えば、電池）によって給電され得る。ＲＴＣ５４２は、水晶発振器または電力線周波数を使用して現在時間を追跡することができる。ネットワークタイムプロトコル５４４は、インターネットから現在時間情報を検索するために使用され得る。ＮＴＰ５４４は、現在時間を示す６４ビット、１２８ビット、または他の任意数のビットからなるタイムスタンプを、ＮＴＰサーバから要求して受信することができる。ＮＴＰサーバの送信遅延を解決するために、受信されたタイムスタンプはＮＴＰ５４４によって調整され得る。

図５Ｂは、一実施形態に係る、図５Ａのセンサシステム１１５に含まれ得る慣性ナビゲーションシステム（ＩＮＳ）５３０を示す図である。ＩＮＳ５３０は、ＧＮＳＳ受信機５３２（ＧＰＳユニットとも呼ばれる）、慣性測定ユニット（ＩＭＵ）５３４、およびマイクロコントローラユニット（ＭＣＵ）５３６を含むが、これらに限定されない。ＧＮＳＳ受信機５３２は、アンテナ５２０からのＧＮＳＳ測定値を受信して処理することができ、アンテナ５２０は、ＩＮＳ５３０の外側（例えば、車両の屋根）に配置され得る。次に、ＧＮＳＳ受信機５３２は、ＧＮＳＳデータをＭＣＵ５３６に転送することができる。ＧＮＳＳデータは、車両の位置、速度、および進行方向、ならびにいつ測定するかを示すタイムスタンプを含み得る。一実施形態では、ＩＭＵ５３４は、自動運転車両の加速度および向きを測定し、これらの測定値をＭＣＵ５３６に送信して（例えば、カルマンフィルタを使用して）ＧＮＳＳデータと統合することができる。ＭＣＵ５３６は、ＧＮＳＳデータのタイムスタンプを使用してＩＭＵデータのタイムスタンプを追加して、略同時に測定されたデータを同期させることができる。ＭＣＵ５３６は、カルマンフィルタの位置推定の出力結果を、タイムスタンプがＧＮＳＳデータのタイムスタンプを使用して追加されたＩＭＵデータとともに感知・計画システムの位置決めモジュールに転送して、位置計算に使用することができる。一実施形態では、位置決めモジュールまたは感知・計画システムの他の任意のモジュールは、ＩＭＵデータのタイムスタンプを使用して、他のセンサ（例えば、カメラ、ＬｉＤＡＲユニットなど）から受信されたデータを同期させることができる。次に、位置決めモジュールは、同期されたセンサデータを使用して、位置決め計算を実行することができる。他の実施形態では、感知・計画システムの他のモジュールは、同期されたセンサデータを使用して、任意数の操作を実行することができる。

しかしながら、場合によっては、様々な理由で（例えば、車両がトンネル内にあり、ＧＮＳＳデータを受信していないため）、ＧＮＳＳデータは利用できなくなる可能性がある。この場合、ＡＤＶの感知・計画システムはセンサデータの同期を実行できない可能性があり、位置決めおよび他の機能の喪失につながる可能性がある。一実施形態では、ＩＮＳ５３０は、ネットワークタイムプロトコル５４４からの要求を実行するためのロジック、および／またはリアルタイムクロック（ＲＴＣ）５４２をさらに含む。ＭＣＵ５３６は、ＧＮＳＳデータが利用できないと決定した場合、ＲＴＣ５４２またはＮＴＰ５４４から時間情報を検索して、ＩＭＵデータのタイムスタンプを追加することができる。次に、感知・計画システムは、ＩＭＵデータのタイムスタンプを使用して、他のセンサデータを同期させることができる。一実施形態では、リアルタイムクロック（ＲＴＣ）５４２は、集積回路、ソフトウェア、またはそれらの組み合わせなど、現在時間データをセンサシステムのローカルに提供するハードウェアであり得る。ＲＴＣ５４２は、センサ５１０またはセンサユニット５００の電源以外の電源（例えば、電池）によって給電され得る。ＲＴＣ５４２は、水晶発振器または電力線周波数を使用して現在時間を追跡することができる。一実施形態では、ネットワークタイムプロトコル５４４は、インターネットから現在時間情報を検索するために使用され得る。ＮＴＰ５４４は、現在時間を示す６４ビット、１２８ビット、または他の任意数のビットからなるタイムスタンプを、ＮＴＰサーバから要求して受信することができる。一実施形態では、ＮＴＰサーバの送信遅延を解決するために、受信されたタイムスタンプはＮＴＰ５４４によって調整され得る。従って、ＧＮＳＳ時間データが利用できない場合でも、ＲＴＣ５４２および／またはＮＴＰ５４４は、位置決め機能を実現することができる。

図５Ｃは、一実施形態に係るセンサシステムを示す図である。センサシステムは、ＩＮＳ５３０と、位置決めモジュール３０１と、ＬｉＤＡＲユニット２１５およびカメラ２１１などのセンサとを含み得る。図５Ｂと同様に、ＩＮＳ５３０は、ＧＮＳＳ受信機５３２、ＩＭＵ５３４、およびＭＣＵ５３６を含み得る。さらに、一実施形態では、ＭＣＵ５３６は、ＲＴＣ５４２およびＮＴＰ５４４を含み得る。一実施形態では、ＭＣＵ５３６が、ＧＮＳＳデータが閾値期間内に利用できないと決定した場合、ＭＣＵ５３６は、ＲＴＣ５４２またはＮＴＰ５４４からの時間情報を使用して、ＩＭＵから受信されたＩＭＵデータのタイムスタンプを追加することができる。一実施形態では、ＭＣＵ５３６は最初に、ＲＴＣ５４２からの時間情報を使用して、ＩＭＵデータのタイムスタンプを追加しようと試みることができる。ＭＣＵ５３６は、ＲＴＣデータが利用できない場合、ＮＴＰ５４４からの時間情報を使用して、ＩＭＵデータのタイムスタンプを追加することができる。別の実施形態では、ＭＣＵ５３６は最初に、ＮＴＰ５４４を使用して、ＩＭＵデータのタイムスタンプを追加しようと試みることができる。ＭＣＵ５３６は、ＮＴＰ５４４からの時間情報が利用できない場合、ＲＴＣ５４２を使用して、ＩＭＵデータのタイムスタンプを追加することができる。

一実施形態では、ＭＣＵ５３６は、タイタイムスタンプを有するＩＭＵデータを位置決めモジュール３０１に転送することができる。位置決めモジュール３０１は、図３に関して説明した位置決めモジュール３０１と同一または類似することができる。位置決めモジュール３０１は、計画・感知モジュール（例えば、計画・感知モジュール１１０）に含まれ得る。位置決めモジュール３０１は、ＬｉＤＡＲユニット２１５およびカメラ２１１などの他のセンサユニットからセンサデータを受信することもできる。次に、位置決めモジュールは、ＩＭＵデータのタイムスタンプ（即ち、ＲＴＣ５４２またはＮＴＰ５４４からの時間情報）と略同時に受信された各センサデータのタイムスタンプを追加し、すべての受信されたセンサデータをＩＭＵデータと同期させることができる。次に、位置決めモジュール３０１は、同期されたセンサデータを使用して、位置決め操作を実行してＡＤＶの位置を決定することができる。

一実施形態では、タイムスタンプを有するＩＭＵデータを転送することに加えて、ＭＣＵ５３６は、ハードウェアによって生成されたパルスまたは信号（１秒あたりのパルスまたはＰＰＳと呼ばれる）を毎秒一回送信することもできる。位置決めモジュール３０１は、ＰＰＳを使用してＩＭＵデータのタイムスタンプを校正して、ＲＴＣ５４２および／またはＮＴＰ５４４から受信されたタイムスタンプの遅延、ドリフト、またはジッターを解決することができる。ＲＴＣ５４２および／またはＮＴＰ５４４からの時間情報は、ソフトウェアによって生成され、エラーにつながる可能性がある。位置決めモジュール３０１は、ハードウェアによって生成されたＰＰＳを使用して、ＩＭＵデータのタイムスタンプを校正し、ソフトウェアによって生成された時間情報によって引き起こされるエラーを低減することができる。

図６は、一実施形態に係る、自動運転車両の慣性ナビゲーションシステム内のＧＮＳＳ遅延を調整するプロセスを示すフローチャートである。プロセス６００は、ハードウェア、ソフトウェアまたはそれらの組み合わせによって実行され得る。プロセス６００は、ＩＮＳのＭＣＵの処理ロジックによって実行され得る。操作６０２において、処理ロジックは、ＧＮＳＳ＋データが利用できないと決定する。ＧＮＳＳデータが閾値期間内に受信されていない場合、処理ロジックは、ＧＮＳＳデータが利用できないと決定することができる。別の実施形態では、ＧＮＳＳデータが予想通りに受信されていない場合（例えば、ＧＮＳＳデータが毎秒１回受信されると予想されるが、５秒受信されていない場合）、処理ロジックは、ＧＮＳＳデータが利用できないと決定することができる。処理ロジックは、任意の他の方法を使用して、ＧＮＳＳデータが利用できないと決定して、失われたデータ、予想されるデータなどを識別することもできる。

操作６０４において、処理ロジックは、時間情報の予備ソースを識別する。一実施形態では、処理ロジックは、時間情報の予備ソースのうちの１つまたは複数をクエリし、それらのソースのうちの１つまたは複数を選択して、それらから時間情報を取得することができる。例えば、処理ロジックは、ネットワークが利用できると識別し、ネットワークタイムプロトコルを使用して現在時間情報を取得することができる。別の例では、処理ロジックは、慣性ナビゲーションシステムのローカルにリアルタイムクロックが含まれると識別し、それらから現在時間情報を取得することができる。

操作６０６において、処理ロジックは、時間情報の予備ソースから時間情報を検索する。一実施形態では、処理ロジックが時間情報の予備ソースを識別した場合、処理ロジックは、時間情報を要求することができる。例えば、処理ロジックは、ＮＴＰを実行して、Ｉｎｔｅｒｎｅｔから現在時間情報を検索するか、またはリアルタイムクロックから時間情報を要求することができる。一例では、ＧＮＳＳデータが利用できない場合、処理ロジックは、予備ソースから現在時間情報を連続的に受信する。別の例では、ＧＮＳＳデータが利用できる場合でも、処理ロジックは、予備ソースから時間情報を受信する。この場合、予備ソースからの時間情報は、ＧＮＳＳ時間データを使用して校正され得る。

操作６０８において、処理ロジックは、時間情報の予備ソースからの時間情報を使用してセンサデータを同期させる。一実施形態では、処理ロジックは、予備ソースからの時間情報を使用して、ＩＮＳのＩＭＵから受信されたセンサデータを同期させることができる。例えば、処理ロジックは、ＩＭＵデータを受信し、時間情報を使用してＩＭＵデータのタイムスタンプを追加することができる（例えば、ＩＭＵデータを現在時間と関連付ける）。従って、ＧＮＳＳ時間データが利用できない場合でも、時間情報の予備ソースからの時間情報を使用してＩＭＵデータのタイムスタンプを追加することができる。さらに、処理ロジックは、タイムスタンプを有するＩＭＵデータを計画・感知モジュールに転送することができ、ここで他のセンサデータはＩＭＵデータのタイムスタンプを使用して同期され得る。従って、予備ソースからの時間情報はまた、計画・感知モジュールによって受信されたすべてのセンサデータを同期させるために使用され得る。

図７は、別の実施形態に係る、ＩＮＳ内のＧＮＳＳ遅延を調整するプロセスを示すフローチャートである。プロセス６００は、ハードウェア、ソフトウェアまたはそれらの組み合わせによって実行され得る。プロセス７００は、ＩＮＳのＭＣＵの処理ロジックによって実行され得る。操作７０２において、処理ロジックは、ＧＮＳＳ時間データ、および予備ソースからの時間データを受信する。ＧＮＳＳ時間データは、ＡＤＶのアンテナによって受信され、ＩＮＳのＧＮＳＳ受信機によって処理され得る。次に、処理ロジックは、ＧＮＳＳ受信機からＧＮＳＳデータを受信することができる。さらに、処理ロジックは、ＲＴＣまたはＮＴＰなどの時間情報の予備ソースから時間情報を受信することができる。

操作７０４において、処理ロジックは、ＧＮＳＳ時間データを使用して、予備ソースからの時間データを校正する。時間情報の予備ソースの精度は、ＧＮＳＳ時間データよりも低い。従って、処理ロジックは、時間情報をＧＮＳＳ時間データにより近いものに調整することができる。例えば、予備ソースは、ＧＮＳＳ時間データよりも５ミリ秒遅い時間情報を提供することができる。一実施形態では、処理ロジックは、時間情報を毎回受信したときに予備ソースからの時間情報を５ｍｓ校正することができる。このようにして、処理ロジックは、予備ソースからの時間情報を使用して、現在時間をより正確に反映することができる。

操作７０６において、処理ロジックは、ＧＮＳＳ時間データが利用できなくなると決定する。一実施形態では、ＧＮＳＳデータが閾値期間内に受信されていない場合、処理ロジックは、ＧＮＳＳデータが利用できないと決定することができる。別の実施形態では、ＧＮＳＳデータが予想通りに受信されていない場合（例えば、ＧＮＳＳデータが毎秒１回受信されると予想されるが、５秒受信されていない場合）、処理ロジックは、ＧＮＳＳデータが利用できないと決定することができる。処理ロジックは、任意の他の方法を使用して、ＧＮＳＳデータが利用できないと決定して、失われたデータ、予想されるデータなどを識別することもできる。

操作７０８において、処理ロジックは、ＧＮＳＳ時間データが利用できない場合、予備ソースからの校正された時間データを使用して、センサデータを同期させる。一実施形態では、処理ロジックは、予備ソースからの校正された時間データを使用してＩＭＵデータのタイムスタンプを追加して、ＩＮＳのＩＭＵから受信されたデータを同期させることができる。一実施形態では、処理ロジックは、以前に利用可能なＧＮＳＳ時間データと予備ソースからの時間データとの間に差があると決定することができる。この場合、処理ロジックは、一定期間内にそれをＧＮＳＳ時間データから予備ソースからの時間データに徐々に調整することができる。例えば、スムーズな遷移を提供するために、タイムスタンプを１秒、１分、５分または他の任意の時間間隔でＧＮＳＳ時間データから予備ソースからの時間データに調整することができる。タイムスタンプを経時的に徐々に調整することは、同期時間が大幅に増加すると、エラーが発生することを防止することができる。

ＩＭＵデータのタイムスタンプを追加した後、処理ロジックは、タイムスタンプを有するＩＭＵデータを感知・計画システムに転送することができ、ここで他のセンサデータはＩＭＵデータのタイムスタンプを使用して同期され得る。次に、感知・計画システムの位置決めモジュールは、ＡＤＶの現在位置を計算することができる。

なお、上記で説明したコンポーネントの一部または全部は、ソフトウェア、ハードウェア、またはそれらの組み合わせで実装され得る。例えば、このようなコンポーネントは、永久記憶装置にインストールおよび記憶されたソフトウェアとして実装され得、このソフトウェアは、本願全体にわたって説明されるプロセスまたは操作を実施するために、プロセッサ（図示せず）によってメモリにロードされ、メモリ内で実行され得る。あるいは、このようなコンポーネントは、専用ハードウェア（例えば、集積回路（例えば、特定用途向け集積回路またはＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、またはフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ））にプログラミングされるかまたは埋め込まれる実行可能コードとして実装され得、この実行可能コードは、アプリケーションからの対応するドライバおよび／またはオペレーティングシステムを介してアクセスされ得る。さらに、このようなコンポーネントは、１つまたは複数の特定の命令を介してソフトウェアコンポーネントによってアクセスされ得る命令セットの一部として、プロセッサまたはプロセッサコア内の特定のハードウェアロジックとして実装され得る。

前述の詳細な説明の一部は、コンピュータメモリ内のデータビットに対する演算のアルゴリズムおよび記号表現に関して示される。これらのアルゴリズムの説明と表現は、自分の作業の本質を他の当業者に最も効果的に伝えるためにデータ処理分野の当業者によって使用される手段である。本明細書では、アルゴリズムは一般に、所望の結果につながる自己矛盾のない一連の操作であると考えられる。これらの操作とは、物理量の物理的操作を必要とする操作を指す。

但し、これらおよび同様の用語はすべて、適切な物理量に関連付けることを目的としており、これらの量に適用される便利なラベルにすぎないことを理解されたい。上記の説明において他の方式で明示的に指摘されない限り、明細書全体では、用語（例えば、添付の特許請求の範囲に記載の用語）を使用した説明とは、コンピュータシステムまたは同様の電子コンピューティングデバイスの動作および処理を指し、このコンピュータシステムまたは電子コンピューティングデバイスは、コンピュータシステムのレジスタおよびメモリの内部で物理（電子）量として示されるデータを制御し、データをコンピュータシステムのメモリまたはレジスタ、または他の情報記憶装置、送信または表示装置の内部で同様に物理量として示される他のデータに変換する。

本開示の実施形態はまた、本明細書中の操作を実行するための機器に関する。このコンピュータプログラムは、非一時的なコンピュータ可読媒体に記憶される。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形態で情報を記憶するための任意のメカニズムを含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、機械（例えば、コンピュータ）可読記憶媒体（例えば、リードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス）を含む。

前述の図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、特定用途向けロジックなど）、ソフトウェア（例えば、非一時的なコンピュータ可読媒体で具体化されるもの）、または両方の組み合わせを含む処理ロジックによって実行され得る。プロセスまたは方法は、いくつかの連続操作に関して上記で説明されるが、いくつかの操作は、異なる順序で実行され得ることを理解されたい。また、いくつかの操作は、順次ではなく並列に実行され得る。

本開示の実施形態は、いかなる特定のプログラミング言語も参照せずに説明される。本明細書で説明される本開示の実施形態の教示を実施するために、様々なプログラミング言語が使用され得ることを理解されたい。

前述の明細書では、本開示の実施形態は、本開示の特定の例示的な実施形態を参照して説明される。添付の特許請求の範囲に記載の本開示のより広い精神および範囲から逸脱することなく、本開示に様々な修正を加えることができることは明らかであろう。従って、本明細書および図面は、限定的な意味ではなく例示的な意味で理解されるべきである。

Claims (18)

1. 自動運転車両（ＡＤＶ）を操作するための方法であって、
   慣性ナビゲーションシステム（ＩＮＳ）の処理装置を利用して、グローバルナビゲーション衛星システム（ＧＮＳＳ）データが利用できないと決定することであって、前記ＩＮＳが前記ＡＤＶの複数の位置に取り付けられた複数のセンサに接続されることと、
   時間情報の予備ソースを識別することと、
   前記時間情報の予備ソースから時間情報を検索することと、
   前記時間情報の予備ソースからの時間情報を使用して第一センサデータを同期させることであって、前記第一センサデータが前記センサの少なくとも１つから取得されることと、
   前記時間情報を使用して同期された前記第一センサデータをホストシステムに送信することであって、前記ホストシステムが、前記ＡＤＶの周囲の運転環境を感知し、前記運転環境に基づいて軌跡を計画し、前記軌跡に基づいて前記運転環境での前記ＡＤＶのナビゲーションを制御するように構成されることと、
   前記ＧＮＳＳデータが再び利用できると決定した場合、前記予備ソースからの前記時間情報を前記ＧＮＳＳデータからの時間に徐々に調整することと、を含む、
   自動運転車両（ＡＤＶ）を操作するための方法。
2. 前記ＧＮＳＳデータが利用できないと決定することは、
   閾値期間内に前記ＧＮＳＳデータが受信されていないと決定することを含む、
   請求項１に記載の方法。
3. 前記第一センサデータおよび前記予備ソースからの前記時間情報を位置決めモジュールに送信することであって、前記位置決めモジュールが前記第一センサデータおよび前記時間情報を使用して第二センサデータを同期させることをさらに含む、
   請求項１または２に記載の方法。
4. 前記時間情報の予備ソースは、リアルタイムクロック（ＲＴＣ）またはネットワークタイムプロトコル（ＮＴＰ）のうちの少なくとも１つを含む、
   請求項１に記載の方法。
5. 前記第一センサデータは、慣性測定ユニット（ＩＭＵ）からのデータを含む、
   請求項１に記載の方法。
6. 前記ＧＮＳＳデータが利用できると決定することと、
   前記ＧＮＳＳデータを使用して前記予備ソースからの前記時間情報を校正することと、をさらに含む、
   請求項１～５のいずれか一項に記載の方法。
7. 慣性ナビゲーションシステム（ＩＮＳ）であって、
   自動運転車両（ＡＤＶ）の複数の位置に取り付けられた複数のセンサに接続されたセンサインターフェースと、
   前記ＡＤＶを操作するホストシステムに接続されたホストインターフェースと、
   前記センサインターフェースおよび前記ホストインターフェースに接続された処理装置と、を含み、前記処理装置は、
   グローバルナビゲーション衛星システム（ＧＮＳＳ）データが前記ＩＮＳにとって利用できないと決定することと、
   時間情報の予備ソースを識別することと、
   前記時間情報の予備ソースから時間情報を検索することと、
   前記時間情報の予備ソースからの時間情報を使用して第一センサデータを同期させることであって、前記第一センサデータが前記センサの少なくとも１つから取得されることと、
   前記時間情報を使用して同期された前記第一センサデータを前記ホストシステムに送信することであって、前記ホストシステムが、前記ＡＤＶの周囲の運転環境を感知し、前記運転環境に基づいて軌跡を計画し、前記軌跡に基づいて前記運転環境での前記ＡＤＶのナビゲーションを制御するように構成されることと、
   前記ＧＮＳＳデータが再び利用できると決定した場合、前記予備ソースからの前記時間情報を前記ＧＮＳＳデータからの時間に徐々に調整することと、
   を実行するように構成される、
   慣性ナビゲーションシステム（ＩＮＳ）。
8. 前記ＧＮＳＳデータが利用できないと決定するために、前記処理装置は、
   閾値期間内に前記ＧＮＳＳデータが受信されていないと決定することを実行する、
   請求項７に記載のシステム。
9. 前記処理装置はまた、
   前記第一センサデータおよび前記予備ソースに使用される前記時間情報を位置決めモジュールに送信することであって、前記位置決めモジュールが前記第一センサデータおよび前記時間情報を使用して第二センサデータを同期させることを実行する、
   請求項７または８に記載のシステム。
10. 前記時間情報の予備ソースは、リアルタイムクロック（ＲＴＣ）またはネットワークタイムプロトコル（ＮＴＰ）のうちの少なくとも１つを含む、
    請求項７に記載のシステム。
11. 前記処理装置はまた、
    前記ＧＮＳＳデータが利用できると決定することと、
    前記ＧＮＳＳデータを使用して前記予備ソースからの前記時間情報を校正することと、を実行する、
    請求項７～１０のいずれか一項に記載のシステム。
12. 命令を記憶する非一時的な機械可読媒体であって、前記命令がプロセッサによって実行されると、前記プロセッサに自動運転車両（ＡＤＶ）の操作を実行させるものであり、前記操作は、
    慣性ナビゲーションシステム（ＩＮＳ）の処理装置を利用して、グローバルナビゲーション衛星システム（ＧＮＳＳ）データが利用できないと決定することであって、前記ＩＮＳが前記ＡＤＶの複数の位置に取り付けられた複数のセンサに接続されることと、
    時間情報の予備ソースを識別することと、
    前記時間情報の予備ソースから時間情報を検索することと、
    前記時間情報の予備ソースからの時間情報を使用して第一センサデータを同期させることであって、前記第一センサデータが前記センサの少なくとも１つから取得されることと、
    前記時間情報を使用して同期された前記第一センサデータをホストシステムに送信することであって、前記ホストシステムが、前記ＡＤＶの周囲の運転環境を感知し、前記運転環境に基づいて軌跡を計画し、前記軌跡に基づいて前記運転環境での前記ＡＤＶのナビゲーションを制御するように構成されることと、
    前記ＧＮＳＳデータが再び利用できると決定した場合、前記予備ソースからの前記時間情報を前記ＧＮＳＳデータからの時間に徐々に調整することと、を含む、
    機械可読媒体。
13. ＧＮＳＳデータが利用できないと決定することは、
    閾値期間内に前記ＧＮＳＳデータが受信されていないと決定することを含む、
    請求項１２に記載の機械可読媒体。
14. 前記操作は、
    前記第一センサデータおよび前記予備ソースに使用される前記時間情報を位置決めモジュールに送信することであって、前記位置決めモジュールが前記第一センサデータおよび前記時間情報を使用して第二センサデータを同期させることをさらに含む、
    請求項１２または１３に記載の機械可読媒体。
15. 前記時間情報の予備ソースは、リアルタイムクロック（ＲＴＣ）またはネットワークタイムプロトコル（ＮＴＰ）のうちの少なくとも１つを含む、
    請求項１２に記載の機械可読媒体。
16. 前記第一センサデータは、慣性測定ユニット（ＩＭＵ）からのデータを含む、
    請求項１２に記載の機械可読媒体。
17. 前記操作は、
    前記ＧＮＳＳデータが利用できると決定することと、
    前記ＧＮＳＳデータを使用して前記予備ソースからの前記時間情報を校正することと、をさらに含む、
    請求項１２～１６のいずれか一項に記載の機械可読媒体。
18. コンピュータプログラムであって、プロセッサにより実行されると、請求項１～６のいずれか一項に記載の方法を実行させるコンピュータプログラム。
    

Images