JP7462837B2 - 低信頼度の物体検出条件における車両動作のための注釈及びマッピング - Google Patents

Description

本開示は、全般的には車両動作管理及び運転に関連し、特に、低信頼度の物体検出条件における車両動作のための注釈及びマッピングの使用に関連する。

自律走行車等の車両は、車両交通網の一部（例えば、道路）を移動する場合がある。車両交通網の一部を移動することは、車両のセンサ等によって、車両の動作環境又はその一部を表すデータ等のデータを生成又はキャプチャすることを含む場合がある。車両交通網の一部を移動することは、キャプチャされたデータに応じてアクションを実行することを含む場合がある。アクションは、人工知能（例えば、訓練された機械学習モデル）又はその他の意思決定モデルを使用して選択される場合がある。

本明細書には、低信頼度の物体検出条件における車両動作のための注釈及びマッピングのための態様、特徴、要素、実装、及び実施形態が開示されている。本開示により、入力データが存在しない場合又は不完全な場合でも動作を決定することが可能になる。

開示された実施形態の一態様は、車両を動作させる方法であって、車両が車両交通網内の交差点に接近すると、前記車両のプロセッサにおいて、少なくとも１つの車載センサからセンサデータを受信するステップと、前記センサデータを使用して、前記交差点に関する交通流制御デバイスが検出されたかどうかを決定するステップと、前記交通流制御デバイスが検出された場合に、前記交通流制御デバイスの検出されたタイプ又は検出された状態の少なくとも１つを決定するステップとを含む方法である。また、この方法は、前記プロセッサ及び前記交差点のタイプを使用して、前記交通流制御デバイスの既存のタイプ又は既存の状態の少なくとも１つを決定するステップであって、前記交通流制御デバイスの少なくとも１つが検出されないか、又は前記交通流制御デバイスの前記検出されたタイプ又は前記検出された状態の少なくとも１つが、検出信頼度の定義されたレベルより低い検出信頼度により決定されるステップと、前記車両用の少なくとも１つの制御システム内で、前記交通流制御デバイスの位置、及び前記交通流制御デバイスの前記既存のタイプ又は前記既存の状態の少なくとも１つを含むラベルによって前記交通流制御デバイスをタグ付けするステップと、前記交通流制御デバイスに関する前記ラベルが組み込まれた前記少なくとも１つの制御システムを使用して、前記車両交通網内で前記車両を動作させるステップとを含む。

開示された実施形態の別の態様は、車両を動作させるための装置である。この装置は、車両が車両交通網内の交差点に接近すると、少なくとも１つの車載センサからセンサデータを受信すること、前記センサデータを使用して、前記交差点に関する交通流制御デバイスが検出されたかどうかを決定すること、前記交通流制御デバイスが検出された場合に、前記交通流制御デバイスの検出されたタイプ又は検出された状態の少なくとも１つを決定することを行うように構成されるプロセッサを含む。また、前記プロセッサは、前記交差点のタイプを使用して、前記交通流制御デバイスの既存のタイプ又は既存の状態の少なくとも１つを決定することであって、前記交通流制御デバイスの少なくとも１つが検出されないか、又は前記交通流制御デバイスの前記検出されたタイプ又は前記検出された状態の少なくとも１つが、検出信頼度の定義されたレベルより低い検出信頼度により決定されること、及び前記車両用の少なくとも１つの制御システム内で、前記交通流制御デバイスの位置、及び前記交通流制御デバイスの前記既存のタイプ又は前記既存の状態の少なくとも１つを含むラベルによって前記交通流制御デバイスをタグ付けすることを行うように構成される。前記車両は、前記交通流制御デバイスに関する前記ラベルが組み込まれた前記少なくとも１つの制御システムを使用して、前記車両交通網内で動作するように構成される。

開示された実施形態の別の態様は、少なくとも１つの車載センサ、少なくとも１つの制御システム、及びプロセッサを含む車両である。前記プロセッサは、車両が車両交通網内の交差点に接近すると、前記少なくとも１つの車載センサからセンサデータを受信すること、前記センサデータを使用して、前記交差点に関する交通流制御デバイスが検出されたかどうかを決定すること、前記交通流制御デバイスが検出された場合に、前記交通流制御デバイスの検出されたタイプ又は検出された状態の少なくとも１つを決定することを行うように構成される。また、前記プロセッサは、前記交差点の識別を使用して、前記交通流制御デバイスの既存のタイプ又は既存の状態の少なくとも１つを決定することであって、前記交通流制御デバイスの少なくとも１つが前記センサデータによって検出されないか、又は前記交通流制御デバイスの前記検出されたタイプ又は前記検出された状態の少なくとも１つが、検出信頼度の定義されたレベルより低い検出信頼度により決定されること、及び前記少なくとも１つの制御システム内で、前記交通流制御デバイスの位置、及び前記交通流制御デバイスの前記既存のタイプ又は前記既存の状態の少なくとも１つを含むラベルによって前記交通流制御デバイスをタグ付けすることを行うように構成される。前記車両は、前記交通流制御デバイスに関する前記ラベルが組み込まれた前記少なくとも１つの制御システムを使用して、前記車両交通網内で前記車両を動作させるように構成される。

以下では、本明細書に開示された方法、装置、プロシージャ及びアルゴリズムのこうした及び他の態様、特徴、要素、実装及び実施形態の変形がさらに詳細に記載される。

本明細書に開示された方法及び装置の様々な態様は、以下の記載及び図面において提供される例示を参照することでより明らかになるであろう。ここで同じ参照番号は同じ要素を指している。

本明細書に開示の態様、特徴及び要素が実装され得る車両の例を示す図である。

本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システムの一部の例示の図面である。

本開示の実施形態による車両動作管理システムの一例の図である。

本明細書の教示に従って低信頼度の物体検出条件に対処する車両を動作させる方法のフローチャートである。

本明細書の教示に従って交通流制御デバイスを検出する方法のフローチャートである。

図４の方法に従って交通流制御デバイスの既存のタイプ、既存の状態、又はその両方を決定する方法のフローチャートである。

図６の方法に従った車両とのユーザの相互作用の一例の図である。

自律走行車（ＡＶ）、半自律走行車、その他の車両等の車両が、車両交通網の一部を移動する場合がある。車両は１つ以上のセンサを含んでもよく、車両交通網を移動することは、センサが車両の動作環境又はその一部に対応するセンサデータ等のセンサデータを生成又はキャプチャすることを含んでもよい。例えば、センサデータは、車両動作環境の中の歩行者、リモート車両、他の物体等の１つ以上の外部物体、車両交通網の形状、又はこれらの組み合わせに対応する情報を識別してもよい。これは、本明細書では車両物体検出、又は単に物体検出と呼ばれ得る。

物体検出は、車両交通網の交差点で車両の動作中にアクションを提案し又はアクションを実行するために、ローカルに保存された１つ以上のマップ、又は車両が使用できる１つ以上のリモートマップと組み合わせて使用されてもよい。例えば、車両は、リモートで生成され且つ一般的に車両によって使用され得る全ての交通標識及び道路の場所を含む高精細マップに依存している場合がある。マップがあらかじめ組み込まれている（つまり、車両内でローカルに保存されている）場合、そこでの更新間のデータの静的な性質のためにナビゲーション及び意思決定が妨げられ得る。代替的に、マップは、例えば、リモート車両サポートシステムから動的に提供される場合がある。しかしながら、この場合、通信の問題等によって時々マップが利用できない場合がある。さらに、あらかじめ組み込まれているマップを使用する場合よりも更新頻度が速くなる場合があるが、新しい場所又は更新された場所の修正は直ちには利用可能とならない。いずれの場合も、このようなマップへの過度の依存は望ましくない可能性がある。詳細度の低いマップには、特定の場所に関連する全ての情報が含まれていない場合がある。

上記は、物体の検出が正確であることを示唆している。物体の検出自体は、様々な精度を有する。これは、センサデータによって識別された物体が、多数の既知の物体の中の１つの物体とどの程度一致するかを示す確率又はその他の尺度によって示されてもよい。センサは、異なる感度を有する。さらに、車両交通システムで動作するときの条件は、特にマップが利用できない場合又は不完全なデータを有する場合に、センサの有効性又は精度を所望のレベル以下に低下させる場合がある。交差点に関しては、例えば、交通流制御デバイスが部分的に又は完全に遮蔽されている場合があり、その結果、交通流制御デバイスを識別するためのセンサデータの信頼性が低下する。

本開示は、車両が車両交通網内で正常に動作するためのこのような低信頼度の物体検出条件に対処するものである。交通流制御デバイス等の物体を正確に識別し、その後注釈を付けてマッピングすることで、リモートで生成された（例えば、高精細）マップへの依存を減らすことができる。以下に記載する詳細について、最初に本発明が使用され得る車両を説明する。本教示は、一例として、一般的にＡＶの動作に関して記載される。記載から明らかなように、本教示は、ＡＶ、半自律走行車、又は物体検出のためにセンサデータを使用するその他の任意の車両で使用されてもよい。

図１は、本明細書に開示の態様、特徴及び要素が実装され得る車両の例を示す図である。図示のように、車両１００は、シャーシ１１０と、パワートレイン１２０と、コントローラ１３０と、車輪１４０とを含む。簡潔のため、車両１００は４つの車輪１４０を含むように示されているが、プロペラ又はトレッド等の１つ以上の任意の他の推進装置が使用されてもよい。図１において、パワートレイン１２０、コントローラ１３０及び車輪１４０等の要素を相互接続する線は、データ又は制御信号等の情報、電力又はトルク等の力、又は情報及び電力の両方が各要素間で伝達され得ることを示している。例えば、コントローラ１３０は、パワートレイン１２０から電力を受信して、パワートレイン１２０、車輪１４０、又はその両方と通信して、車両１００を制御してもよく、これは、車両１００を加速、減速、操縦又は他のやり方で制御することを含み得る。

図示のように、パワートレイン１２０は、電源１２１と、トランスミッション１２２と、ステアリング装置１２３と、アクチュエータ１２４とを含む。サスペンション、駆動シャフト、車軸、又は排気システム等のパワートレインの他の要素又は要素の組み合わせが含まれてもよい。別々に示されているが、車輪１４０は、パワートレイン１２０に含まれてもよい。

電源１２１は、エンジン、バッテリ、又はこれらの組み合わせを含んでもよい。電源１２１は、電気エネルギ、熱エネルギ又は運動エネルギ等のエネルギを提供するように動作する任意のデバイス又はデバイスの組み合わせであってもよい。例えば、電源１２１は、内燃エンジン、電気モータ又は内燃エンジン及び電気モータの組み合わせ等のエンジンを含んでもよく、１つ以上の車輪１４０に原動力としての運動エネルギを提供するように動作してもよい。電源１２１は、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ－ｉｏｎ）等の１つ以上の乾電池、太陽電池、燃料電池、又はエネルギを提供することが可能な任意の他のデバイス等のポテンシャルエネルギ装置を含んでもよい。

トランスミッション１２２は、電源１２１から運動エネルギ等のエネルギを受信してもよく、原動力を提供するために車輪１４０にエネルギを送ってもよい。トランスミッション１２２は、コントローラ１３０、アクチュエータ１２４又はその両方によって制御されてもよい。ステアリング装置１２３は、コントローラ１３０、アクチュエータ１２４又はその両方によって制御され、車両を操縦するために車輪１４０を制御してもよい。アクチュエータ１２４は、コントローラ１３０から信号を受信してもよく、車両１００を動作させるために電源１２１、トランスミッション１２２、ステアリング装置１２３又はこれらの任意の組み合わせを作動又は制御してもよい。

図示のように、コントローラ１３０は、位置決め装置１３１、電子通信装置１３２、プロセッサ１３３、メモリ１３４、ユーザインターフェース１３５、センサ１３６、電子通信インターフェース１３７又はこれらの任意の組み合わせを含んでもよい。単一の装置として示されているが、コントローラ１３０の任意の１つ以上の要素が任意の数の分離した物理装置に組み込まれてもよい。例えば、ユーザインターフェース１３５及びプロセッサ１３３は、第１の物理装置に組み込まれてもよく、メモリ１３４は、第２の物理装置に組み込まれてもよい。図１には示されていないが、コントローラ１３０は、バッテリ等の電源１２１０を含んでもよい。個別の要素として示されているが、位置決め装置１３１、電子通信装置１３２、プロセッサ１３３、メモリ１３４、ユーザインターフェース１３５、センサ１３６、電子通信インターフェース１３７、又はこれらの任意の組み合わせは、１つ以上の電子装置、回路又はチップに組み込まれてもよい。

プロセッサ１３３は、光プロセッサ、量子プロセッサ、分子プロセッサ又はこれらの組み合わせを含む信号又は他の情報を操作又は処理することが可能な任意のデバイス又はデバイスの組み合わせを含んでもよい。例えば、プロセッサ１３３は、１つ以上の専用プロセッサ、１つ以上のデジタル信号プロセッサ、１つ以上のマイクロプロセッサ、１つ以上のコントローラ、１つ以上のマイクロコントローラ、１つ以上の集積回路、１つ以上の特定用途向け集積回路、１つ以上のフィールドプログラマブルゲートアレイ、１つ以上のプログラマブルロジックアレイ、１つ以上のプログラマブルロジックコントローラ、１つ以上の状態機械、又はこれらの任意の組み合わせを含んでもよい。プロセッサ１３３は、位置決め装置１３１、メモリ１３４、電子通信インターフェース１３７、電子通信装置１３２、ユーザインターフェース１３５、センサ１３６、パワートレイン１２０、又はこれらの任意の組み合わせと動作可能に結合されてもよい。例えば、プロセッサは、通信バス１３８を介してメモリ１３４と動作可能に結合されてもよい。

メモリ１３４は、プロセッサ１３３によって使用される又はそれと接続される、機械可読命令又はそれに関連付けられる任意の情報を、例えば、保持、記憶、伝達又は搬送することが可能な任意の有形の非一時的なコンピュータ使用可能又はコンピュータ可読媒体を含んでもよい。メモリ１３４は、例えば、１つ以上の半導体ドライブ、１つ以上のメモリカード、１つ以上のリムーバブル媒体、１つ以上の読み取り専用メモリ、１つ以上のランダムアクセスメモリ、ハードディスク、フロッピーディスク、光学ディスクを含む１つ以上のディスク、磁気若しくは光学カード、又は電子情報を記憶するのに適した任意のタイプの非一時的な媒体、又はこれらの任意の組み合わせであってもよい。

通信インターフェース１３７は、図示のような無線アンテナ、有線通信ポート、光学通信ポート、又は有線若しくは無線電子通信媒体１５０とインターフェース接続することが可能な任意の他の有線若しくは無線装置であってもよい。図１は単一の通信リンクを介して通信を行う通信インターフェース１３７が示されているが、通信インターフェースは、複数の通信リンクを介して通信を行うように構成されてもよい。図１は単一の通信インターフェース１３７を示しているが、車両は、任意の数の通信インターフェースを含んでもよい。

通信装置１３２は、通信インターフェース１３７等を介して、有線又は無線電子通信媒体１５０を介して信号を送信又は受信するように構成されてもよい。図１に明示されていないが、通信装置１３２は、無線周波数（ＲＦ）、紫外線（ＵＶ）、可視光、光ファイバ、有線回線、又はこれらの組み合わせ等の任意の有線又は無線通信媒体を介して送信、受信又は両方を行うように構成されてもよい。図１は、単一の通信装置１３２及び単一の通信インターフェース１３７を示しているが、任意の数の通信装置及び任意の数の通信インターフェースが使用されてもよい。いくつかの実施形態では、通信装置１３２は、狭域通信（ＤＳＲＣ）装置、車載装置（ＯＢＵ）、又はこれらの組み合わせを含んでもよい。

位置決め装置１３１は、車両１００の経度、緯度、高度、進行方向又は速さ等の地理情報を決定してもよい。例えば、位置決め装置は、広域補強システム（Ｗｉｄｅ Ａｒｅａ Ａｕｇｍｅｎｔａｔｉｏｎ Ｓｙｓｔｅｍ；ＷＡＡＳ）対応米国海洋電子機器協会（Ｎａｔｉｏｎａｌ Ｍａｒｉｎｅ－Ｅｌｅｃｔｒｏｎｉｃｓ Ａｓｓｏｃｉａｔｉｏｎ；ＮＭＥＡ）装置、無線三角測量装置、又はこれらの組み合わせ等の全地球測位システム（ＧＰＳ）装置を含んでもよい。位置決め装置１３１は、例えば、車両１００の現在の向き、２次元又は３次元での車両１００の現在地、車両１００の現在の角度方向、又はこれらの組み合わせを表す情報を取得するために使用され得る。

ユーザインターフェース１３５は、仮想又は物理キーパッド、接触パッド、ディスプレイ、接触ディスプレイ、ヘッドアップディスプレイ、仮想ディスプレイ、拡張現実ディスプレイ、触覚ディスプレイ、視線追跡装置等の特徴追跡デバイス、スピーカ、マイクロホン、ビデオカメラ、センサ、プリンタ、又はこれらの任意の組み合わせ等、人物とインターフェースすることが可能な任意の装置を含んでもよい。ユーザインターフェース１３５は、図示のようにプロセッサ１３３と、又はコントローラ１３０の任意の他の要素と動作可能に結合されてもよい。単一の装置として示されているが、ユーザインターフェース１３５は、１つ以上の物理装置を含んでもよい。例えば、ユーザインターフェース１３５は、人物との音声通信を行うためのオーディオインターフェース、及び人物との視覚及びタッチに基づく通信を行うためのタッチディスプレイを含んでもよい。ユーザインターフェース１３５は、複数の物理的に分離した装置、単一の物理装置の中の複数の定義部分、又はこれらの組み合わせ等の複数のディスプレイを含んでもよい。

センサ１３６は、車両を制御するために使用され得る情報を提供するように動作し得るセンサの配列等の１つ以上のセンサを含んでもよい。センサ１３６は、車両１００の現在の動作特徴に関する情報を提供してもよい。センサ１３６は、例えば、速度センサ、加速度センサ、ステアリング角センサ、トラクション関連センサ、ブレーキ関連センサ、ハンドル位置センサ、視線追跡センサ、着座位置センサ、又は車両１００の現在の動的状況の何らかの態様に関する情報を報告するように動作可能な任意のセンサ若しくはセンサの組み合わせを含み得る。

センサ１３６は、車両１００を取り囲む物理環境に関する情報を取得するように動作可能な１つ以上のセンサを含んでもよい。例えば、１つ以上のセンサが、車線等の道路の特徴及び形状、及び固定障害物、車両及び歩行者等の障害物を検出してもよい。センサ１３６は、１つ以上のビデオカメラ、レーザ感知システム、赤外線感知システム、音響感知システム、又は任意の他の適切なタイプの車載環境感知デバイス、又はデバイスの組み合わせであるか、又はこれらを含み得る。いくつかの実施形態では、センサ１３６及び位置決め装置１３１は、結合された装置であってもよい。

別に示されてはいないが、車両１００は、軌道コントローラを含んでもよい。例えば、コントローラ１３０が、軌道コントローラを含んでもよい。軌道コントローラは、車両１００の現在の状態及び車両１００に対して計画された経路を記述する情報を取得し、この情報に基づいて、車両１００に対する軌道を決定及び最適化するように動作可能であってもよい。いくつかの実施形態では、軌道コントローラは、車両１００が軌道コントローラによって決定される軌道に従うように、車両１００を制御するように動作可能な信号を出力してもよい。例えば、軌道コントローラの出力は、パワートレイン１２０、車輪１４０又はその両方に供給され得る最適化された軌道であり得る。いくつかの実施形態において、最適化された軌道は、一組のステアリング角等の制御入力であってもよく、各ステアリング角は１つの時点又は位置に対応する。いくつかの実施形態において、最適化された軌道は、１つ以上の経路、線、曲線、又はこれらの組み合わせであり得る。

１つ以上の車輪１４０は、ステアリング装置１２３の制御下でステアリング角に枢動され得る操縦された車輪、トランスミッション１２２の制御下で車両１００を推進するためのトルクを与えられ得る推進された車輪、又は車両１００を操縦及び推進し得る操縦及び推進された車輪であってもよい。

車両は、エンクロージャ、ブルートゥース（登録商標）モジュール、周波数変調（ＦＭ）ラジオ装置、近距離無線通信（ＮＦＣ）モジュール、液晶ディスプレイ（ＬＣＤ）ディスプレイ装置、有機発光ダイオード（ＯＬＥＤ）ディスプレイ装置、スピーカ、又はこれらの任意の組み合わせ等の図１に明示されていない装置又は要素を含んでもよい。

車両１００は、交通網の一部を移動するように、直接的な人間の介入なしで、自律的に制御される自律走行車であってもよい。図１に別に示されていないが、自律走行車は、自律走行車の経路指定、ナビゲーション及び制御を行い得る自律走行車制御装置を含んでもよい。自律走行車制御装置は、車両の別の装置と一体化されてもよい。例えば、コントローラ１３０は、自律走行車制御装置を含んでもよい。本明細書の教示は、半自律走行車、又は他の車両にも適用可能である。

自律走行車制御装置は、現在の車両動作パラメータに従って車両交通網の一部を移動するように車両１００を制御し又は動作させてもよい。自律走行車制御装置は、車両の駐車等の定義された動作又は操縦を行うように車両１００を制御し又は動作させてもよい。自律走行車制御装置は、車両情報、環境情報、車両交通網を表す車両交通網データ、又はこれらの組み合わせに基づいて車両１００の現在地等の出発地から目的地への移動経路を生成してもよく、経路に従って車両交通網を移動するように車両１００を制御し又は動作させてもよい。例えば、自律走行車制御装置は、軌道コントローラに移動経路を出力してもよく、軌道コントローラは、生成された経路を使用して出発点から目的地に移動するように車両１００を動作させてもよい。

図２は、本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システムの一部の例示の図面である。車両交通及び通信システム２００は、図１に示される車両１００等の１つ以上の車両２１０／２１１を含んでもよく、これは１つ以上の車両交通網２２０の１つ以上の部分を移動してもよく、１つ以上の電子通信ネットワーク２３０を介して通信を行ってもよい。図２には明示されていないが、車両は、オフロード領域等の車両交通網に明示的に又は完全には含まれていない領域を移動してもよい。

電子通信ネットワーク２３０は、例えば、多重アクセスシステムであってもよく、車両２１０／２１１と１つ以上の通信デバイス２４０との間の音声通信、データ通信、映像通信、メッセージング通信、又はこれらの組み合わせ等の通信を提供してもよい。例えば、車両２１０／２１１は、ネットワーク２３０を介して通信デバイス２４０から車両交通網２２０を表す情報等の情報を受信してもよい。

いくつかの実施形態では、車両２１０／２１１は、有線通信リンク（図示せず）、無線通信リンク２３１／２３２／２３７、又は任意の数の有線若しくは無線通信リンクの組み合わせを介して通信してもよい。例えば、図示のように、車両２１１／２１１は、陸上無線通信リンク２３１を介して、非陸上無線通信リンク２３２を介して、又はこれらの組み合わせを介して通信してもよい。陸上無線通信リンク２３１は、イーサネット（登録商標）リンク、シリアルリンク、ブルートゥース（登録商標）リンク、赤外線（ＩＲ）リンク、ＵＶリンク、又は電子通信を提供可能な任意のリンクを含んでもよい。

車両２１０／２１１は、別の車両２１０／２１１０と通信してもよい。例えば、ホスト又は対象の車両（ＨＶ）２１０が、直接通信リンク２３７を介して又はネットワーク２３０を介して、遠隔又は目標車両（ＲＶ）２１１から基本安全メッセージ（ｂａｓｉｃ ｓａｆｅｔｙ ｍｅｓｓａｇｅ；ＢＳＭ）等の１つ以上の自律走行車間メッセージを受信してもよい。例えば、リモート車両２１１は、３００メートル等の定義されたブロードキャスト範囲内のホスト車両にメッセージをブロードキャストしてもよい。いくつかの実施形態では、ホスト車両２１０は、信号リピータ（図示せず）又は別のリモート車両（図示せず）等のサードパーティを介してメッセージを受信してもよい。車両２１０／２１１は、例えば、１００ミリ秒等の定義された間隔に基づいて周期的に１つ以上の自動車両間メッセージを送信してもよい。

自動車両間メッセージは、車両識別情報、経度、緯度若しくは高度情報等の地理空間状態情報、地理空間位置精度情報、車両加速度情報、ヨーレート情報、速度情報、車両方位情報、制動システム状態情報、スロットル情報、ハンドル角度情報若しくは車両経路情報等の運動状態情報、又は送信車両状態に関連する車両サイズ情報、ヘッドライト状態情報、方向指示器情報、ワイパー状態情報、トランスミッション情報若しくは任意の他の情報若しくは情報の組み合わせ等の車両動作状態情報を含んでもよい。例えば、トランスミッション状態情報は、送信車両のトランスミッションがニュートラル状態、駐車状態、前進状態又は後退状態に有るかどうかを示してもよい。

車両２１０は、アクセスポイント２３３を介して通信ネットワーク２３０と通信してもよい。コンピュータ装置を含み得るアクセスポイント２３３は、無線又は有線通信リンク２３１／２３４を介して、車両２１０と、通信ネットワーク２３０と、１つ以上の通信デバイス２４０と、又はこれらの組み合わせと通信するように構成されてもよい。例えば、アクセスポイント２３３は、基地局、ＢＴＳ（ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｔａｔｉｏｎ）、Ｎｏｄｅ－Ｂ、ｅＮｏｄｅ－Ｂ（ｅｎｈａｎｃｅｄ Ｎｏｄｅ－Ｂ）、ＨＮｏｄｅ－Ｂ（Ｈｏｍｅ Ｎｏｄｅ－Ｂ）、無線ルータ、有線ルータ、ハブ、リレー、スイッチ、又は任意の類似の有線若しくは無線デバイスであってもよい。図２には単一の装置として示されているが、アクセスポイントは、任意の数の相互接続要素を含んでもよい。

車両２１０は、衛星２３５又は他の非陸上通信デバイスを介して通信ネットワーク２３０と通信してもよい。コンピュータデバイスを含み得る衛星２３５は、１つ以上の通信リンク２３２／２３６を介して、車両２１０と、通信ネットワーク２３０と、１つ以上の通信デバイス２４０と、又はこれらの組み合わせと通信するように構成されてもよい。図２には単一の装置として示されているが、衛星は、任意の数の相互接続要素を含んでもよい。

電子通信ネットワーク２３０は、音声、データ、又は任意の他のタイプの電子通信装置を提供するように構成される任意のタイプのネットワークであってもよい。例えば、電子通信ネットワーク２３０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、モバイル若しくはセルラ電話ネットワーク、インターネット、又は任意の他の電子通信システムを含んでもよい。電子通信ネットワーク２３０は、トランスミッションコントロールプロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、インターネットプロトコル（ＩＰ）、リアルタイムトランスポートプロトコル（ＲＴＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、又はこれらの組み合わせ等の通信プロトコルを使用してもよい。図２には単一の装置として示されているが、電子通信ネットワークは、任意の数の相互接続要素を含んでもよい。

車両２１０は、車両交通網２２０の一部又は状態を識別してもよい。例えば、車両２１０は、速度センサ、車輪速度センサ、カメラ、ジャイロスコープ、光学センサ、レーザセンサ、レーダセンサ、音響センサ、又は車両交通網２２０の一部若しくは状態を決定若しくは識別することが可能な任意の他のセンサ若しくは装置又はこれらの組み合わせを含み得る図１に示されたセンサ１３６等の１つ以上の車載センサを含んでもよい。センサデータは、車線データ、リモート車両位置データ、又はその両方を含んでもよい。

車両２１０は、交通網２２０を表す情報、１つ以上の車載センサ、又はこれらの組み合わせ等のネットワーク２３０を介して伝達される情報を使用して、１つ以上の車両交通網２２０の一部又は複数の部分を移動してもよい。

簡潔のため、図２は２つの車両２１０、２１１、１つの車両交通網２２０、１つの電子通信ネットワーク２３０及び１つの通信ネットワーク２４０を示しているが、任意の数のネットワーク又はコンピュータデバイスが使用されてもよい。車両交通及び通信システム２００は、図２に示されていないデバイス、装置又は要素を含んでもよい。車両２１０は単一の装置として示されているが、車両は、任意の数の相互接続要素を含んでもよい。

ネットワーク２３０を介して通信デバイス２４０と通信する車両２１０が示されているが、車両２１０は、任意の数の直接又は間接通信リンクを介して通信デバイス２４０と通信してもよい。例えば、車両２１０は、ブルートゥース（登録商標）通信リンク等の直接通信リンクを介して通信デバイス２４０と通信してもよい。

いくつかの実施形態では、車両２１０／２１１は、車両の運転者、オペレータ、又は所有者等のエンティティ２５０／２６０に関連付けられてもよい。いくつかの実施形態では、車両２１０／２１１に関連付けられるエンティティ２５０／２６０は、スマートフォン２５２／２６２又はコンピュータ２５４／２６４等の１つ以上のパーソナル電子デバイス２５２／２５４／２６２／２６４に関連付けられてもよい。いくつかの実施形態では、パーソナル電子デバイス２５２／２５４／２６２／２６４は、直接又は間接通信リンクを介して対応する車両２１０／２１１と通信してもよい。１つのエンティティ２５０／２６０が図２の各車両２１０／２１１に関連付けられるように示されているが、任意の数の車両が、エンティティに関連付けられてもよく、任意の数のエンティティが、車両に関連付けられてもよい。

車両交通網２２０は通行可能エリア（例えば、道路）のみを示しているが、車両交通網は、建物等の１つ以上の通行不能エリア、駐車エリア又は歩行者用の歩道等の１つ以上の部分的通行可能エリア、又はそれらの組み合わせを含んでもよい。車両交通網２２０は、１つ以上の通行可能又は部分的通行可能エリアの間に１つ以上のインターチェンジを含んでもよい。道路等の車両交通網２２０の一部は、１つ以上の車線を含んでもよく、１つ以上の進行方向に関連付けられてもよい。

車両交通網又はその一部は、車両交通網データとして表されてもよい。例えば、車両交通網データは、マークアップ言語要素等の要素の階層として表されてもよく、これはデータベース又はファイルに記憶されてもよい。簡単のために、本明細書の図面は、車両交通網の一部を図又はマップとして表す車両交通網データを示している。しかしながら、車両交通網データは、車両交通網又はその一部を表すことが可能な任意のコンピュータ使用可能な形式で表されてもよい。進行方向情報、速度制限情報、料金所情報、傾斜又は角度情報等の勾配情報、表面材料情報、審美的情報、定義された危険情報又はこれらの組み合わせ等の車両交通網データを含んでもよい。

車両交通網２２０の一部又は部分の組み合わせは、特定の場所又は目的地として識別されてもよい。例えば、車両交通網データは、建物を特定の場所又は目的地として識別してもよい。特定の場所又は目的地は、個別の一意に識別可能な地理的位置を使用して識別されてもよい。例えば、車両交通網２２０は、目的地に関する所在地住所、住所、車両交通網アドレス、ＧＰＳアドレス、又はこれらの組み合わせ等の定義された場所を含んでもよい。

図３は、本開示の実施形態による自律走行車の動作管理システム３００の例の図である。自律走行車の動作管理システム３００は、図１に示される車両１００、図２に示される車両２１０／２１１、半自律走行車、又は自律走行を実装する任意の他の車両等の自律走行車において実装されてもよい。

自律走行車は、車両交通網又はその一部を移動してもよく、これは個別の車両動作シナリオを移動することを含んでもよい。個別の車両動作シナリオは、自律走行車の定義された時空的エリア又は動作環境内の自律走行車の動作に影響を及ぼし得る動作条件の任意の明確に識別可能な集合を含んでもよい。例えば、個別の車両動作シナリオは、自律走行車が定義された時空距離内を移動し得る道路、道路区分又は車線の数又は濃度に基づいてもよい。別の例では、個別の車両動作シナリオは、自律走行車の定義された時空的エリア又は動作環境内の自律走行車の動作に影響を及ぼし得る１つ以上の交通制御デバイスに基づいてもよい。別の例では、個別の車両動作シナリオは、自律走行車の定義された時空的エリア又は動作環境内の自律走行車の動作に影響を及ぼし得る１つ以上の識別可能な規則、規制又は法律に基づいてもよい。別の例では、個別の車両動作シナリオは、自律走行車の定義された時空的エリア又は動作環境内の自律走行車の動作に影響を及ぼし得る１つ以上の識別可能な外部物体に基づいてもよい。

簡潔性及び明瞭性のために、車両動作シナリオのタイプ又はクラスを参照して類似の車両動作シナリオが本明細書に記載されてもよい。車両動作シナリオのタイプ又はクラスは、シナリオの定義されたパターン又は定義されたパターンの集合を参照してもよい。例えば、交差点シナリオは、交差点を移動する自律走行車を含んでもよく、歩行者シナリオは、歩行者が自律走行車の予測経路を移動している、又は接近している等、１人以上の歩行者を含む、又は歩行者の定義された近接内にある車両交通網の一部を移動する自律走行車を含んでもよい。車線変更シナリオは、自律走行車が車線変更によって車両交通網の一部を移動することを含んでもよい。合流シナリオは、自律走行車が第１の車線から合流車線に合流することによって車両交通網の一部を移動することを含んでもよい。障害物通過シナリオは、自律走行車が妨害物又は障害物を通過することによって車両交通網の一部を移動することを含んでもよい。本明細書には歩行者の車両動作シナリオ、交差点の車両動作シナリオ、車線変更の車両動作シナリオ、合流の車両動作シナリオ、及び障害物通過の車両動作シナリオが記載されているが、任意の他の車両動作シナリオ又は車両動作シナリオのタイプが使用されてもよい。

図３に示されているように、自律走行車の動作管理システム３００は、自律走行車の動作管理コントローラ（ＡＶＯＭＣ）３１０、動作環境モニタ３２０、及び動作制御評価モジュール（モデルとも呼ばれる）３３０を含む。

ＡＶＯＭＣ３１０は、現在の動作環境又は予測動作環境、又はこれらの１つ以上の側面等、自律走行車に関する動作環境を表す動作環境データを受信し、識別し、又は他のやり方でアクセスしてもよい。自律走行車の動作環境は、自律走行車の定義された時空的エリアの中で、自律走行車に関して識別された経路の定義された時空的エリアの中で、又はこれらの組み合わせで、自律走行車の動作に影響を及ぼし得る動作条件の明確に識別可能な集合を含んでもよい。例えば、自律走行車の動作に影響を及ぼし得る動作条件は、センサデータ、車両交通網データ、経路データ、又は車両について定義又は決定された動作環境を表す任意の他のデータ又はデータの組み合わせに基づいて識別されてもよい。

動作環境データは、自律走行車の地理空間的位置を示す情報、自律走行車の地理空間的位置を車両交通網を表す情報と相関させる情報、自律走行車の経路、自律走行車の速度、自律走行車の加速状態、自律走行車の乗客情報、又は自律走行車若しくは自律走行車の動作に関する任意の他の情報等の自律走行車に関する車両情報を含んでもよい。動作環境データは、自律走行車に近接する車両交通網、自律走行車の識別された経路、又はその両方を表す情報を含んでもよい。例えば、これは、識別された経路に沿った車両交通網の一部の３００メートル等の自律走行車の定義された空間距離内等の自律走行車に関して識別された経路に近接する車両交通網を表す情報、車両交通網の１つ以上の側面の形状を示す情報、車両交通網の表面状態等の状態を示す情報、又はこれらの任意の組み合わせを含んでもよい。

動作環境データは、歩行者、非ヒト動物、自転車若しくはスケートボード等の非動力式移動手段、リモート車両等の動力式移動手段、又は自律走行車の動作に影響を及ぼす任意の他の外部物体若しくはエンティティを表す情報等の自律走行車の動作環境内の外部物体を表す情報を含んでもよい。

自律走行車の動作環境の側面が、それぞれ個別の車両動作シナリオの中で表されてもよい。例えば、相対的方向、軌道、予測経路又は外部物体が、それぞれの個別の車両動作シナリオの中で表されてもよい。別の例では、車両交通網の相対的形状が、それぞれ個別の車両動作シナリオの中で表されてもよい。

一例として、第１の個別の車両動作シナリオは、歩行者が横断歩道で道路を横断していることに対応してもよく、右から左に横断することに対して、左から右に横断すること等、歩行者の相対的方向及び予測経路が第１の個別の車両動作シナリオの中で表されてもよい。第２の個別の車両動作シナリオは、歩行者が横断歩道のないところで道路を横断していることに対応してもよく、右から左に横断することに対して、左から右に横断すること等、歩行者の相対的方向及び予測経路が第２の個別の車両動作シナリオの中で表されてもよい。

自律走行車が動作環境の中で複数の個別の車両動作シナリオを移動してもよく、これは複合車両動作シナリオの側面であってもよい。例えば、歩行者が、交差点を移動する自律走行車に関する予測経路に接近してもよい。

自律走行車動作管理システム３００は、自律走行車の動作のために定義され又は生成され得る、安全制約、法的制約、物理的制約、ユーザ受容制約、又は任意の他の制約若しくは制約の組み合わせ等、定義された制約を受けて個別の車両動作シナリオを移動するように自律走行車を動作又は制御してもよい。

ＡＶＯＭＣ３１０は、自律走行車の動作環境又はその定義された側面を監視してもよい。自律走行車の動作環境を監視することは、外部物体を識別及び追跡すること、個別の車両動作シナリオを識別すること、又はこれらの組み合わせを含んでもよい。例えば、ＡＶＯＭＣ３１０は、自律走行車の動作環境で外部物体を識別及び追跡してもよい。外部物体を識別及び追跡することは、自律走行車に対するものであり得る各外部物体の時空的位置を識別すること、外部物体に関する速さ、軌道又は両方を識別することを含み得る各外部物体に関する１つ以上の予測経路を識別することを含んでもよい。簡潔性及び明瞭性のために、本明細書における位置、予測位置、経路、予測経路等の記載は、対応する位置及び経路が地理空間的及び時間的なコンポーネントを指しているという明示的な表示を省略する場合がある。しかしながら、本明細書で明示的に示されていない限り、又は文脈から一義的に明確でない限り、本明細書に記載されている位置、予測位置、経路、予測経路等は、地理空間的なコンポーネント、時間的なコンポーネント、又はその両方を含んでもよい。自律走行車の動作環境を監視することは、動作環境モニタ３２０から受信した動作環境データを使用することを含んでもよい。

動作環境モニタ３２０は、シナリオ非依存のモニタ、シナリオ固有のモニタ、又はこれらの組み合わせを含んでもよい。ブロックモニタ３２１等のシナリオ非依存のモニタは、以下で詳細に検討されるように、自律走行車の動作環境を監視し、自律走行車の動作環境の側面を表す動作環境データを生成し、動作環境データを１つ以上のシナリオ固有のモニタ、ＡＶＯＭＣ３１０、又はそれらの組み合わせに出力してもよい。歩行者モニタ３２２、交差点モニタ３２３、車線変更モニタ３２４、合流モニタ３２５、又は前方障害物モニタ３２６等のシナリオ固有のモニタは、自律走行車の動作環境をモニタし、自律走行車の動作環境のシナリオ固有の側面を表す動作環境データを生成し、動作環境データを１つ以上の動作制御評価モデル３３０、ＡＶＯＭＣ３１０、又はこれらの組み合わせに出力してもよい。

例えば、歩行者モニタ３２２は歩行者を監視するための動作環境モニタであってもよく、交差点モニタ３２３は交差点を監視するための動作環境モニタであってもよく、車線変更モニタ３２４は車線変更を監視するための動作環境モニタであってもよく、合流モニタ３２５は合流のための動作環境モニタであってもよく、前方障害物モニタ３２６は前方障害物を監視するための動作環境モニタであってもよい。自律走行車の動作管理システム３００が任意の数の動作環境モニタ３２０を含み得ることを示すために、動作環境モニタ３２７は破線を使用して示されている。

動作環境モニタ３２０は、自律走行車の１つ以上のセンサによって生成された又はキャプチャされた動作環境データ、車両交通網データ、車両交通網の形状データ、経路データ、又はそれらの組合せ等の動作環境データを受信するか、又は他のやり方でそれにアクセスしてもよい。例えば、歩行者モニタ３２２は、センサ情報等の情報を受信し又は他のやり方でアクセスしてもよく、これは自律走行車の動作環境における１人以上の歩行者を示し、それに対応し又は他のやり方で関連付けられてもよい。動作環境モニタ３２０は、動作環境データ又はその一部を動作環境、又はその側面と、例えば、歩行者、リモート車両等の外部物体、又は車両交通網の形状の側面と関連付けてもよい。

動作環境モニタ３２０は、歩行者、リモート車両等の外部物体、又は車両交通網の形状の側面等によって、動作環境の１つ以上の側面を表す情報を生成し又は識別してもよく、これは、動作環境データのフィルタリング、抽象化又は他の処理を含んでもよい。動作環境モニタ３２０は、例えば、ＡＶＯＭＣ３１０によってアクセス可能な自律走行車のメモリ、例えば、図１に示されるメモリ１３４に動作環境の１つ以上の側面を表す情報を記憶すること、ＡＶＯＭＣ３１０に動作環境の１つ以上の側面を表す情報を送ること、又はこれらの組み合わせによって、動作環境の１つ以上の側面を、ＡＶＯＭＣ３１０に出力し、又はそれがアクセスするために出力してもよい。動作環境モニタ３２０は、ＡＶＯＭＣ３１０等の自律走行車動作管理システム３００の１つ以上の要素に動作環境データを出力してもよい。図３には示されていないが、シナリオ固有の動作環境モニタ３２２、３２３、３２４、３２５、３２６は、動作環境データを、ブロックモニタ３２１等のシナリオ非依存の動作環境モニタに出力してもよい。

歩行者モニタ３２２は、１人以上の歩行者のアクションを識別、追跡又は予測するために、動作環境データを相関させ、関連付け又は他のやり方で処理してもよい。例えば、歩行者モニタ３２２は、１つ以上のセンサからセンサデータ等の情報を受信してもよく、これは１人以上の歩行者に対応してもよく、歩行者モニタ３２２は、１人以上の識別された歩行者とセンサデータを関連付けてもよく、これは１人以上の識別された歩行者の各々に関する進行方向、予測経路等の経路、現在の又は予測される速度、現在の又は予測される加速度又はこれらの組み合わせを識別することを含んでもよく、歩行者モニタ３２２は、識別された、関連付けられた又は生成された歩行者情報を、ＡＶＯＭＣ３１０に出力し又はそれがアクセスするために出力してもよい。

交差点モニタ３２３は、自律走行車の動作環境における１つ以上のリモート車両のアクションを識別、追跡又は予測すること、自律走行車の動作環境における交差点又はその側面を識別すること、車両交通網の形状を識別すること、又はこれらの組み合わせを行うように、動作環境データを相関させ、関連付け、又は他のやり方で処理してもよい。例えば、交差点モニタ３２３は、１つ以上のセンサからセンサデータ等の情報を受信してもよく、これは、自律走行車の動作環境における１つ以上のリモート車両、自律走行車の動作環境における交差点又はその１つ以上の側面、車両交通網の形状、又はこれらの組み合わせに対応してもよく、交差点モニタ３２３は、自律走行車の動作環境における１つ以上の識別されたリモート車両、自律走行車の動作環境における交差点又はその１つ以上の側面、車両交通網の形状、又はこれらの組み合わせとセンサデータを関連付けてもよく、これは１つ以上の識別されたリモート車両の各々に関する現在の又は予測される進行方向、予測経路等の経路、現在の又は予測される速度、現在の又は予測される加速度又はこれらの組み合わせを識別することを含んでもよい。交差点モニタ３２３は、識別された、関連付けられた又は生成された交差点情報を、ＡＶＯＭＣ３１０に出力し又はそれがアクセスするために出力してもよい。

車線変更モニタ３２４は、地理空間的に車線変更動作に対応して、自律走行車の予測経路に沿って遅い又は静止しているリモート車両を示す情報等、自律走行車の動作環境における１つ以上のリモート車両のアクションを識別、追跡又は予測すること、自律走行車の動作環境における車両交通網の形状等の自律走行車の動作環境の１つ以上の側面を識別すること、又はこれらの組み合わせを行うように動作環境データを相関させ、関連付け又は他のやり方で処理してもよい。例えば、車線変更モニタ３２４は、１つ以上のセンサからセンサデータ等の情報を受信してもよく、これは地理空間的に車線変更動作に対応して、自律走行車の動作環境における１つ以上のリモート車両、自律走行車の動作環境における自律走行車の動作環境の１つ以上の側面、又はこれらの組み合わせに対応してもよく、車線変更モニタ３２４は、地理空間的に車線変更動作に対応して、自律走行車の動作環境における交差点又はその１つ以上の識別されたリモート車両、自律走行車の動作環境の１つ以上の側面、又はこれらの組み合わせとセンサ情報を関連付けてもよく、これは１つ以上の識別されたリモート車両の各々に関する現在の又は予測される進行方向、予測経路等の経路、現在の又は予測される速度、現在の又は予測される加速度又はこれらの組み合わせを識別することを含んでもよい。車線変更モニタ３２４は、識別された、関連付けられた又は生成された車線変更情報を、ＡＶＯＭＣ４１００に出力し又はそれがアクセスするために出力してもよい。

合流モニタ３２５は、地理空間的に合流動作に対応して、自律走行車の動作環境における１つ以上のリモート車両のアクションを識別、追跡又は予測すること、自律走行車の動作環境における車両交通網の形状等の自律走行車の動作環境の１つ以上の側面を識別すること、又はこれらの組み合わせを行うように動作環境情報を相関させ、関連付け又は他のやり方で処理してもよい。例えば、合流モニタ３２５は、１つ以上のセンサからセンサデータ等の情報を受信してもよく、これは地理空間的に合流動作に対応して、自律走行車の動作環境における１つ以上のリモート車両、自律走行車の動作環境における自律走行車の動作環境の１つ以上の側面、又はこれらの組み合わせに対応してもよく、合流モニタ３２５は、地理空間的に合流動作に対応して、自律走行車の動作環境における交差点又はその１つ以上の識別されたリモート車両、自律走行車の動作環境の１つ以上の側面、又はこれらの組み合わせとセンサ情報を関連付けてもよく、これは１つ以上の識別されたリモート車両の各々に関する現在の又は予測される進行方向、予測経路等の経路、現在の又は予測される速度、現在の又は予測される加速度又はこれらの組み合わせを識別することを含んでもよい。合流モニタ３２５は、識別された、関連付けられた又は生成された合流情報を、ＡＶＯＭＣ３１０に出力し又はそれがアクセスするために出力してもよい。

前方障害物モニタ３２６は、前方障害物通過動作に地理空間的に対応する自律走行車の動作環境の１つ以上の態様を識別するために、動作環境情報を相関させ、関連付け、又は他のやり方で処理してもよい。例えば、前方障害物モニタ３２６は、自律走行車の動作環境における車両交通網の形状を識別してもよい。前方障害物モニタ３２６は、自律車両の予測経路に沿った、又は自律車両の識別された経路に沿った低速又は静止したリモート車両等、自律車両の動作環境における１つ以上の妨害物又は障害物を識別してもよい。また、前方障害物モニタ３２６は、自律走行車の動作環境における１つ以上のリモート車両のアクションを識別、追跡、又は予測してもよい。前方障害物モニタ３２６は、１つ以上のセンサからセンサデータ等の情報を受信してもよく、これは、自律走行車の動作環境における１つ以上のリモート車両、自律走行車の動作環境における自律走行車の動作環境の１つ以上の側面、又は前方障害物通過動作に地理空間的に対応するそれらの組み合わせに対応してもよい。前方障害物モニタ３２６は、センサデータを、自律走行車の動作環境における１つ以上の識別されたリモート車両、自律走行車の動作環境の１つ以上の側面、又は前方障害物通過動作に地理空間的に対応するそれらの組み合わせに関連付けてもよく、これは、現在の又は予測される進行方向、予測経路等の経路、現在又は予測される速度、現在の又は予測される加速度、又はそれらの組み合わせを、それぞれの識別されたリモート車両の１つ以上について識別することを含んでもよい。前方障害物モニタ３２６は、識別された、関連付けられた、又は生成された前方障害物情報を、ＡＶＯＭＣ３１０に、又はＡＶＯＭＣによるアクセスのために出力してもよい。

動作環境モニタ３２０として表示されているが、ブロックモニタ３２１は別の監視デバイスであってもよい。ブロックモニタ３２１は、自律走行車に関する動作環境又はその側面を表す動作環境データを受信してもよい。例えば、ブロックモニタ３２１は、ＡＶＯＭＣ３１０から、車両のセンサから、リモート車両又はインフラストラクチャデバイス等の外部デバイスから、又はこれらの組み合わせから動作環境情報を受信してもよい。ブロックモニタ３２１は、図１に示されるメモリ１３４等の自律走行車のメモリ等のメモリから動作環境情報又はその一部を読み取ってもよい。

ブロックモニタ３２１は、この入力を使用して、自律走行車に近接する車両交通網の一部等の車両交通網の１つ以上の部分に関する各可用性確率（ｐｒｏｂａｂｉｌｉｔｙ ｏｆ ａｖａｉｌａｂｉｌｉｔｙ；ＰＯＡ）又は対応するブロック確率を決定してもよく、部分は自律走行車の現在の経路に基づいて識別される予測経路等の自律走行車の予測経路に対応する車両交通網の一部を含んでもよい。可用性確率又は対応するブロック確率は、自律走行車が、リモート車両又は歩行者等の外部物体によって妨げられない等、安全に交通網の一部又はその中の空間的位置を移動し得る確率又は可能性を示してもよい。例えば、車両交通網の一部は、静止物体等の障害物を含んでもよく、車両交通網の一部に関する可用性確率は、０％等のように低くてもよく、これは、車両交通網の一部に関する１００％等のような高いブロック確率として表されてもよい。ブロックモニタ３２１は、自律走行車の３００メートル以内等の動作環境内の車両交通網の複数の部分の各々に関する各可用性確率を識別してもよい。ブロックモニタ３２１は、継続的に又は周期的に可用性確率を決定又は更新してもよい。ブロックモニタ３２１は、可用性確率又は対応するブロック確率をＡＶＯＭＣ３１０に伝達してもよい。

可用性確率は、自律走行車の動作環境における各外部物体に対応するブロックモニタ３２１によって示されてもよく、地理空間的エリアは、複数の外部物体に対応する複数の可用性確率に関連付けられてもよい。合計可用性確率は、歩行者の可用性確率及びリモート車両に関する可用性確率等の自律走行車の動作環境における外部物体の各タイプに対応するブロックモニタ３２１によって示されてもよく、地理空間的エリアは、複数の外部物体タイプに対応する複数の可用性確率に関連付けられてもよい。

ブロックモニタ３２１は、外部物体を識別し、外部物体を追跡し、外部物体に関する位置情報、経路情報若しくは両方を推定し、又はこれらの組み合わせを行ってもよい。例えば、ブロッキングモニタ３２１は、動作環境情報（例えば、外部物体の現在位置）、外部物体の現在の軌道及び／又は速度を示す情報、外部物体（例えば、歩行者又はリモート車両）の分類のタイプを示す情報、車両交通網情報（例えば、外部物体に近い横断歩道）、外部物体に関連する過去に識別又は追跡された情報、又はそれらの任意の組み合わせに基づいて、外部物体を識別し、外部物体の予測経路を識別してもよい。予測経路は、一連の予測される空間的位置、予測される時間的位置、及び対応する確率を示してもよい。

ブロックモニタ３２１は、可用性確率又は対応するブロック確率をＡＶＯＭＣ３１０に伝達してもよい。ＡＶＯＭＣ３１０は、可用性確率又は対応するブロック確率をシナリオ固有の動作制御評価モジュール３３０の生成された各インスタンスに伝達してもよい。

ＡＶＯＭＣ３１０は、動作環境データによって表される動作環境の１つ以上の側面に基づいて１つ以上の個別の車両動作シナリオを識別してもよい。例えば、ＡＶＯＭＣ３１０は、１つ以上の動作環境モニタ３２０によって示される動作環境データに基づいて又はそれを識別することに応答して、個別の車両動作シナリオを識別してもよい。個別の車両動作シナリオは、経路データ、センサデータ、又はそれらの組み合わせに基づいて識別されてもよい。例えば、ＡＶＯＭＣ３１０は、経路の識別に応答して、識別された経路に対応するマップデータ等に基づいて、車両に関して識別された経路に対応する１つ以上の個別の車両動作シナリオを識別してもよい。動作環境データによって表される動作環境の１つ以上の側面に基づいて、複数の個別の車両動作シナリオが識別されてもよい。例えば、動作環境データは、歩行者が自律走行車に関する予測経路に沿って交差点に接近していることを表す情報を含んでもよく、ＡＶＯＭＣ３１０は、歩行者の車両動作シナリオ、交差点の車両動作シナリオ、又はその両方を識別してもよい。

ＡＶＯＭＣ３１０は、今後のシナリオの識別等、動作環境データによって表される動作環境の１つ以上の側面に基づいて、１つ以上の動作制御評価モデル３３０のそれぞれのインスタンスをインスタンス化してもよい。今後のシナリオは、自律走行車がその経路を継続する場合に遭遇する可能性が高いとＡＶＯＭＣ３１０が判断する、個別の車両動作シナリオであってもよい。今後のシナリオは、予測されてもよく（例えば、自律走行車の経路から判断できる）、又は予想外であってもよい。予想外の今後のシナリオは、車両のセンサによって検出され得るが、センサデータなしでは決定され得ないシナリオであってもよい。

動作制御評価モデル３３０は、歩行者ＳＳＯＣＥＭ３３１、交差点ＳＳＯＣＥＭ３３２、車線変更ＳＳＯＣＥＭ３３３、合流ＳＳＯＣＥＭ３３４、障害物通過ＳＳＯＣＥＭ３３５、又はこれらの組み合わせ等のシナリオ固有の動作制御評価モデル（ＳＳＯＣＥＭ）を含んでもよい。自律走行車の動作管理システム３００が任意の数のＳＳＯＣＥＭ３３０を含み得ることを示すために、ＳＳＯＣＥＭ３３６は破線を使用して示されている。例えば、ＡＶＯＭＣ３１０は、個別の車両動作シナリオを識別することに応答してＳＳＯＣＥＭ３３０のインスタンスをインスタンス化してもよい。ＡＶＯＭＣ３１０は、動作環境データによって表される動作環境の１つ以上の側面に基づいて１つ以上のＡＶＯＭＣ３３０の複数のインスタンスをインスタンス化してもよい。例えば、動作環境データは、自律走行車の動作環境における２人の歩行者を示してもよく、ＡＶＯＭＣ３１０は、各歩行者に関する歩行者ＳＳＯＣＥＭ３３１の各インスタンスをインスタンス化してもよい。

ＡＶＯＭＣ３１０は、ブロックモニタ３２１等の自律走行車の別の装置又はＳＳＯＣＥＭ３３０の１つ以上のインスタンスに動作環境データ又はその１つ以上の側面を送信してもよい。例えば、ＡＶＯＭＣ３１０は、ブロックモニタ３２１から受信した可用性確率、又は対応するブロック確率を、ＳＳＯＣＥＭ３３０のインスタンス化された各インスタンスに伝達してもよい。ＡＶＯＭＣ３１０は、動作環境データ又はその１つ以上の側面を、図１に示されるメモリ１３４等の自律走行車のメモリ等に記憶してもよい。

図３に明示されてはいないが、自律走行車の動作管理システム３００は、予測情報を生成してブロックモニタ３２１に送信してもよく、ブロックモニタ３２１は、１つ以上の他の動作環境モニタ３２０に可用性確率情報を出力してもよい。

ＳＳＯＣＥＭ３３０は、インスタンス化されると、センサデータを含む動作環境情報を受信して、ここでは候補アクションとも呼ばれる候補車両制御アクションを決定して出力することができる。候補アクションは、特定のシナリオを処理する車両が実行する可能性のある最適なアクションとして、特定のＳＳＯＣＥＭ３３０によって識別される車両制御アクションである。例えば、交差点を処理するように構成されるＳＳＯＣＥＭ３３０（例えば、交差点ＳＳＯＣＥＭ３３２）は、交差点を進行することを提案する候補アクションである「進行」を出力してもよい。同時に、車線変更を処理するＳＳＯＣＥＭ３３０（例えば、車線変更ＳＳＯＣＥＭ３３３）は、車両が２度左に合流するべきことを示す「左折」候補アクションを出力してもよい。いくつかの実装では、各ＳＳＯＣＥＭ３３０は、ＳＳＯＣＥＭ３３０によって決定された候補アクションの信頼度を示す信頼スコアを出力する。例えば、信頼スコアが０．９５より大きい場合は候補アクションの信頼度が非常に高いことを示し、信頼スコアが０．５より小さい場合は候補アクションの信頼度が比較的低いことを示してもよい。ＳＳＯＣＥＭ３３０の詳細については、以下で説明する。

ＡＶＯＭＣ３１０は、ＳＳＯＣＥＭ３３０の各インスタンスから１つ以上の候補アクションを受信してもよい。ＡＶＯＭＣ３１０は、候補車両制御アクションから車両制御アクションを識別してもよく、車両制御アクションに従って車両交通網を移動するために、車両を制御してもよく、又は識別された車両制御アクションを別の車両制御デバイスに提供してもよい。

車両制御アクションは、車両交通網の一部を移動することと併せて自律走行車によって行われ得る、加速、減速、旋回、停止、又は任意の他の車両動作若しくは車両動作の組み合わせ等、車両制御アクション又は操縦を示してもよい。

いくつかの実装では、ＡＶＯＭＣ３１０は候補アクションから車両制御アクションを決定するためにハードコードされた論理を利用する。例えば、ＡＶＯＭＣ３１０は、最も高い信頼スコアを有する候補アクションを選択してもよい。他の実装では、ＡＶＯＭＣ３１０は衝突に至る可能性が最も低い候補アクションを選択してもよい。他の実装では、ＡＶＯＭＣ３１０は、複数の矛盾しない候補アクションに基づいて複合アクションを生成してもよい（例えば、「進行」及び「２度左折」の制御アクションを複合させて、車両を左に逸らして交差点を進行させる車両制御動作を発生させる）。いくつかの実装では、ＡＶＯＭＣ３１０は、機械学習アルゴリズムを利用して、複数の異なる候補アクションに基づいて車両制御アクションを決定してもよい。

例えば、候補アクションから車両制御アクションを識別することは、分類問題の教師あり学習等の機械学習コンポーネントを実装すること、及び対応する車両動作シナリオの１０００例等の例示を使用して機械学習コンポーネントを訓練することを含んでもよい。別の例では、候補アクションから車両制御アクションを識別することは、マルコフ決定過程（ＭＤＰ）又は部分観測マルコフ決定過程（ＰＯＭＤＰ）を実装することを含んでもよく、これは各候補アクションが後続の候補アクションに影響するかを記述してもよく、各車両制御アクションに関する正の又は負の報酬を出力する報酬関数を含んでもよい。

ＡＶＯＭＣ３１０は、ＳＳＯＣＥＭ３３０のインスタンスを非インスタンス化してもよい。例えば、ＡＶＯＭＣ３１０は、自律走行車に関する個別の車両動作シナリオを示すように動作条件の個別集合を識別し、個別の車両動作シナリオに関するＳＳＯＣＥＭモジュール３３０のインスタンスをインスタンス化し、動作条件を監視し、その後で１つ以上の動作条件は満了している又は定義された閾値より低い自律走行車の動作に影響を及ぼす可能性を有することを決定し、ＡＶＯＭＣ３１０は、ＳＳＯＣＥＭ３３０のインスタンスを非インスタンス化してもよい。

簡単に上述したように、ＳＳＯＣＥＭ３３０は、それぞれ個別の車両動作シナリオをモデル化してもよい。自律走行車動作管理システム３００は、任意の数のＳＳＯＣＥＭ３３０を含み、各ＳＳＯＣＥＭは、それぞれ個別の車両動作シナリオをモデル化する。個別の車両動作シナリオをモデル化することは、個別の車両動作シナリオに対応する車両の動作環境の側面を表す状態情報を生成及び／又は維持すること、対応する状態のそれぞれのモデル化された側面の中から潜在的相互作用を識別すること、及びモデルを解決する候補アクションを決定することを含んでもよい。より簡単に言えば、ＳＳＯＣＥＭ３３０は、一連の入力が与えられたシナリオを処理するための１つ以上の車両制御アクションを決定するように構成される１つ以上のモデルを含んでもよい。モデルは、限定されないが、ＰＯＭＤＰモデル、ＭＤＰモデル、古典的計画（ＣＰ）モデル、部分観測可能確率ゲーム（ＰＯＳＧ）モデル、分散型部分観測可能マルコフ決定過程（Ｄｅｃ－ＰＯＭＤＰ）モデル、強化学習（ＲＬ）モデル、人工ニューラルネットワーク、ハードコーディングされたエキスパート論理、又はその他の任意の適切なタイプのモデルを含んでもよい。各ＳＳＯＣＥＭ３３０は、モデルが動作する方法及びモデルが利用される態様を定義するコンピュータ実行可能命令を含む。

自律走行車の動作管理システム３００は、任意の数又は組み合わせのモデルのタイプを含んでもよい。例えば、歩行者ＳＳＯＣＥＭ３３１、交差点ＳＳＯＣＥＭ３３２、車線変更ＳＳＯＣＥＭ３３３、合流ＳＳＯＣＥＭ３３４、及び障害物通過ＳＳＯＣＥＭ３３５は、ＰＯＭＤＰモデルであってもよい。別の例では、歩行者ＳＳＯＣＥＭ３３１はＭＤＰモデルであってもよく、交差点ＳＳＯＣＥＭ３３２はＰＯＭＤＰモデルであってもよい。ＡＶＯＭＣ３１０は、動作環境データに基づいてＳＳＯＣＥＭ３３０の任意の数のインスタンスをインスタンス化してもよい。自律走行車の動作管理システム３００が任意の数又は追加のタイプのＳＳＯＣＥＭ３３０を含み得ることを示すために、モジュール３３６は破線を使用して示されている。

ＡＶＯＭＣ３１０、動作環境モニタ３２０、又はＳＳＯＣＥＭ３３０のうちの１つ以上は、継続的に、又は１０ヘルツ（１０Ｈｚ）の周波数等で周期的に動作してもよい。例えば、ＡＶＯＭＣ３１０は、毎秒１０回等、複数回の車両制御アクションを識別してもよい。自律車両動作管理システム３００の各コンポーネントの動作周波数は同期又は非同期であってもよく、ＡＶＯＭＣ３１０、動作環境モニタ３２０、又はＳＳＯＣＥＭ３３０のうちの１つ以上の動作レートは、他の動作レートから独立していてもよい。

上記の説明から明らかなように、これらのモデルは複雑であり、車両制御アクションを適切に選択するためには、物体の正確な検出及び識別が重要である。精度は、半自動又は従来の車両での車両制御アクションを提案するための同様の懸念事項である。本明細書における教示は、部分的又は完全に遮蔽されている場合であっても、車両に利用可能なマップにその物体が含まれているかに関わらず、交通流制御デバイス等の物体の識別を可能にする。物体の位置及び識別は、注釈を付けてマッピングされてもよい。つまり、この情報を含むラベルは、車両動作のための１つ以上の制御システム内でタグ付けされてもよい。

図４は、本明細書の教示に従って低信頼度の物体検出条件に対処する車両を動作させる方法４００のフローチャートである。方法４００は、ソフトウェアの有無に関わらず、コンピュータ、コントローラ、又はハードウェアの任意の組み合わせの中に組み込まれたプロセッサによって実行されてもよい。方法４００は、プロセッサ１３３等によって車両で実行されてもよい。方法４００は、通信デバイス２４０を組み込んだ遠隔支援サポート等のリモート車両サポートシステムにおいて、プロセッサ又は他のハードウェア及び選択的にソフトウェア等によって、少なくとも部分的にリモートで実行されてもよい。

ステップ４０２において、図２に示すＴ字型の交差点等の車両交通網内の交差点に車両が近づくと、少なくとも１つの車載センサからセンサデータが受信される。車載センサは、車両１００又は車両２１０／２１１のいずれか等、車両外部の状態を検出する、前述のセンサ１３６のような任意のセンサであってもよい。

ステップ４０４において、センサデータを使用して、交差点に対する交通流制御デバイスが検出されたかどうかを判断する。ステップ４０６において、交通流制御デバイスが検出されたときに、交通流制御デバイスの検出されたタイプ又は検出された状態の少なくとも１つを判断する。ステップ４０４及び４０６での処理については、本明細書での教示に従って交通流制御デバイスを検出する方法５００のフローチャートである図５を参照して、より詳細に検討され得る。

ステップ５０２において、検出に使用される車両のハードウェアが同期されてもよい。ハードウェアは、車両外部の物体を検出するために使用され得る複数のセンサを含む。望ましくは、必須ではないが、センサは異なるタイプのセンサである。図５において、方法５００は、ＬＩＤＡＲユニットのような画像センサ５０４Ａ及び距離センサ５０４Ｂを使用する。また、ハードウェアは、車両交通網内の検出された物体の位置を識別するために使用され得るＧＰＳユニット５０６のような位置決め装置を含んでもよい。接近する交差点に対してステップ４０２で受信されるセンサデータは、センサのタイプによって異なる。図５において、画像センサ５０４Ａは第１のセンサデータとしてデータストリーム５０８を送信し、距離センサ５０４は第２のセンサデータとして点群５１４を送信する。受信された第１及び第２のセンサデータ、データストリーム５０８及び点群５１４は、車両のプロセッサ１３３等のプロセッサによるアクセスのために、メモリ１３４等のメモリに記憶されてもよい。ハードウェアの同期により、データストリーム５０８の画像は点群５１４に幾何学的に位置合わせされる。

ステップ５１０から始まって、第１のセンサデータを使用して交差点内で物体が検出される。ステップ５１０において、空間的特徴抽出器を使用して、データストリーム５０８のセンサデータから空間的特徴を抽出する。空間的特徴抽出器は、ステップ５１０において、畳み込みニューラルネットワーク等の訓練された機械学習モデルにデータストリーム５０８を入力することによって実装されてもよく、その推論された出力は空間的特徴を備えている。空間的特徴は、車線ライン、停止線、歩行者、他の車両、交通流制御デバイス等を表し得る多次元座標系（例えば、二次元又は三次元）のそれぞれの値を持つピクセルのグループを含んでもよい。

ステップ５１０において抽出された空間的特徴は、ステップ５１２において物体検出器への入力として使用される。物体検出器は、空間的特徴を可能性の高い物体に解析し、それらは、例えば、任意の所望の手法に従って、それぞれの境界ボックスによって識別される。ステップ５１２における処理から出力される物体検出器の出力は、多次元座標系内の位置、境界ボックスがノイズではなく物体に関連付けられているという信頼度のレベル、境界ボックスが物体の全体を包含するという信頼度のレベル、物体の識別を支援するその他の情報、又はそれらの何らかの組み合わせも含んでもよい。この実装において、物体は、交差点内に有るものであり、ここで、交差点内という表現は、交差点の上（ぶら下がっている交通信号機等）、交差点について定義された範囲内、交差点から定義された距離内、又はそれらの何らかの組み合わせを含む。

ステップ５１６から始まると、第２のセンサデータを使用して交差点内で物体が検出される。この例では、点群５１４のセンサデータは、データストリーム５０８のセンサデータと同様に処理される。ステップ５１６において、空間的特徴抽出器を使用して空間的特徴を抽出する。ステップ５１６において実装された空間的特徴抽出器は、ステップ５１０において実装された空間的特徴抽出器と同様に、畳み込みニューラルネットワーク等の訓練された機械学習モデルであってもよい。点群５１４は、モデルに入力されてもよく、これは空間的特徴を出力する。この例において、データストリーム５０８の画像が点群５１４に幾何学的に位置合わせされているため、空間的特徴はデータストリーム５０８から抽出されたものと同じ多次元座標系で定義される。他の実装では、データストリーム５０８及び点群５１４の空間的特徴は、それぞれの多次元座標系におけるステップ５１０及びステップ５１６において抽出され、その後、後述のステップ５２０における物体出力一致処理の前に、同じ多次元座標系に変換、再マッピング、又はその他のやり方で調整されてもよい。

ステップ５１６において抽出された空間的特徴は、ステップ５１８において物体検出器への入力として使用される。物体検出器は、空間的特徴を可能性の高い物体に解析し、それらは、例えば、任意の所望の手法に従って、それぞれの境界ボックスによって識別される。ステップ５１２における処理からの物体検出器の出力と同様に、ステップ５１６における処理からの物体検出器の出力も、多次元座標系内の位置、境界ボックスがノイズではなく物体に関連付けられているという信頼度のレベル、境界ボックスが物体の全体を包含するという信頼度のレベル、交差点内の物体の識別を支援するその他の情報、又はそれらの何らかの組み合わせも含んでもよい。

ステップ５２０において、方法５００は物体出力一致処理を含む。物体出力一致処理では、第１のセンサデータを使用して検出された物体が、第２のセンサデータを使用して検出された物体と比較される。データが物体に対して一貫性がある（例えば、それらの特性又はパラメータが一致する）場合、方法５００は物体が検出されたと結論付ける。図示のように、ステップ５１２における物体検出器の出力が、ステップ５１８における物体検出器の出力と比較される。ステップ５２２において一致を決定するために、境界ボックスの（例えば、多次元空間における）サイズ及び位置が比較されてもよい。例えば、ステップ５１２における物体検出器の出力からの境界ボックスがステップ５１８における物体検出器の出力からの境界ボックスと重なっており、且つ境界ボックスが定義されたサイズマージン内にある場合、ステップ５２０においてその物体は一致していると見なされてもよい。

図５では、ステップ５２０からの一致する物体は、それぞれの位置を含めて、ステップ５２２における物体分類器に提供される。ステップ５２２における物体分類は、物体を交通流制御デバイス又は交差点内の別の物体として分類する、パターン認識ソフトウェア又はその他の手段を使用してもよい。例えば、物体分類器は、ステップ５２２において一致する物体を交通信号機、停止標識、譲れ標識、単一の点滅灯等の交通流制御デバイスのタイプとして分類してもよい。いくつかの実装において、物体が交通流制御デバイスのタイプであり、そのタイプの交通流制御デバイスが複数の状態に関連付けられている場合、交通制御デバイスの状態もステップ５２２における物体分類の一部であってもよい。例えば、交通流制御デバイスのタイプの交通信号機は、一般に赤、黄、又は緑の３つの状態に関連付けられている。単一の点滅灯は、赤の状態又は黄の状態のいずれかに関連付けられてもよい。

ステップ５２２における物体分類は、ステップ５２０における一致処理の後に行われるように記載されているが、いくつかの実装では、第１及び第２のセンサデータのそれぞれの処理は、ステップ５２０における物体出力一致処理の前に、それぞれの物体分類ステップを含んでもよい。より一般的には、第１のセンサデータを使用して検出された物体の少なくとも１つ、又は第２のセンサデータを使用して検出された物体の少なくとも１つは、一致処理の前又は後のいずれかで、本明細書の教示に従って分類されてもよい。

分類された物体は、ステップ５２４においてラベル（例えば、そのタイプ及び選択的にその状態）及び位置でタグ付けされ、その後、例えば、１つ以上のマップ及び交通量制御デバイス（標識と呼ばれる場合もある）を含むデータベース５２６に記憶される。位置は、ＧＰＳユニット５０６、データベース５２６に記憶されているマップ及びマップの座標系、又はその両方を使用して、多次元座標系内の分類された物体の位置を地理空間的位置に変換することによって決定されてもよい。

上記の方法５００の説明によれば、第１のセンサデータを使用して検出された物体又は第２のセンサデータを使用して検出された物体の少なくとも１つの物体のいずれもが、交通流制御デバイスのタイプとして分類されない場合、ステップ４０４において交通流制御デバイスが検出されないとの判断が行われてもよい。これに対して、第１のセンサデータを使用して検出された複数の物体の中の１つの物体の特性が、第２のセンサデータを使用して検出された複数の物体の中の１つの物体の特性と一致し、且つ、第１のセンサデータを使用して検出された複数の物体の中の物体又は第２のセンサデータを使用して検出された複数の物体の中の物体のうちの少なくとも１つが、交通流制御デバイスのタイプとして分類される場合、ステップ４０４においてセンサデータによって交通流制御デバイスが検出されたとの判断が行われてもよい。

上記の図５の説明は、少なくとも検出信頼度の定義されたレベルによって、センサデータを使用して交通流制御デバイスが検出されたかどうかを明示的に解決していない。検出信頼度のレベルは、センサデータを使用して検出されたタイプ及び／又は検出された状態の決定の精度に対する信頼度のレベルを反映する任意の値であってもよい。例えば、検出信頼度のレベルは、ステップ５２２における分析の結果として、検出された物体がその分類とどの程度類似しているかを示すパーセンテージ又はその他の値であってもよい。検出信頼度のレベルは、ステップ５２０における一致処理における重複の量等、他の値を含むか、他の値と組み合わされてもよい。比較的小さな重複は検出信頼度のレベルが低いことを示し、比較的大きな重複は検出信頼度のレベルが高いことを示してもよい。検出信頼度のレベルは、画像センサ５０４及び距離センサ５０４Ｂ等のセンサの相対的な精度又は感度に関する値、又は各センサの空間的特徴抽出（例えば、ステップ５１０，５１６）及び物体検出（例えば、ステップ５１２，５１８）の相対的な精度及び感度に関する値等の他の値を含むか、又は他の値と組み合わされてもよい。その入力を使用した物体検出又はセンサにおけるより高いレベルの精度は、例えば、ステップ５２０における一致処理において、そのセンサのデータを他よりも高く重み付けするために使用されてもよい。

検出信頼度の定義されたレベルは、検出されたタイプ及び／又は検出された状態の決定が十分に正確であるかどうかを示す値であり、これは交差点内の他の条件又は物体に依存してもよい。例えば、交通流制御デバイスの検出されたタイプが停止標識であるという結論の検出信頼度のレベルは、８０％であってもよい。検出信頼度の定義されたレベルは、例えば、デフォルトで８５％であってもよい。したがって、交通流制御デバイスの検出されたタイプは、検出信頼度の定義されたレベル未満で決定される。交差点内に歩行者又は他の車両と識別された物体がない場合、検出信頼度の定義されたレベルは７５％に下げられてもよいが、そのような存在が、検出信頼度の定義されたレベルを上昇させてもよい。多くの腕、車線、又はその両方を含む複雑な交差点の形状（４方向の交差点等）によって、３方向の交差点等の単純な交差点よりも高い検出信頼度の定義されたレベルが高くなってもよい。

いくつかの実装では、複数の検出信頼度の定義されたレベルが使用されてもよい。例えば、検出信頼度のレベルが第１の定義されたレベルを下回った場合に、ステップ４０４において交通流制御デバイスが検出されないという結論に達してもよく、又は、第２の定義されたレベルを使用して、交通流制御デバイスの検出されたタイプ又は検出された状態のうちの少なくとも１つが、ステップ４０６において検出信頼度の定義されたレベル未満において決定されるという結論に達してもよく、ここで、第２の定義されたレベルは、第１の定義されたレベルよりも物体分類の精度に関して高いレベルの信頼度である。また、交通流制御デバイスの検出されたタイプと比較して、検出された状態に関して、検出信頼度の定義されたレベルが異なることも可能である。

いずれの場合も、図４を再度参照して、ステップ４０４において交通流制御デバイスが検出されないか、又は交通流制御デバイスの少なくとも１つがステップ４０６において検出信頼度の定義されたレベル未満で判断された場合、ステップ４０８において交差点のタイプを使用して、交通流制御デバイスの既存のタイプ又は既存の状態の少なくとも１つが決定されてもよい。図６を参照すると、ステップ４０８における処理の例が示されており、これは交差点のタイプを使用して交通流制御デバイスの既存のタイプ、既存の状態、又はその両方を判断する方法６００のフローチャートである。

ステップ６０２において、交差点のタイプが識別又は決定される。交差点のタイプは、交差点の形状、マッピングされた交差点又はマッピングされていない交差点としての交差点の状態、又はその両方によって示されてもよい。交差点のタイプに加えて、後で詳細に説明するように、ステップ４０８における決定には、交差点内の又は交差点に近づいている他の検出された物体の状態が使用されてもよい。

ステップ６０４から始めると、検出信頼度の定義されたレベルは、検出されたタイプを実際の既存のタイプとして受け入れるかどうか、検出された状態がある場合は実際の既存の状態として受け入れるかどうか、又は実際の既存の交通流制御デバイスの決定でさらに処理を実行するかどうかを決定するための検出信頼度のレベルと比較されてもよい。

この例では、ステップ６０４において、検出されたタイプが既存のタイプであるか又は既存のタイプとして受け入れられるかどうか等、交通流制御デバイスの検出されたタイプが比較的正確であるかどうかについての決定が行われる。交通流制御デバイスの検出されたタイプが、検出信頼度の定義されたレベル未満において決定された場合（例えば、定義されたレベルよりも検出信頼度のレベルが低い）、又は検出されたタイプが存在しない等、交通流制御デバイスが検出されなかった場合は、ステップ６０６に処理が進む。ステップ６０６において、ステップ６０２において決定された交差点のタイプに基づいて、交通流制御デバイスの候補タイプ又は交通流制御デバイスの候補状態の少なくとも１つが決定される。例えば、交通流制御デバイスの候補タイプが状態（停止標識等）を有していない場合、ステップ６０６において候補タイプのみが決定される。ステップ６０６において決定された交通流制御デバイスの候補タイプが、状態（交通信号等）も有するものである場合、この例では、６０６において交通流制御デバイスの候補状態も決定される。これは、交通流制御デバイスの検出されたタイプの検出信頼度のレベルが、検出信頼度の定義されたレベルよりも低い場合、交通流制御デバイスの検出された状態が、存在する場合、正確である可能性は低いという仮定に基づいている。

（複数の）候補タイプ及び（複数の）候補状態は、存在する場合、その後、ステップ６１２において、検討のために車両の乗客に提示される。これについては後述する。ステップ６０６における候補タイプの決定の例、及び選択的に、交差点のタイプを使用した候補状態の決定についても後述する。

ステップ６０４に戻って、交通流制御デバイスの検出されたタイプが存在し、且つ、検出されたタイプが既存のタイプであるか又は既存のタイプとして許容可能であり得る等、比較的正確である決定がステップ６０４において行われた場合、処理は選択的にステップ６０８に進み、選択的にステップ６１０に進む。ステップ６０８における処理は、検出された状態が既存の状態であるか又は既存の状態として許容可能であり得る等、交通流制御デバイスの検出された状態が比較的正確であるかどうかの決定を含む。状態が検出されない場合、又は交通流制御デバイスの検出された状態が検出信頼度の定義されたレベル未満である（例えば、定義されたレベルよりも検出信頼度のレベルが低い）と判断された場合、処理はステップ６１０に進む。

ステップ６１０において、ステップ６０２において決定された交差点のタイプに基づいて、交通流制御デバイスの候補状態が決定される。例えば、検出されたタイプがステップ６０４において十分な検出信頼度によって、複数の可能な状態を有するタイプであると決定された場合、交通流制御デバイスの候補状態は、交通流制御デバイスのタイプの可能な状態の１つであってもよい。このシーケンスは、例えば、ステップ５２２において分類された物体が、検出されたタイプ、例えば、交通信号機が少なくとも定義されたレベル検出信頼度にあるが、検出された状態が、存在する場合、検出信頼度の定義されたレベルを下回っているような、１つ以上のセンサから少なくとも部分的に遮蔽されている場合に発生し得る。候補状態の決定については以下でさらに詳述する。

ステップ６０８及び６１０は、それぞれ任意選択として記載されている。例えば、交通流制御デバイスの検出されたタイプが、ステップ６０４における十分な検出信頼度によって、複数の可能な状態のないタイプであると判断された場合（停止標識等）、方法６００は、交通流制御デバイスの検出されたタイプが交通流制御デバイスの既存のタイプとして許容可能である結果として、ステップ６０４で終了してもよい。さらに、交通流制御デバイスの検出されたタイプが状態を有する場合（交通信号機等）、方法６００は、交通流制御デバイスの検出された状態が、ステップ６０８における十分な検出信頼度によって、交通流制御デバイスの既存の状態として受け入れられると判断された結果として、ステップ６０８で終了してもよい。

方法６００をステップ６０４又は６０８で終了すると、図４のステップ４０８の処理時間が短くなる。これは、車両が乗客のいないＡＶである場合に必要とされてもよい。しかしながら、車両に乗客がいる場合は、車両がＡＶであるかどうかに関わらず、追加の精度を得るためにステップ６１２及び６１４を含むことがより望ましい場合があり、特に車両で利用可能な既存のマップで交差点がマッピングされていない場合である。この変化形態では、ステップ４０８において交通流制御デバイスの既存のタイプ又は既存の状態の少なくとも１つを決定することは、ステップ６１２において、車両のビジュアル又はオーディオインターフェースの少なくとも１つによって、交通流制御デバイスの候補タイプ、交通流制御デバイスの候補状態、又は交通流制御デバイスの候補タイプ及び候補状態の両方を車両の乗客に提示すること、並びにステップ６１４において、候補タイプが交通流制御デバイスの既存のタイプであるか、候補状態が交通流制御デバイスの既存の状態であるか、又は候補タイプが交通流制御デバイスの既存のタイプであり且つ候補状態が交通流制御デバイスの既存の状態であるかを示すフィードバックを乗客から受信することを含む。

ステップ６１２における提示の内容は、ステップ６０４における決定又はステップ６０４における決定及びステップ６０８における決定の両方に依存してもよい。交通流制御デバイスの検出されたタイプが存在し、検出されたタイプが既存のタイプとして許容可能であるか又は既存のタイプとして許容可能であり得る等、比較的正確である判断がステップ６０４において行われた場合（例えば、検出されたタイプの検出信頼度のレベルが、検出信頼度の定義されたレベルと少なくとも同等である）、検出されたタイプはステップ６１２において提示された候補タイプとして指定される。検出されたタイプが複数の状態に関連付けられた交通流制御デバイスのタイプではない場合、候補状態は、ステップ６１２における乗客への提示から省略されてもよい。その代わりに、検出されたタイプが複数の状態に関連付けられた交通流制御デバイスのタイプであり、交通流制御デバイスの検出された状態が存在し、且つ検出された状態が既存の状態であるか又は既存の状態として許容可能であり得る等、比較的正確であるという判断がステップ６０８で行われた場合（例えば、検出された状態の検出信頼度のレベルが、検出信頼度の定義されたレベルと少なくとも同程度に高い）、検出された状態は、ステップ６１２において提示された候補状態として指定される。その代わりに、ステップ６１０で判断された交通流制御デバイスの候補状態が発生するように、検出信頼度の定義されたレベル未満で交通流制御デバイスの検出された状態が判断された場合（例えば、それが定義されたレベルよりも低い検出信頼度のレベルを有する）、候補状態はステップ６１２において乗客への提示に含まれる。

上記とは対照的に、また前述のように、交通流制御デバイスの検出されたタイプの検出信頼度が検出信頼度の定義されたレベル未満であるとステップ６０４において判断された場合、ステップ６１２における提示の内容は、ステップ６０６において決定された１つ以上の候補タイプ、又はステップ６０６において決定された１つ以上の候補タイプ及び１つ以上の候補状態を含んでもよい。

ここまでの説明では、ステップ６０４及び６０８における判断は、一般的に、定義されたレベルの検出精度、及び検出された交通流制御デバイスの検出精度（例えば、検出されたタイプ又は検出された状態）に基づいて行われる。いくつかの実装では、例えば、交差点が車両に利用可能な既存のマップ内でマッピングされているか又はマッピングされていないか、交差点の検出された形状、又はその両方、及び選択的に交差点内で検出された他の物体の特性等、ステップ６０４における決定、ステップ６０８における決定、又はその両方の決定において、ステップ６０２からの交差点のタイプを考慮することが望ましい場合がある。

交差点のタイプが考慮された変化形態では、ステップ６０２において識別された交差点のタイプに関連する特定の条件の下で、方法６００は常にステップ６０４からステップ６０６に進んでもよい。例えば、これは、交差点が車両に利用可能な既存のマップ内でマッピングされていない場合、交通流制御デバイスが車両に利用可能な既存のマップ内にない場合（例えば、交差点がマッピングされているが、交通流制御デバイスが交差点のマッピングされた交通流制御デバイスと一致しない場合）、又は交差点がマッピングされているかどうかに関わらず、交通流制御デバイスの検出されたタイプが交差点の形状と一致しない場合に発生してもよい。いくつかの実装では、ステップ６０４におけるこの決定が実行されてもよく、交通流制御デバイスの検出されたタイプが検出信頼度の定義されたレベルと少なくとも同じ高さの検出信頼度を有する場合、これらの条件のいずれかが検出されると、方法６００は、ステップ６０８又は６１２ではなくステップ６０６に進むことを強制される。他の実装では、これらの条件のいずれかが検出されると、ステップ６０４における決定によってそれ以上の処理を行わずに方法６００がステップ６０６に進むように、交通流制御デバイスの検出されたタイプの検出信頼度のレベルが定義されたレベルの信頼度よりも低くなるように低下されてもよい。

これらの各シナリオでは、既存のタイプの決定は、ステップ６０６における処理によって生成され、検出されたタイプを含んでも含まなくてもよい１つ以上の候補タイプが利用可能性から利益を受け得る。候補タイプに基づいて、より多くの又は異なる状態が考慮され得るため、既存の状態の判定も利益を受け得る。

交差点のタイプが考慮されたさらに別の変化形態では、交差点の形状が比較的複雑である場合、例えば、各アームに２つの車線がある４方向の交差点よりも複雑である場合、方法６００は常にステップ６０４から６０６に進んでもよい。交差点のタイプが比較的単純な交差点の形状を含む実装であっても、交差点に他の物体が存在すると、常にステップ６０４から６０６に進んでもよい。

ステップ６０６における決定を行うために、交差点の形状、交差点内で検出された他の物体、又はその両方が、検出精度のレベルと組み合わせて考慮されてもよい。例えば、ステップ６０４における決定は、検出されたタイプの検出精度のレベルと定義された検出精度のレベルとの差を決定して、その差を差分閾値と比較してもよい。検出されたタイプの検出精度のレベルが定義されたレベルよりも高く、差が差分閾値よりも小さい場合、方法６００はステップ６０４から６０６に進んでもよく、それ以外の場合は前述のようにステップ６０８又は６１２に進み得る。差分閾値は、形状の複雑さが高いほど、及び／又は検出された物体の数、検出された物体のタイプ、又は交差点の移動の困難さを増加させ得る交差点内の配置が多いほど、差分閾値が高くなるように、交差点の形状及び／又は交差点内の他の検出された物体に依存してもよい。方法６００を終了するか、又はステップ６１２に進むかのステップ６０８での判断のために、同様の分析が交通流制御デバイスの検出された状態を使用して行われてもよい。

前述のように、ステップ６０２において識別又は決定された交差点のタイプは、ステップ６０６において、１つ以上の候補タイプ、１つ以上の候補状態、又はその両方を決定するために使用されてもよい。次に、交差点のタイプを使用して、ステップ６１２における提示の候補を決定する例について説明する。

一例では、方法６００は、交差点が車両に使用可能な既存のマップ内でマッピングされていないことを決定してもよい。交通流制御デバイスの候補タイプは、交通流制御デバイスの検出されたタイプが交差点のタイプと一致する場合に、検出されたタイプであってもよい。交通流制御デバイスの検出されたタイプは、検出されたタイプが少なくとも１つのセンサによって検出された交差点の形状と一致する場合に、交差点のタイプと一致してもよい。例えば、停止標識又は譲れ標識の交通流制御デバイスのタイプはＴ字型の交差点と一致し、停止標識又は交通信号はＴ字型ではない３方向の交差点と一致し、交通信号は４つより多くのアームを持つ交差点と一致する等である。これらは単なる例であり、交通流制御デバイスのタイプが交差点の形状と一致するかどうかは異なってもよい。さらに、交通流制御デバイスの候補タイプは、交通流制御デバイスの検出されたタイプが交差点のタイプと一致するかどうかに関わらず、及び交通流制御デバイスが検出されなかった場合に、交差点のタイプと一致する交通流制御デバイスのタイプであってもよい。

候補タイプが決定されると、その候補タイプが候補状態と関連付けられてもよい。上記の例において、交差点がマッピングされていない場合、交通流制御デバイスの候補状態は、交通流制御デバイスの検出されたタイプが交差点のタイプと一致する場合に、検出された状態として決定されてもよい。交通流制御デバイスが検出されない場合等、検出された状態が存在しない場合、候補状態は、交差点のタイプ、交差点内の少なくとも１つの物体の状態、又はその両方に基づいてもよい。例えば、交差点のタイプがその形状を参照している場合、候補タイプは前述のようにその形状と一致してもよい。候補タイプが複数の状態を有し得る場合、候補状態はこれらの状態のいずれかに対応する交通流制御デバイスの状態である。また、候補タイプの可能な状態のそれぞれを候補状態として決定されてもよい。しかしながら、センサデータを使用して検出される交差内の少なくとも１つの物体の状態を考慮することによって、追加の精度が達成され得る。

具体的には、交差点の他の少なくとも１つの車両の状態が停止しているか、減速しているか、減速せずに前進しているか、角を曲がっているか等を考慮することにより、候補タイプの１つ以上の可能な状態としてステップ６０６又は６１０において候補状態が決定されてもよい。候補タイプが交通信号である場合、例えば、４方向の交差点において車両に隣接する車線で停止している車両は、信号が赤色である可能性が高いことを示し得るため、赤色が既存の状態に対する可能な候補状態となるが、隣接する車線で同じ車両が減速していることは、信号が黄色又は赤色であることを示しているため、再び赤色が候補状態となり、また、黄色も既存の状態に対する可能な候補状態となる。他の交差点のタイプ及び検出された物体が、候補状態を決定する際に同様に考慮されてもよい。別の例では、候補タイプは旋回矢印であってもよく、候補状態はオフ状態又はオン状態であってもよい。他の車両を観察することによって、これらの候補状態のいずれかがより可能性が高くなり、例えば、検出された状態がない候補タイプを最初に提示されてもよい。

ステップ６０６において候補タイプを決定する他の例では、方法６００は、交差点が車両に利用可能な既存のマップ内にマッピングされていることを決定してもよい。既存のマップが誤っている可能性があるため、交通流制御デバイスの検出されたタイプが既存のマップ内の交差点の交通流制御デバイスのタイプと不整合である（すなわち、一致しない）場合、交通の候補タイプが検出されたタイプとして決定されてもよい。候補タイプは、既存のマップ内の交差点の交通流制御デバイスのタイプも含んでもよい。検出されたタイプは、以前にマッピングされた交通流制御デバイスのタイプと一致する場合にも、候補タイプとして決定されてもよい。交通流制御デバイスが検出されない場合は、前述の交差点の形状等、交差点のタイプに基づいて、候補タイプが交通流制御デバイスのタイプとして決定されてもよい。いくつかの実装では、交通流制御デバイスが検出されない場合、候補状態の決定に関して上述されたように、交差点内で検出された少なくとも１つの物体の状態が考慮されてもよい。

ステップ６０６、又はステップ６０４及び選択的にステップ６１０において交通流制御デバイスに対する（複数の）候補が決定されると、それらはステップ６１２において車両の乗客に提示され、上記で簡単に述べたようにステップ６１４においてフィードバックされる。より詳細には、交通流制御デバイスの候補タイプは、適用可能な場合は交通流制御デバイスの候補状態と共に、ユーザインターフェース１３５等のユーザインターフェースによって乗客に提示される。ユーザインターフェースは、ビジュアルインターフェイス、オーディオインターフェース、又はビジュアルインターフェイス及びオーディオインターフェースの両方を含んでもよい。乗客は、候補タイプが正しいかどうか（すなわち、それが車両交通網の交差点内に実際に存在する既存のタイプであるかどうか）、及び、存在する場合、候補の状態が正しいかどうか（すなわち、それが車両交通網の交差点内で候補タイプと共に実際に示される既存の状態であるかどうか）を示すユーザインターフェースを介してフィードバックを要求される。

複数の候補タイプがある場合、どの候補タイプが既存のタイプであるかを示すフィードバックとして乗客がユーザインターフェースに１つの入力を提供するために、全ての候補タイプが一緒に提示されてもよい。代替的に、乗客が順番にそれぞれに関するフィードバックを提供できるように、候補タイプが順番に提示されてもよい。候補タイプに関連付けられた複数の候補状態がある場合、各候補状態は、候補タイプと平行して又は同時に提示されてもよい。いくつかの実装では、候補タイプに加えて、可能な交通流制御デバイスのタイプのリストから選択するオプションを乗客に提示し、そこから既存のタイプを識別してもよい。既存のタイプが複数の状態を有し得る場合、乗客は可能な状態のリストから選択するオプションを提示されてもよい。

交通流制御デバイスの既存のタイプ、及び、適用可能な場合は交通流制御デバイスの既存の状態を確認することに加えて、ユーザインターフェースは、交差点内の正確な位置を識別又は確認するために使用されてもよい。ユーザインターフェースは、図６の方法６００に従って、車両とユーザの相互作用の例の図である図７を参照して、さらに詳細に説明され得る。

車両１００，２１０，２１１のような車両内の乗客７０２への提示は、ユーザインターフェース１３５のような、オーディオインターフェース、ディスプレイスクリーン、又はその両方の一部であるスピーカを使用して行われてもよい。図７に示すように、乗客７０２は、車両内に適切に取り付けられた又は他のやり方で配置された複数のインターフェイスハードウェアコンポーネントを使用してフィードバックを提供してもよい。この例では、ビジュアルインターフェイスは、ジェスチャ又は身体姿勢推定プロセス７０４を使用してフィードバックを受信するために乗客７０２の体の方を向いている第１の画像又はビデオカメラ７２０と、視線推定プロセス７０６、頭部姿勢推定プロセス７０８、顔又は唇読み取り推定プロセス７１０、又はこれらのいくつかの組み合わせを使用してフィードバックを受信するために乗客７０２の頭部の方を向いている第２の画像又はビデオカメラ７２２を含む。オーディオインターフェースは、音声認識プロセス７１２を使用してフィードバックを受信するためのマイクロホン７２４を含む。図７は、（複数の）接触入力７１４としてフィードバックを受信するための触覚インターフェース（タッチスクリーンディスプレイ上のボタン７２６等）も含む。いくつかのデバイスがフィードバックを受信するように示されているが、本明細書の教示はこれらのデバイスに限定されない。さらに、全てのデバイスが使用されるとは限らない。フィードバックを提供するために必要なデバイスは１つだけである。頭部に向けたビデオカメラをフィードバックに使用する場合、推定プロセス７０６，７０８及び７１０の全てが必要というわけではない。推定プロセスのうち、１つ又は２つだけが使用されてもよい。

詳細には示されていないが、図７のジェスチャ又は身体姿勢推定プロセス７０４、視線推定プロセス７０６、頭部姿勢推定プロセス７０８、顔又は唇読み取り推定プロセス７１０、及び音声認識プロセス７１２のうちの１つ以上が、それぞれのニューラルネットワークによって実装されてもよい。ニューラルネットワークへの入力は、第１のカメラ７２０からの乗客７０２の体の画像、第２のカメラ７２２からの乗客７０２の顔の画像、又はマイク７２４からの発話であってもよい。いくつかの実装では、（複数の）接触入力７１４が１つ以上のニューラルネットワークへの入力として使用されてもよい。図示のようなニューラルネットワークの層は、多数の訓練サンプルを使用して訓練される。例えば、視線推定プロセス７０６のためのニューラルネットワークは、車両が交差点に接近している間に、訓練されたニューラルネットワークが乗客７０２の視線の焦点ｆｃを推論できるように、三次元空間における乗客の視線の既知の焦点ｆｃに関連付けられた多数の訓練画像を使用して訓練されてもよい。この例では、焦点ｆｃは、ディスプレイスクリーンに提示される交通流制御デバイスの既存のタイプ、既存の状態、又はその両方を識別又は確認する乗客７０２からのフィードバックを提供してもよい。焦点ｆｃは、交通流制御デバイスの位置を識別又は確認する乗客７０２からのフィードバックを提供してもよい。

他の推定プロセスは、車両が交差点に接近している間に乗客７０２からのフィードバックを推論（例えば、推定）するために同様に訓練されたニューラルネットワークを使用してもよい。例えば、ジェスチャ又は身体姿勢推定プロセス７０４において、検出された手のジェスチャに応じて乗客７０２から異なるフィードバックが提供されるように、ニューラルネットワークは複数の手のジェスチャを区別するように訓練されてもよい。例えば、３つの候補タイプのいずれが既存のタイプの車両流制御デバイスに対応するかを示すために、３つの異なる手のジェスチャが使用されてもよい。手のジェスチャは、様々なフィードバックに使用されてもよい。例えば、ポインティングジェスチャが、車両流制御デバイスの位置を確認又は識別するために使用されてもよい。

ジェスチャ又は身体姿勢推定プロセス７０４、視線推定プロセス７０６、頭部姿勢推定プロセス７０８、顔又は唇読み取り推定プロセス７１０、音声認識プロセス７１２、及び（複数の）接触入力７１４のうちの１つ以上からのフィードバック出力がコマンド解釈モジュール７１６に供給されてもよい。フィードバックは、既存のタイプ、又は車両流制御デバイスの既存のタイプ及び既存の状態を識別又は確認し、選択的にステップ７１８において車両の位置を識別又は確認するように、乗客７０２からのコマンドを解釈するために任意のやり方で組み合わされてもよい。

再び図４を参照すると、ステップ４１０において、交通流制御デバイスは、交通流制御デバイスの位置、及び交通流制御デバイスの既存のタイプ又は既存の状態の少なくとも１つを含むラベルによって、車両に関する少なくとも１つの制御システム内でタグ付けされる。ステップ５２４におけるタグ付けに関して前述したように、ラベルは、マップ又は交通標識データベース５２６に追加されてもよい。つまり、例えば、交差点が車両のメモリ内に記憶されたローカルマップ内にある場合、ローカルマップは、ラベルを使用して交通流制御デバイスを更新されてもよい。

データベース５２６、したがって、タグ付けされた交通流制御デバイスは、車載ナビゲーションシステム又は車載物体検出システム、又はその両方等、車両に関する１つ以上の制御システムに組み込まれてもよい。車載ナビゲーションシステムは、経路マッピング、又は遠隔交通システムの正確な描写に依存するその他のナビゲーション活動を含み得る。車両がＡＶ又は半自律車両であるようないくつかの実装では、車載ナビゲーションシステム及びそのタグ付けされた交通流制御デバイスは、図３の自律車両動作管理システム３００のような自律車両動作管理システムの一部として組み込まれてもよい。

車載物体検出システムに関しては、タグ付けされた交通流制御デバイスのラベルは、強化学習等の方法を使用して物体検出精度を向上させるために、データ及び訓練パイプラインの一部としてシステム内で使用することができる。

ステップ４１２において、車両は、交通流制御デバイスに関するラベルを組み込む少なくとも１つの制御システムを使用して、車両交通網内で動作させられる。例えば、制御システムが図３の自律車両動作管理システム３００のような自律車両動作管理システムである場合、交通流制御デバイスのためのラベルは、車両交通網内のより正確なナビゲーションのために使用されてもよく、特に、交通流制御デバイスに関連する交差点を移動する際の意思決定に使用されてもよい。車両の物体検出システムは、交通流制御デバイスのためのラベルを使用した訓練によって改善された車両交通網内で動作しながら、車両によって使用されてもよい。

方法４００は、車両交通網内の複数の交差点に対して繰り返されてもよい。図４には示されていないが、方法４００は、交差点が、リモート車両サポートシステムによって提供される車両に利用可能な既存のリモートマップ内にある場合、交通流制御デバイスのタイプ又は位置の少なくとも１つが、リモートマップ内の交差点に関連付けられている交通流制御デバイスのものと異なる（例えば、既存のタイプが交差点に関する既知の交通流制御デバイスと一致しない）場合、交通流制御デバイスに関するラベルをリモート車両サポートシステムに送信することを含んでもよい。また、そのタイプは、交差点が車両に利用可能な既存のマップ内のマッピングされていない交差点である場合、リモート車両サポートシステムに送信されてもよい。

本明細書の開示は、車両入力データの欠如及び／又は不完全さに対処することによって、車両交通網内での車両動作における意思決定を支援する。特に、例えば、低信頼度の物体検出条件において、交通流制御デバイスのような物体を識別し、その後に注釈を付け、マッピングすることが記載されている。

本教示には、運転中に交通流制御デバイスをマッピングして注釈を付け又はラベル付けすることができる技術が記載されており、これによって車にあらかじめ組み込まれている完全な高精細マップへの依存を低減することができる。さらに、本教示は、手動ラベリングのために画像データをリモート車両サポートシステムに送信する等の技術に対して、車両交通網におけるラベリングを改善し且つ高速化することができる。手動ラベリング及びその後の検証の代わりに、車両は確認のためにマッピング及びラベリングされたデータをリモート車両サポートシステムに送信することができる。送信されたデータの精度は、送信前に精度を確認するために車両及び乗客の相互作用の恩恵を受ける場合があり、更新されたリモート生成されたマップにデータを含めるために必要な時間が短縮され得る。また、本開示は、交差点の形状及び交差点内の物体を含むシーンの理解を利用して、乗客によって検討される物体候補を推測する。乗客との対話には、説明可能な人工知能等の技術が組み込まれてもよく、これにより、経時的に物体の識別及びラベル付けを改善することが可能になる。

本明細書で使用される場合、「命令」という用語は、本明細書に開示の任意の方法を実行するための指示若しくは表現、又はその任意の部分若しくは複数の部分を含んでもよく、ハードウェア、ソフトウェア又はこれらの任意の組み合わせで実現されてもよい。例えば、命令は、本明細書に記載の各方法、アルゴリズム、態様又はこれらの組み合わせのいずれかを行うためにプロセッサによって実行され得るメモリに記憶されたコンピュータプログラム等の情報として実装されてもよい。命令又はその一部は、本明細書に記載の任意の方法、アルゴリズム、態様又はその組み合わせを行うための専用ハードウェアを含み得る専用プロセッサ又は回路として実装されてもよい。いくつかの実装では、命令の部分は、直接的に又はローカルエリアネットワーク、ワイドエリアネットワーク、インターネット又はこれらの組み合わせ等のネットワークを介して通信し得る複数の装置又は単一の装置上の複数のプロセッサに分散されてもよい。

本明細書で使用される場合、「例示」、「実施形態」、「実装」、「態様」、「特徴」又は「要素」という用語は、用例、例示又は実例としての役割を果たすことを示している。明示されない限り、任意の例示、実施形態、実装、態様、特徴又は要素が、互いの例示、実施形態、実装、態様、特徴又は要素から独立しており、任意の他の例示、実施形態、実装、態様、特徴又は要素と組み合わせて使用されてもよい。

本明細書で使用される場合、「決定」及び「識別」又はこれらの任意の変形の用語は、図示の及び本明細書に記載の１つ以上の装置を使用するいかなるやり方で選択、確認、計算、検索、受信、決定、確立、取得、又は他のやり方で識別又は決定することを含んでいる。

本明細書で使用される場合、「又は」という用語は、特に明記されていない限り、又は文脈から明らかな場合を除き、排他的な「又は」ではなく包含的な「又は」を意味することが意図されている。さらに、本願及び添付の請求項の中で使用される“ａ”及び“ａｎ”という冠詞は、一般に、単数形を指していることが文脈から明確であるか又は他に特段の定めがない限り、「１つ以上の」を意味すると解釈されるべきである。

さらに、説明の簡潔のため、本明細書の図面及び説明は一連のステップ又は段階又はシーケンスを含み得るが、本明細書に開示の方法の要素は、様々な順番で又は同時に起こってもよい。さらに、本明細書に開示の方法の要素は、本明細書に明示的に提示及び開示されていない他の要素と共に起こってもよい。さらに、本明細書に記載の方法の全ての要素が、本開示による方法を実装することを要求されるとは限らない。態様、特徴及び要素は特定の組み合わせで本明細書に記載されているが、各態様、特徴又は要素は、他の態様、特徴及び要素と共に又はそれらなしで独立して又は様々な組み合わせで使用されてもよい。

上記の態様、例示及び実装は、本開示の理解を容易にするために記載されており、限定するものではない。対照的に、本開示は、添付の特許請求の範囲内に含まれる様々な修正及び等価な構成を包含しており、特許請求の範囲は、法的に認められている全てのこのような修正及び均等構造を包含するように最も広く解釈されるべきである。

Claims (18)

1. 車両を動作させる方法であって、
   前記車両が車両交通網内の交差点に接近すると、前記車両のプロセッサにおいて、少なくとも１つの車載センサからセンサデータを受信するステップと、
   前記センサデータを使用して、前記交差点に関する交通流制御デバイスが検出されたかどうかを決定するステップと、
   前記交通流制御デバイスが検出された場合に、前記交通流制御デバイスの検出されたタイプ又は検出された状態の少なくとも１つを決定するステップと、
   前記交通流制御デバイスの少なくとも１つが検出されない場合、又は前記交通流制御デバイスの前記検出されたタイプ又は前記検出された状態の少なくとも１つが、検出信頼度の定義されたレベルより低い検出信頼度により決定される場合、前記交差点のタイプを使用して、前記交通流制御デバイスの既存のタイプ又は既存の状態の少なくとも１つを決定するステップであって、前記交通流制御デバイスの前記既存のタイプ又は前記既存の状態の少なくとも１つを決定することは、
   前記車両のビジュアル又はオーディオインターフェースの少なくとも１つによって、前記交通流制御デバイスの候補タイプ、前記交通流制御デバイスの候補状態、又は前記交通流制御デバイスの前記候補タイプ及び前記候補状態の両方を前記車両の乗客に提示すること、及び
   前記候補タイプが前記交通流制御デバイスの前記既存のタイプであるかどうか、前記候補状態が前記交通流制御デバイスの前記既存の状態であるかどうか、又は前記候補タイプが前記交通流制御デバイスの前記既存のタイプであり、且つ前記候補状態が前記交通流制御デバイスの前記既存の状態であるかどうかを示すフィードバックを前記乗客から受信することを含むステップと、
   前記車両用の少なくとも１つの制御システム内で、前記交通流制御デバイスの位置、及び前記交通流制御デバイスの前記既存のタイプ又は前記既存の状態の少なくとも１つを含むラベルによって前記交通流制御デバイスをタグ付けするステップと、
   前記交通流制御デバイスに関する前記ラベルが組み込まれた前記少なくとも１つの制御システムを使用して、前記車両交通網内で前記車両を動作させるステップと
   を含む、方法。
2. 前記交通流制御デバイスが前記車両に利用可能な既存のマップ内にない場合、前記既存のタイプ又は前記検出された状態の少なくとも１つは、前記検出信頼度の定義されたレベルよりも低い検出信頼度によって決定される、請求項１に記載の方法。
3. 前記車両に利用可能な既存のマップ内のマッピングされた交差点として前記交差点のタイプを識別するステップと、
   前記交通流制御デバイスの検出されたタイプが前記マッピングされた交差点に関する既知の交通流制御デバイスと一致しないと決定するステップと
   を含み、
   前記既存のタイプを決定することは、前記乗客からのフィードバックを使用して、前記検出されたタイプの１つが前記既存のタイプであるか又は前記既知の交通流制御デバイスが前記既存のタイプであることを確認することを含む、請求項１に記載の方法。
4. 前記交通流制御デバイスの前記候補タイプ又は前記交通流制御デバイスの候補状態の少なくとも１つは、前記交差点のタイプに基づき、前記交差点のタイプは、前記交差点の形状、マッピングされた交差点又はマッピングされていない交差点としての前記交差点の状態、又は前記交差点の形状とマッピングされた交差点又はマッピングされていない交差点としての前記交差点の状態との両方に基づく、請求項１に記載の方法。
5. 前記車両に利用可能な既存のマップ内のマッピングされた交差点として前記交差点のタイプを識別するステップと、
   前記交差点の形状を使用して、前記交通流制御デバイスの候補タイプを決定するステップであって、前記交通流制御デバイスの前記既存のタイプは、前記候補タイプとして決定されるステップと
   を含む、請求項１に記載の方法。
6. 前記交通流制御デバイスの前記検出されたタイプは、交通信号機を含み、
   前記交通信号機の前記検出された状態が前記検出信頼度の定義されたレベルを下回るように、前記交通信号機は少なくとも部分的に遮蔽され、
   前記交通流制御デバイスの前記既存のタイプ又は前記既存の状態の少なくとも１つを決定することは、前記センサデータによって得られた前記交差点内の少なくとも１つの他の車両の状態を使用して、前記交通信号機の前記既存の状態が赤又は緑の一方であることを決定することを含む、請求項１に記載の方法。
7. 前記センサデータを受信することは、
   前記車両の画像センサからの第１のセンサデータ、及び
   前記車両の距離センサからの第２のセンサデータを含み、
   前記動作させる方法は、
   前記第１のセンサデータを使用して前記交差点内の物体を検出するステップと、
   前記第２のセンサデータを使用して前記交差点内の物体を検出するステップと、
   前記第１のセンサデータを使用して検出された物体の少なくとも１つ、又は前記第２のセンサデータを使用して検出された物体の少なくとも１つを分類するステップと、
   前記第１のセンサデータを使用して検出された物体又は前記第２のセンサデータを使用して検出された物体の少なくとも１つの物体が、交通流制御デバイスのタイプとして分類されない場合、前記交通流制御デバイスが検出されないと決定するステップと、
   前記第１のセンサデータを使用して検出された複数の物体の中の１つの物体の特性が、前記第２のセンサデータを使用して検出された複数の物体の中の１つの物体の特性と一致し、且つ、前記第１のセンサデータを使用して検出された複数の物体の中の１つの物体又は前記第２のセンサデータを使用して検出された複数の物体の中の１つの物体のうちの少なくとも１つが、交通流制御デバイスのタイプとして分類される場合、前記センサデータによって前記交通流制御デバイスが検出されたと決定するステップと
   を含む、請求項１に記載の方法。
8. 前記交差点は、リモート車両サポートシステムによって提供される前記車両に利用可能な既存のリモートマップ内にあり、
   前記方法は、
   前記交通流制御デバイスのタイプ又は位置の少なくとも１つが、前記既存のリモートマップ内の前記交差点に関連付けられている交通流制御デバイスのものとは異なる場合、前記交通流制御デバイスに関する前記ラベルを前記リモート車両サポートシステムに送信するステップ
   を含む、請求項１に記載の方法。
9. 前記交差点は、前記車両のメモリ内に記憶されているローカルマップ内にあり、前記方法は、前記ラベルを使用して前記ローカルマップを前記交通流制御デバイスによって更新するステップを含む、請求項１に記載の方法。
10. 車両を動作させるための装置であって、プロセッサを備えており、
    前記プロセッサは、
    車両が車両交通網内の交差点に接近すると、少なくとも１つの車載センサからセンサデータを受信すること、
    前記センサデータを使用して、前記交差点に関する交通流制御デバイスが検出されたかどうかを決定すること、
    前記交通流制御デバイスが検出された場合に、前記交通流制御デバイスの検出されたタイプ又は検出された状態の少なくとも１つを決定すること、
    前記交通流制御デバイスの少なくとも１つが検出されない場合、又は前記交通流制御デバイスの前記検出されたタイプ又は前記検出された状態の少なくとも１つが、検出信頼度の定義されたレベルより低い検出信頼度により決定される場合、前記交差点のタイプを使用して、前記交通流制御デバイスの既存のタイプ又は既存の状態の少なくとも１つを決定することであって、前記交通流制御デバイスの前記既存のタイプ又は前記既存の状態の少なくとも１つを決定することは、
    前記車両のビジュアル又はオーディオインターフェースの少なくとも１つによって、前記交通流制御デバイスの候補タイプ、前記交通流制御デバイスの候補状態、又は前記交通流制御デバイスの前記候補タイプ及び前記候補状態の両方を前記車両の乗客に提示すること、及び
    前記候補タイプが前記交通流制御デバイスの前記既存のタイプであるかどうか、前記候補状態が前記交通流制御デバイスの前記既存の状態であるかどうか、又は前記候補タイプが前記交通流制御デバイスの前記既存のタイプであり、且つ前記候補状態が前記交通流制御デバイスの前記既存の状態であるかどうかを示すフィードバックを前記乗客から受信することを含むこと、及び
    前記車両用の少なくとも１つの制御システム内で、前記交通流制御デバイスの位置、及び前記交通流制御デバイスの前記既存のタイプ又は前記既存の状態の少なくとも１つを含むラベルによって前記交通流制御デバイスをタグ付けすることであって、前記車両は、前記交通流制御デバイスに関する前記ラベルが組み込まれた前記少なくとも１つの制御システムを使用して、前記車両交通網内で動作するように構成されること、
    を行うように構成される、装置。
11. 前記プロセッサは、
    前記車両に利用可能な既存のマップ内に前記交差点がマッピングされていないことを決定すること、及び
    前記交通流制御デバイスの前記検出されたタイプが前記交差点のタイプと一致する場合の前記検出されたタイプ、又は前記交通流制御デバイスが検出されなかった場合の前記交差点のタイプに基づく交通流制御デバイスのタイプの１つとして、前記交通流制御デバイスの前記候補タイプを決定すること
    を行うように構成される、請求項１０に記載の装置。
12. 前記プロセッサは、
    前記車両に利用可能な既存のマップ内に前記交差点がマッピングされていないことを決定すること、及び
    前記交通流制御デバイスの前記候補状態を決定することであって、
    前記交通流制御デバイスの前記検出されたタイプが前記交差点のタイプと一致する場合の前記検出された状態、又は
    前記交通流制御デバイスが検出されなかった場合における、前記交差点のタイプに基づく、及び前記交差点内の少なくとも１つの物体の状態に基づく交通流制御デバイスの状態
    の１つとして、前記交通流制御デバイスの前記候補状態を決定すること
    を行うように構成される、請求項１０に記載の装置。
13. 前記プロセッサは、
    前記車両に利用可能な既存のマップ内に前記交差点がマッピングされていることを決定すること、及び
    前記交通流制御デバイスの前記検出されたタイプが前記既存のマップ内の前記交差点の交通流制御デバイスのタイプと一致しない場合の前記検出されたタイプ、又は前記交通流制御デバイスが検出されなかった場合の前記交差点のタイプに基づく交通流制御デバイスのタイプの１つとして、前記交通流制御デバイスの前記候補タイプを決定すること
    を行うように構成される、請求項１０に記載の装置。
14. 前記プロセッサは、
    前記車両に利用可能な既存のマップ内に前記交差点がマッピングされていることを決定すること、及び
    前記交通流制御デバイスの前記候補状態を決定することであって、
    前記交通流制御デバイスの検出されたタイプが前記交差点のタイプと一致する場合の前記検出された状態、又は
    前記交通流制御デバイスが検出されなかった場合における、前記交差点のタイプ、及び前記交差点内の少なくとも１つの物体の状態の少なくとも１つに基づく交通流制御デバイスの状態
    の１つとして、前記交通流制御デバイスの前記候補状態を決定すること
    を行うように構成される、請求項１０に記載の装置。
15. 前記少なくとも１つの制御システムは、前記車両の車載ナビゲーションシステム又は車載物体検出システムの少なくとも１つを備える、請求項１０に記載の装置。
16. 前記プロセッサは、
    前記交差点の１つが前記車両に利用可能な既存のマップ内のマッピングされた交差点であり、且つ前記既存のタイプが前記交差点に関する既知の交通流制御デバイスと一致しない場合、又は前記交差点が前記車両に利用可能な前記既存のマップ内のマッピングされていない交差点である場合に、前記既存のタイプをリモート車両サポートシステムに送信すること
    を行うように構成される、請求項１０に記載の装置。
17. 少なくとも１つの車載センサと、
    少なくとも１つの制御システムと、
    プロセッサと
    を備える車両であって、前記プロセッサは、
    車両が車両交通網内の交差点に接近すると、少なくとも１つの車載センサからセンサデータを受信すること、
    前記センサデータを使用して、前記交差点に関する交通流制御デバイスが検出されたかどうかを決定すること、
    前記交通流制御デバイスが検出された場合に、前記交通流制御デバイスの検出されたタイプ又は検出された状態の少なくとも１つを決定すること、
    前記交通流制御デバイスの少なくとも１つが検出されない場合、又は前記交通流制御デバイスの前記検出されたタイプ又は前記検出された状態の少なくとも１つが、検出信頼度の定義されたレベルより低い検出信頼度により決定される場合、前記交差点の識別を使用して、前記交通流制御デバイスの既存のタイプ又は既存の状態の少なくとも１つを決定することであって、前記交通流制御デバイスの前記既存のタイプ又は前記既存の状態の少なくとも１つを決定することは、
    前記車両のビジュアル又はオーディオインターフェースの少なくとも１つによって、前記交通流制御デバイスの候補タイプ、前記交通流制御デバイスの候補状態、又は前記交通流制御デバイスの前記候補タイプ及び前記候補状態の両方を前記車両の乗客に提示すること、及び
    前記候補タイプが前記交通流制御デバイスの前記既存のタイプであるかどうか、前記候補状態が前記交通流制御デバイスの前記既存の状態であるかどうか、又は前記候補タイプが前記交通流制御デバイスの前記既存のタイプであり、且つ前記候補状態が前記交通流制御デバイスの前記既存の状態であるかどうかを示すフィードバックを前記乗客から受信することを含むこと、及び
    前記少なくとも１つの制御システム内で、前記交通流制御デバイスの位置、及び前記交通流制御デバイスの前記既存のタイプ又は前記既存の状態の少なくとも１つを含むラベルによって前記交通流制御デバイスをタグ付けすること
    を行うように構成され、
    前記車両は、前記交通流制御デバイスに関する前記ラベルが組み込まれた前記少なくとも１つの制御システムを使用して、前記車両交通網内で前記車両を動作させるように構成される、車両。
18. 前記車両の前記少なくとも１つの制御システムは、前記車両の車載ナビゲーションシステム又は車載物体検出システムの少なくとも１つを備える、請求項１７に記載の車両。

Images