JP6997868B2 - 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム - Google Patents

Description

本開示は、自律車両システムに関し、より具体的には、道路標識検出を伴うシステムおよび方法に関する。

自律車両の位置特定には、２つの大きな課題がある。１つ目は、コストが急騰しないようにしながら、マップマッチングのための適切かつ確実なセンサを決定することである。２つ目は、衛星情報など、マップ生成のための無線通信への依存である。一般に、マップマッチングには、レーダ、ソナー、ＬＩＤＡＲ（Light Detection and Ranging：光検出と測距）またはステレオカメラなどのセンサを使用して環境内の所定の特徴を識別し、次にＧＰＳ（Global Positioning Satellite：全地球測位システム）ユニットから一般的に取得することができるマップと比較する。しかしながら、そのようなセンサを使用することは、環境において最も一般的に見られる二次元の着色された特徴を検出する可能性を排除する。また、衛星通信は、高層ビルの存在下では不一致となる可能性があり、車両の場所が不安定かつ不正確な結果となる。前述の問題を解決するために、いくつかの関連技術の実施態様が提案されている。

１つの例示的な関連技術の実施態様では、標識を利用する駐車支援システムがある。そのようなシステムは、車庫入れおよび車庫出しのために車に搭載された正面カメラによって認識される対称の標識を使用する。しかしながら、このアプローチの問題点は、カメラが前方を向いているので車両が駐車スペースに頭から入れる駐車しかできないことである。また、使用される標識は対称的であるので、システムが標識をうまく認識するためには少なくとも３つの特徴点が検出される必要がある。

別の例示的な関連技術の実施態様では、車両の位置を決定するためのカメラシステムの較正がある。そのような関連技術の実施態様は、その形状パラメータがコンピュータ可読メモリに記憶されている所定の標識を利用する。カメラフレームから形状が抽出され、次に記憶された形状と比較される。回転および並進を使用して、車両の位置を決定することができる。そのようなアプローチの問題点は、コンピュータのランダムアクセスメモリ（ＲＡＭ）に関して追加のリソースが必要となることである。

別の関連技術の実施態様では、標識を指定の駐車スペースの四隅に配置するというアプローチがある。標識は、標識のパターンからの特徴を使用して車両がスペースに駐車するのを助けるために使用される。しかしながら、このアプローチは、任意のカメラの検出距離能力のために、車両が駐車スペースの近くにあるときのみに車両の位置特定を制限する。本発明は、標識が駐車場の入り口に軌道に沿って配置され、続いて車が駐車場全体における車両の位置特定および軌道修正を確実にするアプローチを伴う。

本明細書に記載の例示的な実施態様は、複数のカメラによって認識される非対称の標識を使用することを伴い、したがって車両の前方のみでの認識に限定されない。加えて、マップ測位ユニットの使用により、例示的な実施態様のシステムはいかなる車両案内システムにも依存しないので、コストを削減することができる。

本明細書に記載の例示的な実施態様は、テンプレートマッチング方法を利用して標識を認識する。例示的な実施態様では、テンプレートは、リアルタイムで作成することができ、事前に記憶する必要はない。

完全自律駐車（Autonomous Valet Parking：ＡＶＰ）では、ナビゲーション中の車両軌道は、位置特定の効率に依存する。上述した方法における問題に対処するために、駐車場の自律車両を位置特定するための標識検出方法が提案されている。これは、サラウンドビューカメラシステムによって認識される非対称の標識を利用し、ＧＰＳを使用せずに位置特定を達成する。

ＡＶＰを伴う例示的な実施態様では、標識は、駐車場の入り口に軌道に沿って配置される。カメラによって認識された標識の場所は、オフラインのマップ測位ユニットによって提供されたマップ上の場所と比較される。カメラは画像処理機能を利用し、これらの標識に対する車両の位置および向きを計算する。この情報は、ＣＡＮ（Controller Area Network：コントローラ・エリア・ネットワーク）を介して車両の自律運転電子制御ユニット（Autonomous Driving Electronic Control Unit：ＡＤ ＥＣＵ）に提供される。これに先立って、電子制御ユニット（ＥＣＵ）はまた、マップ測位ユニットから車両の予想される初期位置および向きを受信する。次に、車両の予想座標と現在座標との差がＥＣＵによって計算され、軌道修正に使用される。この技法は、１台の独立した車両を位置特定するのに有用であるが、別の先行車両の存在下では、衝突を回避するために駐車場のすべての車両の移動を制御する共通の制御センタが必要である。そのような例示的な実施態様は、リアルタイムで車両の位置を制御センタに通信するテレマティクス制御ユニットの使用を伴う。制御センタは、衝突の可能性がある場合に停止するように後続の車両にコマンドを送ることによって、２台の車両が接近しないようにする。

本開示の態様は、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、車両の操作モードを人間操作モードから自律モードに変更することであって、自律モードは、検出された１つまたは複数の標識に基づいて車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを伴う方法を含む。

本開示の態様は、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、車両の操作モードを人間操作モードから自律モードに変更することであって、自律モードは、検出された１つまたは複数の標識に基づいて車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを伴うコンピュータプログラムをさらに含む。コンピュータプログラムは、非一時的コンピュータ可読媒体に記憶され、１つまたは複数のハードウェアプロセッサによって実施されてもよい。

本開示の態様は、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出するための手段と、車両の操作モードを人間操作モードから自律モードに変更するための手段であって、自律モードは、検出された１つまたは複数の標識に基づいて車両の位置、向き、および速度の少なくとも１つを調整するように構成される手段とを伴うシステムを含むことができる。

本開示の態様は、複数のカメラと、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出し、かつ車両の操作モードを人間操作モードから自律モードに変更するように構成され、自律モードは、検出された１つまたは複数の標識に基づいて車両の位置、向き、および速度の少なくとも１つを調整するように構成されるプロセッサとを伴うシステムを含むことができる。

例示的な実施態様による、車両システムを示す図である。 例示的な実施態様による、複数の車両システムおよび管理装置を示す図である。 例示的な実施態様による、非対称の標識の例を示す図である。 例示的な実施態様による、非対称の標識の例を示す図である。 例示的な実施態様による、非対称の標識の例を示す図である。 例示的な実施態様による、非対称の標識の例を示す図である。 例示的な実施態様による、非対称の標識の例を示す図である。 非対称の標識と対称の標識との間の比較を示す図である。 非対称の標識と対称の標識との間の比較を示す図である。 例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 例例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 車両システムまたは管理装置によって実施され得る例示的な流れ図である。 車両システムまたは管理装置によって実施され得る例示的な流れ図である。 車両システムまたは管理装置によって実施され得る例示的な流れ図である。 車両システムまたは管理装置によって実施され得る例示的な流れ図である。 例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 管理装置および／または車両システムによって利用され得る例示的な管理情報を示す図である。 いくつかの例示的な実施態様での使用に適した例示的なコンピュータデバイスを伴う例示的なコンピューティング環境を示す図である。

以下の詳細な説明は、本出願の図および例示的な実施態様のさらなる詳細を提供する。明確にするために、図間の参照番号および重複する要素の説明は省略する。説明を通して使用される用語は例として提供されており、限定することを意図していない。例えば、「自動」という用語の使用は、本出願の実施態様を実践する当業者の所望の実施態様に応じて、実施態様のある特定の態様に対するユーザまたは管理者による制御を伴う全自動または半自動の実施態様を伴い得る。選択は、ユーザインターフェースまたは他の入力手段を介してユーザによって行われ得るか、または所望のアルゴリズムを介して実装され得る。本明細書に記載の例示的な実施態様は、単独でまたは組み合わせてのいずれかで利用することができ、例示的な実施態様の機能性は、所望の実施態様に従って任意の手段を介して実装することができる。「車両」および「車両システム」という用語はまた、互換的に利用することができる。

図１（ａ）は、例示的な実施態様による、車両システムを示す。具体的には、図１（ａ）は、人間操作モードおよび自律モードで操作するように構成された例示的な人間操作車両システムを示す。ＡＤ ＥＣＵ１は、マップ測位ユニット６に接続されてマップ測位ユニット６からの信号を受信する。これらの信号は、設定されたルート、マップデータ、マップ上の車両の位置、車両の方向、車線数などの車線情報、制限速度、および道路／車両の場所のタイプ（例えば、高速道路および一般的な自動車道路、分岐路、料金徴収所、駐車場または車庫など）を表す。

車両には、車輪速度測定デバイス７と、車両挙動測定デバイス８とを含むことができる、車両の操作状況を示すパラメータの値を測定するための操作パラメータ測定ユニットが設けられる。これらのデバイスによって提供された信号は、ＡＤ ＥＣＵ１に送られる。車両挙動測定デバイス８は、前後加速度、左右加速度およびヨーレートを測定する。

車両には、前方カメラ１０ｆ、前方レーダ１１ｆ、後方カメラ１０ｒ、後方レーダ１１ｒ、左前方カメラ１２Ｌ、右前方カメラ１２Ｒ、左後方カメラ１３Ｌおよび右後方カメラ１３Ｒを含む、車両の周辺の環境状況を測定するための環境状況測定デバイスが設けられる。これらの環境状況測定デバイスは、車両の周辺の車線マーク、障害物、および非対称の標識に関する情報をＡＤ ＥＣＵ１に送る。

車両のカメラは、所望の実施態様に応じてサラウンドビューカメラ、または他のカメラの形態であり得る。車両のカメラシステムにおいて、前方カメラ１０ｆには、車両の周辺の１つまたは複数の非対称の標識の画像を取得するための撮像ユニットと、車両と１つまたは複数の非対称の標識との間の位置関係を表す信号を提供する出力ユニットとが設けられる。前方レーダ１１ｆは、他の車両および歩行者を検出して位置を特定し、車両とそれらの物体との間の位置関係を表す信号を提供する。後方カメラ１０ｒ、左前方カメラ１２Ｌ、右前方カメラ１２Ｒ、左後方カメラ１３Ｌおよび右後方カメラ１３Ｒは、前方カメラ１０ｆ、前方レーダ１１ｆおよび後方レーダ１１ｒと同様の機能性である。

車両には、エンジン２１と、電子制御ブレーキシステム２２と、電子制御差動機構２３と、電子制御ステアリングシステム２４とが設けられる。ＡＤ ＥＣＵ１は、運転者によって与えられた操作変数の値および／または本明細書に記載の車両システムの非対称の標識の検出または様々な自律モードの作動などの環境状況に基づいて、これらのシステム２２、２３および２４に含まれるアクチュエータに駆動信号を与える。車両を加速させる必要があるとき、コントローラ１は、加速信号をエンジン２１に与える。車両を減速させる必要があるとき、コントローラは、減速信号を電子制御ブレーキシステム２２に与える。車両を旋回させる必要があるとき、ＡＤ ＥＣＵ１は、旋回信号を電子制御ブレーキシステム２２、電子制御差動機構２３および電子制御ステアリングシステム２４の少なくとも１つに与える。

電子制御ブレーキシステム２２は、車輪にそれぞれ適用される個々の制動力を制御することが可能な液圧ブレーキシステムである。電子制御ブレーキシステムは、旋回要求に応じて制動力を右車輪または左車輪のいずれかに適用し、ヨーモーメントを車両に加える。電子制御差動機構２３は、旋回要求に応じて電動機またはクラッチを駆動して右車軸と左車軸との間にトルク差を生じさせ、ヨーモーメントを車両に適用する。電子制御ステアリングシステム２４は、例えば、旋回要求に応じてステアリング車輪の旋回角とは独立してステアリング角を修正してヨーモーメントを車両に適用することが可能な、ステアバイワイヤ式のステアリングシステムである。

車両には、情報出力ユニット２６が設けられる。情報出力ユニット２６は、運転支援操作のタイプに従って画像を表示し、音声を生成し、支援操作に関する情報を表す警告灯を点灯させる。情報出力ユニット２６は、例えば、スピーカを内蔵したモニタである。複数の情報出力ユニットが、車両に設けられてもよい。

図１（ａ）に示すシステムは、本明細書に記載の車両システムの例示的な実施態様であるが、他の構成も可能であり、例示的な実施態様の範囲内に含まれ、本開示は、図１（ａ）に示す構成に限定されない。例えば、カメラは、壁、道路標示、看板などに配置される非対称の標識を検出する目的で車両の上部または屋根に設置することができる。

図１（ｂ）は、例示的な実施態様による、複数の車両システムおよび管理装置を示す。図１（ａ）に関して説明した１つまたは複数の車両システム１０１－１、１０１－２、１０１－３、および１０１－４は、管理装置１０２に接続されるネットワーク１００に通信可能に結合される。管理装置１０２は、ネットワーク１００の車両システムから集約されたデータフィードバックを含むデータベース１０３を管理する。代替の例示的な実施態様では、車両システム１０１－１、１０１－２、１０１－３、および１０１－４からのデータフィードバックは、企業資源計画システムなどのシステムからのデータを集約する独自データベースなどの中央リポジトリまたは中央データベースに集約することができ、管理装置１０２は、中央リポジトリまたは中央データベースからのデータにアクセスしたり、またはデータを取り出すことができる。そのような車両システムは、所望の実施態様に応じて、車、トラック、トラクタ、バンなどのような人間が操作する車両を含むことができる。

管理装置１０２は、図４（ａ）に説明するように、標識に対する対応する車両システムの位置を送信する車両システム１０１－１、１０１－２、１０１－３、および１０１－４から位置情報を受信するように構成することができ、さらに、次の標識までの車両の軌道を示す命令を車両システム１０１－１、１０１－２、１０１－３、１０１－４に送信するように、かつ／または操作モード、位置、速度、および／もしくは向きを調整するように構成することができる。

図２（ａ）～図２（ｄ）は、例示的な実施態様による、非対称の標識の例を示す。選択されたチェッカパターン標識の固有の特徴を、図１（ａ）に示すように車両システムのカメラを使用して認識するのに役立つようにする。白と黒の正方形の強度の差により、ハリスコーナ検出器（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｏｒ）などの検出アルゴリズムを使用してコーナとしての遷移点を検出することが容易になるだけでなく、非常に可変的な光状況において標識を検出することも可能になる。標識は、物理的に塗装されてもよく、あるいは道、標示もしくは壁に配置されてもよく、または所望の実施態様に応じて修正するために投影システム、モニタなどによって投影／表示することができる。

例示的な実施態様では、図２（ａ）に示すようなＴ字型標識などの非対称の標識は、車両が予想される方向に走行している（すなわち、車両が図２（ｂ）からタイプＩＤ１の逆Ｔの方向に走行する）かどうかを決定するのに利用される。Ｔ字型標識の各々はまた、識別子、または異なる機能性を表すＩＤと関連付けられてもよい。しかしながら、本開示は、Ｔ字型標識の使用に限定されず、図２（ｃ）に示すようなＬ字型標識などの他の非対称の標識も利用され得る。さらに、例示的な寸法が図２（ａ）～図２（ｃ）に示されているが、そのような標識はまた、所望の実施態様に従ってサイズ変更することができる。したがって、任意の非対称のチェッカパターン標識を、例示的な実施態様で使用することができる。

カメラから取得された認識情報が、車両が標識に対して誤った方向を向いていることを示唆する場合、ＡＤ ＥＣＵは、必要に応じて軌道を修正する。現在のシステムは、カメラによって検出されたローカル座標を利用し、場所（または駐車場）のマップと比較することによってそれらをグローバル座標に変換する。所望の実施態様に応じて、システムはまた、図２（ｄ）に示すような標識に配置されたＱＲ（クイックレスポンス）コード（登録商標）と共に機能することができる。例えば、ＱＲコード（登録商標）は、標識の緯度および経度情報を含むことができる。カメラによって検出されると、車両のグローバル座標は、即座に利用可能となり得る。

図２（ｅ）は、例示的な実施態様による、駐車場の入り口で利用するための標識の例示的な実施態様を示す。駐車場の入り口には、図２（ｅ）に示すように、４つの標識が車の各側に沿って１つずつ配置され、各々が時計回りに９０度ずつ徐々に回転する。標識の位置は、０度の回転条件下で、標識の軸とカメラの光軸が位置合わせされるようになっている。カメラビューの周辺カバレッジは、カメラ画像の中央に比べてシャープではない場合がある。標識の場所は、そのようなシャープさを確実に利用する。図２（ｂ）に示すように、各標識にはＩＤが割り当てられており、これによりＥＣＵはどのカメラが標識を識別したかを決定することが可能になり、それによってその正当性を確立することができる。標識はまた、ルートに沿って配置され、それに続いて車が駐車スペースに移動する。

図２（ｆ）および図２（ｇ）は、非対称の標識と対称の標識との間の比較を示す。具体的には、図２（ｆ）は、非対称の標識の例を示し、図２（ｇ）は、対称の標識の例を示す。例示的な実施態様では、図２（ｆ）に示すように、接近方向が０度の向きと１８０度の向きを区別することができるので、非対称の標識が利用される。対照的に、標識が図２（ｇ）に示すように対称的である場合、接近方向は、０度の向きと１８０度の向きを区別することができない。したがって、例示的な実施態様では、非対称の標識は、検出を容易にするため、ならびに標識に対する車両の向きを決定するために利用される。

さらに、チェッカパターンが例示的な実施態様で利用されているが、本開示はそれに限定されず、標識が非対称である限り所望の実施態様に従って任意の他のパターンを利用することができる。例えば、ジグザグパターン、標識の中心を示す円または他の形状を伴う標識、標識内に埋め込まれたＱＲコード（登録商標）またはバーコードも利用することができる。

図３（ａ）は、駐車場を伴う例示的な実施態様を示す。これらの標識にもＩＤが割り当てられ、マップ測位ユニットに記憶されているものと比較される。これらの標識は、所望の経路からの偏差がある特定の閾値を超えないように、車が軌道を継続的に修正するのに役立つ。マップ測位ユニットがこれらの座標を受信するだけでなく、次に制御センタもまた、図３（ａ）に示す駐車場の他の車両から受信した座標との比較に基づいて車両が進んでも安全かどうかを決定する。

図３（ａ）に示すように、駐車場は、標識の場所に基づいて、マップ測位ユニットによっていくつかの区画に分割することができる。図３（ａ）の例では、駐車場は、区画３００－１、３００－２、３００－３、３００－４、および３００－５を有すると考えられる。区画３００－１は、車両を降りてＡＶＰモードを作動させることができる駐車場への入り口である。例示的な実施態様では、ＡＶＰモードは、車両システムが最初の標識を検出した後に管理装置からの命令、または車両システムに記憶された命令からの命令を受信すると作動させることができる。別の例示的な実施態様では、車両システムの人間オペレータは、ＡＶＰモードを手動で作動させることができ、それにより車両は自律的に駐車場を通って操作することになる。図３（ａ）に示すように、車両は、区画３００－２および３００－３に示すように軌道を調整する、または区画３００－４に示すように自動駐車を作動させるように車両に指示する標識に遭遇するまで、駐車場の様々な区画を通る命令に基づいて軌道に沿ってナビゲートされる。駐車中の車両を取り出す必要があるとき、図１（ｂ）の管理装置１０２からの命令を駐車中の車両に送信することができ、これにより車両は取出モードに変更され、車両が区画３００－５に示すようなピックアップ場所を示す標識に案内される。次に車両は、ピックアップ場所を示す標識の近くで停止し、そこで人間オペレータは車両を取り出すことができる。

図３（ｂ）は、図３（ａ）の区画３００－１の車両システムの例を示す。図１（ａ）に示すような車両システムのこの例示的な構成では、車両には、各バンパに１つ、各サイドミラーに１つ、計４つの単眼カメラを伴うように設置されたサラウンドビューカメラシステムを有する。カメラによってキャプチャされたライブビデオの各フレームは、サラウンドビューＥＣＵのマイクロプロセッサによって共にステッチされ、図３（ｂ）に示すような車の３６０度のトップビュー画像を提供する。車両の中心点は、ＡＤ ＥＣＵによってすでに知られており、これは車両から標識の中心までの距離を見つけるために使用される座標系の原点として扱われる。

図４（ａ）～図４（ｄ）は、車両システムまたは管理装置によって実施され得る例示的な流れ図を示す。説明した流れ図は、所望の実施態様に応じて、車両システムのＡＤ ＥＣＵによって、または管理装置と併せて行うことができる。

図４（ａ）は、例示的な実施態様による、車両システムの例示的な流れを示す。具体的には、図４（ａ）は、道路標識検出のための例示的な流れを示し、４０１～４０５の流れプロセスは、標識を見つけるための例示的なプロセスを示し、４０７～４０９の流れは、標識の中心を見つけるための例示的な流れを示し、４１０における流れは、車両システムから標識までの距離を見つけるための例示的なプロセスを示す。図３（ｂ）に関して説明した例示的な実施態様では、４つすべての単眼カメラは、ＣＡＮを介して最終的な出力として位置および向きを伝達するために連続的に認識プロセスをたどるが、図１（ａ）で説明したような車両システムの任意の所望の構成に対して以下の流れが実施され得る。

流れは、４００において、カメラシステム（例えば、サラウンドビューカメラシステム）がトップビュー画像を提供することに進み、プロセスは、４０１において、処理のためにフレームから領域を抽出することにより所与のフレーム内の標識を見つけようと試みる。サラウンドビューＥＣＵから取得された各画像フレームは、４０２において、画像のノイズを減少させるのに役立つローパスカーネルフィルタ｛７，７，７，７，８，７，７，７，７｝を使用して平滑化される。次に、この平滑化された画像は、４０３において、さらなる処理のために所望の実施態様（例えば、ブラッドリーの適応的閾値処理など）に従った任意の技法を使用して二値画像に変換される。その結果、４０４において、並行して作成されたテンプレート画像を使用してこの二値画像に対してテンプレートマッチングが実行される。テンプレートマッチングから取得されたマッチングは、フレーム内の潜在的な標識候補として扱われるか、または所定の閾値に基づいていない。

４０５において、潜在的な標識候補が見つかったかどうかに関する決定が行われる。標識が見つからなかった場合（Ｎｏ）、プロセスは、４０６において、次のフレームに進み、４０１におけるプロセスに戻る。潜在的な標識候補がフレーム内に見つかった場合（Ｙｅｓ）、次にプロセスは４０７に進み、図３（ｃ）に示すようにフレーム内の流れ検出領域（テンプレート領域）を絞り込んで誤検出の可能性を制限する。

この絞り込まれた検出領域では、４０８において、ハリスコーナ検出方法などの所望のコーナ検出アルゴリズムがすべてのコーナを見つけるために利用される。例示的な実施態様では、ハリスコーナ検出方法を利用することで、所定の閾値に対してどのように評価されるかに基づいて遷移点をコーナとして認定されるようにする。二値物体において取得されたコーナの数は、Ｔ字型標識において予想されるコーナの閾値数（すなわち２７）と比較される。例示的な実施態様では、コーナの数が２３より多いが２７以下であることが判明した場合、二値物体は、標識として認定される。しかしながら、他の閾値を非対称の標識の形状（例えば、Ｌ字型、Ｚ字型など）に応じて利用することができ、本開示はそれに限定されない。コーナの数が所望の閾値を満たさない場合（Ｎｏ）、次にプロセスは、４０６において、次のフレームに進み、４０１に戻る。そうでない場合（Ｙｅｓ）、プロセスは、標識の中心を見つけるために４０９に進む。

４０９において、プロセスは、テンプレートマッチングおよびハリス検出からそれぞれ取得されたテンプレート領域およびコーナの座標が使用される標識の中心を見つける。図３（ｄ）に示すように、中心を囲む４つの点が、テンプレート領域ウィンドウの寸法に対する数学的演算によって取得され、中心について正方形の検索ウィンドウを定義する。ハリス検出から出力されたコーナ座標は、この検索ウィンドウ内にあり、取得された点が標識の中心である座標を見つけるために反復される。

４１０において、プロセスは、距離の公式をこのコーナ座標および車の原点座標に適用することによって取得される中心からの車の距離を見つける。次に、４１１において、距離がマップと比較され、差が決定されて位置が導出される。

図４（ａ）の流れを通じて、テンプレートマッチングが正確な候補を見つけられなかった場合、またはコーナ検出によって検出されたコーナの数が予想されるコーナの数よりも多い場合、現在のビデオフレームは不適切とみなされ、ＡＤ ＥＣＵは、次のフレームに進むためにフィードバックを受け取る。したがって、標識が所望の精度で検出されない場合には、非検出結果が誤検出よりも優先される。

道路標識検出方法から取得された車両位置座標は、最初にＡＤ ＥＣＵによって使用され、車両の向きを決定した後に軌道修正に使用される。ＡＤ ＥＣＵには、マップ測位ユニットによって標識のデフォルトのグローバル座標が提供される。車両が所定の座標以外の点に沿って軌道をたどる場合、道路標識検出方法を使用して差を識別することができる。向きの差と共にこの位置の差に基づいて、アクチュエータは、必要に応じて車両の位置、向き、および／または速度を調整することによってナビゲーション中の差を埋め合わせるようにＥＣＵによって命令される。この方法はまた、２つの車両が駐車場で、または料金所もしくは自律運転が作動されている場所などの他のシナリオで決して衝突しないようにすることを制御センタに可能にさせる。したがって、図４（ａ）を通じて、車両システムは、計算された距離および／または検出された標識と関連付けられる命令から位置、向き、および速度の少なくとも１つを調整することができる。命令は、図１（ａ）の車両システムに予め記憶されるか、または図１（ｂ）に示す管理装置１０２から送信され得る。

図４（ｂ）は、自律システムが標識を検出することにより作動された後の標識の非検出を処理するための例示的な流れを示す。この例示的な流れでは、自律システムは、４２０において、標識が検出されると自動で、または車両システム内の手動命令を通じて作動され、標識検出に応じて自律システムを作動させる。４２１において、車両システムは、軌道に沿って標識を検出しようと試みながら、最初の検出標識によって示された軌道および速度に沿って進む。検出は、別の標識が予想されるまで提供された軌道に沿って進むことに基づいて行われ得る。標識が検出された場合（Ｙｅｓ）、次に車両は、４２５において、軌道に沿って進み続けるか、または検出された標識と関連付けられる命令に基づいて軌道を調整する。そうでない場合（Ｎｏ）、プロセスは４２２に進み、デッドレコニングの結果を位置特定を行うために利用し、標識の予想される場所に対するデッドレコニングからの結果の誤差を決定する。そのような例示的な実施態様では、車両システムは、車両システムの現在の速度および向きに基づいて車両の現在位置を補間する。４２３において、誤差がある特定の閾値よりも小さいかどうか（例えば、予想される標識のある特定の予想される距離内）に関する決定が行われる。もしそうであれば（Ｙｅｓ）、次に車両は、４２５において、軌道に沿って進み続けるか、または車両の向き／速度を調整して誤差を修正し、そうでない場合（Ｎｏ）、流れは４２４に進み、自律モードを停止する。そのような例示的な実施態様では、システムは、車両を安全な場所に進ませて状況に関する命令を管理装置１０２に送信させる緊急モードに車両を切り替えることによって停止することができ、または所望の実施態様に応じて人間オペレータへの警告により人間操作モードに切り替えることができる。

図４（ｃ）は、例示的な実施態様による、追尾検出のために標識を適用するための例示的な流れを示す。別の車両を追いかけている車両が先行車両の後端にある標識を識別することができる場合、車両は先行車両に近すぎるということであり、車両間の距離を広げる必要がある。そのような機能は、交通の停止や通過に有用であり得る。４３０において、車両は、先行車両の後端と関連付けられる少なくとも１つの標識を検出する。例えば、図３（ａ）の例では、区画３００－２の車両は、区画３００－１の車両に先行する車両である。両方の車両が同じ軌道でナビゲートされているので、区画３００－１の車両が区画３００－２の車両を追尾し得る可能性がある。

４３１において、車両が別の車両を追尾していることを示すのに十分な明瞭さで標識が検出されたかどうかに関する決定が行われる。もしそうであれば（Ｙｅｓ）、次に流れは４３２に進み、そうでない場合（Ｎｏ）、流れは４３５に進み、車両は、同じ速度に沿って進み続ける。例示的な実施態様では、明瞭さは、検出された標識の解像度から（例えば、決定された閾値に達した標識のピクセル解像度でのトリガ）、標識のサイズから（例えば、決定された閾値を超える標識のサイズでのトリガ）、または所望の実施態様による他の方法を通じて決定することができる。

４３２において、次の車両までの距離が近すぎるかどうか（例えば、距離が閾値の予め設定された安全距離内にある）に関する決定が行われる。もしそうであれば（Ｙｅｓ）、次に流れは４３３に進み、ＡＤ ＥＣＵは、車両間の距離を変更するためにアクチュエータを作動させて車両を調整する。そうでない場合（Ｎｏ）、流れは、４３５に進む。所望の実施態様に応じて、この決定プロセスは、４３１における流れと同じにすることができ、省略することができる。他の例示的な実施態様では、距離は、図１（ａ）に関して説明したようにレーダシステムから、車両間の距離に関して管理装置１０２から受信した命令から、または所望の実施態様に応じて他の実施態様を通じて決定することができる。

図４（ｄ）は、例示的な実施態様による、ＡＶＰの例示的な流れ図を示す。図３（ａ）に示すように、区画３００－１で駐車場に入ると、ＡＶＰモードは、車両システムによって作動させることができ、その後、車両は、管理装置１０２によって受信された命令、またはＡＤ ＥＣＵに予めプログラムされた命令に基づいて標識と関連付けられる軌道に沿って進む。４４０において、車両は、軌道に沿って進み、ＡＶＰモードにある間に後続の標識を検出する。４４１において、標識が車両のＡＶＰモードから自動駐車モードへの変更を示しているかどうかに関する決定が行われる。決定は、参照された標識と関連付けられる予めプログラムされた命令に基づいて行われるか、または管理装置１０２によって提供することができる。もしそうであれば（Ｙｅｓ）、次に車両は、４４３において、自動駐車モードに変更され、ＡＤ ＥＣＵは、図３（ａ）の区画３００－４に示すように車両を利用可能な駐車スペースに自動的に駐車するように構成される。そうでない場合（Ｎｏ）、車両は、４４２において、次の標識に進む。ＡＤ ＥＣＵは、管理装置１０２から受信した命令に基づいて車両を自動的に駐車し、どの駐車スペースが利用可能であるかを決定し、対応する命令と共に空の駐車スペースにナビゲートすることができる。

図５（ａ）は、標示として利用される標識を伴う例示的な実施態様を示す。上述の例示的な実施態様では、標識は、２Ｄ路面上に配置され、サラウンドビューカメラなどの複数のカメラによって認識される。しかしながら、他の例示的な実施態様も可能であり、本開示はそれに限定されない。図５（ａ）は、独立してまたは本明細書に記載の例示的な実施態様と併せて使用することができる３Ｄ道路標示を伴う別の例示的な実施態様を示す。そのような実施態様は、車両の位置特定を支援することができ、停止標示またはマップと関連付けられる他の標示を表す座標を示すこともできる。そのような例示的な実施態様では、深度情報も組み込んでいる任意の適切なカメラシステムを、そのような３Ｄ道路標示の認識および検出に利用することができる。そのようなカメラシステムは、所望の実施態様に従ってステレオカメラまたは他のカメラを含むことができる。本明細書に記載の例では、ステレオカメラ５０１が車両のバックミラーに含まれ、道路標示もしくは壁として、またはその上に、またはモニタもしくは看板に使用される非対称の標識５０２を検出する。このようにして、標識は、必要に応じて標示を変更することにより、または標識をモニタに表示する方法により変更することができる。

図５（ｂ）は、料金所を伴う例示的な実施態様を示す。車両システムが料金所を通過しようとしているとき、その向きは、車両システムの側面をこすらないようにするために正確である必要がある。ゲートの前後のエリアに標識が配置されている場合、車両は、自律モードに入り、必要に応じてその位置を計算して軌道修正を実行することによって正確にナビゲートすることができる。図５（ｂ）の例では、５１１の標識が検出されると自律モードが開始される。次に車両システムは、料金所を通る軌道をたどり、管理装置１０２によって提供される一組の命令に従って、または料金所をどのように進むかに関する車両システムに記憶された命令によって進む。車両システムが標識５１０に達すると、操作モードは、人間操作モードに切り替わり、人間オペレータは、車両システムの操作を再開する。標識は、必要に応じて修正することができるように道路上に塗装するかまたは料金所の照明システムから投影することができる。

図６は、例示的な実施態様による、例示的な管理情報を示す。具体的には、図６は、車両の自律モードの機能性を支援するために１つまたは複数の場所に対して配置される標識の例示的なインデックスを示す。管理情報は、所望の実施態様に応じて、マップ測位ユニット６または管理装置１０２の車両システム側で維持することができる。図６の例では、管理情報は、標識ＩＤ、標識タイプ、マップ情報、操作モード、および命令を含むことができる。標識ＩＤは、検出された標識に対応する固有の識別子である。標識タイプは、標識が属するテンプレートタイプ（例えば、図２（ｂ）に示すようなＴ字型、Ｚ字型、Ｌ字型など）を示し、テンプレートタイプは、最初の標識が検出されたかどうかを決定するために利用される。マップ情報は、標識ＩＤに対するマップ上の対応する場所（例えば、地理座標、緯度／経度座標、地理情報システム経由点座標など）を示す。操作モードは、人間操作モードおよび様々な自律モード（例えば、ＡＶＰモード、自動駐車モード、料金所モード、追尾検出モードなど）などの車両の操作のモードを示す。命令は、標識ＩＤと関連付けられる命令であり、所望の実施態様に従って、次の標識に進むための軌道情報、管理装置に送信してナビゲーションに関する指示を受信するための指示、車両の位置、向き、および／または速度を調整するための指示などを含むことができる。

図７は、図１（ａ）に示すような車両システムのＡＤ ＥＣＵ１およびマップ測位ユニット６、または図１（ｂ）に示すような管理装置１０２への機能性を促進するためなどの、いくつかの例示的な実施態様での使用に適した例示的なコンピュータデバイスを伴う例示的なコンピューティング環境を示す。本明細書に記載のすべての機能は、所望の実施態様に応じて、管理装置１０２で、車両システムで、またはそのような要素のいくつかの組合せに基づくシステムを通じて実装することができる。

コンピューティング環境７００のコンピュータデバイス７０５は、１つまたは複数の処理ユニット、コア、またはプロセッサ７１０、メモリ７１５（例えば、ＲＡＭ、ＲＯＭ、および／またはなど）、内部記憶装置７２０（例えば、磁気、光学、ソリッドステート記憶装置、および／または有機）、および／またはＩ／Ｏインターフェース７２５を含むことができ、これらのいずれも、情報を通信するために通信機構またはバス７３０に結合することができ、またはコンピュータデバイス７０５に埋め込むことができる。Ｉ／Ｏインターフェース７２５はまた、所望の実施態様に応じて、カメラから画像を受信し、または画像をプロジェクタまたはディスプレイに提供するように構成される。

コンピュータデバイス７０５は、入力／ユーザインターフェース７３５および出力デバイス／インターフェース７４０に通信可能に結合することができる。入力／ユーザインターフェース７３５および出力デバイス／インターフェース７４０の一方または両方は、有線または無線インターフェースとすることができ、取り外し可能とすることができる。入力／ユーザインターフェース７３５は、入力を提供するために使用され得る、物理的または仮想的な任意のデバイス、構成要素、センサ、またはインターフェース（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、光学式リーダ、および／またはなど）を含んでもよい。出力デバイス／インターフェース７４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。いくつかの例示的な実施態様では、入力／ユーザインターフェース７３５および出力デバイス／インターフェース７４０は、コンピュータデバイス７０５に埋め込むかまたは物理的に結合することができる。他の例示的な実施態様では、他のコンピュータデバイスは、コンピュータデバイス７０５のための入力／ユーザインターフェース７３５および出力デバイス／インターフェース７４０の機能として機能するかまたはそれらの機能を提供することができる。

コンピュータデバイス７０５の例は、限定はしないが、高度なモバイルデバイス（例えば、スマートフォン、車両および他の機械のデバイス、人間および動物によって持ち運ばれるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、および移動用に設計されていないデバイス（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、１つまたは複数のプロセッサを内蔵および／または結合したテレビ、ラジオなど）を含むことができる。

コンピュータデバイス７０５は、同じまたは異なる構成の１つまたは複数のコンピュータデバイスを含む、任意の数のネットワーク構成要素、デバイス、およびシステムと通信するために、外部記憶装置７４５およびネットワーク７５０に（例えば、Ｉ／Ｏインターフェース７２５を介して）通信可能に結合することができる。コンピュータデバイス７０５または任意の接続されたコンピュータデバイスは、サーバ、クライアント、シンサーバ、汎用機、専用機、または別の分類として機能するか、それらのサービスを提供するか、またはそれらと呼ぶことができる。

Ｉ／Ｏインターフェース７２５は、限定はしないが、コンピューティング環境７００の少なくともすべての接続された構成要素、デバイス、およびネットワークとの間で情報を通信するための任意の通信またはＩ／Ｏプロトコルまたは規格（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラネットワークプロトコルなど）を使用する有線および／または無線インターフェースを含むことができる。ネットワーク７５０は、任意のネットワークまたはネットワークの組合せ（例えば、インターネット、ローカル・エリアネットワーク、ワイド・エリアネットワーク、電話ネットワーク、セルラネットワーク、衛星ネットワークなど）であり得る。

コンピュータデバイス７０５は、一時的媒体および非一時的媒体を含む、コンピュータ使用可能またはコンピュータ可読媒体を使用し、かつ／またはそれを使用して通信することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスクおよびテープ）、光学媒体（例えば、ＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステート記憶装置）、および他の不揮発性記憶装置またはメモリを含む。

コンピュータデバイス７０５は、いくつかの例示的なコンピューティング環境において技法、方法、アプリケーション、プロセス、またはコンピュータ実施可能命令を実装するために使用することができる。コンピュータ実施可能命令は、一時的媒体から取り出され、非一時的媒体に記憶され、そこから取り出される。実施可能命令は、プログラミング、スクリプト、および機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Java（登録商標）、Visual Basic、Python、Perl、JavaScript（登録商標）など）の１つまたは複数から生じ得る。

プロセッサ（単数または複数）７１０は、ネイティブまたは仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実施することができる。１つまたは複数のアプリケーションを展開することができ、論理ユニット７６０、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット７６５、入力ユニット７７０、出力ユニット７７５、ならびに異なるユニットがＯＳおよび他のアプリケーション（図示せず）と互いに通信するためのユニット間通信機構７９５を含む。記載のユニットおよび要素は、設計、機能、構成、または実施態様において変化する可能性があり、提供された記載に限定されない。

いくつかの例示的な実施態様では、情報または実施命令がＡＰＩユニット７６５によって受信されると、それは１つまたは複数の他のユニット（例えば、論理ユニット７６０、入力ユニット７７０、出力ユニット７７５）に通信され得る。いくつかの事例では、論理ユニット７６０は、ユニット間の情報の流れを制御し、上述のいくつかの例示的な実施態様では、ＡＰＩユニット７６５、入力ユニット７７０、出力ユニット７７５によって提供されるサービスを指示するように構成されてもよい。例えば、１つまたは複数のプロセスまたは実施態様の流れは、論理ユニット７６０によって単独で、またはＡＰＩユニット７６５と共に制御することができる。入力ユニット７７０は、例示的な実施態様で説明された計算のための入力を取得するように構成され得、出力ユニット７７５は、例示的な実施態様で説明された計算に基づいて出力を提供するように構成され得る。

メモリ７１５は、マップ測位ユニット６として機能するために外部記憶装置７４５と共に使用され、図６に示すように管理情報を管理するように構成され得る。そのような実施態様により、ＡＤ ＥＣＵ１は、図１（ａ）に示すような車両システムの様々な操作モードを管理することができる。

プロセッサ（単数または複数）７１０は、図４（ａ）～図４（ｄ）の流れ図を実施し、図６の管理情報を参照するように構成することができる。例示的な実施態様では、プロセッサ（単数または複数）７１０は、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出し、かつ車両の操作モードを人間操作モードから自律モードに変更するように構成することができ、自律モードは、図４（ａ）で説明したように、検出された１つまたは複数の標識に基づいて車両の位置、向き、および速度の少なくとも１つを調整するように構成される。

例示的な実施態様では、プロセッサ（単数または複数）７１０は、自律モードが完全自律駐車（ＡＶＰ）モードである場合、検出された１つまたは複数の標識と関連付けられる軌道に従って車両の位置、向きおよび速度の少なくとも１つを調整し、第２の１つまたは複数の標識が検出されるまで軌道に沿って車両をナビゲートし、かつ軌道の変更を示す別の１つまたは複数の標識について、例えば、図３（ａ）～図３（ｄ）および図４（ａ）～図４（ｄ）で説明したように、軌道の変更に従って車両の位置、向き、および速度の少なくとも１つを変更するように構成することができる。車両を駐車させるための命令を示す第２の１つまたは複数の標識について、プロセッサ（単数または複数）７１０は、車両の位置を管理装置に送信し、かつ管理装置から操作モードをＡＶＰモードから自動駐車モードに変更する指示を受信すると、操作モードをＡＶＰモードから自動駐車モードに切り替えるように構成することができ、自動駐車モードは、図４（ｄ）に関して説明したように、駐車スペースへの車両の自動駐車を行うように構成される。

例示的な実施態様では、プロセッサ（単数または複数）７１０がＡＤ ＥＣＵの機能性を促進しているとき、プロセッサ（単数または複数）７１０は、操作モードを管理し、図１（ａ）の車両システムに関して説明したように、車両の１つまたは複数のアクチュエータを制御することにより車両の位置、向き、および速度の少なくとも１つを調整するように構成される。

例示的な実施態様では、プロセッサ（単数または複数）７１０は、複数のカメラから受信した１つまたは複数の画像に対してテンプレートマッチングを実行することと、１つまたは複数の画像に１つまたは複数の標識が存在することを示すテンプレートマッチングの場合、１つまたは複数の画像のコーナ検出を行うことと、決定された閾値を満たすコーナの数を示すコーナ検出の場合、図４（ａ）に関して説明したように、１つまたは複数の画像から、車両から１つまたは複数の標識までの距離を計算することとを通じて、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出するように構成することができる。

例示的な実施態様では、プロセッサ（単数または複数）７１０は、車両の操作が自律モードにある間、車両の軌道に基づいて予想される標識を検出することができない場合に、車両の現在位置を補間して車両の現在位置と予想される標識の位置との間の誤差を決定し、かつ誤差が閾値よりも大きい場合、図４（ｂ）で説明したように、車両の自律モードを終了するように構成することができる。

例示的な実施態様では、プロセッサ（単数または複数）７１０は、図６に示すように複数の標識とマップとの間の関係を管理するように構成することができ、さらに、自律モードの操作モードを有する車両について、検出された１つまたは複数の標識とマップとの間の関係に基づいて計算される車両の位置を管理装置に送信し、かつ管理装置から軌道情報を受信すると、命令が、車両の軌道を示し、図１（ｂ）に関して説明したように、軌道情報に従って車両の位置、向き、および速度の少なくとも１つを調整するように構成することができる。

詳細な説明の一部は、アルゴリズムと、コンピュータ内の操作の記号的表現との観点で提示されている。これらのアルゴリズム的記述および記号的表現は、データ処理技術の当業者によって、彼らの革新の本質を他の当業者に伝えるために使用される手段である。アルゴリズムは、所望の終了状態または結果をもたらす一連の定義されたステップである。例示的な実施態様では、実施されるステップは、有形の結果を実現するために有形の量の物理的操作を必要とする。

特に断りのない限り、説明から明らかなように、説明全体にわたって、「処理」、「コンピューティング」、「計算」、「決定」、「表示」などの用語を使用する説明が、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表現されるデータを、コンピュータシステムのメモリもしくはレジスタまたは他の情報記憶装置、伝送もしくはディスプレイデバイス内の物理量として同様に表現される他のデータに操作および変換するコンピュータシステムまたは他の情報処理デバイスの動作および処理を含むことができることを理解されたい。

例示的な実施態様はまた、本明細書の操作を実行するための装置に関することができる。この装置は、必要な目的のために特別に構築することができ、あるいは１つまたは複数のコンピュータプログラムによって選択的にアクティブ化または再構成される１つまたは複数の汎用コンピュータを含むことができる。そのようなコンピュータプログラムは、コンピュータ可読媒体、例えば、コンピュータ可読記憶媒体またはコンピュータ可読信号媒体に記憶され得る。コンピュータ可読記憶媒体は、有形媒体、例えば、限定はしないが、光ディスク、磁気ディスク、読み出し専用メモリ、ランダムアクセスメモリ、ソリッドステートデバイスおよびドライブ、または電子情報を記憶するのに適した任意の他のタイプの有形もしくは非一時的媒体を伴うことができる。コンピュータ可読信号媒体は、搬送波などの媒体を含むことができる。本明細書で提示されたアルゴリズムおよびディスプレイは、任意の特定のコンピュータまたは他の装置に本質的に関連するものではない。コンピュータプログラムは、所望の実施態様の操作を実行する命令を伴う純粋なソフトウェア実施態様を伴うことができる。

様々な汎用システムは、本明細書の例に従うプログラムおよびモジュールと共に使用され、または所望の方法ステップを実行するためのより特化した装置を構築することが好都合であると分かる場合がある。また、例示的な実施態様は、任意の特定のプログラミング言語に関して記載されていない。種々のプログラミング言語が本明細書に記載の例示的な実施態様の教示を実装するために使用され得ることを理解されたい。プログラミング言語（単数または複数）の命令は、１つまたは複数の処理デバイス、例えば、中央処理ユニット（ＣＰＵ）、プロセッサ、またはコントローラによって実施され得る。

当技術分野で知られているように、上述の操作は、ハードウェア、ソフトウェア、またはソフトウェアおよびハードウェアの何らかの組合せによって実行され得る。例示的な実施態様の様々な態様は、回路および論理デバイス（ハードウェア）を使用して実装され、他の態様は、プロセッサによって実施された場合に、プロセッサに本出願の実施態様を実施するための方法を実行させる、機械可読媒体に記憶された命令（ソフトウェア）を使用して実装することができる。さらに、さらに、本出願のいくつかの例示的な実施態様はハードウェアのみで実行することができ、他の例示的な実施態様は、ソフトウェアのみで実行することができる。さらに、記載の様々な機能は、単一のユニットで実行することができ、または任意の数の方法でいくつかの構成要素にわたって分散することができる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実施することができる。所望であれば、命令は、媒体に、圧縮および／または暗号化された形式で記憶することができる。

さらに、本出願の他の実施態様は、本明細書を考察し、本出願の教示を実践することから当業者に明らかである。記載の例示的な実施態様の様々な態様および／または構成要素は、単一でまたは任意の組合せで使用することができる。本明細書および例示的な実施態様は、例としてのみ考慮されることを意図しており、本出願の真の範囲および精神が特許請求の範囲によって示される。

Claims (11)

1. 複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、
   車両の操作モードを人間操作モードから自律モードに変更することであって、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを含み、
   前記自律モードが完全自律駐車モードである場合、
   前記検出された１つまたは複数の標識と関連付けられる軌道に従って前記車両の前記位置、向きおよび速度の前記少なくとも１つを調整することと、
   第２の１つまたは複数の標識が検出されるまで前記軌道に沿って前記車両をナビゲートすることと、
   前記軌道の変更を示す別の１つまたは複数の標識について、前記軌道の前記変更に従って前記車両の前記位置、向き、および速度の前記少なくとも１つを変更することと
   をさらに含み、
   前記車両を駐車させるための命令を示す前記第２の１つまたは複数の標識について、
   前記車両の位置を管理装置に送信することと、
   前記管理装置から前記操作モードを前記完全自律駐車モードから自動駐車モードに変更する指示を受信すると、前記操作モードを前記完全自律駐車モードから前記自動駐車モードに切り替えることであって、前記自動駐車モードが、駐車スペースへの前記車両の自動駐車を行うように構成されることと
   を含む、道路標識検出方法。
2. 前記車両が、複数の標識とマップとの間の関係を管理するように構成され、
   前記自律モードの操作モードを有する前記車両について、前記検出された１つまたは複数の標識と前記マップとの間の前記関係に基づいて計算される前記車両の位置を前記管理装置に送信することと、
   前記管理装置から軌道情報を受信すると、前記命令が、前記車両の軌道を示し、前記軌道情報に従って前記車両の前記位置、向き、および速度の少なくとも１つを調整することと
   をさらに含む、請求項１に記載の道路標識検出方法。
3. 複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、
   車両の操作モードを人間操作モードから自律モードに変更することであって、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを含み、
   前記複数のカメラから、前記非対称の形状を有する１つまたは複数の標識を前記検出することが、
   前記複数のカメラから受信した１つまたは複数の画像に対してテンプレートマッチングを実行することと、
   前記１つまたは複数の画像に前記１つまたは複数の標識が存在することを示す前記テンプレートマッチングの場合、前記１つまたは複数の画像のコーナ検出を行うことと、
   決定された閾値を満たすコーナの数を示す前記コーナ検出の場合、前記１つまたは複数の画像から、前記車両から前記１つまたは複数の標識までの距離を計算することと
   を含む、道路標識検出方法。
4. 複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、
   車両の操作モードを人間操作モードから自律モードに変更することであって、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを含み、
   前記自律モードが完全自律駐車モードである場合、
   前記検出された１つまたは複数の標識と関連付けられる軌道に従って前記車両の前記位置、向きおよび速度の前記少なくとも１つを調整することと、
   第２の１つまたは複数の標識が検出されるまで前記軌道に沿って前記車両をナビゲートすることと、
   前記軌道の変更を示す別の１つまたは複数の標識について、前記軌道の前記変更に従って前記車両の前記位置、向き、および速度の前記少なくとも１つを変更することと
   をさらに含み、
   前記車両の前記操作モードが前記自律モードにある間、
   前記車両の前記軌道に基づいて予想される標識を検出することができない場合に、
   前記車両の現在位置を補間して前記車両の前記現在位置と前記予想される標識の位置との間の誤差を決定することと、
   前記誤差が閾値よりも大きい場合、前記車両の前記自律モードを終了することと
   を含む、道路標識検出方法。
5. １つまたは複数のハードウェアプロセッサによる実施のための命令を記憶する、非一時的コンピュータ可読媒体であって、
   複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、
   車両の操作モードを人間操作モードから自律モードに変更することであって、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを含み、
   前記命令が、
   前記自律モードが完全自律駐車モードである場合、
   前記検出された１つまたは複数の標識と関連付けられる軌道に従って前記車両の前記位置、向きおよび速度の前記少なくとも１つを調整することと、
   第２の１つまたは複数の標識が検出されるまで前記軌道に沿って前記車両をナビゲートすることと、
   前記軌道の変更を示す別の１つまたは複数の標識について、前記軌道の前記変更に従って前記車両の前記位置、向き、および速度の前記少なくとも１つを変更することと
   をさらに含み、
   前記車両を駐車させるための命令を示す前記第２の１つまたは複数の標識について、
   前記車両の位置を管理装置に送信することと、
   前記管理装置から前記操作モードを前記完全自律駐車モードから自動駐車モードに変更する指示を受信すると、前記操作モードを前記完全自律駐車モードから前記自動駐車モードに切り替えることであって、前記自動駐車モードが、駐車スペースへの前記車両の自動駐車を行うように構成されることと
   を含む、非一時的コンピュータ可読媒体。
6. 前記車両が、複数の標識とマップとの間の関係を管理するように構成され、前記命令が、
   前記自律モードの操作モードを有する前記車両について、前記検出された１つまたは複数の標識と前記マップとの間の前記関係に基づいて計算される前記車両の位置を前記管理装置に送信することと、
   前記管理装置から軌道情報を受信すると、前記命令が、前記車両の軌道を示し、前記軌道情報に従って前記車両の前記位置、向き、および速度の少なくとも１つを調整することと
   をさらに含む、請求項５に記載の非一時的コンピュータ可読媒体。
7. １つまたは複数のハードウェアプロセッサによる実施のための命令を記憶する、非一時的コンピュータ可読媒体であって、
   複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、
   車両の操作モードを人間操作モードから自律モードに変更することであって、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを含み、
   前記複数のカメラから、前記非対称の形状を有する１つまたは複数の標識を前記検出することが、
   前記複数のカメラから受信した１つまたは複数の画像に対してテンプレートマッチングを実行することと、
   前記１つまたは複数の画像に前記１つまたは複数の標識が存在することを示す前記テンプレートマッチングの場合、前記１つまたは複数の画像のコーナ検出を行うことと、
   決定された閾値を満たすコーナの数を示す前記コーナ検出の場合、前記１つまたは複数の画像から、前記車両から前記１つまたは複数の標識までの距離を計算することと
   を含む、非一時的コンピュータ可読媒体。
8. １つまたは複数のハードウェアプロセッサによる実施のための命令を記憶する、非一時的コンピュータ可読媒体であって、
   複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、
   車両の操作モードを人間操作モードから自律モードに変更することであって、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを含み、
   前記命令が、
   前記自律モードが完全自律駐車モードである場合、
   前記検出された１つまたは複数の標識と関連付けられる軌道に従って前記車両の前記位置、向きおよび速度の前記少なくとも１つを調整することと、
   第２の１つまたは複数の標識が検出されるまで前記軌道に沿って前記車両をナビゲートすることと、
   前記軌道の変更を示す別の１つまたは複数の標識について、前記軌道の前記変更に従って前記車両の前記位置、向き、および速度の前記少なくとも１つを変更することと
   をさらに含み、
   前記命令が、前記車両の前記操作モードが前記自律モードにある間、
   前記車両の前記軌道に基づいて予想される標識を検出することができない場合に、
   前記車両の現在位置を補間して前記車両の前記現在位置と前記予想される標識の位置との間の誤差を決定することと、
   前記誤差が閾値よりも大きい場合、前記車両の前記自律モードを終了することと
   をさらに含む、非一時的コンピュータ可読媒体。
9. 複数のカメラと、
   前記複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出し、かつ
   車両の操作モードを人間操作モードから自律モードに変更するように構成され、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成される
   プロセッサと
   を備え、
   前記プロセッサが、
   前記自律モードが完全自律駐車モードである場合、
   前記検出された１つまたは複数の標識と関連付けられる軌道に従って前記車両の前記位置、向きおよび速度の前記少なくとも１つを調整し、
   第２の１つまたは複数の標識が検出されるまで前記軌道に沿って前記車両をナビゲートし、かつ
   前記軌道の変更を示す別の１つまたは複数の標識について、前記軌道の前記変更に従って前記車両の前記位置、向き、および速度の前記少なくとも１つを変更する
   ように構成され、
   前記車両を駐車させるための命令を示す前記第２の１つまたは複数の標識について、前記プロセッサが、
   前記車両の位置を管理装置に送信し、かつ
   前記管理装置から前記操作モードを前記完全自律駐車モードから自動駐車モードに変更する指示を受信すると、前記操作モードを前記完全自律駐車モードから前記自動駐車モードに切り替えるように構成され、前記自動駐車モードが、駐車スペースへの前記車両の自動駐車を行うように構成される、道路標識検出システム。
10. 複数のカメラと、
    前記複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出し、かつ
    車両の操作モードを人間操作モードから自律モードに変更するように構成され、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成される
    プロセッサと
    を備え、
    前記プロセッサが、
    前記複数のカメラから受信した１つまたは複数の画像に対してテンプレートマッチングを実行することと、
    前記１つまたは複数の画像に前記１つまたは複数の標識が存在することを示す前記テンプレートマッチングの場合、前記１つまたは複数の画像のコーナ検出を行うことと、
    決定された閾値を満たすコーナの数を示す前記コーナ検出の場合、前記１つまたは複数の画像から、前記車両から前記１つまたは複数の標識までの距離を計算することと
    によって前記複数のカメラから、前記非対称の形状を有する１つまたは複数の標識を検出するように構成される、道路標識検出システム。
11. 複数のカメラと、
    前記複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出し、かつ
    車両の操作モードを人間操作モードから自律モードに変更するように構成され、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成される
    プロセッサと
    を備え、
    前記プロセッサが、
    前記自律モードが完全自律駐車モードである場合、
    前記検出された１つまたは複数の標識と関連付けられる軌道に従って前記車両の前記位置、向きおよび速度の前記少なくとも１つを調整し、
    第２の１つまたは複数の標識が検出されるまで前記軌道に沿って前記車両をナビゲートし、かつ
    前記軌道の変更を示す別の１つまたは複数の標識について、前記軌道の前記変更に従って前記車両の前記位置、向き、および速度の前記少なくとも１つを変更する
    ように構成され、
    前記プロセッサが、前記車両の前記操作モードが前記自律モードにある間、
    前記車両の前記軌道に基づいて予想される標識を検出することができない場合に、
    前記車両の現在位置を補間して前記車両の前記現在位置と前記予想される標識の位置との間の誤差を決定し、かつ
    前記誤差が閾値よりも大きい場合、前記車両の前記自律モードを終了する
    ように構成される、道路標識検出システム。

Images