JP7908029B2 - 自律型陸上ビークルのルートの修正を容易にするためのコンピューティングデバイス及び方法 - Google Patents
自律型陸上ビークルのルートの修正を容易にするためのコンピューティングデバイス及び方法Info
- Publication number
- JP7908029B2 JP7908029B2 JP2022021719A JP2022021719A JP7908029B2 JP 7908029 B2 JP7908029 B2 JP 7908029B2 JP 2022021719 A JP2022021719 A JP 2022021719A JP 2022021719 A JP2022021719 A JP 2022021719A JP 7908029 B2 JP7908029 B2 JP 7908029B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- route
- input image
- computing device
- processing circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
例示的実施形態は、概して、自律型陸上ビークルのルートの修正を容易にするためのコンピューティングデバイス及び方法に関し、より具体的には、自律型陸上ビークルが駆動することになる表面の摩擦係数に基づいて、自律型陸上ビークルのルートが変更されるかを決定するためのコンピューティングデバイス及び方法に関する。
自律型陸上ビークルは、様々な用途で利用される。自律型陸上ビークルは、自動走行車、トラック、及び他の地上ビークル、並びに所定のルートに沿って自律的に移動するように構成されているロボットなどを含む。無人航空機(UAV)はまた、UAVが通常、飛行前、飛行後など、表面に沿ってタキシングする又はその他の方法で駆動する際に、自律型陸上ビークルを構成する。例として、UAVは、UAVの飛行前と、UAVの帰還及び着陸後の両方で、滑走路、誘導路、又はUAVが打ち上げられる航空母艦又はその他のビークルのフライトデッキに沿ってタキシングすることがある。
自律型陸上ビークルがたどるルートは、出発地から目的地まで延びるように事前に定義されうる。この事前に定義されるルートは、自律型陸上ビークルが利用可能な道路、滑走路、誘導路、又はその他の経路、並びに自律型陸上ビークルにより回避されるべき既知の障害物を考慮しうる。走行中に、自律型陸上ビークルはまた、事前に定義されたルートに沿って位置する別のビークル又は機器などの予期しない障害物を識別するためにその周囲を監視することもあり、そのような障害物を回避するようにルートを動的に修正できるようにする。
特定の状況では、自律型陸上ビークルが駆動する表面の特性が変化して、自律型陸上ビークルが滑ったり、ルートから外れたりするリスクを高めることもある。表面特性は、熱、氷、雪、湿気などの気象条件、及び/又は表面自体の劣化により変化する可能性がある。表面特性の変化の結果として、自律型陸上ビークルの性能に悪影響を与える可能性がある。例えば、氷で覆われた表面を乗り越えようとする自律型陸上ビークルは、滑るか、少なくとも部分的に制御を失う可能性があり、これにより、自律型陸上ビークルが関与する事故のリスクが高まる可能性がある。そのような事故は、次に、自律型陸上ビークルの動作に関連するコストを増加させ、少なくとも自律型陸上ビークルが修理される期間中、自律型陸上ビークルの動作を遅延又は阻止する可能性がある。
自律型陸上ビークルのルートの修正を容易にするためのコンピューティングデバイス、方法及びコンピュータプログラム製品が、例示的実施形態にしたがって提供される。この点について、コンピューティングデバイス、方法及びコンピュータプログラム製品は、自律型陸上ビークルの所定のルートが延びる表面のうちの少なくともいくつかに関連する摩擦係数を決定し、摩擦係数に基づいて、自律型陸上ビークルのルートが変更されるべきかどうかを決定する。この点について、コンピューティングデバイス、方法及びコンピュータプログラム製品は、自律型陸上ビークルが駆動される表面を考慮し、自律型陸上ビークルが滑る又は少なくとも部分的に制御を失うリスクを高めるような方法で変更された特定の表面を回避するために、自律型陸上ビークルが辿るルートが修正されうる。したがって、ルートを修正することによって、自律型陸上ビークルを巻き込むアクシデント又はその他の事故が低減されうる。別の例示的実施形態では、自律型陸上ビークルのルートの修正を容易にするように機械学習モデルをトレーニングするためのコンピューティングデバイス、方法及びコンピュータプログラム製品が提供される。
例示的実施形態では、自律型陸上ビークルのルートの修正を容易にするための方法が提供される。本方法は、写真画像などの入力画像の定型化された画像を構築することを含む。定型化された画像は、入力画像に存在する異なるテクスチャを有する表面を区別する。定型化された画像に基づいて、本方法はまた、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定することを含む。本方法は、自律型陸上ビークルの所定のルートが延びる表面に関連すると決定された摩擦係数に基づいて、自律型陸上ビークルのルートが所定のルートから変更されるかどうかを決定することを更に含む。
例示的実施形態の本方法は、画像に現れる異なるテクスチャを有する表面を区別するようにトレーニングされた第1の機械学習モデルを利用して定型化された画像を生成することによって、入力画像の定型化された画像を構築する。例示的実施形態では、本方法は、入力画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義すること、及びテクスチャ情報をそれぞれの幾何オブジェクトに関連付けることによって、入力画像の定型化された画像を構築する。例示的実施形態の方法は、定型化された画像に現れる異なるテクスチャを有する表面の摩擦係数を推定するようにトレーニングされた第2の機械学習モデルを利用して、摩擦係数を決定する。
本方法はまた、自律型陸上ビークルのルートが所定のルートから変更されるとの決定に応じて、自律型陸上ビークルのルートを修正することを含みうる。本例示的実施形態では、本方法はまた、修正されたルートを自律型陸上ビークルのルーティングシステムに提供することを含みうる。例示的実施形態では、本方法は、自律型陸上ビークルの画像捕捉デバイスによって捕捉された入力画像を受信することを更に含む。
別の例示的実施形態では、自律型陸上ビークルのルートの修正を容易にするように構成されているコンピューティングデバイスが提供される。コンピューティングデバイスは、写真画像などの入力画像の定型化された画像を構築するように構成された処理回路を含む。定型化された画像は、入力画像に存在する異なるテクスチャを有する表面を区別する。定型化された画像に基づいて、処理回路はまた、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定するように構成される。処理回路は、自律型陸上ビークルの所定のルートが延びる表面に関連すると決定された摩擦係数に基づいて、自律型陸上ビークルのルートが所定のルートから変更されるかどうかを決定するように更に構成される。
例示的実施形態の処理回路は、画像に現れる異なるテクスチャを有する表面を区別するようにトレーニングされた第1の機械学習モデルを含む。本例示的実施形態の処理回路は、第1の機械学習モデルを利用して、入力画像の定型化された画像を構築するように構成されている。例示的実施形態では、処理回路は、入力画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義すること、及びテクスチャ情報をそれぞれの幾何オブジェクトに関連付けることによって、入力画像の定型化された画像を構築するように構成される。例示的実施形態の処理回路は、定型化された画像に現れる異なるテクスチャを有する表面の摩擦係数を推定するようにトレーニングされた第2の機械学習モデルを含む。処理回路は、第2の機械学習モデルを利用して摩擦係数を決定するように構成される。
例示的実施形態の処理回路は、自律型陸上ビークルのルートが所定のルートから変更されるとの決定に応じて、自律型陸上ビークルのルートを修正するように更に構成される。本例示的実施形態では、コンピューティングデバイスは、修正されたルートを自律型陸上ビークルのルーティングシステムに提供するように構成された、処理回路に応じた、通信インターフェースを含みうる。例示的実施形態の通信インターフェースは、自律型陸上ビークルの画像捕捉デバイスによって捕捉された入力画像を受信するように構成される。
更なる例示的実施形態では、自律型陸上ビークルのルートの修正を容易にするためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、実行されると、写真画像などの入力画像の定型化された画像を構築するように構成されたプログラムコード命令を含むプログラムコードが記憶された非一過性のコンピュータ可読媒体を含む。定型化された画像は、入力画像に存在する異なるテクスチャを有する表面を区別する。定型化された画像に基づいて、プログラムコード命令はまた、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定するように構成される。プログラムコード命令は、自律型陸上ビークルの所定のルートが延びる表面に関連すると決定された摩擦係数に基づいて、自律型陸上ビークルのルートが所定のルートから変更されるかどうかを決定するように更に構成される。
入力画像の定型化された画像を構築するように構成されたプログラムコード命令は、画像に現れる異なるテクスチャを有する表面を区別するようにトレーニングされた第1の機械学習モデルを使用して、定型化された画像を生成するように構成されたプログラムコード命令を含みうる。例示的実施形態では、入力画像の定型化された画像を構築するように構成されたプログラムコード命令は、入力画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義するように構成されたプログラムコード命令、及びテクスチャ情報をそれぞれの幾何オブジェクトに関連付けるように構成されたプログラムコード命令を含む。摩擦係数を決定するように構成されたプログラムコード命令は、定型化された画像に現れる異なるテクスチャを有する表面の摩擦係数を推定するようにトレーニングされた第2の機械学習モデルを利用するように構成されたプログラムコード命令を含みうる。
プログラムコードはまた、自律型陸上ビークルのルートが所定のルートから変更されるとの決定に応じて、自律型陸上ビークルのルートを修正するように構成されたプログラムコード命令を含みうる。本例示的実施形態では、プログラムはまた、修正されたルートを自律型陸上ビークルのルーティングシステムに提供するように構成されたプログラムコード命令を含みうる。例示的実施形態では、プログラムコードは、自律型陸上ビークルの画像捕捉デバイスによって捕捉された入力画像を受信するように構成されたプログラムコード命令を更に含む。
例示的実施形態では、自律型陸上ビークルのルートの修正を容易にするための機械学習モデルをトレーニングするための方法が提供される。本方法は、異なるテクスチャを有する表面を区別し、それぞれのトレーニング画像に存在する異なるテクスチャを有する表面を区別するそれぞれのトレーニング入力画像から、定型化された画像を構築するために、異なる既知のテクスチャを有する表面を描写する複数のトレーニング画像に基づいて、第1の機械学習モデルをトレーニングすることを含む。本方法はまた、第1の機械学習モデルを記憶することも含む。異なるテクスチャを有する表面を区別する複数の定型化された画像に基づいて、また異なるテクスチャを有する表面に関連する所定の摩擦係数に基づいて、本方法は、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定するように第2の機械学習モデルをトレーニングすることを更に含む。本方法はまた、第2の機械学習モデルを記憶することも含む。
例示的実施形態の方法はまた、それぞれのトレーニング画像から第2の機械学習モデルをトレーニングするために利用される複数の定型化された画像を構築するために、第1の機械学習モデルを利用することを含む。第1の機械学習モデルは、それぞれのトレーニング画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義すること、及びテクスチャ情報をそれぞれの幾何オブジェクトに関連付けることによって、それぞれのトレーニング画像から定型化された画像を構築するようにトレーニングされうる。例示的実施形態の方法はまた、自律型陸上ビークルが駆動可能である表面を描写するトレーニング画像を受信することを含む。
別の例示的実施形態では、自律型陸上ビークルのルートの修正を容易にするための機械学習モデルをトレーニングするように構成されているコンピューティングデバイスが提供される。コンピューティングデバイスは、異なるテクスチャを有する表面を区別し、それぞれのトレーニング画像に存在する異なるテクスチャを有する表面を区別するそれぞれのトレーニング入力画像から、定型化された画像を構築するために、異なる既知のテクスチャを有する表面を描写する複数のトレーニング画像に基づいて、第1の機械学習モデルをトレーニングするように構成された処理回路を含む。異なるテクスチャを有する表面を区別する複数の定型化された画像に基づいて、また異なるテクスチャを有する表面に関連する所定の摩擦係数に基づいて、処理回路はまた、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定するように第2の機械学習モデルをトレーニングするように構成される。コンピューティングデバイスはまた、第1及び第2の機械学習モデルを記憶するように構成されたメモリデバイスを含む。
例示的実施形態の処理回路はまた、それぞれのトレーニング画像から第2の機械学習モデルをトレーニングするために利用される複数の定型化された画像を構築するために、第1の機械学習モデルを利用するように構成される。第1の機械学習モデルは、それぞれのトレーニング画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義すること、及びテクスチャ情報をそれぞれの幾何オブジェクトに関連付けることによって、それぞれのトレーニング画像から定型化された画像を構築するようにトレーニングされうる。例示的実施形態のコンピューティングデバイスはまた、自律型陸上ビークルが駆動可能である表面を描写するトレーニング画像を受信するように構成された通信インターフェースを含む。
更なる例示的実施形態では、自律型陸上ビークルのルートの修正を容易にするための機械学習モデルをトレーニングするように構成されるコンピュータプログラム製品が提供される。コンピュータプログラム製品は、実行されると、異なる既知のテクスチャを有する表面を描写する複数のトレーニング画像に基づいて、第1の機械学習モデルをトレーニングし、異なるテクスチャを有する表面を区別し、それぞれのトレーニング画像に存在する異なるテクスチャを有する表面を区別するそれぞれのトレーニング画像から定型化された画像を構築するように構成されたプログラムコード命令を含むプログラムコードが記憶された非一過性のコンピュータ可読媒体を含む。異なるテクスチャを有する表面を区別する複数の定型化された画像に基づいて、また異なるテクスチャを有する表面に関連する所定の摩擦係数に基づいて、プログラムコード命令はまた、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定するように第2の機械学習モデルをトレーニングするように構成される。プログラムコード命令は、第1及び第2の機械学習モデルを記憶させるように更に構成される。
例示的実施形態のプログラムコード命令はまた、それぞれのトレーニング画像から第2の機械学習モデルをトレーニングするために利用される複数の定型化された画像を構築するために、第1の機械学習モデルを利用するように構成される。第1の機械学習モデルは、それぞれのトレーニング画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義すること、及びテクスチャ情報をそれぞれの幾何オブジェクトに関連付けることによって、それぞれのトレーニング画像から定型化された画像を構築するようにトレーニングされうる。例示的実施形態のプログラムコード命令はまた、自律型陸上ビークルが駆動可能である表面を描写するトレーニング画像を受信するように構成される。
本開示のある種の例示的実施形態を一般的な用語で説明したが、後述では添付図面を参照する。これらの図面は、必ずしも縮尺どおりに描かれているわけではない。
本開示は添付の図面を参照して、以下でより詳しく説明されるが、添付図面には本開示のすべての態様が示されているわけではない。実際、本開示は、多くの異なる形態において具現化されてよく、本明細書に記載されている態様に限定されると解釈されるべきではない。むしろ、これらの態様は、本開示が適用可能な法的要件を満たすように提供される。類似の番号は、全体を通じて類似の要素を指す。
自律型陸上ビークルのルートの修正を容易にするために、コンピューティングデバイス、方法及びコンピュータプログラム製品が、例示的実施形態にしたがって提供される。下記のように、自律型陸上ビークルのルートは、自律型陸上ビークルのルートが延びる表面に関連する、摩擦係数などの情報に基づいて、修正されうる。
自律型陸上ビークル10の1つの例、即ち、無人航空機(「UAV」)が、図1に示されている。UAVは、飛行を目的としているが、また、図1に示すように、飛行前又は飛行後に1つ又は複数の滑走路及び誘導路12に沿ってタキシングしている場合などに、表面に沿って駆動するようにも構成されている。破線で示すように、UAVが駆動するルート14は、UAVの現在の場所から、離陸前の滑走路上の位置、飛行からのUAVの帰還後の格納庫又は他の保管ベイ15内の位置など、意図された目的地まで延ばすために、事前に定義されうる。
UAVなどの自律型陸上ビークル10は、例えば、コンクリート表面、アスファルト表面などを含む、異なる材料で形成された様々な異なる表面上を駆動しうる。これらの表面は、例えば、コンクリート、アスファルト、金属などの表面を形成する材料、及び劣化のさまざまな段階で表面に新たに形成される表面などの表面を形成する材料の状態に起因する、様々な異なる表面特性を有しうる。加えて、表面特性は、天気、又は表面が曝される他の環境的要因に依存しうる。例えば、表面は、氷若しくは雪で覆われていることがあり、又は湿っていることもある。下記のように、自律型陸上ビークルが駆動される表面の特性は、自律型陸上ビークルの性能に影響を与える可能性がある。例えば、氷に覆われている表面は、自律型陸上ビークルが滑るか又は少なくとも部分的に制御を失うことになるリスクを増大させ、これによって自律型陸上ビークルが辿る予定のルートがずれる可能性がある。
自律型陸上ビークル10は、地面にわたって延びるルート14に沿って、例えば、地面にわたって形成された道路、経路、滑走路又は誘導路12に沿って、駆動されるように構成されうる。しかしながら、自律型陸上ビークルはまた、他のタイプの表面にわたって駆動するようにも構成されうる。UAVに関連して、例えば、そのようなUAVが移動するルートが船又は他の船舶のデッキに沿って延びるように、いくつかのUAVは、船又は他の船舶のデッキから打ち上げられうる。したがって、これらの実施形態においてUAVが走行する表面は、金属及び/又は複合材料など、異なる表面特性を有する他の材料で形成されうる。また更に、いくつかの自律型陸上ビークルは、屋内又は屋外の事前に定義されたルートに沿って走行するように構成されているロボットでありうる。したがって、このようなロボットが移動する表面は、コンクリート、土、草、砂利など、様々な異なるタイプの材料のいずれかで形成されうる。
自律型陸上ビークルを、少なくとも部分的に制御を失うことによって引き起こされる滑り又は他の性能低下の増大したリスクにさらす可能性のある表面上に、自律型陸上ビークル10の事前に定義されたルート14が延びる場合を識別するために、そのような表面を識別し、滑り又は他の性能低下のリスクを低下させるために自律型陸上ビークルがたどるルートの修正を容易にするための、コンピューティングデバイス、方法、及びコンピュータプログラム製品が提供される。1つの実施形態では、コンピューティングデバイスiは、搭載された自律型陸上ビークル10、又は搭載されていないが自律型陸上ビークルと通信しているナビゲーションシステムによって具現化される。しかしながら、コンピューティングデバイスは、代替的には、例えば、サーバ、コンピュータワークステーション、分散型コンピューティングデバイスのネットワーク、パーソナルコンピュータ、タブレットコンピュータなどを含む、種々のコンピューティングプラットフォームのいずれかによって、具現化されてもよい。よって、コンピューティングデバイスは、特定のハードウェア設計を必要としないが、種々のコンピューティングプラットフォームのいずれかが、本明細書に記載されるように動作するように構成されうる。コンピューティングデバイスが構成される方法に関わらず、本例示的実施形態のコンピューティングデバイス20は、図2に示すように、処理回路22及びメモリデバイス24を含む、これらに関連付けられる、又はこれらと通信している。いくつかの実施形態では、コンピューティングデバイスはまた、オプションで、通信インターフェース26及び/又はユーザインターフェース28を含む、これらと関連付けられる、又はこれらと通信している。
いくつかの実施形態では、処理回路22(及び/又はコプロセッサ、又は処理回路を支援する若しくはこれに関連付けられた他の任意のプロセッサ)は、コンピューティングデバイス20の構成要素間で情報を渡すためにバスを介してメモリデバイス24と通信することができる。メモリデバイスは、非一過性であり、例えば、1つ又は複数の揮発性及び/又は不揮発性メモリを含みうる。要するに、例えば、メモリデバイスは、マシン(例えば、処理回路のようなコンピューティングデバイス)によって検索可能でありうるデータ(例えばビット)を記憶するように構成されたゲートを備える電子記憶デバイス(例えば、コンピュータ可読記憶媒体)でありうる。メモリデバイスは、装置が本開示の例示的実施形態に従って様々な機能を実行できるようにするための情報、データ、コンテンツ、アプリケーション、命令などを記憶するように構成することができる。例えば、メモリデバイスは、処理回路による処理のために入力データをバッファリングするように構成することができる。追加的に又は代替的には、メモリデバイスは、処理回路による実行のために命令を記憶するように構成することができる。
処理回路22は、いくつかの異なる方法で具現化することができる。例えば、処理回路は、付随するDSP、又は、例えば、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、マイクロコントローラーユニット(MCU)、ハードウェアアクセラレータ、専用コンピュータチップなどの集積回路を含む他の様々な処理回路の有無に関わらず、プロセッサ、コプロセッサ、マイクロプロセッサ、コントローラ、デジタルシグナルプロセッサ(DSP)、処理要素などの様々なハードウェア処理手段のうちの1つ又は複数として具現化されうる。したがって、いくつかの実施形態では、処理回路は、独立して実行するように構成された1つ又は複数の処理コアを含みうる。マルチコアプロセッサは、単一の物理パッケージ内でマルチ処理を可能にする。追加的に又は代替的には、処理回路は、命令、パイプライン、及び/又はマルチスレッドの独立した実行ができるように、バスを介して縦に並んで構成された1つ又は複数のプロセッサを含みうる。
例示的実施形態では、処理回路22は、メモリデバイス24に記憶された又は処理回路にアクセス可能な命令を実行するように構成されうる。代替的に又は追加的には、処理回路は、ハードコアされた機能を実行するように構成されうる。したがって、ハードウェア若しくはソフトウェアの方法で構成されていても、又はこれらの組み合わせによって構成されていても、処理回路は、本開示の実施形態に応じて構成されつつ、本開示の実施形態による動作を実行することができるエンティティ(例えば、回路に物理的に具現化されている)を表すことができる。よって、例えば、処理回路がASIC、FPGAなどとして具現化される場合、処理回路は、特に、本明細書に記載の動作を行うためのハードウェアとして構成されうる。代替的には、別の例として、処理回路がソフトウェア命令を実行するものとして具現化される場合、命令は、特に、命令が実行されるときに、本明細書に記載のアルゴリズム及び/又は動作を実行するための処理回路を構成しうる。しかしながら、場合によっては、処理回路は、本明細書に記載のアルゴリズム及び/又は動作を実行するための命令によるプロセッサの更なる構成によって、本開示の実施形態を用いるように構成された特定のデバイスのプロセッサでありうる。処理回路は、とりわけ、クロック、演算論理回路(ALU)、及び/又は処理回路の動作をサポートするように構成された1つ又は複数のロジックゲートを含みうる。
例示的実施形態のコンピューティングデバイス20はまた、オプションで、通信インターフェース26を含みうる。通信インターフェースは、装置と通信する他の電子デバイスとの間でデータを送受信するように構成されているハードウェア又はハードウェアとソフトウェアの組み合わせのいずれかで具現化されたデバイス又は回路などの任意の手段でありうる。通信インターフェースは、様々な無線プロトコルに従って通信するように構成されうる。この点について、通信インターフェースは、アンテナ(又は複数のアンテナ)及び無線通信ネットワークとの通信を可能にするためのサポートハードウェア及び/又はソフトウェアを含みうる。追加的に又は代替的には、通信インターフェースは、1つ又は複数のアンテナを介して信号を送信させ、又は1つ又は複数のアンテナを介して受信した信号の受信を処理させるために、1つ又は複数のアンテナと相互作用するための回路を含みうる。環境によっては、通信インターフェースは、代替的に又は追加的には、有線通信をサポートしうる。
コンピューティングデバイス20はまた、オプションで、次に、ユーザに出力を提供し、いくつかの実施形態では、ユーザ入力の表示を受信するために、処理回路22と通信しうるユーザインターフェース28を含みうる。ユーザインターフェースは、ディスプレイを含み、いくつかの実施形態では、キーボード、マウス、ジョイスティック、タッチスクリーン、タッチエリア、ソフトキー、1つ又は複数のマイクロフォン、複数のスピーカー、又は他の入力/出力機構も含みうる。1つの実施形態では、処理回路は、ディスプレイなど、いくつかの実施形態では、複数のスピーカー、リンゲル、1つ又は複数のマイクロフォンなどといった、1つ又は複数のユーザインターフェース要素の少なくともいくつかの機能を制御するように構成されたユーザインターフェース回路を含みうる。処理回路によって具現化された処理回路及び/又はユーザインターフェース回路は、処理回路(例えば、メモリデバイス24など)にアクセス可能なメモリに記憶されたコンピュータプログラム命令(例えば、ソフトウェア及び/又はファームウェア)を通して、1つ又は複数のユーザインターフェース要素の1つ又は複数の機能を制御するように構成されうる。
ここで図3を参照すると、自律型陸上ビークル10のルート14の修正を容易にするために実行される工程が図示される。図3のブロック30に示すように、コンピューティングデバイス20は、自律型陸上ビークルの所定のルートが延びることになる1つ又は複数の表面の入力画像を受信するための、処理回路22、通信インターフェース26などの手段を含む。入力画像は、カメラ、ビデオレコーダーなどの種々の画像捕捉デバイスのいずれかによって捕捉されうる。1つの実施形態では、画像捕捉デバイスの視界が自律型陸上ビークルの前にあり、自律型陸上ビークルの所定のルートが延びることになる1つ又は複数の表面を含むように、入力画像は、自律型陸上ビークルにより運ばれる画像捕捉デバイスによって捕捉される。例えば、図1で17と指定された長方形は、自律型陸上ビークルに搭載された画像捕捉デバイスの視界を表しており、その結果、画像捕捉デバイスによって取得された対応する入力画像によって表されるだろう。代替的には、入力画像は、自律型陸上ビークルの所定のルートが延びる1つ又は複数の表面を含む視界を有するように位置決めされる、交通カメラ、セキュリティカメラ、又は他のタイプの画像捕捉デバイスなどの自律型陸上ビークルに搭載されないカメラなどの画像捕捉デバイスによって捕捉されうる。種々の異なるタイプの入力画像が受信されうるが、例示的実施形態の入力画像は、写真画像である。入力画像は、自律型陸上ビークルに最も近接しており、かつルートが修正しなければ自律型陸上ビークルがすぐに移動することになる表面などの、自律型陸上ビークルの所定のルートが延びることになる表面のすべて、又は自律型陸上ビークルの所定のルートが延びることになる表面の一部のみを含みうる。
図3のブロック32に示すように、いくつかの実施形態のコンピューティングデバイス20はまた、例えば、入力画像内に現れる表面によって示されるレリーフ、つまり高さの違いを強調し、それによって表面のテクスチャを強調するために、受信された入力画像を強調処理(enhancement processing)にかけるための、処理回路22などの手段を含みうる。強調処理は、様々な方法で実行されうるが、1つの実施形態では、処理回路は、強調処理を実行するために、コンピュータービジョン機能のOpenCVライブラリに依存する。別の実施形態では、表面の温度に関する情報を含むことにより入力画像が強調されるように、強調処理は、表面の温度に関する情報を提供する前方監視赤外線(FLIR)イメージングへの参照を含みうる。
図3のブロック34に示すように、コンピューティングデバイス20はまた、入力画像の定型化された画像を構築するための、処理回路22などの手段を含む。定型化された画像は、入力画像に存在する異なるテクスチャを有する表面を区別する。様々な方法で定型化された画像が構築されうるが、例示的実施形態の処理回路などのコンピューティングデバイスは、入力画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義すること、及びテクスチャ情報を幾何オブジェクトに関連付けることによって、入力画像の定型化された画像を構築するように構成される。よって、第1の部分が氷で覆われ、第2の部分がコンクリートであって氷のない表面を有する入力画像については、氷で覆われている表面の第1の部分は、第1の幾何オブジェクトにより表される一方で、氷のない表面の第2の部分は、第1の幾何オブジェクトとは異なる第2の幾何オブジェクトで表される。表面の異なる部分を異なる幾何オブジェクトで表すことにより、結果として得られる定型化された画像は、異なるテクスチャを有する表面の異なる部分、つまり、この例では氷の滑らかなテクスチャとコンクリートの粗いテクスチャを区別する。
本例示的実施形態では、処理回路22などのコンピューティングデバイス20はまた、テクスチャ情報をそれぞれの幾何オブジェクトに関連付けることによって、入力画像の定型化された画像を構築するように構成される。このテクスチャ情報は、それぞれの幾何オブジェクトによって表される表面のテクスチャを示す。前述の例では、第1の幾何オブジェクトに関連するテクスチャ情報が、氷のような表面によって提供される滑らかなテクスチャを示す一方で、第2の幾何オブジェクトに関連するテクスチャ情報は、コンクリート表面の粗いテクスチャを示すだろう。
処理回路22などのコンピューティングデバイス20は、様々な方法で入力画像の定型化された画像を構築するように構成されうる。しかしながら、例示的実施形態では、処理回路などのコンピューティングデバイスは、画像に現れる異なるテクスチャを有する表面を区別するようにトレーニングされた、エッジ検出アルゴリズムを実装する第1の機械学習モデルといった第1の機械学習モデル22aを利用して、定型化された画像を生成することによって、入力画像の定型化された画像を構築するように構成される。図2に示すように、処理回路は、入力画像を受信し、異なるテクスチャを有する表面を区別するためのモデルのトレーニングに基づいて、結果的に得られた、定型化された画像を生成する第1の機械学習モデルを実装するように構成されうる。他の実施形態では、第1の機械学習モデルは、メモリデバイス24又はコンピューティングデバイスが通信しているデータベースなどに記憶され、定型化された画像を生成するために、入力画像の受信に応じて、処理回路によって検索することができる。第1の機械学習モデルは、様々な方法で現れる異なるテクスチャを有する表面を区別するようにトレーニングされうるが、第1の機械学習モデルがトレーニングされうる方法の1つの例が、例として以下に提供されるが、これに限定されない。
図3のブロック36に示すように、かつ定型化された画像に基づいて、コンピューティングデバイス20は、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定するための、処理回路22などの手段を含む。前述の例では、処理回路などのコンピューティングデバイス、より具体的には、第2の機械学習モデル22bは、したがって、入力画像内に見られる表面の第1の氷部分に関連する第1の摩擦係数、及び氷がなく、また入力画像に見られる表面の第2のコンクリート部分に関連する、第1の摩擦係数とは異なる第2の摩擦係数を決定するように構成されるだろう。
処理回路22などのコンピューティングデバイス20は、様々な方法で摩擦係数を決定するように構成されうる。しかしながら、例示的実施形態では、処理回路などのコンピューティングデバイスは、定型化された画像に現れる異なるテクスチャを有する表面の摩擦係数を推定するようにトレーニングされた、畳み込みニューラルネットワーク(CNN)分類モデルなどの第2の機械学習モデル22bを利用して、摩擦係数を決定するように構成される。上記のように、異なるテクスチャを含む表面を有する定型化された画像は、異なる幾何オブジェクト及びこれらに関連するテクスチャ情報を有する表面を表しうる。
したがって、定型化された画像は、第2の機械学習モデルに提供され、次いで、定型化された画像の幾何オブジェクトによって表される様々な表面毎に摩擦係数を生成する。第2の機械学習モデルは様々な方法でトレーニングされうるが、第2の機械学習モデルをトレーニングするための1つの例示的技術がまた、例として以下に記載されるが、これに限定されない。
したがって、定型化された画像は、第2の機械学習モデルに提供され、次いで、定型化された画像の幾何オブジェクトによって表される様々な表面毎に摩擦係数を生成する。第2の機械学習モデルは様々な方法でトレーニングされうるが、第2の機械学習モデルをトレーニングするための1つの例示的技術がまた、例として以下に記載されるが、これに限定されない。
図3のブロック38に示すように、コンピューティングデバイス20はまた、自律型陸上ビークルの所定のルートが延びる表面に関連すると決定された摩擦係数に基づいて、自律型陸上ビークルのルート10がその所定のルート14から変更されるかどうかを決定するための、処理回路22などの手段を含む。処理回路などのコンピューティングデバイスは、様々な方法でこの決定を行うように構成されうるが、例示的実施形態の、処理回路などのコンピューティングデバイスは、滑るか又は自律型陸上ビークルが所定のルートに沿って続くのに十分な牽引力を提供しえない自律型陸上ビークルの所定のルートに沿って、これらの表面を識別するように構成される。例えば、処理回路などのコンピューティングデバイスは、所定の閾値未満の摩擦係数を有する定型化された画像によって表される表面といった、所定の閾値を満たす摩擦係数を有する定型化された画像内の表面を識別するように構成されうるが、これは、より小さな摩擦係数は、より大きな摩擦係数を有する表面よりも滑りやすい表面を示しているためである。例えば、氷の摩擦係数がゼロに近い小さな値でありうる一方で、コンクリートの摩擦係数は、0.6を上回るような大きな値でありうる。
定型化された画像によって表される表面のいずれもが所定の閾値を満たす摩擦係数を有していない場合に、処理回路22などのコンピューティングデバイス20は、自律型陸上ビークルが通過する表面が十分に滑りやすいと判断されなかったために、自律型陸上ビークル10の所定のルート14の修正が必要ないことを決定するように構成される。しかしながら、処理回路などのコンピューティングデバイスが、自律型陸上ビークルの所定のルートが延びる表面のうちの1つ又は複数が、所定の閾値未満であることなどによって、所定の閾値を満たす摩擦係数を有していると決定する場合に、処理回路などのコンピューティングデバイスは、自律型陸上ビークルのルートが変更されるべきであると決定するように構成される。この点について、所定の閾値を満たす摩擦係数を有していると決定された1つ又は複数の表面を回避するために、自律型陸上ビークルのルートが変更されるべきである。
自律型陸上ビークルのルート10が修正される場合、例示的実施形態のコンピューティングデバイス20はまた、自律型陸上ビークルのルートが所定のルート14から変更されるとの決定に応じて、自律型陸上ビークルのルートを修正するための、処理回路22などの手段を含む。ブロック40を参照のこと。処理回路などのコンピューティングデバイスは、様々な方法でルートを修正するように構成されうる。例示的実施形態では、処理回路などのコンピューティングデバイスは、自律型陸上ビークルが動作している領域のマップデータにアクセスするように構成される。マップデータは、例えば、メモリデバイス24によって、又は処理回路が通信しているデータベースによって、記憶されうる。マップデータに基づいて、処理回路などのコンピューティングデバイスは、自律型陸上ビークルを、その現在の位置から意図された目的地までなおも方向付ける代替的なルートを定義するように構成されうるが、所定の閾値を満たす摩擦係数を有していると識別された表面を回避するようにその定義が行われる。要するに、処理回路などのコンピューティングデバイスは、表面が滑りやすくなり、それに応じて自律型陸上ビークルの滑るリスクを高めるであろう摩擦係数を有していると決定された表面を回避する代替的なルートを定義するように構成される。自律型陸上ビークルが異なる滑走路、誘導路、道路又は経路をとるように、ルートが修正されうるが、別の例示的実施形態のコンピューティングデバイスは、わずかな経路変更でもかなりの利益を得られる可能性がある際には、ルートのわずかな修正が必要であると決定しうる。例えば、1つの方向への数インチの変更により、ハイドロプレーニング(hydroplaning)を防止する又は黒氷状態を回避することができるだろう。
例示的実施形態では、図3のブロック42に示すように、例示的実施形態のコンピューティングデバイス20はまた、修正されたルートを自律型陸上ビークル10のルーティングシステムに提供するための、処理回路22、通信インターフェース26などの手段を含む。これに応じて、自律型陸上ビークルは、所定の閾値を満たす摩擦係数を有していると識別された1つ又は複数の表面を回避するために、そのルートを変更し、次いで、その変更ルートに従って前進することができる。したがって、自律型陸上ビークルが、滑ったり、少なくとも部分的に制御を失ったりすることなく、意図された目的地に到着する可能性が高まり、結果として、事故に巻き込まれるリスクが低下する。いくつかの実施形態では、処理回路及び/又はユーザインターフェース28などのコンピューティングデバイスは、代替的なルートが表示されるように構成されうる。
代替的なルート16の1つの例が、図1に点線で示されている。図示されたように、UAVなどの自律型陸上ビークル10は、誘導路12の氷部分18を横切った所定のルート14に沿って進まないように、再びルート決定される。その代わりに、代替的なルートは、氷で覆われていないコンクリート誘導路上などの摩擦係数が大きい表面上を除く、同一の意図された目的地に、UAVを方向付ける。
例示的実施形態のコンピューティングデバイス20、方法及びコンピュータプログラム製品は、自律型陸上ビークルのルート10が変更されるかどうかを決定し、変更される場合には、リアルタイム又はほぼリアルタイムで、修正されたルートを自律型陸上ビークルに提供するように構成されうる。よって、追加の入力画像が提供されるように、図3に関する上記のプロセスが繰り返され、よって、自律型陸上ビークルの画像捕捉デバイスによって捕捉される入力画像のうちの1つ又は複数が、所定の閾値を満たす摩擦係数を有していると決定され、したがって滑る可能性のある表面を図示する場合には、所定のルート14に沿って前進し、自律型陸上ビークルに先立って表面の画像を捕捉している自律型陸上ビークルが、リアルタイム又はほぼリアルタイムで再びルート決定されうる。
自律型陸上ビークル10のルート14の修正を容易にするために用いられる第1及び第2の機械学習モデル22a,22bは、様々な方法でトレーニングされうる。しかしながら、例示的実施形態では、機械学習モデルをトレーニングするための1つの技術が図4に開示される。ブロック50に示すように、コンピューティングデバイス20は、異なる既知のテクスチャを有する表面を示す複数のトレーニング画像を受信するための、処理回路22、通信インターフェース26などの手段を含む。また、様々な異なる方向、様々な照明条件下、及び異なる距離からの表面を示す写真画像などの様々な異なるタイプのトレーニング画像のいずれかが、コンピューティングデバイスに提供されうる。トレーニング画像は写真画像でありうるが、異なる既知のテクスチャを有する表面の光検出及び測距(LIDAR)画像、並びに/又は異なる既知のテクスチャを有する表面を示す3次元画像などを含む他のタイプのトレーニング画像が用いられてもよい。
図4のブロック52に示すように、例示的実施形態のコンピューティングデバイス20はまた、例えば、トレーニング画像内に現れる表面によって示されるレリーフを強化することによって、表面のテクスチャを強調するために、トレーニング画像を強調処理にかけるための、処理回路22などの手段を含む。強調処理は、様々な方法で実行されうるが、1つの実施形態では、処理回路は、強調処理を実行するために、コンピュータービジョン機能のOpenCVライブラリに依存する。
図4のブロック54に示すように、異なる既知のテクスチャを有する表面を描写する複数のトレーニング画像に基づいて、コンピューティングデバイス20は、異なるテクスチャを有する表面を区別し、トレーニング画像に存在する異なるテクスチャを有する表面を区別するトレーニング画像から定型化された画像を構築するために、エッジ検出アルゴリズムを実装する第1の機械学習モデルといった第1の機械学習モデル22aをトレーニングするための処理回路22などの手段を含む。第1の機械学習モデルは様々な方法でトレーニングされうるが、例示的実施形態の処理回路などのコンピューティングデバイスは、トレーニング画像の既知のテクスチャに対して生成される定型化された画像に基づいて、第1の機械学習モデルにフィードバックを提供して、反復的に第1の機械学習モデルをトレーニングするように構成される。
第1の機械学習モデル22aによって生成される定型化された画像は、トレーニング画像に存在する異なるテクスチャを有する表面を表す幾何オブジェクトを含み、テクスチャ情報をそれぞれの幾何オブジェクトに関連付けうる。第1の機械学習モデルをトレーニングするために、処理回路22などのコンピューティングデバイス20は、それぞれの幾何オブジェクトに関連するテクスチャ情報を含む定型化された画像を、トレーニング画像に現れる異なる表面の既知のテクスチャと比較し、次いで、所定量を上回る程度、幾何オブジェクトによって表される表面に関連する既知のテクスチャと異なることなどによって、幾何オブジェクトとそれに関連するテクスチャ情報が異なる場合に、幾何オブジェクトによって表される表面の既知のテクスチャと一致する関連したテクスチャ情報を有する幾何オブジェクトの生成を強化し、不一致の指標を提供する第1の機械学習モデルに、フィードバックを提供するように構成されうる。複数のトレーニング画像に関してこのトレーニングプロセスを繰り返すことによって、処理回路などのコンピューティングデバイスは、第1の機械学習モデルをトレーニングし、正確に異なるテクスチャを有する表面を区別し、トレーニング画像に存在する異なるテクスチャを有する表面を正確に区別するトレーニング画像から定型化された画像を構築するように構成される。
例示的実施形態のコンピューティングデバイス20はまた、メモリデバイス又はコンピューティングデバイスが通信しているデータベースなどに、第1の機械学習モデル22aを記憶するための処理回路22、メモリデバイス24などの手段を含む。ブロック56を参照のこと。いくつかの例示的な実施形態では、処理回路、メモリデバイスなどのコンピューティングデバイスはまた、複数のトレーニング画像からの第1の機械学習モデルによって構築される複数の定型化された画像を記憶するように構成される。複数の定型化された画像はまた、メモリデバイスによって、又はコンピューティングデバイスと通信しているデータベースに記憶されうる。
図4のブロック58に示すように、本例示的実施形態のコンピューティングデバイス20はまた、異なるテクスチャを有し、かつ定型化された画像によって区別される定型化された画像の表面のうちの少なくともいくつかに関連する摩擦係数を決定するために、畳み込みニューラルネットワーク(CNN)分類モデルなどの第2の機械学習モデル22bをトレーニングするための処理回路22などの手段を含む。第2の機械学習モデルをトレーニングするために、処理回路などのコンピューティングデバイスは、第1の機械学習モデル22aによって生成又は構築された定型化された画像などの複数の定型化された画像を、第2の機械学習モデルに提供するように構成されうる。したがって、第1の機械学習モデルは、複数の定型化された画像を構築するために利用され、次に、それぞれのトレーニング画像から第2の機械学習モデルをトレーニングするために利用されうる。加えて、第2の機械学習モデルをトレーニングすることは、異なるテクスチャを有する表面に関連する所定の摩擦係数を利用しうる。所定の摩擦係数は、メモリデバイス24によって、又は処理回路が通信しているデータベースによって、記憶されうる。
第2の機械学習モデル22bのトレーニングについて、処理回路22などのコンピューティングデバイス20は、異なるテクスチャを有する表面を表すための幾何オブジェクトを定義し、かつテクスチャ情報をそれぞれの幾何オブジェクトに関連付ける定型化された画像を、第2の機械学習モデルに提供するように構成される。第2の機械学習モデルは、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定する。それを行う際に、第2の機械学習モデルは、定型化された画像に現れる異なるテクスチャを有する表面の摩擦係数を決定するために、異なるテクスチャを有する表面に関連する所定の摩擦係数を利用しうる。第1の機械学習モデル22aと同様に、処理回路などのコンピューティングデバイスは、第2の機械学習モデルを反復的にトレーニングしうる。したがって、例示的実施形態の処理回路などのコンピューティングデバイスは、第2の機械学習モデルによって決定される表面のうちの少なくともいくつかに関連する摩擦係数を、定型化された画像の表面と同じテクスチャを有する表面と関連する所定の摩擦係数と比較するように構成されうる。
第2の機械学習モデル22bをトレーニングするために、処理回路22などのコンピューティングデバイス20は、第2の機械学習モデルにフィードバックを提供するように構成され、定型化された画像と同じテクスチャを有する表面に関連する摩擦係数と一致する摩擦係数の、第2の機械学習モデルによる決定を強化する。加えて、第2の機械学習モデルに提供されるフィードバックは、定型化された画像と同じテクスチャを有する表面に関連する摩擦係数に対して、所定量を上回るほど異なることなどによって、第2の機械学習モデルにより生成される摩擦係数が一致しない場合に、不一致を示すするように構成されうる。複数の定型化された画像に関してこのトレーニングプロセスを繰り返すことによって、処理回路などのコンピューティングデバイスは、第2の機械学習モデルをトレーニングし、画像に存在する異なるテクスチャを有する表面についての摩擦係数を正確に定義するように構成される。
例示的実施形態のコンピューティングデバイス20はまた、メモリデバイス又はコンピューティングデバイスが通信しているデータベースなどに、第2の機械学習モデル22bを記憶するための処理回路22、メモリデバイス24などの手段を含む。ブロック60を参照のこと。
いったんトレーニングされると、第1及び第2の機械学習モデル22a,22bは、図3に関連して上記で説明した方法などで、自律型陸上ビークル10のルート14の修正を容易にするために、処理回路22などのコンピューティングデバイス20によって利用されうる。この点について、コンピューティングデバイス、方法及びコンピュータプログラム製品は、自律型陸上ビークルが駆動される表面を考慮し、自律型陸上ビークルが滑る又は少なくとも部分的に制御を失うリスクを高めるような方法で変更された特定の表面を回避するために、自律型陸上ビークルが辿るルートが修正されうる。したがって、ルートを修正することによって、自律型陸上ビークルを巻き込むアクシデント又はその他の事故が低減されうる。
上記のように、図3は、自律型陸上ビークル10のルート14の修正を容易にするために、コンピューティングデバイス10、方法、及びコンピュータプログラム製品によって実行される工程を示すフローチャートであり、一方で、図4は、 自律型陸上ビークルのルートの修正を容易にするための機械学習モデルをトレーニングするために、コンピューティングデバイス、方法及びコンピュータプログラム製品によって実行される工程を示すフローチャートである。フローチャートの各ブロック、及びフローチャート内のブロックの組み合わせは、ハードウェア、ファームウェア、処理回路22、及び/又は1つ又は複数のコンピュータプログラム命令を含むソフトウェアの実行に関連する他のデバイスなどの様々な手段によって実装されうると理解されよう。例えば、上記に記載の手順のうちの1つ又は複数は、コンピュータプログラム命令によって具現化されうる。この点について、上記の手順を具現化するコンピュータプログラム命令は、コンピューティングデバイスのメモリデバイス24によって記憶され、処理回路などによって実行されうる。理解されるように、コンピュータプログラム命令のいずれかは、機械を製造するために、コンピュータ又は他のプログラム可能な装置(例えば、ハードウェア)にロードされうる。したがって、得られたコンピュータ又は他のプログラム可能な装置は、フローチャートブロックで指定された機能を実装する。これらのコンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能な装置に特定の方法で機能するように指示しうるコンピュータ可読メモリに記憶されうる。よって、コンピュータ可読メモリに記憶された命令は、フローチャートブロックで指定された機能を実装する製品を生産する。コンピュータプログラム命令はまた、コンピュータ又は他のプログラム可能な装置にロードされて、コンピュータ又は他のプログラム可能な装置で一連の工程が実行され、コンピュータに実装されるプロセスを生成し、コンピュータ又は他のプログラム可能な装置で実行する命令が、フローチャートブロックで指定された機能を実装するための工程を提供する。
したがって、フローチャートのブロックは、指定された機能を実行するための手段の組み合わせ、及び指定された機能を実行するための工程の組み合わせをサポートする。フローチャートの1つ又は複数のブロック、及びフローチャート内のブロックの組み合わせは、特定の機能を実行する専用のハードウェアベースのコンピュータシステム、又は専用のハードウェアとコンピュータ命令の組み合わせによって実装できることも理解されよう。
いくつかの実施形態では、上記の工程のうちの特定のものが、修正されるか、又は更に拡大されうる。更に、いくつかの実施形態では、追加のオプション工程が含まれうる。上記の工程に対する修正、追加、又は拡大は、任意の順序及び任意の組み合わせで実行されうる。
更に、本開示は下記の条項による実施形態を含む。
条項1.自律型陸上ビークル(10)のルート(14)の修正を容易にするための方法であって、
入力画像の定型化された画像を構築すること(34)であって、定型化された画像が、入力画像に存在する異なるテクスチャを有する表面を区別する、入力画像の定型化された画像を構築すること(34)と、
定型化された画像に基づいて、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定すること(36)と、
自律型陸上ビークルの所定のルートが延びる表面に関連すると決定された摩擦係数に基づいて、自律型陸上ビークルのルートが所定のルートから変更されるかどうかを決定すること(38)と
を含む、方法。
入力画像の定型化された画像を構築すること(34)であって、定型化された画像が、入力画像に存在する異なるテクスチャを有する表面を区別する、入力画像の定型化された画像を構築すること(34)と、
定型化された画像に基づいて、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定すること(36)と、
自律型陸上ビークルの所定のルートが延びる表面に関連すると決定された摩擦係数に基づいて、自律型陸上ビークルのルートが所定のルートから変更されるかどうかを決定すること(38)と
を含む、方法。
条項2.入力画像の定型化された画像を構築することが、画像に現れる異なるテクスチャを有する表面を区別するようにトレーニングされた第1の機械学習モデル(22a)を利用して、定型化された画像を生成することを含む、条項1に記載の方法。
条項3.入力画像の定型化された画像を構築することが、
入力画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義することと、
テクスチャ情報をそれぞれの幾何オブジェクトに関連付けることと
を含む、条項1又は2に記載の方法。
入力画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義することと、
テクスチャ情報をそれぞれの幾何オブジェクトに関連付けることと
を含む、条項1又は2に記載の方法。
条項4.摩擦係数を決定することが、定型化された画像に現れる異なるテクスチャを有する表面の摩擦係数を推定するようにトレーニングされた第2の機械学習モデル(22b)を利用して、摩擦係数を決定することを含む、条項1から3のいずれか一項に記載の方法。
条項5.自律型陸上ビークルのルートが所定のルートから変更されるとの決定に応じて、自律型陸上ビークル(10)のルート(14)を修正すること(40)を更に含む、条項1から4のいずれか一項に記載の方法。
条項6.修正されたルートを自律型陸上ビークル(10)のルーティングシステムに提供すること(42)を更に含む、条項5に記載の方法。
条項7.自律型陸上ビークル(10)の画像捕捉デバイスによって捕捉された入力画像を受信すること(30)を更に含む、条項1から6のいずれか一項に記載の方法。
条項8.入力画像が写真画像を含む、条項1から6のいずれか一項に記載の方法。
条項9.自律型陸上ビークル(10)のルート(14)の修正を容易にするように構成されたコンピューティングデバイス(20)であって、
入力画像の定型化された画像を構築すること(34)であって、定型化された画像が、入力画像に存在する異なるテクスチャを有する表面を区別する、入力画像の定型化された画像を構築すること(34)と、
定型化された画像に基づいて、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定すること(36)と、
自律型陸上ビークルの所定のルートが延びる表面に関連すると決定された摩擦係数に基づいて、自律型陸上ビークルのルートが所定のルートから変更されるかどうかを決定すること(38)と
を行うように構成された処理回路(22)を備える、コンピューティングデバイス(20)。
入力画像の定型化された画像を構築すること(34)であって、定型化された画像が、入力画像に存在する異なるテクスチャを有する表面を区別する、入力画像の定型化された画像を構築すること(34)と、
定型化された画像に基づいて、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定すること(36)と、
自律型陸上ビークルの所定のルートが延びる表面に関連すると決定された摩擦係数に基づいて、自律型陸上ビークルのルートが所定のルートから変更されるかどうかを決定すること(38)と
を行うように構成された処理回路(22)を備える、コンピューティングデバイス(20)。
条項10.処理回路(22)が、画像に現れる異なるテクスチャを有する表面を区別するようにトレーニングされた第1の機械学習モデル(22a)を備え、処理回路が、第1の機械学習モデルを利用して、入力画像の定型化された画像を構築するように構成されている、条項9に記載のコンピューティングデバイス(20)。
条項11.処理回路(22)が、入力画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義すること、及びテクスチャ情報をそれぞれの幾何オブジェクトに関連付けることによって、入力画像の定型化された画像を構築するように構成されている、条項9又は10に記載のコンピューティングデバイス(20)。
条項12.処理回路(22)が、定型化された画像に現れる異なるテクスチャを有する表面の摩擦係数を推定するようにトレーニングされた第2の機械学習モデル(22b)を備え、処理回路が、第2の機械学習モデルを利用して、摩擦係数を決定するように構成されている、条項9から11のいずれか一項に記載のコンピューティングデバイス(20)。
条項13.処理回路(22)が、自律型陸上ビークルのルートが所定のルートから変更されるとの決定に応じて、自律型陸上ビークル(10)のルート(14)を修正する(40)ように更に構成されている、条項9から12のいずれか一項に記載のコンピューティングデバイス(20)。
条項14.修正されたルートを自律型陸上ビークル(10)のルーティングシステムに提供する(42)ように構成された、処理回路(22)に応じた、通信インターフェース(26)を更に備える、条項13に記載のコンピューティングデバイス(20)。
条項15.自律型陸上ビークル(10)の画像捕捉デバイスによって捕捉された入力画像を受信する(30)ように構成された通信インターフェース(26)を更に備える、条項9から14のいずれか一項に記載のコンピューティングデバイス(20)。
条項16.入力画像が写真画像を含む、条項9から15のいずれか一項に記載のコンピューティングデバイス(20)。
条項17.自律型陸上ビークル(10)のルート(14)の修正を容易にするために機械学習モデルをトレーニングするための方法であって、
異なる既知のテクスチャを有する表面を描写する複数のトレーニング画像に基づいて、異なるテクスチャを有する表面を区別し、それぞれのトレーニング画像に存在する異なるテクスチャを有する表面を区別するそれぞれのトレーニング画像から定型化された画像を構築するように、第1の機械学習モデル(22a)をトレーニングすること(54)と、
第1の機械学習モデルを記憶すること(56)と、
異なるテクスチャを有する表面を区別する複数の定型化された画像に基づいて、また異なるテクスチャを有する表面に関連する所定の摩擦係数に基づいて、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定するように第2の機械学習モデル(22b)をトレーニングすること(58)と、
第2の機械学習モデルを記憶すること(60)と
を含む、方法。
異なる既知のテクスチャを有する表面を描写する複数のトレーニング画像に基づいて、異なるテクスチャを有する表面を区別し、それぞれのトレーニング画像に存在する異なるテクスチャを有する表面を区別するそれぞれのトレーニング画像から定型化された画像を構築するように、第1の機械学習モデル(22a)をトレーニングすること(54)と、
第1の機械学習モデルを記憶すること(56)と、
異なるテクスチャを有する表面を区別する複数の定型化された画像に基づいて、また異なるテクスチャを有する表面に関連する所定の摩擦係数に基づいて、異なるテクスチャを有する表面のうちの少なくともいくつかに関連する摩擦係数を決定するように第2の機械学習モデル(22b)をトレーニングすること(58)と、
第2の機械学習モデルを記憶すること(60)と
を含む、方法。
条項18.それぞれのトレーニング画像から第2の機械学習モデル(22b)をトレーニングするために利用される複数の定型化された画像を構築するために、第1の機械学習モデル(22a)を利用することを更に含む、条項17に記載の方法。
条項19.第1の機械学習モデル(22a)が、それぞれのトレーニング画像に存在する異なるテクスチャを有する表面を表すための幾何オブジェクトを定義すること、及びテクスチャ情報をそれぞれの幾何オブジェクトに関連付けることによって、それぞれのトレーニング画像から定型化された画像を構築するようにトレーニングされる、条項17又は18に記載の方法。
条項20.自律型陸上ビークル(10)が駆動可能である表面を描写するトレーニング画像を受信すること(50)を更に含む、条項17から19のいずれか一項に記載の方法。
上記の説明及び関連する図面に提示された教示の利益を有するこれらの発明に関連する、本明細書に記載された発明の多くの修正例及び他の実施形態が、当業者には想起されよう。従って、本発明は開示された特定の実施形態に限定されないこと、及び、修正例及び他の実施形態は添付の特許請求の範囲に含まれることが意図されることを理解されたい。更に、上述の説明及び関連する図面は、要素及び/又は機能の特定の例示的な組み合わせに照らして例示的な実施形態を説明しているが、添付の特許請求の範囲から逸脱しなければ、代替的な実施形態によって、要素及び/又は機能の様々な組み合わせが提供されうると認識すべきである。つまり、添付の特許請求の範囲の一部に明記されうるように、例えば、明示的に上述されているものと異なる要素及び/又は機能の組み合わせも想定される。本明細書では特定の用語が用いられているが、それらは、一般的かつ解説的な意味でのみ使用されており、限定を目的とするものではない。
Claims (15)
- 自律型陸上ビークル(10)のルート(14)の修正を容易にするための方法であって、
前記自律型陸上ビークル(10)の前記ルートに沿って延びる少なくとも1つの表面の入力画像を受信すること(30)と、
前記入力画像の定型化された画像を構築すること(34)であって、前記定型化された画像は、前記入力画像に含まれる異なる表面を幾何学的オブジェクトとして表す前記入力画像の強調版であり、テクスチャがそれぞれの幾何学的オブジェクトに関連付けられており、前記定型化された画像が、前記入力画像に存在する異なるテクスチャを有する表面を区別する、入力画像の定型化された画像を構築すること(34)と、
前記定型化された画像に基づいて、異なるテクスチャを有する前記表面のうちの少なくともいくつかに関連する摩擦係数を決定すること(36)と、
前記自律型陸上ビークルの所定のルートが延びる表面に関連すると決定された前記摩擦係数に基づいて、前記自律型陸上ビークルの前記ルートが前記所定のルートから変更されるかどうかを決定すること(38)と
を含む、方法。 - 前記入力画像の前記定型化された画像を構築することが、画像に現れる異なるテクスチャを有する表面を区別するようにトレーニングされた第1の機械学習モデル(22a)を利用して、前記定型化された画像を生成することを含む、請求項1に記載の方法。
- 前記入力画像の前記定型化された画像を構築することが、
前記入力画像に存在する異なるテクスチャを有する前記表面を表すための幾何オブジェクトを定義することと、
テクスチャ情報をそれぞれの幾何オブジェクトに関連付けることと
を含む、請求項1又は2に記載の方法。 - 前記摩擦係数を決定することが、定型化された画像に現れる異なるテクスチャを有する表面の前記摩擦係数を推定するようにトレーニングされた第2の機械学習モデル(22b)を利用して、前記摩擦係数を決定することを含む、請求項1から3のいずれか一項に記載の方法。
- 前記自律型陸上ビークルの前記ルートが前記所定のルートから変更されるとの決定に応じて、前記自律型陸上ビークル(10)の前記ルート(14)を修正すること(40)を更に含む、請求項1から4のいずれか一項に記載の方法。
- 修正された前記ルートを前記自律型陸上ビークル(10)のルーティングシステムに提供すること(42)を更に含む、請求項5に記載の方法。
- 前記自律型陸上ビークル(10)の画像捕捉デバイスによって捕捉された前記入力画像を受信すること(30)を更に含む、請求項1から6のいずれか一項に記載の方法。
- 前記入力画像が写真画像を含む、請求項1から7のいずれか一項に記載の方法。
- 自律型陸上ビークル(10)のルート(14)の修正を容易にするように構成されたコンピューティングデバイス(20)であって、
前記自律型陸上ビークルの前記ルートに沿って延びる少なくとも1つの表面の入力画像を受信すること(30)と、
入力画像の定型化された画像を構築すること(34)であって、前記定型化された画像は、前記入力画像に含まれる異なる表面を幾何学的オブジェクトとして表す前記入力画像の強調版であり、テクスチャがそれぞれの幾何学的オブジェクトに関連付けられており、前記定型化された画像が、前記入力画像に存在する異なるテクスチャを有する表面を区別する、入力画像の定型化された画像を構築すること(34)と、
前記定型化された画像に基づいて、異なるテクスチャを有する前記表面のうちの少なくともいくつかに関連する摩擦係数を決定すること(36)と、
前記自律型陸上ビークルの所定のルートが延びる表面に関連すると決定された前記摩擦係数に基づいて、前記自律型陸上ビークルの前記ルートが前記所定のルートから変更されるかどうかを決定すること(38)と
を行うように構成された処理回路(22)を備える、コンピューティングデバイス(20)。 - 前記処理回路(22)が、画像に現れる異なるテクスチャを有する表面を区別するようにトレーニングされた第1の機械学習モデル(22a)を備え、前記処理回路が、前記第1の機械学習モデルを利用して、前記入力画像の前記定型化された画像を構築するように構成されている、請求項9に記載のコンピューティングデバイス(20)。
- 前記処理回路(22)が、前記入力画像に存在する異なるテクスチャを有する前記表面を表すための幾何オブジェクトを定義すること、及びテクスチャ情報をそれぞれの幾何オブジェクトに関連付けることによって、前記入力画像の前記定型化された画像を構築するように構成されている、請求項9又は10に記載のコンピューティングデバイス(20)。
- 前記処理回路(22)が、定型化された画像に現れる異なるテクスチャを有する表面の摩擦係数を推定するようにトレーニングされた第2の機械学習モデル(22b)を備え、前記処理回路が、前記第2の機械学習モデルを利用して、前記摩擦係数を決定するように構成され、又はオプションで、前記処理回路(22)が、前記自律型陸上ビークル(10)の前記ルート(14)が前記所定のルートから変更されるとの決定に応じて、前記自律型陸上ビークル(10)の前記ルート(14)を修正する(40)ように更に構成されている、請求項9から11のいずれか一項に記載のコンピューティングデバイス(20)。
- 修正された前記ルートを前記自律型陸上ビークル(10)のルーティングシステムに提供する(42)ように構成された、前記処理回路(22)に応じた、通信インターフェース(26)を更に備える、請求項12に記載のコンピューティングデバイス(20)。
- 前記自律型陸上ビークル(10)の画像捕捉デバイスによって捕捉された前記入力画像を受信する(30)ように構成された通信インターフェース(26)を更に備える、請求項9から13のいずれか一項に記載のコンピューティングデバイス(20)。
- 前記入力画像が写真画像を含む、請求項9から14のいずれか一項に記載のコンピューティングデバイス(20)。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163150145P | 2021-02-17 | 2021-02-17 | |
| US63/150,145 | 2021-02-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022125988A JP2022125988A (ja) | 2022-08-29 |
| JP7908029B2 true JP7908029B2 (ja) | 2026-08-19 |
Family
ID=
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017503715A (ja) | 2013-11-15 | 2017-02-02 | コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト | 車載カメラ・システムを用いた路面状態を割り出すための方法および装置 |
| US20180276832A1 (en) | 2015-09-24 | 2018-09-27 | Apple Inc. | Systems and methods for surface monitoring |
| JP2019137175A (ja) | 2018-02-08 | 2019-08-22 | 株式会社Subaru | 車両の制御装置及び車両の制御方法 |
| JP2020008392A (ja) | 2018-07-06 | 2020-01-16 | 株式会社Subaru | ナビゲーション装置 |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017503715A (ja) | 2013-11-15 | 2017-02-02 | コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト | 車載カメラ・システムを用いた路面状態を割り出すための方法および装置 |
| US20180276832A1 (en) | 2015-09-24 | 2018-09-27 | Apple Inc. | Systems and methods for surface monitoring |
| JP2019137175A (ja) | 2018-02-08 | 2019-08-22 | 株式会社Subaru | 車両の制御装置及び車両の制御方法 |
| JP2020008392A (ja) | 2018-07-06 | 2020-01-16 | 株式会社Subaru | ナビゲーション装置 |