JP6949238B2 - マルチセンサ検出の融合を用いたロジスティクスグラウンド支援装置において衝突回避を向上させるためのシステム及び方法 - Google Patents

マルチセンサ検出の融合を用いたロジスティクスグラウンド支援装置において衝突回避を向上させるためのシステム及び方法 Download PDF

Info

Publication number
JP6949238B2
JP6949238B2 JP2020544634A JP2020544634A JP6949238B2 JP 6949238 B2 JP6949238 B2 JP 6949238B2 JP 2020544634 A JP2020544634 A JP 2020544634A JP 2020544634 A JP2020544634 A JP 2020544634A JP 6949238 B2 JP6949238 B2 JP 6949238B2
Authority
JP
Japan
Prior art keywords
vehicle
sensor
lidar
mobile industrial
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020544634A
Other languages
English (en)
Other versions
JP2021509381A (ja
Inventor
ジョン イー． ボール、
ジョン イー． ボール、
ザ フィフス、 ルーベン エフ． バーチ
ザ フィフス、 ルーベン エフ． バーチ
ルーカス ディー． ケーグル、
ルーカス ディー． ケーグル、
コリン エス． ダベンポート、
コリン エス． ダベンポート、
ジェームズ アール． ギャフォード、
ジェームズ アール． ギャフォード、
タイラー ジェイ． ハニス、
タイラー ジェイ． ハニス、
アンドリュー アール． ヘグマン、
アンドリュー アール． ヘグマン、
アンドリュー エム． ルクレール、
アンドリュー エム． ルクレール、
ユーチェン リュ—、
ユーチェン リュ―、
マイケル エス． マッツォーラ、
マイケル エス． マッツォーラ、
ハワード ジー． マッキニー、
ハワード ジー． マッキニー、
タスミア レザ、
タスミア レザ、
チャン シ、
チャン シ、
パン ウェイ、
パン ウェイ、
デニスン ダブリュー． イアコミニ、
デニスン ダブリュー． イアコミニ、
Original Assignee
フェデックス コーポレイト サービシズ，インコーポレイティド
フェデックス コーポレイト サービシズ，インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フェデックス コーポレイト サービシズ，インコーポレイティド, フェデックス コーポレイト サービシズ，インコーポレイティド filed Critical フェデックス コーポレイト サービシズ，インコーポレイティド
Publication of JP2021509381A publication Critical patent/JP2021509381A/ja
Application granted granted Critical
Publication of JP6949238B2 publication Critical patent/JP6949238B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/32—Ground or aircraft-carrier-deck installations for handling freight
    • B64F1/322—Cargo loaders specially adapted for loading air freight containers or palletized cargo into or out of the aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/32—Ground or aircraft-carrier-deck installations for handling freight
    • B64F1/326—Supply vehicles specially adapted for transporting catering to and loading into the aircraft

Description

本開示は、一般に、衝突回避システムの分野におけるシステム、装置、及び方法に関連し、より具体的には、貨物トラクタ及び関連する台車等の移動式産業車両によって使用されるための向上した衝突回避構造及び技術に関連するシステム、装置、及び方法の様々な態様に関連する。
（優先出願）
本出願は、以下の関連の共同所有される米国仮特許出願に対する優先権の利益をここに主張する。“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｅｎｈａｎｃｅｄ Ｃｏｌｌｉｓｉｏｎ ａｖｏｉｄａｎｃｅ ｏｎ Ｌｏｇｉｓｔｉｃｓ Ｇｒｏｕｎｄ Ｓｕｐｐｏｒｔ Ｅｑｕｉｐｍｅｎｔ Ｕｓｉｎｇ Ｍｕｌｔｉ−ｓｅｎｓｏｒ Ｄｅｔｅｃｔｉｏｎ Ｆｕｓｉｏｎ”と題された２０１８年２月２６日に出願された米国仮特許出願第６２／６３５，２７４号、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｅｎｈａｎｃｅｄ Ｃｏｌｌｉｓｉｏｎ ａｖｏｉｄａｎｃｅ ｏｎ Ｌｏｇｉｓｔｉｃｓ Ｇｒｏｕｎｄ Ｓｕｐｐｏｒｔ Ｅｑｕｉｐｍｅｎｔ Ｕｓｉｎｇ Ｍｕｌｔｉ−ｓｅｎｓｏｒ Ｄｅｔｅｃｔｉｏｎ Ｆｕｓｉｏｎ”と題された２０１８年３月２９日に出願された米国仮特許出願第６２／６５０，１１８号、及び“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｅｎｈａｎｃｅｄ Ｃｏｌｌｉｓｉｏｎ ａｖｏｉｄａｎｃｅ ｏｎ Ｌｏｇｉｓｔｉｃｓ Ｇｒｏｕｎｄ Ｓｕｐｐｏｒｔ Ｅｑｕｉｐｍｅｎｔ Ｕｓｉｎｇ Ｍｕｌｔｉ−ｓｅｎｓｏｒ Ｄｅｔｅｃｔｉｏｎ Ｆｕｓｉｏｎ”と題された２０１８年５月２日に出願された米国仮特許出願第６２／６６５，８２２号である。
衝突回避は、先進運転支援システム（ＡＤＡＳ）、産業オートメーション、ロボット工学等の多くの用途で重要になる場合がある。従来の衝突回避システムは、衝突の重大度又は発生を軽減し、又は前方衝突警告を発することが一般的に知られている。
産業オートメーションの設定では、損傷を回避する必要のある人や高価値資産を保護するために、特定の領域は一般的に車両（例えば、自動運転車又は非自動運転車）の立ち入りが禁止されている。これらの領域は、マッピングによって隔離される場合があり（例えば、ＧＰＳ座標、ジオフェンシング等）、又は立ち入り禁止領域を示すマーカによって定義される。次に、衝突回避システムは、立ち入り禁止領域や制限された空間を回避するために使用される場合があり、これにより人及び／又は高価値資産を保護する。
従来の衝突回避システムに共通する問題の１つは、誤判定の検出と反応に起因する場合がある。例えば、衝突回避システムは、オブジェクト／マーカを検出し、意図されたマーカ及び意図されていない反射面（作業者用安全ベスト等）を線引きしない場合、誤判定に悩まされる可能性がある。誤判定の検出は、通常、全ての検出に対する制御システムの応答により、最適ではないパフォーマンスをもたらす。誤判定に対する制御応答は、不必要なアクションを引き起こし、効率の低下をもたらす可能性がある。自律／半自律システムへの誤判定の影響は、用途に固有のものである。誤判定検出の許容度は、システム設計に統合される場合がある。用途に対する感知プラットフォームの機能は、誤判定検出と逸失した正判定検出とによって定義される場合がある。一部のタイプのセンサを使用する衝突回避システムで遭遇する他の一般的な問題は、様々な程度の照明を処理できないこと、及び色を区別できないことである可能性がある。
これらのタイプの問題の１つ以上に対処するには、衝突を回避してロジスティクス車両（貨物トラクタ及び関連する台車等）に損傷を与えることを回避する方法を向上させるように展開され、これにより、システムパフォーマンスが向上し、誤判定が減少し得る技術ソリューションが必要である。特に、記載されているのは、産業車両が光検出測距（ＬｉＤＡＲ）センサ及び複数のカラーカメラを使用してマーカのタイプとしてビーコンを検出し、１つ以上のモデル予測制御システムを展開して、高価値資産との接触又は損傷を回避し、オブジェクト検出及び回避の向上した実装を提供するための方法として、制限された空間に車両が入るのを阻止するための様々な例示的なタイプの線引き方法及びシステムである。
以下の記述では、特定の態様及び実施形態が明らかになるであろう。態様及び実施形態は、これらの最も広範な意味で、これらの態様及び実施形態の１つ以上の特徴を有さずに実施し得ることを理解するべきである。これらの態様及び実施形態は、単なる例示であることを理解するべきである。
一般に、本開示の態様は、誤ったオブジェクト検出を回避し、移動式産業車両（例えば、１つ以上のロジスティクス作業の一部として輸送及び移動される物品を積載した複数の台車を引くことが可能な貨物トラクタ）等の牽引車両の同じ走行経路を辿らない被牽引台車が関与する衝突を回避する能力を向上させる改善された衝突回避システム、方法、装置、及び技術に関する。
本開示の一態様では、マルチセンサデータ融合に基づいて高価値資産の移動式産業車両による衝突回避を向上させるための方法が記載される。この態様では、高価値資産は、高価値資産に対して配置された１つ以上の反射ビーコンを有する。方法は、移動式産業車両におけるＬｉＤＡＲセンサが、移動式産業車両に関連する１つ以上の反射ビーコンを検出することで開始する。次に、移動式産業車両におけるカメラセンサが、移動式産業車両に対する１つ以上のオブジェクトを検出する。方法は、次に、移動式産業車両上のセンサ処理システムによって、ＬｉＤＡＲセンサ及びカメラセンサのそれぞれによって検出されたセンサデータを融合して、検出されたＬｉＤＡＲセンサデータ及び検出されたカメラセンサデータを使用して、マルチセンサ融合データソースに基づいて、反射ビーコンの相対位置を識別する。方法は、次に、移動式産業車両上のモデル予測コントローラによって、制御ソリューションを決定し、各制御ソリューションは、反射ビーコンの検証された相対位置から半径方向に投影されたブリーチング点への推定経路に基づいて、離散的な瞬間における移動式産業車両の閾値許容速度を定義する。方法は、モデル予測コントローラが、パフォーマンスコスト関数に基づいて、最適閾値許容速度を有する最適ソリューションとして制御ソリューションのうちの１つを識別することに進む。方法は、次に、移動式産業車両上の車両作動システムによって、移動式産業車両に時間ウィンドウ内で移動動作を変更させ、移動式産業車両の現在の速度に対して所望の移動動作を達成するために、移動式産業車両が最適閾値許容速度を超えたときに、応答的に車速制御要素を作動させる。
本開示の別の態様では、マルチセンサデータ融合に基づいて高価値資産の移動式産業車両による衝突回避を向上させるためのシステムが記載される。この追加の態様では、高価値資産は、その近くに配置された１つ以上の反射ビーコンを有する。一般に、この態様におけるシステムは、車両上の感知処理システム、車両の前部におけるＬｉＤＡＲ及びカメラセンサ、センサデータを融合することが可能なマルチプロセッサモジュール、モデル予測コントローラ、及び車両作動システムを含む。マルチプロセッサモジュールは、ＬｉＤＡＲセンサ及びカメラセンサのそれぞれからの入力に応答し、こうした異なるセンサのそれぞれによって検出されたセンサデータを有利に融合して、検出されたＬｉＤＡＲセンサデータ及び検出されたカメラセンサデータを使用して、マルチセンサ融合データソースに基づいて、反射ビーコンの相対位置を識別する。移動式産業車両のモデル予測コントローラは、複数の制御ソリューションを決定し、その１つを最適制御ソリューションとして識別するようにプログラム的に動作することによって構成される。各制御ソリューションは、反射ビーコンの検証された相対位置から半径方向に投影されたブリーチング点への推定経路に基づいて、離散的な瞬間における移動式産業車両の閾値許容速度を定義する。モデル予測コントローラは、パフォーマンスコスト関数に基づいて、最適閾値許容速度に関連する最適ソリューションとして制御ソリューションのうちの１つを識別する。（車両アクチュエータを有する）車両作動システムは、車両が高価値資産との衝突を回避するために車両の移動動作を変化させることによって、車両が最適閾値許容速度を超えたときに応答するように構成される。
さらに別の態様では、マルチセンサデータ融合に基づいて高価値資産の移動式産業車両による衝突回避を向上させるための別のシステムが記載される。このさらなる態様において、向上されたシステムは、高価値資産上の予め指定された位置に対して配置された反射ビーコンと、車両上の感知処理システムと、車両上のモデル予測コントローラと、車両上の車両作動システムとを有する。感知処理システムは、移動式産業車両の前方にある１つ以上の反射ビーコンを検出するために前方向きに取り付けられたＬｉＤＡＲセンサと、移動式産業車両の前方にある１つ以上のオブジェクトを検出するために前方向きに取り付けられたカメラセンサとを有する。感知処理システムは、ＬｉＤＡＲセンサ及びカメラセンサからの入力に応答するマルチプロセッサモジュールをさらに含み、ＬｉＤＡＲセンサ及びカメラセンサのそれぞれによって検出されたセンサデータを融合して、検出されたＬｉＤＡＲセンサデータ及び検出されたカメラセンサデータを使用して、マルチセンサ融合データソースに基づいて反射ビーコンの相対位置を識別するように動作する。ＬｉＤＡＲセンサ及びカメラセンサのそれぞれによって検出されたセンサデータを融合して１つ以上の反射ビーコンの相対位置を識別するために、感知処理システムのマルチプロセッサモジュールは、１つ以上のオブジェクトを検出するときにカメラセンサによって生成されたセンサデータに基づいて１つ以上の境界ボックスを決定すること、反射ビーコンを検出するときにＬｉＤＡＲセンサによって生成されたセンサデータに基づいてマッピング空間を決定すること、決定された境界ボックスを決定されたマッピング空間に投影すること、及び反射ビーコンの相対位置を検証するために、決定された境界ボックスをマッピング空間内で検出されたオブジェクトと比較することを行うように動作可能に構成されかつプログラム的に動作する。移動式産業車両のモデル予測コントローラは、複数の制御ソリューションを決定することであって、各制御ソリューションは、反射ビーコンの検証された相対位置から半径方向に投影されたブリーチング点への推定経路に基づいて、離散的な瞬間における移動式産業車両の閾値許容速度を定義すること、及びパフォーマンスコスト関数に基づいて、制御ソリューションの１つを最適ソリューションとして識別することであって、最適制御ソリューションは、最適閾値許容速度に関連付けられることを行うようにプログラム的に動作することによって構成される。車両作動システムは、移動式産業車両が高価値資産との衝突を回避するために移動式産業車両の移動動作を変化させることによって、移動式産業車両が最適閾値許容速度を超えたときに応答するように構成される車両アクチュエータを少なくとも有する。
本開示のさらに別の態様では、マルチセンサデータ融合に基づいて移動式産業車両の進行方向にあるオブジェクトの移動式産業車両によるフロントガード衝突回避を向上させるためのシステムが記載される。このさらなる態様において、システムは、移動式産業車両上に配置された感知処理システムと、車両上のモデル予測コントローラと、車両上の車両作動システムとを含む。感知処理システムは、移動式産業車両の前方にある１つ以上のオブジェクトを検出するために前方向きに取り付けられたＬｉＤＡＲセンサと、移動式産業車両の前方にあるオブジェクトを検出するために前方向きに取り付けられたカメラセンサとを有する。感知処理システムは、ＬｉＤＡＲセンサ及びカメラセンサのそれぞれからの入力に応答するマルチプロセッサモジュールも含み、ＬｉＤＡＲセンサ及びカメラセンサのそれぞれによって検出されたセンサデータを融合して、検出されたＬｉＤＡＲセンサデータ及び検出されたカメラセンサデータを使用して、マルチセンサ融合データソースに基づいてオブジェクトの相対位置を識別するように動作する。感知処理システムのマルチプロセッサモジュールは、ＬｉＤＡＲセンサ及びカメラセンサのそれぞれによって検出されたセンサデータを融合してオブジェクトの相対位置を識別するために、感知処理システムのマルチプロセッサモジュールは、オブジェクトを検出するときにカメラセンサによって生成されたセンサデータに基づいて１つ以上の境界ボックスを決定すること、オブジェクトを検出するときにＬｉＤＡＲセンサによって生成されたセンサデータに基づいてマッピング空間を決定すること、決定された境界ボックスを決定されたマッピング空間に投影すること、及びオブジェクトの相対位置を検証するために、決定された境界ボックスをマッピング空間内で検出されたオブジェクトと比較することを行うように動作可能に構成されかつプログラム的に動作することによって１つ以上のオブジェクトの相対位置を識別するために、ＬｉＤＡＲセンサ及びカメラセンサのそれぞれによって検出されたセンサデータを融合するように動作可能に構成される。モデル予測コントローラは、異なる可能な制御ソリューションを決定することであって、各制御ソリューションは、オブジェクトの検証された相対位置から半径方向に投影されたブリーチング点への推定経路に基づいて、離散的な瞬間における閾値許容速度を定義すること、及びパフォーマンスコスト関数に基づいて、最適閾値許容速度に関連付けられる最適ソリューションとして制御ソリューションの１つを識別することを行うようにプログラム的に動作することによって構成される。車両作動システムは、移動式産業車両がオブジェクトとの衝突を回避するために移動式産業車両の移動動作を変化させることによって、移動式産業車両が最適閾値許容速度を超えたときに応答するように構成される車両アクチュエータを少なくとも有する。
さらに別の態様では、マルチモード車載衝突回避システムを使用し、複数の異なる動作領域で動作し得る移動式産業車両による衝突回避を向上させるための方法が記載される。この態様では、方法は、移動式産業車両におけるマルチモード車載衝突回避システムが、移動式産業車両が異なる動作領域の中の第１の動作領域で動作している間に、第１の衝突回避モードで動作することで開始する。次に、マルチモード車載衝突回避システム上の複数のセンサの１つが、オブジェクト識別マーカ（ＡｒＵｃｏマーカ等）を検出し、検出された第１のオブジェクト識別マーカを動作境界識別マーカとして識別する。次に、方法は、移動式産業車両が動作境界識別マーカに関連するゾーン境界を通過し、第２の異なる動作領域に入るときをセンサが検出することで進み、ここでマルチモード車載衝突回避システムは、第２の異なる動作領域にある場合に、第１の衝突回避モードから第２の衝突回避モードに自動的かつ自律的に動作を変更してマルチモード車載衝突回避システムの動作を制御する。この状況において、第２の衝突回避モードは、第１の衝突回避モードにおける動作パラメータと比較してより制限的な少なくとも１つの動作パラメータ（例えば、制限速度等）を有する。
開示される実施形態及び例示のこうした態様及び他の態様のさらなる利点は、以下の説明において部分的に記載され、一部は説明から明らかであり、又は本発明の実施によって知ることができる。上記の一般的な説明及び以下の詳細な説明の両方が、単に例示及び説明のためのものであり、本発明を制限するものではないことが理解されよう。
本明細書に組み込まれ、その一部を構成する添付の図面は、本発明の１つ以上の原理によるいくつかの実施形態を示し、この記載と共に、本発明の１つ以上の原理を説明するのに役立つ。以下に図面を説明する。
本発明の一実施形態による、ロジスティクス環境に配置された例示的なトラクタ衝突回避システム動作図である。
本発明の一実施形態による、例示的な衝突回避システムの例示的な高レベル機能ブロック図である。
本発明の一実施形態による、システム内の異なる要素及び役割の論理的なセグメント化によって示される例示的な衝突回避システムのより詳細な図である。
本発明の一実施形態による、例示的な衝突回避システムの部分に関する例示的な実装の詳細図である。
本発明の一実施形態による、例示的な衝突回避システムと共に使用するための例示的なパッシブビーコンの詳細を示す図である。
本発明の実施形態による、カメラ及びＬｉＤＡＲセンサによって見られ、例示的な衝突回避システムのための訓練入力として使用される例示的なパッシブビーコンを示す例示的な画像である。
本発明の一実施形態による、例示的な衝突回避システムのためのさらなる例示的な訓練入力を有する図である。
本発明の一実施形態による、例示的な衝突回避システムの例示的な訓練統計を示す図である。
本発明の一実施形態による、例示的な衝突回避システムを使用して向上した衝突回避に関連する例示的な一般的処理ステップのブロック図である。
本発明の一実施形態による、例示的な衝突回避システムを配備し得る例示的なトラクタ（産業車両）及び後続の台車（トレーラ）の推定及び予測された動きに関連する例示的な運動学モデル視覚化を図示する一連の図である。
本発明の一実施形態による、牽引車両システムの瞬時状態を決定する動的モデル化フレームの例示的なフレームワーク図である。
本発明の一実施形態による、例示的な単一剛体モデルの図である；
本発明の一実施形態による、４つの被牽引ユニットを有する例示的な移動牽引車両システムの図である。
本発明の一実施形態による、例示的な牽引車両と、２つの被牽引車両ユニットとを有しする牽引車両システムの例示的な幾何学的モデルの図であり、ヒッチ点を示している。
本発明の一実施形態による、例示的な被牽引車両、そのヒッチ点、及び関連するベクトルの図である。
本発明の一実施形態による、トラクタ−トレーラモデルにおける特定の長さを示す、例示的な牽引車両及び１つの被牽引車両（トレーラ）の図である。
本発明の実施形態による、例示的な牽引車両及び２つの被牽引車両（トレーラ）例示的な縮尺モデルの図であり、一連の仮想三角形を定義する特定の長さ及び特定の半径を示している。
１８Ａ−１８Ｃは、本発明の一実施形態による、例示的な牽引車両と例示的な被牽引車両の異なる構成状態を示す図である。
本発明の一実施形態による、図１８Ａ−１８Ｃからの例示的な牽引車両と例示的な被牽引車両との間の三角関係を示す図である。
本発明の一実施形態による、例示的なシステムアーキテクチャを示す図である。
本発明の一実施形態による、保護領域の近くに配置された異なるビーコンに対して配置されかつ移動する車両を示す例示的な図である。
本発明の一実施形態による、データ融合のための例示的なブロック図である。
本発明の一実施形態による、信号処理システムを実装するために使用される処理モジュールのための例示的な高レベルデータフロー図である。
本発明の一実施形態による、例示的なパッシブビーコンの図である。
本発明の一実施形態による、ＬｉＤＡＲセンサの前に配置された例示的なパッシブビーコンに対するＬｉＤＡＲセンサからの例示的なＬｉＤＡＲビームの図である。
本発明の一実施形態による、ＬｉＤＡＲ点群の例示的なスキャンの図である。
本発明の一実施形態による、例示的なビーコンリターンの図である。
本発明の一実施形態による、ＬｉＤＡＲ情報からオブジェクトに関する特徴を抽出することの一部として使用される特徴及びそのような特徴に関する情報の例示的な表である。
本発明の一実施形態による、ＳＶＭ訓練オプティマイザによって選択された最適な特徴重みを示すグラフである。
本発明の一実施形態による、二次元ＳＶＭのグラフ例である。
本発明の一実施形態による、ビーコンと非ビーコンのＬｉＤＡＲ判別値の例示的な確率分布関数（ＰＤＦ）を示すグラフである。
本発明の一実施形態による、ＬｉＤＡＲの座標フレーム内の範囲／距離及び角度推定値に投影される、カメラからの境界ボックスからのデータフローの図である。
本発明の一実施形態による、そのような情報をマッピングするための例示的なニューラルネットワーク構造を使用して、ＬｉＤＡＲの座標フレーム内の範囲／距離及び角度推定値に投影される、カメラからの境界ボックスからのデータフローのより詳細な図である。
部分（ａ）及び（ｂ）と共に、本発明の一実施形態による、２つの異なる例示的なデータフロー及び融合処理のブロックの図を示す。
部分（ａ）−（ｄ）と共に、本発明の一実施形態による、ファジー論理を使用してデータ融合を実行する際の、様々な異なる例示的なファジーメンバーシップ関数及びファジー論理出力のグラフ表示を示す。
本発明の実施形態による、異なる処理技術を使用し、ハイパーパラメータを使用して信頼度スコアを融合させたＬｉＤＡＲ及びカメラ情報のデータフロー及び処理の図である；
本発明の一実施形態による、ＬｉＤＡＲ訓練及び混同行列情報のテストを示す一連の表である。
本発明の一実施形態による、マルチセンサデータ融合に基づく高価値資産の移動式産業車両による向上した衝突回避のための例示的な方法のフロー図である。
本発明の一実施形態による、別の例示的なロジスティクス環境に配置された別の例示的なトラクタ衝突回避システム動作図である。
本発明の一実施形態による、例示的なトラクタ衝突回避システムが例示的な走行車線モードで動作している、別の例示的なロジスティクス環境に配置された別の例示的なトラクタ衝突回避システム動作図の図である。
本発明の一実施形態による、例示的なトラクタ衝突回避システムが例示的な航空機ゲート領域モードで動作している、別の例示的なロジスティクス環境に配置された別の例示的なトラクタ衝突回避システム動作図の図である。
本発明の一実施形態による、マルチモード車載衝突回避システムを使用し、複数の異なる動作領域で動作し得る移動式産業車両による衝突回避を向上させるための例示的な方法のフロー図である。
ここで、様々な例示的な実施形態を詳細に参照する。可能な限り、同じ又は類似の部分を参照するために、図面及び説明で同じ参照番号が使用されている。しかしながら、当業者は、異なる実施形態が、それぞれの実施形態の意図された展開及び動作環境の必要性に従って、異なる方法で特定の部分を実装し得ることを理解するであろう。
以下に、１つ以上の台車又はトレーラを引く貨物トラクタ等の様々な移動式産業車両の動作中に、オブジェクト及び人（例えば、高価値資産）との衝突を防止及び回避する方法を改善するために展開及び使用される様々なシステム、装置、及び適用方法の様々な実施形態を説明する。さらに、当業者であれば、以下により詳細に説明するように、付加的な実施形態は、これらの他の点では独立したソリューションのいくつかを組み合わせて、移動式産業車両（例えば貨物トラクタやそれに関連する台車）による高価値資産との衝突を回避するためのよりロバストなシステムを提供し得ることを理解するであろう。
当業者には理解されるように、以下の説明は、衝突回避の一部として、牽引された台車又はトレーラを有する貨物トラクタのような、複数要素の移動式産業車両の移動及び経路を予測することを含む、適用及び向上したシステム、装置、及び方法の実施形態の一部として展開され得る例示的な動的経路追従又は運動学モデルに関する詳細な例示的情報を含む。以下の記載はまた、衝突を回避する方法を改善する適用及び向上したシステム、装置、及び方法の実施形態の一部として、複数のセンサを使用して異なるタイプのデータ（例えば、カメラデータ、ＬｉＤＡＲデータ）を生成し、そのような異なるタイプのデータを融合してオブジェクト（例えば、物理的構造、航空機、人等）の検出を改善する革新的、新規かつ有利な処理を展開する詳細な実施形態に関する詳細な例示的情報も含む。
一般に、利用可能なセンサ、実現可能なリアルタイム制御、及び物品（例えば、包装されていない商品、包装された商品及び商品の輸送に使用し得る容器）を運搬し得る貨物トラクタ及び関連する台車／トレーラ等の移動式産業車両上のアクチュエータ及びセンサの新規な融合として衝突回避に使用し得る、「フロントガード」という特徴を有する例示的なローカルシステムが本明細書に記載されている。一般的なシステムは、パッシブビーコン検出に基づく航空機衝突回避手法と一般的なオブジェクト検出型フロントガードとを使用して、任意のオブジェクトとの正面衝突の発生率をより低減し得る。さらに、そのようなシステムは、貨物トラクタセンサが、保護されるべき脆弱な航空機部品に関するローカルな状況認識及び配向のために使用し得る受動的「ビーコン」のプラットフォームとして警告コーンを使用し得る。より詳細には、このような例示的なシステムは、高価値資産を回避するために、貨物トラクタ型の移動式産業車両、このシステムによって使用される貨物トラクタ／台車モデル、モデル予測コントローラ、及び車両作動システム上の感知及びセンサ処理システムを統合し得る。１つ以上のビーコンを戦略的位置に配置して、高価値資産の非常にロバストな検出及び回避を可能にし得る。このようなシステムのさらなる使用は、検出された潜在的なオブジェクトの異なるソースのデータ融合を利用し、車両作動システムを用いてタイムリーな反応を行うオブジェクト検出及び回避を実現するように達成され得る。
図１は、本発明の一実施形態による、ロジスティクス環境に配置された例示的なトラクタ衝突回避システム動作図である。図１に示すように、ロジスティクス環境は、高価値資産のタイプとして例示的な航空機１００を含む。一般に、高価値資産は、移動式産業車両（例えば、貨物トラクタ１１５及びその連結台車１２０）がそのような資産に接近し、その周りを移動し、あるいはその周囲若しくは近くを移動する際に制限を有することが望まれる所定の装置、構造、及び／又は人であると考えられ得る。実際に、所定の領域は、そのような設備、構造及び／又は人を有する可能性のために高価値資産と考えられるかもしれないが、必ずしも現在占有されている必要はない。本明細書に記載する様々な実施形態では、そのような高価値資産に関連するオフリミット（又は制限された移動）領域を、その高価値資産の保護のための境界として確立又は決定し得る。
例示的な航空機１００は、図１の上方から示されており、ロジスティクスのピックアップ及び／又はデリバリ動作の一部として物品を輸送するために使用される高価値資産のタイプであり得る。図１に示すように、例示的な航空機１００は、航空機の前端部から突出するノーズコーン構造と、各翼上に突出するエンジンと、航空機１００の後端部から突出するテール構造とを有する。当業者は、このような突出部が、航空機の近傍で動作する移動式産業車両との衝突の危険性が高い航空車載の例示的な点であることを理解するであろう。したがって、図１に示されるこの例において、例示的な反射ビーコン（例えば、１０５ａ−１０５ｄ）は、このような突出部の各々に隣接して配置されてもよく、本明細書に記載される例示的な衝突回避システムの動作中に使用されてもよい。そのような例示的なパッシブビーコンに関連するさらなる情報は、図５、６、及び２５に関連して以下で検討される。
図１はまた、例示的な航空機１００の胴体に沿って示された貨物積載構造１１０を示しており、ここでは、物品（例えば、包装されていない商品、包装された商品及び商品の輸送に使用し得る容器）は、航空機１００内に貨物トラクタ１１５及びそれに関連する台車１２０から積載されてもよく、あるいは、異なるロジスティクス作業の一部として、航空機１００から貨物トラクタ１１５及びそれに関連する台車１２０へ積み降ろされてもよい。一般に、貨物トラクタ１１５は、経路１２５（実際の経路については図１の実線で、検討のための可能性のある経路については図１の破線で注記されている）に沿って航空機１００及びその貨物積載構造１１５の近くを移動して、関連する台車１２０から航空機１００への及び航空機からの物品のピックアップ及び／又はデリバリを容易にし得る。図１のビーコン１０５の周りの同心リングは、高価値資産（例えば、航空機の顕著な突出部）の近くの感知されたビーコン１０５ａ−１０５ｄと、各ビーチ（例えば、領域１０６は進入禁止に、領域１０７はそのような領域に入ると低速に制限される）の周りの保護された領域とを示す。貨物トラクタに搭載されたセンサ群のセンサスキャン範囲１０８外にある見つからないビーコンは、センサ群によって追跡されない。
このタイプのロジスティクス環境において、新規かつ革新的な態様を組み込んだいくつかの異なる実施形態は、ロジスティクス作業において移動車両１１５とその被牽引車両（例えば、台車及びトレーラ１２０）との衝突を回避するという技術的課題に対する本願の技術的ソリューションを説明し得る。例えば、「ローカルオプション」実施形態は、感知、計算、決定、及び動作が個々の貨物トラクタに対してローカルである自給式自律（半自律）制御システムの使用を活用し得る。このようにして、そのような実施形態は、他の車両又は追加のインフラストラクチャとの通信を必要としない貨物トラクタ１１５の衝突回避システムを向上させる。
別の例では、一実施形態は、再帰反射表面（例えば、反射ビーコン１０５ａ−１０５ｄのテープ又は塗装された表面）を使用するパッシブビーコンを含んでもよい。一般に、このようなビーコンは、貨物トラクタの向上した衝突回避システムと共に使用して、システムの気象機能を改善し、システムの複雑さを軽減し、高価値資産（航空機等）の保護に対して既存の標準的なロジスティクス作業手順との有利な低影響の統合を促進してもよい。
さらに別の例では、実施形態は、貨物トラクタ及びその被牽引車両（例えば、台車／トレーラ）に関して新規な運動学モデル及び予測計算を展開して、台車上に展開された能動的検出機構がない場合でも、貨物トラクタ並びに関連する被牽引台車による衝突を防止するのを助けることができる。一般に、運動学モデルは、貨物トラクタに配備された処理システム上で実行される計算に、移動車両システム（すなわち、動力車並びに後続の連結被牽引車両）の将来の可能な状態を通知するために使用される。したがって、このようなモデル及び計算を例示的なシステムの一部として使用する場合、台車トレインの側面に沿った仮想境界１３０は、関連する被牽引台車１２０の追従から外れたことによる衝突を防ぐようにシステムを効果的に拘束し得る。図１に示すように、境界１３０の幅広い追跡輪郭は、台車上に配備される実際の位置センサを必要とせずに、例示的な衝突回避システムによって使用することが可能な確率的に決定された台車位置を示す（例えば、例示の計算及びモデルの一部としてさらなるセンサを備えた台車１２０の牽引されたトレインの側面上のそのようなオブジェクトの継続的な検出を伴わずに、検出されたオブジェクトの持続性を追跡及び考慮することによって）。
さらに別の例では、「フロントガード」タイプの実施形態は、光検出測距（ＬｉＤＡＲ）センサ及び１つ以上のカメラ（ステレオカメラや２台のモノラルカメラ等）等の異なるセンサを使用して、移動式貨物トラクタ１１５の進行方向１３５のオブジェクト（人、車輪止めブロック、コーン、ボックス等を含むが、必ずしも反射ビーコンに限定されない）を検出し得る。融合型のタイプのシステムのこの実施形態は、衝突検出を向上し、衝突を防止するために車両作動制御が含まれ、自動的に適用され得る（例えば、スロットル及び／又はブレーキによる速度制御の適用）。一部のフロントガード実施形態では、センサデータをフィルタリングして、移動式貨物トラクタ１１５の経路によって定義される空間のみを観察し得る。以下により詳細に説明するように、さらなるフロントガードの実施形態は、（複数の）ＬｉＤＡＲ／カメラからのセンサデータの動的に調整可能な視野（ＦＯＶ）を使用してもよく、これにより、実施形態は、移動式貨物トラクタ１１５の経路内のオブジェクト及び／又は移動式貨物トラクタ１１５の移動の変化に適応的に応答することが可能になる（例えば、移動式貨物トラクタ１１５の角速度によってＦＯＶを応答的に変化させる）。
ビーコンを探す他のタイプのセンサ（ＬｉＤＡＲやモノラルのカメラセンサ等）を利用する例において、システムはまた、カメラ検出境界ボックスを介して異なるタイプのセンサデータをＬｉＤＡＲ空間に融合し、制御ソリューションを計算する際に貨物トラクタ１１５及び関連する台車１２０の状態の予測可能性を利用し、各潜在的制御ソリューションについてコスト関数を実装して、特定の瞬間（例えば、時間／空間の瞬間）における最大許容速度をリアルタイム又は略リアルタイムで決定し得る。この決定された速度制限により、システムは、実際の速度を監視し、貨物トラクタ車両のブレーキ及び／又はスロットルを作動させるフィードバック制御システムを使用して所望の速度を達成するために、時間ウィンドウ内で応答減速アクションを実装してもよい。このように、このシステム実施形態は、モデル型計算を利用して、検出されたビーコンとの衝突のための最短実現可能経路と、そのような経路に沿った最大許容速度を連続的又は定期的に更新し得るシステムの予測コントローラ部分とを決定する。図１に示されるように、領域１０６は、そのようなゾーンを横断する任意の貨物トラクタの感知されたビーコンの速度管理ゾーンを表し、一方、領域１０７は、無移動又は無侵入ゾーンを表す仮想バリアを表す。
一般に、例示的な向上した衝突回避システム及びその動作方法の一部として展開され得る例示的な移動式産業車両１１５は、出荷される物品（例えば、場所間輸送、ロジスティクス輸送機への積み込み又はロジスティクス輸送機からの荷降ろし）を積載した１つ以上の台車又はトレーラ１２０を牽引することが可能な貨物トラクタタイプの車両によって実装されてもよい。このような例示的な貨物トラクタ１１５は、様々な車載感知装置（例えば、ＬｉＤＡＲ、ステレオカメラ、モノラルカメラ、超音波センサ、レーザ測距器、レーダ等）を使用するように改良し得る。１つ以上のブラケットを使用して、このような車載感知装置を貨物トラクタに取り付けてもよい。センサ調整ツールはまた、このような車載感知装置の調整を補助するために、貨物トラクタの前面グリルプレートに取り付けてもよい。貨物トラクタはさらに、望ましくない水、化学物質、及び他の破片の侵入に対して貨物トラクタのためのそのような例示的な向上した衝突回避システムの要素を構成する電気及び電子コンポーネント群を保護する耐候性エンクロージャを含んでもよい。このような電気及び電子コンポーネントは、一般的な実施形態では、向上した衝突回避システムにおける複数の装置のための電力及び信号インターフェースを管理するシステムインターフェースプリント回路基板、センサ処理システム、予測運動学モデルを組み込んで使用するモデル予測コントローラ、及び以下により詳細に説明するような車両作動システムを含んでもよい。
図２は、このようなシステム２００に関する動作の一般的なフローを示す、本発明の実施形態による例示的な衝突回避システムの例示的な高レベル機能ブロック図である。次に図２を参照すると、感知ブロック２０５は、一般に、貨物トラクタの環境（例えば、カメラ画像、ＬｉＤＡＲ検出入力等）に関する情報を受信及び検出する。感知すると、システムのセンサ処理システムは、異なるタイプの感知された情報を利用し、オブジェクトを認識し、感知されるシーン（例えば、異なるセンサ入力に基づいて検出された反射パッシブビーコンがあるか）を理解するように動作する。次に、予測制御ブロック２１０では、例示的な運動学モデル及び状態推定２２５を使用して、複数のリアルタイム「先見」制御ソリューションを生成し得る。次に、これらのソリューションは、アクチュエータ制御２１５、（スロットルとブレーキによる）車両作動 ２２０、車両動的力学データベース２３０（例えば、車両質量、制動力等の各種車両パラメータの特性）、及びフィードバック補償装置２３５のフィードバック制御システムに供給され、それによってシステムは認識されたオブジェクトに応答し、予測制御ソリューションを用いて最良の制御ソリューションを適用して、システムが関係する特定の車両の衝突を回避する方法を改善及び向上させる。
図３及び４は、そのような例示的な向上した衝突回避システムの異なる要素のさらなる詳細を示す。特に、図３は、本発明の一実施形態によるシステム内の異なる要素及び役割の論理的なセグメント化によって示される例示的な衝突回避システム３００のより詳細な図である。次に図３を参照すると、例示的な向上した衝突回避システム３００の要素が、センサ３０５、センサ処理３１０、衝突回避制御３１５、車両運動制御３２０、及びアクチュエータ３２５の５つの異なるタイプのシステムセグメントに分類されて示されている。この例示的な実施形態では、例示的なシステム３００のセンサセグメント３０５部分は、固有受容センサ（ブレーキ圧力センサ３０５ａ、車輪速度及びスロットルパーセンテージに関するＥＣＵ関連センサ３０５ｂ、及び位置センサ３０５ｃ（例えば、慣性測定型センサ（加速度計、ジャイロスコープ、磁力計）及び受信機型測位システム（ＧＰＳ、無線携帯電話の位置確認回路等））並びに外部受容（ｅｘｔｅｒｉｏｃｅｐｔｉｖｅ）センサ（カメラ３０５ｄ、ｅ又はＬｉＤＡＲセンサ３０５ｆ等）を含む。例示的なシステムの信号処理セグメント３１０部分は、処理プラットフォーム上で実行されるソフトウェア型モジュール３１０ａ、３１０ｂを含み、これらのモジュールは、外部受容センサ（例えば、カメラデータの畳み込みニューラルネットワーク処理、データクラスタリング、及びＬｉＤＡＲデータのサポートベクターマシン（ＳＶＭ）処理）からのセンサ入力に対して信号処理３１０ａを実行し、オブジェクト及び地図情報のデータベース３１０ｃを使用して、各処理済みセンサ入力のデータ融合処理３１０ｂを実行する。
例示的なシステム３１５の衝突回避制御セグメント３００部分は、モデル予測コントローラ（ＭＰＣ）３１５ａを実装する（センサ処理セグメント３１０とは別の）他の処理プラットフォーム上で実行されるソフトウェア型モジュールを含む。一般に、ＭＰＣ３１５ａは、時間／空間の離散的な瞬間における最大許容速度を決定するための制御ソリューションを決定する。より詳細には、ＭＰＣ３１５ａの実施形態は先読みポリシーを採用し、監視制御を使用する離散イベント管理に適用可能である。動作において、この衝突回避制御セグメント３１５内のＭＰＣ３１５ａは、制限された予測ホライズンにわたる一組の制御入力に対する可能な制御結果を計算する。パフォーマンス評価関数（パフォーマンスメトリックに関連する「コスト」関数とも呼ばれる）を用いて、ＭＰＣ３１５ａは、最適な結果を見つけることができるように、前述の予測ホライズン内の到達可能な全てのシステム状態を予測及び評価し、対応するシステム制御入力を選択して車両コントローラ（すなわち、車両モーション制御セグメント３２０）に転送することが可能である。例えば、一実施形態では、「最適」の使用は、衝突回避のための最も実現可能な経路に沿った予測制御ソリューションを意味してもよく、衝突が防止されることを確実にしながら、車速の制限を最小にする。この処理は、パッシブビーコン及び他の障害物から離れた安全ゾーンで動作するシステム等、既定の目標に達するまで繰り返される。このように、ＭＰＣ３１５ａは、衝突回避、フロントガード、空間認識、ローカルオプションに焦点を当てたソリューション、システム運動学、車両動力学、誤判定軽減、並びに、貨物トラクタ型の車両にそのような向上した衝突回避システムを使用する本明細書に記載のような移動式産業車両及びソリューションに展開されるビーコン／オブジェクト持続性のために使用され得る。さらに、ＭＰＣ０１５ａは、予測運動学モデル情報及び車両動力学情報を格納した１つ以上のデータベース３１５ｂにアクセスすることが可能である。例示的なシステム３００の車両運動制御セグメント３２０部分は、さらに別のプロセッサ（例えば、マイクロコントローラ）上で動作するソフトウェアモジュールを含み、このソフトウェアモジュールは、車両作動フィードバック制御システム３２０ａを実装し、データベース３２０ｂから車両動力学情報にアクセスし、フィードバック補償器として動作して、車両アクチュエータ３２５（例えば、貨物トラクタのスロットル及び／又は制動システム及び／又は貨物トラクタのギアセレクタ）に入力を提供する。
図３は、より多くのデータ処理及びデータフローの観点から、一実施形態に関する実施の詳細を提供するが、図４は、本発明の一実施形態による、そのような例示的な向上した衝突回避システム４００の要素に関する例示的なハードウェア実装の詳細を示す図である。ここで図４を参照すると、例示的なハードウェア統合図は、３つの異なるコア処理システム又はコントローラ、すなわち、センサデータプロセッサ４０５、衝突回避コントローラ４１０、及び車両フィードバック作動コントローラ４１５を示している。当業者には理解されるように、これらのプロセッサ／コントローラの各々は、車載通信インターフェース、Ｉ／Ｏインターフェース回路、及びカメラ、ＬｉＤＡＲ、ネットワーク・スイッチング・コンポーネント、ＥＣＵ、ＩＭＵ、並びに車両アクチュエータ及び車両センサ素子とインターフェースするために使用される関連周辺回路を含み得る１つ以上の異なるプロセッサ型システム（例えば、汎用グラフィックス処理装置（ＧＰ−ＧＰＵ）、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、マルチプロセッサ、マルチコアプロセッサ、システムオンチップ（ＳｏＣ）、又はその他の離散処理型装置）を使用して実装されてもよい。
例えば、図４に示されるように、例示的なセンサデータプロセッサ４０５は、異なるカメラ（例えば、カメラ１ ３０５ｄ及びカメラ２ ３０５ｅ、これらはそれぞれ前方監視赤外線カメラセンサとして実装され得る）からの入力を、ＵＳＢ３．１接続を使用して受信して、センサからセンサデータプロセッサ４０５の内蔵マルチプロセッサ（例えば、２つのＮＶＩＤＩＡ Ｊｅｔｓｏｎ ＴＸ２組み込みＡＩコンピューティング装置であって、これらはモジュール上の本質的に異なるＡＩスーパーコンピュータであり、各種の標準的なインターフェースハードウェアを備えたＣＰＵ及びＧＰＵ構造を持つエッジアプリケーションで使用される）への情報のより迅速かつロバストな転送を行う。センサデータプロセッサ４０５はまた、イーサネット（登録商標）接続を介して（例えば、イーサネット（登録商標）スイッチ４２０を介して）ＬｉＤＡＲセンサ３０５ｆからＬｉＤＡＲ入力を受信する。これらの入力を用いて、センサデータプロセッサ４０５（ＣＰＵプロセッサとＧＰＵプロセッサの両方で実装され得る）は、カメラとＬｉＤＡＲデータの新規な融合を用いてビーコン及びオブジェクトを検出するように動作する。より具体的には、ＬｉＤＡＲセンサ３０５ｆは、ビーコンを検出し、ビーコンを他のオブジェクト（人、車両、貨物トラクタ等）から区別する。カメラ３０５ｄ、ｅは、複数のオブジェクト（人、ビーコン、車輪止めブロック、車両等）を検出し、センサデータプロセッサ４０５にカメラデータを提供し、学習ニューラルネットワーク（例えば、このような認識のために訓練された畳み込みニューラルネットワーク）を使用して、このようなオブジェクトを認識し得る。次に、センサデータプロセッサ４００５上で動作するデータ融合ソフトウェアモジュール３１０ｂは、カメラ検出境界ボックスをＬｉＤＡＲ空間に投影することによって、これらの異なるタイプのデータを融合する。これらの２つの異なる別個のデータソースをマルチセンサ融合データソースに融合することにより、衝突を回避する際のパフォーマンスレベルを向上及び改善させることができる。
図４に示される例示的な衝突回避コントローラ４１０は、センサデータプロセッサ４０５へのイーサネット（登録商標）接続性を有し、例えば、ＧＰＧＰＵ／ＣＰＵハードウェア及び搭載インターフェースハードウェアを有するＮＶＩＤＩＡ Ｊｅｔｓｏｎ ＴＸ２モジュールを使用して実装し得る。衝突回避コントローラ４１０は、モデル予測制御ソフトウェアモジュール３１５ａを実行し、これは、ビーコン位置から半径方向に投影された空間内の点を突破するための最短可能経路を予測する先読みコントローラの一種として使用される。
一実施形態では、衝突回避コントローラ４１０上で実行されるモデル予測制御（ＭＰＣ）ソフトウェア３１５ａは、トラクタ及び台車のシステム運動学モデル（その例示的な実施形態を以下により詳細に説明する）を組み込んで、トラクタ／台車のトレインの任意の部分と高価値資産との衝突の可能性を予測する。上述のように、ＭＰＣソフトウェア３１５ａは、時間／空間の任意の離散的な瞬間における最大許容速度を決定するために制御ソリューションを計算する。衝突回避問題のタイムリーな性質は、ＭＰＣソリューションの計算がリアルタイムで又は実質的にリアルタイムで実行されることを意味する。特に、当業者は、衝突回避コントローラ３１５上で動作するＭＰＣソフトウェア４１０ａによって決定される制御ソリューションは、衝突を防止する各ソリューションのコストが計算される可能なソリューションの大集合を含むことを理解するであろう。コスト関数は、ＭＰＣによって決定された可能な各ソリューションのコストを比較し、ＭＰＣソフトウェア３１５ａは、コスト関数によって定義された基準に基づいて、可能なソリューションのうちの最適なものを選択し得る。それぞれの可能なソリューションが独立して計算され得るので、ＭＰＣソフトウェア３１５ａの実施形態は、衝突回避コントローラ４１０によって使用されるリアルタイムオペレーティングシステム、及び、いくつかの実施形態では、衝突回避コントローラ４１０自体のマルチコア／マルチスレッド能力（例えば、２５６ ＣＵＤＡ対応コア並列コンピューティングプラットフォーム、及びＮＶＩＤＩＡ Ｊｅｔｓｏｎ ＴＸ２コンピューティングモジュールで使用されているＮＶＩＤＩＡ Ｐａｓｃａｌ ＧＰ−ＧＰＵプロセッシングコンプレックス）を利用して、そのようなソリューションを並列に計算し得る。
本明細書に記載されるように、衝突回避コントローラ４１０上で動作するＭＰＣソフトウェア３１５ａは、速度制御（例えば、時間／空間の離散的な瞬間における最大許容速度を決定するための制御ソリューションの計算）のためにさらに使用される。衝突回避コントローラ４１０は、貨物トラクタに搭載されたＧＰＳ、慣性測定ユニット、又は他の位置センサ（図３に示すように）等の位置決め回路及び要素３００５ｃから情報を受信し得る。向上した衝突回避システム４００の実施形態の一部として、衝突回避コントローラ４１０は、コントローラ領域ネットワーク（ＣＡＮ）バス上の出力を車両フィードバック作動コントローラ４１５に提供する。このようなＣＡＮバスは、車両通信のための標準機構を提供し、ブレーキ及びスロットル等の貨物トラクタの部品、貨物トラクタ上のＥＣＵ３００５ｂに自動車インターフェースを提供する。
図４に示される例示的な車両フィードバック作動コントローラ４１５は、衝突回避コントローラ４１０へのＣＡＮ接続性、並びに貨物トラクタの部分（例えばブレーキ及びスロットル）を制御するための他のインターフェース回路（例えば、アナログ、パルス幅変調（ＰＷＭ）、又は他のパラレル、シリアル、デジタル又は他の感知／作動ラインインターフェース）を有する。例示的な車両フィードバック作動コントローラ４１５は、例えば、ハードウェア及びオンボードインターフェースハードウェアを有するＡｒｄｕｉｎｏ Ｄｕｅシングルボード３２ビットＡＲＭコアマイクロコントローラモジュールを使用して実装されてもよい。典型的な車両フィードバック作動コントローラ４１５上で実行される車両作動フィードバック制御ソフトウェア３２０ａは、典型的には、特定の時間ウィンドウ内で所望の速度を達成するように減速率を計算する。コントローラ４１５上で実行される車両作動フィードバック制御ソフトウェア３２０ａによって実装されるフィードバック制御システムは、トラクタブレーキ及びスロットル制御３２５を作動させて、計算された加速度又は減速度を達成する。このフィードバックシステムは、必要に応じて車両を完全に停止させることが可能である（例えば、移動式産業車両が反射ビーコン１０６の周囲の進入禁止領域１０５に接近している場合）。
したがって、図３及び図４は、向上した衝突回避システムの実施形態及びそのような向上した衝突回避システムを動作させる方法に関連する例示的な機能、ソフトウェア、及びハードウェア実装の詳細を提供する。さらに、図４は３つの別個の異なるプロセッサ／コントローラハードウェア装置を示すが、例示的な向上した衝突回避システムのさらなる実施形態は、記載された向上した衝突回避機能を実行するために動作する種々のソフトウェア型モジュールを有する単一又は他の複数のプロセッサ又は論理型ソリューションを用いてこれらを実装し得ることを当業者は理解するであろう。
図５は、本発明の一実施形態による例示的な衝突回避システムと共に使用するための例示的なパッシブビーコン５００の詳細を示す図である。一般に、このような例示的なパッシブビーコン５００は、他のオブジェクトとは対照的に及び反対に、ビーコンとしてより容易に識別可能であり得る特定の認識可能なリターンをもたらすような特徴的な形状を有し得る。例えば、特定の実施形態では、例示的なパッシブビーコン５００は、背の高い明るいオブジェクトとして目立つように、反射率の高い材料がその上にある背の高い薄いオブジェクトであってもよく、他方、他のオブジェクト（例えば、貨物トラクタ、人等）は明るいリターンを有し得るが、典型的には、比較すると遥かに幅が広い。
次に図５を参照すると、このような例示的なパッシブビーコン５００の一例が示されており、ベース支持体５０５（例えば、交通コーン）を、ベース支持体から上方に延びるポール５１０と一体化している。ポールは、ポールの長さに沿って配置された反射材料を含む。このような材料は、近赤外及び可視光スペクトルにおける再帰反射テープであってもよいが、他の実施形態は、貨物トラクタ上で使用されるセンサ（ＬｉＤＡＲセンサ等）によって検出され得るものに対応する他のタイプの反射材料を含んでもよい。ポールをベース支持体と統合することで、ビーコンの視認性を向上させ、貨物トラクタとそのセンサを感知し得る。図５に示されるように、車両１１５上の例示的なＬｉＤＡＲセンサ５１５は、特徴的な受信距離／受信角度を有してもよく、この場合、ポールの使用から生じるビーコンのそのような高さの増加は、ＬｉＤＡＲによる検出努力のためのより良いターゲットを提示する。例えば、図５に示される例示的なＬｉＤＡＲセンサ５１５は、異なる高さ及び方位角に焦点を合わせるビームを有する８ビームＬｉＤＡＲユニットである。このような例示的なＬｉＤＡＲセンサによって検出されるデータは、典型的には、空間及び強度における離散点を含む。
しかしながら、貨物トラクタ上のいくつかのセンサ（モノカメラ等）は、ＬｉＤＡＲによって捕捉されるリターンと組み合わせてビーコンの向上した検出のために使用される識別特徴として、ベース支持体（例えば、交通コーン）の色及び／又は形状を使用し得る。一実施形態では、ビーコンは、受動的であり、無給電であってもよい。しかしながら、ビーコンの他の実施形態は、貨物トラクタのセンサ群（例えば、照明による明かり、認識し得る閃光等）により多くの視認性を提供するように給電されてもよいことが当業者には理解されよう。
さらに、図５に示されるビーコン５００の実施形態は、高価値資産（航空機等）とは異なる別個に配置されたパッシブビーコン構造であるが、ビーコンの別の実施形態は、高価値資産の一部に固定された、又はその一部とされた反射シンボル又は材料によって実装されてもよい。このようにして、ビーコンのそのような実施形態は、例えば、航空機の翼、エンジン、ノーズコーン、テール構造、又は航空機の他の部分との衝突の危険性がより高い航空機の他の突出部分の一部であってもよい。さらなる実施形態は、そのような高価値資産からの拡張可能な構造を用いて実装されてもよく、その場合、そのような拡張可能な構造は、隠された又は格納された位置から、それが検出され、貨物トラクタ等の移動式産業車両が高価値資産の近傍内に入る機会がある場合の展開された能動位置まで、選択的に展開又は作動させてもよい。例えば、航空機又はトラクタ／トレーラのような例示的な高価値資産は、高価値資産上の展開された能動的位置で見えるように作動させることが可能な拡張可能な反射ビーコンを有し得る。
図６は、例示的なカメラ及びＬｉＤＡＲセンサによって見られ、本発明の実施形態による例示的な衝突回避システムのための訓練入力として使用される例示的なパッシブビーコン５０５／５１０を示す例示的な画像６００である。ここで図６を参照すると、画像６００は、貨物トラクタ上のカメラによって捕捉された例示的な視覚画像である。カメラは、画像を感知データとしてカメラのための信号処理ソフトウェアに提供し、次いで、処理されたデータをセンサデータプロセッサ上で実行されるデータ融合ソフトウェアモジュールに提供し、それによって、ビーコン／コーンのための境界ボックス６０５が認識され、座標Ｘｔｏｐ，Ｙｔｏｐ，Ｘｂｏｔｔｏｍ，Ｙｂｏｔｔｏｍに関連付けられるようにする。したがって、ビーコン／コーン５０５／５１０に関して図６に示される（及び座標で表される）境界ボックス６０５は、データ融合ソフトウェアモジュールへの入力である。ＬｉＤＡＲは、ビーコン／コーンを別のタイプの感知データとして検出し、そのＬｉＤＡＲデータをＬｉＤＡＲセンサのための信号処理ソフトウェアに提供し、次いで、処理されたデータをセンサデータプロセッサ上で実行されるデータ融合ソフトウェアモジュールに提供し、それによって、検出されたＬｉＤＡＲ空間に関する情報がセンサデータプロセッサ上で実行されるデータ融合ソフトウェアモジュールへの別の入力となり得る。そのような検出されたＬｉＤＡＲ空間の例が図７に示されており、例示的な画像７００は、「訓練データ」の分布をグラフ形式で示している。図７において、グラフ７００に示される訓練データは、ＬｉＤＡＲとカメラとの間のマッピングを学習するためにニューラルネットワークに使用される。ＬｉＤＡＲは、ＬｉＤＡＲビームが環境内のオブジェクトと交差するときの座標と強度の値を表す点群データを返す。カメラが画像を生成する。オブジェクトはディープラーニングシステムを介して画像中で検出され、オブジェクトは境界ボックスにより線引きされる。図６に示す例では、境界ボックスには領域を描写する座標、すなわち、左上隅のｘ座標とｙ座標（ｘｔｏｐ，ｙｔｏｐ）、及び右下隅のｘ座標とｙ座標（ｘｂｏｔｔｏｍ，ｙｂｏｔｔｏｍ）がある。動作中、ＬｉＤＡＲは検出された各オブジェクトの中心を決定し、オブジェクトへの距離と角度を報告する。このようにして、ニューラルネットワークはＬｉＤＡＲ距離と角度とカメラ検出境界ボックスからの境界ボックスデータとの間のマッピングを学習する。
図７に示す例に関してより詳細には、ビーコンについて収集された１，７５２個のサンプル及びコーンについて収集された１，５９７個のサンプルがある。この特定の例では、これらのサンプルは、カメラの視野、すなわち、左右に約＋／−２０度をカバーし、関心領域は、前方約５〜２０メートルである。したがって、図７に示されるグラフ７００は、各サンプル点について、範囲内の位置（ｙ軸に沿ってメートル単位で）及び中心から左から右への角度（Ｘ軸に沿って）を示すサンプル点を示す。
図８は、本発明の一実施形態による、例示的な衝突回避システムの例示的な訓練統計を示すグラフ図８００である。次に図８を参照すると、システムが訓練されると、カメラ境界ボックスとビーコンに対するＬｉＤＡＲ範囲及び角度測定値との間の関係を近似することが学習される。例えば、図８のグラフ８００は、予測された位置（「ｏ」記号）対真の位置（「Δ」記号）を示し、エラー率、エラーの平均、及びエラーの分散に関して、この例におけるシステムエラー率を特徴付けている。これらは、エラーを評価するための標準的なメトリックである。
移動式産業車両（例えば、動力付き貨物トラクタ及び追従する連結／牽引台車）のための例示的な向上した衝突回避システムの上述の説明を考慮して、図９は、本発明の実施形態による向上した衝突回避に関連する例示的な一般的データ融合処理ステップ９００のブロック図である。ここで図９を参照すると、センサ入力のフローは、左側にカメラ入力があり、右側にＬｉＤＡＲ入力がある状態で、図のいずれかの側から始まる。例えば、図９の左側には、カメラ（図３又は図４に示すもの等）の１つによって捕捉されたカメラ入力データ（例えばカメラ画像）によって何が行われるかを表すボックス９０５がある。図３のデータ融合ソフトウェアモジュール３１０ｂは、カメラ入力を取り込み、オブジェクト（画像のビーコン／コーン等）を認識及び検出し、ビーコン／コーンの画像座標を表す境界ボックスを作成するように動作する。次いで、このカメラ検出境界ボックスは、データ融合ソフトウェアモジュール３１０ｂの一部として実行されるカメラオブジェクト認識ディープラーニングニューラルネットワーク９１０によって使用され、検出されたオブジェクト（例えば、人、貨物トラクタ、ビーコン等）にラベルを付け、その検出に信頼レベルを割り当て、次いで、出力９１５を検出されたビーコン／コーンに関する距離及び角度として決定する。図９の右側から、ＬｉＤＡＲ入力９２０は、そのようなＬｉＤＡＲデータに基づいてビーコン／コーンに関する距離及び角度を別々に検出するために、データ融合ソフトウェアモジュールによって使用される。一般的に、ビーコン／コーンは明るく（ポストの反射強度のため）、比較的高いものとしてＬｉＤＡＲデータに表示される。次に、データ融合ソフトウェアモジュール３１０ｂは、ＬｉＤＡＲに基づくビーコン／コーンの距離及び角度の決定と、カメラに基づくビーコン／コーンの距離及び角度の決定とを、２つのタイプのデータ又はデータストリームの「融合」の一部として比較することが可能である。このようにして、システムは、このような異なるデータソースを融合して、貨物トラクタ車両プラットフォームに対してオブジェクトをより良く検出及び認識することによって、パフォーマンス及び精度を有利に改善する。追加的に、このシステムは、ディープラーニング法を介してカメラ画像中のビーコンを投影することによりＬｉＤＡＲからの誤判定検出を低減し、カメラからＬｉＤＡＲ空間へのニューラルネットワーク学習投影を用いて検出を検証することによりパフォーマンスを改善する。
上述のように、衝突回避コントローラ４１０上で実行されるＭＰＣソフトウェアモジュール３１５ａの実施形態は、リアルタイムフィードバックを提供する台車におけるセンサを有する必要なしに、空間認識のために使用される運動学モデルを活用し、貨物トラクタだけでなく台車の位置を推定し得る。このような例示的な運動学モデル（動的経路追跡モデルとも呼ばれる）のより詳細な説明を、この詳細な説明の一部として以下に示す。衝突回避コントローラ４１０上で実行されるＭＰＣソフトウェアモジュール３１５ａの一部として運動学モデルを使用する場合、コントローラ４１０は、慣性測定ユニット（ＩＭＵ）３０５ｃの位置情報（方位及び加速度等のデータ）及び貨物トラクタからのＥＣＵ３０５ｂの情報（車輪速データ等）にアクセスする。一実施形態（例えば、ローカルオプション）では、貨物トラクタの位置は、検出されたオブジェクトに関してのみ知ることができる。システムの移動は、いくつかの実施形態では、方位、加速度、及び車輪速度データの組み合わせから補間又は外挿し得る。
このデータを使用して、ＭＰＣソフトウェアモジュール３１５ａによって実行される運動学モデル実装は、貨物トラクタに対する貨物トラクタに追従する台車の位置及び向きを推定することが可能である。図１０は、本発明の一実施形態による例示的な衝突回避システムを展開し得る例示的なトラクタ（産業車両）及び後続の台車（トレーラ）の推定及び予測された動きに関連する例示的な運動学モデル視覚化を図示する一連の図１００５−１０２０である。次に図１０を参照すると、最も左側の視覚化１００５は、２つの例示的な台車を引くように整列されたトラクタを示す。次の視覚化１０１０−１０１５では、貨物トラクタは右に操舵されている。台車の運動が、貨物トラクタの台車回転の遅延運動として運動学モデルを用いて計算及び推定された。これは、一番右側の視覚化１０２０で示すことができ、そこでは、貨物トラクタの赤の軌道は、最前部の台車の青の軌道及び次の台車の黄の軌道とは異なっており、いずれも貨物トラクタが旋回し、台車が追従するときに整列して表示されない。
例示的な向上した衝突回避システムの実施形態の上述の説明、及びそれをハードウェア及びソフトウェア要素でどのように実装し得るかを考慮して、以下は、高価値資産（航空機の部品、特定の装置、又は人又は装置が配置される可能性のある領域等）を回避することに焦点を当てた本発明の実施形態による、そのようなシステムを活用及び使用し得る向上した衝突回避のための例示的な方法の説明である。このシステムは、例えば、検出を改善するために有利に融合された別個の異なるタイプのセンサデータを使用してオブジェクト及びビーコンを検出及び認識する感知センサ処理システム（例えば、センサデータプロセッサモジュール上で動作する信号処理ソフトウェア及びデータ融合ソフトウェア）、衝突回避と速度制御のために貨物トラクタ／台車の運動学と車両動力学モデルを活用するモデル予測コントローラ（例えば、リアルタイム機能で動作する衝突回避コントローラモジュール上で実行されるモデル予測制御ソフトウェア）、及び移動式産業車両及びその被牽引台車が高価値資産を回避するのを支援するために、車両制御とインターフェースする車両作動システム（例えば、車両フィードバック作動コントローラモジュール上で作動する車両作動フィードバック制御ソフトウェア）を統合する実施形態で実施されてもよい。１つ以上のビーコンを戦略的な位置に配置することで、高価値資産を確実に検出及び回避することが可能になる。
一般的な動作において、本方法の実施形態は、第１のセンサ（ＬｉＤＡＲ）がビーコンを検出し、ビーコンを他のオブジェクト（例えば、人、車両、貨物トラクタ等）から区別することから始まる。本方法は、第２のセンサ（（複数の）カメラ）が１つ以上のオブジェクト（人間、ビーコン、車両等）を検出することに続く。第２のセンサ（カメラ）によって捕捉されたセンサデータに基づいて境界ボックスを最初に決定し、第１のセンサ（ＬｉＤＡＲ）によって捕捉されたセンサデータに基づいてマッピング空間を決定することによって、データが有利に融合され得る。次いで、決定境界ボックスは、決定されたマッピング空間に投影され、次いで、高価値資産に対する位置を示すビーコンを識別するやり方を改善するために、場合によっては、高価値資産に対する貨物トラクタの予測された移動に危険をもたらす可能性のある他のオブジェクトの識別も区別するために比較される。このようにして、本方法は、２つのデータソースの融合を利用して、衝突回避システムの改善された、向上した、よりロバストなパフォーマンスを提供する。
次に、この方法の実施形態は、コントローラを使用して、ビーコン位置から半径方向に投影された空間内の点を突破する最短可能経路を推定する。これは、例えば、モデル予測制御（ＭＰＣ）ソフトウェア３１５ａが、リアルタイム機能で動作する衝突回避コントローラモジュール４１０上で実行され、ＭＰＣソフトウェア３１５ａが、（例えば、センサデータプロセッサ４０５から）位置特定されたビーコンに関する情報を受信し、ビーコン及びトラクタ速度に対して貨物トラクタの軌道を決定することによって達成し得る。ＭＰＣソフトウェア３１５ａ対応衝突回避コントローラ４１０は、一種の限定先読みコントローラとして動作する。このように、ＭＰＣソフトウェア３１５ａは、ビーコン位置から（及び、ＩＭＵ情報からのビーコン及びトラクタ速度に関連して決定された貨物トラクタの軌道を用いて）半径方向に投影された空間内の点を突破する最短可能経路を予測し、（例えば、上述したものであり、以下に説明する実施形態においてより詳細に参照される）トラクタ及び台車のシステム運動学モデルの使用を参照しかつ活用して、貨物トラクタに追従する被牽引車両の位置を能動的に検出することなく、貨物トラクタ１１５及び台車トレイン１２０の任意の部分と高価値資産（例えば、航空機１００）との衝突の可能性を予測することもできる。
例示的な方法は、ＭＰＣソフトウェア３１５ａが複数の制御ソリューションを生成し、時間／空間内の離散的な瞬間における最大許容速度を決定することに進む。当業者は、可能なソリューションの大規模な集合と、貨物トラクタ及びその牽引された台車のグループが移動し続けるときに生成された制御ソリューションに基づいて迅速な決定を行うことができるための時間的制約とを考慮すると、そのような制御ソリューションをリアルタイム又は略リアルタイムで生成する必要性を認識するであろう。より詳細には、衝突回避コントローラモジュール３１５上で動作するＭＰＣソフトウェア４１０ａによって生成される各制御ソリューションは、コスト関数によって定義される基準に基づいて最適ソリューションが選択され得る各制御ソリューションのコストを比較するコスト関数によって実装され得る。例えば、貨物トラクタを急速に減速させ、次いで長距離を走行させる制御ソリューションは、輸送される特定の物品、牽引される台車の数、台車上で輸送されるものの質量等を収容するためにビーコン又は他の速度制限に近い領域に対して速度管理制限内に留まる一方で、貨物トラクタを同じ距離にわたって徐々に減速させる（これにより、パフォーマンスコストを削減できる）別の制御ソリューションと比較して、より高いパフォーマンスコストをもたらし得る。
貨物トラクタ１１５が、ＭＰＣソフトウェア３１５ａに対応する衝突回避コントローラ４１０によって計算された最大許容速度を超えた場合、本方法は、車両フィードバック作動コントローラに、固定時間ウィンドウ内で所望の速度を達成するための減速率を計算させ得る。方法のこのステップの一部として、車両作動フィードバック制御ソフトウェア３２０ａに具現化されたフィードバック制御システムは、貨物トラクタブレーキ及び／又はスロットル制御を作動させて、計算された減速又は加速を達成することによって動作する。さらに、当業者は、車両フィードバック作動コントローラが、この例示的な方法の一部として、所望であれば、例えば、貨物トラクタと被牽引台車とが１つ以上のビーコンで区切られた積載／積み降ろし領域に接近する場合、又は貨物トラクタと被牽引台車とが接近して貨物トラクタ自体の前にビーコンを有する場合等に、貨物トラクタを完全に停止させることもできることを理解するであろう。
このような一般的な方法の実施形態は、本発明の実施形態による、図３８のフロー図に記載される方法の例示的な実施形態と一致する。ここで図３８を参照すると、方法３８００は、ステップ３８０５で開始し、ここで移動式産業車両（例えば、貨物トラクタ）上のＬｉＤＡＲセンサが、移動式産業車両に対して１つ以上の反射ビーコンを検出している。そのような反射ビーコンは、既に所定位置に配置されていてもよく、あるいは、方法３８００は、ステップ３８０５における検出の前に、高価値資産に対して１つ以上の反射ビーコンを配置又は展開するステップを含んでいてもよい。このようにして、例示的な反射型ビーコンは、航空機の突出部分（例えば、航空機のノーズ、航空機の翼から延びているエンジンナセル、航空機の翼の先端等）、人が横断すると予想される領域、又は固定施設等の高価値資産上の予め指定された位置の近く又は隣に物理的に配置されてもよい。反射ビーコンの配備はまた、高価値資産の一体的な部分である反射ビーコンを作動させることによって、又はそのような一体的な反射ビーコンを作動させて、高価値資産に対する隠れた又は格納された位置から見えるようにすることによって行われてもよい。
ステップ３８１０において、方法３８００は、移動式産業車両上のカメラセンサが移動式産業車両に対する１つ以上のオブジェクトを検出することに進む。ステップ３８１５において、方法３８００は、ＬｉＤＡＲセンサ及びカメラセンサのそれぞれによって検出されたセンサデータを融合するために、移動式産業車両上の例示的なセンサ処理システムを使用し、検出されたＬｉＤＡＲセンサデータ及び検出されたカメラセンサデータを使用して、マルチセンサ融合データソースに基づいて、１つ以上の反射ビーコンの相対位置を識別する。より詳細には、ステップ３８１５の一部としての融合は、センサ処理システムが、１つ以上のオブジェクトを検出するときに、カメラセンサによって生成されたセンサデータに基づいて、１つ以上の境界ボックスを決定すること、１つ以上の反射ビーコンを検出する際にＬｉＤＡＲセンサによって生成されたセンサデータに基づいてマッピング空間を決定すること、（例えば、以下でより詳細に説明される従来のニューラルネットワークを使用して）決定された１つ以上の境界ボックスを決定されたマッピング空間に投影すること、及び決定された１つ以上の境界ボックスをマッピング空間内で検出されたオブジェクトと比較して、１つ以上の反射ビーコンの相対位置を検証することによって、より具体的に達成し得る。
ステップ３８１５のさらに別の実施形態では、融合は、センサ処理システムが、上述のサブステップのいくつかを実行するときに、ファジー論理及び信頼度スコアを展開することによって達成されてもよい。例えば、融合のこのより詳細な実装は、センサ処理システムによって、１つ以上のオブジェクトを検出するときにカメラセンサによって生成されたセンサデータに基づいて１つ以上の境界ボックス及びカメラ信頼度スコアを決定すること、１つ以上の反射ビーコンを検出する際に、ＬｉＤＡＲセンサによって生成されたセンサデータに基づいてマッピング空間及びＬｉＤＡＲ信頼度スコアを決定すること、決定された１つ以上の境界ボックスを決定されたマッピング空間に投影して、１つ以上のオブジェクトの相対位置を識別し、カメラ信頼度スコア及びＬｉＤＡＲ信頼度スコアに基づいて最終信頼度スコアを決定すること、１つ以上のオブジェクトの特定の１つの最終信頼度スコアが信頼度閾値を下回る場合、１つ以上のオブジェクトの特定の１つの識別された相対位置を無視すること、及び決定された１つ以上の境界ボックスをマッピング空間内で検出されたオブジェクトと比較して、それぞれの最終信頼度スコアに基づいて無視されない１つ以上のオブジェクトの相対位置を検証することを有してもよい。
ステップ３８２０において、方法３８００は、移動式産業車両上のモデル予測コントローラによって、複数の制御ソリューションを決定し、制御ソリューションの各々は、１つ以上の反射ビーコンの検証された相対位置から半径方向に投影されたブリーチング点への推定経路に基づいて、離散的な瞬間（例えば、時間／空間の瞬間）で移動式産業車両の閾値許容速度を定義する。モデル予測コントローラは、ステップ３８２５において、パフォーマンスコスト関数に基づいて制御ソリューションの１つを最適ソリューションとして識別することに進み、制御ソリューションの１つは最適閾値許容速度に関連付けられる。
ステップ３８３０において、方法３８００は、移動式産業車両上の車両作動システムによって、移動式産業車両が所望の時間ウィンドウ内で（反応が遅れないように）移動動作を変更させ、移動式産業車両の現在の速度に対して動作可能な所望の移動を達成するために、移動式産業車両が最適な閾値許容速度を超えたときに、応答して車速制御要素（例えば、スロットル、ブレーキ）を作動させることに進む。
方法３８００の別の実施形態では、移動式産業車両は、複数の車輪付き車両、例えば、動力車両（貨物トラクタ等）、及び動力車両に連続して連結された複数の被牽引車両（各台車の前方の各車両にヒッチを介して連結された台車等）によって実装されてもよい。このように、異なる制御ソリューションを決定するステップは、移動式産業車両上のモデル予測コントローラがそのような制御ソリューションを決定することによって達成されてもよく、ここで、制御ソリューションの各々は、１つ以上の反射ビーコンの検証された相対位置から半径方向に投影されたブリーチング点への動力車両及び被牽引車両の予測経路に基づいて、時間／空間内の離散的な瞬間で移動式産業車両を構成する集合車両に関する閾値許容速度を定義し、そのような予測経路は、動力車両に追従する被牽引車両のいずれかの位置の能動的検出なしにモデル予測コントローラによって決定される。
当業者は、上記に開示され説明されたような方法の実施形態が、少なくとも図２−４（又は以下により詳細に記載されるようなシステムの実施形態）を参照して説明された例示的な向上した衝突回避システム等の装置又はシステムで実装され、上述のセンサ群、異なるプロセッサモジュール／コントローラモジュール、及び上記のような異なるプロセッサ／コントローラモジュール上で実行される異なるソフトウェアモジュールで実装されてもよいことを理解するであろう。そのようなソフトウェアモジュールは、プロセッサ／コントローラモジュールのそれぞれにおいて、非一時的なコンピュータ可読媒体に格納されてもよい。したがって、そのようなソフトウェアモジュールを実行するとき、衝突回避を向上させるためのシステムの集合的なプロセッサ／コントローラモジュールは、その方法の変形を含めて、上に開示された例示的な方法からの動作又はステップを実行するように動作し得る。
別の実施形態では、向上した衝突回避のためのさらなる方法は、オブジェクト検出及び回避に焦点を当てた本発明の実施形態による同様のシステムを利用及び使用し得る。また、このようなシステムは、例えば、検出を改善するために有利に融合された別個の異なるタイプのセンサデータを使用してオブジェクト及びビーコンを検出及び認識する感知センサ処理システム（例えば、センサデータプロセッサモジュール上で動作する信号処理ソフトウェア及びデータ融合ソフトウェア）、衝突回避と速度制御のために貨物トラクタ／台車の運動学と車両動力学モデルを活用するモデル予測コントローラ（例えば、リアルタイム機能で動作する衝突回避コントローラモジュール上で実行されるモデル予測制御ソフトウェア）、及び移動式産業車両及びその被牽引台車が検出される複数のオブジェクトとの衝突を回避するのを支援するために、車両制御とインターフェースする車両作動システム（例えば、車両フィードバック作動コントローラモジュール上で作動する車両作動フィードバック制御ソフトウェア）を統合する別の実施形態で実施されてもよい。
一般的な動作において、この特定の方法の実施形態は、第１のセンサ（ＬｉＤＡＲ）が、貨物トラクタ車両の進行方向に投影された幾何学的に定義された領域内の任意のオブジェクトを、貨物トラクタの進行方向におけるマッピング空間の一部として検出することから始まる。本方法は、第２のセンサ（（複数の）カメラ）が１つ以上のオブジェクト（人間、ビーコン、車両等）を検出することに続く。第２のセンサ（カメラ）によって捕捉されたセンサデータに基づいて境界ボックスを最初に決定し、第１のセンサ（ＬｉＤＡＲ）によって捕捉されたセンサデータに基づいてマッピング空間を決定することによって、データが有利に融合され得る。次いで、決定境界ボックスは、決定されたマッピング空間に投影され、貨物トラクタの経路内のオブジェクトを識別するやり方を改善するために比較される。このようにして、本方法は、２つのデータソースの融合を利用して、貨物トラクタの経路内で検出されたオブジェクトに対する衝突回避システムの改善された、向上した、よりロバストなパフォーマンスを提供する。
従来の方法と同様に、この方法の実施形態は、衝突回避コントローラ上で動作するＭＰＣソフトウェアを使用して最大車速を計算し、これによって車両の進行方向の制限された空間内でセンサプラットフォームによって検出されたオブジェクトとの衝突の前にシステムを停止させることを可能にする。貨物トラクタが衝突回避コントローラ上で動作するＭＰＣソフトウェアによって計算された最大許容速度を超えた場合、車両作動フィードバック制御ソフトウェアに具現化されたフィードバック制御システムは、貨物トラクタのブレーキ及び／又はスロットル制御を作動させて、計算された減速又は加速を達成することによって動作する。当業者はさらに、車両フィードバック作動コントローラが、このさらなる方法の実施形態の一部として、所望であれば貨物トラクタを完全に停止させることもできることを理解するであろう。
当業者は、上記に開示され説明されたこの追加の方法の実施形態が、少なくとも図２−４を参照して説明された例示的な向上した衝突回避システム等の装置又はシステムで実装され、上述のセンサ群、異なるプロセッサモジュール／コントローラモジュール、及び上記のような異なるプロセッサ／コントローラモジュール上で実行される異なるソフトウェアモジュールで実装されてもよいことを理解するであろう。そのようなソフトウェアモジュールは、プロセッサ／コントローラモジュールのそれぞれにおいて、非一時的なコンピュータ可読媒体に格納されてもよい。したがって、そのようなソフトウェアモジュールを実行するとき、衝突回避のための向上したシステムの集合的なプロセッサ／コントローラモジュールは、その方法の変形を含めて、上に開示された例示的な方法からの動作またはステップを実行するように動作することができる。
新しい資料−さらなる向上
オブジェクト持続性
上述のように、例示的なモデル予測制御３１５ａは、状態モデル内の反射ビーコン等の検出されたオブジェクトの持続性を追跡し得る。当業者は、一実施形態が、例示的な衝突回避システム３００内のソフトウェア機能として、貨物トラクタが空間を移動する際に、貨物トラクタに対する認識されたオブジェクト（反射ビーコン等）の位置を追跡及び更新するオブジェクト持続性を実装し得ることを理解するであろう。この機能により、貨物トラクタ上のセンサの現在の視野（ＦＯＶ）を超えて移動したオブジェクト又は不明瞭になったオブジェクトに関して改善され、向上され、かつより正確な衝突回避計算が可能になる。換言すれば、一実施形態は、モデル予測制御３１５ａの一部としてオブジェクト持続性を実装して、例示的な衝突回避システム３００が検出されたオブジェクト（反射するビーコン等）をどのように考慮し追跡するかを向上させ及び改善し、移動式産業車両（例えば、貨物トラクタ１１５）の前部のセンサパッケージが検出されたオブジェクト（例えば、反射ビーコン）を通過し、センサパッケージのＦＯＶ内に検出されたオブジェクトがもはやなくなった後で、検出されたオブジェクトとの衝突を回避し得る。
したがって、このような実施形態では、検出されたオブジェクト（検出された反射ビーコン等）はシステム内に持続し、モデル予測器制御３１５ａによって、その機能性の衝突回避及び空間認識の側面の一部と見なされてもよく、それによってシステムが車両（例えば、貨物トラクタ１１５及び台車トレイン１２０）に対して空間内でそれらを仮想的に追跡し、車両のトレイン１２０が接触することなくオブジェクトを追跡することを確実にするか、又は車両のトレイン経路１２５がオブジェクトと接触し、したがって車両１１５及びそのトレイン１２０が停止する必要があるかどうかを決定し得る。このような実施形態では、システムは、トレインの軌道の変化を追跡してもよく、したがって、オペレータが接触を避けるために必要な方向の変更を行わなかった場合に、実際にトレインが検出されたオブジェクトと接触する場合にのみトレインを停止させてもよい。
境界の識別
さらなる実施形態は、例示的な衝突回避システム及び方法に含まれる位置決定、進入拒否、及び自動モード選択等の様々な用途をサポートするために、複数のタイプの境界を使用し得る。一般に、移動式産業車両（例えば、貨物トラクタ１１５）に使用される例示的な衝突回避システムに関連する例示的な境界は、物理的環境内に配置されたマーカを認識することによって識別し得る。仮想境界は、例示的な衝突回避システムの一部としての位置特定機器を含むソフトウェアで（例えば、ＧＰＳ位置センサ３０５ｃ及びモデル予測制御ソフトウェアモジュール３１５ａに提供される位置センサデータを使用して）定義し得る。したがって、地理参照（例えば、ＧＰＳ座標位置データを使用したジオフェンシング）は、システムのマルチモード動作に関して以下でより詳細に説明するように、モード選択及びゾーン境界で使用されてもよく、境界に基づいてモード間の動作を変更するトリガ、並びに地理参照パラメータ選択を介した領域エントリ拒否に使用されてもよい。
マーカ識別を使用した境界とオブジェクトの識別
さらなる実施形態では、例示的な衝突回避システムがそれに応じて反応することを可能にするセンサデータを車両上のセンサが見て、検出し、認識し、生成するための環境において、予め決定されたタイプ／形状のオブジェクト識別子（マーカとも呼ばれる）を車両の外側に戦略的に配置し得る。より詳細には、このようなオブジェクト識別子マーカは、例えば既定のコード及び／又はサイズによってオブジェクト又は境界ゾーンを（並びにいくつかの実施態様では配向も）一意に識別するためのマーカの一部としてコードの形状及びタイプを有し得る。このようなオブジェクト識別マーカの例は、ＡｒＵｃｏマーカによって実装されてもよく、これにより、カメラ型システムは、一意のマーカを迅速かつ確実に認識し、範囲、角度、及び配向を推定することが可能になる。一実施形態では、ＡｒＵｃｏマーカを使用して、移動する貨物トラクタ１１５の境界を識別し、カーゴローダ（ローダ１１０等）等のオブジェクト及びその配向を認識し得る。一意のオブジェクト識別子マーカを識別することにより、衝突回避コントローラ４１０は、マーカを連続的に観察することなく、空間内のこれらの点を追跡することが可能になる。例示的な衝突回避システム３００は、以下により詳細に説明するように、移動式産業車両（例えば、貨物トラクタ１１５）の動作を変更し、及び／又は衝突回避システム３００の動作モードを変更するために、オブジェクトの持続性と同様のやり方で、識別されたオブジェクト及び境界に応答し得る。一意の識別及び配向推定は、システム３００内の衝突回避コントローラ４１０がこれらのオブジェクトを幾何学的形状として定義し、それに応じて応答することを可能にする。このように、カメラ及びＡｒＵｃｏマーカを使用したオブジェクト識別は、例示的な衝突回避システム３００が、ミッションクリティカルなオブジェクト（例えば、航空機１００に積載するために使用される積載ゲート１１０）に対してより正確な局所的応答を提供することを可能にし、オブジェクト識別マーカが提供するさらなるコンテキスト情報（例えば、一意の区別情報、及び範囲、角度、配向に関する情報）を欠く可能性のある反射ビーコンと区別する能力を与える。
例示的な動作モード−走行車線及び航空機ゲート領域
さらに別の実施形態では、例示的な衝突回避システムは、衝突回避システムを備えた車両が動作している動作ゾーンに応じて、異なる動作モードで（例えば、速度、使用するセンサ、センサ設定、距離制限等の車両動作のための異なる動作パラメータを使用して）動作するようにプログラム的に構成し得る。さらに、実施形態は、より大きなネットワークへの通信なしに独立してモード間を切り替える車両上の例示的な衝突回避システムを有し得る。
より詳細には、一実施形態は、航空機ゲート領域（ＡＧＡ）モード及び走行車線（ＤＬ）モードを有し得る。これら２つの例示的な動作モードＡＧＡ及びＤＬの各々は、異なる動作パラメータ内で機能し、このような異なるモードで動作するように構成された例示的な衝突回避システム３００を備えた車両の動作中に独自にシステム特徴を利用する。例えば、例示的なＤＬモードは、走行車線（例えば、航空機に近接していない車線内で車両１１５が通過している領域）を航空機ゲート領域（例えば、車両１１５が台車１２０で荷物を航空機１００の隣のローダ１１０に運搬しようとするときに航空機１００に近接する可能性のある領域）から分離する境界によって定義される。例えば、物理的な走行車線領域（すなわち、車両１１５がＤＬモードで動作し得る場所）の最大動作速度は、航空機ゲート領域の最大速度の２倍を超える（すなわち、車両１１５が、より制限されたＡＧＡモードで動作するように自律的かつ自動的に切り替わり得る）。このような例では、衝突回避のいくつかの実施形態で使用されるビーコン検出能力は、より制限の少ないＤＬモードで動作している間は適用できない。この例では、例示的なＤＬ動作モードは、航空機のゲート領域に比べて高速で動作しながら、車両経路内のオブジェクトとの衝突を防止するために、フロントガードシステムに依存し得る。これら２つの例示的なモードで利用可能な例示的な衝突回避システム機能は、図４０及び４１を参照して以下により詳細に説明される。さらなる実施形態では、新しい動作パラメータを定義し、異なるモードについて異なるゾーン境界を識別することによって、追加の動作モードを可能にし得る。
マーカ識別に基づくマルチモード動作スイッチング
本明細書に記載する実施形態は、上述の例示的なオブジェクト識別マーカ（例えばＡｒＵｃｏマーカ）を使用して、車両の衝突回避システムの異なる動作モードに対して異なるゾーン境界を定めることができる。これらのマーカの検出は、例示的な衝突回避システム３００の実施形態への入力を提供してもよく、その結果、システムは、そのようなマーカを関連するオブジェクト又は境界として（例えば、特定のＡｒＵｃｏマーカの符号化に基づいて）検出及び識別し得る。次に、システムは、それに応じて、制限された領域（航空機の積載に関連する例えばゲート領域）の外で使用される「フロントガード検出モード」（例えば、ＤＬモード）から、より制限されたゲート領域に入るときの「ゲート領域タイプ検出モード」（例えば、ＡＧＡモード）に切り替えるときを認識し得る。このようにして、車両１１５上の例示的な衝突回避システム３００は、その後、主にビーコン検出に焦点を当て、かつトラクタの最高速度を低下させる、より制限的なゲートモード（例えば、ＡＧＡモード）で動作し得る。例示的な衝突回避システム３００はまた、位置情報（例えば、ＧＰＳデータ）を用いたマーカ又は他の地理参照のさらなる検出に基づいて、ゲート領域を出るときにフロントガード検出モードに戻すべきときを知ることができる。貨物トラクタ１１５に許容される速度は、ゲート領域タイプ検出モードで動作するときよりも、（ゲート領域外の）フロントガード検出モードで大きくなってもよい。
そのような実施形態では、例示的なオブジェクト識別マーカ（例えば、特定のＡｒＵｃｏマーカ）を使用して、航空機ローダ１１０等のオブジェクトが航空機１００に近接するゲート領域内のどこに位置するかを表すことができる。このように、このような特殊化されたオブジェクト識別マーカの検出は、例示的な衝突回避システムがさらに別の動作モードに入ることを可能にし、トラクタ／台車トレイン１１５／１２０が航空機ローダ（すなわち、検出されたオブジェクト識別子マーカ）から閾値距離内にある場合にゲート内衝突回避応答を解除し得る。なぜなら、貨物トラクタ１１５の後方の台車トレインが、台車１２０と航空機ローダプラットホームとの間でコンテナを積載／積み降ろしする能力を提供するために、航空機ローダにわずかに接触する（又は、衝突回避システムが通常許容するよりもローダに近づく）必要があり又は接触することを望む動作時間があるからである。
これらのシステムトリガは、これらのさらなる実施形態では、所定の検出がトラクタ／台車トレインを不必要に停止させ得る状況を最小限にしながら、両方の環境における衝突回避応答をさらに向上し改善することを可能にする。不必要なシステムトリガ停止／応答を防止し、動作モード（主にビーコンに焦点を当てたゲート領域衝突回避と、主にフロントガード衝突回避に焦点を当てたゲート領域外衝突回避）におけるこれらの変更を可能にすることは、衝突回避をさらに改善し、貨物トラクタ１１５及び被牽引台車１２０等のロジスティクス車両を含む安全なロジスティクス作業を向上させるために、上述のシステム要素の技術的解決及び実用的な適用を提供する。
図３９は、本発明の一実施形態による、別の例示的なロジスティクス環境に配置された別の例示的なトラクタ衝突回避システム動作図である。図３９に示されるように、航空機１００を有する別の実施形態は、例示的なオブジェクト識別マーカ３９００、３９０５と共に示される。マーカ３９００は、この実施形態において配置され、例示的なゾーン境界を識別する例示的な境界識別マーカとして符号化され、そこでは、貨物トラクタ１１５に搭載されたシステム３００の動作が、マーカ３９００によって識別されるゾーン境界のいずれかの側で異なってもよい。マーカ３９０５は、この実施形態では、例示的なローダ１１０に関連するように符号化されたオブジェクト識別子マーカとして配置される（またローダ１１０の向きをマーカ３９０５のセンサ分析から含んでもよい）。図３９に示すように、貨物トラクタ１１５が境界識別マーカ３９００の下のＤＬ動作領域（システム３００が、より制限の少ないＤＬモードで動作する場所）から境界識別マーカ３９００の上のＡＧＡ動作領域に移動したとき、車両１１５に搭載された例示的な衝突システム３００は、それに応じてかつ自動的に、ＤＬモードからより制限的なＡＧＡモードに切り替わってもよい。
動的視野
フロントガード実施形態では（例えば、例示的な衝突回避システム３００が制限の少ないＤＬモードで動作している場合）、システム３００全体の衝突回避部分は、センサ（例えば、センサ３０５ｄ、ｅ、ｆ）と、このようなセンサによって生成されたセンサデータとを、洗練され向上したやり方で使用し得る。より詳細には、例示的な衝突回避システム３００は、関心のある視野（ＦＯＶ）をシステム３００によって動的に調整してもよく、これは、センサが焦点を合わせることができる場所及び／又はセンサの受容フィールドの幅の程度を効果的に変化させ得る。このような実施形態では、これにより、例示的な衝突回避システム３００は、システムの動作モードの変化に応じて変化、改良、及び動的に調整することが可能になる。例えば、例示的な衝突回避システム３００（例えば、信号処理ソフトウェアモジュール３１０ａを実行するマルチプロセッサモジュール４０５）によって、移動方向及び／又は車両３００が旋回している方向に基づいて、システム１１５がセンサデータにより多くの注意を払うように、センサによって生成されたセンサデータの一部に優先順位を付けるように変更し得る。一実施形態では、センサのＦＯＶを本質的に適合させ、衝突回避の目的のために処理及び考慮されるセンサの実際の視野からのセンサデータの一部をプログラム的に調整することによって動的ＦＯＶ応答を実行するために、このようにセンサデータに優先順位を付けることができる。これにより、センサの実際のＦＯＶの一部から無関係なセンサデータを効果的にフィルタリングし、システム３００によってセンサデータのサブセットに注意を払わせる。このようなセンサデータのサブセットは、例えば、センサの有効受容フィールドの調整された程度（例えば、有効ＦＯＶが車両の縦軸に対して両側で狭くなっている場合）、又はセンサの調整された焦点をもたらすことができる（例えば、有効ＦＯＶが車両の縦軸の一方の側で他方の側よりも変化している場合）。より一般的には、このような実施形態は、センサの焦点位置を効果的に調整するか、又はセンサの受容フィールドの程度を効果的に調整する。システム３００によって考慮される有効なセンサデータに対するこのような適応的かつ動的な変化は、例えば、車両１１５の方向の変化（例えば、貨物トラクタ１１５の軌道の角速度変化）に応答して、及び／又は例示的な衝突回避システム３００（及びその車両１１５）が動作している動作領域への変化を示すオブジェクト識別マーカの識別に応答して、不必要／不要なシステムによって開始された車両停止を防止するのを支援し得る。このような実施形態では、例示的な衝突回避システム３００は、例えば、車両の走行経路が、経路が変更されていなければ衝突が発生していたであろう場所までの許容可能な距離内でオブジェクトを回避するように調整された場合に、検出されたオブジェクトが回避されるかどうかをより良く決定し得る。したがって、動的ＦＯＶは、動的ＦＯＶ対応の例示的な衝突回避システム３００が車両経路内のオブジェクトに応答することを可能にする状況適応ＦＯＶとして、フロントガード検出モードで動作する例示的な衝突回避システムの一部として展開し得る。
最小離間距離ロックアウト
上述のように、例示的な衝突回避システム３００の異なる動作モードは、異なる動作パラメータを有してもよく、このような異なるモードで動作するように構成された例示的な衝突回避システム３００を備えた車両の動作中に、異なるやり方でシステム特徴を利用してもよい。例えば、速度制限動作パラメータに加えて、所与の動作モードで使用される特定のセンサの視野パラメータ、例示的な衝突回避システム３００の特定の動作モードに関連し得るさらなる例示的な動作パラメータ／特徴は、最小離間距離（ＫｏＤ）を含み得る。一般に、最小ＫｏＤは、例示的な衝突回避システム３００が車両作動システムを使用して車両の完全な即時停止を実行し、かつ引き起こすことができるオブジェクトからの半径方向距離である。したがって、例示的な最小ＫｏＤロックアウトは、例示的な衝突回避システムによって監視されるセンサのＦＯＶに入る可能性があるオブジェクトに対する完全な制動停止応答を可能にする。このような例示的な最小ＫｏＤは、異なる動作モードに含まれる速度が異なる可能性があるので、異なる動作モードに対して異なる可能性があり、これは、特定の動作領域において（例えば、当該領域の動作モードに関連する速度制限パラメータの下で）より高い潜在的速度を説明するためには最小ＫｏＤがより高いことを必要とし得る。しかしながら、他の領域は、制動停止合理性を超えた理由で、検出されたオブジェクトからより多くの距離を提供する所望の最小ＫｏＤを有してもよい（例えば、当該領域には、より大きな最小ＫｏＤを必要とする危険性のあるオブジェクトが存在する等）。
ローカルな一時的システムオーバーライド
例示的な衝突回避システム３００のさらなる特徴は、ローカルな一時的システムオーバーライドであってもよい。例示的なシステム３００のローカルな一時的システムオーバーライド機能は、トラクタのオペレータが時間制限に基づいてシステム３００を無効にすることを可能にする。これは、ギアセレクタ３２５（すなわち、車両作動フィードバック制御３２０ａによって制御される車両アクチュエータの１つ）との相互作用によって達成し得る。例えば、例示的な衝突回避システム３００の一部として実装されるこの機能を備えた貨物トラクタ１１５を駐車場に配置することは、システム３００を無効にするが、貨物トラクタ１１５を駐車位置からドライブ又はリバースに配置することは、システム３００の再開に対するカウントダウンタイマーを開始し得る。一実施形態では、このような例示的カウントダウンタイマーは、台車選択に依存してもよい。したがって、台車カウントの増加はカウントダウン期間を延長してもよく、台車カウントに関する情報は、そのようなローカルシステムオーバーライド機能を利用する例示的な衝突回避システム３００によって維持し得る。さらなる実施形態では、例示的な衝突回避システム３００へのユーザインターフェースを介した選択として、台車のカウントを可能にしてもよく、これらは全て、例えば、トレイン１２０内の台車の数、並びに、トレイン１２０の特定の実施形態の長さ及び質量に関する情報を入力するためのものであってもよい。このような台車カウント情報を使用して、例示的な衝突回避システム３００は、システム３００の例示的なモデル予測コントローラによって計算される潜在的な制御ソリューションを決定するときに使用され得る。
例示的な衝突回避システム３００のさらなる実施形態は、システム３００の動作を向上させる、本発明の実施形態によるシステム内のさらなる役割のための、特定の論理セグメント内のさらなるソフトウェア型モジュールを含んでもよく、これには、情報（台車カウント情報等）を入力し、システム３００の状態を監視するためのユーザインターフェースが含まれる。より詳細には、さらなる実施形態は、図３に示されるセンサ処理セグメント３１０の一部として、例示的なセンサプラットフォーム管理ソフトウェア型モジュールを含んでもよく、一方、システム管理ソフトウェア型モジュールは、図３に示される衝突回避制御セグメント３１５の一部であってもよい。例示的なセンサプラットフォーム管理及びシステム管理モジュールの実施形態は、システム起動機能、モード選択のためのユーザ入力、通信機能、並びに例示的な衝突回避システム３００のための異なるタイプのユーザインターフェースの生成を提供する態様を含み得る。
例えば、このような例示的なモジュールは、例示的なシステム３００の自動起動機能を含んでもよく、システムの電源投入時に、車両作動フィードバックコントローラ４１５は、システム３００内の残りのシステムコンポーネントについてブートサイクルを開始し、その結果、システムの初期化の完了時に例示的な衝突回避システム３００を自動的に可能にする。
別の例では、このような例示的なモジュールは、例示的なシステム３００のためのソフトウェア型ネットワーク接続を含んでもよい。例示的な衝突回避システム３００の実施形態は、システム３００が、そのようなネットワークを介してより大きなネットワーク及びシステムへの接続性を必要としない自律又は半自律モードで動作する多数の機能及び動作シナリオを有するが、（例えば、Ｗｉ−Ｆｉ、セルラ、又はその他の無線技術を介する）ネットワーク接続を含めることにより、遠隔システム監視、及びシステム３００の様々なシステム状態及びパラメータの手動コマンド、並びに特定の動作環境に関連する更新情報（例えば、特定の航空機環境内で使用されている特定のオブジェクト識別マーカに関する識別情報等）を受信する能力が可能になる。
ユーザインターフェースの観点からは、このような例示的なモジュールは、システム３００が、遠隔ビジュアライザ及び／又は状態インジケータを含む、１つ以上の異なるグラフィカルユーザインターフェースを提示することを可能にし得る。例示的な衝突回避システム３００の一部としてそのようなモジュールによって生成される例示的なグラフィカルユーザインターフェースは、システムパラメータ（台車カウント情報等）を調整するユーザ入力のための直感的なインターフェースを提供し得る。例示的な遠隔システムビジュアライザは、例えば、ＭＰＣ計算及び制御応答ソリューションのグラフ表示を提供し得る。さらに、（そのような例示的なセンサプラットフォーム管理及びシステム管理モジュールの一部として実装される）例示的状態インジケータモジュールは、例示的な衝突回避システム３００の現在のシステム状態及び高レベル動作を、車両１１５の運転者、車両１１５上のローカルオブザーバ、車両１１５から離れているが車両１１５と同じ動作領域内に位置するローカルオブザーバ、及び／又は車両１１５の動作領域外の遠隔オブザーバに伝達し得る。
別の例示的な実施形態が図４０−４１に示されており、ここでは、異なる動作領域が示されており、例示的な車両及びその車載衝突回避システムは、ＤＬモードからＡＧＡモードに切り替えられてもよく、これは、このような例示的な車両の衝突回避能力を向上させる自律的かつ自動的なやり方で、異なる衝突回避システムの動作パラメータ及び機能性に関与する。図４０は、本発明の一実施形態による、例示的なトラクタ衝突回避システムが例示的な走行車線（ＤＬ）モードで動作している、別の例示的なロジスティクス環境に配置された別の例示的なトラクタ衝突回避システム動作の図である。次に図４０を参照すると、例示的な貨物トラクタ車両１１５ａ−１１５ｄが例示的なＤＬ動作領域４００５で動作しているように示されており、例示的な航空機１００及び例示的なローダ１１０が、例示的なＡＧＡ動作領域４０００内で航空機１００の隣に配置されている。図４０に示されるように、例示的なＤＬ動作領域４００５は、この例では、そのような高価値資産に対する固有の衝突の危険となるほどに車両がＤＬ動作領域４００５内に侵入しないか、又は航空機１００に近接することを許可にする走行車線を含むが、フロントガード監視は、ＤＬ動作領域４００５内の車両１１５ａ−１１５ｄが、そのような走行車線で検出された他のオブジェクトとの衝突を回避するのを支援することを可能にする。例示的なＤＬ動作領域４００５では、例示的な衝突回避システム３００の実施形態は、ＤＬモードで車両１１５ａ−１１５ｄに使用されてもよく、ここで使用される動作パラメータ及びシステム特徴は、ＡＧＡモードでＡＧＡ動作領域４０００内で動作するものよりも制限されなくてもよい（例えば、システムパラメータの増加、及び配備されているシステム機能の集合の削減）。例えば、ＤＬ動作領域４００５内のシステム３００の例示的なＤＬモードは、１０ｍｐｈの速度制限、フロントガード検出モード動作に限定されたセンサＦＯＶ、及び４ｍに設定された最小オブジェクトＫｏＤを含んでもよい。ＤＬモードでは、例示的な貨物トラクタ車両３００ａに搭載されたシステム１１５は、車両１１５ａが旋回するとき等、車両１１５ａの動きの変化に基づいてセンサＦＯＶを応答的に調整する動的に調整されたセンサを使用し得る。図４０に示すように、車両１１５ａが旋回すると、車両１１５ａに搭載された例示的な衝突回避システム３００上のセンサは、旋回の方向を見るようにそのＦＯＶを調整して、車両１１５ａの経路内のオブジェクトをより良く観察し得る。さらに、図４０に示すように、車両１１５ｄに搭載された衝突回避システム３００は、その走行経路内のオブジェクト（例えば、旋回車両１１５ａとその被牽引台車１２０ａ）を検出し、その結果、車両１１５ｄを自動的に減速又は停止させることができる。
図４１は、図４０の例示的なロジスティクス環境の図であるが、ここでは、車両１１５ａ上の例示的なトラクタ衝突回避システムが、本発明の実施形態に従って、例示的な航空機ゲート領域モードで動作するように自動的に切り替えられている。図４１に示すように、車両１１５ａは、図４０に示すように旋回したが、ＤＬ動作領域４００５からＡＧＡ動作領域４０００にさらに旋回している。例示的な車両１１５ａに搭載された衝突回避システム３００は、例示的なオブジェクト識別マーカ４０１０（図３９に示されるマーカ３９００に類似する）を検出し、マーカ上の符号化された情報に基づいて、マーカ４０１０を境界識別マーカとして識別し、いかなるより大きなネットワークとの命令又は通信も行わずに、例示的な車両１１５ａ上で動作する衝突回避システム３００のために、ＤＬモードからより制限的なＡＧＡモードへの変更を開始する。例えば、車両１１５ａのシステム３００の例示的なＡＧＡモード（すなわち、ＡＧＡ動作領域４００５内で動作する際に使用されるモード）は、５ｍｐｈの低下した制限速度を含み、ＡＧＡ操作領域４００５内の衝突回避を向上させるために、ＬｉＤＡＲセンサＦＯＶを動的に調節して２７０°まで拡大し、衝突回避の一部としてビーコン認識（単なるオブジェクトではない）とオブジェクトの持続性を開始し、ローダの識別と追跡を有効にし（コード及びその向きごとにローダを一意に識別するように認識される例示的なＡｒＵｃｏマーカを使用して識別される特定のタイプのオブジェクト）、最小オブジェクトＫｏＤを２ ｍに低下させ、最小ビーコンＫｏＤを１ｍに設定してもよい。このようにして、車両１１５およびその車載衝突回避システム３００は、高価値資産を有する環境でより良好に動作し、自律的に適応するやり方で動作して、高価値資産および（オブジェクトの永続性のため）センサＦＯＶ内にもはや存在しない物体を含む、車両の経路内のオブジェクトとの衝突回避をさらに向上させ得る。
図４２は、本発明の一実施形態による、マルチモード車載衝突回避システムを使用し、複数の異なる動作領域で動作し得る移動式産業車両による衝突回避を向上させるための例示的な方法のフロー図である。ここで図４２を参照すると、例示的な方法４２００は、移動式産業車両が第１の異なる動作領域（例えば、（図４０及び４１に示された走行車線領域４００５）で動作している間に、第１の衝突回避モード（例えば、ＤＬモード）で動作している移動式産業車両上のマルチモード車載衝突回避システムで開始する。ステップ４２１０において、方法４２００は、マルチモード車載衝突回避システムのセンサの１つが、オブジェクト識別マーカ（例えば、ゾーン境界に対応しかつそれを表すように符号化され、ゾーン境界の方向を示すように構成されたＡｒＵｃｏマーカ等のマーカ３９００又はマーカ４０１０）を検出することに進む。
ステップ４２１５において、方法４２００は、マルチモード車載衝突回避システムが、検出された第１のオブジェクト識別マーカを動作境界識別マーカとして識別することに進む。例えば、図４１に示す車両１１５ａ上の衝突回避システム３００は、マーカ４０１０を検出し、ＤＬ動作領域４００５とＡＧＡ動作領域４０００との間のゾーン境界を表す動作境界識別マーカを識別し得る。ステップ４２２０において、方法４２００は、マルチモード車載衝突回避システムの１つ以上のセンサによって、移動式産業車両が動作境界識別マーカに関連するゾーン境界を通過し、第２の異なる動作領域に入るときを検出することに進む。
ステップ４２２５において、方法４２００は、マルチモード車載衝突回避システムが、第１の衝突回避モードから第２の衝突回避モードに動作を変更し、第２の異なる動作領域にあるときに、マルチモード車載衝突回避システムの動作を制御する。したがって、第２の衝突回避モード（例えば、ＡＧＡモード）は、第１の衝突回避モード（例えば、ＤＬモード）における動作パラメータと比較してより制限的な少なくとも１つの動作パラメータを有する。より詳細には、ステップ４２２５における第１の衝突回避モードから第２の衝突回避モードへの変更は、第１の衝突回避モードにおいて、マルチモード車載衝突回避システムに対する第１の動作パラメータの集合の代わりに、第２の衝突回避モードにおいて、マルチモード車載衝突回避システムに対する第２の動作パラメータの集合を使用し、各集合に共通の少なくとも１つの動作パラメータが、第１の動作パラメータの集合の一部と比較して、第２の動作パラメータの集合の一部として、より制限的な値を有するように実装されてもよい。このような動作パラメータは、例えば、移動式産業車両の速度制限閾値又は移動式産業車両の離隔距離とし得る（例えば、マルチモード車載衝突回避システムによって検出されたオブジェクトまでの移動式産業車両からの最小半径距離、又はマルチモード車載衝突回避システムによって検出された反射ビーコンまでの移動式産業車両からの最小半径距離）。
より詳細には、第２の衝突回避モード及び第１の衝突回避モードは、異なるモードにおいてマルチモード衝突回避システム上で使用される動作特徴が異なる場合がある。例えば、マルチモード衝突回避システムの少なくとも１つの追加の動作特徴は、第１の衝突回避モード（例えば、ＤＬモード）において使用されるマルチモード衝突回避システムの動作特徴と比較したときに、第２の衝突回避モード（例えば、ＡＧＡモード）において使用され得る。このような追加の動作特徴（又は異なる動作特徴）は、例えば、センサによって検出されたオブジェクトからの最小離隔距離閾値内で移動式産業車両を移動させないようにする最小離隔距離閾値特徴、検出されたオブジェクトがセンサの視野外に出た後において、検出されたオブジェクトを追跡するオブジェクト持続性特徴、第２の衝突回避モードで動作しているときに、衝突回避を向上させるためにセンサの視野を変更する変更視野特徴、及び／又は、第２の衝突回避モードで動作しているときに、他のオブジェクトの検出に加えて、他のオブジェクトとは異なる反射ビーコンの別個の検出を可能にする専用オブジェクト検出特徴を含んでもよい。
新しい資料の終了
例示的な動的経路追従又は運動学モデルに関するさらなる詳細
上述のように、実施形態は、高価値資産を有する移動式産業車両による衝突を回避するための改善された実施形態の一部として、牽引された台車又はトレーラを有する貨物トラクタ等の複数要素移動式産業車両（の移動と経路等）の将来の状態を予測することを含む、応用及び向上したシステム、装置、及び方法の実施形態の一部として、動的経路追従又は運動学モデルを使用し得る。
応用及び向上したシステム、装置、及び方法の実施形態の一部として展開され得る例示的な動的経路追従又は運動学的モデルの実施形態のこの特定の記載では、以下の略語が使用され、以下のように説明される。
ｔ：現在の時間、Δｔ：時間ステップ
ｕ（０）：初期変位、ｕ（ｔ）：時間ｔにおける現在の変位
ｕ（ｔ＋Δｔ）：ｔ＋Δｔにおける次の変位、ｖ（０）：初期線形速度
ｖ（ｔ）：時間ｔにおける現在の線形速度、ｖ（ｔ＋Δｔ）：ｔ＋Δｔにおける線形速度
ａ（０）：初期線形加速度、ａ（ｔ）：ｔでの現在の線形加速度
ａ（ｔ＋Δｔ）：ｔ＋Δｔでの線形加速度
θ（０）：初期方向角、θ（ｔ）：時間ｔでの現在の方向角
θ（ｔ＋Δｔ）：ｔ＋Δｔでの次の方向角、ω（０）：初角速度
ω（ｔ）：時間ｔにおける角速度、ω（ｔ＋Δｔ）：ｔ＋Δｔにおける角速度
α（０）：初期角加速度、α（ｔ）：時間ｔでの角加速度
α（ｔ＋Δｔ）：ｔ＋Δｔにおける角加速度
ｗ：車両の幅、ｌ：車両の長さ
Ｌｆ：車両前部のヒッチの長さ
Ｌｒ：車両後部のヒッチの長さ
β：ステアリング角、ＷＢ：ホイールベース
ＬＡ：牽引車両の後車軸からヒッチ点までの距離
Ｌｂ：前のヒッチ点から被牽引車両の後車軸までの距離
Ｌｃ：被牽引車両の後車軸から次のヒッチ点までの距離
Ｒｒａ０：牽引車両の後車軸半径
Ｒｒａｉ：ｉ番目の被牽引車両の後車軸半径
Ｒｈ０：牽引車両のヒッチ半径
Ｒｈｉ：ｉ番目の被牽引車両のヒッチ半径
下付き文字ｘ、ｙ：Ｘ及びＹ方向に沿う
下付き文字ｄ：被牽引車両
下付き文字ｉ：ｉ番目の車両、ｉ＝０は牽引車両、ｉ＝１から４は被牽引ユニットを表す
一般に、適用及び向上したシステム、装置、及び方法の実施形態の一部として展開され得る例示的な動的経路追従又は運動学的モデル（図１１−１９を含む）の以下に記載する実施形態は、牽引車両システムの連続運動を予測し、その軌道に従う。牽引車両システムが旋回しているときに生じるオフトラッキング効果は、例示的なモデルによって対処される。この例示的なモデルのフレームワークは、（１）牽引車両とその被牽引車両（例えば、台車及び／又はトレーラ）の運動要素（直線及び角度位置、速度、及び加速度）間の関係を記述する状態空間モデル、（２）ヒッチ点の位置を含む、これらの車両の瞬時位置を特定する幾何学的モデル、（３）オフトラッキング効果を考慮して、牽引車両システム全体の形状の外形を随時示すＡｃｋｅｒｍａｎステアリングモデル、及び（４）牽引車両の入力に基づいて被牽引車両の方向角の履歴を計算し、それによって牽引車両システムの連続動作を捕捉するヒッチバックモデルを含む。
牽引車両システム（移動式産業車両の要素）の連続運動をより正確に追跡する課題に対処する以前の試みでは、そのモデルから予測された経路を牽引車両システムの実際の経路と比較すると、かなりの誤差が見出されていた。このような挙動をモデル化するための以前の試みは、後続の被牽引車両が牽引車両と同じ経路を辿ることを仮定して、オフトラッキング効果を無視した。他には、例えば、トレインのような車両のオフトラッキング逸脱を排除するために、キングピンスライディング（ｋｉｎｇｐｉｎ ｓｌｉｄｉｎｇ）技術及び可動接合技術を用いてこの課題に対処しようとしたが、これらの技術の実装にはコストがかかりすぎ、牽引車両システムのほとんどは依然としてオフトラッキング問題の対象となっている。そこで、予測精度を向上させるために、以下に詳述するオフトラッキング効果に対処する改良型動的モデルを開発した。
トレインのような車両システムでは、オフトラッキング効果とは、被牽引車両が牽引車両と比較して常に角の周りでよりきつい経路を辿り、より多くの被牽引ユニット（トレーラ）がある場合、後続の各トレーラは、それ以前に通ったものよりもきつい経路を辿ることになることを意味する。図１１に示すように、例示的な動的モデル化フレーム１１０５−１１２０は、状態空間モデルを用いてニュートンの第二法則に基づいて牽引車両の即時位置及び速度を計算することによって牽引車両システムの即時状態を決定し、それによって、各被牽引ユニットが牽引車両と同じ経路（方向角のシーケンス）に従うと仮定することによって、後続の被牽引車両の位置を推定した。以下に示す式（１）は、状態空間モデルをリストしており、ＩＭＵから収集した初期条件に基づいて、牽引車両の瞬時位置及び速度を計算するものである。
式（１）
Figure 0006949238
図１２は、本発明の一実施形態による例示的な単一剛体モデルの図である。牽引車両と被牽引ユニットが３つの自由度を有する剛体（本体１２０５等）である、すなわち、（図１２に示すように）Ｘ及びＹ方向に沿った並進とＺを中心とした回転を仮定すると、状態空間モデルは、式（１）で表すことができる。式（１）から計算される位置は、牽引車両における基準点の位置を表し、その点の座標とその寸法に基づいて牽引車両のリアルタイムの形状が決定される。その後、同じ手法を適用して後続車両の即時形状を決定する。
式（１）において、ｕｘ及びｕｙは、それぞれ剛体（例えば、牽引車両又は被牽引ユニットの前端の中心）の基準点のＸ位置とＹ位置を表す。基準点に基づいて、その剛体内の他の点の位置を幾何学的関係に従って容易に決定することが可能である。剛体として、牽引車両又は各被牽引ユニットのいずれの点も、同じ方向、速度及び加速度を有するべきものとする。Ｘ及びＹ方向に沿った線形速度及び加速度は、以下の式（２）で表されるように、方向角θと相関させることができる。
式（２）
Figure 0006949238
式（１）から計算した牽引車両のリアルタイム方向角を用いて、牽引車両システム全体の形状をいつでも完全に決定するために、追従する被牽引ユニットの方向角を予測した。被牽引車両の角度を推定する際、以前のモデルは被牽引車両が牽引車両と同じ角度位置履歴に従うと仮定した。換言すれば、牽引車両の瞬時方向角は、２つの隣接車両間の接続の剛性に依存する適切な時間遅延で後続車両に伝達される。
図１３は、本発明の一実施形態による、４つの被牽引ユニットを有する例示的な移動牽引車両システムの図である。ここで図１３を参照すると、例示的な移動牽引車両システム１３００は、牽引車両１３０５と、ヒッチ１３１５ａ−１３１５ｄに連結された一連の被牽引ユニット（例えば、台車又はトレーラ）１３１０ａ−１３１０ｄとを表すポリゴンとして示されている。牽引車両１３０５及びそのシーケンス被牽引ユニット１３１０ａ−１３１０ｄの計算された又は推定された位置に基づいて、任意の時点における例示的な移動牽引車両システム１３００の即時形状を予測するために、ポリゴンモデルが開発された。ビーコンシステムは、このモデルの入力パラメータである、牽引車両（例えば、フロントエンドの中央）の基準点の即時位置を更新するために使用される。開発したポリゴンモデルでは、例示的な牽引車両と各例示的な被牽引ユニットを４つの頂点を持つ矩形として仮定し、被牽引車両システム全体の形状は、全ての頂点を接続する線分セグメントによって形成されるポリゴンとして表現され得る。以下の式（３）は、ｉ番目の牽引ユニットの４つの頂点のグローバル座標（基準点Ｏに関する）を計算するやり方を説明する。
式（３）
Figure 0006949238
しかしながら、各被牽引ユニットが牽引車両と同じ経路（方向角のシーケンス）を辿ると仮定することにより、オフトラッキングの効果は無視される。実際には、オフトラッキング効果により、被牽引車両は、被牽引車両に比べて角の周囲でよりきつい経路を辿る。従来知られているモデルを用いて２台以上の被牽引ユニットを有する移動牽引車両システムの形状を予測する場合、その効果を無視することは重大なエラーの一因となる。
改良されたモデルの一実施形態は、牽引車両システムの経路を追跡することが可能である。図１４は、本発明の一実施形態による、例示的な牽引車両１４０５と、２つの被牽引車両ユニット１４１０ａ、１４１０ｂとを有しする牽引車両システムの例示的な幾何学的モデルの図であり、ヒッチ点Ｈ１、Ｈ２を示している。そのような実施形態の一部として、幾何学的モデルは、移動牽引車両システムの全ての頂点の座標を随時決定し、それに基づいて、そのシステムの瞬時の形状を容易に描くことが可能である。このモデルは、牽引車両と被牽引車両との間、並びに牽引車両（又は前方の被牽引車両）の後端の中央からヒッチ点までの剛体リンク（例えば、１４１５ａ、１４１５ｂ）として表される隣接する２つの被牽引車両と、そのヒッチ点から被牽引車両（又は後方被牽引車両）の前端の中央までの別の剛体リンク（例えば、リンク１４２０ａ、１４２０ｂ）との間の接続を有する。このような接続のモデル化は、車両システムの経路を予測する際のオフトラッキング効果を捕捉するステアリングモデルの実施を可能にする。
図１４に示される例示的な地理的モデルを参照すると、種々のラベル及び略語が使用されている。例えば、ｗｔは牽引車両の幅を表し、ｌｔはその長さ、ｗｄは牽引ユニットの幅、ｌｄはその長さを表し、Ｌｒは牽引車両の後端に取り付けられたヒッチの長さ（５からＨ１まで）を示し、Ｌｆｔｏは最初の被牽引ユニットの前端に取り付けられたヒッチの長さ（Ｈ１からＯ’まで）を示すために使われている。牽引車両モデルの頂点１〜５とヒッチ点Ｈ１の座標は、次のように計算され得る。
式（４）
Figure 0006949238
ローカル基準点０’に対する１’から５’及びＨ２の座標は同様に次のように表わされ得る。
式（５）
Figure 0006949238
同様に、ｉ番目の被牽引ユニットについては、その５つの頂点の相対座標及びそのローカル基準点に対するＨｉは、以下のように容易に表すことができる。
式（６）
Figure 0006949238
次に、第１の被牽引ユニット（式（４）の４つの頂点の相対座標を元のグローバル基準点Ｏにマッピングして、それらのグローバル座標を得る。この操作は、参照点をＯ’からＯに変換することによって実行され得る。マッピング関係を見つけるために、三角形ΔＯＨ１Ｏ’は、図１５の例示的な牽引ユニット１５０５に示されているように、３つのベクトル
Figure 0006949238
 で構成され得る。２つのベクトル
Figure 0006949238
 の長さは、ＯＨ１＝ｌｔ＋Ｌｒ及びＨ１Ｏ’＝Ｌｆである。２つのベクトルの方向は角度θ１及びθ０で表される。コサインとサインの法則によれば、三角形ΔＯＨ１Ｏ’は完全に解くことが可能であり、Ｏ’の座標は、Ｏ’ｘ−ｌｆｃｏｓθ１−（ｌｔ＋Ｌｒ）ｃｏｓθ０＝ＯｘとＯ’ｙ−ｌｆｓｉｎθ１−（ｌｔ＋Ｌｒ）ｓｉｎθ０＝Ｏｙとしてのベクトル加法に従ってＯの座標に簡単にマッピングされ得る。したがって、１番目の被牽引車両の４つの頂点（１’から４’）のグローバル座標は次のように計算され得る。
式（７）
Figure 0006949238
式（７）を検査してそれを式（６）と結合させると、ｉ番目の被牽引ユニットの４つの頂点の（基準点Ｏに対する）グローバル座標は以下のように求められる。
式（８）
Figure 0006949238
牽引車両システムが旋回中しているときに牽引車両及び被牽引車両の旋回半径を正確に計算するために、Ａｃｋｅｒｍａｎステアリングモデルを使用してもよい。当業者には理解されるように、Ａｃｋｅｒｍａｎのステアリング原理は、ステアリングホイールの回転角度（ステアリング角βとして知られる）に関して牽引車両システム内の全ての車両に適用される幾何学を定義する。この原理により、車両システムのいくつかのキーポイントにおける半径を決定することが可能であり、それに基づいて、牽引車両に関連する被牽引ユニットの位置を決定することが可能であり、システム全体の経路を良好にシミュレートすることが可能になる。新しい経路追従モデルのこの実施形態の一部としてＡｃｋｅｒｍａｎステアリング原理を使用することによって、最大オフトラッキングを考慮に入れた、牽引車両及び各被牽引車両の即時位置の改良された向上した記述を達成し得る。このようなモデルの実施形態を以下にさらに説明する。
図１６は、本発明の一実施形態によるトラクタ−トレーラモデルにおいて、様々な距離基準長と共に１つの牽引車両（トラクタ）１６００及び１つの被牽引車両（トレーラ）１６０５を備えた単純化された例示的な車両システムを示す。図１７は、例示的な牽引車両１７００及び２つの被牽引車両（トレーラ）１７０５、１７１０の例示的な縮尺モデルの図であり、本発明の実施形態による一連の仮想三角形を定義する基準点１７１５からの特定の長さ及び特定の半径を示している。Ａｃｋｅｒｍａｎステアリング原理を実装するために、ＷＢはトラクタのホイールベースを表すのに使用され、Ｌａはトラクタの後車軸からヒッチ点までの長さを表すのに使用され、Ｌｂはヒッチ点からトレーラの後車軸までの長さを表すのに使用され、Ｌｃはトレーラの後車軸から次のヒッチ点（図１６）までの距離を表すのに使用される。一実施形態では、複数の被牽引車両Ｌｂ及びＬｃを有する車両システムは、被牽引車両が同じサイズである場合には同じであることが望ましい。このモデルについて計算された半径は、図１７に示されるように、トラクタの後車軸半径（Ｒｒａ０）、トレーラ１７０５（第１の被牽引ユニット）の後車軸半径（Ｒｒａ１）、トラクタ１７００のヒッチ半径（Ｒｈ０）、及びトレーラ１７０５のヒッチ半径（Ｒｈ１）を含む。同図に示すように、ステアリング角と定義された半径及び長さに基づいて一連の仮想三角形を構築することが可能であり、その半径は次の三角法の関係から計算し得る。
式（９）
Figure 0006949238
ここで、γ１は、牽引車両と第１の被牽引車両との方向差を示しており、γ１＝θ１−θ０の関係に従う（図１４）。提示されたステアリングモデルでは、車両システム上の任意の点の半径位置を、式（９）と同様のやり方で計算できることに留意する必要がある。テストと検証のために、後車軸半径とヒッチ半径を計算する方程式のみを示している。牽引車両の前車軸半径及びその位置は、運動学的モデル又は式（１）に示された状態空間モデルによって完全に決定され、三角法の関係に基づいて推定する必要はない。
さらに、式（９）は、牽引車両のステアリング角及び寸法を被牽引車両のそれらに置き換えるだけで、被牽引車両の半径を計算するために簡単に修正及び適用し得る。式（１０）は、後続の被牽引車両が同じサイズ及び同じＬｂ及びＬｃを有すると仮定して、ｉ番目の被牽引車両の後車軸及びヒッチ半径を計算する一般式を示す。
式（１０）
Figure 0006949238
経路追従シミュレーションのためのヒッチバック法
Ａｃｋｅｒｍａｎステアリングモデルは、牽引車両システムの即時形状を予測するのに役立つが、その断続的ステップを連続的にレンダリングすることにより、牽引車両システムの連続運動をシミュレートする能力を欠いている。例えば、牽引車両システムが直進走行中に、牽引車両のステアリングホイールが急に進行方位から１０°外れた角度に回転すると、これらの位置に徐々に移動するのではなく、牽引車両と全ての被牽引ユニットは、式（９）と（１０）から計算される適切な半径位置に即座に調整される。
牽引車両システムの連続運動をより正確にシミュレートするために、Ａｃｋｅｒｍａｎステアリングモデルから計算した即時形状を基準点として利用して、高精度で牽引車両システムの経路を連続的に追従する「ヒッチバック法」を開発した。次に図１８Ａ−図１８Ｃを参照すると、このような方法は、以下の３つの状態における（後部ヒッチ１８０５を有する）単純な１つのトラクタ１８００ 及び（前部ヒッチ１８１０を有する）１つのトレーラ１８１５のモデルから始まる。（１）モデルが直線で走行しているときの初期状態（図１８Ａ）、（２）トレーラがまだその直線を走行している間にトラクタが旋回を開始する中間状態（図１８Ｂ）、及び（３）トラクタの角入力がトレーラに伝達されたときの最終状態（図１８Ｃ）である。
牽引車両の方向角はＩＭＵデータに基づいて完全に決定されるので、初期状態から最終状態Δθｄ１までの被牽引車両の角度増加を推定する処理を開発するだけでよい。図１９に示される三角法の関係に従って、角度増分Δθｄ１は、前方のヒッチ点（点１）とその後車軸の中心点（点２）との間のＸ−及びＹ−オフセットによって、次式で計算し得る。
式（１２）
Figure 0006949238
例示的な処理は、開発されたヒッチバックモデル（式（１１−１２））に基づいて生成され、Ｃ＋＋を使用してプログラムされたシミュレーションパッケージに実装された。２つの被牽引ユニットを有する例示的な牽引車両システムの連続運動のシミュレーションツールを用いたシミュレーションが成功し、牽引車両システムモデルのシミュレートした経路はスケールモデルから測定した実際の経路と非常に良く一致し、牽引車両が旋回しているときのオフトラッキング効果に適切に対処した。なお、シミュレーションでは、牽引車両の速度とそのステアリング角を入力変数としており、これに基づいて、牽引車両の角速度を
Figure 0006949238
 として計算することが可能であり、後車軸の回転中心がその中心点に位置しているため、後車軸の回転半径Ｒｒａを牽引車両の旋回半径として用いる。前輪はフリーホイールであり、車体が追従するステアリング角を発生させるため、後車軸の中心点を車両の回転中心と仮定する。検証では、牽引車両のｖ、ω、βを運転者から入力し、ＩＭＵデータにより提供し、それによって測定した半径Ｒｒａを計算した半径ＷＢ／ｔａｎβと比較し、個々の車両の後車軸半径を予測する際のＡｃｋｅｒｍａｎステアリングモデルの精度を検証した。被牽引車両の運動学には、距離、速度、加速度、回転角度を含んでおり、角速度及び加速度は、ニュートンの第二法則に記載された関係に従っており、状態空間モデル（式（１））を使って計算することが可能である。
マルチセンサ検出システムの実施形態及びその動作に関するさらなる詳細
さらに例示的な実施形態は、産業車両（貨物トラクタ等）がＬｉＤＡＲ及び単色カメラを利用してパッシブビーコンを検出し、モデル予測制御を利用して車両が制限された空間に入るのを阻止するシステム、装置、及び方法を含んでもよい。そのような実施形態では、ビーコンは、（所望の高さに依存する）標準的なオレンジ色の交通コーンのみで実装されてもよく、又は高反射性の垂直ポールが取り付けられて展開されてもよい。ＬｉＤＡＲはこれらのビーコンを検出し得るが、ＬｉＤＡＲの視覚環境内の作業者安全ベスト等の他の反射面のために誤判定に悩まされることがある。上述のように、本明細書及び以下に記載する実施形態は、ディープラーニング法を介してカメラ画像内のビーコンを投影し、カメラからＬｉＤＡＲ空間へのニューラルネットワーク学習投影を用いて検出を検証することによって、ＬｉＤＡＲからの誤判定検出を低減するのに役立つ。
より詳細には、以下に説明する（図２０−３７の図を参照して説明されている）さらなる実施形態は、障害物又は人にぶつからず、高価値機器を保護するように設計された実質的にリアルタイムの産業用衝突回避センサシステムを提供し、これを利用する。一般に、そのような実施形態は、スキャン用ＬｉＤＡＲ及び１つ以上のＲＧＢカメラを利用し得る。パッシブビーコンを使用して、産業車両の進入が許可されていない隔離領域を区切って、高価な機器との衝突を防ぐ。フロントガード処理モードは、車両の正面にあるオブジェクトとの衝突を防ぐ。
ロバストなシステムを提供するために、このような実施形態の感知処理システムは、ＬｉＤＡＲセンサ（例えば、Ｑｕａｎｅｒｇｙの８ビームＬｉＤＡＲ）及びカメラセンサ（例えば、単一のＲＧＢカメラ）を使用し得る。ＬｉＤＡＲセンサは、自然光に関係なく機能するアクティブセンサである。３Ｄ反射を使用して、オブジェクトを正確に位置特定し得る。ただし、ＬｉＤＡＲはモノクロであり、色に基づいてオブジェクトを区別しない。さらに、遠くにあるオブジェクトについては、ＬｉＤＡＲは、オブジェクトと交差する１つから２つのビームしか有していない場合があり、確実な検出を困難にする。しかしながら、ＬｉＤＡＲとは異なり、ＲＧＢカメラはテクスチャ、形状及び色に基づいて検出を決定することが可能である。ＲＧＢステレオカメラは、オブジェクトの検出や３Ｄ位置の推定に使用することが可能である。一実施形態では、複数のカメラを使用し得るが、ステレオカメラの使用は、典型的には、広範な追加処理を必要とし、オブジェクトがテクスチャキューを欠いている場合に、深さを推定することを困難にし得る。一方、単一のＲＧＢカメラを使用して、画像自体の中のオブジェクトを正確に位置特定することが可能である（例えば境界ボックスを決定し、対象を分類する）。しかしながら、３Ｄ空間に投影された位置特定の結果は、ＬｉＤＡＲと比較して貧弱である。さらに、カメラは霧や雨の環境で劣化するが、ＬｉＤＡＲは効果的に動作することが可能である。
以下のさらなる実施形態の説明において、実施形態は、ＬｉＤＡＲセンサ及びＲＧＢカメラセンサの両方を使用して、オブジェクトの位置を検出又は識別するときに両方のタイプのデータの使用を可能にするデータ融合処理を使用して、オブジェクトを正確に検出（例えば識別）して位置特定し得る。そのような実施形態は、例えば、カメラ空間からＬｉＤＡＲ空間への投影を学習し、ＬｉＤＡＲ検出（距離と角度）の形式でカメラ出力を提供する高速かつ効率的な方法、カメラとＬｉＤＡＲ検出の両方を融合し、より正確でロバストなビーコン検出を実現するマルチセンサ検出システムを使用して、衝突の回避により良く対処し、及び／又はセンサ処理を実行するための単一のＪｅｔｓｏｎ ＴＸ２ボード（デュアルＣＰＵとＧＰＵ）ボード（一種のマルチプロセッサモジュール）と、モデル予測制御（ＭＰＣ）システム用の別個の第２のコントローラ（ＴＸ２）とを使用して、実質的に略リアルタイムの動作を達成し、（衝突を引き起こす可能性がある）遅延時間を回避する技術的ソリューションが実施されている。以下のさらなる実施形態の記載の文脈において、所定のタイプのセンサ検出（例えば、カメラ検出、ＬｉＤＡＲ検出）及びオブジェクト検出のためのそれらの使用に関する背景情報と共に、実施形態では異なるセンサからのデータを組み合わせ、そのような実施形態で使用するための検出スコアを得るために適用され得るファジー論理に関する背景情報が続いている。
当業者であれば、カメラ画像からのオブジェクト検出は、関心のある各オブジェクトの分類及び位置特定の両方を含んでもよいことを理解するであろう。各画像内で検出されることが予想されるオブジェクトの数に関する情報は、利用できないか、又は知られていない可能性があり、これは、入力画像ごとに出力の数が異なることを意味する。さらに、これらのオブジェクトが画像内のどこに現れるかに関する位置、又はそれらのサイズが何であるかは、利用可能でないか、又は知られていない可能性がある。ディープラーニング（ここでは「ＤＬ」とも呼ばれ、深層構造学習又は階層的機械学習としても知られている）の台頭により、ＤＬを使用する既存のオブジェクト検出方法が、精度及び速度の両方において、多くの従来の方法を凌駕していることを、当業者はさらに理解するであろう。当業者は、このような既存のＤＬ検出方法に基づくインテリジェントな計算手法で検出結果を改善するシステムの存在をさらに理解するであろう。
一般に、ＤＬ及びカメラ画像を使用する画像オブジェクト検出は、２つの既知の手法を使用し得る。１つの手法は領域候補に基づいている。一例は、Ｒ‐ＣＮＮ（Ｆａｓｔｅｒ ｒｅｇｉｏｎｓ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）である。この方法では、最初に入力画像全体を畳み込みレイヤを通して実行し、特徴マップを得る。次に、別の領域候補ネットワークがあり、これらの畳み込み特徴を用いて検出可能な領域を提案する。最後に、ネットワークの残りの部分は、これらの提案された領域に分類を与える。ネットワークには境界ボックスを予測する部分と分類する部分の２つの部分があるので、この種のアーキテクチャは処理速度を著しく低下させ得る。別のタイプの手法では、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）手法等を用いて、潜在的な領域の予測とラベル分類の両方に単一のネットワークを使用する。入力画像が与えられると、ＹＯＬＯ手法は最初に画像を粗いグリッドに分割する。グリッドごとに、ベース境界ボックスの集合がある。各ベース境界ボックスについて、ＹＯＬＯは、そのグリッド位置にオブジェクトが存在すると考える場合、真の位置、信頼度スコア、及び分類スコアからのオフセットを予測する。ＹＯＬＯは高速であるが、画像内の小さなオブジェクトを検出できないことがある。
カメラセンサデータに基づくオブジェクト検出とは対照的に、手法はＬｉＤＡＲ検出を使用し得る。ＬｉＤＡＲ検出に基づく手法の場合、１つの困難な部分は、疎な３Ｄ点群のみに基づいて点を分類することに関与し得る。当業者であれば、サポートベクターマシン（ＳＶＭ）分類器を用いた重み付き共分散行列の固有特徴分析を用いてもよいことが理解されよう。ただし、この方法は、高密度の空中ＬｉＤＡＲ点群をターゲットにしている。別の公知の方法において、当業者は、特徴ベクトルが、手動でラベル付けされたオブジェクト位置の訓練集合に関して各候補オブジェクトについて分類されることを理解するであろう。
当業者はさらに、ＤＬが３Ｄオブジェクト分類にも使用されていることを理解するであろう。既存のＤＬ型３Ｄオブジェクト分類の多くの課題は、３Ｄオブジェクトに使用するデータ表現を決定するステップと、オブジェクトのその表現上で畳み込みニューラルネットワーク（ＣＮＮ）を訓練するステップの２つのステップを含んでいる。ＶｏｘＮｅｔは、ＬｉＤＡＲとＲＧＢＤ点群からの効率的で正確なオブジェクト検出に使用され得る３Ｄ ＣＮＮアーキテクチャである。ボリューム形状のＤＬの例は、３Ｄモデルのボリューム表現と分類用の３ＤボリュームＣＮＮを提案したＰｒｉｎｃｅｔｏｎ ＭｏｄｅｌＮｅｔデータ集合である。しかしながら、これらのソリューションは高密度（高ビーム数）ＬｉＤＡＲにも依存しているため、移動式産業車両（貨物トラクタ等）に配備するための経済的に実行可能なＬｉＤＡＲセンサである８ビームのＱｕａｎｅｒｇｙ Ｍ ８ ＬｉＤＡＲセンサを備えたシステムには適していない。
本明細書に記載される実施形態のように、オブジェクト検出のために異なるデータを融合するシステムにおいて、オブジェクト検出のための異なるセンサは、それらの利点及び欠点を有する。センサ融合の実施形態は、より正確でロバストな検出のために異なるセンサを統合し得る。例えば、オブジェクト検出では、カメラはＬｉＤＡＲには一般的にない豊富なテクスチャベース及びカラーベース情報を提供することが可能である。一方、ＬｉＤＡＲは夜間又は適度な霧若しくは雨の中等、視界の悪い場所でも使用され得る。悪天候条件でのカメラ処理は、劣化するか又は完全にできないこともある。また、センサに対するオブジェクト位置の検出のために、ＬｉＤＡＲはカメラに比べて遥かに正確な空間座標推定を提供することが可能である。カメラとＬｉＤＡＲは共に利点と欠点があるので、それらを融合する場合、融合されたデータに基づいてオブジェクト検出を改善及び向上させる実施形態は、それらの利点を利用し、それらの欠点を排除し得る。カメラとＬｉＤＡＲ融合のための１つの手法は、外因性較正（例えば、様々なチェッカーボードパターンを使用するか、ＬｉＤＡＲとカメラ画像の両方で対応する点又はエッジを探す手法、外部較正を実行するためにＬｉＤＡＲとカメラ画像の両方で対応する点又はエッジを探す別の手法）を使用する。しかしながら、このような公知の手法では、ＬｉＤＡＲセンサは、（例えば、３２又は６４のビームに基づく）比較的高い垂直方向の特別な分解能を有する高価なものでなければならない。他の手法はＬｉＤＡＲとカメラの間の変換行列を推定する。しかし、これらの手法は限られており、屋内及び近距離環境のみのモデル化に適している。
別の手法は、自動的にＬｉＤＡＲ及び光学画像を登録する類似性測定を使用する。しかし、この手法は密なＬｉＤＡＲ測定も用いる。第３の手法は、融合のためのステレオカメラとＬｉＤＡＲを使用し、疎な３Ｄ ＬｉＤＡＲと密なステレオ画像点群を融合する。しかしながら、ステレオ画像中の対応点のマッチングは計算が複雑であり、画像中にテクスチャがほとんどない場合には誤差の影響を受けやすい。これらの手法はいずれも高密度の点群を必要とし、Ｑｕａｎｅｒｇｙ Ｍ８等の小型のＬｉＤＡＲでは効果的ではない。従来の手法と比較して、本明細書に記載される実施形態は、例えば、実質的にリアルタイムの衝突回避システムに耐えられない可能性のある遅延を回避する屋外衝突回避システムのために、単一のカメラ及び比較的安価な８ビームＬｉＤＡＲを使用することによる独自かつ新規なやり方で異なっている。
実施形態は、ソリューションの一部として関連要素を処理する際にファジー論理を展開し得る。「ファジー論理」実装に関係する１つの用語はファジー集合であり、メンバーシップのグレードの連続体を持つオブジェクトのクラスとして定義される。当業者は、言語変数とファジー集合との間の関係とは、言語変数がファジー集合を使用して解釈されてもよく、これはファジー集合が言語変数の数学的表現であり得ることを意味することを理解するであろう。ファジー集合の例は「背の高い学生のクラス」である。メンバーシップ関数は、各オブジェクトに０から１の範囲のメンバーシップのグレードを割り当てる。真又は偽の結論を与えるのではなく、ファジー論理では、真実の程度を用いる。ファジー論理の処理には３つのステップがある。まず、入力をファジーメンバーシップ関数にファジー化する。次に、ＩＦ‐ＴＨＥＮルールを適用してファジー出力関数を生成する。最後に、ファジー出力関数を特定の出力値を得るために非ファジー化する。したがって、ファジー論理は、不確実性を有する入力で推論するために使用されてもよく、カメラとＬｉＤＡＲからのスコア（例えば、信頼度スコア）を組み合わせて、以下により詳細に説明するように、最終的な融合結果のための検出スコア（検出確率に関する最終信頼度スコアとも呼ばれる）を得るために使用することが可能である。
図２０−３７は、さらなる実施形態をさらに詳細に提供する。次に図２０を参照すると、例示的なセンサ２００５（例えば、ＬｉＤＡＲセンサ２００５ａ、カメラセンサ２００５ｂ、（複数の）ＩＭＵセンサ２００５ｃ、ＥＣＵセンサ２００５ｄ、及びブレーキ圧センサ２００５ｅ）、センサ信号処理システム２０１０、衝突回避制御システム２０１５（データベース２０１５ａ、モデル予測コントローラ２０１５ｂ、及び車両作動システム２０１５ｃを含む）、及び車両アクチュエータ２０２０を有する例示的なシステムアーキテクチャ２０００が、本発明の実施形態に従って示されている。このように、例示的なシステムアーキテクチャ２０００は、図３に示され、例示的なシステム３００に関して上述されたものと同様である。
図２０に示すように、ＩＭＵは慣性測定装置の略語であり、ＧＰＵはグラフィックス処理装置（ＧＰＵ）の略語であり、ＣＰＵは中央処理装置の略語であり、ＳＶＭはサポートベクターマシンの略語であり、ＣＮＮは畳み込みニューラルネットワークの略語である。図２０において、例示的なカメラ２００５ｂ及びＬｉＤＡＲ ２００５ａは外受容センサであり、それらの出力は信号処理システム２０１０に送られる。ＬｉＤＡＲセンサ２００５ａは、ビーコンを検出し、他のオブジェクトを排除する。ＬｉＤＡＲ信号処理出力は、ビーコンの位置を（産業車両の前方の）メートル単位の距離、度単位の方位角、及びビーコンと非ビーコンの識別に使用される判別値として与える。カメラ２００５ｂは、画像内の相対的な境界ボックス位置として検出を報告すると共に、検出及び分類の信頼度も報告する。ＬｉＤＡＲ及びカメラ情報は、信号処理システム２０１０の一部として、よりロバストな検出を生成するために融合される。
図２１に本システムを衝突回避に適用した例を示す。ここで図２１を参照すると、車両２１００は、本発明の実施形態に従って、保護領域２１１５の近くに配置された異なるビーコン２１１０に対する経路２１０５上に配置され移動するように示されている。中央の保護領域２１１５は隔離され、車両２１００等の産業車両の非進入領域として指定されている。モデル予測コントローラ（ＭＰＣ）２０１５ｂ及び車両作動システム２０１５ｃは、産業車両２１００の制御移動及び方向である。これらのシステムは、車両動力学及びシステム運動学をモデル化し、検出されたオブジェクトの周囲に仮想バリア１０７を内部的に維持する。ＭＰＣは処理型システムであり、プログラミングされてそのプログラミングを実行すると、最適なシステム制御を近似する予測制御法を組み込んだモデル型手法となる。制御ソリューションは、現在の環境の観測に基づく将来の結果の分岐ネットワークの計算を比較する効用関数の評価を通して決定される。実装したＭＰＣプログラムコード（このようなアルゴリズム的なステップを実装し、ＭＰＣハードウェア上で動作する（図４のコントローラ４１０で説明したもの等））は、検出したオブジェクト、例えばパッシブビーコンと車両システムの衝突経路を予測する。予測ホライズンまでの連続した将来の時間ステップに対する車速制御ソリューションがＭＰＣシステムにより計算される。効用関数は、可能な将来の制御ソリューションの配列から最適制御ソリューションを決定する。最適制御ソリューションは、この応用では、車両作動システム及び車両アクチュエータの作動により、車両がブレーキ作動サブシステムの制御限界内で作動していることを保証する速度限界として定義される最大可能速度で車両を作動させることを可能にし、それによって検出されたオブジェクトの周囲の仮想境界の突破を防止できるソリューションとして定義される。例えば、このような衝突回避システムの実施形態は、５秒を超える予測ホライズンであってもよい。可能な最大車速では、このホライズンは、実施形態のセンサネットワークの検出ホライズンと一致する。
図２２は、本発明の一実施形態によるデータ融合のための例示的なブロック図である。図示された例示的なシステム２２００では、異なるタイプのデータが捕捉され、別々に処理され、次いで融合されて反射ビーコンの位置を決定するときの、データ及び処理の例示的なフローが、処理ブロックを通して示されている。図２２に示されるように、画像は、最初にカメラ２２０５（例えば、カメラ２００５ｂ）によって取り込まれ、次いで、取り込まれた画像上のデータは、（例えば、センサ処理システム２０１０の一部として）カメラオブジェクト検出システム２２１０に渡される。カメラ検出ブロック２２１０によって行われる処理から、ビーコンの境界ボックス座標が、各境界ボックスの信頼度スコアと共に推定される。次に、単一のカメラからの検出境界ボックスを、ニューラルネットワーク（ＮＮ）（例えば、カメラマッピングブロック２２１５（センサ処理システム２０１０の別の部分））を介して距離及び角度推定値にマッピングして、その情報を融合ブロック２２３０（例えば、センサ処理システム２０１０の融合処理）におけるＬｉＤＡＲ処理の距離及び角度推定値と融合できるようにする。
一方、点群情報は、ＬｉＤＡＲ ２２２０（例えば、ＬｉＤＡＲ２００５ａ）から生成され、ＬｉＤＡＲデータ処理２２２５（例えば、センサ処理システム２０１０の一部）を介して提供される。検出されたビーコンの推定された距離及び角度情報は、ＬｉＤＡＲ処理ブロック２２２５によって生成され、融合ブロック２２３０まで提供される。ＬｉＤＡＲ処理ブロック２２２５を介して、擬似信頼度スコアも融合ブロック２２３０に提供される。ＬｉＤＡＲ検出の結果がカメラ及びＬｉＤＡＲの両方からの距離及び角度の形式である場合、融合ブロック２２３０は、それらを互いに融合して、各検出についての最終的な距離、角度及び信頼度スコアを得る。
例示的な実施形態では、車両の最高速度は、毎秒約５メートルである。衝突回避に十分な反応時間を得るためには、検出周波数が５Ｈｚ以上である必要がある。これは、例えば、１つ以上のＮＶＩＤＩＡ Ｊｅｔｓｏｎ ＴＸ２コンピューティングモジュールをセンサ処理システム２０１０の一部として使用し、ＭＰＣコントローラのために別のＴＸ２をＭＰＣシステム２０１５の一部として使用して達成し得る。リアルタイムパフォーマンスのための所望の５Ｈｚ更新レートを達成するために、一実施形態は、要件を満たすのに十分なソフトウェア速度を改善するための特定の特徴を含んでいた。特に、ＬｉＤＡＲ点群からグラウンド点を除去するためのより計算が複雑でない方法が、より正確であり得るより計算が複雑な方法の代わりに、ソフトウェア速度を改善するために使用された。さらに、実施形態は、カーネルＳＶＭ又は他の非線形法とは対照的に、限定された特徴集合を有する線形ＳＶＭを使用することによって速度を向上させ得る。
センサドライバと信号処理機能との間の処理内通信を管理するために、ＴＸ２コンピューティングモジュール上でロボットオペレーティングシステム（ＲＯＳ）を、オペレーティングシステムが提供するサービス用のオープンソースツール、ライブラリ、及びコンベンションを備えた柔軟なフレームワーク型オペレーティングシステムとして使用した。当業者は、ＲＯＳがＬｉＤＡＲ及びカメラからそれぞれ点群及び画像データを抽出するために既に実装されたセンサドライバを提供することを理解するであろう。さらに、ＲＯＳは、ノードと呼ばれる個々のＲＯＳ処理間の仮想化された伝送制御プロトコル（ＴＣＰ）接続を使用して、処理内データ転送を抽象化及び簡素化する。この方法の結果として、複数の余分なメモリコピーが作成され、ＬｉＤＡＲ点群のような大きなオブジェクトではパフォーマンスが低下する可能性がある。この効果を改善するために、ＲＯＳ Ｎｏｄｅｌｅｔを適切なＬｉＤＡＲ処理に使用し得る。当業者は、ＮｏｄｅｌｅｔがＲＯＳノード上に構築され、複数のＲＯＳ処理を単一のマルチスレッド処理にプールするためのシームレスなインターフェースを提供することを理解するであろう。これにより、一実施形態では、高帯域幅ＬｉＤＡＲ計算のための信号処理ステップ間の効率的なゼロコピーデータ転送が可能になる。
図２３において、関連するＲＯＳノードの高レベルフローチャートが、Ｊｅｔｓｏｎ ＴＸ２のハードウェア２３００におけるそれらの実行位置と共に示されている。一実施形態で使用される例示的なＮＶＩＤＩＡ Ｊｅｔｓｏｎ ＴＸ２は、２５６ＣＵＤＡコアＧＰＵ、デュアルＣＰＵ、８ＧＢのメモリを有し、イーサネット（登録商標）を含む様々なインターフェースをサポートする。センサ処理システム２０１０の一部として使用されるＪｅｔｓｏｎ ＴＸ２モジュール上での最も計算集約的な動作として、一実施形態では、グラフィック処理ユニット（ＧＰＵ）２３１０全体をカメラＣＮＮに割り当て又は専用にし得る。このようにして、センサ処理システム２０１０のセンサドライバ、信号処理、及び融合ノード部分をＣＰＵ２３０５に任せ得る。ＬｉＤＡＲからの高いコア利用率のために、一実施形態では、画像をＧＰＵ２３０５に送るのに十分なＣＰＵ２３１０のリソースを割り当てる必要があってもよく、又はＣＮＮの望ましくないスロットリングが起こり得る。
図５に示されるものと同様に、図２４は、例示的なパッシブビーコン２４００を示す。図２４に示すように、例示的なビーコン２４００は、垂直に２メートル延びる直径２インチの高反射性ポールを有する高視認性２８インチのオレンジ色の交通コーンから構成されてもよい。ビーコン２４００は、ＬｉＤＡＲスキャンにおいて一連の高強度値として提示され、したがって、ほとんどの背景オブジェクトと比較して高い信号レベルを提供する。ビーコンは、通常は高価値資産（例えば、図２１に示す領域２１１５）を保護するために、車両が立ち入りできない工業地帯内の領域を線引きする。
ここで、ＹＯＬＯと呼ばれるディープラーニングモデルをセンサ処理システム２０１０のカメラＣＮＮ部分に実装して、単一カメラ画像内に存在するオブジェクトを検出し得る。当業者は、ＹＯＬＯディープラーニング法が、衝突を回避するための実施形態において重要である、速度において他のディープラーニング方法よりも優れていることを理解するであろう。ＹＯＬＯは、領域提案のために別々のネットワークを持つ領域ベース法とは異なり、領域とクラス予測の両方を１つのネットワークに結合することにより、そのような速度を達成する。このディープラーニングニューラルネットワークを訓練するために、ビーコン画像の大規模訓練データ集合を異なる日と気象条件で収集し、ハンドラベルを付けた。収集された訓練データ集合は、カメラの全視野（ＦＯＶ）（−２０°から＋２０°）及びカメラ（例えば、Ｆｕｊｉｎｏｎ ６ｍｍレンズ付きのＦＬＩＲ Ｃｈａｍｅｌｅｏｎ３ ＵＳＢカメラ）の検出範囲（５から４０メートル）をカバーしていた。それは異なる角度と距離からの検出精度を確実に表す。例示的な実施形態では、各ビーコンは、略同一のサイズ、形状、及び着色を有する一貫した構造を有する。これらの特性により、衝突回避システムによる検出処理は、様々な照明条件下で、例えば４０メートルまでの範囲のビーコンを確実に認識することが可能になる。
ＬｉＤＡＲ検出モードはビーコンを検出するように設計されているが、他のオブジェクトが産業車両の直接経路又は略直接経路にあり得る。フロントガードシステムは、ＬｉＤＡＲ（例えば、ＬｉＤＡＲセンサ２００５ａ）及び他のセンサ（カメラ等）によって実装されてもよい。当業者であれば、ＬｉＤＡＲは、グラウンド上のより遠距離にあるオブジェクトを検出するのに優れているが、カメラは、トラクタに近い（及び車輪止めブロックのようにグラウンドに近い）より小さなオブジェクトをより良く検出するシステムを提供し得ることを理解するであろう。したがって、例示的なフロントガードシステムの実施形態は、ＬｉＤＡＲ及びカメラの両方からのデータの使用（及び、必要に応じて、融合又比較すること）に依存して、回避のためにオブジェクトを決定／検出し得る。
多くのオブジェクトはいかなる輝点も持たないため（したがって、ＬｉＤＡＲビーコン検出によって見逃される）、一実施形態では、回避目的でオブジェクトを検出するために、ＬｉＤＡＲとカメラの両方からのデータに基づいて、産業車両の真正面のグラウンド上の矩形領域内の点をクラスタ化する例示的なフロントガードシステムを使用し得る。その後、フロントガードを使用して、車両が障害物又は人にぶつかるのを防いでもよい。グラウンド上の点を除去した後、車両の真正面の矩形ソリッド領域内の残りの点が検出され、制御システムに報告される。
より詳細には、一実施形態において収集されるＬｉＤＡＲデータは、三次元（３Ｄ）及び３６０度視野（ＦＯＶ）の点群の形態であってよく、ｘ、ｙ、ｚ座標、並びに強度及びビーム番号（リング番号と呼ばれることもある）から構成される。座標ｘ、ｙ、ｚは、ＬｉＤＡＲ内に中心にある原点を基準にした各点の位置を表す。強度は、リターンの強度を表し、ＬｉＤＡＲのこのモデルでは整数である。金属又は再帰反射テープ等の反射率の高いオブジェクトは、より高い強度値を有する。ビーム番号は、返される点が配置されるビームを表す。使用するＬｉＤＡＲは、８つのビームを伝送する。図２５では、ビーム番号は、ソース２５００（例えば、ＬｉＤＡＲセンサ２００５ａ）から発し、例えば、ソース２４００の前の例示的なパッシブビーコン２５００に曝されるものとして示されている。ＬｉＤＡＲがグラウンドに対して水平に取り付けられていると仮定すると、図２５に示されたビーム７が一番上のビームとなり、約３°上方に向けられている。ビーム６は水平方向を指す。ビームは約３度間隔を空けて配置されている。図２６は、ＬｉＤＡＲ点群のスキャン例を示す。この図では、グラウンド点は黒点で示されている。ビーコン２４００は、正方形２６００に示されるように、水平方向に近接して間隔を空けた一連の点として提示される。
一般に、ＬｉＤＡＲにおける一般的なオブジェクト検出は、コンピュータビジョン分野における困難で未解決の課題である。オブジェクトはＬｉＤＡＲセンサ自体との距離に基づいて異なるスケールで表示され、任意の角度から表示することが可能である。しかしながら、本明細書に記載される実施形態は、全て類似の特徴（例えば、同じ形状）を有するビーコンを検出することのみに関心がある。一実施形態では、産業車両は非常に速くしか進むことができないので、実施形態は、約２０メートル離れた又はそれより近くのビーコンを検出するだけでよい。さらに、例示的なビーコンは、非常に明るいリターンを有するように設計され得る。しかし、再帰反射テープ付きの安全ベストを着用している人又は他の産業車両等、他のオブジェクトもシーン内で明るいリターンを有し得る。このように、一実施形態は、明るいリターンを示すシーン内の点のクラスタを最初に識別するシステムを含んでもよい。次に、線形ＳＶＭ分類器を用いて、ビーコンクラスタと非ビーコンクラスタを識別する。ＬｉＤＡＲ検出システムは、ＬｉＤＡＲ点群上の強度ベース及び密度ベースクラスタリング（修正ＤＢＳＣＡＮアルゴリズム）を利用することによって動作する。次に、システムは、特徴を抽出し、線形ＳＶＭを用いて非ビーコンからビーコンを識別することにより、クラスタ重心の近傍の全ての点を検査する。これらの詳細については後述する。
以下のアルゴリズムの例１に示されているように、点群の密度及び強度に基づいてクラスタ化する、修正されたＤＢＳＣＡＮクラスタ化アルゴリズムを使用して、輝点をクラスタ化し得る。クラスタパラメータｅはビーコンのサイズに基づいて経験的に０．５ｍと決定した。遥かに大きな値であれば、近くにある２つのビーコン（又はビーコンと近くにある別のオブジェクト）を１つのクラスタにグループ化される可能性があり、それらを別々のクラスタとして保持したいと考えた。以下の式１では、距離は、ｘ（前から後ろ）及びｙ（左から右）座標のみを有するユークリッド距離を使用して推定される。このアルゴリズムの例では、明るいＬｉＤＡＲ点をｘ−ｙ平面に投影してクラスタ化している。あるいは、ｘ、ｙ、ｚの３つの座標全てを使用することもできるが、この特徴では高いオブジェクトと短いオブジェクトを分離できるため、これは必要ではない。この手法はまた、クラスタリングアルゴリズムにおいて３つの座標全てを使用するよりも計算効率が高い。
［アルゴリズムの例１：ＬｉＤＡＲ輝ピクセルクラスタリング］
入力：ＬｉＤＡＲ点群 Ｐ＝｛ｘｊ、ｙｊ、ｚｊ、ｉｊ、ｒｊ｝とＮＰ点
入力：高強度の閾値：ＴＨ
入力：クラスタ距離の閾値：ｅ（メートル）
入力：グラウンドＺ 閾値：ＴＧ（メートル）
出力：点群の各輝点のクラスタ番号
非リターン点を削除する
ｆｏｒ 点群の各点 ｄｏ
点群から全ての非リターン点（ＮａＮ’ｓ）を削除する
グラウンドの点を削除する
ｆｏｒ 修正点群の各点 ｄｏ
Ｚ値がＴＧ未満の全ての点を点群から削除する
非輝点を削除する
ｆｏｒ 修正点群の各点 ｄｏ
強度値がＴＨ未満の全ての点を点群から削除する
クラスタの輝点：
全ての点をクラスタ０に割り当てる
Ｃｌ←０に設定する
ｆｏｒ 修正点群の各点Ｐｊ ｄｏ
ｉｆ 点がクラスタに属していない ｔｈｅｎ
クラスタに点を追加する
クラスタの数をインクリメントする：ｃｌ←ｃｌ＋１
Ｐｊをクラスタｃｌに割り当てる
クラスタｃｌの重心をＰｊに設定する
残りの全ての点をスキャンし、必要に応じて再クラスタ化する
ｆｏｒ 各点Ｐｍについてｊ＜ｍ≦ＮＰの場合 ｄｏ
ｉｆ 点Ｐｍからｃｌの重心までの距離Ｄｉｓｔ＜ｅ ｔｈｅｎ
Ｐｍをクラスタｃｌに追加する
クラスタｃｌの重心を再計算する
特徴を抽出するには、特徴処理が発生する前にグラウンド点を削除し、そうしないと、誤警報が発生する可能性がある。この産業用途は、グラウンドに対して滑らかで平坦な領域を有するので、一実施形態では、グラウンド点を除去するために単純な垂直閾値を使用する。このシステムをより変化するグラウンド条件を持つ領域に一般化するのであれば、グラウンド推定法が利用できる。しかしながら、この特定の実施形態では、これは必要ではなかった。
次に、点強度を、経験的に決定された閾値と比較する。ビーコンは、再帰反射垂直ポールを介してＬｉＤＡＲに明るいリターンを提供するように、この実施形態において設計される。これはうまく機能するが、再帰反射マーキングを持つ他の産業車両又は再帰反射ストライプを持つ安全ベストを着用している労働者等、高いリターンを得ることができる他のオブジェクトもシーン内にある。オブジェクトをビーコン及び非ビーコンとして分類するために、特定の特徴が利用される（ビーコンの高さ及び強度等）。グラウンド除去及び強度点の閾値を設定した後で、輝点の集合が残される。非グラウンド点の全て（例えば、グラウンド除去後の点群）で構成される、第２の強度点の集合も分析される。輝点群の点がクラスタ化される。ビーコンは高さが高く細いオブジェクトとして表示されるが、その他の全てのオブジェクトは高さが低く、幅が広い。この実施形態では、各オブジェクトの重心を中心とする小さな矩形ボリューム内のクラスタ中心の周りの特徴を抽出する。また、この実施形態では、オブジェクトの重心を中心としたより大きな矩形ボリュームを用いて特徴を抽出する。特徴には、各領域内の輝点の数をカウントすること、各領域内の点のｘ、ｙ、ｚの範囲を決定すること等が含まれる。ビーコンは主に小さい領域で大きな値を有するが、他のオブジェクトは大きい領域で値を有する。図２７では、２つの領域２７０５、２７１０を示している。内側２７１０及び外側２７０５の分析領域を使用するという考えは、ビーコンが、ほとんどの場合、内側分析領域内に位置する輝点を有し、人間、他の産業車両等の他のオブジェクトは、外側領域内に延びるということである。以下の式１及び２は、座標（ｘｊ、ｙｊ、ｚｊ）を持つＬｉＤＡＲ点ｐｊが、オブジェクトの重心が座標（ｘＣ、ｙＣ、ｚＣ）を持つ内側領域にあるか又は外側領域にあるかをそれぞれ定義する。
図２７は、分析ウィンドウが重ね合わされた例示的なビーコンリターン２７００を示す。内側分析領域２７１０と外側分析領域２７０５の両方は、重心位置２７１５を中心とするｘ及びｙ座標を有する。内部分析領域の深さ（ｘ座標）は０．５メートル、幅（ｙ座標）は０．５メートルであり、高さにはｚ座標値が−１．１８メートル以上の全ての点が含まれます。外側領域は、ｘ方向とｙ方向の両方に２．０メートル延び、内側領域と同じ高さ制限を有する。これらの値はビーコンの寸法とＬｉＤＡＲ高さに基づいて決定された。パラメータＤｘＩ、ＤｙＩ、及びｚＭＩＮは、重心座標に対する内側領域を定義する。同様に、パラメータＤｘＯ、ＤｙＯ、及びｚＭＩＮは、重心座標に対する外側領域を定義する。次の場合、点は内側領域にある。
Figure 0006949238
 次の場合、点は外側領域にある。
Figure 0006949238
ロバストであるために、強度リターンに関する特徴も抽出した。線形ＳＶＭを多数のビーコン及び非ビーコンオブジェクトで訓練し、各特徴をビーコンと非ビーコンを識別する能力に基づいて分類した。一般的に、カーブが水平になる前にパフォーマンスが著しく向上する。非常に高い検出率と低い誤警報を達成するためには１０の特徴が必要であることが分かった。これら１０の特徴をリアルタイムで利用し、システムはＬｉＤＡＲ、５Ｈｚのフレームレートでリアルタイムで動作した。このシステムは、訓練集合とは独立した別の大きなテスト集合で最初に実行することにより検証され、結果として優れたパフォーマンスを示した。その後、広範なフィールドテストを用いて、結果をさらに検証した。
検出後、オブジェクトはビーコン又は非ビーコンとして分類される。これらは２つの別々のリストに添付され、産業車両の前部からのメートル単位の距離、度単位の方位角、及び判別値によって報告される。広範な実験を通して、ＬｉＤＡＲのＦＯＶ内の３メートルから２０メートルまでのビーコンを確実に見ることが可能である。
ＬｉＤＡＲ特徴抽出は、以下のアルゴリズム例２に示される全体的アルゴリズムに従う。入力はＬｉＤＡＲ点群Ｐ＝｛ｘｊ、ｙｊ、ｚｊ、ｉｊ、ｒｊ｝であり、ここで、ｊはｊ番目の点のインデックス変数であり、ｘ、ｙ、ｚ、ｉ、ｒはそれぞれ、ｘ点をメートルで表し、ｙ点をメートルで表し、ｚ点をメートルで表し、強度とビーム番号をｊ番目の点で表す。全ての座標は、点（０、０、３４０ ０）におけるＬｉＤＡＲの中心を基準にしていることに留意されたい。ｘ座標は、ＬｉＤＡＲの前部では正、後部では負である。ｙ座標はＬｉＤＡＲの左に対して正で、右に対して負である。ｚ座標はＬｉＤＡＲより上では正で、下では負である。
オブジェクトの特徴を抽出するために、ＬｉＤＡＲにリターンを提供しなかった点は削除される。これらの点は、ＬｉＤＡＲ点群ではＮａＮ’ｓ（Ｎｏｔ ａ Ｎｕｍｂｅｒ）として表示される。次に、推定したグラウンド点を除去する。非グラウンド点は、高閾値（ＨＴ）データと低閾値（ＬＴ）データの２つのデータサブセットに分割される。ＨＴデータ点には高強度のリターンのみが含まれ、ＬＴデータには低強度の閾値以上の点が含まれます。どちらのデータサブセットにもグラウンド点は含まれていない。高強度の閾値は１５に、低強度の閾値は０に設定されている。これらの閾値は、様々な距離での複数のビーコンリターンの調査に基づいて実験的に決定された。
［アルゴリズムの例２：ＬｉＤＡＲの高レベルの特徴抽出前処理］
入力：ＬｉＤＡＲ点群 Ｐ＝｛ｘｊ、ｙｊ、ｚｊ、ｉｊ、ｒｊ｝
入力：低強度の閾値：ＴＬ
入力：高強度の閾値：ＴＨ
入力：グラウンドＺ 閾値：ＴＧ（メートル）
出力：特徴ベクトルｆ
非リターン点を削除する
ｆｏｒ 点群の各点 ｄｏ
点群から全ての非リターン点（ＮａＮ’ｓ）を削除する
グラウンドの点を削除する
ｆｏｒ 修正点群の各点 ｄｏ
Ｚ値がＴＧ未満の全ての点を点群から削除する
閾値点群を作成する
Figure 0006949238
 に設定する
Figure 0006949238
 に設定する
ｆｏｒ 修正点群の各点Ｐｊ ｄｏ
ｉｆ 点Ｐｊの強度が＿ＴＨ ｔｈｅｎ
ＰｊをＰＨＴに追加する
ｉｆ 点Ｐｊの強度が＿ＴＬ ｔｈｅｎ
ＰｊをＰＬＴに追加する
特徴の抽出：
アルゴリズムの例３（以下に示す）を使用して特徴ｆを抽出する
［アルゴリズムの例３：ＬｉＤＡＲ特徴抽出］
入力：ＬｉＤＡＲ高強度点群ＰＨＴ＝ｆｘｊ、ｙｊ、ｚｊ、ｉｊ、ｒｊｇ
入力：ＬｉＤＡＲ低強度点群ＰＬＴ＝ｆｘｊ、ｙｊ、ｚｊ、ｉｊ、ｒｊｇ
入力：内側の領域のｘ範囲：ＤｘＩ（メートル）
入力：内側の領域のｙ範囲：ＤｘＩ（メートル）
入力：外側の領域のｘ範囲：ＤｘＯ（メートル）
入力：外側の領域のｙ範囲：ＤｙＯ（メートル）
入力：グラウンドからのＬｉＤＡＲの高さ：ＺＬ＝１．４（メートル）
出力：特徴ベクトルｆ
高強度の点群をクラスタ化する：
ｆｏｒ 高強度点の各点 ｄｏ
点をクラスタ化し、クラスタの中心を決定する
特徴を計算する：
ｆｏｒ 点群内の各クラスタ中心点ｃ＝（ｘＣ、ｙＣ、ｚＣ） ｄｏ
式１を使用して、内側領域のＰＨＴの全ての点を決定し、表１から特徴１を計算する
式２を使用して、外側領域のＰＨＴの全ての点を決定し、表１から特徴４を計算する
式１を使用して、内側領域のＰＬＴの全ての点を決定し、表１から特徴６、７、９、１０を計算する
式２を使用して、外側領域のＰＬＴの全ての点を決定し、表１から特徴２、３、５、８を計算する
ｆ＝［ｆ１、ｆ２、ｆ３、＿ ＿ ＿、ｆ２０］を返す
図２８は、抽出された特徴を記述する表２８００である（上記の表１として参照される）。例えば、特徴１は、高強度点のみで構成される高閾値データから生成される。「データサブセット」というラベルの付いた列では、ＨＴ＝高閾値データ、ＬＴ＝低閾値データという用語が使用されている。データは、内側分析領域の高強度点についてのみ分析される。この機能は、Ｚ（高さ）範囲、つまり最大Ｚ値から最小Ｚ値を引いた値を計算するだけである。特徴の一部は、特徴２等の所定のビームに対してのみ処理されることに注意されたい。特徴は、判別力の高い順に列挙され、例えば、特徴１が最も判別力が高く、特徴２が次に判別力が高い等である。
３Ｄ ＬｉＤＡＲ点群内のビーコンを検出するために、一実施形態では、ビーコンを識別するために開発された手作りの特徴に対して動作する学習された線形判別ルールに基づいて決定を行う線形ＳＶＭを使用し得る。この実施形態では、ＳＶＭを訓練するためにｌｉｂｌｉｎｅａｒが使用された。当業者は、訓練データを最良に分離する特徴の最適な線形結合を見出すことによって線形ＳＶＭが動作することを理解するであろう。テストインスタンスに対するＭ個のテスト特徴がｆ＝［ｆ１，ｆ２，＿ ＿ ＿，ｆＭ］Ｔで与えられ、ここで上付き文字Ｔがベクトル転置演算子である場合、ＳＶＭは判別式を評価する。
Figure 0006949238
ここで、ｗはＳＶＭ重みベクトルであり、ｂはＳＶＭバイアス項である。この実施形態では、Ｍは２０となるように選択された。式３（上記）は、線形重みを各特徴に適用し、バイアス項を追加する。判別式はＳＶＭ訓練中に最適化される。ＳＶＭは重みベクトルにおける個々の重みを最適化してマージンを最大化し、ＳＶＭの最良の全体的判別能力を提供する。バイアス項は最適分離超平面を原点からドリフトさせる。図３０は、２つの特徴を持つ場合（及び図３０に示すマージンがＤ＝−１からＤ＝１超平面までの距離である場合）の例を示している。この場合、Ｄ＝０超平面が決定境界である。Ｄ＝＋１及びＤ＝−１超平面は、サポートベクターによって決定される。ＳＶＭはサポートベクターのみを使用して最適な境界を定義する。ＳＶＭは、複数のデータ収集にわたって抽出されたビーコン及び非ビーコンデータで訓練された。１３，１９０のビーコン訓練インスタンスと１５，２０９の非ビーコン訓練インスタンスがあった。テストデータは１２，０８４のビーコンと５，６６６の非ビーコンインスタンスを有していた。
この実施形態では、Ｍ＝２０個の特徴が選択された。各特徴は、訓練データから特徴値の平均を減算し、（非常に小さな数による除算を防ぐために）標準偏差プラス１０−５ の四倍で各特徴を割ることによって最初に正規化される。平均値を差し引くと、特徴確率分布関数（ＰＤＦ）は０付近に集中する。標準偏差３８３の４倍で割ると、ほとんど全ての特徴値が［−１、１］の範囲にマッピングされる。これは、ほとんどの値が±４σｋ内にあるためである。正規化された特徴は、以下を用いて計算される。
Figure 0006949238
ここで、μｋは特徴ｋの平均値であり、σｋはｋ＝１、２、．．．、Ｍにおける特徴ｋの標準偏差である。平均と標準偏差を訓練データから推定し、テストデータに適用した。最終判別式は、特徴ベクトルが正規化特徴ベクトルである上記の式３を用いて計算される。
この例示的な実施形態における最適な特徴重みを図２９に示す。全ての特徴が正規化されるので、特徴１，３，８は最終判別関数に最も影響する。
判別式Ｄ≦０の場合、そのオブジェクトはビーコンとして宣言される。それ以外の場合は、非ビーコンと宣言される（そしてＬｉＤＡＲビーコン検出システムでは無視される）。一旦ＳＶＭが訓練されると、式３で与えられる判別を実装することは、最小の処理時間を使用する。
図３１は、ビーコン３１０５及び非ビーコン３１１０それぞれに対するＬｉＤＡＲ判別値の確率分布関数（ＰＤＦ）を示す。ＰＤＦは略線形分離可能である。判別値が負であるほど、オブジェクトはビーコンのようになる。
ＬｉＤＡＲ（例えば、ＬｉＤＡＲセンサ２００５ａ）とカメラ（例えば、カメラセンサ２００５ｂ）は、どちらもオブジェクト検出に関する情報を提供するが、座標空間はまったく異なる。図２２を参照して一般的に説明されたように、ＬｉＤＡＲは、信頼性の大まかなメトリックを提供する判別値を用いて、正確な角度及び範囲の推定を提供する。カメラ処理アルゴリズムは、［０、１］の範囲内の境界ボックス座標、クラスラベル、及び信頼値を返す。しかしながら、一実施形態における効果的な融合は、共通の座標空間を使用する。したがって、一実施形態では、マッピング機能を展開して、これらの異なるセンサ測定値を共有座標空間にマージする。このマッピング機能を構築するために、一実施形態では、カメラ及びＬｉＤＡＲを産業車両に搭載してもよく、ＬｉＤＡＲの正確な位置測定値をカメラの境界ボックスと共に使用して訓練データを収集した。次に、このデータを用いてニューラルネットワークを訓練した。その結果、図３２に示すように、カメラの境界ボックスをＬｉＤＡＲの座標フレームの範囲と角度の推定値に投影し得るニューラルネットワーク（ＮＮ）が作成された。この図において、中央部分３２１０は、単にカメラシステムからの境界ボックス３２０５を表し、マッピングされた結果３２２０の前の小さいボックス３２１５は、カメラ型情報を処理し、それを距離及び角度情報のＬｉＤＡＲ座標空間にマッピングする実施形態における例示的なＮＮマッパーを表す。
図３３は、本発明の一実施形態によるそのような情報をマッピングするための例示的なニューラルネットワーク構造を使用して、ＬｉＤＡＲの座標フレーム内の範囲／距離及び角度推定値に投影される、カメラからの境界ボックスからのデータフローのより詳細な図である。詳細なＮＮ構造は、図３３に１０の完全に接続されたレイヤとして示されている。すなわち、１０のニューロン３３０５からなる８レイヤと、２０のニューロン３３１０とソルバ３３１５からなる２レイヤである。当業者は、図３３の例示的なネットワーク３３００が、例えば、複数の完全に接続されたレイヤ３３０５及び３３１０を有する畳み込みニューラルネットワークを用いて実装されてもよく、比較的小さなネットワーク３３００を維持しながら結果を提供することを理解するであろう。より詳細には、例示的なネットワーク３３００における完全に接続されたレイヤ３３０５は、１０の入力重み及び１の入力バイアス項を有し得る。同様に、例示的なネットワーク３３００における完全に接続されたレイヤ３３１０は、２０の入力重み及び１の入力バイアス項を有し得る。重みは、ネットワーク３３００が入力ｘｔｏｐ，ｙｔｏｐ，ｘｂｏｔｔｏｍ及びｙｂｏｔｔｏｍに基づいて距離及び角度を正確に近似できるようになるまで、逆伝搬最適化手順を用いて調整し得る。次に、ソルバレイヤ３３１５は、最後に完全に接続された１０のニューロンレイヤ３３０５から最終出力を得て、その最終形式に出力を調整する。ここで距離はメートル単位であり、角度は度単位である。一実施形態は、計算を簡単にするためにこの構造によって実装されてもよいが、他の線形及び非線形回帰方法よりもパフォーマンスが優れている。
ＬｉＤＡＲ範囲角度にマッピングされたカメラ境界ボックスでは、ＬｉＤＡＲからの判別値とカメラからの信頼度スコアの共有空間へのマッピングがまだ残っている。このため、カメラ信頼度の［０、１］の範囲は、判別値に関するＬｉＤＡＲの［−∞，∞］の範囲よりも直感的な測定値を提供する。したがって、このコンポーネントのマッピング関数は、カメラと融合するためにＬｉＤＡＲ識別を［０、１］空間にマッピングする。これを行うために、一実施形態では、以下の形態を使用するロジスティックシグモイドが使用された。
Figure 0006949238
判別値にゲイン項ａを乗算する。最終結果は、判別値を、効果的な融合のためのカメラの信頼度スコアに十分に類似した範囲を有する擬似信頼度スコアにマッピングする関数である。
実施形態におけるこのような融合及びハイパーパラメータ最適化のさらなる詳細を以下に説明する。２つのマッピングコンポーネントを用いて上述した融合アルゴリズム処理により、ＬｉＤＡＲ及びカメラデータを組み合わせて、一実施形態において効果的な融合を行うのに十分に類似した形態にするための完全なパイプラインを確立することが可能である。カメラ及びＬｉＤＡＲの両方からの距離及び角度情報を使用して、一実施形態は、ＬｉＤＡＲ及びカメラ検出を相互に関連付けることが可能である。次に、これらの信頼度スコアを、以下に説明するアルゴリズム例４に示すように融合することが可能である。
［アルゴリズムの例４：ＬｉＤＡＲとカメラ検出の融合］
入力：［距離、角度、疑似信頼度スコア］の形式でのＬｉＤＡＲからの検出
入力：［距離、角度、信頼度スコア］の形式でのカメラからの検出
入力：角度閾値：融合したカメラとＬｉＤＡＲ検出との間の角度差のＡ
入力：信頼度閾値：最終検出信頼度スコア閾値のＣ
出力：［距離、角度、検出信頼度］の形式での融合検出
ｆｏｒ カメラからの各検出 ｄｏ
ｉｆ 角度差がＡ未満の対応するＬｉＤＡＲ検出が存在する ｔｈｅｎ
ＬｉＤＡＲからの距離と角度を使用して融合し、ファジー論理を使用して信頼度スコアを組み合わせて、融合された検出の信頼性を決定する
ｅｌｓｅ
最終的な検出結果としてカメラからの距離、角度、信頼度スコアを使用して、カメラから新しい検出を作成する
ｆｏｒ 対応するカメラ検出がない各ＬｉＤＡＲ検出 ｄｏ
最終的な検出結果としてＬｉＤＡＲからの距離、角度、信頼度スコアを使用して、ＬｉＤＡＲから新しい検出を作成する
ｆｏｒ 各融合検出 ｄｏ
最終信頼度がＣの信頼度閾値を下回る検出を削除する
融合した検出結果を返す
この例示的な実施形態では、距離及び角度推定の融合のための戦略は、図３４のデータフロー図に示される信頼度スコアの融合とは異なる。距離及び角度融合３４００の処理において、ＬｉＤＡＲからの対応する検出がある場合、ＬｉＤＡＲが遥かに正確な位置推定を提供できるので、一実施形態ではＬｉＤＡＲからの距離及び角度情報を使用し得る。対応するＬｉＤＡＲ検出が存在しない場合、一実施形態は、カメラからの距離、角度、及び信頼度スコアを使用して、新たな検出を生成してもよい。対応するカメラ検出を有さないＬｉＤＡＲからの各検出について、一実施形態は、ＬｉＤＡＲからの距離、角度、及び信頼度スコアを最終結果として使用し得る。信頼度スコア融合３４０５について（図３４の（ｂ）部分に示すように）、一実施形態は、対応するカメラ及びＬｉＤＡＲ検出が存在する場合に、ファジー論理を使用して最終的な信頼度スコアを生成してもよい。一実施形態では、データ融合のためのそのようなファジー論理システムで使用される例示的なファジールールは、以下の通りである。
１．ＬｉＤＡＲ信頼度スコアが高い場合、検出される確率が高くなる。
２．カメラの信頼度スコアが高い場合、検出される確率が高くなる。
３．ＬｉＤＡＲ信頼度スコアが中程度の場合、検出される確率は中程度である。
４．ＬｉＤＡＲ信頼度スコアが低く、カメラ信頼度スコアが中程度の場合、検出される確率は中程度である。
５．ＬｉＤＡＲ信頼度スコアが低く、カメラ信頼度スコアが低い場合、検出される確率は低くなる。
この実施形態では、例示的なファジールールは、以下の理由からこのように選択される。第１に、ＬｉＤＡＲ又はカメラのいずれかがそれらの検出において高い信頼性を示す場合、検出は真である可能性が非常に高い。これがルール１と２の理由である。第２に、ＬｉＤＡＲは約２０ｍまでの検出においてロバストである。この範囲内では、ＬｉＤＡＲからの信頼度スコアは通常、高いか又は中程度である。この範囲を超えると、値は低くなる。これがルール３の理由である。第３に、２０メートルの検出範囲を超えると、システムはカメラのみに依存して検出する。これがルール４と５の理由である。図３５は、ファジー論理を用いてカメラとＬｉＤＡＲからの信頼度スコアを結合する処理を示す。図３５（ａ）、３５（ｂ）、３５（ｃ）に示すように、カメラ入力、ＬｉＤＡＲ入力、及び検出出力はファジーメンバーシップ関数にファジー化される。出力を図３５（ｄ）に示す。この例では、ＬｉＤＡＲからの信頼度スコアが８０であり、カメラからのスコアが２０である場合、事前定義された５つのファジールールを適用することによって、出力検出スコアは（図３５（ｄ）に示すように）約５６である。
当業者は、機械学習において、ハイパーパラメータの値が学習処理の前に設定されることを理解するであろう。式５において、ａはＬｉＤＡＲのシグモイド型スカッシング関数を制御するものであり、決定すべきハイパーパラメータの１つである。上記のアルゴリズム例４では、最終検出のための別のハイパーパラメータ閾値Ｃが存在する。図３６は、本発明の実施形態による、異なる処理技術を使用し、ハイパーパラメータを使用して信頼度スコアを融合させたＬｉＤＡＲ及びカメラ情報のデータフロー及び処理の図である。ここで図３６を参照すると、例示的データフロー３６００は、これらの２つのハイパーパラメータが例示的な融合処理の一部として使用され得る場所を示す。図３６を参照する例では、例示的なＬｉＤＡＲ３６０５は、点群（ｘ、ｙ、ｚ座標）及び各リターン点の強度データを提供し得る。次いで、候補オブジェクトが識別され、各オブジェクトについて、ＳＶＭ３６１０は、判別値を決定する（例えば、ＬｉＤＡＲ点群に関連して上述したように、判別式が評価され、最適化される）。ハイパーパラメータαは、シグモイド関数３６１５の形状を制御し、それは、範囲（−∞、∞）内のＳＶＭ判別値を範囲［０、１］内の擬似信頼度スコアに変換する。この変換を行う理由は、カメラ３６２５及びＹＯＬＯ検出器３６３０が、検出された全てのオブジェクトについて、境界ボックス、クラスラベル（例えば、ビーコン、非ビーコン等）、及び範囲［０、１］内の信頼度スコアも出力するからである。同じ範囲内の２つのセンサからの信頼度推定値を有することにより、ファジー論理システム３６２０は、上述したものと類似し、図３５を参照して、これら２つのスコアを融合することが可能である。最後に、融合された信頼度スコアは、図３６の決定点３６３５において閾値ハイパーパラメータＣと比較される。ハイパーパラメータα及びＣは、パラメータに対してグリッドサーチを実行することによって決定し得る。ハイパーパラメータの最適化に関して、当業者は、一般的に使用される手法が、限界尤度、グリッドサーチ、及び進化的最適化を含み得ることを理解するであろう。
以下に説明する例示的な実施形態では、この実施形態はグリッドサーチを利用した。グリッドサーチでは、それぞれの候補値を選択し、それらの外積の２Ｄ行列を生成することにより、２つのハイパーパラメータを調べた。調整されるべき２つのハイパーパラメータａ及びＣがあるので、当業者は、この実施形態が、ＫＳテストとしても知られるＫｏｌｍｏｇｏｒｏｖ−Ｓｍｉｒｎｏｖテストを使用して、選択すべきハイパーパラメータ値を決定することを理解するであろう。このようにして、真判定率（ＴＰＲ）、誤判定率（ＦＰＲ）、及びＫｏｌｍｏｇｏｒｏｖ−Ｓｍｉｒｎｏｖテスト結果の２Ｄ行列を用いた様々なパラメータの組み合わせの効果が、ＫＳテストを用いて及びＴＰＲからＦＰＲを引いた値を最大化するα及びＣを求める実施形態において調べられた。ＴＰＲを最大化し、ＦＰＲを最小化するために、ＫＳテストの目的は、２つのメトリックのバランスを求めることである。
この例示的な実施形態では、αについて選択される値は、１／１００，１／５００，１／１，０００，１／５，０００，１／１０，０００，１／５０，０００，１／１００，０００，１／５００，０００，及び１／１，０００，０００であり、一方、Ｃについての値は、０．５、０．５５、０．６、０．６５、０．７、０．７５、０．８、０．８５、０．９、及び０．９５である。ＴＰＲとＦＰＲとのバランスを取るために、ＫＳテスト結果は、この実施形態が、最適値として、ハイパーパラメータαを１／５００，０００とし、ハイパーパラメータＣを０．６５とするべきであることを示している。したがって、一例では、この実施形態におけるこのようなハイパーパラメータを決定するための結果に基づいて、α＝１／５００，０００及びＣ＝０．６５が最適値となるように選択され、全体的な融合結果は、カメラ３６２５のみ又はＬｉＤＡＲ３６０５のみを使用するよりも有利に良好な結果をもたらす。
様々な実験に使用される例示的な実施形態において、ＬｉＤＡＲは、Ｑｕａｎｅｒｇｙ Ｍ８−１ ＬｉＤＡＲとして実装された。それは、約３度で垂直に間隔を空けた８つのビームを有する。カメラ画像はＦｕｊｉｎｏｎの６ｍｍレンズ付きＦＬＩＲ Ｃｈａｍｅｌｅｏｎ３ ＵＳＢカメラで収集した。データを収集し、関連する環境において例示的なシステム実施形態をテストするために、オフィスビルと、ビルに隣接した大きくて比較的平坦なコンクリート領域、数台の駐車した車と、トレーラと、２〜３個のガス貯蔵タンクとを有する開放屋外空間が使用された。
２０の広範なデータ収集をテストの一部として実施した。これらのテストは、例示的なシステム実施形態のための訓練データを収集し、システムのパフォーマンスをチェックしかつシステムパラメータを調整するためのテストデータを収集するように設計された。多くのテストはセンサのＦＯＶ内のランダムな位置に設置されたビーコンで構成された。他のテストは範囲と距離を推定するためのＬｉＤＡＲとカメラの精度を評価するために、既知の位置にビーコンを設置した。その後のテストでは、距離と距離を非常に正確に推定できるので、ＬｉＤＡＲを「グラウンドトゥルース」として使用した。
初期テストのほとんどでは、産業車両は静止していた。その後、産業車両を走行させてテストを行った。ビーコンの位置が分かっている初期のテストでは、グラウンドは異なる距離と角度でマークされた。ＬｉＤＡＲの真下のグラウンド点が０メートルの距離として使用され、０度の角度が産業車両の真正面になる。そこから、メートルごとの間隔で３メートルから０度の角度線を挟んで４０メートルまでの距離がマークされた。０度の角度は産業車両の真正面である。また、ビーコン位置として−２０度、−１５度、−１０度、−５度、０度、５度、１０度、１５度及び２０度の線をマークした。このようにして、テストは、ラベル付けされたグラウンドトゥルースを有するビーコンのデータ集合を構築した。静的ビーコンテストのために、ビーコンを既知と未知の両方の位置に置き、データを記録した。
静止車両テストでは、いくつかのテストでシステム実施形態の異なる部分を評価した。例えば、長い紐に取り付けられた非常に短い木製の台車の上にビーコンが置かれた。これにより、ビーコンを動かしている人がセンサの視界にいない間にビーコンを動かすことが可能でなった。これにより、ビーコンを０度の角度線に沿って既知の距離に配置し、車両に向けて引き込んで連続的な位置でデータを収集することが可能であった。−４０度、−２０度、−１０度、１０度、２０度及び４０度の角度線に沿って同様のテストを行った。最後に、ビーコンが略一定の距離で−４０度の角度から４０度の角度まで全横断的に引き込まれたデータを収集した。これらのデータ収集は、衝突を回避するための例示的なシステム実施形態を訓練及びテストする際に使用する大量のデータを提供した。
例示的なデータ収集は人でも実施した。ベスト上の再帰反射ストライプは、ＬｉＤＡＲに明るいリターンをもたらし、これは誤判定を引き起こす可能性がある。これらの効果を測定するために、様々な人が反射率の高いベストを着用し、システムのＬｉＤＡＲとカメラの前の既知の位置に立った。データは、人が複数の方向でカメラに向かって及びカメラから離れるようにして収集された。また、このテストは反射安全ベストなしでも実施した。他のテストでは、人はセンサのＦＯＶ内をランダムな方向に歩き回った。ここで収集されたデータは、ＳＶＭを訓練するために使用された非ビーコンデータの一部であった。
人及びビーコンもシーンにいる場合の干渉を調べるために、人は、既知の場所でビーコンの近くに立ってベストを着用した。次にデータが記録され、これによりシステムは近くにいてもビーコンと人を識別できるようになった。さらに、例示的なシステム実施形態のテストは、ビーコン及び人が接近しているいくつかの動的ケースで実施された。このデータを収集するために、２人目の人物がビーコンの周りを移動している間に、ビーコンはロープと台車を使って引き回された。また、車両がビーコン又は他のオブジェクトに向かって直進し、又は通り過ぎることによる一連のデータ収集も行われ、センサシステムが動作条件下で安定していることがテストされた。車両は、一定の速度、加速、及び制動で（車両を揺らすため）、並びに蛇行で運転された。最後に、異なる障害物とビーコンが存在する場合に車両が走り回ることによりデータ収集を行った。これは主にシステム統合をサポートし、ＭＰＣコントローラとアクチュエータを調整するためであった。これらの収集の全てにより、そのような例示的な実施形態のシステム分析、調整、及びパフォーマンス評価のための豊富なデータ集合が提供された。
カメラ検出訓練に関連して、例示的なＹＯＬＯの訓練画像は、Ｎｉｋｏｎ Ｄ７０００カメラによって撮影された画像及びＰＡＳＣＡＬ ＶＯＣデータ集合からの画像も含んだ。一例では、訓練画像の総数は約２５，０００であった。この例では、ＹＯＬＯのネットワーク構造は基本的にデフォルト設定と同じである。１つの相違は、最後のレイヤのフィルタの数である。この数は、検出しようとしているオブジェクトカテゴリの数と、ＹＯＬＯが画像を分割する各グリッドセクションのベース境界ボックスの数に関連する。例えば、一実施形態が各画像を１３×１３のグリッドに分割する場合、各グリッドについて、ＹＯＬＯは、５つの境界ボックスを予測し、各境界ボックスについて、５＋Ｎ個のパラメータがある（Ｎは、予測されるカテゴリの数を表する）。その結果、最後のレイヤのフィルタサイズは１３ｘ１３ｘ５ｘ（５＋Ｎ）になる。別の相違は、実施形態が、発散を回避するために、学習率を１０−５に変更し得ることである。
ＬｉＤＡＲ検出訓練に関連して、例示的なＬｉＤＡＲデータを一連のステップによって処理した。一実施形態では、グラウンドクラッタ除去アルゴリズムを実装して、グラウンド点が誤警報を発するのを防止し、グラウンド上の反射塗料からの高い反射を回避し、点群のサイズを低減する。点のクラスタは、別個のオブジェクトにグループ化され、ＳＶＭを用いて分類される。この実施形態におけるＳＶＭは、ビーコン及び非ビーコンオブジェクトを有する大規模なデータ集合を用いて訓練されてもよい。例示的なＬｉＤＡＲデータを２つの別々の集合、すなわち、訓練とテストに分けた。訓練データ集合には、１３，１９０個のビーコン及び１５，２０９個の非ビーコンがあった。テストデータ集合は、５，６６６個のビーコン及び１２，０８４個の非ビーコンを含んでいた。ビーコン対非ビーコンの分類のパフォーマンスを示す訓練及びテストのための混同行列は、図３７の表２（訓練）及び表３（テスト）に示されている。結果は、訓練及びテストデータ集合に対して良好なパフォーマンスを示した。例示的なＬｉＤＡＲデータを使用するこの特定の例の例示的な実施形態では、両方のデータ集合は、９９．７％を超える真の陽性（ビーコン）と、約９３％の真の陰性（非ビーコン）を示す。
したがって、上記のより詳細な実施形態で説明したように、実施形態は、より正確でロバストなビーコン検出システムのためのカメラ及びＬｉＤＡＲの検出を融合するマルチセンサ検出システムとして実施し得る。このようなシステムの一実施形態は、衝突回避のためのリアルタイム産業システムとして設計し得る。このタイプのデータ融合を実装する実施形態は、産業用移動車両（貨物トラクタ等）に配備可能な衝突回避ソリューションの一部として、各検出についてより正確な位置及びラベル情報を得るのに役立つ。このタイプのデータ融合は、一実施形態の一部として、カメラの範囲内でありながら、ＬｉＤＡＲの従来の範囲を超える検出を生み出すのにも役立ち得る。
要約すれば、当業者には理解されるように、本明細書の実施形態に記載された方法及び方法の変形のいずれかを実行する動作のシーケンスは、単に例示的なものであり、正当に、且つ本発明の原理にしたがって、様々な動作のシーケンスが追従され得ることが強調される。
上述した例示的な実施形態の少なくともいくつかの部分は、他の例示的な実施形態の部分と関連して使用されてもよく、誤判定の検出を減らしかつ自動フィードバックシステムを改善して、衝突をより良く回避するように改良された向上した産業車両（例えば、貨物トラクタ及び貨物／パッケージを積載した関連台車）を使用して、ロジスティクス作業（荷物の積み込み、輸送、荷卸し等）を向上及び改善する。上記のように、本明細書で開示される例示的な実施形態のうちの少なくとも幾つかは、互いに独立に、及び／又は互いに組み合わせて用いることができ、本明細書に開示されていない装置及び方法に応用が可能である。当業者であれば、実施形態が１つ以上の利点を提供することができ、且つ、必ずしも全ての実施形態が本明細書に記載された全ての又は２つ以上の特定の利点を提供するわけではないことを理解するであろう。さらに、本明細書に記載された構造及び方法に対して様々な修正及び変形が可能であることは、当業者には明らかであろう。したがって、本発明は、本明細書で述べた内容に限定されるものではないことを理解されたい。そうではなく、以下の請求項に記載されるように、本発明は修正及び変形を包含するものである。

Claims (33)

  1. マルチセンサデータ融合に基づいて高価値資産の移動式産業車両による衝突回避を向上させるための方法であって、前記高価値資産は、前記高価値資産に対して配置される１つ以上の反射ビーコンを有する方法であって、
    （ａ）前記移動式産業車両のＬｉＤＡＲセンサを用いて、前記移動式産業車両に対する前記１つ以上の反射ビーコンを検出するステップと、
    （ｂ）前記移動式産業車両のカメラセンサを用いて、前記移動式産業車両に対する１つ以上のオブジェクトを検出するステップと、
    （ｃ）前記移動式産業車両のセンサ処理システムによって、検出されたＬｉＤＡＲセンサデータ及び検出されたカメラセンサデータを使用して、マルチセンサ融合データソースに基づいて、前記１つ以上の反射ビーコンの相対位置を識別するために、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれによって検出された前記センサデータを融合するステップと、
    （ｄ）前記移動式産業車両のモデル予測コントローラによって、複数の制御ソリューションを決定するステップであって、各制御ソリューションは、前記１つ以上の反射ビーコンの検証された相対位置から半径方向に投影された点への推定経路に基づいて、離散的な瞬間における前記移動式産業車両の閾値許容速度を定義するステップと、
    （ｅ）前記モデル予測コントローラによって、パフォーマンスコスト関数に基づいて、前記制御ソリューションの１つを最適ソリューションとして識別するステップであって、前記制御ソリューションの１つは、最適閾値許容速度に関連付けられるステップと、
    （ｆ）前記移動式産業車両の車両作動システムによって、前記移動式産業車両に時間ウィンドウ内で移動動作を変更させ、前記移動式産業車両の現在の速度に対して所望の移動動作を達成するために、前記移動式産業車両が前記最適閾値許容速度を超えたときに、応答的に車速制御要素を作動させるステップと
    を含む、方法。
  2. 前記移動式産業車両が、動力車両と、前記動力車両に連続的に連結された複数の被牽引車両とを含み、
    前記複数の制御ソリューションを決定するステップは、前記移動式産業車両のモデル予測コントローラによって、前記複数の制御ソリューションを決定することを含み、前記制御ソリューションのそれぞれは、前記１つ以上の反射ビーコンの前記検証された相対位置から半径方向に投影された点までの前記動力車両及び前記被牽引車両の予測された経路に基づいて、時間／空間内の離散的な瞬間における前記移動式産業車両の前記閾値許容速度を定義する、請求項１に記載の方法。
  3. 前記動力車両及び前記被牽引車両の前記経路は、前記動力車両に追従するいずれかの被牽引車両の位置の能動的検出を行わずに、前記モデル予測コントローラによって予測される、請求項２に記載の方法。
  4. 融合するステップ（ｃ）は、
    前記１つ以上のオブジェクトを検出するときに前記カメラセンサによって生成されるセンサデータに基づいて前記１つ以上の境界ボックスを決定するステップと、
    前記１つ以上の反射ビーコンを検出するときに前記ＬｉＤＡＲセンサによって生成されるセンサデータに基づいてマッピング空間を決定するステップと、
    決定された１つ以上の境界ボックスを決定されたマッピング空間に投影するステップと、
    前記１つ以上の反射ビーコンの前記相対位置を検証するために、前記決定された１つ以上の境界ボックスを前記マッピング空間内で検出されたオブジェクトと比較するステップと
    を含む、請求項１に記載の方法。
  5. 前記決定された１つ以上の境界ボックスを前記決定されたマッピング空間に投影するステップは、前記センサ処理システムが畳み込みニューラルネットワークを使用することによって実行される、請求項４に記載の方法。
  6. 融合するステップ（ｃ）は、
    前記１つ以上のオブジェクトを検出するときに前記カメラセンサによって生成された前記センサデータに基づいて前記１つ以上の境界ボックス及びカメラ信頼度スコアを決定するステップと、
    前記１つ以上の反射ビーコンを検出するときに前記ＬｉＤＡＲセンサによって生成された前記センサデータに基づいてマッピング空間及びＬｉＤＡＲ信頼度スコアを決定するステップと、
    前記１つ以上のオブジェクトの前記相対位置を識別し、かつ前記カメラ信頼度スコア及び前記ＬｉＤＡＲ信頼度スコアに基づいて最終信頼度スコアを決定するために、前記決定された１つ以上の境界ボックスを前記決定されたマッピング空間に投影するステップと、
    前記１つ以上のオブジェクトの特定の１つの前記最終信頼度スコアが信頼度閾値を下回る場合に、前記１つ以上のオブジェクトの特定の１つの識別された相対位置を無視するステップと、
    各最終信頼度スコアに基づいて無視されなかった前記１つ以上のオブジェクトの前記相対位置を検証するために、前記決定された１つ以上の境界ボックスを前記マッピング空間内で検出されたオブジェクトと比較するステップと
    を含む、請求項１に記載の方法。
  7. 少なくとも、前記最終信頼度スコアが前記信頼度閾値を下回る場合に前記１つ以上のオブジェクトの前記識別された相対位置を無視するステップは、前記センサ処理システム内のファジー論理によって実行される、請求項６に記載の方法。
  8. 前記高価値資産に対して前記１つ以上の反射ビーコンを配備するステップをさらに含む、請求項１に記載の方法。
  9. 前記高価値資産に対して前記１つ以上の反射ビーコンを配備するステップは、前記１つ以上の反射ビーコンを前記高価値資産に隣接して配置することを含む、請求項８に記載の方法。
  10. 前記高価値資産に対して前記１つ以上の反射ビーコンを配備するステップは、前記１つ以上の反射ビーコンの少なくとも１つを格納位置から展開されたアクティブ位置まで作動させることを含む、請求項８に記載の方法。
  11. 前記高価値資産に対して前記１つ以上の反射ビーコンを配備するステップは、前記１つ以上の反射ビーコンの少なくとも１つを、前記高価値資産における格納位置から前記高価値資産における展開されたアクティブ位置まで作動させることを含む、請求項８に記載の方法。
  12. 前記車速制御要素を応答的に作動させるステップは、前記車速制御要素として前記移動式産業車両においてスロットルを作動させることを含む、請求項１に記載の方法。
  13. 前記車速制御要素を応答的に作動させるステップは、前記車速制御要素として前記移動式産業車両においてブレーキをかけることを含む、請求項１に記載の方法。
  14. マルチセンサデータ融合に基づいて高価値資産の移動式産業車両による衝突回避を向上させるためのシステムであって、前記高価値資産は、前記高価値資産に対して配置される１つ以上の反射ビーコンを有するシステムであって、
    前記移動式産業車両に配置される感知処理システム
    を備えており、
    前記感知処理システムは、
    前記移動式産業車両の前方にある前記１つ以上の反射ビーコンを検出するために前方向きに取り付けられるＬｉＤＡＲセンサと、
    前記移動式産業車両の前方にある１つ以上のオブジェクトを検出するために前方向きに取り付けられるカメラセンサと、
    前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれからの入力に応答するマルチプロセッサモジュールであって、検出されたＬｉＤＡＲセンサデータ及び検出されたカメラセンサデータを使用して、マルチセンサ融合データソースに基づいて、前記１つ以上の反射ビーコンの相対位置を識別するために、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれによって検出される前記センサデータを融合するように動作するマルチプロセッサモジュールと、
    前記移動式産業車両に配置されるモデル予測コントローラであって、
    複数の制御ソリューションを決定することであって、各制御ソリューションは、前記１つ以上の反射ビーコンの検証された相対位置から半径方向に投影された点への推定経路に基づいて、離散的な瞬間における前記移動式産業車両の閾値許容速度を定義すること、
    パフォーマンスコスト関数に基づいて、前記制御ソリューションの１つを最適ソリューションとして識別することであって、前記制御ソリューションの１つは、最適閾値許容速度に関連付けられること
    を行うようにプログラム的に動作することによって構成されるモデル予測コントローラと、
    前記高価値資産との衝突を回避するために前記移動式産業車両の移動動作を前記移動式産業車両に変化させることによって、前記移動式産業車両が前記最適閾値許容速度を超えたときに応答するように構成される車両アクチュエータを少なくとも備える車両作動システムと
    をさらに備える、システム。
  15. 前記移動式産業車両が、動力車両と、前記動力車両に連続的に連結された複数の被牽引車両とを含み、
    前記モデル予測コントローラは、前記複数の制御ソリューションを決定するようにプログラム的に動作することによりさらに構成され、前記制御ソリューションのそれぞれは、前記１つ以上の反射ビーコンの前記検証された相対位置から半径方向に投影された点までの前記動力車両及び前記被牽引車両の予測された経路に基づいて、時間／空間内の離散的な瞬間における前記移動式産業車両の前記閾値許容速度を定義する、請求項１４に記載のシステム。
  16. 前記動力車両及び前記被牽引車両の前記経路は、前記動力車両に追従するいずれかの被牽引車両の位置の能動的検出を行わずに、前記モデル予測コントローラによって予測される、請求項１５に記載のシステム。
  17. 前記感知処理システムの前記マルチプロセッサモジュールは、
    前記１つ以上のオブジェクトを検出するときに前記カメラセンサによって生成されたセンサデータに基づいて１つ以上の境界ボックスを決定すること、
    前記１つ以上の反射ビーコンを検出するときに前記ＬｉＤＡＲセンサによって生成されるセンサデータに基づいてマッピング空間を決定すること、
    決定された１つ以上の境界ボックスを決定されたマッピング空間に投影すること、及び
    前記１つ以上の反射ビーコンの前記相対位置を検証するために、前記決定された１つ以上の境界ボックスを前記マッピング空間内で検出されたオブジェクトと比較すること
    を行うようにプログラム的に動作することによって前記１つ以上の反射ビーコンの前記相対位置を識別するために、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれによって検出された前記センサデータを融合するように動作可能に構成される、請求項１４に記載のシステム。
  18. 前記感知処理システムの前記マルチプロセッサモジュールは、畳み込みニューラルネットワークを使用して、前記決定された１つ以上の境界ボックスを前記決定されたマッピング空間に投影するように動作可能に構成される、請求項１７に記載のシステム。
  19. 前記感知処理システムの前記マルチプロセッサモジュールは、
    前記１つ以上のオブジェクトを検出するときに前記カメラセンサによって生成された前記センサデータに基づいて前記１つ以上の境界ボックス及びカメラ信頼度スコアを決定すること、
    前記１つ以上の反射ビーコンを検出するときに前記ＬｉＤＡＲセンサによって生成された前記センサデータに基づいてマッピング空間及びＬｉＤＡＲ信頼度スコアを決定すること、
    前記１つ以上のオブジェクトの前記相対位置を識別し、かつ前記カメラ信頼度スコア及び前記ＬｉＤＡＲ信頼度スコアに基づいて最終信頼度スコアを決定するために、前記決定された１つ以上の境界ボックスを前記決定されたマッピング空間に投影すること、
    前記１つ以上のオブジェクトの特定の１つの前記最終信頼度スコアが信頼度閾値を下回る場合に、前記１つ以上のオブジェクトの特定の１つの識別された相対位置を無視すること、及び
    各最終信頼度スコアに基づいて無視されなかった前記１つ以上のオブジェクトの前記相対位置を検証するために、前記決定された１つ以上の境界ボックスを前記マッピング空間内で検出されたオブジェクトと比較すること
    を行うようにプログラム的に動作することによって前記１つ以上の反射ビーコンの前記相対位置を識別するために、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれによって検出された前記センサデータを融合するように動作可能に構成される、請求項１４に記載のシステム。
  20. 前記感知処理システムの前記マルチプロセッサモジュールは、
    前記１つ以上のオブジェクトを検出するときに前記カメラセンサによって生成された前記センサデータに基づいて１つ以上の境界ボックス及びカメラ信頼度スコアを決定すること、
    前記１つ以上の反射ビーコンを検出するときに前記ＬｉＤＡＲセンサによって生成された前記センサデータに基づいてマッピング空間及びＬｉＤＡＲ信頼度スコアを決定すること、
    前記１つ以上のオブジェクトの前記相対位置を識別し、かつ前記カメラ信頼度スコア及び前記ＬｉＤＡＲ信頼度スコアに基づいて最終信頼度スコアを決定するために、前記決定された１つ以上の境界ボックスを前記決定されたマッピング空間に投影すること、
    前記１つ以上のオブジェクトの特定の１つの前記最終信頼度スコアが信頼度閾値を下回る場合に、前記１つ以上のオブジェクトの特定の１つの識別された相対位置を無視すること、及び
    各最終信頼度スコアに基づいて無視されなかった前記１つ以上のオブジェクトの前記相対位置を検証するために、前記決定された１つ以上の境界ボックスを前記マッピング空間内で検出されたオブジェクトと比較すること
    を行うようにプログラム的に動作するファジー論理を使用することによって前記１つ以上の反射ビーコンの前記相対位置を識別するために、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれによって検出された前記センサデータを融合するように動作可能に構成される、請求項１４に記載のシステム。
  21. 前記１つ以上の反射ビーコンのそれぞれは、ベース支持体と、前記ベース支持体に取り付けられた垂直ポールとを備え、前記垂直ポールは、前記垂直ポールの長さに沿って配置される反射材料を含む、請求項１４に記載のシステム。
  22. 前記１つ以上の反射ビーコンの少なくとも１つは、前記高価値資産の一部として統合反射ビーコンを備え、前記統合反射ビーコンは、前記統合反射ビーコンが可視でない格納位置から、前記統合反射ビーコンが可視である展開された能動位置へと作動される、請求項１４に記載のシステム。
  23. 前記車両アクチュエータは、前記移動式産業車両に配置されるスロットルを備える、請求項１４に記載のシステム。
  24. 前記車両アクチュエータは、前記移動式産業車両に配置されるブレーキを備える、請求項１４に記載のシステム。
  25. 前記車両作動システムは、
    前記移動式産業車両の現在の速度を監視する車両モニタ、及び
    前記移動式産業車両に既定の時間ウィンドウ内で前記移動式産業車両の移動動作を変化させるように、前記移動式産業車両の監視された速度が最適許容閾値速度を超えたときに、応答的に前記車両アクチュエータを作動させるフィードバック制御システム
    をさらに備える、請求項１４に記載のシステム。
  26. マルチセンサデータ融合に基づいて高価値資産の移動式産業車両による衝突回避を向上させるためのシステムであって、
    前記高価値資産における予め指定された位置に対して配置される複数の反射ビーコンと、
    前記移動式産業車両に配置される感知処理システムと、
    前記移動式産業車両に配置されるモデル予測コントローラと、
    前記高価値資産との衝突を回避するために前記移動式産業車両の移動動作を前記移動式産業車両に変化させることによって、前記移動式産業車両が最適閾値許容速度を超えたときに応答するように構成される車両アクチュエータを少なくとも備える車両作動システムと
    を備えており、
    前記感知処理システムは、
    前記移動式産業車両の前方にある１つ以上の反射ビーコンを検出するために前方向きに取り付けられるＬｉＤＡＲセンサと、
    前記移動式産業車両の前方にある１つ以上のオブジェクトを検出するために前方向きに取り付けられるカメラセンサと、
    前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれからの入力に応答するマルチプロセッサモジュールであって、検出されたＬｉＤＡＲセンサデータ及び検出されたカメラセンサデータを使用して、マルチセンサ融合データソースに基づいて、前記１つ以上の反射ビーコンの相対位置を識別するために、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれによって検出された前記センサデータを融合するように動作するマルチプロセッサモジュールと
    をさらに備え、
    前記感知処理システムの前記マルチプロセッサモジュールは、
    前記１つ以上のオブジェクトを検出するときに前記カメラセンサによって生成されるセンサデータに基づいて１つ以上の境界ボックスを決定すること、
    前記１つ以上の反射ビーコンを検出するときに前記ＬｉＤＡＲセンサによって生成されるセンサデータに基づいてマッピング空間を決定すること、
    決定された１つ以上の境界ボックスを決定されたマッピング空間に投影すること、及び
    前記１つ以上の反射ビーコンの前記相対位置を検証するために、前記決定された１つ以上の境界ボックスを前記マッピング空間内で検出されたオブジェクトと比較すること
    を行うようにプログラム的に動作することによって前記１つ以上の反射ビーコンの前記相対位置を識別するために、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれによって検出された前記センサデータを融合するように動作可能に構成され、
    前記モデル予測コントローラは、
    複数の制御ソリューションを決定することであって、各制御ソリューションは、前記１つ以上の反射ビーコンの検証された相対位置から半径方向に投影された点への推定経路に基づいて、離散的な瞬間における前記移動式産業車両の閾値許容速度を定義すること、及び
    パフォーマンスコスト関数に基づいて、前記制御ソリューションの１つを最適ソリューションとして識別することであって、前記制御ソリューションの１つは、前記最適閾値許容速度に関連付けられること
    を行うようにプログラム的に動作することによって構成される、システム。
  27. マルチセンサデータ融合に基づいて移動式産業車両の進行方向にあるオブジェクトの移動式産業車両によるフロントガード衝突回避を向上させるためのシステムであって、
    前記移動式産業車両に配置される感知処理システムと、
    前記移動式産業車両に配置されるモデル予測コントローラと、
    前記オブジェクトとの衝突を回避するために前記移動式産業車両の移動動作を前記移動式産業車両に変化させることによって、前記移動式産業車両が最適閾値許容速度を超えたときに応答するように構成される車両アクチュエータを少なくとも備える車両作動システムと
    を備えており、
    前記感知処理システムは、
    前記移動式産業車両の前方にある１つ以上のオブジェクトを検出するために前方向きに取り付けられるＬｉＤＡＲセンサと、
    前記移動式産業車両の前方にある前記１つ以上のオブジェクトを検出するために前方向きに取り付けられるカメラセンサと、
    前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれからの入力に応答するマルチプロセッサモジュールであって、検出されたＬｉＤＡＲセンサデータ及び検出されたカメラセンサデータを使用して、マルチセンサ融合データソースに基づいて、前記１つ以上のオブジェクトの相対位置を識別するために、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれによって検出されたセンサデータを融合するように動作するマルチプロセッサモジュールと
    をさらに備え、
    前記感知処理システムの前記マルチプロセッサモジュールは、
    前記１つ以上のオブジェクトを検出するときに前記カメラセンサによって生成されるセンサデータに基づいて１つ以上の境界ボックスを決定すること、
    前記１つ以上のオブジェクトを検出するときに前記ＬｉＤＡＲセンサによって生成されるセンサデータに基づいてマッピング空間を決定すること、
    決定された１つ以上の境界ボックスを決定されたマッピング空間に投影すること、及び
    前記１つ以上のオブジェクトの前記相対位置を検証するために、決定された１つ以上の境界ボックスを前記マッピング空間内で検出されたオブジェクトと比較すること
    を行うようにプログラム的に動作することによって前記１つ以上のオブジェクトの前記相対位置を識別するために、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれによって検出された前記センサデータを融合するように動作可能に構成され、
    前記モデル予測コントローラは、
    複数の制御ソリューションを決定することであって、各制御ソリューションは、前記１つ以上のオブジェクトの検証された相対位置から半径方向に投影された点への推定経路に基づいて、離散的な瞬間における前記移動式産業車両の閾値許容速度を定義すること、及び
    パフォーマンスコスト関数に基づいて、前記制御ソリューションの１つを最適ソリューションとして識別することであって、前記制御ソリューションの１つは、前記最適閾値許容速度に関連付けられること
    を行うようにプログラム的に動作することによって構成される、システム。
  28. 前記マルチプロセッサモジュールは、前記移動式産業車両の変化した移動動作に応答して、前記マルチプロセッサモジュールによって考慮される前記ＬｉＤＡＲセンサ及び前記カメラセンサの少なくとも１つの有効視野を動的に調整するようにプログラム的にさらに動作することによって、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれからの入力に応答する、請求項２７に記載のシステム。
  29. 前記マルチプロセッサモジュールは、前記移動式産業車両の方向の変化の検出に応答して、前記マルチプロセッサモジュールによって考慮される前記ＬｉＤＡＲセンサ及び前記カメラセンサの少なくとも１つの有効視野を動的に調整するようにプログラム的にさらに動作することによって、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれからの入力に応答する、請求項２７に記載のシステム。
  30. 前記マルチプロセッサモジュールは、
    前記ＬｉＤＡＲセンサ及び前記カメラセンサの少なくとも１つによって生成されたセンサデータを用いてオブジェクト識別マーカを検出すること、
    検出されたオブジェクト識別マーカを、第１の動作領域と第２の動作領域との間の境界識別子として識別すること、及び
    識別された境界識別子に応答して、前記ＬｉＤＡＲセンサ及び前記カメラセンサの少なくとも１つによって生成される後続のセンサデータに関する有効視野を動的に調整すること
    を行うようにプログラム的にさらに動作することによって、前記ＬｉＤＡＲセンサ及び前記カメラセンサのそれぞれからの入力に応答する、請求項２７に記載のシステム。
  31. 前記マルチプロセッサモジュールは、前記１つ以上のオブジェクトの前記相対位置を識別するために前記マルチセンサ融合データソースにおいて使用される前記検出されたＬｉＤＡＲセンサデータ及び前記検出されたカメラセンサデータの少なくとも１つを動的に制限するようにさらに動作することによって、前記ＬｉＤＡＲセンサ及び前記カメラセンサの少なくとも１つに関する前記有効視野を動的に調整するようにプログラム的にさらに動作する、請求項２８に記載のシステム。
  32. 前記マルチセンサ融合データソースにおいて使用される前記検出されたＬｉＤＡＲセンサデータ及び前記検出されたカメラセンサデータの少なくとも１つを動的に制限することは、前記ＬｉＤＡＲセンサ及び前記カメラセンサの少なくとも１つが焦点を合わせている場所を有効的に調整するように動的に制限することである、請求項３１に記載のシステム。
  33. 前記マルチセンサ融合データソースにおいて使用される前記検出されたＬｉＤＡＲセンサデータ及び前記検出されたカメラセンサデータの少なくとも１つを動的に制限することは、前記ＬｉＤＡＲセンサ及び前記カメラセンサの少なくとも１つに関する受容フィールドの幅の程度を有効的に調整するように動的に制限することである、請求項３１に記載のシステム。
JP2020544634A 2018-02-26 2019-02-26 マルチセンサ検出の融合を用いたロジスティクスグラウンド支援装置において衝突回避を向上させるためのシステム及び方法 Active JP6949238B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862635274P 2018-02-26 2018-02-26
US62/635,274 2018-02-26
US201862650118P 2018-03-29 2018-03-29
US62/650,118 2018-03-29
US201862665822P 2018-05-02 2018-05-02
US62/665,822 2018-05-02
PCT/US2019/019525 WO2019165409A1 (en) 2018-02-26 2019-02-26 Systems and methods for enhanced collision avoidance on logistics ground support equipment using multi-sensor detection fusion

Publications (2)

Publication Number Publication Date
JP2021509381A JP2021509381A (ja) 2021-03-25
JP6949238B2 true JP6949238B2 (ja) 2021-10-13

Family

ID=67685802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020544634A Active JP6949238B2 (ja) 2018-02-26 2019-02-26 マルチセンサ検出の融合を用いたロジスティクスグラウンド支援装置において衝突回避を向上させるためのシステム及び方法

Country Status (6)

Country Link
US (1) US10761538B2 (ja)
EP (1) EP3758983A4 (ja)
JP (1) JP6949238B2 (ja)
CN (1) CN111757822B (ja)
CA (1) CA3090668C (ja)
WO (1) WO2019165409A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168182A1 (ja) * 2017-03-17 2018-09-20 日本電気株式会社 移動体検出装置、移動体検出方法および移動体検出プログラム
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position
IT201800006499A1 (it) * 2018-06-20 2019-12-20 Procedimento per la diagnostica di una struttura sottoposta a carichi basato sulla misura di spostamenti, e sistema per l'attuazione di detto procedimento.
US11353872B2 (en) * 2018-07-30 2022-06-07 Pony Ai Inc. Systems and methods for selectively capturing and filtering sensor data of an autonomous vehicle
WO2020028244A1 (en) * 2018-07-30 2020-02-06 Fedex Corporate Services, Inc. Enhanced systems, apparatus, and methods for improved automated and autonomous operation of logistics ground support equipment
US10769496B2 (en) * 2018-10-25 2020-09-08 Adobe Inc. Logo detection
US11164329B2 (en) * 2018-11-01 2021-11-02 Inpixon Multi-channel spatial positioning system
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US11327490B2 (en) * 2019-01-07 2022-05-10 Velodyne Lidar Usa, Inc. Dynamic control and configuration of autonomous navigation systems
US20200217954A1 (en) * 2019-01-07 2020-07-09 Velodyne Lidar, Inc. Systems and methods for a configurable sensor system
US11353878B2 (en) * 2019-03-26 2022-06-07 Baidu Usa Llc Soft-boundary based path optimization for complex scenes for autonomous driving vehicles
DE102019205365A1 (de) * 2019-04-12 2020-10-15 Volkswagen Aktiengesellschaft Kraftfahrzeug und Verfahren zur Kollisionsvermeidung
US11531349B2 (en) * 2019-06-21 2022-12-20 Volkswagen Ag Corner case detection and collection for a path planning system
US11327178B2 (en) * 2019-09-06 2022-05-10 Volvo Car Corporation Piece-wise network structure for long range environment perception
CN110795991B (zh) * 2019-09-11 2023-03-31 西安科技大学 一种基于多信息融合的矿用机车行人检测方法
US20210100451A1 (en) * 2019-10-07 2021-04-08 Siyang Cao Systems and methods of remote extraction of skeletal information using millimeter wave radar
US11288515B2 (en) * 2019-11-11 2022-03-29 Samsung Electronics Co., Ltd. Methods and systems for real-time data reduction
US11745654B2 (en) * 2019-11-22 2023-09-05 Metawave Corporation Method and apparatus for object alert for rear vehicle sensing
CN110989642B (zh) * 2019-11-27 2023-09-01 中国民用航空总局第二研究所 基于三维路径跟踪的航空器地面牵引智能辅助方法及系统
CN110988912B (zh) * 2019-12-06 2022-12-02 青岛慧拓智能机器有限公司 自动驾驶车辆的道路目标与距离检测方法、系统、装置
US11579272B2 (en) * 2019-12-23 2023-02-14 Toyota Motor Engineering & Manufacturing North America, Inc. Method and reflect array for alignment calibration of frequency modulated LiDAR systems
CN111198378B (zh) * 2019-12-27 2022-06-28 深圳市优必选科技股份有限公司 基于边界的自主探索方法和装置
US11314258B2 (en) * 2019-12-27 2022-04-26 Intel Corporation Safety system for a vehicle
CN111242986B (zh) * 2020-01-07 2023-11-24 阿波罗智能技术(北京)有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质
CN111292261B (zh) * 2020-01-17 2023-04-18 杭州电子科技大学 一种基于多传感器融合的集装箱检测及锁定方法
CN111169390A (zh) * 2020-01-20 2020-05-19 中汽数据(天津)有限公司 一种多传感器融合智能集成车
US11625041B2 (en) * 2020-02-21 2023-04-11 Zoox, Inc. Combined track confidence and classification model
WO2021173085A1 (en) * 2020-02-28 2021-09-02 National University Of Singapore System for managing interconnected objects
CN111860097B (zh) * 2020-04-16 2024-02-20 西安电子科技大学 一种基于模糊理论的异常行为检测方法
US11726484B1 (en) * 2020-06-03 2023-08-15 Delta Air Lines, Inc. Airport ground support equipment navigation system
CN111746288B (zh) * 2020-06-12 2023-03-14 南昌大学 一种基于环境感知碰撞主动断电保护系统设计方法
CN111746533A (zh) * 2020-06-30 2020-10-09 三一专用汽车有限责任公司 车辆和车辆控制方法
CN112565376B (zh) * 2020-11-30 2021-11-26 深圳易马达科技有限公司 物体放置方法、装置、终端设备和存储介质
US11417373B2 (en) * 2020-12-09 2022-08-16 Micron Technology, Inc. Neuromorphic computing devices and methods
CN112596379B (zh) * 2020-12-16 2022-02-22 复旦大学 一种机器人控制器设计方法
CN112527000B (zh) * 2020-12-23 2021-10-26 中南大学 矿井下智能驾驶的局部路径规划方法及系统
CN114341761B (zh) * 2020-12-25 2024-04-02 优必康(青岛)科技有限公司 防撞方法、移动机器及存储介质
CN112835037B (zh) * 2020-12-29 2021-12-07 清华大学 一种基于视觉和毫米波融合的全天候目标检测方法
DE102021201522A1 (de) * 2021-02-17 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Anhängers
CN113177557B (zh) * 2021-03-15 2023-11-14 福建电子口岸股份有限公司 一种基于机器视觉和深度学习的防打保龄的方法和系统
CN113095401B (zh) * 2021-04-12 2022-09-13 吉林大学 一种多传感器多目标关联跟踪方法
CN113190043A (zh) * 2021-05-06 2021-07-30 国网山西省电力公司吕梁供电公司 基于ros平台的六旋翼无人机mpc控制方法
US20220406010A1 (en) * 2021-06-17 2022-12-22 Board Of Trustees Of Michigan State University Lidar Camera Fusion For Autonomous Vehicles
US11614527B2 (en) * 2021-06-21 2023-03-28 Cyngn, Inc. Self-adaptive liDAR-camera synchronization system
CN113463720B (zh) * 2021-06-30 2023-02-17 广西柳工机械股份有限公司 装载机铲斗接触物料的辨识系统和方法
US11778935B2 (en) * 2021-09-13 2023-10-10 Deere & Company Controlling operating envelope for off-road equipment based on a digital fence
US20230101438A1 (en) * 2021-09-30 2023-03-30 Canoo Technologies Inc. System and method in vehicle path prediction based on odometry and inertial measurement unit
US11769245B2 (en) * 2021-10-21 2023-09-26 Goodrich Corporation Systems and methods of monitoring cargo load systems for damage detection
EP4202589A1 (en) * 2021-12-23 2023-06-28 Volvo Autonomous Solutions AB Generating reference trajectories for vehicles in confined areas
WO2023192280A2 (en) * 2022-03-28 2023-10-05 Seegrid Corporation Safety field switching based on end effector conditions in vehicles
CN115019503B (zh) * 2022-05-12 2023-06-16 东风汽车集团股份有限公司 基于信息共享的飞行汽车混合交通流下空间轨道分配方法
CN114879744B (zh) * 2022-07-01 2022-10-04 浙江大学湖州研究院 一种基于机器视觉的夜间作业无人机系统
CN116820016B (zh) * 2023-08-31 2023-11-21 国汽(北京)智能网联汽车研究院有限公司 一种物流车的自动驾驶控制方法、装置、设备及存储介质
CN117710755A (zh) * 2024-02-04 2024-03-15 江苏未来网络集团有限公司 一种基于深度学习的车辆属性识别系统及方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5519618A (en) * 1993-08-02 1996-05-21 Massachusetts Institute Of Technology Airport surface safety logic
US5983161A (en) * 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
US5940012A (en) * 1997-05-09 1999-08-17 Collision Avoidance Systems, Inc. Collision avoidance system and method for operating the same
US6804607B1 (en) * 2001-04-17 2004-10-12 Derek Wood Collision avoidance system and method utilizing variable surveillance envelope
JP2007276508A (ja) * 2006-04-03 2007-10-25 Fujitsu Ten Ltd 車両の衝突回避制御装置
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
US8547298B2 (en) 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
US8482486B2 (en) * 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
CN102156476B (zh) * 2011-04-14 2013-12-18 山东大学 智能空间与护士机器人多传感器系统及其信息融合方法
US20130321169A1 (en) * 2012-05-30 2013-12-05 Honeywell International Inc. Airport surface collision-avoidance system (ascas)
US9581692B2 (en) * 2012-05-30 2017-02-28 Honeywell International Inc. Collision-avoidance system for ground crew using sensors
GB201305834D0 (en) * 2013-03-29 2013-05-15 Mallaghan Engineering Ltd Collision prevention system for ground support equipment
EP2983955B1 (en) * 2013-04-11 2019-06-05 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
US20150206439A1 (en) 2014-01-20 2015-07-23 Gulfstream Aerospace Corporation Ground vehicle warning to indicate presence of an obstacle near an aircraft
US9510505B2 (en) * 2014-10-10 2016-12-06 Irobot Corporation Autonomous robot localization
JP6308186B2 (ja) * 2015-08-28 2018-04-11 トヨタ自動車株式会社 衝突回避支援装置
US9719789B2 (en) * 2015-11-23 2017-08-01 Here Glboal B.V. Method and apparatus for providing integration of access management with navigation systems
US10703361B2 (en) * 2017-06-14 2020-07-07 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle collision mitigation

Also Published As

Publication number Publication date
CA3090668C (en) 2022-09-13
EP3758983A1 (en) 2021-01-06
JP2021509381A (ja) 2021-03-25
CA3090668A1 (en) 2019-08-29
EP3758983A4 (en) 2021-08-11
WO2019165409A1 (en) 2019-08-29
CN111757822A (zh) 2020-10-09
CN111757822B (zh) 2024-04-02
US10761538B2 (en) 2020-09-01
WO2019165409A9 (en) 2019-10-10
US20190265714A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
JP6949238B2 (ja) マルチセンサ検出の融合を用いたロジスティクスグラウンド支援装置において衝突回避を向上させるためのシステム及び方法
US11885910B2 (en) Hybrid-view LIDAR-based object detection
Dickmann et al. Automotive radar the key technology for autonomous driving: From detection and ranging to environmental understanding
US10293822B1 (en) Detecting and responding to parking behaviors in autonomous vehicles
US9340207B2 (en) Lateral maneuver planner for automated driving system
Mertz et al. Moving object detection with laser scanners
US20180349746A1 (en) Top-View Lidar-Based Object Detection
Lee et al. Moving object detection and tracking based on interaction of static obstacle map and geometric model-free approachfor urban autonomous driving
Shim et al. An autonomous driving system for unknown environments using a unified map
Gosala et al. Redundant perception and state estimation for reliable autonomous racing
US20230260266A1 (en) Camera-radar data fusion for efficient object detection
US11853069B2 (en) Continuing lane driving prediction
JP7172441B2 (ja) 進行可能方向検出装置及び進行可能方向検出方法
Lombacher et al. Detection of arbitrarily rotated parked cars based on radar sensors
EP4184452A1 (en) Vehicle light classification system
Arrouch et al. Close proximity time-to-collision prediction for autonomous robot navigation: an exponential GPR approach
US20230294687A1 (en) End-to-end processing in automated driving systems
Keatmanee et al. Vision-based lane keeping-a survey
Mendes et al. Computer vision systems in unmanned aerial vehicle: a review
Park Development of a quadrotor-type UAV platform for autonomous collision avoidance under teleoperation
Yaodong Active Obstacle Detection System Based on Video Recognition and Lidar Information Fusion
Li Ros-Based Sensor Fusion and Motion Planning for Autonomous Vehicles: Application to Automated Parkinig System
RU2814813C1 (ru) Устройство и способ для отслеживания объектов
JP2024037165A (ja) オブジェクトをモデリングするための方法、機器、記憶媒体及び車両制御方法
US20230252638A1 (en) Systems and methods for panoptic segmentation of images for autonomous driving

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201026

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201026

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210921

R150 Certificate of patent or registration of utility model

Ref document number: 6949238

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150