JP2024105351A - 表面特徴検出および横断のためのシステムおよび方法 - Google Patents
表面特徴検出および横断のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2024105351A JP2024105351A JP2024071386A JP2024071386A JP2024105351A JP 2024105351 A JP2024105351 A JP 2024105351A JP 2024071386 A JP2024071386 A JP 2024071386A JP 2024071386 A JP2024071386 A JP 2024071386A JP 2024105351 A JP2024105351 A JP 2024105351A
- Authority
- JP
- Japan
- Prior art keywords
- sdsf
- points
- preselected
- cloud data
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 154
- 238000001514 detection method Methods 0.000 title abstract description 10
- 238000013459 approach Methods 0.000 claims description 33
- 238000002372 labelling Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 26
- 235000012489 doughnuts Nutrition 0.000 claims description 25
- 238000009966 trimming Methods 0.000 claims description 21
- 238000009499 grossing Methods 0.000 claims description 20
- 239000000872 buffer Substances 0.000 claims description 19
- 230000001052 transient effect Effects 0.000 claims description 19
- 230000001131 transforming effect Effects 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 8
- 239000003607 modifier Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000009194 climbing Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004441 surface measurement Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- -1 snow Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3811—Point data, e.g. Point of Interest [POI]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
- G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
【課題】表面特徴検出および横断のためのシステムおよび方法の提供。【解決手段】本教示の実質的に不連続な表面特徴横断特徴は、実質的に不連続な表面特徴等の特徴を含み得る環境内でナビゲートするために、輸送デバイス101、例えば、限定ではないが、自律的デバイスまたは半自律的デバイスを活用することができる。実質的に不連続な表面特徴横断特徴は、輸送デバイス101が、拡張された種々の表面上を進行することを可能にすることができる。特に、実質的に不連続な表面特徴は、輸送デバイス101が、実質的に不連続な表面特徴の進入および退出中に輸送デバイス101の性能を自動的に維持し得るように、正確に識別および標識化されることができる。【選択図】図1
Description
(関連出願の相互参照)
本実用特許出願は、参照することによってその全体として本明細書に組み込まれる2019年2月25日に出願され、「System and Method for Surface Feature Detection and Traversal」と題された米国仮特許出願第62/809,973号(弁理士整理番号第Z26号)、2019年5月22日に出願され、「System and Method for Surface Feature Traversal」と題された米国仮特許出願第62/851,266号(弁理士整理番号第Z81号)、および2019年5月23日に出願され、「System and Method for Surface Feature Traversal」と題された、米国仮特許出願第62/851,266号(弁理士整理番号第Z88号)の優先権を主張する。
本実用特許出願は、参照することによってその全体として本明細書に組み込まれる2019年2月25日に出願され、「System and Method for Surface Feature Detection and Traversal」と題された米国仮特許出願第62/809,973号(弁理士整理番号第Z26号)、2019年5月22日に出願され、「System and Method for Surface Feature Traversal」と題された米国仮特許出願第62/851,266号(弁理士整理番号第Z81号)、および2019年5月23日に出願され、「System and Method for Surface Feature Traversal」と題された、米国仮特許出願第62/851,266号(弁理士整理番号第Z88号)の優先権を主張する。
本教示は、概して、表面特徴検出および横断に関する。表面特徴横断は、表面特徴、例えば、限定ではないが、実質的に不連続な表面特徴(SDSF)が、異種の形態の中に見出され得、その形態が、具体的地理に独特であり得るので、課題となる。しかしながら、例えば、限定ではないが、傾斜、縁、縁石、段差、および縁石様幾何学形状等(本明細書では、非限定的方法で、SDSFまたは単純に表面特徴と称される)等のSDSFは、それらの識別を補助し得るいくつかの典型的な特性を含むことができる。
自律的輸送を含む、例えば、人々および貨物を輸送するための広い範囲のデバイスおよび方法が、公知である。これらのデバイスの設計は、いくつかの異なる方法で不均一な走行表面に対処している。しかしながら、欠けているものは、SDSF識別に関するいくつかの基準に関連付けられるマルチパートモデルに基づいてSDSFの位置を特定する能力である。また、欠けているものは、位置特定されたSDSF軌道と、ルート形態を形成し得るグラフ化多角形との統合である。なおもさらに、候補表面特徴横断の決定は、候補横断アプローチ角度、候補表面特徴の両側上の候補横断走行表面、および候補横断経路障害物等の基準に依拠していない。
本教示のSDSF横断は、SDSF等の特徴を含み得る環境内でナビゲートするために、輸送デバイス(TD)、例えば、限定ではないが、自律的デバイスまたは半自律的デバイスを活用することができる。SDSF横断特徴は、TDが、拡張された種々の表面上を進行することを可能にすることができる。特に、SDSFは、TDが、SDSFの横断の間にその性能を自動的に維持し得るように、正確に識別されることができる。いくつかの構成では、SDSFは、その寸法によって識別されることができる。例えば、縁石は、限定ではないが、約0.6~0.7mの幅を含むことができる。いくつかの構成では、点群データが、SDSFの位置を特定するために処理されることができ、それらのデータは、始点から目的地までのTDのための経路を準備するために使用されることができる。TDが、経路を進行している間、いくつかの構成では、SDSF横断は、TDのセンサベースの位置付けを通して適応されることができる。
いくつかの構成では、TDによって遭遇される少なくとも1つのSDSFをナビゲートするための本教示の方法であって、TDは、表面上の経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、方法は、限定ではないが、表面を表す点群データにアクセスすることと、点群データをフィルタリングすることと、フィルタリングされた点群データを処理可能部分に形成することと、処理可能部分を少なくとも1つの凹多角形に併合することとを含むことができる。方法は、少なくとも1つの凹多角形内の少なくとも1つのSDSFの位置を特定し、それらを標識化することを含むことができる。位置を特定し、標識化することは、標識化された点群データを形成することができる。方法は、少なくとも、少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することと、少なくともグラフ化多角形に基づいて、開始点から終了点までの経路を選定することとを含むことができる。TDは、経路に沿って少なくとも1つのSDSFを横断することができる。
点群データをフィルタリングすることは、随意に、点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含むことができる。処理部分を形成することは、随意に、点群データを処理可能部分に分割することと、処理可能部分から事前選択された高さの点を除去することとを含むことができる。処理可能部分を併合することは、随意に、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小されたサイズの処理可能部分からの領域を拡大することと、拡大された領域から初期走行可能表面を決定することと、初期走行可能表面を分割およびメッシュ化することと、分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、少なくとも多角形に基づいて、走行可能表面を設定することとを含むことができる。少なくとも1つのSDSF特徴の位置を特定し、それらを標識化することは、随意に、SDSFフィルタに従って、走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、カテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することとを含むことができる。方法は、随意に、少なくとも、複数の少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含むことができる。グラフ化多角形を作成することはさらに、随意に、少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することを含むことができる。少なくとも1つの凸多角形は、縁を含むことができる。グラフ化多角形を作成することは、縁を平滑化することと、平滑化された縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から縁を除去することとを含むことができる。縁の平滑化は、随意に、縁を外側へトリミングすることを含むことができる。平滑化された縁の走行マージンを形成することは、随意に、外側縁を内側へトリミングすることを含むことができる。
いくつかの構成では、TDによって遭遇される少なくとも1つのSDSFをナビゲートするための本教示のシステムであって、TDは、表面上の経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、本システムは、限定ではないが、表面を表す点群データにアクセスする第1のプロセッサと、点群データをフィルタリングする、第1のフィルタと、フィルタリングされた点群データから処理可能部分を形成する第2のプロセッサと、処理可能部分を少なくとも1つの凹多角形に併合する第3のプロセッサと、少なくとも1つの凹多角形内の少なくとも1つのSDSFの位置を特定し、それらを標識化する第4のプロセッサであって、位置を特定し、標識化することは、標識化された点群データを形成する、第4のプロセッサと、グラフ化多角形を作成する第5のプロセッサと、少なくともグラフ化多角形に基づいて、開始点から終了点までの経路を選定する、経路セレクタとを含むことができる。TDは、経路に沿って少なくとも1つのSDSFを横断することができる。
第1のフィルタは、随意に、限定ではないが、点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含み得る、実行可能コードを含むことができる。セグメンタは、随意に、限定ではないが、点群データを処理可能部分に分割することと、処理可能部分から事前選択された高さの点を除去することとを含み得る、実行可能コードを含むことができる。第3のプロセッサは、随意に、限定ではないが、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小されたサイズの処理可能部分からの領域を拡大することと、拡大された領域から初期走行可能表面を決定することと、初期走行可能表面を分割およびメッシュ化することと、分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、少なくとも多角形に基づいて、走行可能表面を設定することとを含み得る、実行可能コードを含むことができる。第4のプロセッサは、随意に、限定ではないが、SDSFフィルタに従って、走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、カテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することとを含み得る、実行可能コードを含むことができる。本システムは、随意に、限定ではないが、少なくとも、複数の少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含み得る、実行可能コードを含むことができる。
グラフ化多角形を作成することは、随意に、限定ではないが、少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、少なくとも1つの凸多角形は、縁を含む、ことと、縁を平滑化することと、平滑化された縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から縁を除去することとを含み得る、実行可能コードを含むことができる。縁を平滑化することは、随意に、限定ではないが、縁を外側へトリミングすること含み得る、実行可能コードを含むことができる。平滑化された縁の走行マージンを形成することは、随意に、限定ではないが、外側縁を内側へトリミングすることを含み得る、実行可能コードを含むことができる。
いくつかの構成では、TDによって遭遇される少なくとも1つのSDSFをナビゲートするための本教示の方法であって、TDは、表面上の経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、方法は、限定ではないが、ルート形態にアクセスすることを含むことができる。ルート形態は、フィルタリングされた点群データを含み得る、少なくとも1つのグラフ化多角形を含むことができる。点群データは、標識化された特徴と、走行可能マージンとを含むことができる。方法は、点群データをグローバル座標系に変換することと、少なくとも1つのSDSFの境界を決定することと、境界の周囲に事前選択されたサイズのSDSF緩衝を作成することと、少なくとも、少なくとも1つのSDSF横断基準に基づいて、少なくとも1つのSDSFのうちのどれが横断可能であるかを決定することと、少なくとも、少なくとも1つのSDSF横断基準、変換された点群データ、およびルート形態に基づいて、縁/重みグラフを作成することと、少なくとも縁/重みグラフに基づいて、開始点から目的地点までの経路を選定することとを含むことができる。
少なくとも1つのSDSF横断基準は、随意に、少なくとも1つのSDSFの事前選択された幅および少なくとも1つのSDSFの事前選択された平滑度と、走行可能表面を含む、少なくとも1つのSDSFとTDとの間の最小進入距離および最小退出距離と、TDによる少なくとも1つのSDSFへの約90°アプローチを適応させ得る、少なくとも1つのSDSFとTDとの間の最小進入距離とを含むことができる。
いくつかの構成では、TDによって遭遇される少なくとも1つのSDSFをナビゲートするための本教示のシステムであって、TDは、表面上の経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、本システムは、限定ではないが、ルート形態にアクセスする第6のプロセッサを含むことができる。ルート形態は、フィルタリングされた点群データを含み得る、少なくとも1つのグラフ化多角形を含むことができる。点群データは、標識化された特徴と、走行可能マージンとを含むことができる。本システムは、点群データをグローバルル座標系に変換する第7のプロセッサと、少なくとも1つのSDSFの境界を決定する第8のプロセッサとを含むことができる。第8のプロセッサは、境界の周囲に事前選択されたサイズのSDSF緩衝を作成することができる。本システムは、少なくとも、少なくとも1つのSDSF横断基準に基づいて、少なくとも1つのSDSFのうちのどれが横断可能であるかを決定する第9のプロセッサと、少なくとも、少なくとも1つのSDSF横断基準、変換された点群データ、およびルート形態に基づいて、縁/重みグラフを作成する第10のプロセッサと、少なくとも縁/重みグラフに基づいて、開始点から目的地点までの経路を選定する基部コントローラとを含むことができる。
いくつかの構成では、TDによって遭遇される少なくとも1つのSDSFをナビゲートするための本教示の方法であって、TDは、表面上の経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、方法は、限定ではないが、表面を表す点群データにアクセスすることを含むことができる。方法は、点群データをフィルタリングすることと、フィルタリングされた点群データを処理可能部分に形成することと、処理可能部分を少なくとも1つの凹多角形に併合することとを含むことができる。方法は、少なくとも1つの凹多角形内の少なくとも1つのSDSFの位置を特定し、それらを標識化することを含むことができる。位置を特定し、標識化することは、標識化された点群データを形成することができる。方法は、少なくとも、少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することを含むことができる。グラフ化多角形は、ルート形態を形成することができ、点群データは、標識化された特徴と、走行可能マージンとを含むことができる。方法は、点群データをグローバル座標系に変換することと、少なくとも1つのSDSFの境界を決定することと、境界の周囲に事前選択されたサイズのSDSF緩衝を作成することと、少なくとも、少なくとも1つのSDSF横断基準に基づいて、少なくとも1つのSDSFのうちのどれが横断可能であるかを決定することと、少なくとも、少なくとも1つのSDSF横断基準、変換された点群データ、およびルート形態に基づいて、縁/重みグラフを作成することと、少なくとも縁/重みグラフに基づいて、開始点から目的地点までの経路を選定することとを含むことができる。
点群データをフィルタリングすることは、随意に、点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含むことができる。処理部分を形成することは、随意に、点群データを処理可能部分に分割することと、処理可能部分から事前選択された高さの点を除去することとを含むことができる。処理可能部分を併合することは、随意に、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小されたサイズの処理可能部分からの領域を拡大することと、拡大された領域から初期走行可能表面を決定することと、初期走行可能表面を分割およびメッシュ化することと、分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、少なくとも多角形に基づいて、走行可能表面を設定することとを含むことができる。少なくとも1つのSDSFの位置を特定し、それらを標識化することは、随意に、SDSFフィルタに従って、走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、カテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することとを含むことができる。方法は、随意に、少なくとも、複数の少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含むことができる。グラフ化多角形を作成することはさらに、随意に、少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することを含むことができる。少なくとも1つの凸多角形は、縁を含むことができる。グラフ化多角形を作成することは、縁を平滑化することと、平滑化された縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から縁を除去することとを含むことができる。縁の平滑化は、随意に、縁を外側へトリミングすることを含むことができる。平滑化された縁の走行マージンを形成することは、随意に、外側縁を内側へトリミングすることを含むことができる。少なくとも1つのSDSF横断基準は、随意に、少なくとも1つのSDSFの事前選択された幅および少なくとも1つのSDSFの事前選択された平滑度と、走行可能表面を含む、少なくとも1つのSDSFとTDとの間の最小進入距離および最小退出距離と、TDによる少なくとも1つのSDSFへの約90°アプローチを適応させ得る、少なくとも1つのSDSFとTDとの間の最小進入距離とを含むことができる。
いくつかの構成では、TDによって遭遇される少なくとも1つのSDSFをナビゲートするための本教示のシステムであって、TDは、表面上の経路を進行し、表面は、少なくとも1つのSDSFを含み、経路は、開始点と、終了点とを含み、本システムは、限定ではないが、表面を表す点群データにアクセスする、点群アクセサと、点群データをフィルタリングする、第1のフィルタと、フィルタリングされた点群データから処理可能部分を形成する、セグメンタと、処理可能部分を少なくとも1つの凹多角形に併合する第3のプロセッサと、少なくとも1つの凹多角形内の少なくとも1つのSDSFの位置を特定し、それらを標識化する第4のプロセッサであって、位置を特定し、標識化することは、標識化された点群データを形成する、第4のプロセッサと、グラフ化多角形を作成する第5のプロセッサとを含むことができる。ルート形態は、フィルタリングされた点群データを含み得る、少なくとも1つのグラフ化多角形を含むことができる。点群データは、標識化された特徴と、走行可能マージンとを含むことができる。本システムは、点群データをグローバルル座標系に変換する第7のプロセッサと、少なくとも1つのSDSFの境界を決定する第8のプロセッサとを含むことができる。第8のプロセッサは、境界の周囲に事前選択されたサイズのSDSF緩衝を作成することができる。本システムは、少なくとも、少なくとも1つのSDSF横断基準に基づいて、少なくとも1つのSDSFのうちのどれが横断可能であるかを決定する第9のプロセッサと、少なくとも、少なくとも1つのSDSF横断基準、変換された点群データ、およびルート形態に基づいて、縁/重みグラフを作成する第10のプロセッサと、少なくとも縁/重みグラフに基づいて、開始点から目的地点までの経路を選定する基部コントローラとを含むことができる。
第1のフィルタは、随意に、限定ではないが、点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、事前選択された高さを有する除去された点を置換することとを含み得る、実行可能コードを含むことができる。セグメンタは、随意に、限定ではないが、点群データを処理可能部分に分割することと、処理可能部分から事前選択された高さの点を除去することとを含み得る、実行可能コードを含むことができる。第3のプロセッサは、随意に、限定ではないが、外れ値、ボクセル、および法線を分析することによって、処理可能部分のサイズを縮小することと、縮小されたサイズの処理可能部分からの領域を拡大することと、拡大された領域から初期走行可能表面を決定することと、初期走行可能表面を分割およびメッシュ化することと、分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、少なくとも多角形に基づいて、走行可能表面を設定することとを含み得る、実行可能コードを含むことができる。第4のプロセッサは、随意に、限定ではないが、SDSFフィルタに従って、走行可能表面の点群データをソートすることであって、SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、少なくとも、カテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することとを含み得る、実行可能コードを含むことができる。本システムは、随意に、限定ではないが、少なくとも、複数の少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含み得る、実行可能コードを含むことができる。
グラフ化多角形を作成することは、随意に、限定ではないが、少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、少なくとも1つの凸多角形は、縁を含む、ことと、縁を平滑化することと、平滑化された縁に基づいて、走行マージンを形成することと、少なくとも1つのSDSF軌道を少なくとも1つの走行可能表面に追加することと、少なくとも1つの第3の事前選択された基準に従って、少なくとも1つの走行可能表面から縁を除去することとを含み得る、実行可能コードを含むことができる。縁を平滑化することは、随意に、限定ではないが、縁を外側へトリミングすることを含み得る、実行可能コードを含むことができる。平滑化された縁の走行マージンを形成することは、随意に、限定ではないが、外側縁を内側へトリミングすることを含み得る、実行可能コードを含むことができる。
いくつかの構成では、少なくとも1つのSDSFを横断する目標点に向かって進行エリア内の経路線に沿って輸送デバイス(TD)をナビゲートするための本教示の方法であって、TDは、前縁と、後縁とを含み、方法は、限定ではないが、進行エリアに関するSDSF情報および障害物情報を受信することと、SDSF情報から少なくとも1つの候補SDSFを検出することと、少なくとも1つの選択基準に基づいて、少なくとも1つの候補SDSF線からSDSF線を選択することとを含むことができる。方法は、選択されたSDSF線の近傍の障害物情報において見出される少なくとも1つの障害物の少なくとも1つの場所に基づいて、選択されたSDSF線の少なくとも1つの横断可能部分を決定することと、横断可能部分に垂直な線に沿って進行するようにTDを方向転換することによって、少なくとも1つの横断可能部分のほうへTDを向け、第1の速度において動作させることと、進行方向と垂直線との間の関係に基づいて、TDの進行方向を常に補正することとを含むことができる。方法は、少なくとも進行方向およびTDと横断可能部分との間の距離に基づいて、TDの第1の速度を調節することによって、第2の速度においてTDを走行させることを含むことができる。少なくとも1つの横断可能部分に関連付けられたSDSFが、進行ルートの表面に対して高い場合、方法は、後縁に対して前縁を上昇させ、上昇の程度に従って第3の増加させられた速度においてTDを走行させることによって、SDSFを横断することと、TDがSDSFを通過するまで、第4の速度においてTDを走行させることとを含むことができる。
SDSF情報から少なくとも1つの候補SDSFを検出することは、随意に、(a)TDの場所と、目標点の場所とを包含する閉じた多角形を描くことと、(b)目標点とTDの場所との間に経路線を描くことと、(c)SDSF情報から2つのSDSF点を選択することであって、SDSF点は、多角形内に位置している、ことと、(d)2つの点の間にSDSF線を描くこととを含むことができる。少なくとも1つの候補SDSFを検出することは、(e)SDSF線の第1の事前選択された距離内に第1の事前選択された数より少ない点がある場合、およびSDSF点を選定することにおいて第2の事前選択された回数の試行を下回るものが、存在し、それらの間に線を描画し、SDSF線の周囲に第1の事前選択された数の点より少ないものを有する場合、ステップ(c)-(e)を繰り返すことを含むことができる。少なくとも1つの候補SDSFを検出することは、(f)第1の事前選択された数以上の点がある場合、SDSF線の第1の事前選択された距離内に含まれるSDSF点に曲線をフィッティングすることと、(g)曲線の第1の事前選択された距離内にあるSDSF点の第1の数が、SDSF線の第1の事前選択された距離内のSDSF点の第2の数を超える場合、および曲線が、経路線と交差する場合、および第2の事前選択された距離を超える曲線上のSDSF点の間の間隙がない場合、曲線をSDSF線として識別することとを含むことができる。少なくとも1つの候補SDSFを検出することは、(h)曲線の第1の事前選択された距離内にある点の数が、SDSF線の第1の事前選択された距離内の点の数を超えない場合、または曲線が、経路線と交差しない場合、または第2の事前選択された距離を超える曲線上のSDSF点の間の間隙が、存在する場合、およびSDSF線が、安定したままではない場合、およびステップ(f)-(h)が、第2の事前選択された回数より多く試行されていない場合、ステップ(f)-(h)を繰り返すことを含むことができる。
閉じた多角形は、随意に、事前選択された幅を含むことができ、事前選択された幅は、随意に、TDの幅寸法を含むことができる。SDSF点を選択することは、随意に、ランダム選択を含むことができる。少なくとも1つの選択基準は、随意に、曲線の第1の事前選択された距離内のSDSF点の第1の数がSDSF線の第1の事前選択された距離内のSDSF点の第2の数を超えることと、曲線が経路線と交差することと、第2の事前選択された距離を超える曲線上のSDSF点間の間隙が存在しないこととを含むことができる。
選択されたSDSFの少なくとも1つの横断可能部分を決定することは、随意に、障害物情報から複数の障害物点を選択することを含むことができる。複数の障害物点の各々は、障害物点が少なくとも1つの障害物に関連付けられている確率を含むことができる。少なくとも1つの横断可能部分を決定することは、確率が事前選択されたパーセントより高く、複数の障害物点のうちのいずれかが、SDSF線と目標点との間に位置している場合、および複数の障害物点のうちのいずれかが、SDSF線からの第3の事前選択された距離より近い場合、複数の障害物点をSDSF線に投影し、少なくとも1つの投影を形成することを含むことができる。少なくとも1つの横断可能部分を決定することは、随意に、少なくとも1つの投影のうちの少なくとも2つを互いに接続することと、SDSF線に沿って接続された少なくとも2つの投影の終点の位置を特定することと、接続された少なくとも2つの投影を非横断可能SDSF区分としてマーキングすることと、非横断可能区分の外側のSDSF線を少なくとも1つの横断可能区分としてマーキングすることとを含むことができる。
SDSFの少なくとも1つの横断可能部分を横断することは、随意に、横断可能部分に垂直な線に沿って進行するようにTDを方向転換し、横断可能部分のほうへTDを向け、第1の速度において動作させることと、進行方向と垂直線との間の関係に基づいて、TDの進行方向を常に補正することと、少なくとも進行方向およびTDと横断可能部分との間の距離に基づいて、TDの第1の速度を調節することによって、第2の速度においてTDを走行させることとを含むことができる。SDSFの少なくとも1つの横断可能部分を横断することは、随意に、SDSFが、進行ルートの表面に対して高い場合、後縁に対して前縁を上昇させ、上昇の程度に従って第3の増加させられた速度においてTDを走行させることによって、SDSFを横断することと、TDがSDSFを通過するまで、第4の速度においてTDを走行させることとを含むことができる。
SDSFの少なくとも1つの横断可能部分を横断することは、代替として、随意に、(a)進行方向誤差が、SDSF線に垂直な線に対して第3の事前選択された量を下回る場合、SDSF情報の更新を無視し、事前選択された速度においてTDを走行させることと、(b)TDの後部部分に対するTDの前部部分の上昇が、第6の事前選択された量と第5の事前選択された量との間である場合、TDを前方に走行させ、TDの速度を上昇の程度に従って第8の事前選択された速度まで増加させることと、(c)前部部分が、後部部分に対して第6の事前選択された量を下回って上昇される場合、第7の事前選択された速度においてTDを前方に走行させることと、(d)後部部分が、SDSF線からの第5の事前選択された距離を下回る、またはそれに等しい場合、ステップ(a)-(d)を繰り返すこととを含むことができる。
いくつかの構成では、SDSFおよびTDの車輪は、システム不安定性を回避するために、自動的に整合されることができる。自動的整合は、例えば、限定ではないが、TDがSDSFに接近する際、TDの進行方向を連続的に試験および補正することによって実装されることができる。本教示のSDSF横断特徴の別の側面は、SDSF横断特徴が、横断を試行する前に十分な自由空間がSDSFの周囲に存在することを自動的に確認することである。本教示のSDSF横断特徴のまた別の側面は、様々な幾何学形状のSDSFを横断することが可能であることである。幾何学形状は、例えば、限定ではないが、正方形および輪郭付きSDSFを含むことができる。SDSFに対するTDの配向は、TDが進む速度および方向を決定することができる。SDSF横断特徴は、SDSFの近傍のTDの速度を調節することができる。TDが、SDSFに上がるとき、速度は、SDSFを横断する際にTDを補助するために増加させられることができる。
本発明は、例えば、以下を提供する。
(項目1)
輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートする方法であって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記方法は、
前記表面を表す点群データにアクセスすることと、
前記点群データをフィルタリングすることと、
前記フィルタリングされた点群データを処理可能部分に形成することと、
前記処理可能部分を少なくとも1つの凹多角形に併合することと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFの位置を特定し、それらを標識化することであって、前記位置を特定し、標識化することは、標識化された点群データを形成する、ことと、
少なくとも、前記少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することと、
少なくとも前記グラフ化多角形に基づいて、前記開始点から前記終了点までの前記経路を選定することと
を含み、
前記TDは、前記経路に沿って前記少なくとも1つのSDSFを横断する、方法。
(項目2)
前記点群データをフィルタリングすることは、
前記点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含む、項目1に記載の方法。
(項目3)
処理部分を形成することは、
前記点群データを前記処理可能部分に分割することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む、項目1に記載の方法。
(項目4)
前記処理可能部分を併合することは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小されたサイズの処理可能部分からの領域を拡大することと、
前記拡大された領域から初期走行可能表面を決定することと、
前記初期走行可能表面を分割およびメッシュ化することと、
前記分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む、項目1に記載の方法。
(項目5)
前記少なくとも1つのSDSFの位置を特定し、それらを標識化することは、
SDSFフィルタに従って、前記走行可能表面の前記点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することと
を含む、項目4に記載の方法。
(項目6)
少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することをさらに含む、項目5に記載の方法。
(項目7)
前記グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、前記少なくとも1つの凸多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
をさらに含む、項目6に記載の方法。
(項目8)
前記外縁の平滑化は、前記外縁を外側へトリミングし、外側縁を形成することを含む、項目8に記載の方法。
(項目9)
前記平滑化された外縁の前記走行マージンを形成することは、前記外側縁を内側へトリミングすることを含む、項目7に記載の方法。
(項目10)
TDによって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートするためのシステムであって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記システムは、
センサと、
マッププロセッサと、
電力基部と、
デバイスコントローラと
を備え、
前記デバイスコントローラは、
前記表面を表す点群データにアクセスする第1のプロセッサと、
前記点群データをフィルタリングするフィルタと、
前記フィルタリングされた点群データから処理可能部分を形成する第2のプロセッサと、
前記処理可能部分を少なくとも1つの凹多角形に併合する第3のプロセッサと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFの位置を特定し、それらを標識化する第4のプロセッサであって、前記位置を特定し、標識化することは、標識化された点群データを形成する、第4のプロセッサと、
グラフ化多角形を作成する第5のプロセッサと、
少なくとも前記グラフ化多角形に基づいて、前記開始点から前記終了点までの前記経路を選定する第6のプロセッサと
を含み、
前記TDは、前記経路に沿って前記少なくとも1つのSDSFを横断する、システム。(項目11)
前記フィルタは、第7のプロセッサを備え、前記第7のプロセッサは、
前記点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含むコードを実行する、項目10に記載のシステム。
(項目12)
前記第2のプロセッサは、
前記点群データを前記処理可能部分に分割することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む実行可能コードを含む、項目10に記載のシステム。
(項目13)
前記第3のプロセッサは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小されたサイズの処理可能部分からの領域を拡大することと、
前記拡大された領域から初期走行可能表面を決定することと、
前記初期走行可能表面を分割およびメッシュ化することと、
前記分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む実行可能コードを含む、項目10に記載のシステム。
(項目14)
前記第4のプロセッサは、
SDSFフィルタに従って、前記走行可能表面の前記点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することと
を含む実行可能コードを含む、項目13に記載のシステム。
(項目15)
前記第4のプロセッサは、少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含む実行可能コードを含む、項目14に記載のシステム。
(項目16)
グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、前記少なくとも1つの凸多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
を含む実行可能コードを第8のプロセッサを含むことを含む、項目13に記載のシステム。
(項目17)
前記外縁を平滑化することは、前記外縁を外側へトリミングし、外側縁を形成することを含む実行可能コードを第9のプロセッサが含むことを含む、項目16に記載のシステム。
(項目18)
前記平滑化された外縁の前記走行マージンを形成することは、前記外側縁を内側へトリミングすることを含む実行可能コードを第10のプロセッサが含むことを含む、項目17に記載のシステム。
(項目19)
輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートする方法であって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記方法は、
ルート形態にアクセスすることであって、前記ルート形態は、フィルタリングされた点群データを含む少なくとも1つのグラフ化多角形を含み、前記フィルタリングされた点群データは、標識化された特徴を含み、前記点群データは、走行可能マージンを含む、ことと、
前記点群データをグローバル座標系に変換することと、
前記少なくとも1つの実質的に不連続な表面特徴(SDSF)の境界を決定することと、
前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成することと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定することと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成することと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定することと
を含む、方法。
(項目20)
前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、項目19に記載の方法。
(項目21)
輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートするためのシステムであって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、前記システムは、
ルート形態にアクセスする第1のプロセッサであって、前記ルート形態は、フィルタリングされた点群データを含む少なくとも1つのグラフ化多角形を含み、前記フィルタリングされた点群データは、標識化された特徴を含み、前記点群データは、走行可能マージンを含む、第1のプロセッサと、
前記点群データをグローバル座標系に変換する第2のプロセッサと、
前記少なくとも1つのSDSFの境界を決定する第3のプロセッサであって、前記第3のプロセッサは、前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成する、第3のプロセッサと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定する第4のプロセッサと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成する第5のプロセッサと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定する基部コントローラと
を備えている、システム。
(項目22)
前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、項目21に記載のシステム。
(項目23)
TDによって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートする方法であって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記方法は、
前記表面を表す点群データにアクセスすることと、
前記点群データをフィルタリングすることと、
前記フィルタリングされた点群データを処理可能部分に形成することと、
前記処理可能部分を少なくとも1つの凹多角形に併合することと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFの位置を特定し、それらを標識化することであって、前記位置を特定し、標識化することは、標識化された点群データを形成する、ことと、
少なくとも、前記少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することであって、前記グラフ化多角形は、ルート形態を形成する、ことと、
前記点群データをグローバル座標系に変換することと、
前記少なくとも1つのSDSFの境界を決定することと、
前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成することと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定することと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成することと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定することと
を含む、方法。
(項目24)
前記点群データをフィルタリングすることは、
前記点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含む、項目23に記載の方法。
(項目25)
処理部分を形成することは、
前記点群データを前記処理可能部分に分割することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む、項目23に記載の方法。
(項目26)
前記処理可能部分を併合することは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小されたサイズの処理可能部分からの領域を拡大することと、
前記拡大された領域から初期走行可能表面を決定することと、
前記初期走行可能表面を分割およびメッシュ化することと、
前記分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む、項目23に記載の方法。
(項目27)
前記少なくとも1つのSDSFの位置を特定し、それらを標識化することは、
SDSFフィルタに従って、前記走行可能表面の前記点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することと
を含む、項目26に記載の方法。
(項目28)
少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することをさらに含む、項目27に記載の方法。
(項目29)
グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、前記少なくとも1つの凸多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
をさらに含む、項目28に記載の方法。
(項目30)
前記外縁の平滑化は、前記外縁を外側へトリミングし、外側縁を形成することを含む、項目29に記載の方法。
(項目31)
前記平滑化された外縁の前記走行マージンを形成することは、前記外側縁を内側へトリミングすることを含む、項目30に記載の方法。
(項目32)
前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、項目23に記載の方法。
(項目33)
輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートするためのシステムであって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記システムは、
前記表面を表す点群データにアクセスする第1のプロセッサと、
前記点群データをフィルタリングする第1のフィルタと、
前記フィルタリングされた点群データから処理可能部分を形成する第2のプロセッサと、
前記処理可能部分を少なくとも1つの凹多角形に併合する第3のプロセッサと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFの位置を特定し、それらを標識化する第4のプロセッサであって、前記位置を特定し、標識化することは、標識化された点群データを形成する、第4のプロセッサと、
グラフ化多角形を作成する第5のプロセッサと、
ルート形態にアクセスする第6のプロセッサであって、前記ルート形態は、フィルタリングされた点群データを含む少なくとも1つのグラフ化多角形を含み、前記フィルタリングされた点群データは、標識化された特徴を含み、前記点群データは、走行可能マージンを含む、第6のプロセッサと、
前記点群データをグローバルル座標系に変換する第7のプロセッサと、
前記少なくとも1つのSDSFの境界を決定する第8のプロセッサであって、前記第8のプロセッサは、前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成する、第8のプロセッサと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定する第9のプロセッサと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成する第10のプロセッサと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定する基部コントローラと
を備えている、システム。
(項目34)
前記第1のフィルタは、
前記点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含む実行可能コードを含む、項目33に記載のシステム。
(項目35)
前記第2のプロセッサは、
前記点群データを前記処理可能部分に分割することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む実行可能コードを含む、項目33に記載のシステム。
(項目36)
前記第3のプロセッサは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小されたサイズの処理可能部分からの領域を拡大することと、
前記拡大された領域から初期走行可能表面を決定することと、
前記初期走行可能表面を分割およびメッシュ化することと、
前記分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む実行可能コードを含む、項目33に記載のシステム。
(項目37)
前記第4のプロセッサは、
SDSFフィルタに従って、前記走行可能表面の前記点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することと
を含む実行可能コードを含む、項目36に記載のシステム。
(項目38)
少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含む実行可能コードを含む、項目37に記載のシステム。
(項目39)
グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、前記少なくとも1つの凸多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
を含む実行可能コードを含む、項目38に記載のシステム。
(項目40)
前記外縁の平滑化は、前記外縁を外側へトリミングし、外側縁を形成することを含む実行可能コードを含む、項目39に記載のシステム。
(項目41)
前記平滑化された外縁の前記走行マージンを形成することは、前記外側縁を内側へトリミングすることを含む実行可能コードを含む、項目40に記載のシステム。
(項目42)
前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、項目33に記載のシステム。
(項目43)
少なくとも1つの実質的に不連続な表面特徴(SDSF)を横断する目標点に向かって進行エリア内の経路線に沿って輸送デバイス(TD)をナビゲートする方法であって、前記TDは、前縁と、後縁とを含み、前記SDSFは、SDSF点を含み、
前記方法は、
前記進行エリアに関するSDSF情報および障害物情報を受信することと、
前記SDSF情報から少なくとも1つの候補SDSFを検出することと、
少なくとも1つの選択基準に基づいて、前記少なくとも1つの候補SDSFからSDSF線を選択することと、
前記選択されたSDSF線の近傍の前記障害物情報において見出される少なくとも1つの障害物の少なくとも1つの場所に基づいて、前記選択されたSDSF線の少なくとも1つの横断可能部分を決定することと、
前記少なくとも1つの横断可能部分に垂直な進行経路に沿って進行するように前記TDを方向転換することによって、前記少なくとも1つの横断可能部分のほうへ前記TDを向け、第1の速度において動作させることと、
進行方向と前記進行経路との間の関係に基づいて、前記TDの進行方向を常に補正することと、
少なくとも前記進行方向および前記TDと前記少なくとも1つの横断可能部分との間の距離に基づいて、前記TDの第1の速度を調節することによって、第2の速度において前記TDを走行させることと、
前記少なくとも1つの横断可能部分に関連付けられたSDSFが、前記進行エリアの表面に対して高い場合、前記後縁に対して前記前縁を上昇させ、上昇の程度に従って第3の増加させられた速度において前記TDを走行させることによって、前記SDSFを横断することと、
前記TDが前記SDSFを通過するまで、第4の速度において前記TDを走行させることと
を含む、方法。
(項目44)
前記SDSF情報から少なくとも1つの候補SDSFを検出することは、
(a)前記TDのTD場所と前記目標点の目標点場所とを包含する閉じた多角形を描くことと、
(b)前記目標点場所と前記TD場所との間に直線を描くことと、
(c)前記SDSF情報から前記SDSF点のうちの2つを選択することであって、前記2つのSDSF点は、前記閉じた多角形内に位置している、ことと、
(d)前記2つのSDSF点間にSDSF線を描くことと、
(e)前記SDSF線の前記第1の事前選択された距離内に第1の事前選択された数より少ない点がある場合、かつ、前記SDSF点を選定することにおいて第2の事前選択された回数より少ない試行がなされている場合、ステップ(c)-(e)を繰り返すことと、
(f)前記第1の事前選択された数以上の点がある場合、前記SDSF線の前記第1の事前選択された距離内に含まれる前記SDSF点に曲線をフィッティングすることと、
(g)前記曲線の前記第1の事前選択された距離内にある前記SDSF点の第1の数が、前記SDSF線の前記第1の事前選択された距離内の前記SDSF点の第2の数を超える場合、かつ、前記曲線が前記直線と交差する場合、かつ、第2の事前選択された距離を超える前記曲線上の前記SDSF点間の間隙がない場合、前記曲線を前記SDSF線として識別することと、
(h)前記曲線の前記第1の事前選択された距離内にある点の第1の数が、前記SDSF線の前記第1の事前選択された距離内の点の第2の数を超えない場合、または、前記曲線が前記直線と交差しない場合、または、前記第2の事前選択された距離を超える前記曲線上の前記SDSF点間の間隙がある場合、かつ、前記SDSF線が、安定したままではない場合、かつ、ステップ(f)-(h)が前記第2の事前選択された回数より多く試行されていない場合、ステップ(f)-(h)を繰り返すことと
を含む、項目43に記載の方法。
(項目45)
前記閉じた多角形は、事前選択された幅を含むことができる、項目44に記載の方法。(項目46)
前記事前選択された幅は、前記TDの幅寸法を備えている、項目45に記載の方法。
(項目47)
前記SDSF点を選択することは、ランダム選択を含む、項目44に記載の方法。
(項目48)
前記少なくとも1つの選択基準は、
前記曲線の前記第1の事前選択された距離内の前記SDSF点の第1の数が前記SDSF線の前記第1の事前選択された距離内のSDSF点の第2の数を超えることと、
前記曲線が前記直線と交差することと、
前記曲線上の前記SDSF点間の間隙が第2の事前選択された距離を超えないことと
を備えている、項目44に記載の方法。
(項目49)
前記選択されたSDSFの少なくとも1つの横断可能部分を決定することは、
前記障害物情報から複数の障害物点を選択することであって、前記複数の障害物点の各々は、前記複数の障害物点の各々が前記少なくとも1つの障害物に関連付けられている確率を含む、ことと、
前記確率が事前選択されたパーセントより高く、前記複数の障害物点のうちのいずれかが前記SDSF線と前記目標点との間に位置している場合、および前記複数の障害物点のうちのいずれかが前記SDSF線から第3の事前選択された距離より近い場合、前記複数の障害物点を前記SDSF線に投影し、少なくとも1つの投影を形成することと、
前記少なくとも1つの投影のうちの少なくとも2つを互いに接続することと、
前記SDSF線に沿って前記接続された少なくとも2つの投影の終点の位置を特定することと、
前記接続された少なくとも2つの投影を非横断可能区分としてマーキングすることと、
前記非横断可能区分の外側の前記SDSF線を少なくとも1つの横断可能区分としてマーキングすることと
を含む、項目43に記載の方法。
(項目50)
ある姿勢を有するロボットによって受信されたカメラ画像から特徴の位置を特定する方法であって、前記方法は、
前記ロボット上に搭載されたセンサから前記カメラ画像を受信することであって、前記カメラ画像の各々は、画像タイムスタンプを含み、前記カメラ画像の各々は、画像色ピクセルと画像深度ピクセルとを有する、ことと、
前記ロボットの前記姿勢を受信することであって、前記姿勢は、姿勢タイムスタンプを有する、ことと、
前記姿勢タイムスタンプに最も近い画像タイムスタンプを有する前記カメラ画像のうちの1つを識別することによって、選択されたカメラ画像を決定することと、
前記選択されたカメラ画像において前記画像深度ピクセルから前記画像色ピクセルを分離することと、
前記画像色ピクセルを第1の機械学習モデルに提供し、前記画像深度ピクセルを第2の機械学習モデルに提供することによって、前記選択されたカメラ画像に関する画像表面分類を決定することと、
前記選択されたカメラ画像における特徴の外周点を決定することであって、前記特徴は、前記外周点によって定義される外周内の特徴ピクセルを含み、前記特徴ピクセルの各々は、同じ表面分類を有し、前記外周点の各々は、座標の組を有する、ことと、
前記座標の組の各々をUTM座標に変換することと
を含む、方法。
(項目51)
マップ内に少なくとも1つの実質的に不連続な表面特徴(SDSF)を含める方法であって、前記マップは、輸送デバイスによって使用され、前記輸送デバイスは、前記少なくとも1つのSDSFを横断し、前記方法は、
点群データセットから過渡的なデータを除去することであって、前記除去することは、処理された点群データを形成する、ことと、
前記処理された点群データを事前選択された数の点を有する区分に分割することと、
前記分割された処理された点群データから点を除去することであって、前記除去された点は、事前選択された高さ値を有し、前記除去することは、分割された点群データを形成する、ことと、
前記分割された点群データから、事前選択されたサイズを有する凹多角形を発生させることと、
前記凹多角形内の点を事前選択された数のカテゴリに編成することと、
第1の事前選択された基準を前記カテゴリに適用し、フィルタリングされたカテゴリを形成することと、
前記フィルタリングされたカテゴリを平均化することと、
前記平均化されたフィルタリングされたカテゴリを一緒に接続し、前記少なくとも1つのSDSFを形成することと、
前記凹多角形を前記少なくとも1つのSDSFと組み合わせ、併合された多角形を形成することと、
第2の事前選択された基準に従って、前記併合された多角形をフィルタリングすることと、
前記マップを前記輸送デバイスに提供することと
を含む、方法。
(項目52)
前記凹多角形内の点を上側ドーナツ点、下側ドーナツ点、および円筒点としてカテゴリ化することをさらに含む、項目51に記載の方法。
本発明は、例えば、以下を提供する。
(項目1)
輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートする方法であって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記方法は、
前記表面を表す点群データにアクセスすることと、
前記点群データをフィルタリングすることと、
前記フィルタリングされた点群データを処理可能部分に形成することと、
前記処理可能部分を少なくとも1つの凹多角形に併合することと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFの位置を特定し、それらを標識化することであって、前記位置を特定し、標識化することは、標識化された点群データを形成する、ことと、
少なくとも、前記少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することと、
少なくとも前記グラフ化多角形に基づいて、前記開始点から前記終了点までの前記経路を選定することと
を含み、
前記TDは、前記経路に沿って前記少なくとも1つのSDSFを横断する、方法。
(項目2)
前記点群データをフィルタリングすることは、
前記点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含む、項目1に記載の方法。
(項目3)
処理部分を形成することは、
前記点群データを前記処理可能部分に分割することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む、項目1に記載の方法。
(項目4)
前記処理可能部分を併合することは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小されたサイズの処理可能部分からの領域を拡大することと、
前記拡大された領域から初期走行可能表面を決定することと、
前記初期走行可能表面を分割およびメッシュ化することと、
前記分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む、項目1に記載の方法。
(項目5)
前記少なくとも1つのSDSFの位置を特定し、それらを標識化することは、
SDSFフィルタに従って、前記走行可能表面の前記点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することと
を含む、項目4に記載の方法。
(項目6)
少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することをさらに含む、項目5に記載の方法。
(項目7)
前記グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、前記少なくとも1つの凸多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
をさらに含む、項目6に記載の方法。
(項目8)
前記外縁の平滑化は、前記外縁を外側へトリミングし、外側縁を形成することを含む、項目8に記載の方法。
(項目9)
前記平滑化された外縁の前記走行マージンを形成することは、前記外側縁を内側へトリミングすることを含む、項目7に記載の方法。
(項目10)
TDによって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートするためのシステムであって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記システムは、
センサと、
マッププロセッサと、
電力基部と、
デバイスコントローラと
を備え、
前記デバイスコントローラは、
前記表面を表す点群データにアクセスする第1のプロセッサと、
前記点群データをフィルタリングするフィルタと、
前記フィルタリングされた点群データから処理可能部分を形成する第2のプロセッサと、
前記処理可能部分を少なくとも1つの凹多角形に併合する第3のプロセッサと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFの位置を特定し、それらを標識化する第4のプロセッサであって、前記位置を特定し、標識化することは、標識化された点群データを形成する、第4のプロセッサと、
グラフ化多角形を作成する第5のプロセッサと、
少なくとも前記グラフ化多角形に基づいて、前記開始点から前記終了点までの前記経路を選定する第6のプロセッサと
を含み、
前記TDは、前記経路に沿って前記少なくとも1つのSDSFを横断する、システム。(項目11)
前記フィルタは、第7のプロセッサを備え、前記第7のプロセッサは、
前記点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含むコードを実行する、項目10に記載のシステム。
(項目12)
前記第2のプロセッサは、
前記点群データを前記処理可能部分に分割することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む実行可能コードを含む、項目10に記載のシステム。
(項目13)
前記第3のプロセッサは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小されたサイズの処理可能部分からの領域を拡大することと、
前記拡大された領域から初期走行可能表面を決定することと、
前記初期走行可能表面を分割およびメッシュ化することと、
前記分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む実行可能コードを含む、項目10に記載のシステム。
(項目14)
前記第4のプロセッサは、
SDSFフィルタに従って、前記走行可能表面の前記点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することと
を含む実行可能コードを含む、項目13に記載のシステム。
(項目15)
前記第4のプロセッサは、少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含む実行可能コードを含む、項目14に記載のシステム。
(項目16)
グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、前記少なくとも1つの凸多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
を含む実行可能コードを第8のプロセッサを含むことを含む、項目13に記載のシステム。
(項目17)
前記外縁を平滑化することは、前記外縁を外側へトリミングし、外側縁を形成することを含む実行可能コードを第9のプロセッサが含むことを含む、項目16に記載のシステム。
(項目18)
前記平滑化された外縁の前記走行マージンを形成することは、前記外側縁を内側へトリミングすることを含む実行可能コードを第10のプロセッサが含むことを含む、項目17に記載のシステム。
(項目19)
輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートする方法であって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記方法は、
ルート形態にアクセスすることであって、前記ルート形態は、フィルタリングされた点群データを含む少なくとも1つのグラフ化多角形を含み、前記フィルタリングされた点群データは、標識化された特徴を含み、前記点群データは、走行可能マージンを含む、ことと、
前記点群データをグローバル座標系に変換することと、
前記少なくとも1つの実質的に不連続な表面特徴(SDSF)の境界を決定することと、
前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成することと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定することと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成することと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定することと
を含む、方法。
(項目20)
前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、項目19に記載の方法。
(項目21)
輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートするためのシステムであって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、前記システムは、
ルート形態にアクセスする第1のプロセッサであって、前記ルート形態は、フィルタリングされた点群データを含む少なくとも1つのグラフ化多角形を含み、前記フィルタリングされた点群データは、標識化された特徴を含み、前記点群データは、走行可能マージンを含む、第1のプロセッサと、
前記点群データをグローバル座標系に変換する第2のプロセッサと、
前記少なくとも1つのSDSFの境界を決定する第3のプロセッサであって、前記第3のプロセッサは、前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成する、第3のプロセッサと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定する第4のプロセッサと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成する第5のプロセッサと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定する基部コントローラと
を備えている、システム。
(項目22)
前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、項目21に記載のシステム。
(項目23)
TDによって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートする方法であって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記方法は、
前記表面を表す点群データにアクセスすることと、
前記点群データをフィルタリングすることと、
前記フィルタリングされた点群データを処理可能部分に形成することと、
前記処理可能部分を少なくとも1つの凹多角形に併合することと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFの位置を特定し、それらを標識化することであって、前記位置を特定し、標識化することは、標識化された点群データを形成する、ことと、
少なくとも、前記少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することであって、前記グラフ化多角形は、ルート形態を形成する、ことと、
前記点群データをグローバル座標系に変換することと、
前記少なくとも1つのSDSFの境界を決定することと、
前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成することと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定することと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成することと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定することと
を含む、方法。
(項目24)
前記点群データをフィルタリングすることは、
前記点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含む、項目23に記載の方法。
(項目25)
処理部分を形成することは、
前記点群データを前記処理可能部分に分割することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む、項目23に記載の方法。
(項目26)
前記処理可能部分を併合することは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小されたサイズの処理可能部分からの領域を拡大することと、
前記拡大された領域から初期走行可能表面を決定することと、
前記初期走行可能表面を分割およびメッシュ化することと、
前記分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む、項目23に記載の方法。
(項目27)
前記少なくとも1つのSDSFの位置を特定し、それらを標識化することは、
SDSFフィルタに従って、前記走行可能表面の前記点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することと
を含む、項目26に記載の方法。
(項目28)
少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することをさらに含む、項目27に記載の方法。
(項目29)
グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、前記少なくとも1つの凸多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
をさらに含む、項目28に記載の方法。
(項目30)
前記外縁の平滑化は、前記外縁を外側へトリミングし、外側縁を形成することを含む、項目29に記載の方法。
(項目31)
前記平滑化された外縁の前記走行マージンを形成することは、前記外側縁を内側へトリミングすることを含む、項目30に記載の方法。
(項目32)
前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、項目23に記載の方法。
(項目33)
輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートするためのシステムであって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記システムは、
前記表面を表す点群データにアクセスする第1のプロセッサと、
前記点群データをフィルタリングする第1のフィルタと、
前記フィルタリングされた点群データから処理可能部分を形成する第2のプロセッサと、
前記処理可能部分を少なくとも1つの凹多角形に併合する第3のプロセッサと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFの位置を特定し、それらを標識化する第4のプロセッサであって、前記位置を特定し、標識化することは、標識化された点群データを形成する、第4のプロセッサと、
グラフ化多角形を作成する第5のプロセッサと、
ルート形態にアクセスする第6のプロセッサであって、前記ルート形態は、フィルタリングされた点群データを含む少なくとも1つのグラフ化多角形を含み、前記フィルタリングされた点群データは、標識化された特徴を含み、前記点群データは、走行可能マージンを含む、第6のプロセッサと、
前記点群データをグローバルル座標系に変換する第7のプロセッサと、
前記少なくとも1つのSDSFの境界を決定する第8のプロセッサであって、前記第8のプロセッサは、前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成する、第8のプロセッサと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定する第9のプロセッサと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成する第10のプロセッサと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定する基部コントローラと
を備えている、システム。
(項目34)
前記第1のフィルタは、
前記点群データから過渡的な物体を表す点および外れ値を表す点を条件付きで除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含む実行可能コードを含む、項目33に記載のシステム。
(項目35)
前記第2のプロセッサは、
前記点群データを前記処理可能部分に分割することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む実行可能コードを含む、項目33に記載のシステム。
(項目36)
前記第3のプロセッサは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小されたサイズの処理可能部分からの領域を拡大することと、
前記拡大された領域から初期走行可能表面を決定することと、
前記初期走行可能表面を分割およびメッシュ化することと、
前記分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む実行可能コードを含む、項目33に記載のシステム。
(項目37)
前記第4のプロセッサは、
SDSFフィルタに従って、前記走行可能表面の前記点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することと
を含む実行可能コードを含む、項目36に記載のシステム。
(項目38)
少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含む実行可能コードを含む、項目37に記載のシステム。
(項目39)
グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、前記少なくとも1つの凸多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
を含む実行可能コードを含む、項目38に記載のシステム。
(項目40)
前記外縁の平滑化は、前記外縁を外側へトリミングし、外側縁を形成することを含む実行可能コードを含む、項目39に記載のシステム。
(項目41)
前記平滑化された外縁の前記走行マージンを形成することは、前記外側縁を内側へトリミングすることを含む実行可能コードを含む、項目40に記載のシステム。
(項目42)
前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、項目33に記載のシステム。
(項目43)
少なくとも1つの実質的に不連続な表面特徴(SDSF)を横断する目標点に向かって進行エリア内の経路線に沿って輸送デバイス(TD)をナビゲートする方法であって、前記TDは、前縁と、後縁とを含み、前記SDSFは、SDSF点を含み、
前記方法は、
前記進行エリアに関するSDSF情報および障害物情報を受信することと、
前記SDSF情報から少なくとも1つの候補SDSFを検出することと、
少なくとも1つの選択基準に基づいて、前記少なくとも1つの候補SDSFからSDSF線を選択することと、
前記選択されたSDSF線の近傍の前記障害物情報において見出される少なくとも1つの障害物の少なくとも1つの場所に基づいて、前記選択されたSDSF線の少なくとも1つの横断可能部分を決定することと、
前記少なくとも1つの横断可能部分に垂直な進行経路に沿って進行するように前記TDを方向転換することによって、前記少なくとも1つの横断可能部分のほうへ前記TDを向け、第1の速度において動作させることと、
進行方向と前記進行経路との間の関係に基づいて、前記TDの進行方向を常に補正することと、
少なくとも前記進行方向および前記TDと前記少なくとも1つの横断可能部分との間の距離に基づいて、前記TDの第1の速度を調節することによって、第2の速度において前記TDを走行させることと、
前記少なくとも1つの横断可能部分に関連付けられたSDSFが、前記進行エリアの表面に対して高い場合、前記後縁に対して前記前縁を上昇させ、上昇の程度に従って第3の増加させられた速度において前記TDを走行させることによって、前記SDSFを横断することと、
前記TDが前記SDSFを通過するまで、第4の速度において前記TDを走行させることと
を含む、方法。
(項目44)
前記SDSF情報から少なくとも1つの候補SDSFを検出することは、
(a)前記TDのTD場所と前記目標点の目標点場所とを包含する閉じた多角形を描くことと、
(b)前記目標点場所と前記TD場所との間に直線を描くことと、
(c)前記SDSF情報から前記SDSF点のうちの2つを選択することであって、前記2つのSDSF点は、前記閉じた多角形内に位置している、ことと、
(d)前記2つのSDSF点間にSDSF線を描くことと、
(e)前記SDSF線の前記第1の事前選択された距離内に第1の事前選択された数より少ない点がある場合、かつ、前記SDSF点を選定することにおいて第2の事前選択された回数より少ない試行がなされている場合、ステップ(c)-(e)を繰り返すことと、
(f)前記第1の事前選択された数以上の点がある場合、前記SDSF線の前記第1の事前選択された距離内に含まれる前記SDSF点に曲線をフィッティングすることと、
(g)前記曲線の前記第1の事前選択された距離内にある前記SDSF点の第1の数が、前記SDSF線の前記第1の事前選択された距離内の前記SDSF点の第2の数を超える場合、かつ、前記曲線が前記直線と交差する場合、かつ、第2の事前選択された距離を超える前記曲線上の前記SDSF点間の間隙がない場合、前記曲線を前記SDSF線として識別することと、
(h)前記曲線の前記第1の事前選択された距離内にある点の第1の数が、前記SDSF線の前記第1の事前選択された距離内の点の第2の数を超えない場合、または、前記曲線が前記直線と交差しない場合、または、前記第2の事前選択された距離を超える前記曲線上の前記SDSF点間の間隙がある場合、かつ、前記SDSF線が、安定したままではない場合、かつ、ステップ(f)-(h)が前記第2の事前選択された回数より多く試行されていない場合、ステップ(f)-(h)を繰り返すことと
を含む、項目43に記載の方法。
(項目45)
前記閉じた多角形は、事前選択された幅を含むことができる、項目44に記載の方法。(項目46)
前記事前選択された幅は、前記TDの幅寸法を備えている、項目45に記載の方法。
(項目47)
前記SDSF点を選択することは、ランダム選択を含む、項目44に記載の方法。
(項目48)
前記少なくとも1つの選択基準は、
前記曲線の前記第1の事前選択された距離内の前記SDSF点の第1の数が前記SDSF線の前記第1の事前選択された距離内のSDSF点の第2の数を超えることと、
前記曲線が前記直線と交差することと、
前記曲線上の前記SDSF点間の間隙が第2の事前選択された距離を超えないことと
を備えている、項目44に記載の方法。
(項目49)
前記選択されたSDSFの少なくとも1つの横断可能部分を決定することは、
前記障害物情報から複数の障害物点を選択することであって、前記複数の障害物点の各々は、前記複数の障害物点の各々が前記少なくとも1つの障害物に関連付けられている確率を含む、ことと、
前記確率が事前選択されたパーセントより高く、前記複数の障害物点のうちのいずれかが前記SDSF線と前記目標点との間に位置している場合、および前記複数の障害物点のうちのいずれかが前記SDSF線から第3の事前選択された距離より近い場合、前記複数の障害物点を前記SDSF線に投影し、少なくとも1つの投影を形成することと、
前記少なくとも1つの投影のうちの少なくとも2つを互いに接続することと、
前記SDSF線に沿って前記接続された少なくとも2つの投影の終点の位置を特定することと、
前記接続された少なくとも2つの投影を非横断可能区分としてマーキングすることと、
前記非横断可能区分の外側の前記SDSF線を少なくとも1つの横断可能区分としてマーキングすることと
を含む、項目43に記載の方法。
(項目50)
ある姿勢を有するロボットによって受信されたカメラ画像から特徴の位置を特定する方法であって、前記方法は、
前記ロボット上に搭載されたセンサから前記カメラ画像を受信することであって、前記カメラ画像の各々は、画像タイムスタンプを含み、前記カメラ画像の各々は、画像色ピクセルと画像深度ピクセルとを有する、ことと、
前記ロボットの前記姿勢を受信することであって、前記姿勢は、姿勢タイムスタンプを有する、ことと、
前記姿勢タイムスタンプに最も近い画像タイムスタンプを有する前記カメラ画像のうちの1つを識別することによって、選択されたカメラ画像を決定することと、
前記選択されたカメラ画像において前記画像深度ピクセルから前記画像色ピクセルを分離することと、
前記画像色ピクセルを第1の機械学習モデルに提供し、前記画像深度ピクセルを第2の機械学習モデルに提供することによって、前記選択されたカメラ画像に関する画像表面分類を決定することと、
前記選択されたカメラ画像における特徴の外周点を決定することであって、前記特徴は、前記外周点によって定義される外周内の特徴ピクセルを含み、前記特徴ピクセルの各々は、同じ表面分類を有し、前記外周点の各々は、座標の組を有する、ことと、
前記座標の組の各々をUTM座標に変換することと
を含む、方法。
(項目51)
マップ内に少なくとも1つの実質的に不連続な表面特徴(SDSF)を含める方法であって、前記マップは、輸送デバイスによって使用され、前記輸送デバイスは、前記少なくとも1つのSDSFを横断し、前記方法は、
点群データセットから過渡的なデータを除去することであって、前記除去することは、処理された点群データを形成する、ことと、
前記処理された点群データを事前選択された数の点を有する区分に分割することと、
前記分割された処理された点群データから点を除去することであって、前記除去された点は、事前選択された高さ値を有し、前記除去することは、分割された点群データを形成する、ことと、
前記分割された点群データから、事前選択されたサイズを有する凹多角形を発生させることと、
前記凹多角形内の点を事前選択された数のカテゴリに編成することと、
第1の事前選択された基準を前記カテゴリに適用し、フィルタリングされたカテゴリを形成することと、
前記フィルタリングされたカテゴリを平均化することと、
前記平均化されたフィルタリングされたカテゴリを一緒に接続し、前記少なくとも1つのSDSFを形成することと、
前記凹多角形を前記少なくとも1つのSDSFと組み合わせ、併合された多角形を形成することと、
第2の事前選択された基準に従って、前記併合された多角形をフィルタリングすることと、
前記マップを前記輸送デバイスに提供することと
を含む、方法。
(項目52)
前記凹多角形内の点を上側ドーナツ点、下側ドーナツ点、および円筒点としてカテゴリ化することをさらに含む、項目51に記載の方法。
本教示は、付随の図面とともに想定される、以下の説明を参照することによってより容易に理解されるであろう。
本教示のSDSF横断特徴は、SDSF等の特徴を含み得る環境内でナビゲートするために、TD、例えば、限定ではないが、自律的デバイスまたは半自律的デバイスを活用することができる。SDSF横断特徴は、TDが、拡張された種々の表面上を進行することを可能にすることができる。特に、SDSFは、TDが、SDSFの進入および退出の間にTDの性能を自動的に維持し得、TD速度、モード、および方向が、安全なSDSF横断のために制御され得るように、正確に識別および標識化されることができる。
ここで図1を参照すると、SDSFの横断を管理するためのシステム100は、TD101と、コアクラウドインフラストラクチャ103と、TDサービス105と、デバイスコントローラ111と、センサ701と、電力基部112とを含むことができる。TD101は、例えば、限定ではないが、商品および/または人々を、着信センサ情報によって修正されるように動的に決定される経路を辿って、起点から目的地に輸送することができる。TD101は、限定ではないが、自律モードを有するデバイス、完全に自律的に動作し得るデバイス、少なくとも部分的に遠隔で動作され得るデバイス、およびそれらの特徴の組み合わせを含み得るデバイスを含むことができる。TDサービス105は、特徴を含む走行可能表面情報をデバイスコントローラ111に提供することができる。デバイスコントローラ111は、少なくとも、例えば、限定ではないが、着信センサ情報および特徴横断要件に従って、走行可能表面情報を修正することができ、修正された走行可能表面情報に基づいて、TD101のための経路を選定することができる。デバイスコントローラ111は、電力基部112にコマンドを提示することができ、これは、速度、方向、および垂直移動コマンドを車輪モータおよびクラスタモータに提供するように電力基部112に指示し、コマンドは、TD101に、選定された経路を辿らせ、それに応じて、その貨物を上昇および降下させることができる。TDサービス105は、限定ではないが、記憶装置およびコンテンツ配信設備を含み得る、コアクラウドインフラストラクチャ103からのルート関連情報にアクセスすることができる。いくつかの構成では、コアクラウドインフラストラクチャ103は、例えば、限定ではないが、AMAZON WEB SERVICES(登録商標)、GOOGLE CLOUDTM、およびORACLE CLOUD(登録商標)等の商業用製品を含むことができる。
ここで図2を参照すると、本教示のデバイスコントローラ111(図1)およびマッププロセッサ104(図1)を含み得る例示的TDは、例えば、限定ではないが、2018年7月13日に出願され、「Mobility Device」と題された、米国特許出願第16/035,205号または2001年8月15日に出願され、「Control
System and Method」と題された、米国特許第6,571,892号(その両方は、参照することによってその全体として本明細書に組み込まれる)に完全に説明される、例えば、限定ではないが、電力基部等の電力基部アセンブリを含むことができる。例示的電力基部アセンブリは、本教示を限定するためではなく、代わりに、本教示の技術を実装する際に有用であり得る任意の電力基部アセンブリの特徴を明確にするために本明細書に説明される。例示的電力基部アセンブリは、随意に、電力基部112と、車輪クラスタアセンブリ21100と、ペイロードキャリア高さアセンブリ30068とを含むことができる。例示的電力基部アセンブリは、随意に、車輪21203と、車輪21203を上昇および降下させ得るクラスタ21100とを駆動するために、電気的および機械的動力を提供することができる。電力基部112は、本教示の実質的不連続表面横断を支援するために、クラスタアセンブリ21100の回転およびペイロードキャリア高さアセンブリ30068の昇降を制御することができる。他のそのようなデバイスも、本教示のSDSF検出および横断を適応させるために使用されることができる。
System and Method」と題された、米国特許第6,571,892号(その両方は、参照することによってその全体として本明細書に組み込まれる)に完全に説明される、例えば、限定ではないが、電力基部等の電力基部アセンブリを含むことができる。例示的電力基部アセンブリは、本教示を限定するためではなく、代わりに、本教示の技術を実装する際に有用であり得る任意の電力基部アセンブリの特徴を明確にするために本明細書に説明される。例示的電力基部アセンブリは、随意に、電力基部112と、車輪クラスタアセンブリ21100と、ペイロードキャリア高さアセンブリ30068とを含むことができる。例示的電力基部アセンブリは、随意に、車輪21203と、車輪21203を上昇および降下させ得るクラスタ21100とを駆動するために、電気的および機械的動力を提供することができる。電力基部112は、本教示の実質的不連続表面横断を支援するために、クラスタアセンブリ21100の回転およびペイロードキャリア高さアセンブリ30068の昇降を制御することができる。他のそのようなデバイスも、本教示のSDSF検出および横断を適応させるために使用されることができる。
継続して図1を参照すると、いくつかの構成では、例示的電力基部の内部のセンサが、TD101の配向および配向の変化率を検出することができ、モータが、サーボ動作を可能にすることができ、コントローラが、内部センサおよびモータからの情報を理解することができる。適切なモータコマンドが、輸送機性能を達成し、経路追従コマンドを実装するために算出されることができる。左および右車輪モータが、TD101(図1)の両側上の車輪を駆動することができる。いくつかの構成では、前部および後部車輪が、2つの左車輪が、ともに駆動し得、2つの右車輪が、ともに駆動し得るように、ともに駆動するように結合されることができる。いくつかの構成では、方向転換が、異なる率において左および右モータを駆動することによって遂行されることができ、クラスタモータが、前/後方向にホイールベースを回転させることができる。これは、前部車輪が、後部車輪より高い、または低い状態になる間、TD101が、水平なままであることを可能にすることができる。本特徴は、例えば、限定ではないが、SDSFを昇り降りするときに有用であり得る。ペイロードキャリア173は、少なくとも下層地形に基づいて、自動的に上昇および降下されることができる。
継続して図1を参照すると、いくつかの構成では、点群データが、TD101が進行するべきである面積に関するルート情報を含むことができる。可能性として、TD101に類似する、またはそれと同じであるマッピングデバイスによって収集される、点群データは、タイムタグを付けられることができる。それに沿ってマッピングデバイスが進行する経路は、マッピングされた軌道と称され得る。本明細書に説明される点群データ処理は、マッピングデバイスがマッピングされた軌道を横断する際、または点群データ収集が完了した後に行われることができる。点群データが、収集された後、それらは、本明細書に説明されるような初期フィルタリングおよび点縮小、点群分割、および特徴検出を含み得る、点群データ処理を受けることができる。いくつかの構成では、コアクラウドインフラストラクチャ103は、収集された点群データに関する長期または短期記憶を提供することができ、データをTDサービス105に提供することができる。TDサービス105は、TD101に関する所望の開始点およびTD101に関する所望の目的地を包囲する地域を網羅するデータセットを見出すために、可能な点群データセットの中から選択することができる。TDサービス105は、限定ではないが、点群データのサイズを縮小し、点群データ内に表される特徴を決定し得る、マッププロセッサ104を含むことができる。いくつかの構成では、マッププロセッサ104は、点群データからSDSFの場所を決定することができる。いくつかの構成では、多角形が、点群データを分割し、最終的に、走行可能表面を設定するための技法として、点群データから作成されることができる。いくつかの構成では、SDSF探知および走行可能表面決定は、並行して進むことができる。いくつかの構成では、SDSF探知および走行可能表面決定は、順次進むことができる。
ここで図3を参照すると、いくつかの構成では、マッププロセッサ104は、限定ではないが、点群データ131およびマッピングされた軌道133の視通線フィルタリング121を含み得る、特徴抽出を含むことができる。視通線フィルタリングは、点群データを収集し、マッピングされた軌道を形成するセンサの直接視通線から隠される点を除去することができる。縮小された点群データ132はさらに、可能性として、具体的特徴に関連付けられる事前選択された基準に従って、縮小された点群データ132を編成する(151)ことによって処理されることができる。いくつかの構成では、編成された点群データおよびマッピングされた軌道133はさらに、本明細書に説明される方法を含む、任意の数の方法によって過渡点を除去する(153)ことによって処理されることができる。過渡点は、特に、具体的特徴が、定常である場合、処理を複雑化し得る。処理された点群データ135は、処理可能な塊に分けられることができる。いくつかの構成では、処理された点群データ135は、処理された点群データ135を、事前選択された最小数の点、例えば、限定ではないが、約100,000個の点を有する区分に分割することができる(155)。いくつかの構成では、さらなる点縮小が、抽出されるべき特徴に関連し得る事前選択された基準に基づく。例えば、ある高さを上回る点が、特徴の位置を特定することに対して重要ではない場合、それらの点は、点群データから削除され得る。いくつかの構成では、点群データを収集するセンサのうちの少なくとも1つの高さは、起点と見なされ得、起点を上回る点は、例えば、着目点のみが、表面特徴に関連付けられるため、点群データから除去され得る。フィルタリングされた点群データ135が、分割された後、セグメント137を形成し、残りの点は、走行可能表面区分に分けられることができ、表面特徴が、位置特定されることができる。いくつかの構成では、走行可能表面の位置を特定することは、例えば、限定ではないが、本明細書に説明されるような多角形139を発生させること(161)を含むことができる。いくつかの構成では、表面特徴の位置を特定することは、例えば、限定ではないが、本明細書に説明されるようなSDSF線141を発生させること(163)を含むことができる。いくつかの構成では、TD101(図1)が進行し得る実際の経路を発生させるためにさらに処理され得るデータセットを作成することは、多角形139およびSDSF141を組み合わせること(165)を含むことができる。
ここで、主として、図4を参照すると、点群データ131(図3)から、例示的タイムスタンプ付き点751等のマッピングされた軌道133に対して過渡的である物体を排除すること153(図3)は、光線753を、マッピングされた軌道133上のタイムスタンプ付き点から、実質的に同じタイムスタンプを有する点群データ131(図3)内の各タイムスタンプ付き点に投じることを含むことができる。光線753が、マッピングされた軌道133上のタイムスタンプ付き点と光線753の終点との間の点、例えば、点D755と交差する場合、交点D755は、カメラの異なる掃引の間に点群データに入ったと仮定されることができる。交点、例えば、交点D755は、過渡的な物体の一部であると仮定されることができ、SDSF等の固定特徴を表さないものとして縮小された点群データ132(図3)から除去されることができる。結果は、例えば、限定ではないが、過渡的な物体のない、処理された点群データ135(図3)となる。過渡的な物体の一部として除去されたが、また、実質的に地面レベルにある点は、処理された点群データ135(図3)に返されることができる(754)。過渡的な物体は、例えば、限定ではないが、SDSF141(図3)等のある特徴を含むことができず、したがって、SDSF141(図3)が、検出されている特徴であるとき、点群データ131(図3)の完全性に干渉することなく除去されることができる。
継続して図4を参照すると、処理された点群データ135(図3)を区分757に分割すること155(図3)は、事前選択されたサイズおよび形状、例えば、限定ではないが、最小の事前選択された側長を有し、約100,000個の点を含む、正方形154(図5)を有する、区分757を生成することができる。各区分757から、必ずしも具体的タスクに関するものではない点、例えば、限定ではないが、事前選択された点の上方に位置する点は、データセットサイズを縮小するために除去されることができる(157)(図3)。いくつかの構成では、事前選択された点は、TD101(図1)の高さであり得る。これらの点を除去することは、データセットのより効率的な処理につながることができる。
再び、主として、図3を参照すると、マッププロセッサ104は、デバイスコントローラ111に、TD101(図1)への方向、速度、および高さコマンドを生成するために使用され得る少なくとも1つのデータセットを供給することができる。少なくとも1つのデータセットは、データセット内の他の点に接続され得る点を含むことができ、データセット内の点を接続する線の各々は、走行可能表面を横断する。そのようなルート点を決定するために、分割された点群データ137は、多角形139に分けられることができ、多角形139の頂点は、可能性として、ルート点になることができる。多角形139は、例えば、SDSF141等の特徴を含むことができる。
ここで、主として、図6を参照すると、いくつかの構成では、点群データ131(図3)は、例えば、限定ではないが、Point Cloud Library,http://pointclouds.org/documentation/tutorials/statistical_outlier.phpにおいて利用可能なもの等の統計分析技法等の従来の手段によって、外れ値を除去することによって処理されることができる。フィルタリングは、限定ではないが、Point Cloud Library,http://pointclouds.org/documentation/tutorials/voxel_grid.phpにおいて利用可能であるようなボクセル化グリッドアプローチを含む、従来の手段によってセグメント137(図3)をサイズ縮小することを含むことができる。分割された点群データ137(図3)は、凹多角形759、例えば、5m×5mの多角形を発生させる(161)(図3)ために使用されることができる。凹多角形759は、例えば、限定ではないが、http://pointclouds.org/documentation/tutorials/hull_2d.phpに記載されるプロセスまたは「A New Concave Hull Algorithm and Concaveness Measure for n-dimensional Datasets」Park et al.,Journal of Information Science and Engineering 28,pp. 587-600,2012に記載されるプロセスによって作成されることができる。
継続して、主として、図6を参照すると、いくつかの構成では、処理された点群データ135(図3)を作成することは、ボクセルをフィルタリングすることを含むことができる。将来の処理を受けるであろう点の数を低減させるために、いくつかの構成では、データセット内の各ボクセルの重心が、ボクセル内の点を近似するために使用されることができ、重心を除く全ての点は、点群データから排除されることができる。いくつかの構成では、ボクセルの中心が、ボクセル内の点を近似するために使用されることができる。例えば、限定ではないが、均一にランダムに選択される、固定数の点が、フィルタリングされたセグメント251から排除され得るように、ランダム点サブサンプルをとること等、フィルタリングされたセグメント251のサイズを縮小するための他の方法も、使用されることができる。
再び、図3を参照すると、いくつかの構成では、処理された点群データ135を作成することは、それから外れ値が除去されており、ボクセルフィルタリングを通してサイズ縮小されているデータセットから法線を算出することを含むことができる。フィルタリングされたデータセット内の各点に対する法線は、曲線再構築アルゴリズムを含む、種々の処理の可能性のために使用されることができる。いくつかの構成では、データセット内の法線を推定およびフィルタリングすることは、表面メッシュ化技法を使用してデータセットから下層表面を取得することと、表面メッシュから法線を算出することとを含むことができる。いくつかの構成では、法線を推定することは、例えば、限定ではないが、点のk個の最近傍近隣に総最小二乗法を適用することによって取得されるフィッティング平面に対する法線を決定すること等、直接データセットから表面法線を推論するために近似を使用することを含むことができる。いくつかの構成では、kの値は、少なくとも経験的データに基づいて選定されることができる。法線をフィルタリングすることは、x-y平面に垂直なものから約45°を上回る任意の法線を除去することを含むことができる。いくつかの構成では、フィルタが、同じ方向に法線を整合させるために使用されることができる。データセットの一部が、平面表面を表す場合、隣接する法線内に含まれる冗長情報は、ランダムサブサンプリングを実施することによって、または関連する点のセットから1つの点をフィルタリングして取り除くことによってのいずれかで、フィルタリングして取り除かれることができる。いくつかの構成では、点を選定することは、各ボックスが、多くてもk個の点を含むまで、データセットをボックスに再帰的に分解することを含むことができる。単一の法線が、各ボックス内のk個の点から算出されることができる。
継続して図3を参照すると、いくつかの構成では、処理された点群データ135を作成することは、データセットを表した表面と幾何学的に適合する点をクラスタリングすることによって、データセット内の領域を拡大することと、最大数の点の最良の近似を取得するために、領域が拡大するにつれて表面を精緻化することとを含むことができる。領域拡大は、平滑度制約の観点から点を併合することができる。いくつかの構成では、平滑度制約は、例えば、経験的に決定されることができる、または所望の表面平滑度に基づくことができる。いくつかの構成では、平滑度制約は、約10π/180~約20π/180の範囲を含むことができる。領域拡大の出力は、点クラスタのセットであり、各点クラスタは、点のセットであり、そのそれぞれは、同じ平滑表面の一部であると見なされる。いくつかの構成では、領域拡大は、法線の間の角度の比較に基づくことができる。領域拡大は、例えば、限定ではないが、領域拡大分割http://pointclouds.org/documentation/tutorials/region_growing_segmentation.phpおよびhttp://pointclouds.org/documentation/tutorials/cluster_extraction.php#cluster-extraction等のアルゴリズムによって遂行されることができる。
ここで、主として、図7を参照すると、いくつかの構成では、処理された点群データ135(図3)は、初期走行可能表面265を決定するために使用されることができる。領域拡大は、走行可能表面の一部である点を含み得る、点クラスタを生成することができる。いくつかの構成では、初期走行可能表面を決定するために、基準平面が、点クラスタのそれぞれにフィッティングされることができる。いくつかの構成では、点クラスタは、点クラスタの配向と基準平面との間の関係に従ってフィルタリングされることができる。例えば、点クラスタ平面と基準平面との間の角度が、例えば、限定ではないが、約30°を下回る場合、点クラスタは、予備的に、初期走行可能表面の一部であると見なされることができる。いくつかの構成では、点クラスタは、例えば、限定ではないが、サイズ制約に基づいてフィルタリングされることができる。いくつかの構成では、点群データ131内の合計点の約20%より点サイズにおいて大きい点クラスタは、大きすぎると見なされることができ、点群データ131内の合計点の約0.1%よりサイズにおいて小さい点クラスタは、小さすぎると見なされることができる。初期走行可能表面は、点クラスタのフィルタリングされたものを含むことができる。いくつかの構成では、点クラスタは、いくつかの公知の方法のうちのいずれかによって、さらなる処理を継続するために分けられることができる。いくつかの構成では、雑音を伴うアプリケーションの密度ベースの空間クラスタリング(DBSCAN)が、点クラスタを分けるために使用されることができる一方、いくつかの構成では、k平均クラスタリングが、点クラスタを分けるために使用されることができる。DBSCANは、ともに密集する点をともに群化し、実質的に孤立する、または低密度領域における点を外れ値としてマーキングすることができる。密集していると見なされるために、点は、候補点からの事前選択された距離内に位置していなければならない。いくつかの構成では、事前選択された距離に関するスケール係数が、経験的または動的に決定されることができる。いくつかの構成では、スケール係数は、約0.1~1.0の範囲内であり得る。
再び、主として、図6を参照すると、結果として生じる点サブクラスタは、例えば、メッシュ化を使用して、凹多角形759に変換されることができる。メッシュ化は、例えば、限定ではないが、マーチング立方体、マーチング四面体、表面ネット、グリーディメッシュ化、および二重輪郭形成等の標準的方法によって遂行されることができる。いくつかの構成では、凹多角形759は、点の法線に沿って点の局所近隣を投影し、接続されていない点を接続することによって発生されることができる。結果として生じる凹多角形759は、少なくとも、近隣のサイズ、考慮されるべき点に関する最大許容可能距離、多角形に関する最大縁長、多角形の最小および最大角度、および法線が相互からとり得る最大偏差に基づくことができる。いくつかの構成では、凹多角形759は、凹多角形759が、TD101(図1)が通行するために小さすぎるであろうかどうかに従ってフィルタリングされることができる。いくつかの構成では、TD101(図1)のサイズの円が、公知の手段によって凹多角形759のそれぞれの周囲にドラッグされることができる。円が、凹多角形759内に実質的に該当する場合、凹多角形759、したがって、結果として生じる走行可能表面は、TD101(図1)を適応させることができる。いくつかの構成では、凹多角形759の面積は、TD101(図1)の占有面積と比較されることができる。多角形は、不規則であると仮定されることができ、したがって、凹多角形759の面積を決定するための最初のことは、公知の方法によって凹多角形759を正多角形759Aに分離することになる。正多角形759A毎に、標準的面積方程式が、そのサイズを決定するために使用されることができる。各正多角形759Aの面積は、凹多角形759の面積を求めるためにともに加算されることができ、その面積は、TD101(図1)の占有面積と比較されることができる。フィルタリングされた凹多角形は、サイズ基準を満たす凹多角形のサブセットを含むことができる。フィルタリングされた凹多角形は、最終走行可能表面を設定するために使用されることができる。
主として、図8を参照すると、SDSF線を発生させること163(図3)は、凹多角形759(図6)のさらなるフィルタリングによってSDSFの位置を特定することを含むことができる。いくつかの構成では、多角形を構成する点群データからの点は、上側ドーナツ点351(図9)、下側ドーナツ点353(図9)、または円筒点355(図9)のいずれかとしてカテゴリ化されることができる。上側ドーナツ点351(図9)は、地面から最も遠いSDSFモデル352の形状に該当することができる。下側ドーナツ点353(図9)は、地面に最も近接する、または地面レベルにおけるSDSFモデル352の形状に該当する。円筒点355(図9)は、上側ドーナツ点351(図9)と下側ドーナツ点353(図9)との間の形状に該当することができる。カテゴリの組み合わせは、ドーナツ371を形成することができる。ドーナツ371がSDSFを形成するかどうかを決定するために、ある基準が、試験される。例えば、各ドーナツ371において、上側ドーナツ点351(図9)である最小数の点および下側ドーナツ点353(図9)である最小数が、存在しなければならない。いくつかの構成では、最小値は、経験的に選択されることができ、約5~20の範囲に該当することができる。各ドーナツ371は、複数の部分、例えば、2つの半球に分けられることができる。ドーナツ371内の点がSDSFを表すかどうかを決定するための別の基準は、点の大部分が、ドーナツ371の部分の対向する半球内に位置するかどうかである。円筒点355(図9)は、第1の円筒領域357(図9)または第2の円筒領域359(図9)のいずれかにおいて生じることができる。SDSF選択に関する別の基準は、両方の円筒領域357/359(図9)内に最小数の点が存在しなければならないことである。いくつかの構成では、最小数の点は、経験的に選択されることができ、3~20の範囲に該当することができる。SDSF選択に関する別の基準は、ドーナツ371が、3つのカテゴリの点、すなわち、上側ドーナツ点351(図9)、下側ドーナツ点353(図9)、および円筒点355(図9)のうちの少なくとも2つを含まなければならないことである。
継続して、主として、図8を参照すると、いくつかの構成では、多角形は、並行して処理されることができる。各カテゴリワーカ362は、SDSF点789(図12)に関するその割り当てられた多角形を探索することができ、SDSF点789(図12)をカテゴリ763(図6)に割り当てることができる。多角形が、処理される際、結果として生じる点カテゴリ763(図6)は、組み合わせられ(363)、組み合わせられたカテゴリ366を形成することができ、カテゴリは、短縮され(365)、短縮された組み合わせられたカテゴリ368を形成することができる。SDSF点789(図12)を短縮することは、地面からのそれらの距離に関してSDSF点789(図12)をフィルタリングすることを含むことができる。短縮された組み合わせられたカテゴリ368は、各SDSF点766(図6)の周囲の面積を探索し、平均点765(図6)を発生させることによって、平均化され、可能性として、平均ワーカ373によって並行して処理され、カテゴリの点は、平均化されたドーナツ375のセットを形成することができる。いくつかの構成では、各SDSF点766(図6)の周囲の半径は、経験的に決定されることができる。いくつかの構成では、各SDSF点766(図6)の周囲の半径は、0.1m~1.0mの範囲を含むことができる。平均点765(図6)におけるSDSFに関するSDSF軌道377(図6)上の1つの点と別のものとの間の高さ変化が、計算されることができる。平均化されたドーナツ375をともに接続することは、SDSF軌道377(図6)を発生させることができる。SDSF軌道377(図6および10)を作成する際、開始点の探索半径内に2つの次の候補点が、存在する場合、次の点は、少なくとも、以前の線セグメント、開始点、および候補目的地点の間に可能な限り一直線の線を形成することに基づいて選定されることができ、その上で、候補の次の点は、以前の点と候補の次の点との間のSDSF高さの最も小さい変化を表す。いくつかの構成では、SDSF高さは、上側ドーナツ351(図9)および下側ドーナツ353(図9)の高さの間の差異として定義されることができる。
ここで、主として、図11Aを参照すると、凹多角形およびSDSF線を組み合わせること165(図3)は、多角形139(図3)およびSDSF141(図3)を含むデータセットを生成することができ、データセットは、SDSFデータを用いてグラフ化多角形を生成するために操作されることができる。凹多角形263を操作することは、限定ではないが、凹多角形263を併合し、併合された多角形771を形成することを含むことができる。凹多角形263を併合することは、例えば、限定ではないが、(http://www.angusj.com/delphi/clipper.php)に見出されるもの等の公知の方法を使用して遂行されることができる。併合された多角形771は、縁を平滑化し、拡張された多角形772を形成するために拡張されることができる。拡張された多角形772は、走行マージンを提供するために収縮され、収縮された多角形774を形成することができ、それに、SDSF軌道377(図11B)が、追加されることができる。内向きトリミング(収縮)は、少なくともTD101(図1)のサイズに基づく事前選択された量だけ走行可能表面のサイズを縮小することによって、TD101(図1)が進行するための余地が縁の近傍に存在することを保証することができる。多角形拡張および収縮は、例えば、限定ではないが、ARCGIS(登録商標)クリップコマンド(http://desktop.arcgis.com/en/arcmap/10.3/manage-data/editing-existing-features/clipping-a-polygon-feature.htm)等の商業的に利用可能な技術によって遂行されることができる。
ここで、主として、図11Bを参照すると、収縮された多角形774は、凸多角形778にパーティション化されることができ、そのそれぞれは、非走行可能表面に遭遇することなく横断されることができる。収縮された多角形774は、例えば、限定ではないが、z次曲線ハッシングによって最適化され、孔、捩れ多角形、縮退、および自己交差を取り扱うために拡張される、イヤースライシング等の従来の手段によってパーティション化されることができる。商業的に利用可能なイヤースライシング実装は、限定ではないが、(https://github.com/mapbox/earcut.hpp)に見出されるものを含むことができる。SDSF軌道377は、多角形頂点781に接続され得るSDSF点789(図15)を含むことができる。頂点781は、TD101(図1)のための可能な進行経路を形成するために互いに接続され得る、可能な経路点であると見なされることができる。データセットでは、SDSF点789は、そのように標識化されることができる。パーティション化が、進行する際、例えば、限定ではないが、縁777および779等の冗長縁が導入されることが、可能である。縁777または779のうちの1つを除去することは、さらなる分析の複雑性を低減させることができ、凸多角形メッシュを留保することができる。いくつかの構成では、Hertel-Mehlhorn多角形パーティション化アルゴリズムが、縁を除去し、特徴として標識化された縁を省略するために使用されることができる。標識化された特徴を含む、凸多角形778のセットは、可能な経路点の数を低減させるためにさらなる簡略化を受けることができ、可能な経路点は、注釈付き点データ379(図14)の形態においてデバイスコントローラ111(図1)に提供されることができる。
ここで、主として、図13を参照すると、注釈付き点データ379(図14)が、デバイスコントローラ111に提供されることができる。経路を進行するようにTD101(図1)に命令するために使用され得るルート情報のための基礎であり得る、注釈付き点データ379(図14)は、限定ではないが、ナビゲート可能縁、例えば、限定ではないが、マッピングされた軌道413/415(図16)等のマッピングされた軌道、および、例えば、限定ではないが、SDSF377(図15)等の標識化された特徴を含むことができる。マッピングされた軌道413/415(図15)は、ルート空間の縁のグラフと、ルート空間の部分に割り当てられた初期重みとを含むことができる。縁のグラフは、例えば、限定ではないが、方向性および容量等の特性を含むことができ、縁は、これらの特性に従ってカテゴリ化されることができる。マッピングされた軌道413/415(図15)は、ルート空間の表面に関連付けられるコスト修飾子と、縁に関連付けられる走行モードとを含むことができる。走行モードは、限定ではないが、経路追従およびSDSF登りを含むことができる。他のモードは、例えば、限定ではないが、自律、マッピング、および介入の待機等の動作モードを含むことができる。最終的に、経路は、少なくともより低いコスト修飾子に基づいて選択されることができる。マッピングされた軌道413/415(図15)から比較的に遠い形態は、より高いコスト修飾子を有することができ、経路を形成するときにあまり着目され得ない。初期重みは、TD101(図1)が動作している間に調節され、可能性として、経路の修正を引き起こすことができる。調節された重みは、縁/重みグラフ381(図14)を調節するために使用されることができ、少なくとも現在の走行モード、現在の表面、および縁カテゴリに基づくことができる。
継続して図13を参照すると、デバイスコントローラ111は、任意の特徴の偏心を経路の中に組み込むことに関連する具体的タスクを実施し得る、特徴プロセッサを含むことができる。いくつかの構成では、特徴プロセッサは、限定ではないが、SDSFプロセッサ118を含むことができる。いくつかの構成では、デバイスコントローラ111は、限定ではないが、それぞれ、本明細書に説明される、SDSFプロセッサ118と、センサプロセッサ703と、モードコントローラ122と、基部コントローラ114とを含むことができる。SDSFプロセッサ118、センサプロセッサ703、およびモードコントローラ122は、入力を基部コントローラ114に提供することができる。
継続して図13を参照すると、基部コントローラ114は、少なくともモードコントローラ122、SDSFプロセッサ118、およびセンサプロセッサ703によって提供された入力に基づいて、少なくとも縁/重みグラフ381(図14)に基づいて基部コントローラ114によって決定された経路上でTD101(図1)を走行させるために電力基部112が使用し得る情報を決定することができる。いくつかの構成では、基部コントローラ114は、TD101(図1)が、開始点から目的地まで所定の経路を辿り、少なくとも外部および/または内部条件に基づいて、所定の経路を修正し得ることを保証することができる。いくつかの構成では、外部条件は、限定ではないが、TD101(図1)によって走行されている経路内またはその近傍の停止信号、SDSF、および障害物を含むことができる。いくつかの構成では、内部条件は、限定ではないが、外部条件に対してTD101(図1)が行う応答を反映するモード遷移を含むことができる。デバイスコントローラ111は、少なくとも外部および内部条件に基づいて、電力基部112に送信するコマンドを決定することができる。コマンドは、限定ではないが、コマンドされた速度でコマンドされた方向に進行するようにTD101(図1)に指示し得る、速度および方向コマンドを含むことができる。他のコマンドは、例えば、SDSF登り等の特徴応答を可能にする、例えば、コマンドの群を含むことができる。基部コントローラ114は、限定ではないが、例えば、内点オプティマイザ(IPOPT)大規模非線形最適化(https://projects.coin-or.org/Ipopt)を含む、従来の方法によって経路のウェイポイントの間の所望の速度を決定することができる。基部コントローラ114は、少なくとも、例えば、限定ではないが、ダイクストラアルゴリズム、A*探索アルゴリズム、または幅優先探索アルゴリズムに基づく技術等の従来の技術に基づいて、所望の経路を決定することができる。基部コントローラ114は、障害物検出が実施され得る面積を設定するために、マッピングされた軌道413/415(図15)の周囲にボックスを形成することができる。ペイロードキャリアの高さは、調節可能であるとき、少なくとも部分的に、指示された速度に基づいて調節されることができる。
継続して図13を参照すると、基部コントローラ114は、速度および方向決定をモータコマンドに変換することができる。例えば、限定ではないが、例えば、縁石または斜面等のSDSFに遭遇するとき、基部コントローラ114は、SDSF登りモードにおいて、ペイロードキャリア173(図2)を上昇させ、TD101(図1)を約90°角度においてSDSFと整合させ、比較的に低いレベルまで速度を低減させるように電力基部112に指示することができる。TD101(図1)が、実質的不連続表面を登るとき、基部コントローラ114は、増加させられたトルクが、傾斜の上にTD101(図1)を移動させるために要求されるため、速度が増加させられる登りフェーズに遷移するように電力基部112に指示することができる。TD101(図1)が、比較的に水平の表面に遭遇するとき、基部コントローラ114は、SDSFの任意の平坦な部分の上に留まるために、速度を低減させることができる。平坦な部分に関連付けられる下りの傾斜路の場合に、TD101(図1)が、実質的不連続表面を下り始めるとき、および両方の車輪が、下りの傾斜路上にあるとき、基部コントローラ114は、速度が増加することを可能にすることができる。例えば、限定ではないが、斜面等のSDSFに遭遇するとき、斜面は、識別され、ある構造として処理されることができる。構造の特徴は、例えば、事前選択されたサイズの傾斜路を含むことができる。傾斜路は、約30°の傾斜を含むことができ、随意に、限定ではないが、平坦域の両側上にあり得る。デバイスコントローラ111(図13)は、知覚された特徴の角度を予期される斜面傾斜路角度と比較することによって、障害物と斜面とを区別することができ、角度は、センサプロセッサ703(図13)から受信されることができる。
ここで、主として、図14を参照すると、SDSFプロセッサ118は、注釈付き点データ379内に表される多角形のメッシュによって形成される走行可能表面のブロックから、TD101(図1)による横断のための経路を作成するために使用され得るナビゲート可能縁の位置を特定することができる。SDSF線377(図15)の周囲に事前選択されたサイズの面積を形成し得る、SDSF緩衝407(図15)内で、ナビゲート可能縁は、SDSF横断を前提として、特別な取扱に備えて消去されることができる(図16参照)。セグメント409(図15)等の閉じ線セグメントが、以前に決定されたSDSF点789(図12)の対の間でSDSF緩衝407(図15)を二分するために描画されることができる。いくつかの構成では、閉じ線セグメントがSDSF横断のための候補として見なされるために、セグメント端部411(図15)は、走行可能表面の非妨害部分に該当することができ、TD101(図1)が線セグメントに沿って隣接するSDSF点789(図12)の間を進行するための十分な余地が、存在することができ、SDSF点789(図12)の間の面積は、走行可能表面であり得る。セグメント端部411(図15)は、下層形態に接続され、頂点および走行可能縁を形成することができる。例えば、横断基準を満たす線セグメント461、463、465、および467(図15)が、図16に形態の一部として示される。対照的に、線セグメント409(図15)は、少なくとも、セグメント端部411(図15)が、走行可能表面上に該当しないため、基準を満たさなかった。重複するSDSF緩衝506(図15)は、SDSF不連続性を示すことができ、これは、重複されたSDSF緩衝506(図15)内のSDSFのSDSF横断を不利にし得る。SDSF線377(図15)は、平滑化されることができ、SDSF点789(図12)の場所は、それらが、事前選択された距離を中心として離れて該当するように、調節されることができ、事前選択された距離は、少なくともTD101(図1)の占有面積に基づく。
継続して図14を参照すると、SDSFプロセッサ118は、注釈付き点データ379を、SDSF横断のための形態修正を含む、縁/重みグラフ381に変換することができる。SDSFプロセッサ118は、第7のプロセッサ601と、第8のプロセッサ702と、第9のプロセッサ603と、第10のプロセッサ605とを含むことができる。第7のプロセッサ601は、注釈付き点データ379内の点の座標をグローバル座標系に変換し、GPS座標との互換性を達成し、GPS互換性データセット602を生成することができる。第7のプロセッサ601は、例えば、限定ではないが、アフィン行列変換およびPostGIS変換等の従来のプロセスを使用し、GPS互換性データセット602を生成することができる。世界測地系(WGS)が、これが地球の曲率を考慮するため、標準的座標系として使用されることができる。マップは、ユニバーサル横メルカトル図法(UTM)座標系内に記憶されることができ、具体的住所が位置する場所を見出すことが必要であるとき、WGSに切り替えられることができる。
ここで、主として、図15を参照すると、第8のプロセッサ702(図14)は、SDSFを平滑化し、SDSF377の境界を決定し、SDSF境界の周囲に緩衝407を作成し、これがSDSF境界から遠くなるにつれて、表面のコスト修飾子を増加させることができる。マッピングされた軌道413/415は、最も低いコスト修飾子を有する特別な場合のレーンであり得る。より低いコスト修飾子406は、概して、SDSF境界の近傍に位置することができる一方、より高いコスト修飾子408は、概して、SDSF境界から比較的に遠くに位置することができる。第8のプロセッサ702は、コストを伴う点群データ704(図14)を第9のプロセッサ603(図14)に提供することができる。
継続して、主として、図15を参照すると、第9のプロセッサ603(図14)は、TD101(図1)が、それらを横断可能として標識化するための基準を満たしたSDSF377を横断するための約90°アプローチ604(図14)を計算することができる。基準は、SDSF幅と、SDSF平滑度とを含むことができる。線セグメント409等の線セグメントが、それらの長さが、TD101(図1)がSDSF377に接近するために要求し得る最小進入距離およびSDSF377から退出するために要求され得る最小退出距離を示すように作成されることができる。終点411等のセグメント終点が、下層ルーティング形態と統合されることができる。SDSFアプローチが可能であるかどうかを決定するために使用される基準は、いくつかのアプローチの可能性を排除することができる。SDSF緩衝407等のSDSF緩衝は、有効なアプローチおよびルート形態縁作成を計算するために使用されることができる。
再び、主として、図14を参照すると、第10のプロセッサ605は、マップを通した経路を計算するために使用され得る、本明細書で開発される、縁および重みのグラフである、縁/重みグラフ381を形態から作成することができる。形態は、コスト修飾子と、走行モードとを含むことができ、縁は、方向性と、容量とを含むことができる。重みは、任意の数のソースからの情報に基づいて、ランタイム時に調節されることができる。第10のプロセッサ605は、特定の点における推奨される走行モードに加えて、順序付けられた点の少なくとも1つのシーケンスを基部コントローラ114に提供し、経路発生を可能にすることができる。点の各シーケンス内の各点は、処理された走行可能表面上の可能な経路点の場所および標識化を表す。いくつかの構成では、標識化は、点が、例えば、限定ではないが、SDSF等の経路に沿って遭遇され得る特徴の一部を表すことを示すことができる。いくつかの構成では、特徴は、特徴のタイプに基づいて、示唆される処理を用いてさらに標識化され得る。例えば、いくつかの構成では、経路点が、SDSFとして標識化される場合、さらなる標識化は、あるモードを含むことができる。モードは、例えば、TD101(図1)がSDSF377(図15)を横断することを可能にするために、TD101(図1)をSDSF登りモード100-31(図17)に切り替えること等、TD101(図1)のための示唆される走行命令としてTD101(図1)によって解釈されることができる。
ここで図17を参照すると、いくつかの構成では、モードコントローラ122は、基部コントローラ114(図13)に、モード遷移を実行するための指示を提供することができる。モードコントローラ122は、TD101(図1)が進行しているモードを確立することができる。例えば、モードコントローラ122は、基部コントローラ114に、モードインジケーションの変更を提供し、例えば、SDSFが、進行経路に沿って識別されるとき、経路追従モード100-32とSDSF登りモード100-31との間で変更することができる。いくつかの構成では、注釈付き点データ379(図14)は、例えば、モードが、ルートを適応させるために変更されるとき、ルートに沿った種々の点においてモード識別子を含むことができる。例えば、SDSF377(図15)が、注釈付き点データ379(図14)内で標識化されている場合、デバイスコントローラ111は、ルート点に関連付けられるモード識別子を決定し、可能性として、所望のモードに基づいて、電力基部112(図13)への命令を調節することができる。SDSF登りモード100-31および経路追従モード100-32に加えて、いくつかの構成では、TD101(図1)は、限定ではないが、いくつかの構成では、2つの駆動車輪および2つの自在車輪21001(図2)を駆動することを含み得る、標準モード21001と、強化モード100-2とを含み得る、動作モードを支援することができる。強化モード100-2は、2003年6月3日に発行され、「Control System and Method」と題された、米国特許第6,571,892号(第‘892号)(参照することによってその全体として本明細書に組み込まれる)に詳細に説明されるように、TD101(図1)による不均一な地形、種々の環境、急な傾斜、および軟弱な地形の横断のための支援を提供することができる。強化モード100-2では、全ての4つの駆動車輪21203(図2)が、展開されることができる。4つの車輪21203(図2)を駆動し、車輪21203(図2)上の重量分布を均等にすることは、TD101(図1)が、急な斜面を上下に、かつ、限定ではないが、砂利、砂、雪、および泥を含む、多くのタイプの屋外環境を通して走行することを可能にすることができる。ペイロードキャリア173(図2)の高さは、障害物にわたって、および斜面に沿って必要なクリアランスを提供するために調節されることができる。
ここで図18Aを参照すると、少なくとも1つのSDSFを横断する目標点に向かってTDをナビゲートする方法1150は、限定ではないが、SDSF、目標点の場所、およびTDの場所に関連するSDSF情報を受信すること1151を含むことができる。SDSF情報は、限定ではないが、それぞれ、SDSF点として分類される点のセットと、点がSDSF点である点毎の関連付けられている確率とを含むことができる。方法1150は、TDの場所、目標点の場所を包含する閉じた多角形を描画し、目標点とTDの場所との間に経路線を描くこと1153を含むことができる。閉じた多角形は、事前選択された幅を含むことができる。表Iは、本明細書に議論される事前選択された変数に関する可能な範囲を含む。方法1150は、多角形内に位置するSDSF点のうちの2つを選択すること1155と、2つの点の間にSDSF線を描くこと1157とを含むことができる。いくつかの構成では、SDSF点の選択は、ランダムである、または任意の他の方法であり得る。1159において、SDSF線の第1の事前選択された距離内に第1の事前選択された数より少ない点がある場合、および1161において、SDSF点を選定することにおいて第2の事前選択された回数の試行を下回るものが、存在し、それらの間に線を描画し、SDSF線の周囲に第1の事前選択された数の点より少ないものを有する場合、方法1150は、ステップ1155に戻ることを含むことができる。1161において、SDSF点を選定することにおいて第2の事前選択された回数の試行が、存在し、それらの間に線を描画し、SDSF線の周囲に第1の事前選択された数の点より少ないものを有する場合、方法1150は、いかなるSDSF線も検出されなかったことを認めること1163を含むことができる。
ここで、主として、図18Bを参照すると、1159(図18A)において、第1の事前選択された数以上の点がある場合、方法1150は、SDSF線の第1の事前選択された距離内に含まれる点に曲線をフィッティングすること1165を含むことができる。1167において、曲線の第1の事前選択された距離内にある点の数が、SDSF線の第1の事前選択された距離内の点の数を超える場合、および1171において、曲線が、経路線と交差する場合、および1173において、第2の事前選択された距離を超える曲線上の点の間の間隙がない場合、方法1150は、曲線をSDSF線として識別すること1175を含むことができる。1167において、曲線の第1の事前選択された距離内にある点の数が、SDSF線の第1の事前選択された距離内の点の数を超えない場合、または1171において、曲線が、経路線と交差しない場合、または1173において、第2の事前選択された距離を超える曲線上の点の間の間隙が、存在する場合、および1177において、SDSF線が、安定したままではない場合、および1169において、曲線フィットが、第2の事前選択された回数より多く試行されていない場合、方法1150は、こと1165に戻ることを含むことができる。安定するSDSF線は、同一またはより少ない点をもたらす後続反復の結果である。
ここで、主として、図18Cを参照すると、1169(図18B)において、曲線フィットが、第2の事前選択された回数の試行だけ試行されている場合、または1177(図18B)において、SDSF線が、安定したままである、または劣化する場合、方法1150は、占有グリッド情報を受信すること1179を含むことができる。占有グリッドは、障害物がある点に存在する確率を提供することができる。占有グリッド情報は、占有グリッドが、多角形との共通地理的面積にわたって捕捉および/または算出されたデータを含むとき、TD経路およびSDSFを包囲する多角形内に見出されるSDSFおよび経路情報を強化することができる。方法1150は、共通地理的面積からの点およびその関連付けられている確率を選択すること1181を含むことができる。1183において、障害物が選択された点に存在する確率が、事前選択されたパーセントより高い場合、および1185において、障害物が、TDと目標点との間に位置している場合、および1186において、障害物が、SDSF線と目標点との間のSDSF線から第3の事前選択された距離より近い場合、方法1150は、障害物をSDSF線に投影すること1187を含むことができる。1183において、場所が障害物を含む確率が、事前選択されたパーセントを下回る、またはそれに等しい場合、または1185において、障害物が、TDと目標点との間に位置しない場合、または1186において、障害物が、SDSFと目標点との間のSDSF線からの第3の事前選択された距離に等しい、またはそれを上回る距離に位置する場合、および1189において、処理するべきさらなる障害物が、存在する場合、方法1150は、こと1179における処理を再開することを含むことができる。
ここで、主として、図18Dを参照すると、1189(図18C)において、処理するべき障害物が、それ以上存在しない場合、方法1150は、投影を接続し、SDSF線に沿って接続された投影の終点を見出すこと1191を含むことができる。方法1150は、投影終点の間のSDSF線の一部を非横断可能としてマーキングすること1193を含むことができる。方法1150は、非横断可能区分の外側にあるSDSF線の一部を横断可能としてマーキングすること1195を含むことができる。方法1150は、SDSF線の横断可能区分に垂直な第5の事前選択された量以内までTDを方向転換させること1197を含むことができる。1199において、SDSF線の横断可能区分に垂直な線に対する進行方向誤差が、第1の事前選択された量を上回る場合、方法1150は、第9の事前選択された量だけTDを減速させること1251を含むことができる。方法1150は、TDをSDSF線に向かって前方に走行させ、TDと横断可能SDSF線との間のメートル距離あたりの第2の事前選択された量だけ減速させること1253を含むことができる。1255において、横断可能SDSF線からのTDの距離が、第4の事前選択された距離を下回る場合、および1257において、進行方向誤差が、SDSF線に垂直な線に対して第3の事前選択された量を上回る、またはそれに等しい場合、方法1150は、TDを第9の事前選択された量だけ減速させること1252を含むことができる。
ここで、主として、図18Eを参照すると、1257(図18D)において、進行方向誤差が、SDSF線に垂直な線に対して第3の事前選択された量を下回る場合、方法1150は、更新されたSDSF情報を無視し、事前選択された速度においてTDを走行させること1260を含むことができる。1259において、TDの後部部分に対するTDの前部部分の上昇が、第6の事前選択された量と第5の事前選択された量との間である場合、方法1150は、TDを前方に走行させ、TDの速度を上昇の程度に従って第8の事前選択された量まで増加させること1261を含むことができる。1263において、TDの後部に対する前部の上昇が、第6の事前選択された量を下回る場合、方法1150は、第7の事前選択された速度においてTDを前方に走行させること1265を含むことができる。1267において、TDの後部が、SDSF線からの第5の事前選択された距離を上回る場合、方法1150は、TDがSDSFを横断することを完了したことを認めること1269を含むことができる。1267において、TDの後部が、SDSF線からの第5の事前選択された距離を下回る、またはそれに等しい場合、方法1150は、こと1260に戻ることを含むことができる。
ここで図19を参照すると、少なくとも1つのSDSFを横断する目標点に向かってTDをナビゲートするためのシステム1100は、限定ではないが、経路線プロセッサ1103と、SDSF検出器1109と、SDSFコントローラ1127とを含むことができる。システム1100は、例えば、限定ではないが、TD101(図20A)の周辺の画像を含み得る、センサ情報を処理し得る、表面プロセッサ1601と動作可能に結合されることができる。表面プロセッサ1601は、SDSFのインジケーションを含む、リアルタイム表面特徴更新を提供することができる。いくつかの構成では、カメラが、その点が表面タイプに従って分類され得る、RGB-Dデータを提供することができる。いくつかの構成では、システム1100は、SDSFとして分類された点およびそれらの関連付けられている確率を処理することができる。システム1100は、TD101(図20A)の動作の側面を管理し得る、システムコントローラ1602と動作可能に結合されることができる。システムコントローラ1602は、TD101(図20A)の近傍のナビゲート可能面積に関する利用可能なソースからの情報を含み得る、占有グリッド1138を維持することができる。占有グリッド1138は、障害物が存在する確率を含むことができる。本情報は、SDSF情報と併せて、SDSF377(図20C)が障害物1681(図20B)に遭遇することなくTD101(図20A)によって横断され得るかどうかを決定するために使用されることができる。システムコントローラ1602は、環境および他の情報に基づいて、TD101(図20C)が超えるべきではない速度限界1148を決定することができる。速度限界1148は、システム1100によって設定される速度の指針として使用されることができる、またはそれを上書きすることができる。システム1100は、基部コントローラ114と動作可能に結合されることができ、これは、SDSFコントローラ1127によって発生された走行コマンド1144をTD101(図20A)の走行構成要素に送信することができる。基部コントローラ114は、SDSF横断の間のTD101(図20A)の配向についての情報をSDSFコントローラ1127に提供することができる。
継続して図19を参照すると、経路線プロセッサ1103は、限定ではないが、SDSFとして分類される点を含み得る、表面分類点789をリアルタイムで連続的に受信することができる。経路線プロセッサ1103は、目標点1139の場所と、例えば、限定ではないが、TD101(図20A)の中心1202(図20A)によって示されるようなTD場所1141とを受信することができる。システム1100は、TD場所1141と、目標点1139の場所と、目標点1139とTD場所1141との間の経路1214とを包含する、多角形1147を描く、多角形プロセッサ1105を含むことができる。多角形1147は、事前選択された幅を含むことができる。いくつかの構成では、事前選択された幅は、TD101(図20A)のおおよその幅を含むことができる。多角形1147内に該当するSDSF点789が、識別されることができる。
継続して図19を参照すると、SDSF検出器1109は、表面分類点789、経路1214、多角形1147、および目標点1139を受信することができ、着信データ内で利用可能である、本明細書に記載される基準に従って、最も好適なSDSF線377を決定することができる。SDSF検出器1109は、限定ではないが、点プロセッサ1111と、SDSF線プロセッサ1113とを含むことができる。点プロセッサ1111は、多角形1147内に位置するSDSF点789のうちの2つを選択することと、2つの点の間にSDSF377線を描くこととを含むことができる。SDSF線377の第1の事前選択された距離内に第1の事前選択された数より少ない点がある場合、およびSDSF点789を選定することにおいて第2の事前選択された回数の試行を下回るものが、存在し、2つの点の間に線を描画し、SDSF線の周囲に第1の事前選択された数の点より少ないものを有する場合、点プロセッサ1111は、再び、本明細書に記載されるような選択-描画-試験ループを通してループすることを含むことができる。SDSF点を選定することにおいて第2の事前選択された回数の試行が、存在し、それらの間に線を描画し、SDSF線の周囲に第1の事前選択された数の点より少ないものを有する場合、点プロセッサ1111は、いかなるSDSF線も検出されなかったことを認めることを含むことができる。
継続して図19を参照すると、SDSF線プロセッサ1113は、第1の事前選択された数またはそれを上回る点789が、存在する場合、SDSF線377の第1の事前選択された距離内に含まれる点789に曲線1609-1611(図20A)をフィッティングすることを含むことができる。曲線1609-1611(図20A)の第1の事前選択された距離内にある点789の数が、SDSF線377の第1の事前選択された距離内の点789の数を超える場合、および曲線1609-1611(図20A)が、経路線1214と交差する場合、および第2の事前選択された距離を超える曲線1609-1611(図20A)上の点789の間の間隙がない場合、SDSF線プロセッサ1113は、曲線1609-1611(図20A)を(例えば)SDSF線377として識別することを含むことができる。曲線1609-1611(図20A)の第1の事前選択された距離内にある点789の数が、SDSF線377の第1の事前選択された距離内の点789の数を超えない場合、または曲線1609-1611(図20A)が、経路線1214と交差しない場合、または第2の事前選択された距離を超える曲線1609-1611(図20A)上の点789の間の間隙が、存在する場合、およびSDSF線377が、安定したままではない場合、および曲線フィットが、第2の事前選択された回数より多く試行されていない場合、SDSF線プロセッサ1113は、曲線フィットループを再び実行することができる。
継続して図19を参照すると、SDSFコントローラ1127は、SDSF線377、占有グリッド1138、TD配向変化1142、および速度限界1148を受信することができ、SDSF377(図20C)を正しく横断するようにTD101(図20A)を走行させるためのSDSFコマンド1144を発生させることができる。SDSFコントローラ1127は、限定ではないが、障害物プロセッサ1115と、SDSFアプローチ1131と、SDSF横断1133とを含むことができる。障害物プロセッサ1115は、SDSF線377、目標点1139、および占有グリッド1138を受信することができ、占有グリッド1138内に識別される障害物の中から、それらのうちのいずれかが、これがSDSF377(図20C)を横断する際にTD101(図20C)を妨害し得るかどうかを決定することができる。障害物プロセッサ1115は、限定ではないが、障害物セレクタ1117と、障害物テスタ1119と、横断ロケータ1121とを含むことができる。障害物セレクタ1117は、限定ではないが、本明細書に説明されるような占有グリッド1138を受信することを含むことができる。障害物セレクタ1117は、占有グリッド1138および多角形1147の両方に共通である地理的面積から占有グリッド点1608(図20B)およびその関連付けられている確率を選択することを含むことができる。障害物が選択されたグリッド点1608(図20B)に存在する確率が、事前選択されたパーセントより高い場合、および障害物が、TD101(図20A)と目標点1139との間に位置する場合、および障害物が、SDSF線377と目標点1139との間のSDSF線377からの第3の事前選択された距離より近い場合、障害物テスタ1119は、障害物をSDSF線377に投影し、SDSF線377と交差する投影1621を形成することを含むことができる。場所が障害物を含む確率が、事前選択されたパーセントを下回る、またはそれに等しい場合、または障害物が、TD101(図20A)と目標点1139との間に位置しない場合、または障害物が、SDSF線377と目標点1139との間のSDSF線377からの第3の事前選択された距離に等しい、またはそれを上回る距離に位置する場合、障害物テスタ1119は、処理するべきさらなる障害物が、存在する場合、占有グリッド1138を受信することにおける実行を再開することを含むことができる。
継続して図19を参照すると、横断ロケータ1121は、投影点を接続し、SDSF線377に沿った接続された投影1621(図20B)の終点1622/1623(図20B)の位置を特定することを含むことができる。横断ロケータ1121は、投影終点1622/1623(図20B)の間のSDSF線377の部分1624(図20B)を非横断可能としてマーキングすることを含むことができる。横断ロケータ1121は、非横断可能部分1624(図20B)の外側にあるSDSF線377の部分1626(図20B)を横断可能としてマーキングすることを含むことができる。
継続して図19を参照すると、SDSFアプローチ1131は、SDSF線377の横断可能部分1626(図20C)に垂直な第5の事前選択された量以内までTD101(図20C)を方向転換させるためのSDSFコマンド1144を送信することを含むことができる。SDSF線377の横断可能区分1626(図20C)に垂直である、垂直線1627(図20C)に対する進行方向誤差が、第1の事前選択された量を上回る場合、SDSFアプローチ1131は、第9の事前選択された量だけTD101(図20C)を減速させるためのSDSFコマンド1144を送信することを含むことができる。いくつかの構成では、第9の事前選択された量は、非常に遅いものから完全に停止されるものに及ぶことができる。SDSFアプローチ1131は、SDSF線377に向かってTD101(図20C)を前方に走行させるためのSDSFコマンド1144を送信し、進行するメートルあたりの第2の事前選択された量だけTD101(図20C)を減速させるためのSDSFコマンド1144を送信することを含むことができる。TD101(図20C)と横断可能SDSF線1626(図20C)との間の距離が、第4の事前選択された距離を下回る場合、および進行方向誤差が、SDSF線377に垂直な線に対して第3の事前選択された量を上回る、またはそれに等しい場合、SDSFアプローチ1131は、第9の事前選択された量だけTD101(図20C)を減速させるためのSDSFコマンド1144を送信することを含むことができる。
継続して図19を参照すると、進行方向誤差が、SDSF線377に垂直な線に対して第3の事前選択された量を下回る場合、SDSF横断1133は、更新されたSDSF情報を無視し、事前選択された率においてTD101(図20C)を走行させるためのSDSFコマンド1144を送信することを含むことができる。TD配向変化1142が、TD101(図20C)の後縁1703(図20C)に対するTD101(図20C)の前縁1701(図20C)の上昇が、第6の事前選択された量と第5の事前選択された量との間であることを示す場合、SDSF横断1133は、TD101(図20C)を前方に走行させるためのSDSFコマンド1144を送信し、TD101(図20C)の速度を上昇の程度に従って事前選択された率まで増加させるためのSDSFコマンド1144を送信することを含むことができる。TD配向変化1142が、TD101(図20C)の後縁1703(図20C)に対する前縁1701(図20C)の上昇が、第6の事前選択された量を下回ることを示す場合、SDSF横断1133は、第7の事前選択された速度においてTD101(図20C)を前方に走行させるためのSDSFコマンド1144を送信することを含むことができる。TD場所1141が、後縁1703(図20C)が、SDSF線377からの第5の事前選択された距離を上回ることを示す場合、SDSF横断1133は、TD101(図20C)がSDSF377を横断することを完了したことを認めることを含むことができる。TD場所1141が、後縁1703(図20C)が、SDSF線377からの第5の事前選択された距離を下回る、またはそれに等しいことを示す場合、SDSF横断1133は、更新されたSDSF情報を無視することから始まるループを再び実行することを含むことができる。
本明細書に説明される事前選択された値に関するいくつかの例示的範囲は、限定ではないが、表Iに概略されるものを含むことができる。
ここで図21を参照すると、リアルタイムデータ集積を支援するために、いくつかの構成では、本教示のシステムは、例えば、限定ではないが、RGD-Dカメラ画像データ等のデータを受信することに応じて、種々の表面タイプの3次元空間内の場所を生成することができる。本システムは、画像2155を回転させ、それらをカメラ座標系2157からUTM座標系2159に変換することができる。本システムは、変換された画像から多角形ファイルを生成することができ、多角形ファイルは、表面タイプ2161に関連付けられる3次元場所を表すことができる。TD101であって、姿勢2163を有する、TD101によって受信されるカメラ画像2155から特徴2151の位置を特定する方法2150は、限定ではないが、TD101によって、カメラ画像2155を受信することを含むことができる。カメラ画像2155の各々は、画像タイムスタンプ2171を含むことができ、画像2155の各々は、画像色ピクセル2167と、画像深度ピクセル2169とを含むことができる。方法2150は、TD101の姿勢2163を受信することであって、姿勢2163は、姿勢タイムスタンプ2171を有する、ことと、姿勢タイムスタンプ2171に最も近接する画像タイムスタンプ2165を有するカメラ画像2155からの画像を識別することによって、選択された画像2173を決定することとを含むことができる。方法2150は、選択された画像2173内の画像深度ピクセル2169から画像色ピクセル2167を分離することと、画像色ピクセル2167を第1の機械学習モデル2177に提供し、画像深度ピクセル2169を第2の機械学習モデル2179に提供することによって、選択された画像2173に関する画像表面分類2161を決定することとを含むことができる。方法2150は、カメラ画像2173内の特徴の外周点2181を決定することを含むことができ、特徴は、外周内の特徴ピクセル2151を含み、特徴ピクセル2151の各々は、同じ表面分類2161を有し、外周点2181の各々は、座標の組2157を有することができる。方法2150は、座標の組2157の各々をUTM座標2159に変換することを含むことができる。
本教示の構成は、本明細書の説明に議論される方法を遂行するためのコンピュータシステムと、これらの方法を遂行するためのプログラムを含むコンピュータ可読媒体とを対象とする。未加工データおよび結果は、将来の読出および処理のために記憶される、印刷される、表示される、別のコンピュータに転送される、および/または別の場所に転送されることができる。通信リンクは、例えば、セルラー通信システム、軍事通信システム、および衛星通信システムを使用して、有線または無線であり得る。本システムの一部は、可変数のCPUを有するコンピュータ上で動作することができる。他の代替コンピュータプラットフォームも、使用されることができる。
本構成はまた、本明細書に議論される方法を遂行するためのソフトウェア/ファームウェア/ハードウェアと、これらの方法を遂行するためのソフトウェアを記憶するコンピュータ可読媒体とを対象とする。本明細書に説明される種々のモジュールは、同じCPU上で遂行されることができる、または異なるCPU上で遂行されることができる。法令に従って、本構成は、構造的および方法的特徴に関して、多かれ少なかれ具体的な言語で説明された。しかしながら、本構成が、本明細書に開示される手段が、本構成を具体化する好ましい形態を備えているため、示され、説明される具体的特徴に限定されないことを理解されたい。
方法は、全体的または部分的に、電子的に実装されることができる。本システムおよび他の開示される構成の要素によってとられるアクションを表す信号は、少なくとも1つのライブ通信ネットワークを経由して進行することができる。制御およびデータ情報は、少なくとも1つのコンピュータ可読媒体上で電子的に実行および記憶されることができる。本システムは、少なくとも1つのライブ通信ネットワークにおける少なくとも1つのコンピュータノード上で実行されるように実装されることができる。少なくとも1つのコンピュータ可読媒体の一般的形態は、例えば、限定ではないが、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、コンパクトディスク読取専用メモリまたは任意の他の光学媒体、パンチカード、紙テープ、または孔のパターンを伴う任意の他の物理的媒体、ランダムアクセスメモリ、プログラマブル読取専用メモリ、および消去可能プログラマブル読取専用メモリ(EPROM)、フラッシュEPROM、または任意の他のメモリチップまたはカートリッジ、またはそれからコンピュータが読み取り得る任意の他の媒体を含むことができる。さらに、少なくとも1つのコンピュータ可読媒体は、限定ではないが、グラフィック交換フォーマット(GIF)、共同写真専門家グループ(JPEG)、ポータブルネットワークグラフィックス(PNG)、スケーラブルベクターグラフィックス(SVG)、およびタグ付き画像ファイルフォーマット(TIFF)を含む、必要に応じて、適切なライセンスを受ける、任意の形態におけるグラフを含むことができる。
本教示は、具体的構成の観点から上記に説明されたが、それらが、これらの開示される構成に限定されないことを理解されたい。多くの修正および他の構成が、これが関連する当業者に想起され、本開示および添付される請求項の両方によって網羅されることが意図され、網羅される。本教示の範囲が、本明細書および添付される図面における開示に依拠する当業者によって理解されるように、添付される請求項およびそれらの法的均等物の適切な解釈および構築によって決定されるべきであることを意図している。
Claims (34)
- 輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートする方法であって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記方法は、
ルート形態にアクセスすることであって、前記ルート形態は、フィルタリングされた点群データを含む少なくとも1つのグラフ化多角形を含み、前記フィルタリングされた点群データは、標識化された特徴を含み、前記点群データは、走行可能マージンを含む、ことと、
前記点群データをグローバル座標系に変換することと、
前記少なくとも1つの実質的に不連続な表面特徴(SDSF)の境界を決定することと、
前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成することと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定することと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成することと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定することと
を含む、方法。 - 前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、請求項1に記載の方法。 - 輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートするためのシステムであって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、前記システムは、
ルート形態にアクセスする第1のプロセッサであって、前記ルート形態は、フィルタリングされた点群データを含む少なくとも1つのグラフ化多角形を含み、前記フィルタリングされた点群データは、標識化された特徴を含み、前記点群データは、走行可能マージンを含む、第1のプロセッサと、
前記点群データをグローバル座標系に変換する第2のプロセッサと、
前記少なくとも1つのSDSFの境界を決定する第3のプロセッサであって、前記第3のプロセッサは、前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成する、第3のプロセッサと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定する第4のプロセッサと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成する第5のプロセッサと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定する基部コントローラと
を備えている、システム。 - 前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、請求項3に記載のシステム。 - TDによって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートする方法であって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記方法は、
前記表面を表す点群データにアクセスすることと、
前記点群データをフィルタリングすることと、
前記フィルタリングされた点群データを処理可能部分に形成することと、
前記処理可能部分を少なくとも1つの凹多角形に併合することと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFの位置を特定し、それらを標識化することであって、前記位置を特定し、標識化することは、標識化された点群データを形成する、ことと、
少なくとも、前記少なくとも1つの凹多角形に基づいて、グラフ化多角形を作成することであって、前記グラフ化多角形は、ルート形態を形成する、ことと、
前記点群データをグローバル座標系に変換することと、
前記少なくとも1つのSDSFの境界を決定することと、
前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成することと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定することと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成することと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定することと
を含む、方法。 - 前記点群データをフィルタリングすることは、
前記点群データから過渡的な物体を表す点および外れ値を表す点を除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含む、請求項5に記載の方法。 - 前記フィルタリングされた点群データを処理可能部分に形成することは、
前記点群データを前記処理可能部分に分割することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む、請求項5に記載の方法。 - 前記処理可能部分を併合することは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小されたサイズの処理可能部分からの領域を拡大することと、
前記拡大された領域から初期走行可能表面を決定することと、
前記初期走行可能表面を分割およびメッシュ化することと、
前記分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む、請求項5に記載の方法。 - 前記少なくとも1つのSDSFの位置を特定し、それらを標識化することは、
SDSFフィルタに従って、前記走行可能表面の前記点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、複数の基準のうちの少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することであって、前記複数の基準は、i)前記少なくとも3つのカテゴリの点のうちの第1のカテゴリの最小数の点および前記少なくとも3つのカテゴリの点のうちの第2のカテゴリの最小数の点と、ii)前記点群データの点の大部分が前記点群データの対向する半球内に位置することと、iii)前記点群データが前記少なくとも3つのカテゴリの点のうちの少なくとも2つのカテゴリを含むこととを含む、ことと
を含む、請求項8に記載の方法。 - 少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、前記複数の基準のうちの少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することをさらに含む、請求項9に記載の方法。
- グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、前記少なくとも1つの凸多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
前記複数の基準のうちの少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
をさらに含む、請求項10に記載の方法。 - 前記外縁の平滑化は、前記外縁を外側へトリミングし、外側縁を形成することを含む、請求項11に記載の方法。
- 前記平滑化された外縁の前記走行マージンを形成することは、前記外側縁を内側へトリミングすることを含む、請求項12に記載の方法。
- 前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、請求項5に記載の方法。 - 輸送デバイス(TD)によって遭遇される少なくとも1つの実質的に不連続な表面特徴(SDSF)をナビゲートするためのシステムであって、前記TDは、表面上の経路を進行し、前記表面は、前記少なくとも1つのSDSFを含み、前記経路は、開始点と、終了点とを含み、
前記システムは、
前記表面を表す点群データにアクセスする第1のプロセッサと、
前記点群データをフィルタリングする第1のフィルタと、
前記フィルタリングされた点群データから処理可能部分を形成する第2のプロセッサと、
前記処理可能部分を少なくとも1つの凹多角形に併合する第3のプロセッサと、
前記少なくとも1つの凹多角形内の前記少なくとも1つのSDSFの位置を特定し、それらを標識化する第4のプロセッサであって、前記位置を特定し、標識化することは、標識化された点群データを形成する、第4のプロセッサと、
グラフ化多角形を作成する第5のプロセッサと、
ルート形態にアクセスする第6のプロセッサであって、前記ルート形態は、フィルタリングされた点群データを含む少なくとも1つのグラフ化多角形を含み、前記フィルタリングされた点群データは、標識化された特徴を含み、前記点群データは、走行可能マージンを含む、第6のプロセッサと、
前記点群データをグローバル座標系に変換する第7のプロセッサと、
前記少なくとも1つのSDSFの境界を決定する第8のプロセッサであって、前記第8のプロセッサは、前記境界の周囲に事前選択されたサイズのSDSF緩衝を作成する、第8のプロセッサと、
少なくとも、少なくとも1つのSDSF横断基準に基づいて、前記少なくとも1つのSDSFのうちのどれが横断可能であるかを決定する第9のプロセッサと、
少なくとも、前記少なくとも1つのSDSF横断基準、前記変換された点群データ、および前記ルート形態に基づいて、縁/重みグラフを作成する第10のプロセッサと、
少なくとも前記縁/重みグラフに基づいて、前記開始点から前記終了点までの前記経路を選定する基部コントローラと
を備えている、システム。 - 前記第1のフィルタは、
前記点群データから過渡的な物体を表す点および外れ値を表す点を除去することと、
事前選択された高さを有する前記除去された点を置換することと
を含む実行可能コードを含む、請求項15に記載のシステム。 - 前記第2のプロセッサは、
前記点群データを前記処理可能部分に分割することと、
前記処理可能部分から事前選択された高さの点を除去することと
を含む実行可能コードを含む、請求項15に記載のシステム。 - 前記第3のプロセッサは、
外れ値、ボクセル、および法線を分析することによって、前記処理可能部分のサイズを縮小することと、
前記縮小されたサイズの処理可能部分からの領域を拡大することと、
前記拡大された領域から初期走行可能表面を決定することと、
前記初期走行可能表面を分割およびメッシュ化することと、
前記分割およびメッシュ化された初期走行可能表面内の多角形の位置を特定することと、
少なくとも前記多角形に基づいて、少なくとも1つの走行可能表面を設定することと
を含む実行可能コードを含む、請求項15に記載のシステム。 - 前記第4のプロセッサは、
SDSFフィルタに従って、前記走行可能表面の前記点群データをソートすることであって、前記SDSFフィルタは、少なくとも3つのカテゴリの点を含む、ことと、
少なくとも、前記少なくとも3つのカテゴリの点が、組み合わせて、複数の基準のうちの少なくとも1つの第1の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF点の位置を特定することであって、前記複数の基準は、i)前記少なくとも3つのカテゴリの点のうちの第1のカテゴリの最小数の点および前記少なくとも3つのカテゴリの点のうちの第2のカテゴリの最小数の点と、ii)前記点群データの点の大部分が前記点群データの対向する半球内に位置することと、iii)前記点群データが前記少なくとも3つのカテゴリの点のうちの少なくとも2つのカテゴリを含むこととを含む、ことと
を含む実行可能コードを含む、請求項18に記載のシステム。 - 少なくとも、複数の前記少なくとも1つのSDSF点が、組み合わせて、前記複数の基準のうちの少なくとも1つの第2の事前選択された基準を満たすかどうかに基づいて、少なくとも1つのSDSF軌道を作成することを含む実行可能コードを含む、請求項19に記載のシステム。
- グラフ化多角形を作成することは、
前記少なくとも1つの走行可能表面から少なくとも1つの凸多角形を作成することであって、前記少なくとも1つの凸多角形は、外縁を含む、ことと、
前記外縁を平滑化することと、
前記平滑化された外縁に基づいて、走行マージンを形成することと、
前記少なくとも1つのSDSF軌道を前記少なくとも1つの走行可能表面に追加することと、
前記複数の基準のうちの少なくとも1つの第3の事前選択された基準に従って、前記少なくとも1つの走行可能表面から内縁を除去することと
を含む実行可能コードを含む、請求項20に記載のシステム。 - 前記外縁の平滑化は、前記外縁を外側へトリミングし、外側縁を形成することを含む実行可能コードを含む、請求項21に記載のシステム。
- 前記平滑化された外縁の前記走行マージンを形成することは、前記外側縁を内側へトリミングすることを含む実行可能コードを含む、請求項22に記載のシステム。
- 前記少なくとも1つのSDSF横断基準は、
前記少なくとも1つのSDSFの事前選択された幅および前記少なくとも1つのSDSFの事前選択された平滑度と、
走行可能表面を含む前記少なくとも1つのSDSFと前記TDとの間の最小進入距離および最小退出距離と
を備え、
前記少なくとも1つのSDSFと前記TDとの間の前記最小進入距離は、前記TDによる前記少なくとも1つのSDSFへの約90°アプローチを可能にする、請求項15に記載のシステム。 - 少なくとも1つの実質的に不連続な表面特徴(SDSF)を横断する目標点に向かって進行エリア内の経路線に沿って輸送デバイス(TD)をナビゲートする方法であって、前記TDは、前縁と、後縁とを含み、前記SDSFは、SDSF点を含み、
前記方法は、
前記進行エリアに関するSDSF情報および障害物情報を受信することと、
前記SDSF情報から少なくとも1つの候補SDSFを検出することと、
少なくとも1つの選択基準に基づいて、前記少なくとも1つの候補SDSFからSDSF線を選択することと、
前記選択されたSDSF線の近傍の前記障害物情報において見出される少なくとも1つの障害物の少なくとも1つの場所に基づいて、前記選択されたSDSF線の少なくとも1つの横断可能部分を決定することと、
前記少なくとも1つの横断可能部分に垂直な進行経路に沿って進行するように前記TDを方向転換することによって、前記少なくとも1つの横断可能部分のほうへ前記TDを向け、第1の速度において動作させることと、
進行方向と前記進行経路との間の関係に基づいて、前記TDの進行方向を常に補正することと、
少なくとも前記進行方向および前記TDと前記少なくとも1つの横断可能部分との間の距離に基づいて、前記TDの第1の速度を調節することによって、第2の速度において前記TDを走行させることと、
前記少なくとも1つの横断可能部分に関連付けられたSDSFが、前記進行エリアの表面に対して高い場合、前記後縁に対して前記前縁を上昇させ、上昇の程度に従って第3の増加させられた速度において前記TDを走行させることによって、前記SDSFを横断することと、
前記TDが前記SDSFを通過するまで、第4の速度において前記TDを走行させることと
を含む、方法。 - 前記SDSF情報から少なくとも1つの候補SDSFを検出することは、
(a)前記TDのTD場所と前記目標点の目標点場所とを包含する閉じた多角形を描くことと、
(b)前記目標点場所と前記TD場所との間に直線を描くことと、
(c)前記SDSF情報から前記SDSF点のうちの2つを選択することであって、前記2つのSDSF点は、前記閉じた多角形内に位置している、ことと、
(d)前記2つのSDSF点間にSDSF線を描くことと、
(e)前記SDSF線の前記第1の事前選択された距離内に第1の事前選択された数より少ない点がある場合、かつ、前記SDSF点を選定することにおいて第2の事前選択された回数より少ない試行がなされている場合、ステップ(c)-(e)を繰り返すことと、
(f)前記第1の事前選択された数以上の点がある場合、前記SDSF線の前記第1の事前選択された距離内に含まれる前記SDSF点に曲線をフィッティングすることと、
(g)前記曲線の前記第1の事前選択された距離内にある前記SDSF点の第1の数が、前記SDSF線の前記第1の事前選択された距離内の前記SDSF点の第2の数を超える場合、かつ、前記曲線が前記直線と交差する場合、かつ、第2の事前選択された距離を超える前記曲線上の前記SDSF点間の間隙がない場合、前記曲線を前記SDSF線として識別することと、
(h)前記曲線の前記第1の事前選択された距離内にある点の第1の数が、前記SDSF線の前記第1の事前選択された距離内の点の第2の数を超えない場合、または、前記曲線が前記直線と交差しない場合、または、前記第2の事前選択された距離を超える前記曲線上の前記SDSF点間の間隙がある場合、かつ、前記SDSF線が、安定したままではない場合、かつ、ステップ(f)-(h)が前記第2の事前選択された回数より多く試行されていない場合、ステップ(f)-(h)を繰り返すことと
を含む、請求項25に記載の方法。 - 前記閉じた多角形は、事前選択された幅を含むことができる、請求項26に記載の方法。
- 前記事前選択された幅は、前記TDの幅寸法を備えている、請求項27に記載の方法。
- 前記SDSF点を選択することは、ランダム選択を含む、請求項26に記載の方法。
- 前記少なくとも1つの選択基準は、
前記曲線の前記第1の事前選択された距離内の前記SDSF点の第1の数が前記SDSF線の前記第1の事前選択された距離内のSDSF点の第2の数を超えることと、
前記曲線が前記直線と交差することと、
前記曲線上の前記SDSF点間の間隙が第2の事前選択された距離を超えないことと
を備えている、請求項26に記載の方法。 - 前記選択されたSDSFの少なくとも1つの横断可能部分を決定することは、
前記障害物情報から複数の障害物点を選択することであって、前記複数の障害物点の各々は、前記複数の障害物点の各々が前記少なくとも1つの障害物に関連付けられている確率を含む、ことと、
前記確率が事前選択されたパーセントより高く、前記複数の障害物点のうちのいずれかが前記SDSF線と前記目標点との間に位置している場合、および前記複数の障害物点のうちのいずれかが前記SDSF線から第3の事前選択された距離より近い場合、前記複数の障害物点を前記SDSF線に投影し、少なくとも1つの投影を形成することと、
前記少なくとも1つの投影のうちの少なくとも2つを互いに接続することと、
前記SDSF線に沿って前記接続された少なくとも2つの投影の終点の位置を特定することと、
前記接続された少なくとも2つの投影を非横断可能区分としてマーキングすることと、
前記非横断可能区分の外側の前記SDSF線を少なくとも1つの横断可能区分としてマーキングすることと
を含む、請求項25に記載の方法。 - ある姿勢を有するロボットによって受信されたカメラ画像から特徴の位置を特定する方法であって、前記方法は、
前記ロボット上に搭載されたセンサから前記カメラ画像を受信することであって、前記カメラ画像の各々は、画像タイムスタンプを含み、前記カメラ画像の各々は、画像色ピクセルと画像深度ピクセルとを有する、ことと、
前記ロボットの前記姿勢を受信することであって、前記姿勢は、姿勢タイムスタンプを有する、ことと、
前記姿勢タイムスタンプに最も近い画像タイムスタンプを有する前記カメラ画像のうちの1つを識別することによって、選択されたカメラ画像を決定することと、
前記選択されたカメラ画像において前記画像深度ピクセルから前記画像色ピクセルを分離することと、
前記画像色ピクセルを第1の機械学習モデルに提供し、前記画像深度ピクセルを第2の機械学習モデルに提供することによって、前記選択されたカメラ画像に関する画像表面分類を決定することと、
前記選択されたカメラ画像における特徴の外周点を決定することであって、前記特徴は、前記外周点によって定義される外周内の特徴ピクセルを含み、前記特徴ピクセルの各々は、同じ表面分類を有し、前記外周点の各々は、座標の組を有する、ことと、
前記座標の組の各々をUTM座標に変換することと
を含む、方法。 - マップ内に少なくとも1つの実質的に不連続な表面特徴(SDSF)を含める方法であって、前記マップは、輸送デバイスによって使用され、前記輸送デバイスは、前記少なくとも1つのSDSFを横断し、前記方法は、
点群データセットから過渡的なデータを除去することであって、前記除去することは、処理された点群データを形成する、ことと、
前記処理された点群データを事前選択された数の点を有する区分に分割することと、
前記分割された処理された点群データから点を除去することであって、前記除去された点は、事前選択された高さ値を有し、前記除去することは、分割された点群データを形成する、ことと、
前記分割された点群データから、事前選択されたサイズを有する凹多角形を発生させることと、
前記凹多角形内の点を事前選択された数のカテゴリに編成することと、
複数の基準のうちの第1の事前選択された基準を前記カテゴリに適用し、フィルタリングされたカテゴリを形成することであって、前記複数の基準は、i)少なくとも3つのカテゴリの点のうちの第1のカテゴリの最小数の点および前記少なくとも3つのカテゴリの点のうちの第2のカテゴリの最小数の点と、ii)前記点群データの点の大部分が前記点群データの対向する半球内に位置することと、iii)前記点群データが前記少なくとも3つのカテゴリの点のうちの少なくとも2つのカテゴリを含むこととを含む、ことと、
前記フィルタリングされたカテゴリを平均化することと、
前記平均化されたフィルタリングされたカテゴリを一緒に接続し、前記少なくとも1つのSDSFを形成することと、
前記凹多角形を前記少なくとも1つのSDSFと組み合わせ、併合された多角形を形成することと、
前記複数の基準のうちの第2の事前選択された基準に従って、前記併合された多角形をフィルタリングすることと、
前記マップを前記輸送デバイスに提供することと
を含む、方法。 - 前記凹多角形内の点を上側ドーナツ点、下側ドーナツ点、および円筒点としてカテゴリ化することをさらに含む、請求項33に記載の方法。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962809973P | 2019-02-25 | 2019-02-25 | |
US62/809,973 | 2019-02-25 | ||
US201962851266P | 2019-05-22 | 2019-05-22 | |
US62/851,266 | 2019-05-22 | ||
US201962851881P | 2019-05-23 | 2019-05-23 | |
US62/851,881 | 2019-05-23 | ||
JP2021549700A JP7497365B2 (ja) | 2019-02-25 | 2020-02-25 | 表面特徴検出および横断のためのシステムおよび方法 |
PCT/US2020/019670 WO2020176480A1 (en) | 2019-02-25 | 2020-02-25 | System and method for surface feature detection and traversal |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021549700A Division JP7497365B2 (ja) | 2019-02-25 | 2020-02-25 | 表面特徴検出および横断のためのシステムおよび方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024105351A true JP2024105351A (ja) | 2024-08-06 |
Family
ID=69846611
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021549700A Active JP7497365B2 (ja) | 2019-02-25 | 2020-02-25 | 表面特徴検出および横断のためのシステムおよび方法 |
JP2023022202A Pending JP2023065477A (ja) | 2019-02-25 | 2023-02-16 | 表面特徴検出および横断のためのシステムおよび方法 |
JP2024071386A Pending JP2024105351A (ja) | 2019-02-25 | 2024-04-25 | 表面特徴検出および横断のためのシステムおよび方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021549700A Active JP7497365B2 (ja) | 2019-02-25 | 2020-02-25 | 表面特徴検出および横断のためのシステムおよび方法 |
JP2023022202A Pending JP2023065477A (ja) | 2019-02-25 | 2023-02-16 | 表面特徴検出および横断のためのシステムおよび方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US12055939B2 (ja) |
EP (2) | EP3931657B1 (ja) |
JP (3) | JP7497365B2 (ja) |
CN (2) | CN113632035B (ja) |
AU (2) | AU2020229324B2 (ja) |
CA (2) | CA3221825A1 (ja) |
GB (2) | GB2596475B (ja) |
IL (1) | IL285836A (ja) |
MX (1) | MX2021010270A (ja) |
WO (1) | WO2020176480A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11176735B2 (en) * | 2019-05-28 | 2021-11-16 | Applied Intuition, Inc. | Map data filtering for simulated-driving-environment generation |
KR102481537B1 (ko) * | 2020-12-08 | 2022-12-23 | 주식회사 한화방산 | 영상 데이터와 지형 고도 데이터를 이용하여 이동체의 방위각 및 자세를 추정하는 장치 및 방법 |
US12073507B2 (en) * | 2022-07-09 | 2024-08-27 | Adobe Inc. | Point-based neural radiance field for three dimensional scene representation |
CN116452775B (zh) * | 2023-06-14 | 2023-09-19 | 北京飞渡科技股份有限公司 | 一种建筑立面划分方法、装置、介质及设备 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU774742B2 (en) | 1999-03-15 | 2004-07-08 | Deka Products Limited Partnership | Control system and method for wheelchair |
US8717456B2 (en) * | 2002-02-27 | 2014-05-06 | Omnivision Technologies, Inc. | Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing |
JP4043416B2 (ja) | 2003-07-30 | 2008-02-06 | オリンパス株式会社 | 安全移動支援装置 |
DE102005055087A1 (de) | 2005-11-18 | 2007-05-24 | Robert Bosch Gmbh | Scheinwerfermodul mit integriertem Licht-Regensensor |
US20090105939A1 (en) | 2007-10-22 | 2009-04-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicle navigation system with obstacle avoidance |
US8384776B2 (en) * | 2009-04-22 | 2013-02-26 | Toyota Motor Engineering And Manufacturing North America, Inc. | Detection of topological structure from sensor data with application to autonomous driving in semi-structured environments |
US8392117B2 (en) | 2009-05-22 | 2013-03-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Using topological structure for path planning in semi-structured environments |
US20140125671A1 (en) * | 2010-09-16 | 2014-05-08 | Borys Vorobyov | System and Method for Detailed Automated Feature Extraction from Data Having Spatial Coordinates |
KR101209573B1 (ko) | 2010-11-16 | 2012-12-07 | 한국과학기술연구원 | 거리 센서를 이용한 연석 탐지 방법 및 이를 이용한 무인 자율 주행 차량 |
DE102013210263A1 (de) | 2013-06-03 | 2014-12-04 | Robert Bosch Gmbh | Belegungskarte für ein Fahrzeug |
US9395192B1 (en) * | 2013-12-20 | 2016-07-19 | Google Inc. | Methods and systems for road and lane boundary tracing |
US9285230B1 (en) | 2013-12-20 | 2016-03-15 | Google Inc. | Methods and systems for detecting road curbs |
JP6374695B2 (ja) | 2014-04-28 | 2018-08-15 | 日立建機株式会社 | 路肩検出システムおよび鉱山用運搬車両 |
EP4187523A1 (en) | 2014-05-14 | 2023-05-31 | Mobileye Vision Technologies Ltd. | Systems and methods for curb detection and pedestrian hazard assessment |
DE102014110413B4 (de) * | 2014-07-23 | 2016-05-25 | Kastanienbaum GmbH | Gelenkverbindung für einen Roboter mit Drehmomentwelligkeit reduziertem Antrieb |
US9529087B2 (en) | 2014-07-24 | 2016-12-27 | GM Global Technology Operations LLC | Curb detection using lidar with sparse measurements |
JP6315696B2 (ja) * | 2014-09-29 | 2018-04-25 | 日立建機株式会社 | 運搬車両の停止位置算出装置 |
CN114859915A (zh) * | 2016-03-07 | 2022-08-05 | 洋马动力科技有限公司 | 行驶区域形状登记系统 |
JP6652865B2 (ja) * | 2016-03-18 | 2020-02-26 | 株式会社パスコ | 地物検出装置、地物検出方法及びプログラム |
WO2017195403A1 (ja) * | 2016-05-10 | 2017-11-16 | 株式会社Jvcケンウッド | 車両用表示装置および車両用表示方法およびプログラム |
US10108866B2 (en) | 2016-05-26 | 2018-10-23 | GM Global Technology Operations LLC | Method and system for robust curb and bump detection from front or rear monocular cameras |
US9995587B2 (en) | 2016-08-11 | 2018-06-12 | GM Global Technology Operations LLC | System to develop topographical data |
CN106406189A (zh) * | 2016-11-28 | 2017-02-15 | 中国农业大学 | 一种无人机植保作业的电子围栏监控方法 |
CA3043940A1 (en) * | 2016-12-22 | 2018-06-28 | Macdonald, Dettwiler And Associates Inc. | Unobtrusive driving assistance method and system for a vehicle to avoid hazards |
CN111108342B (zh) * | 2016-12-30 | 2023-08-15 | 辉达公司 | 用于高清地图创建的视觉测程法和成对对准 |
US11043026B1 (en) * | 2017-01-28 | 2021-06-22 | Pointivo, Inc. | Systems and methods for processing 2D/3D data for structures of interest in a scene and wireframes generated therefrom |
JP6878045B2 (ja) * | 2017-02-28 | 2021-05-26 | 国立研究開発法人理化学研究所 | 点群データの抽出方法、及び点群データの抽出装置 |
JP6934224B2 (ja) * | 2017-04-17 | 2021-09-15 | 凸版印刷株式会社 | 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム |
JP6700382B2 (ja) | 2017-04-19 | 2020-05-27 | バイドゥドットコム タイムズ テクノロジー (ベイジン) カンパニー リミテッドBaidu.com Times Technology (Beijing) Co., Ltd. | 車線縁石補助による自律走行車の車線逸脱検出及び車線維持システム |
US10222215B2 (en) | 2017-04-21 | 2019-03-05 | X Development Llc | Methods and systems for map generation and alignment |
KR102070068B1 (ko) | 2017-11-30 | 2020-03-23 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
CN115783085A (zh) | 2018-03-14 | 2023-03-14 | 联邦快递服务公司 | 导航到指定装运位置作为多路程物流的部分的方法和系统 |
CN108898672A (zh) * | 2018-04-27 | 2018-11-27 | 厦门维斯云景信息科技有限公司 | 一种制作三维高清道路图车道线的半自动点云方法 |
CN110458854B (zh) | 2018-05-02 | 2022-11-15 | 北京图森未来科技有限公司 | 一种道路边缘检测方法和装置 |
US10921817B1 (en) * | 2018-06-29 | 2021-02-16 | Zoox, Inc. | Point cloud filtering with semantic segmentation |
US11199853B1 (en) * | 2018-07-11 | 2021-12-14 | AI Incorporated | Versatile mobile platform |
CN109116858B (zh) * | 2018-11-07 | 2021-09-07 | 诺亚机器人科技(上海)有限公司 | 一种在指定路径上的绕障路径规划方法及系统 |
CN112005079B (zh) * | 2019-01-03 | 2022-08-09 | 北京嘀嘀无限科技发展有限公司 | 用于更新高清地图的系统和方法 |
CN111949112A (zh) * | 2019-05-14 | 2020-11-17 | Oppo广东移动通信有限公司 | 对象交互方法及装置、系统、计算机可读介质和电子设备 |
US11927457B2 (en) * | 2019-07-10 | 2024-03-12 | Deka Products Limited Partnership | System and method for real time control of an autonomous device |
-
2020
- 2020-02-25 WO PCT/US2020/019670 patent/WO2020176480A1/en unknown
- 2020-02-25 CA CA3221825A patent/CA3221825A1/en active Pending
- 2020-02-25 GB GB2113693.2A patent/GB2596475B/en active Active
- 2020-02-25 CN CN202080025615.3A patent/CN113632035B/zh active Active
- 2020-02-25 CN CN202410356222.0A patent/CN118394066A/zh active Pending
- 2020-02-25 CA CA3131838A patent/CA3131838A1/en active Pending
- 2020-02-25 GB GB2308339.7A patent/GB2615724B/en active Active
- 2020-02-25 AU AU2020229324A patent/AU2020229324B2/en active Active
- 2020-02-25 US US16/800,497 patent/US12055939B2/en active Active
- 2020-02-25 EP EP20712791.1A patent/EP3931657B1/en active Active
- 2020-02-25 MX MX2021010270A patent/MX2021010270A/es unknown
- 2020-02-25 EP EP24169138.5A patent/EP4386507A1/en active Pending
- 2020-02-25 JP JP2021549700A patent/JP7497365B2/ja active Active
-
2021
- 2021-08-24 IL IL285836A patent/IL285836A/en unknown
-
2023
- 2023-02-16 JP JP2023022202A patent/JP2023065477A/ja active Pending
-
2024
- 2024-04-25 JP JP2024071386A patent/JP2024105351A/ja active Pending
- 2024-05-09 AU AU2024203080A patent/AU2024203080A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3931657A1 (en) | 2022-01-05 |
CN118394066A (zh) | 2024-07-26 |
GB2615724A (en) | 2023-08-16 |
GB2615724B (en) | 2024-02-07 |
EP4386507A1 (en) | 2024-06-19 |
CA3131838A1 (en) | 2020-09-03 |
JP2023065477A (ja) | 2023-05-12 |
AU2020229324A1 (en) | 2021-10-28 |
JP7497365B2 (ja) | 2024-06-10 |
IL285836A (en) | 2021-10-31 |
WO2020176480A1 (en) | 2020-09-03 |
JP2022521550A (ja) | 2022-04-08 |
EP3931657B1 (en) | 2024-04-10 |
GB202113693D0 (en) | 2021-11-10 |
MX2021010270A (es) | 2021-12-10 |
US20200271451A1 (en) | 2020-08-27 |
AU2024203080A1 (en) | 2024-05-30 |
GB202308339D0 (en) | 2023-07-19 |
US12055939B2 (en) | 2024-08-06 |
GB2596475A (en) | 2021-12-29 |
AU2020229324B2 (en) | 2024-05-16 |
CN113632035A (zh) | 2021-11-09 |
CN113632035B (zh) | 2024-07-12 |
GB2596475B (en) | 2023-07-19 |
CA3221825A1 (en) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7497365B2 (ja) | 表面特徴検出および横断のためのシステムおよび方法 | |
US11162788B2 (en) | Classification of surfaces as hard/soft for combining data captured by autonomous vehicles for generating high definition maps | |
US20240247945A1 (en) | System and method for real time control of an autonomous device | |
JP2022524069A (ja) | 自律走行車のナビゲーション用高精度地図を生成するためのポーズグラフの分散処理 | |
CN108763287A (zh) | 大规模可通行区域驾驶地图的构建方法及其无人驾驶应用方法 | |
KR20220034843A (ko) | 자율 디바이스의 실시간 제어를 위한 시스템 및 방법 | |
US20220163346A1 (en) | Method and apparatus for generating a map for autonomous driving and recognizing location | |
US12025465B2 (en) | Drivable surface map for autonomous vehicle navigation | |
CN117289301A (zh) | 一种未知越野场景下空地无人平台协同路径规划方法 | |
WO2023069398A1 (en) | Drivable surface map for autonomous vehicle navigation | |
Yang et al. | An optimization-based selection approach of landing sites for swarm unmanned aerial vehicles in unknown environments | |
CN117788695A (zh) | 自动化的基于点云的配网设备模型生成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240425 |