JP7295234B2 - 自律運転マシンのための回帰ベースの線分検出 - Google Patents
自律運転マシンのための回帰ベースの線分検出 Download PDFInfo
- Publication number
- JP7295234B2 JP7295234B2 JP2021526209A JP2021526209A JP7295234B2 JP 7295234 B2 JP7295234 B2 JP 7295234B2 JP 2021526209 A JP2021526209 A JP 2021526209A JP 2021526209 A JP2021526209 A JP 2021526209A JP 7295234 B2 JP7295234 B2 JP 7295234B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- line
- pixels
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title description 38
- 238000010801 machine learning Methods 0.000 claims description 135
- 238000000034 method Methods 0.000 claims description 113
- 239000013598 vector Substances 0.000 claims description 83
- 238000000354 decomposition reaction Methods 0.000 claims description 72
- 238000013528 artificial neural network Methods 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims 3
- 230000006870 function Effects 0.000 description 65
- 230000015654 memory Effects 0.000 description 53
- 238000012545 processing Methods 0.000 description 49
- 238000013527 convolutional neural network Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 38
- 230000000670 limiting effect Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 17
- 238000007726 management method Methods 0.000 description 16
- 230000001133 acceleration Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 11
- 238000012800 visualization Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000011176 pooling Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 230000008447 perception Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000013439 planning Methods 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 5
- 235000019800 disodium phosphate Nutrition 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 241000269400 Sirenidae Species 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 125000000914 phenoxymethylpenicillanyl group Chemical group CC1(S[C@H]2N([C@H]1C(=O)*)C([C@H]2NC(COC2=CC=CC=C2)=O)=O)C 0.000 description 4
- 229920002451 polyvinyl alcohol Polymers 0.000 description 4
- 235000019422 polyvinyl alcohol Nutrition 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101100175317 Danio rerio gdf6a gene Proteins 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 1
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000001693 membrane extraction with a sorbent interface Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0077—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements using redundant signals or controls
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/228—Command input arrangements located on-board unmanned vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0418—Architecture, e.g. interconnection topology using chaos or fractal principles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
ここで図1Aを参照すると、図1Aは、本開示のいくつかの実施例による、マシン学習モデルを使用する線予測のための例示的プロセス100を示すデータ流れ図である。高いレベルで、プロセス100は、1個又は複数のマシン学習モデル104が1個又は複数の入力、たとえば、画像データ102、を受信することと、1個又は複数の出力、たとえば、画素距離108、角度110、線クラス112、及び/又はクラスタ・ベクトル114、を生成することとを含み得る。画像データ102は、自律型車両(たとえば、少なくとも図10A~10Dに関して本明細書で説明されているような車両1000)の1個又は複数のカメラによって、生成され得る。いくつかの実施例において、画像データ102は、他のタイプのセンサ・データ、たとえば、1個又は複数のLIDARセンサ1064からのLIDARデータ、1個又は複数のRADARセンサ1060からのRADARデータ、1個又は複数のマイクロフォン1096からのオーディオ・データなど、を追加で又は別法として含み得る。マシン学習モデル104は、自律運転ソフトウェア・スタックの知覚構成要素、世界モデル管理構成要素、プランニング構成要素、制御構成要素、及び/又は他の構成要素によって使用され得る出力106を生成するようにトレーニングされ得る。たとえば、車両1000に関して、線122は、環境内の1個又は複数の動作(たとえば、進路プランニング、マッピングなど)の実行において自律型車両1000を支援するために、環境を自律型車両1000のコントローラ1136、ADASシステム1138、SOC1104、及び/又は他の構成要素に知らせるために使用され得る。
ここで図5を参照すると、図5は、本開示のいくつかの実施例による、線予測のためにマシン学習モデルをトレーニングするための例示的プロセス500を示すデータ流れ図である。グラウンド・トゥルース・データ502は、注釈データ、たとえば、ラベル、を含み得る。グラウンド・トゥルース・データ502は、手動ラベリング及び/又は自動ラベリングによって、生成され得る。たとえば、グラウンド・トゥルース・データ502のために使用されるラベル又は他の注釈データは、合成的に製造すること(たとえば、コンピュータ・モデル又はレンダリングから生成すること)、現実製造すること(たとえば、現実世界データから設計及び製造すること)、マシンにより自動化すること(たとえば、特徴分析を使用して、データから特徴を抽出し、次いで、ラベルを生成することを学習すること)、人が注釈を付けること(たとえば、ラベラ、又は注釈エキスパート、が、ラベルの位置を定義する)、及び/又はその組合せ(たとえば、ポリライン点に人が注釈を付け、ラスタライザがポリライン点から完全なポリゴンを生成する)が可能である。一部の実例では、各入力画像について、又は各入力センサ・データ表現について、グラウンド・トゥルース・データ502としての対応するラベル又は注釈が存在し得る。
そこで、Lwithinは、クラスタ内の損失関数508を示し、Lbetweenは、クラスタ間の損失関数508を示し、Kは、グラウンド・トゥルース・データ502内のクラス・インスタンスの数であり、ci,i=1,2,3,・・・は、クラスタIDである。一部の実施例では、最終損失関数508は、Lwithin及びLbetweenの線形結合になり得る。全損失は、高次元クラスタ・ベクトル114が同じクラスタ又は異なるクラスタに属するかどうかを判定するために、閾値と比較され得る。
図10Aは、本開示のいくつかの実施例による、例示的自律型車両1000の図である。自律型車両1000(或いは本明細書で「車両1000」と称される)は、旅客車両、たとえば、乗用車、トラック、バス、ファースト・レスポンダ車両、シャトル、電気又は原動機付自転車、オートバイ、消防車、警察車両、救急車、ボート、建設車両、潜水艦、ドローン、及び/又は別のタイプの車両(たとえば、無人の及び/又は1人若しくは複数の旅客を乗せる)、を含み得るが、これに限定されない。自律型車両は、一般に、米国運輸省道路交通安全局(NHTSA:National Highway Traffic Safety Administration)、米国運輸省の部署、及び自動車技術者協会(SAE:Society of Automotive Engineers)「Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicle」(2018年6月15日に公開された規格番号J3016-201806、2016年9月30日に公開された規格番号J3016-201609、及びこの規格の前の及び未来のバージョン)によって定義される、自動化レベルに関して記述される。移動車1000は、自律運転レベルのレベル3~レベル5のうちの1個又は複数による機能の能力を有し得る。たとえば、移動車1000は、実施例に応じて、条件付き自動化(レベル3)、高度自動化(レベル4)、及び/又は完全自動化(レベル5)の能力を有し得る。
図11は、本開示のいくつかの実施例の実装に使用するのに適した計算デバイス1100の一実例のブロック図である。計算デバイス1100は、以下のデバイスを間接的に又は直接的につなぐバス1102を含み得る:メモリ1104、1個又は複数の中央処理装置(CPU)1106、1個又は複数のグラフィック処理ユニット(GPU)1108、通信インターフェース1110、入力/出力(I/O)ポート1112、入力/出力構成要素1114、電力供給装置1116、及び1個又は複数の提示構成要素1118(たとえば、ディスプレイ)。
Claims (20)
- 画像を表す画像データを受信するステップと、第1の空間分解における前記画像データをマシン学習モデルに適用するステップと、前記マシン学習モデルによって及び前記画像データに少なくとも部分的に基づいて、前記第1の空間分解より小さい第2の空間分解に対応する複数の第2の画素のそれぞれの画素距離を計算するステップであって、前記画素距離は、前記第1の空間分解における第1の画素と前記画像内の線に対応する前記第1の空間分解における最も近い線画素との間の距離に対応する、計算するステップと、前記第2の空間分解における前記第2の画素の第2の画素座標を前記第1の空間分解における第1の画素座標に変換するステップと、複数の変換後の結果のうち少なくとも1つに基づいて、前記第1の空間分解における前記第1の画素座標に関する前記画素距離を使用して前記画像内の線画素の位置を判定するステップと、を含む方法。
- 前記第2の空間分解が、前記第1の空間分解に対してN分の1の分解を備え、前記第2の画素座標を前記第1の画素座標に変換する前記ステップが、前記第2の画素座標にNを掛けるステップを含む、請求項1に記載の方法。
- 前記第1の空間分解における前記第1の画素座標に関する前記画素距離を使用して前記画像内の前記線画素の前記位置を判定する前記ステップが、前記第1の空間分解における前記第1の画素のそれぞれへの投票の数を、前記画素距離に少なくとも部分的に基づいて、判定するステップと、投票の閾値数より多い投票を有する前記第1の画素のうちの各第1の画素について、前記線画素のうちの1個が前記第1の画素に位置すると判定するステップとを含む、請求項1に記載の方法。
- 前記第1の画素への自己投票が、前記第1の画素への他の画素投票より高い重みを与えられる、請求項3に記載の方法。
- 前記第2の空間分解における前記第2の画素のそれぞれに対応するラベル・クラスを、前記マシン学習モデルによって及び前記画像データに少なくとも部分的に基づいて、計算するステップをさらに含む、請求項1に記載の方法。
- 前記ラベル・クラスが、前記ラベル・クラスに対応するビット値として計算される、請求項5に記載の方法。
- 前記第2の空間分解における前記第2の画素のそれぞれに対応する角度を、前記マシン学習モデルによって及び前記画像データに少なくとも部分的に基づいて、計算するステップと、前記角度を使用して前記画像内の線の少なくとも一部分のジオメトリを判定するステップをさらに含む、請求項1に記載の方法。
- 前記線画素のそれぞれに対応する正接値を、前記マシン学習モデルによって及び前記画像データに少なくとも部分的に基づいて、計算するステップと、前記正接値を使用して前記画像内の線の少なくとも一部分のジオメトリを判定するステップとをさらに含む、請求項1に記載の方法。
- 高次元ベクトルのクラスタを、前記マシン学習モデルによって及び前記画像データに少なくとも部分的に基づいて、計算するステップと、前記画像内の同じ線に対応する前記線画素を、前記クラスタに少なくとも部分的に基づいて、判定するステップと、前記同じ線に対応する前記線画素を使用して前記画像に関する前記線の表現を生成するステップとをさらに含む、請求項1に記載の方法。
- 画像を表す画像データを受信するステップと、前記画像に関連する1個又は複数のラベル及び対応するラベル・クラスを表す注釈データを受信するステップと、前記画像の画素のうちの各画素について、前記1個又は複数のラベルのうちの1ラベルに関連する最も近い線画素までの画素距離を計算するステップ、及び、前記ラベルに関連する前記画素までの前記画素距離及びラベル・クラスをエンコードしてグラウンド・トゥルース・データを生成するステップと、前記グラウンド・トゥルース・データを使用してニューラル・ネットワークをトレーニングするステップとを含む、方法。
- 前記1個又は複数のラベルに対応する前記画素の各ラベル画素について、前記線画素の画素の行と平行に伸びる水平線と前記線画素に対応するラベルとの間の角度を判定するステップ、及び、前記グラウンド・トゥルース・データと前記角度に対応する角度データをエンコードするステップと、前記エンコードされた角度データと前記グラウンド・トゥルース・データをさらに使用して前記ニューラル・ネットワークをトレーニングするステップとをさらに含む、請求項10に記載の方法。
- 前記ラベルに関連する前記ラベル・クラスをエンコードする前記ステップが、前記ラベルに対応するビット値をエンコードするステップを含む、請求項10に記載の方法。
- 前記最も近い線画素までの前記画素距離を判定する前記ステップが、前記画素の行の画素において前記最も近い線画素までの前記画素距離を判定するステップを含み、前記画素までの前記画素距離をエンコードする前記ステップが、前記画素の前記行の画素に沿った前記画素距離をエンコードするステップを含む、請求項10に記載の方法。
- 前記最も近い線画素までの前記画素距離を判定する前記ステップが、前記画素の行の画素に沿った第1の画素距離及び前記画素の列の画素に沿った第2の画素距離として前記ラベルに関連する前記最も近い線画素までの前記画素距離を判定するステップを含み、前記画素までの前記画素距離をエンコードする前記ステップが、前記画素の前記行の画素に沿った前記第1の画素距離及び前記画素の前記列の画素に沿った前記第2の画素距離として前記画素距離をエンコードするステップを含む、請求項10に記載の方法。
- 前記1個又は複数のラベルに対応する前記画素の各線画素について、前記線画素における前記ラベルの正接を判定するステップ、及び、前記グラウンド・トゥルース・データと前記線画素の前記正接に対応する正接データをエンコードするステップと、前記エンコードされた正接データを有する前記グラウンド・トゥルース・データをさらに使用して前記ニューラル・ネットワークをトレーニングするステップとをさらに含む、請求項10に記載の方法。
- 前記注釈データがさらに、前記ラベルのクラスタ・ラベルを表し、前記方法が、前記画素を高次元ベクトルにマップするステップと、前記高次元ベクトル間の距離を判定するステップと、前記高次元ベクトルのうちの他のベクトルまでの閾値距離内の前記高次元ベクトルをともにクラスタ化するように、第3のグラウンド・トゥルース・データとしての前記クラスタ・ラベルの使用に少なくとも部分的に基づいて、前記ニューラル・ネットワークをトレーニングするステップとをさらに含む、請求項10に記載の方法。
- 前記高次元ベクトルのうちの前記他のベクトルの前記閾値距離内の前記高次元ベクトルが、前記画像内の同じ線に対応すると判定される、請求項16に記載の方法。
- 物理環境の視界を有する車両の画像センサによって生成された画像を表す画像データを受信するステップと、第1の空間分解における前記画像データをマシン学習モデルに適用するステップと、前記マシン学習モデルによって及び第2の空間分解における各画素について、前記第1の空間分解における前記画素の第1の位置と前記第1の空間分解における最も近い線画素の第2の位置との間の画素距離、及び、前記最も近い線画素に対応する前記第2の位置における線の角度を計算するステップと、前記線のジオメトリを、各画素の前記画素距離及び前記角度に少なくとも部分的に基づいて、判定するステップと、前記ジオメトリを少なくとも1個の他のアプリケーションに送るステップとを含む、方法。
- 前記マシン学習モデルによって及び前記第2の空間分解における各画素について計算する前記ステップが、前記最も近い線画素の線クラスに対応するビット値を計算するステップと、前記ビット値に少なくとも部分的に基づいて前記線クラスを判定するステップとを含み、前記1個又は複数の動作を実行する前記ステップがさらに、前記線クラスに少なくとも部分的に基づく、請求項18に記載の方法。
- 高次元ベクトルの各々がそれぞれの線画素に対応している、前記高次元ベクトルのクラスタを、前記マシン学習モデルによって及び埋め込みアルゴリズムを使用して計算するステップをさらに含み、前記線の前記ジオメトリを判定する前記ステップが、前記クラスタに少なくとも部分的に基づく、請求項18に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862699669P | 2018-07-17 | 2018-07-17 | |
US62/699,669 | 2018-07-17 | ||
US16/514,230 | 2019-07-17 | ||
US16/514,230 US11604944B2 (en) | 2018-07-17 | 2019-07-17 | Regression-based line detection for autonomous driving machines |
PCT/US2019/042225 WO2020018679A1 (en) | 2018-07-17 | 2019-07-17 | Regression-based line detection for autonomous driving machines |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021532512A JP2021532512A (ja) | 2021-11-25 |
JP7295234B2 true JP7295234B2 (ja) | 2023-06-20 |
Family
ID=69163101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021526209A Active JP7295234B2 (ja) | 2018-07-17 | 2019-07-17 | 自律運転マシンのための回帰ベースの線分検出 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11604944B2 (ja) |
EP (2) | EP3824408B1 (ja) |
JP (1) | JP7295234B2 (ja) |
CN (1) | CN113168505B (ja) |
WO (1) | WO2020018679A1 (ja) |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10643084B2 (en) | 2017-04-18 | 2020-05-05 | nuTonomy Inc. | Automatically perceiving travel signals |
US10908614B2 (en) * | 2017-12-19 | 2021-02-02 | Here Global B.V. | Method and apparatus for providing unknown moving object detection |
DE112019000048T5 (de) | 2018-03-15 | 2020-01-16 | Nvidia Corporation | Bestimmung eines befahrbaren freiraums für autonome fahrzeuge |
EP3824408B1 (en) | 2018-07-17 | 2024-03-06 | NVIDIA Corporation | Regression-based line detection for autonomous driving machines |
EP3845430A4 (en) * | 2018-08-29 | 2022-05-11 | Korea Advanced Institute of Science and Technology | METHOD AND APPARATUS FOR ESTIMATING A TYPE OF ROAD SURFACE USING AN ULTRASOUND SIGNAL |
US11199847B2 (en) * | 2018-09-26 | 2021-12-14 | Baidu Usa Llc | Curvature corrected path sampling system for autonomous driving vehicles |
US11048977B1 (en) * | 2018-09-27 | 2021-06-29 | Apple Inc. | Method and device for pixel-level object segmentation |
US10832062B1 (en) * | 2018-09-28 | 2020-11-10 | Zoox, Inc. | Image embedding for object tracking |
US11068724B2 (en) * | 2018-10-11 | 2021-07-20 | Baidu Usa Llc | Deep learning continuous lane lines detection system for autonomous vehicles |
US10878282B2 (en) * | 2018-10-15 | 2020-12-29 | Tusimple, Inc. | Segmentation processing of image data for LiDAR-based vehicle tracking system and method |
US10878580B2 (en) * | 2018-10-15 | 2020-12-29 | Tusimple, Inc. | Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method |
US10984540B2 (en) | 2018-10-15 | 2021-04-20 | Tusimple, Inc. | Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method |
US10896116B1 (en) | 2018-10-19 | 2021-01-19 | Waymo Llc | Detecting performance regressions in software for controlling autonomous vehicles |
JP7077910B2 (ja) * | 2018-10-22 | 2022-05-31 | トヨタ自動車株式会社 | 区画線検出装置及び区画線検出方法 |
US10823855B2 (en) * | 2018-11-19 | 2020-11-03 | Fca Us Llc | Traffic recognition and adaptive ground removal based on LIDAR point cloud statistics |
US10902303B2 (en) * | 2019-01-22 | 2021-01-26 | Honda Motor Co., Ltd. | Methods and systems for visual recognition using triplet loss |
GB2589247B (en) * | 2019-01-29 | 2023-07-05 | Motional Ad Llc | Traffic light estimation |
US10762393B2 (en) * | 2019-01-31 | 2020-09-01 | StradVision, Inc. | Learning method and learning device for learning automatic labeling device capable of auto-labeling image of base vehicle using images of nearby vehicles, and testing method and testing device using the same |
WO2020185779A1 (en) * | 2019-03-11 | 2020-09-17 | Nvidia Corporation | Intersection detection and classification in autonomous machine applications |
US11550320B2 (en) * | 2019-03-18 | 2023-01-10 | Pony Ai Inc. | Vehicle redundant processing resource usage |
US10853129B1 (en) * | 2019-03-19 | 2020-12-01 | Amazon Technologies, Inc. | Accelerator based inference service |
US11718324B2 (en) | 2019-04-11 | 2023-08-08 | Isee, Inc. | Instance segmentation imaging system |
US11630209B2 (en) * | 2019-07-09 | 2023-04-18 | Waymo Llc | Laser waveform embedding |
US11453404B2 (en) * | 2019-09-05 | 2022-09-27 | Baidu Usa Llc | Gear based vehicle load inference system |
EP3809316A1 (de) * | 2019-09-24 | 2021-04-21 | Elektrobit Automotive GmbH | Vorhersage eines strassenverlaufs auf basis von radardaten |
US11409304B1 (en) | 2019-09-27 | 2022-08-09 | Zoox, Inc. | Supplementing top-down predictions with image features |
US11380108B1 (en) * | 2019-09-27 | 2022-07-05 | Zoox, Inc. | Supplementing top-down predictions with image features |
CN110782481B (zh) * | 2019-10-18 | 2023-09-05 | 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) | 无人艇智能决策方法及系统 |
US11443142B2 (en) * | 2020-02-14 | 2022-09-13 | Samsung Electronics Co., Ltd. | In-storage-based data processing using machine learning |
US11195033B2 (en) | 2020-02-27 | 2021-12-07 | Gm Cruise Holdings Llc | Multi-modal, multi-technique vehicle signal detection |
CN115190987A (zh) * | 2020-02-27 | 2022-10-14 | 祖克斯有限公司 | 垂直切入训练 |
KR20210111557A (ko) * | 2020-03-03 | 2021-09-13 | 현대자동차주식회사 | 심층 학습 기반의 객체 분류 장치 및 그 방법 |
JP7132271B2 (ja) * | 2020-03-31 | 2022-09-06 | 本田技研工業株式会社 | 挙動制御システム |
EP3907472A1 (en) * | 2020-05-05 | 2021-11-10 | Bayerische Motoren Werke Aktiengesellschaft | Detecting lane markings based on lidar data |
US11763544B2 (en) | 2020-07-07 | 2023-09-19 | International Business Machines Corporation | Denoising autoencoder image captioning |
US11651522B2 (en) * | 2020-07-08 | 2023-05-16 | International Business Machines Corporation | Adaptive cycle consistency multimodal image captioning |
EP3944158A1 (de) * | 2020-07-21 | 2022-01-26 | Volkswagen Aktiengesellschaft | Computer-implementiertes verfahren für maschinelles lernen zum betrieb einer fahrzeugkomponente und verfahren zum betrieb einer fahrzeugkomponente |
CN111885155B (zh) * | 2020-07-22 | 2021-06-18 | 大连理工大学 | 一种车联网资源融合的车载任务协作迁移方法 |
EP3943969A1 (en) * | 2020-07-24 | 2022-01-26 | Aptiv Technologies Limited | Methods and systems for predicting a trajectory of an object |
CN111986172B (zh) * | 2020-08-18 | 2024-06-04 | 华北电力科学研究院有限责任公司 | 一种面向电力设备的红外图像故障检测方法及装置 |
CN111860699B (zh) * | 2020-08-26 | 2021-04-13 | 重庆大学 | 一种基于波动率的通勤出行模式识别方法 |
CN112766056B (zh) * | 2020-12-30 | 2023-10-27 | 厦门大学 | 一种基于深度神经网络的弱光环境车道线检测方法、装置 |
KR20220144456A (ko) * | 2021-04-19 | 2022-10-27 | 현대모비스 주식회사 | Svm 원 영상을 기반으로 근접 주행 환경을 인식하는 방법 및 시스템 |
US20220373354A1 (en) * | 2021-05-18 | 2022-11-24 | Argo AI, LLC | Automatic generation of vector map for vehicle navigation |
ES2886582A1 (es) * | 2021-06-03 | 2021-12-20 | Ostirion S L U | Procedimiento y equipo de deteccion de posicion y velocidad de un vehiculo ferroviario |
US12008788B1 (en) * | 2021-10-14 | 2024-06-11 | Amazon Technologies, Inc. | Evaluating spatial relationships using vision transformers |
US12039663B2 (en) | 2021-10-28 | 2024-07-16 | Nvidia Corporation | 3D surface structure estimation using neural networks for autonomous systems and applications |
US11810574B1 (en) * | 2022-11-15 | 2023-11-07 | Leslie Helpert | Voice-driven internal physiological imaging |
CN116069889B (zh) * | 2023-03-01 | 2023-07-14 | 航天宏图信息技术股份有限公司 | 一种线状要素单线拓扑状态的判断方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014235737A (ja) | 2013-05-31 | 2014-12-15 | トヨタ自動車株式会社 | シーン推定方法およびシーン推定装置 |
EP3171297A1 (en) | 2015-11-18 | 2017-05-24 | CentraleSupélec | Joint boundary detection image segmentation and object recognition using deep learning |
JP2017151973A (ja) | 2016-02-23 | 2017-08-31 | ゼロックス コーポレイションXerox Corporation | 現実世界の映像分析性能を評価するための仮想世界の生成 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8073279B2 (en) * | 2008-07-08 | 2011-12-06 | Harris Corporation | Automated atmospheric characterization of remotely sensed multi-spectral imagery |
AU2009344148B2 (en) * | 2009-04-09 | 2015-10-22 | Commonwealth Scientific And Industrial Research Organisation | Enhancing image data |
US8558884B2 (en) * | 2011-05-04 | 2013-10-15 | Raytheon Company | In-scene determination of aerosol parameters from imagery |
US8705828B2 (en) * | 2011-08-31 | 2014-04-22 | Carestream Health, Inc. | Methods and apparatus for super resolution scanning for CBCT system and cone-beam image reconstruction |
US9221461B2 (en) * | 2012-09-05 | 2015-12-29 | Google Inc. | Construction zone detection using a plurality of information sources |
US9396528B2 (en) * | 2013-03-15 | 2016-07-19 | Digitalglobe, Inc. | Atmospheric compensation in satellite imagery |
US9805294B2 (en) * | 2015-02-12 | 2017-10-31 | Mitsubishi Electric Research Laboratories, Inc. | Method for denoising time-of-flight range images |
US11630800B2 (en) | 2015-05-01 | 2023-04-18 | Nvidia Corporation | Programmable vision accelerator |
KR102047031B1 (ko) * | 2015-05-13 | 2019-11-20 | 구글 엘엘씨 | 딥스테레오: 실세계 이미지로부터 새로운 뷰들을 예측하는 러닝 |
CN106290090A (zh) * | 2015-05-14 | 2017-01-04 | 株式会社日立制作所 | 评估颗粒物浓度的方法和装置 |
US10235623B2 (en) * | 2016-02-12 | 2019-03-19 | Adobe Inc. | Accurate tag relevance prediction for image search |
JP6656988B2 (ja) * | 2016-03-30 | 2020-03-04 | 株式会社エクォス・リサーチ | 画像処理装置、半導体装置、画像認識装置、移動体装置、及び画像処理方法 |
US10210613B2 (en) * | 2016-05-12 | 2019-02-19 | Siemens Healthcare Gmbh | Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training |
US10424064B2 (en) * | 2016-10-18 | 2019-09-24 | Adobe Inc. | Instance-level semantic segmentation system |
US10289469B2 (en) | 2016-10-28 | 2019-05-14 | Nvidia Corporation | Reliability enhancement utilizing speculative execution systems and methods |
US10402690B2 (en) * | 2016-11-07 | 2019-09-03 | Nec Corporation | System and method for learning random-walk label propagation for weakly-supervised semantic segmentation |
CN106682675B (zh) * | 2016-12-29 | 2019-06-28 | 中国电子科技集团公司第五十四研究所 | 一种面向高光谱图像的空谱联合特征提取方法 |
US11214273B2 (en) | 2017-06-23 | 2022-01-04 | Nvidia Corporation | Method of using a single controller (ECU) for a fault-tolerant/fail-operational self-driving system |
US11334086B2 (en) * | 2017-09-27 | 2022-05-17 | Intel Corporation | Autonomous robots and methods of operating the same |
US10628671B2 (en) * | 2017-11-01 | 2020-04-21 | Here Global B.V. | Road modeling from overhead imagery |
CN111095291B (zh) | 2018-02-27 | 2024-04-09 | 辉达公司 | 由自动驾驶车辆实时检测车道和边界 |
EP3824408B1 (en) | 2018-07-17 | 2024-03-06 | NVIDIA Corporation | Regression-based line detection for autonomous driving machines |
US10650498B2 (en) * | 2018-08-02 | 2020-05-12 | Nec Corporation | System, method, and non-transitory, computer-readable medium containing instructions for image processing |
US10885698B2 (en) | 2018-08-10 | 2021-01-05 | Nvidia Corporation | Method for programmable timeouts of tree traversal mechanisms in hardware |
CN111006761B (zh) * | 2019-11-27 | 2020-11-17 | 武汉大学 | 一种面向双通道光谱系统的简易光学定标方法 |
CN111402162B (zh) * | 2020-03-13 | 2023-11-07 | 北京华云星地通科技有限公司 | 卫星遥感图像的晴空数据集处理方法 |
-
2019
- 2019-07-17 EP EP19746415.9A patent/EP3824408B1/en active Active
- 2019-07-17 JP JP2021526209A patent/JP7295234B2/ja active Active
- 2019-07-17 US US16/514,230 patent/US11604944B2/en active Active
- 2019-07-17 EP EP24154963.3A patent/EP4339905A3/en active Pending
- 2019-07-17 WO PCT/US2019/042225 patent/WO2020018679A1/en unknown
- 2019-07-17 CN CN201980061007.5A patent/CN113168505B/zh active Active
-
2023
- 2023-01-06 US US18/151,012 patent/US11921502B2/en active Active
- 2023-06-23 US US18/340,255 patent/US20230333553A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014235737A (ja) | 2013-05-31 | 2014-12-15 | トヨタ自動車株式会社 | シーン推定方法およびシーン推定装置 |
EP3171297A1 (en) | 2015-11-18 | 2017-05-24 | CentraleSupélec | Joint boundary detection image segmentation and object recognition using deep learning |
JP2017151973A (ja) | 2016-02-23 | 2017-08-31 | ゼロックス コーポレイションXerox Corporation | 現実世界の映像分析性能を評価するための仮想世界の生成 |
Also Published As
Publication number | Publication date |
---|---|
JP2021532512A (ja) | 2021-11-25 |
CN113168505A (zh) | 2021-07-23 |
EP3824408B1 (en) | 2024-03-06 |
CN113168505B (zh) | 2024-04-09 |
US11921502B2 (en) | 2024-03-05 |
EP4339905A3 (en) | 2024-06-26 |
EP4339905A2 (en) | 2024-03-20 |
US20230333553A1 (en) | 2023-10-19 |
US20200026960A1 (en) | 2020-01-23 |
US20230152801A1 (en) | 2023-05-18 |
EP3824408A1 (en) | 2021-05-26 |
US11604944B2 (en) | 2023-03-14 |
WO2020018679A1 (en) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7295234B2 (ja) | 自律運転マシンのための回帰ベースの線分検出 | |
JP7472170B2 (ja) | 自律マシン・アプリケーションにおける交差点姿勢検出 | |
US11897471B2 (en) | Intersection detection and classification in autonomous machine applications | |
US11915145B2 (en) | Leveraging multidimensional sensor data for computationally efficient object detection for autonomous machine applications | |
US11592828B2 (en) | Using neural networks to perform fault detection in autonomous driving applications | |
US20210406679A1 (en) | Multi-resolution image patches for predicting autonomous navigation paths | |
US11830160B2 (en) | Object detection using planar homography and self-supervised scene structure understanding | |
CN113906271A (zh) | 用于自主机器应用的使用地图信息增强的地面实况数据的神经网络训练 | |
US11538231B2 (en) | Projecting images captured using fisheye lenses for feature detection in autonomous machine applications | |
JP2023088849A (ja) | 自律型システム及びアプリケーションにおける特徴ディスクリプタ・マッピングを使用した単一及びアクロス・センサ物体追跡 | |
US20240020953A1 (en) | Surround scene perception using multiple sensors for autonomous systems and applications | |
US20240071064A1 (en) | Object detection using deep learning for real-time streaming applications | |
US12026955B2 (en) | Assigning obstacles to lanes using neural networks for autonomous machine applications | |
US20240320986A1 (en) | Assigning obstacles to lanes using neural networks for autonomous machine applications | |
US20240176017A1 (en) | Sensor fusion using ultrasonic sensors for autonomous systems and applications | |
US20240087333A1 (en) | Techniques for identifying occluded objects using a neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7295234 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |