JP7437512B2 - 撮像システムのための車線の検出および追跡方法 - Google Patents
撮像システムのための車線の検出および追跡方法 Download PDFInfo
- Publication number
- JP7437512B2 JP7437512B2 JP2022541686A JP2022541686A JP7437512B2 JP 7437512 B2 JP7437512 B2 JP 7437512B2 JP 2022541686 A JP2022541686 A JP 2022541686A JP 2022541686 A JP2022541686 A JP 2022541686A JP 7437512 B2 JP7437512 B2 JP 7437512B2
- Authority
- JP
- Japan
- Prior art keywords
- spline
- pixels
- lane
- pixel
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 154
- 238000003384 imaging method Methods 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 title description 222
- 238000010801 machine learning Methods 0.000 claims description 24
- 239000002245 particle Substances 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 description 29
- 230000003565 oculomotor Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 17
- 230000008447 perception Effects 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/072—Curvature of the road
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/408—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Chemical & Material Sciences (AREA)
- Electromagnetism (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
- Closed-Circuit Television Systems (AREA)
Description
上述したように、本開示の方法は、自律車両のための車線標示の検出および識別能力を提供し得る。より具体的には、本開示の方法を実施するシステムは、車線標示を表す複数のピクセルを受け取り、それらのピクセル同士をリンクすることを進めてもよい。システムはまた、リンクされたピクセルが同様の車線に対応することを確実にするために、1つまたは複数の方法を実行してもよい。全てのピクセルが最大で2つの他のピクセルにリンクされると、システムは、1つまたは複数の制御点を含む1つまたは複数のグループを作成してもよい。最後に、システムは、制御点を通るスプラインを生成してもよい。このようにして、システムは、各車線の位置を、スプラインによって縁取られた領域によって表されるように、効果的に決定することができる。これらの技術について、以下に詳しく説明する。
大まかに言えば、本開示の方法を実施するシステムは、上述の車線標示検出プロセスの一部として生成されたスプラインを使用することによって、部分的に、車道車線の位置を予測してもよい。特に、システムは、車線標示に関連付けられたピクセルのセットを受信し、車道車線の境界を定義するスプラインの生成を進めてもよい。その後、システムは、スプラインの少なくとも一部の曲率に基づいて、撮像システムが移動している方向におけるスプラインの予測される延長を生成してもよい。スプラインとスプラインの予測延長を合わせて、予測スプラインと呼ぶことがある。
以下の説明において、最初に、図1を参照して、車線標示の延長を検出および/または予測することに基づいて車両の1つまたは複数の動作を制御するための例示的なソフトウェアアーキテクチャが説明される。本明細書で説明されるアーキテクチャおよび方法の多くは、ライダーセンサを利用することができるため、次に、図2~図5を参照して、例示的なライダーシステムについて説明する。図6A~7Bは、車線標示の検出および車線標示の延長の予測におけるソフトウェアアーキテクチャの使用を説明するものである。最後に、図8~図10のフローチャートに関して、車線標示の検出、識別、および追跡(例えば、延長の予測)に関連する例示的な方法が説明される。
K(s)=a0+a1 s+a2 s2+a3 s3
と表される。
Claims (20)
- 道路上の車線を追跡する方法であって、1つまたは複数のプロセッサが、撮像システムから車線標識に関連するピクセルの集合を受け取るステップと、1つまたは複数のプロセッサが、(i)第1のスプラインと、(ii)撮像システムが移動する方向における第1のスプラインの予測される延長とを含む予測スプラインを生成するステップと、を含み、前記第1のスプラインは、車線境界を記述し、前記ピクセルの集合に基づいて生成され、前記第1のスプラインの予測される延長は、前記撮像システムが移動する方向において前記ピクセルの集合の範囲を超えて延び、前記第1のスプラインの少なくとも一部の曲率に少なくとも部分的に基づいて生成される、ことを特徴とする方法。
- 前記第1のスプラインの予測される延長を生成することは、さらに道路の形状、方向、または曲率を含む地図データに基づいて行われる、請求項1に記載の方法。
- 前記ピクセルの集合は、道路の第1の部分について第1の時間に生成されたピクセルの第1の集合であり、この方法は、1つまたは複数のプロセッサが、撮像システムから車線標識に関連するピクセルの第2の集合を受け取ること、および1つまたは複数のプロセッサが、車線の境界を記述する更新されたスプラインを生成することと、前記予測スプラインを前記ピクセルの第2の集合と比較して尤度スコアを決定することをさらに含むことを特徴とする請求項1に記載の方法。
- 尤度スコアを決定するために、前記予測スプラインを前記ピクセルの第2の集合と比較することは、(i)前記予測スプラインから導出されたガウス核と、(ii)前記ピクセルの第2の集合を表すヒストグラムのそれぞれの値を畳み込むことであって、該畳み込みが、畳み込み値の集合を生成することと、畳み込み値の集合上で合計して尤度スコアを決定することとを含むことを特徴とする請求項3に記載の方法。
- 各ガウス核は、面積に正規化されることを特徴とする請求項4に記載の方法。
- 前記尤度スコアは、前記予測スプラインに関連するドライバビリティの測定値にさらに基づいており、該ドライバビリティの測定値は、前記予測スプラインの少なくとも一部の曲率に基づいていることを特徴とする請求項3に記載の方法。
- (i)車線標識に関連するピクセルの事前集合、(ii)ピクセルの事前集合に基づく第1のスプラインの事前集合、および(iii)更新されたスプラインの事前集合を用いてスプラインの予測される延長を生成する機械学習モデルを訓練することと、該機械学習モデルをピクセルの集合に対して適用して第1のスプラインの予測される延長を生成することと、をさらに含むことを特徴とする請求項3に記載の方法。
- 前記機械学習モデルを適用することは、特徴ラベルとして、前記車線標識に対応するピクセルに関するオペレータからの指示を適用することを含むことを特徴とする請求項7に記載の方法。
- 前記予測スプラインを生成することは、複数の予測スプラインを生成することを含み、各予測スプラインは、第1のスプラインと、第1のスプラインの少なくとも一部の曲率に少なくとも部分的に基づいて生成された、撮像システムが移動する方向における第1のスプラインの予測される延長とを含むことを特徴とする請求項1に記載の方法。
- 前記ピクセルの集合は、道路の第1の部分について第1の時間に生成されたピクセルの第1の集合であり、この方法は、1つまたは複数のプロセッサが、撮像システムから車線標識に関連するピクセルの第2の集合を受け取ることを含み、
前記第1のスプラインの予測される延長は、機械学習モデルを用いて生成され、前記予測スプラインを前記ピクセルの第2の集合に比較することは、前記複数の予測スプラインのそれぞれを前記ピクセルの第2の集合と比較して複数の尤度スコアを決定することを含んでおり、さらに、前記複数の尤度スコアの解析に基づいて機械学習モデルを調整することを含むことを特徴とする請求項9に記載の方法。 - 前記予測スプラインを生成することは、複数の粒子を生成することを含み、各粒子は、(i)第1のスプラインと(ii)第1のスプラインの予測される延長とを含む予測スプラインを含み、第1のスプラインの予測される延長は、第1のスプラインの少なくとも一部の曲率に少なくとも部分的に基づいており、複数の予測スプラインのそれぞれに対して尤度スコアを決定することを含む粒子フィルタ技術を適用することを含むことを特徴とする請求項1に記載の方法。
- 前記粒子フィルタ技術は、関連する尤度スコアに従って前記複数の粒子を結合することにより、前記車線の境界の位置を決定することをさらに含むことを特徴とする請求項11に記載の方法。
- 複数の粒子を組み合わせることは、車線の境界の位置を決定するために前記予測スプラインの加重平均を決定するステップであって、各予測スプラインはその関連する尤度スコアに従って加重されるステップを含むことを特徴とする請求項12に記載の方法。
- 前記予測スプラインを生成することは、複数の予測スプラインを生成することを含み、各スプラインは、(i)第1のスプラインと、(ii)第1のスプラインの少なくとも一部の曲率に少なくとも部分的に基づく第1のスプラインの予測される延長を含んでおり、各予測される延長に特定のノイズ信号を付加して各予測される延長に摂動を適用することを含むことを特徴とする請求項1に記載の方法。
- 特定のノイズ信号を加えることは、前記予測スプラインの第1の部分について予測される延長の曲率の量を増加させ、前記予測スプラインの第2の部分について予測される延長の曲率の量を減少させることを含むことを特徴とする請求項14に記載の方法。
- 特定のノイズ信号を加えることは、道路の形状、方向、または曲率を含む地図データに基づいて、前記予測スプラインの第1の部分について予測される延長の曲率量を増加または減少させることを含むことを特徴とする請求項14に記載の方法。
- 前記複数の予測スプラインは、少なくとも50個の予測スプラインを含むことを特徴とする請求項14に記載の方法。
- 1つまたは複数のプロセッサが、ピクセルの集合を複数のグループに分割するステップであって、複数のグループの各々は1つまたは複数の制御点に関連付けられるステップと、1つまたは複数のプロセッサが、複数のグループの制御点を通るスプラインを生成し、スプラインが車線の境界を記述するステップをさらに含むことを特徴とする、請求項1に記載の方法。
- 前記スプラインを生成することは、前記1つまたは複数のプロセッサが、スプライン法を実行することをさらに含み、前記スプライン法が、前記1つまたは複数の制御点のみを利用することを特徴とする請求項18に記載の方法。
- スプライン法がキャットムル‐ロムスプライン法であることを特徴とする請求項19に記載の方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062957650P | 2020-01-06 | 2020-01-06 | |
US62/957,650 | 2020-01-06 | ||
US16/924,139 US11688155B2 (en) | 2020-01-06 | 2020-07-08 | Lane detection and tracking techniques for imaging systems |
US16/924,139 | 2020-07-08 | ||
US16/925,190 | 2020-07-09 | ||
US16/925,190 US11551547B2 (en) | 2020-01-06 | 2020-07-09 | Lane detection and tracking techniques for imaging systems |
PCT/US2021/012288 WO2021201946A2 (en) | 2020-01-06 | 2021-01-06 | Lane detection and tracking techniques for imaging systems |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2023510734A JP2023510734A (ja) | 2023-03-15 |
JPWO2021201946A5 JPWO2021201946A5 (ja) | 2023-12-22 |
JP7437512B2 true JP7437512B2 (ja) | 2024-02-22 |
Family
ID=76655542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022541686A Active JP7437512B2 (ja) | 2020-01-06 | 2021-01-06 | 撮像システムのための車線の検出および追跡方法 |
Country Status (7)
Country | Link |
---|---|
US (3) | US11688155B2 (ja) |
EP (1) | EP4087764A4 (ja) |
JP (1) | JP7437512B2 (ja) |
KR (1) | KR20220134754A (ja) |
CN (1) | CN115151467A (ja) |
AU (1) | AU2021246857A1 (ja) |
WO (1) | WO2021201946A2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764187B (zh) * | 2018-06-01 | 2022-03-08 | 百度在线网络技术(北京)有限公司 | 提取车道线的方法、装置、设备、存储介质以及采集实体 |
US11781875B2 (en) * | 2019-08-21 | 2023-10-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Apparatus and method for forming and analyzing connected roads |
JP6946495B2 (ja) * | 2020-03-04 | 2021-10-06 | 本田技研工業株式会社 | 車両制御装置及び車両制御方法 |
DE102020213337A1 (de) * | 2020-10-22 | 2022-04-28 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zu einer autonomen Navigation einer bewegbaren Robotereinheit und Robotersystem mit der Robotereinheit |
US11164014B1 (en) * | 2020-11-09 | 2021-11-02 | Hayden Ai Technologies, Inc. | Lane violation detection using convolutional neural networks |
US11417036B1 (en) * | 2021-05-19 | 2022-08-16 | Adobe Inc. | Systems for generating indications of perceptual linear regions of vector objects |
US11972617B2 (en) * | 2021-06-16 | 2024-04-30 | Sesame Technologies Inc. | Hybrid lane model |
US11551459B1 (en) * | 2022-06-27 | 2023-01-10 | Plusai, Inc. | Ambiguous lane detection event miner |
CN115147801B (zh) * | 2022-08-29 | 2022-12-23 | 北京百度网讯科技有限公司 | 车道线识别方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012083892A (ja) | 2010-10-08 | 2012-04-26 | Mitsubishi Heavy Ind Ltd | 自律走行制御装置及びそれを備えた自律走行車両 |
WO2013186903A1 (ja) | 2012-06-14 | 2013-12-19 | トヨタ自動車株式会社 | 車線区分標示検出装置、運転支援システム |
JP2016057750A (ja) | 2014-09-08 | 2016-04-21 | 株式会社豊田中央研究所 | 自車走行レーン推定装置及びプログラム |
US20160180177A1 (en) | 2014-12-23 | 2016-06-23 | Volkswagen Ag | Fused raised pavement marker detection for autonomous driving using lidar and camera |
US20190033871A1 (en) | 2017-07-26 | 2019-01-31 | GM Global Technology Operations LLC | Path planning for autonomous driving |
JP2019528499A (ja) | 2017-07-13 | 2019-10-10 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | 軌跡決定のためのシステム及び方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7805442B1 (en) * | 2000-12-05 | 2010-09-28 | Navteq North America, Llc | Method and system for representation of geographical features in a computer-based system |
WO2009144994A1 (ja) * | 2008-05-29 | 2009-12-03 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法 |
US8300052B1 (en) | 2008-09-24 | 2012-10-30 | Autodesk, Inc. | Application of bevel curves to splines |
US8762046B2 (en) * | 2008-10-01 | 2014-06-24 | Navteq B.V. | Creating geometry for advanced driver assistance systems |
KR101121777B1 (ko) | 2010-04-14 | 2012-06-12 | 숭실대학교산학협력단 | 차선 감지 방법 |
CN102722705B (zh) * | 2012-06-12 | 2014-04-30 | 武汉大学 | 一种基于ransac算法的多车道线检测方法 |
CN102772705A (zh) | 2012-06-14 | 2012-11-14 | 张文秀 | 一种速效通络消肿止痛酊及其制备方法 |
US20140095062A1 (en) * | 2012-09-28 | 2014-04-03 | Hewlett-Packard Development Company, L.P. | Road Maps from Clusters of Line Segments of Multiple Sources |
US9423261B2 (en) | 2013-02-19 | 2016-08-23 | Here Global B.V. | Path curve confidence factors |
KR101455835B1 (ko) | 2014-06-16 | 2014-11-04 | 주식회사 지티 | 영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법 |
CN106407893B (zh) | 2016-08-29 | 2019-11-22 | 东软集团股份有限公司 | 一种检测车道线的方法、装置和设备 |
US10832471B2 (en) * | 2017-03-27 | 2020-11-10 | Mitsubishi Electric Research Laboratories, Inc. | Fast T-spline fitting system and method |
WO2018200522A1 (en) | 2017-04-24 | 2018-11-01 | Mobileye Vision Technologies Ltd. | Systems and methods for compression of lane data |
EP3401182B1 (en) * | 2017-05-09 | 2020-09-09 | Veoneer Sweden AB | Apparatus for lane detection |
CN108216229B (zh) | 2017-09-08 | 2020-01-10 | 北京市商汤科技开发有限公司 | 交通工具、道路线检测和驾驶控制方法及装置 |
WO2019168869A1 (en) | 2018-02-27 | 2019-09-06 | Nvidia Corporation | Real-time detection of lanes and boundaries by autonomous vehicles |
JP6430087B1 (ja) * | 2018-03-23 | 2018-11-28 | 三菱電機株式会社 | 経路生成装置、および、車両制御システム |
EP3832261A1 (en) | 2018-04-03 | 2021-06-09 | Mobileye Vision Technologies Ltd. | Systems and methods for determining navigational parameters |
US10229346B1 (en) * | 2018-09-04 | 2019-03-12 | StradVision, Inc. | Learning method, learning device for detecting object using edge image and testing method, testing device using the same |
US11049275B2 (en) * | 2018-11-21 | 2021-06-29 | Samsung Electronics Co., Ltd. | Method of predicting depth values of lines, method of outputting three-dimensional (3D) lines, and apparatus thereof |
-
2020
- 2020-07-08 US US16/924,139 patent/US11688155B2/en active Active
- 2020-07-09 US US16/925,190 patent/US11551547B2/en active Active
-
2021
- 2021-01-06 CN CN202180016856.6A patent/CN115151467A/zh active Pending
- 2021-01-06 EP EP21778828.0A patent/EP4087764A4/en active Pending
- 2021-01-06 WO PCT/US2021/012288 patent/WO2021201946A2/en unknown
- 2021-01-06 AU AU2021246857A patent/AU2021246857A1/en active Pending
- 2021-01-06 JP JP2022541686A patent/JP7437512B2/ja active Active
- 2021-01-06 KR KR1020227026499A patent/KR20220134754A/ko active Search and Examination
-
2023
- 2023-06-23 US US18/340,573 patent/US20230334816A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012083892A (ja) | 2010-10-08 | 2012-04-26 | Mitsubishi Heavy Ind Ltd | 自律走行制御装置及びそれを備えた自律走行車両 |
WO2013186903A1 (ja) | 2012-06-14 | 2013-12-19 | トヨタ自動車株式会社 | 車線区分標示検出装置、運転支援システム |
JP2016057750A (ja) | 2014-09-08 | 2016-04-21 | 株式会社豊田中央研究所 | 自車走行レーン推定装置及びプログラム |
US20160180177A1 (en) | 2014-12-23 | 2016-06-23 | Volkswagen Ag | Fused raised pavement marker detection for autonomous driving using lidar and camera |
JP2019528499A (ja) | 2017-07-13 | 2019-10-10 | ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド | 軌跡決定のためのシステム及び方法 |
US20190033871A1 (en) | 2017-07-26 | 2019-01-31 | GM Global Technology Operations LLC | Path planning for autonomous driving |
Non-Patent Citations (2)
Title |
---|
安達栄輔他,車の安全運転支援システムのための車線状態の推定法,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2007年03月08日,第106巻 第605号,pp.79-84 |
小林靖他,高速高品質アウトラインフォントラスタライザの開発,沖電気研究開発 ,日本,沖電気工業株式会社,1995年06月28日,第62巻 第3号,pp.89-94 |
Also Published As
Publication number | Publication date |
---|---|
AU2021246857A1 (en) | 2022-07-28 |
US20210209941A1 (en) | 2021-07-08 |
JP2023510734A (ja) | 2023-03-15 |
EP4087764A4 (en) | 2024-02-14 |
CN115151467A (zh) | 2022-10-04 |
US11551547B2 (en) | 2023-01-10 |
EP4087764A2 (en) | 2022-11-16 |
US11688155B2 (en) | 2023-06-27 |
US20210206380A1 (en) | 2021-07-08 |
WO2021201946A3 (en) | 2021-12-09 |
WO2021201946A2 (en) | 2021-10-07 |
KR20220134754A (ko) | 2022-10-05 |
US20230334816A1 (en) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7437512B2 (ja) | 撮像システムのための車線の検出および追跡方法 | |
US10984257B2 (en) | Training multiple neural networks of a vehicle perception component based on sensor settings | |
US10503172B2 (en) | Controlling an autonomous vehicle based on independent driving decisions | |
US10394243B1 (en) | Autonomous vehicle technology for facilitating operation according to motion primitives | |
US10481605B1 (en) | Autonomous vehicle technology for facilitating safe stopping according to separate paths | |
US20200097010A1 (en) | Autonomous vehicle technology for facilitating safe stopping according to hybrid paths | |
JP7395755B2 (ja) | 仮想地平線の推定を備えたアダプティブ走査パターン | |
US20230152458A1 (en) | Lidar System with Gyroscope-Aided Focus Steering | |
US20220107414A1 (en) | Velocity determination with a scanned lidar system | |
US20220187463A1 (en) | Generating Scan Patterns Using Cognitive Lidar |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230816 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20231208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7437512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |