JP2023551248A - 道路標示検出 - Google Patents
道路標示検出 Download PDFInfo
- Publication number
- JP2023551248A JP2023551248A JP2023531697A JP2023531697A JP2023551248A JP 2023551248 A JP2023551248 A JP 2023551248A JP 2023531697 A JP2023531697 A JP 2023531697A JP 2023531697 A JP2023531697 A JP 2023531697A JP 2023551248 A JP2023551248 A JP 2023551248A
- Authority
- JP
- Japan
- Prior art keywords
- state vector
- measurement timing
- road marking
- sensor data
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000005259 measurement Methods 0.000 claims abstract description 139
- 239000013598 vector Substances 0.000 claims abstract description 130
- 230000007613 environmental effect Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000009826 distribution Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 7
- 238000013459 approach Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
は、例えば、演算ユニットにより、第1測定タイミングに先立つ測定タイミングに対して環境センサシステムが生成したセンサデータセットに基づいて決定され得る。代替的または追加的に、
に対する値は、これらの値が例えば較正から前もって既知である場合、環境センサシステムにより出力され得る。両方のアプローチを組み合わせることも可能である。
は、x0および測定タイミングk1のxiを列として含む行列を表し、和はiを超え、各加数についてfが行列
のそれぞれの列iに適用される。
は、サンプルを優先するための重みを表す。
は、モデルが記述できずセンサ表現でカバーできない不確実性を表す。
Claims (14)
- 第1測定タイミングにおける道路標示(17)を示す第1センサデータセットと、第2測定タイミングにおける前記道路標示(17)を示す第2センサデータセットとが、環境センサシステム(4)を使用することにより生成される、道路標示検出のための方法であって、
‐前記第1測定タイミングと前記第2測定タイミングとの間における前記道路標示(17)に対する前記環境センサシステム(4)の運動を特徴付ける少なくとも1つの運動パラメータが決定され、
‐演算ユニット(5)が、
‐前記第1センサデータセットに基づいて、前記第1測定タイミングにおける前記道路標示(17)を幾何学的に記述する第1観測状態ベクトルを生成し、
‐前記第2センサデータセットに基づいて、前記第2測定タイミングにおける前記道路標示(17)を幾何学的に記述する第2観測状態ベクトルを生成し、
‐前記少なくとも1つの運動パラメータおよび前記第1観測状態ベクトルに応じて、前記第2測定タイミングに対する予測状態ベクトルを演算し、
‐前記予測状態ベクトルおよび前記第2観測状態ベクトルに応じて、前記第2測定タイミングに対する補正状態ベクトルを生成する、
ように使用される、
ことを特徴とする方法。 - ‐前記演算ユニット(5)は、前記第1観測状態ベクトルに応じて、および多次元分布を記述する少なくとも1つのパラメータに応じて、前記第1測定タイミングに対する2つ以上の第1サンプリング状態ベクトルを生成するように使用され、
‐前記予測状態ベクトルは、前記2つ以上の第1サンプリング状態ベクトルに応じて演算される、
ことを特徴とする請求項1に記載の方法。 - 前記演算ユニット(5)は、前記第1センサデータセットに応じて第1多項式を決定して前記第1時間タイミングにおける前記道路標示(17)を近似するとともに、前記第2センサデータセットに応じて第2多項式を決定して前記第2時間タイミングにおける前記道路標示(17)を近似するように使用され、
前記第1観測状態ベクトルは前記第1多項式の係数を含み、前記第2観測状態ベクトルは前記第2多項式の係数を含む、
ことを特徴とする請求項1または2に記載の方法。 - 前記演算ユニット(5)は、
‐前記少なくとも1つの運動パラメータ、前記第1観測状態ベクトル、および前記予測状態ベクトルに応じて、前記第2測定タイミングに対する予測共分散行列を演算し、
‐前記予測共分散行列および前記第2観測状態ベクトルに応じて、第2測定タイミングに対する補正共分散行列を生成する、
ように使用される、
ことを特徴とする請求項1~3のいずれか一項に記載の方法。 - ‐それぞれの連続した測定タイミングにおける前記道路標示(17)を示す複数のセンサデータセットが、前記環境センサシステム(4)を使用して生成され、前記複数のセンサデータセットは、前記第1センサデータセットおよび前記第2センサデータセットを含み、
‐前記測定タイミングの各々に対して、それぞれの前記測定タイミングとそれぞれの後続の測定タイミングとの間における前記道路標示(17)に対する前記環境センサシステム(4)の前記運動を特徴付ける前記少なくとも1つの運動パラメータが決定され、
‐前記測定タイミングの各々に対して、前記演算ユニット(5)は、それぞれの前記測定タイミングにおける前記道路標示(17)を幾何学的に記述するそれぞれの観測状態ベクトルを、それぞれの前記センサデータセットに基づいて生成するように使用され、
‐最後の測定タイミングを除く前記測定タイミングの各々に対して、前記演算ユニット(5)は、
‐それぞれの前記少なくとも1つの運動パラメータおよびそれぞれの前記測定タイミングの前記観測状態ベクトルに応じて、それぞれの後続の測定タイミングに対する予測状態ベクトルを演算し、
‐それぞれの前記後続の測定タイミングに対する前記予測状態ベクトルと、それぞれの前記後続の測定タイミングの前記観測状態ベクトルとに応じて、それぞれの前記後続の測定タイミングに対する補正状態ベクトルを生成する、
ように使用される、
ことを特徴とする請求項1~4のいずれか一項に記載の方法。 - 自動車を少なくとも部分的に自動的にガイドするための方法であって、
‐請求項1~5のいずれか一項に記載の道路標示検出のための方法であって、前記環境センサシステム(4)が前記自動車(1)に装着される方法のステップと、
‐前記自動車(1)を、前記補正状態ベクトルに応じて、少なくとも部分的に自動的にガイドするステップと、
を備える方法。 - ‐前記演算ユニット(5)は、前記補正状態ベクトルに応じて、前記自動車(1)の環境を表す電子マップデータを生成するように使用され、
‐前記自動車(1)は、前記電子マップデータに応じて、少なくとも部分的に自動的にガイドされる、
ことを特徴とする請求項6に記載の方法。 - 前記自動車(1)を少なくとも部分的に自動的にガイドするための1つ以上の制御信号が、前記補正状態ベクトルに応じて生成される、
ことを特徴とする請求項6または7に記載の方法。 - 第1測定タイミングにおける道路標示(17)を示す第1センサデータセットと、第2測定タイミングにおける前記道路標示(17)を示す第2センサデータセットと、を生成するように構成された環境センサシステム(4)を備える道路標示検出システムにおいて、
‐前記道路標示検出システム(2)は、前記第1測定タイミングと前記第2測定タイミングとの間における前記道路標示(17)に対する前記環境センサシステム(4)の運動を特徴付ける少なくとも1つの運動パラメータを決定するように構成された少なくとも1つの運動センサシステム(6)を含み、
‐前記道路標示検出システム(2)は演算ユニット(5)を含み、
前記演算ユニット(5)は、
‐前記第1センサデータセットに基づいて、前記第1測定タイミングにおける前記道路標示(17)を幾何学的に記述する第1観測状態ベクトルを生成し、
‐前記第2センサデータセットに基づいて、前記第2測定タイミングにおける前記道路標示(17)を幾何学的に記述する第2観測状態ベクトルを生成し、
‐前記少なくとも1つの運動パラメータおよび前記第1観測状態ベクトルに応じて、前記第2測定タイミングに対する予測状態ベクトルを演算し、
‐前記予測状態ベクトルおよび前記第2観測状態ベクトルに応じて、前記第2測定タイミングに対する補正状態ベクトルを生成する、
ように構成される、
ことを特徴とする道路標示検出システム。 - 前記環境センサシステム(4)は、ライダーシステムを含む、
ことを特徴とする請求項9に記載の道路標示検出システム。 - 請求項9または10に記載の道路標示検出システム(2)と、制御ユニットと、を備え、
前記制御ユニットは、前記補正状態ベクトルに応じて自動車(1)を少なくとも部分的に自動的にガイドするための1つ以上の制御信号を生成するように構成されている、電子車両ガイドシステム。 - 請求項11に記載の電子車両ガイドシステム(3)、または請求項9または10に記載の道路標示検出システム(2)を備える自動車。
- 命令を備えるコンピュータプログラムであって、
前記命令は、
‐請求項9または10に記載の道路標示検出システム(2)により実行されると、前記道路標示検出システム(2)に請求項1~5のいずれか一項に記載の方法を実施させる、または、
‐請求項11に記載の電子車両ガイドシステム(3)により実行されると、前記電子車両ガイドシステム(3)に請求項6~8のいずれか一項に記載の方法を実施させる、
コンピュータプログラム。 - 請求項13に記載のコンピュータプログラムを記憶する、コンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020131130.3A DE102020131130A1 (de) | 2020-11-25 | 2020-11-25 | Fahrbahnmarkierungsdetektion |
DE102020131130.3 | 2020-11-25 | ||
PCT/EP2021/082504 WO2022112175A1 (en) | 2020-11-25 | 2021-11-22 | Road marking detection |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023551248A true JP2023551248A (ja) | 2023-12-07 |
JP7561993B2 JP7561993B2 (ja) | 2024-10-04 |
Family
ID=78820308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023531697A Active JP7561993B2 (ja) | 2020-11-25 | 2021-11-22 | 道路標示検出 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20240101145A1 (ja) |
EP (1) | EP4252202A1 (ja) |
JP (1) | JP7561993B2 (ja) |
KR (1) | KR20230107688A (ja) |
CN (1) | CN116490905A (ja) |
DE (1) | DE102020131130A1 (ja) |
WO (1) | WO2022112175A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3521860B2 (ja) | 2000-10-02 | 2004-04-26 | 日産自動車株式会社 | 車両の走行路認識装置 |
JP3660308B2 (ja) | 2001-05-18 | 2005-06-15 | 本田技研工業株式会社 | 車両の走行区分線認識装置 |
JP4687563B2 (ja) | 2006-05-23 | 2011-05-25 | 株式会社デンソー | 車両用レーンマーク認識装置 |
JP6105509B2 (ja) | 2014-04-08 | 2017-03-29 | 株式会社日本自動車部品総合研究所 | 走路推定装置及び走路推定プログラム |
JP6488226B2 (ja) | 2015-12-07 | 2019-03-20 | 株式会社豊田中央研究所 | 走路パラメータ推定装置及びプログラム |
JP2017220056A (ja) | 2016-06-08 | 2017-12-14 | 株式会社デンソー | 情報処理装置 |
WO2019241022A1 (en) * | 2018-06-13 | 2019-12-19 | Nvidia Corporation | Path detection for autonomous machines using deep neural networks |
-
2020
- 2020-11-25 DE DE102020131130.3A patent/DE102020131130A1/de active Pending
-
2021
- 2021-11-22 CN CN202180079400.4A patent/CN116490905A/zh active Pending
- 2021-11-22 EP EP21819103.9A patent/EP4252202A1/en active Pending
- 2021-11-22 KR KR1020237021330A patent/KR20230107688A/ko unknown
- 2021-11-22 JP JP2023531697A patent/JP7561993B2/ja active Active
- 2021-11-22 WO PCT/EP2021/082504 patent/WO2022112175A1/en active Application Filing
- 2021-11-22 US US18/038,731 patent/US20240101145A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102020131130A1 (de) | 2022-05-25 |
CN116490905A (zh) | 2023-07-25 |
JP7561993B2 (ja) | 2024-10-04 |
EP4252202A1 (en) | 2023-10-04 |
KR20230107688A (ko) | 2023-07-17 |
WO2022112175A1 (en) | 2022-06-02 |
US20240101145A1 (en) | 2024-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6829255B2 (ja) | 障害物との衝突が切迫した状況におけるモーター式車両の操舵手段の制御システム | |
US10739459B2 (en) | LIDAR localization | |
US9946259B2 (en) | Negative obstacle detector | |
US11173953B2 (en) | System and method for calibrating a steering wheel neutral position | |
JP7422661B2 (ja) | 走行軌跡補正方法、走行制御方法、及び走行軌跡補正装置 | |
EP3306429B1 (en) | Position estimation device and position estimation method | |
JP4343536B2 (ja) | 車用の感知装置 | |
US20210396531A1 (en) | Assistance control system | |
US20160107682A1 (en) | System and method for vehicle steering control | |
CN110015304B (zh) | 用于求取和提供地面特性的方法和系统 | |
US20220017118A1 (en) | Travel plan generation device and autonomous driving system | |
JP7077967B2 (ja) | 走行車線推定装置、走行車線推定方法、及び制御プログラム | |
US11731649B2 (en) | High precision position estimation method through road shape classification-based map matching and autonomous vehicle thereof | |
US11377112B2 (en) | Low-speed, backward driving vehicle controller design | |
CN112498347A (zh) | 用于实时横向控制和转向致动评估的方法和装置 | |
JP7253065B2 (ja) | 車両制御装置、車両制御方法、車両運動制御システム、及びレーン推定装置 | |
EP3572841A1 (en) | Method of modelling a scanning distance sensor for prototyping parameters of such sensor and/or for prototyping software processing the output of such sensor | |
EP2047213B1 (en) | Generating a map | |
US11845429B2 (en) | Localizing and updating a map using interpolated lane edge data | |
JP7561993B2 (ja) | 道路標示検出 | |
CN113261007A (zh) | 用于自动和自主车辆的多传感器数据融合的方法和装置 | |
WO2023017625A1 (en) | Drive device, vehicle, and method for automated driving and/or assisted driving | |
US11299137B2 (en) | Lateral control for vehicle wireless charging guidance | |
US20240271941A1 (en) | Drive device, vehicle, and method for automated driving and/or assisted driving | |
JP7258074B2 (ja) | 走行計画生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7561993 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |