JP6238905B2 - 3dカメラを用いた車両周辺部の凹凸プロファイルの割り出し - Google Patents
3dカメラを用いた車両周辺部の凹凸プロファイルの割り出し Download PDFInfo
- Publication number
- JP6238905B2 JP6238905B2 JP2014547716A JP2014547716A JP6238905B2 JP 6238905 B2 JP6238905 B2 JP 6238905B2 JP 2014547716 A JP2014547716 A JP 2014547716A JP 2014547716 A JP2014547716 A JP 2014547716A JP 6238905 B2 JP6238905 B2 JP 6238905B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- gap
- camera
- concavo
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 15
- 230000002093 peripheral effect Effects 0.000 claims description 13
- 230000000630 rising effect Effects 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
a)双方の認識方法は、独立して実施され、結果が融合される、
b)ステレオデータによる高さギャップ認識が、縁石などの有無を検出し、適合するエッジが画像内にあるか否かを確認する、或いは、
c)2D画像内のエッジを探し、適当なエッジがある場所において、奥行き方向に解像した画像データ内に高さギャップが存在するか否かを確認する。
Claims (10)
- 3Dカメラにより、車両前方に横たわる周辺部の少なくとも一枚の画像を撮影する、3Dカメラを用いた車両周辺部の凹凸プロファイルの割り出し方法において、
3Dカメラの画像データから、車両の走行方向(1)に対して横向き(2)の周辺部表面の凹凸プロファイル(6)内での少なくとも一つのギャップ(7,8)が割出され、
車両周辺部の凹凸マップが3Dカメラの奥行き方向に解像した画像データから作成され、この凹凸マップの推移が、走行方向(1)に対して横向き(2)の複数のライン(5)に沿った凹凸プロファイル(6)として割り出されて、車両の走行方向(1)に対して横向き(2)の周辺部表面の凹凸プロファイル(6)内のライン(5)に沿った少なくとも一つのギャップ(7,8)が割出され、
この割出された少なくとも一つのギャップ(7,8)のみを候補として、カラー値画像及び/又はグレースケール画像である、3Dカメラの2D画像データからエッジを認識するアルゴリズムを用いてエッジを割出し、これによって、3D画像データからの車両周辺部の凹凸プロファイルの割出しの際に、この割出された少なくとも一つのギャップ(7,8)の精密化又は妥当性検証が実施される、
ことを特徴とする方法。 - 走行方向(1)に対して横向き(2)の複数のライン(5)に沿って凹凸プロファイル(6)が分析される検出領域が、既に割り出された凹凸プロファイル(6)内のギャップ(7,8)に基づいて限定されることを特徴とする請求項1に記載の方法。
- 少なくとも一本の車線縁が、少なくとも一つの割出された凹凸プロファイル(6)内でのギャップ(7,8)を考慮しながら認識されることを特徴とする請求項1又は2に記載の方法。
- 高くなっている車線境界(3,4)が、凹凸プロファイル(6)内でのギャップ(7,8)の予め設定されている最低高から割り出されることを特徴とする請求項3に記載の方法。
- 車両データ及び凹凸プロファイル(6)から、高くなっている車線境界(3,4)に車両が衝突する危険性があるか否かが割出され、仮に迫っている場合は、警告が発生られる、或いは、衝突を回避するために車両制御への介入が実施されることを特徴とする請求項4に記載の方法。
- 車線縁と隣接する周辺部の車線に対する凹みが、ギャップ(7,8)の予め定められている最低深さから認識され、車両データ及び凹凸プロファイル(6)からは、車線から車両が逸脱する危険性が迫っているか否かが割出され、仮に迫っている場合、警告を発する、或いは、車線からの逸脱を回避するために車両制御への介入が実施されることを特徴とする請求項3から5までの何れか一項に記載の方法。
- 下げられた、及び/或いは、低くされた縁石が、走行方向において変化する、高くなっている車線境界のギャップの高さから認識され、これに基づいて、車線に対して側方への入り口、及び/或いは、進入路が認識されることを特徴とする請求項4から6までの何れか一項に記載の方法。
- 停車操作又は駐車操作において、少なくとも一つの車両制御への介入が実施され、これにより、車両が、高くなっている車線境界(3,4)に対して平行に、且つ、これに対して側方に所定の間隔をおいて停車されることを特徴とする請求項4から7までの何れか一項に記載の方法。
- 3Dカメラがステレオ・カメラであることを特徴とする請求項1から8までの何れか一項に記載の方法。
- 3Dカメラを包含する車両周辺部の凹凸プロファイルを割出すための装置であって、車両の走行方向(1)に対して横向き(2)の周辺部表面の凹凸プロファイル(6)内での少なくとも一つのギャップ(7,8)を割出すための評価手段を装備しており、
車両周辺部の凹凸マップが3Dカメラの奥行き方向に解像した画像データから作成され、この凹凸マップの推移が、走行方向(1)に対して横向き(2)の複数のライン(5)に沿った凹凸プロファイル(6)として割り出されて、車両の走行方向(1)に対して横向き(2)の周辺部表面の凹凸プロファイル(6)内のライン(5)に沿った少なくとも一つのギャップ(7,8)が割出され、
この割出された少なくとも一つのギャップ(7,8)のみを候補として、カラー値画像及び/又はグレースケール画像である、3Dカメラの2D画像データからエッジを認識するアルゴリズムを用いてエッジを割出し、これによって、3D画像データからの車両周辺部の凹凸プロファイルの割出しの際に、この割出された少なくとも一つのギャップ(7,8)の精密化又は妥当性検証が実施される、
ことを特徴とする車両周辺部の凹凸プロファイルを割出すための装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102011056671A DE102011056671A1 (de) | 2011-12-20 | 2011-12-20 | Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera |
DE102011056671.6 | 2011-12-20 | ||
PCT/DE2012/100384 WO2013091620A1 (de) | 2011-12-20 | 2012-12-17 | Bestimmung eines höhenprofils einer fahrzeugumgebung mittels einer 3d-kamera |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015510105A JP2015510105A (ja) | 2015-04-02 |
JP2015510105A5 JP2015510105A5 (ja) | 2015-11-05 |
JP6238905B2 true JP6238905B2 (ja) | 2017-11-29 |
Family
ID=47678433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014547716A Active JP6238905B2 (ja) | 2011-12-20 | 2012-12-17 | 3dカメラを用いた車両周辺部の凹凸プロファイルの割り出し |
Country Status (6)
Country | Link |
---|---|
US (1) | US20140320644A1 (ja) |
EP (1) | EP2795537A1 (ja) |
JP (1) | JP6238905B2 (ja) |
KR (1) | KR20140109990A (ja) |
DE (2) | DE102011056671A1 (ja) |
WO (1) | WO2013091620A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012101085A1 (de) | 2012-02-10 | 2013-08-14 | Conti Temic Microelectronic Gmbh | Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera |
JP6194604B2 (ja) * | 2013-03-15 | 2017-09-13 | 株式会社リコー | 認識装置、車両及びコンピュータが実行可能なプログラム |
KR102153030B1 (ko) | 2013-11-05 | 2020-09-07 | 현대모비스 주식회사 | 주차 지원 장치 및 방법 |
DE102013223367A1 (de) | 2013-11-15 | 2015-05-21 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems |
DE102013224791A1 (de) * | 2013-12-03 | 2015-06-03 | Continental Teves Ag & Co. Ohg | Verfahren zur Erkennung von wenigstens einer Fahrspurmarkierung einer einem Fahrzeug vorausliegenden Fahrspur |
EP3007099B1 (en) | 2014-10-10 | 2022-12-07 | Continental Autonomous Mobility Germany GmbH | Image recognition system for a vehicle and corresponding method |
US20160321810A1 (en) * | 2015-04-28 | 2016-11-03 | Pixart Imaging (Penang) Sdn. Bhd. | Optical navigation sensor, electronic device with optical navigation function and operation method thereof |
DE102016215840A1 (de) | 2016-08-23 | 2018-03-01 | Volkswagen Aktiengesellschaft | Verfahren zur Erfassung von im Fahrzeugumfeld befindlichen Bordsteinen |
JP6874319B2 (ja) * | 2016-10-12 | 2021-05-19 | 日産自動車株式会社 | 走路境界監視方法及び走路境界監視装置 |
US10078334B2 (en) * | 2016-12-07 | 2018-09-18 | Delphi Technologies, Inc. | Vision sensing compensation |
WO2018193577A1 (ja) * | 2017-04-20 | 2018-10-25 | 三菱電機株式会社 | 駐車支援制御装置および駐車支援制御方法 |
DE102017004642A1 (de) | 2017-05-15 | 2017-12-14 | Daimler Ag | Verfahren und Vorrichtung zur Bestimmung eines Höhenprofils eines einem Fahrzeug vorausliegenden Fahrbahnabschnitts |
DE102018129485A1 (de) * | 2018-11-22 | 2020-05-28 | Trw Automotive Gmbh | Verfahren sowie System zur Bestimmung eines Fahrkorridors |
DE102019204318A1 (de) * | 2019-03-28 | 2020-10-01 | Conti Temic Microelectronic Gmbh | Automatische Erkennung und Klassifizierung von Adversarial Attacks |
CN109976348A (zh) * | 2019-04-11 | 2019-07-05 | 深圳市大富科技股份有限公司 | 一种车辆及其运动控制方法、设备、存储介质 |
DE102019110216A1 (de) * | 2019-04-17 | 2020-10-22 | Zf Friedrichshafen Ag | Verfahren zum Erfassen von für ein Fahrzeug zur Verfügung stehenden künftigen Fahrspuren sowie Steuergerät, Fahrzeug, Computerprogramm und computerlesbarer Datenträger |
CN110942481B (zh) * | 2019-12-13 | 2022-05-20 | 西南石油大学 | 一种基于图像处理的纵跳检测方法 |
DE102020201000B3 (de) | 2020-01-28 | 2021-07-29 | Zf Friedrichshafen Ag | Computerimplementiertes Verfahren und System zum Erhalten eines Umfeldmodells und Steuergerät für ein automatisiert betreibbares Fahrzeug |
DE102021101133A1 (de) | 2021-01-20 | 2022-07-21 | Valeo Schalter Und Sensoren Gmbh | Detektion eines lateralen Endes einer Fahrbahn |
CN117087675B (zh) * | 2023-10-10 | 2024-04-12 | 镁佳(北京)科技有限公司 | 一种车辆通过性的检测方法、装置、设备及介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021411A (ja) * | 1996-07-05 | 1998-01-23 | Nissan Motor Co Ltd | 走行路認識装置 |
US20020176608A1 (en) * | 2001-05-23 | 2002-11-28 | Rose David Walter | Surface-profiling system and method therefor |
WO2004021546A2 (de) * | 2002-08-09 | 2004-03-11 | Conti Temic Microelectronic Gmbh | Verkehrsmittel mit einer 3d-entfernungsbildkamera und verfahren zu dessen betrieb |
JP4092308B2 (ja) * | 2004-06-02 | 2008-05-28 | トヨタ自動車株式会社 | 境界線検出装置 |
DE102004057296A1 (de) * | 2004-11-26 | 2006-06-08 | Daimlerchrysler Ag | Lane-Departure-Warning mit Unterscheidung zwischen Fahrbahnrandmarkierung und baulicher Begrenzung des Fahrbahnrandes |
DE102005039167A1 (de) * | 2005-08-17 | 2007-02-22 | Daimlerchrysler Ag | Fahrerassistenzsystem zur Fahrerwarnung bei einem drohenden Verlassen der Fahrspur |
EP2168079B1 (en) * | 2007-01-23 | 2015-01-14 | Valeo Schalter und Sensoren GmbH | Method and system for universal lane boundary detection |
RU2009148504A (ru) * | 2007-06-08 | 2011-07-20 | Теле Атлас Б.В. (NL) | Способ и устройство для создания панорамы с множественными точками наблюдения |
JP5163164B2 (ja) * | 2008-02-04 | 2013-03-13 | コニカミノルタホールディングス株式会社 | 3次元計測装置 |
JP5089545B2 (ja) * | 2008-09-17 | 2012-12-05 | 日立オートモティブシステムズ株式会社 | 道路境界検出判断装置 |
DE102009033219A1 (de) | 2009-01-23 | 2010-07-29 | Daimler Ag | Verfahren zur Ermittlung eines Fahrzeug vorausliegenden Straßenprofils einer Fahrspur |
JP5171723B2 (ja) * | 2009-04-27 | 2013-03-27 | アルプス電気株式会社 | 障害物検知装置、および当該装置を搭載した車両 |
US8564657B2 (en) * | 2009-05-29 | 2013-10-22 | Honda Research Institute Europe Gmbh | Object motion detection system based on combining 3D warping techniques and a proper object motion detection |
DE102010020688A1 (de) * | 2010-05-15 | 2011-05-19 | Daimler Ag | Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug |
-
2011
- 2011-12-20 DE DE102011056671A patent/DE102011056671A1/de not_active Withdrawn
-
2012
- 2012-12-17 KR KR1020147020246A patent/KR20140109990A/ko not_active Application Discontinuation
- 2012-12-17 JP JP2014547716A patent/JP6238905B2/ja active Active
- 2012-12-17 WO PCT/DE2012/100384 patent/WO2013091620A1/de active Application Filing
- 2012-12-17 US US14/366,052 patent/US20140320644A1/en not_active Abandoned
- 2012-12-17 EP EP12822964.8A patent/EP2795537A1/de not_active Ceased
- 2012-12-17 DE DE112012004831.8T patent/DE112012004831A5/de active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2015510105A (ja) | 2015-04-02 |
EP2795537A1 (de) | 2014-10-29 |
WO2013091620A1 (de) | 2013-06-27 |
KR20140109990A (ko) | 2014-09-16 |
DE112012004831A5 (de) | 2014-08-28 |
US20140320644A1 (en) | 2014-10-30 |
DE102011056671A1 (de) | 2013-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6238905B2 (ja) | 3dカメラを用いた車両周辺部の凹凸プロファイルの割り出し | |
CN109844762B (zh) | 车载用图像处理装置 | |
JP6657789B2 (ja) | 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム | |
JP6662388B2 (ja) | 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム | |
US8311283B2 (en) | Method for detecting lane departure and apparatus thereof | |
CN106463064B (zh) | 物体识别装置和使用该物体识别装置的车辆行驶控制装置 | |
WO2017145600A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
CN101750049B (zh) | 基于道路和车辆自身信息的单目视觉车距测量方法 | |
WO2013136878A1 (ja) | 物体検出装置 | |
JP6014440B2 (ja) | 移動物体認識装置 | |
WO2017145605A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6340850B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
WO2017145634A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6769477B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
KR101448506B1 (ko) | 선행차량의 거동을 이용한 주행 차로의 곡률 측정 방법 및 장치 | |
JP6972797B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム | |
JP6548312B2 (ja) | 画像処理装置 | |
JP6763198B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP7320184B2 (ja) | 電動車両 | |
JP6972798B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム | |
KR20120116204A (ko) | 선행차량을 이용한 차선 인식 장치 및 그 방법 | |
JP6812701B2 (ja) | 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6240553B2 (ja) | 対象物検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150901 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6238905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |