JP6130325B2 - 道路環境認識装置 - Google Patents
道路環境認識装置 Download PDFInfo
- Publication number
- JP6130325B2 JP6130325B2 JP2014090733A JP2014090733A JP6130325B2 JP 6130325 B2 JP6130325 B2 JP 6130325B2 JP 2014090733 A JP2014090733 A JP 2014090733A JP 2014090733 A JP2014090733 A JP 2014090733A JP 6130325 B2 JP6130325 B2 JP 6130325B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- road
- region
- road environment
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 4
- 235000019557 luminance Nutrition 0.000 description 31
- 230000008569 process Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
- B62D15/0265—Automatic obstacle avoidance by steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
Description
カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出部と、
前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする。
前記第1領域抽出部は、当該エッジ点で囲まれることにより区画される領域を前記第1領域として抽出するように構成されていることが好ましい。
前記物体認識部は、前記第1領域の色相が道路鋲を示す所定の第1色であり、かつ、前記第1領域の大きさが前記道路鋲の実空間上の大きさから定められた第1範囲である場合に、当該第1領域を前記突出物としての前記道路鋲の画像部分と認識するように構成されていることが好ましい。
前記物体認識部は、
前記第1領域の大きさが前記第1範囲の下限未満である場合、前記第1領域の周囲に存在し、かつ、色相が前記第1色よりも暗い第2色である領域を第2領域として探索し、
当該第2領域が検出された場合には前記第3領域の大きさが、前記道路鋲の大きさから定まる第2範囲の大きさであることを条件として当該第3領域を前記道路鋲の画像部分と認識するように構成されていることが好ましい。
前記物体認識部は、前記突出物として道路鋲を認識するように構成され、
前記道路環境認識装置は、
認識された前記道路鋲に基づいて車線を認識する車線認識部と、
認識された車線に基づいて車両の操舵制御を行う操舵制御部とを備えることが好ましい。
前記物体認識部は、前記道路鋲と、当該道路鋲と異なる道路上の突出物とを区別して認識するように構成され、
前記操舵制御部は、前記道路鋲が認識された場合と、当該道路鋲と異なる道路上の突出物が認識された場合とで異なる制御を行うように構成されていることが好ましい。
前記物体認識部は、前記突出物の高さに応じて当該突出物が障害物か否かを判定し、
前記操舵制御部は、前記突出物を障害物と認識した場合に当該突出物の回避制御を実行し、前記突出物を障害物と認識しなかった場合に当該突出物の回避制御を実行しないことが好ましい。
前記物体認識部は、前記第1領域の周囲であり、かつ、日光の向きに基づいて推定される前記突出物の影の画像部分が存在する可能性が高い領域内において、前記第2領域を探索するように構成されていることが好ましい。
カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出部と、
前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする車両。
カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出工程と、
前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識工程とを含むことを特徴とする。
本発明の道路環境認識装置の実施形態について、図1〜図5を参照して説明する。
以下、図2(a)及び図2(b)に示したフローチャートに従って、道路環境認識装置10により、道路に設けられたボッツドッツ(道路鋲)を認識する処理について説明する。道路環境認識装置10は、所定の制御周期毎に図2(a)及び図2(b)に示したフローチャートによる処理を実行して、車両1が走行している道路のボッツドッツを認識する。
当該構成の道路環境認識装置10によれば、突出物の一部が当該突出物の影で覆われていたとしても、影で覆われていない箇所の画像部分である第1領域61d〜63dと影で覆われている箇所の画像部分である第2領域61e〜63eとが抽出された場合に、それらを合わせた第3領域に基づいて突出物が認識される。この結果、突出物が存在しているにもかかわらず、突出物の一部が影で覆われているために当該突出物が存在しないとするような誤認識の蓋然性が低下する。
ここで、太陽等の光源の方向によっては、当該光源により照射されている突出物の部分に相当する第1領域61d〜63dの大きさは変化しうるが、当該突出物の部分に突出物の影部分に相当する第2領域61e〜63eを合わせた第3領域の大きさは、突出物の大きさに応じたものとなるため、変化の度合いは小さいと推察される。
本実施形態ではボッツドッツと突起物とが認識対象とされたが、これに限られず、たとえばキャッツアイ、パイロン等が認識対象とされてもよい。
Claims (10)
- カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出部と、
前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする道路環境認識装置。 - 請求項1記載の道路環境認識装置において、
前記第1領域抽出部は、当該エッジ点で囲まれることにより区画される領域を前記第1領域として抽出するように構成されていることを特徴とする道路環境認識装置。 - 請求項1又は2記載の道路環境認識装置において、
前記物体認識部は、前記第1領域の色相が道路鋲を示す所定の第1色であり、かつ、前記第1領域の大きさが前記道路鋲の実空間上の大きさから定められた第1範囲である場合に、当該第1領域を前記突出物としての前記道路鋲の画像部分と認識するように構成されていることを特徴とする道路環境認識装置。 - 請求項3記載の道路環境認識装置において、
前記物体認識部は、
前記第1領域の大きさが前記第1範囲の下限未満である場合、前記第1領域の周囲に存在し、かつ、色相が前記第1色よりも暗い第2色である領域を第2領域として探索し、
当該第2領域が検出された場合には前記第3領域の大きさが、前記道路鋲の大きさから定まる第2範囲の大きさであることを条件として当該第3領域を前記道路鋲の画像部分と認識するように構成されていることを特徴とする道路環境認識装置。 - 請求項1〜4のいずれか1項記載の道路環境認識装置において、
前記物体認識部は、前記突出物として道路鋲を認識するように構成され、
前記道路環境認識装置は、
認識された前記道路鋲に基づいて車線を認識する車線認識部と、
認識された車線に基づいて車両の操舵制御を行う操舵制御部とを備えることを特徴とする道路環境認識装置。 - 請求項5記載の道路環境認識装置において、
前記物体認識部は、前記道路鋲と、当該道路鋲と異なる道路上の突出物とを区別して認識するように構成され、
前記操舵制御部は、前記道路鋲が認識された場合と、当該道路鋲と異なる道路上の突出物が認識された場合とで異なる制御を行うように構成されていることを特徴とする道路環境認識装置。 - 請求項6記載の道路環境認識装置において、
前記物体認識部は、前記突出物の高さに応じて当該突出物が障害物か否かを判定し、
前記操舵制御部は、前記突出物を障害物と認識した場合に当該突出物の回避制御を実行し、前記突出物を障害物と認識しなかった場合に当該突出物の回避制御を実行しないことを特徴とする道路環境認識装置。 - 請求項1〜7のいずれか1項記載の道路環境認識装置において、
前記物体認識部は、前記第1領域の周囲であり、かつ、日光の向きに基づいて推定される前記突出物の影の画像部分が存在する可能性が高い領域内において、前記第2領域を探索するように構成されていることを特徴とする道路環境認識装置。 - カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出部と、
前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識部とを備えることを特徴とする車両。 - カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、
前記エッジ画像から、エッジ点で区画され、周囲部よりも輝度が高い第1領域を抽出する第1領域抽出工程と、
前記エッジ画像において、周囲部よりも輝度が低い第2領域が前記第1領域の周囲に存在しているときに、当該第1領域と当該第2領域とを合わせた領域である第3領域に基づいて前記道路に存在する突出物を認識する物体認識工程とを含むことを特徴とする道路環境認識方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014090733A JP6130325B2 (ja) | 2014-04-24 | 2014-04-24 | 道路環境認識装置 |
US14/689,384 US9558410B2 (en) | 2014-04-24 | 2015-04-17 | Road environment recognizing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014090733A JP6130325B2 (ja) | 2014-04-24 | 2014-04-24 | 道路環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015210608A JP2015210608A (ja) | 2015-11-24 |
JP6130325B2 true JP6130325B2 (ja) | 2017-05-17 |
Family
ID=54335069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014090733A Expired - Fee Related JP6130325B2 (ja) | 2014-04-24 | 2014-04-24 | 道路環境認識装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9558410B2 (ja) |
JP (1) | JP6130325B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6996200B2 (ja) * | 2017-09-29 | 2022-01-17 | 富士通株式会社 | 画像処理方法、画像処理装置、および画像処理プログラム |
DE102018208739A1 (de) * | 2018-06-04 | 2019-12-05 | Conti Temic Microelectronic Gmbh | Abschätzung von Ortskoordinaten von Lichtquellen in Umgebungsbildern |
DE102018216562A1 (de) * | 2018-09-27 | 2020-04-02 | Conti Temic Microelectronic Gmbh | Verfahren zum Detektieren von Lichtverhältnissen in einem Fahrzeug |
US11891067B2 (en) * | 2019-12-11 | 2024-02-06 | Electronics And Telecommunications Research Institute | Vehicle control apparatus and operating method thereof |
CN115880674B (zh) * | 2023-03-01 | 2023-05-23 | 上海伯镭智能科技有限公司 | 一种基于无人驾驶矿车的避障转向矫正方法 |
CN118261767B (zh) * | 2024-05-29 | 2024-09-17 | 浙江吉利控股集团有限公司 | 道路环境共享方法、智能车辆及道路环境共享系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3638845B2 (ja) * | 1999-12-24 | 2005-04-13 | 三洋電機株式会社 | 画像処理装置及び方法 |
JP4016735B2 (ja) * | 2001-11-30 | 2007-12-05 | 株式会社日立製作所 | レーンマーク認識方法 |
JP4572826B2 (ja) * | 2005-12-06 | 2010-11-04 | トヨタ自動車株式会社 | 道路区画線検出装置 |
JP4512044B2 (ja) * | 2006-02-07 | 2010-07-28 | トヨタ自動車株式会社 | 道路区間線検出装置 |
JP4470067B2 (ja) * | 2007-08-07 | 2010-06-02 | 本田技研工業株式会社 | 対象物種別判定装置、車両 |
JP5014237B2 (ja) * | 2008-04-23 | 2012-08-29 | 本田技研工業株式会社 | レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム |
US8699754B2 (en) * | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
JP5195377B2 (ja) * | 2008-12-10 | 2013-05-08 | トヨタ自動車株式会社 | 車線境界導出装置 |
JP5152002B2 (ja) * | 2009-01-16 | 2013-02-27 | 日産自動車株式会社 | 車線認識装置および車線認識方法 |
JP5220787B2 (ja) * | 2010-03-08 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | 車載白線認識装置 |
JP5792678B2 (ja) * | 2012-06-01 | 2015-10-14 | 株式会社日本自動車部品総合研究所 | 車線境界線検出装置およびプログラム |
WO2014017625A1 (ja) * | 2012-07-27 | 2014-01-30 | 日産自動車株式会社 | 立体物検出装置および立体物検出方法 |
-
2014
- 2014-04-24 JP JP2014090733A patent/JP6130325B2/ja not_active Expired - Fee Related
-
2015
- 2015-04-17 US US14/689,384 patent/US9558410B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015210608A (ja) | 2015-11-24 |
US9558410B2 (en) | 2017-01-31 |
US20150310284A1 (en) | 2015-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6130325B2 (ja) | 道路環境認識装置 | |
EP2958054B1 (en) | Hazard detection in a scene with moving shadows | |
JP5407898B2 (ja) | 対象物検出装置及びプログラム | |
JP5822255B2 (ja) | 対象物識別装置及びプログラム | |
US8867792B2 (en) | Environment recognition device and environment recognition method | |
WO2017138245A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6230482B2 (ja) | レーンマーク認識装置、車両及びレーンマーク認識方法 | |
JP6141787B2 (ja) | レーンマーク認識装置 | |
CN104636724B (zh) | 一种基于目标一致性的车载相机快速行人车辆检测方法 | |
JP6597792B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP2008158958A (ja) | 路面判別方法および路面判別装置。 | |
CN111971682A (zh) | 路面检测装置、利用了路面检测装置的图像显示装置、利用了路面检测装置的障碍物检测装置、路面检测方法、利用了路面检测方法的图像显示方法以及利用了路面检测方法的障碍物检测方法 | |
KR20090098167A (ko) | 거리센서를 이용한 차선인식 방법 및 그 시스템 | |
US9727780B2 (en) | Pedestrian detecting system | |
JP4123138B2 (ja) | 車両検知方法及び車両検知装置 | |
JP2017052498A (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6431299B2 (ja) | 車両周辺監視装置 | |
JP6132807B2 (ja) | レーンマーク認識装置 | |
Zhang et al. | Night time vehicle detection and tracking by fusing sensor cues from autonomous vehicles | |
Vitor et al. | Stereo vision for dynamic urban environment perception using semantic context in evidential grid | |
JP4824729B2 (ja) | 物体検知の方法 | |
Itu et al. | An efficient obstacle awareness application for android mobile devices | |
CN111062311A (zh) | 一种基于深度级可分离卷积网络的行人手势识别与交互方法 | |
KR101461316B1 (ko) | 듀얼 카메라를 포함하는 무인차의 컬러 마커 기반 무인 운전 시스템 및 그 방법 | |
Guo et al. | Drivable road region detection based on homography estimation with road appearance and driving state models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6130325 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |