JP6993205B2 - 区画線特定装置 - Google Patents
区画線特定装置 Download PDFInfo
- Publication number
- JP6993205B2 JP6993205B2 JP2017241901A JP2017241901A JP6993205B2 JP 6993205 B2 JP6993205 B2 JP 6993205B2 JP 2017241901 A JP2017241901 A JP 2017241901A JP 2017241901 A JP2017241901 A JP 2017241901A JP 6993205 B2 JP6993205 B2 JP 6993205B2
- Authority
- JP
- Japan
- Prior art keywords
- paint
- lane marking
- flare
- candidate
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003973 paint Substances 0.000 claims description 358
- 238000000605 extraction Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 description 103
- 238000005192 partition Methods 0.000 description 15
- 230000002093 peripheral effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/08—Lane monitoring; Lane Keeping Systems
- B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
[1.第1実施形態]
[1-1.構成]
図1に示す車両100は、カメラ1と、センサユニット2と、区画線特定装置3と、報知ユニット4と、を備える。
[1-2.処理]
次に、区画線特定装置3が実行する車両区画線の特定処理の手順について、図2のフローチャートを参照して説明する。特定処理は、カメラ1によって撮像画像を得る度に区画線特定装置3が実行する処理である。なお、本実施形態では、特定処理の説明とともに、図3に示す撮像画像200を取得した例も併せて説明する。
以上詳述した第1実施形態によれば、以下の効果が得られる。
(1a)区画線特定装置3は、ペイント候補について、フレア特徴を有するか否かを判定し、その後、区画ペイントであるか否かを特定する。つまり、例えばあるペイント候補が、フレア特徴の判定処理においてフレア特徴を有すると判定されたとしても、区画ペイントであるか否かの特定処理において統合値がしきい値Th1以上である場合には、当該ペイント候補が区画ペイントであると特定される。
[2.第2実施形態]
[2-1.処理の概要]
第1実施形態の区画線特定装置3が実行する接続処理に対して、第2実施形態の接続処理は、フレアペイント候補について傾きを判定する追加処理を更に加えた点が異なる。
[2-2.処理]
次に、第2実施形態の接続処理について、図6のフローチャートを用いて説明する。接続処理は、S403の追加処理が新たに加わった点を除き、図5のフローチャートと同様である。すなわち、S401-S402,S404-S412の処理は、S301-S302,S303-S311の処理と同様である。
[2-3.効果]
以上詳述した第2実施形態によれば、以下の効果が得られる。
[3.第3実施形態]
[3-1.処理の概要]
第3実施形態の追加処理は、第2実施形態の区画線特定装置3が実行する追加処理に代えて、前回区画線が破線である場合に、フレアペイント候補の長さ及びフレアペイント候補と他のペイント候補との間隔について判定する追加処理を行う点が異なる。
[3-2.処理]
第3実施形態の接続処理は、S403の追加処理の内容が異なる点を除き、図6に示す第2実施形態の接続処理と同様である。
S601で、区画線特定装置3は、前回区画線が破線であるか否かを判定する。破線であると判定した場合、区画線特定装置3は、処理をS602へ移行する。一方、破線でないと判定した場合、区画線特定装置3は、処理をS404へ移行する。
[3-3.効果]
以上詳述した第3実施形態によれば、以下の効果が得られる。
[4.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。なお、第2実施形態と同様、最新の撮像画像を第1の撮像画像、第1の撮像画像の直前に撮像された撮像画像を第2の撮像画像として以下説明する。
また例えば、第1の特徴及び第2の特徴に加え、第3の特徴を更に算出してフレアペイント候補が区画ペイントであるか否かを判定してもよい。第3の特徴は、フレアペイント候補を除いた、区画ペイントであると特定した他のペイント候補を順に接続した仮の接続線のパラメータである傾きである。区画線特定装置は、第1の特徴と第2の特徴とのパラメータの差である第1の差、及び第2の特徴と第3の特徴とのパラメータの差である第2の差をそれぞれ算出し、第2の差よりも第1の差の方が差分が大きい場合、フレアペイント候補を区画ペイントでないと判定する。
例えば、特定条件は、(4a)で説明した仮の接続線の形状と地図上の車両区画線の形状とを比較することにより算出した類似度が、しきい値を超えることとしてもよい。地図上の車両区画線は、車両搭載のナビゲーションシステム等に登録されている地図に描かれている車両区画線のことである。また、ここでいうしきい値は、仮の接続線が車両区画線と同一の線であるか否かを判断するための値である。例えば、区画線特定装置は、ペイント候補と区画ペイントであると特定した他のペイント候補とを順に接続した仮の接続線を生成する。次に、区画線特定装置は、撮像画像のトップビュー画像における仮の接続線の形状と、地図上の車両区画線の形状との類似度を算出し、当該類似度がしきい値を超えるか否かを判定する。
(4e)上記実施形態では、特定条件を厳しく設定する処理の一例として、フレアペイント候補のしきい値を、フレア特徴を有しないと判定されたペイント候補と比較して高く設定する処理を例示した。しかし、特定条件を厳しく設定する処理はこれに限定されるものではない。例えば、特定条件を厳しく設定する処理として、フレアペイント候補について、フレア特徴を有しないと判定されたペイント候補と比較して統合値を低く算出するようにしてもよい。この際、第1~第3のフレア特徴を有する数に応じて統合値が低く算出される程度を変えてもよい。
例えば、対向車の前照灯などのフレアは短い場合が多い。そこで、例えば判定処理で判定する上記3つのフレア特徴に加え又は代えて、ペイント候補の長さ、より詳しくはペイント候補の車両側エッジ線の長さ、が所定のしきい値以下であることをフレア特徴としてもよい。
(4i)第3のフレア特徴を有するか否かの判定は、上記実施形態に限定されるものではない。例えば、判定対象のペイント候補のコントラストが、周辺ペイント候補のコントラストと比較して高い場合に、判定対象のペイント候補が第3のフレア特徴を有すると判定するようにしてもよい。また例えば、判定対象のペイント候補と比較する他のペイント候補は1つであってもよい。
(4l)上記第3実施形態における追加処理では、前回区画線との長さの差及び前回区画線との間隔の差のうち少なくとも一方が所定のしきい値を超えるフレアペイント候補について区画ペイントでないと判定した。しかしながら、追加処理はこれに限定されるものではない。例えば、当該長さの差及び当該間隔の差のうち一方のみについて追加処理を行うようにしてもよく、また例えば、当該長さの差及び当該間隔の差の両方が所定のしきい値を超えるフレアペイント候補について区画ペイントでないと判定するようにしてもよい。
(4n)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
Claims (8)
- 路面(5)の区画線を特定する区画線特定装置(3)であって、
車両(100)に搭載され路面を含む前記車両の前方を撮像するカメラ(1)によって得られた撮像画像(200)において、区画線の特定に用いる路面ペイントの候補であるペイント候補(61-66,71,72,81)を抽出するように構成された抽出部(S102)と、
前記ペイント候補が所定のフレア特徴を有するか否かを判定するように構成された判定部(S103)と、
前記ペイント候補であって区画線の特定に用いるための条件である特定条件を満たす前記ペイント候補を用いて区画線を特定するように構成された区画線特定部(S104-S106)と、
を備え、
前記区画線特定部は、前記判定部によって前記フレア特徴を有しないと判定された前記ペイント候補(61-66,81)と比較して、前記判定部によって前記フレア特徴を有すると判定された前記ペイント候補(71,72)であるフレアペイント候補について、前記特定条件を厳しく設定する、区画線特定装置。 - 請求項1に記載の区画線特定装置であって、
前記判定部は、前記ペイント候補が前記フレア特徴を有するか否かの判定として、前記撮像画像における前記ペイント候補の傾きが所定の範囲内であるか否かを少なくとも判定する、区画線特定装置。 - 請求項1又は請求項2に記載の区画線特定装置であって、
前記判定部は、前記ペイント候補が前記フレア特徴を有するか否かの判定として、前記撮像画像において、光源(73)が前記ペイント候補の延長線上に存在するか否かを少なくとも判定する、区画線特定装置。 - 請求項1から請求項3までのいずれか1項に記載の区画線特定装置であって、
前記判定部は、前記ペイント候補が前記フレア特徴を有するか否かの判定として、前記撮像画像における、前記ペイント候補のコントラストと前記ペイント候補の周辺に存在する他の前記ペイント候補のコントラストとの差が所定の値以上であるか否かを少なくとも判定する、区画線特定装置。 - 請求項1から請求項4までのいずれか1項に記載の区画線特定装置であって、
前記区画線特定部は、第1の撮像画像において前記フレアペイント候補に基づき特定される第1の区画線の特徴である第1の特徴と、前記第1の撮像画像の直前に撮像された撮像画像である第2の撮像画像から特定され、前記第1の区画線に対応する第2の区画線の特徴である第2の特徴とを比較し、前記第1の特徴と前記第2の特徴との比較結果が、特徴の差が大きいことを示す所定の判定条件を満たす場合、前記フレアペイント候補を区画線の特定に用いない、区画線特定装置。 - 請求項5に記載の区画線特定装置であって、
前記第1の特徴は、前記第1の撮像画像における前記フレアペイント候補の傾きであって、
前記第2の特徴は、前記第2の撮像画像から特定される前記第2の区画線の傾きである、区画線特定装置。 - 請求項5に記載の区画線特定装置であって、
前記第1の特徴は、前記第1の撮像画像における前記フレアペイント候補と前記フレアペイント候補の周辺に存在する他の前記ペイント候補との間隔であって、
前記第2の特徴は、前記第2の撮像画像から特定される前記区画線を構成する破線同士の間隔である、区画線特定装置。 - 請求項5に記載の区画線特定装置であって、
前記第1の特徴は、前記第1の撮像画像における前記フレアペイント候補の長さであって
前記第2の特徴は、前記第2の撮像画像から特定される前記第2の区画線を構成する破線の長さである、区画線特定装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017241901A JP6993205B2 (ja) | 2017-12-18 | 2017-12-18 | 区画線特定装置 |
US16/221,984 US11010618B2 (en) | 2017-12-18 | 2018-12-17 | Apparatus for identifying line marking on road surface |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017241901A JP6993205B2 (ja) | 2017-12-18 | 2017-12-18 | 区画線特定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019109681A JP2019109681A (ja) | 2019-07-04 |
JP6993205B2 true JP6993205B2 (ja) | 2022-01-13 |
Family
ID=66816090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017241901A Active JP6993205B2 (ja) | 2017-12-18 | 2017-12-18 | 区画線特定装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11010618B2 (ja) |
JP (1) | JP6993205B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113212352B (zh) * | 2020-02-06 | 2023-05-05 | 佛吉亚歌乐电子有限公司 | 图像处理装置以及图像处理方法 |
JP7354952B2 (ja) * | 2020-07-14 | 2023-10-03 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020042676A1 (en) | 2000-09-29 | 2002-04-11 | Nissan Motor Co., Ltd. | Road lane marker recognition |
JP2002163661A (ja) | 2000-11-22 | 2002-06-07 | Nissan Motor Co Ltd | 白線検出装置 |
JP2007299045A (ja) | 2006-04-27 | 2007-11-15 | Nissan Motor Co Ltd | 車線認識装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6930593B2 (en) * | 2003-02-24 | 2005-08-16 | Iteris, Inc. | Lane tracking system employing redundant image sensing devices |
US8924078B2 (en) * | 2004-11-18 | 2014-12-30 | Gentex Corporation | Image acquisition and processing system for vehicle equipment control |
JP4654208B2 (ja) * | 2007-02-13 | 2011-03-16 | 日立オートモティブシステムズ株式会社 | 車載用走行環境認識装置 |
JP2010073009A (ja) * | 2008-09-19 | 2010-04-02 | Denso Corp | 画像処理装置 |
WO2011106578A2 (en) * | 2010-02-26 | 2011-09-01 | Gentex Corporation | Automatic vehicle equipment monitoring, warning, and control system |
JP5892876B2 (ja) | 2011-07-28 | 2016-03-23 | クラリオン株式会社 | 車載用環境認識装置 |
JP2013031054A (ja) * | 2011-07-29 | 2013-02-07 | Ricoh Co Ltd | 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法 |
JP6254083B2 (ja) * | 2012-07-27 | 2017-12-27 | クラリオン株式会社 | 車載用周囲環境認識装置 |
-
2017
- 2017-12-18 JP JP2017241901A patent/JP6993205B2/ja active Active
-
2018
- 2018-12-17 US US16/221,984 patent/US11010618B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020042676A1 (en) | 2000-09-29 | 2002-04-11 | Nissan Motor Co., Ltd. | Road lane marker recognition |
JP2002163661A (ja) | 2000-11-22 | 2002-06-07 | Nissan Motor Co Ltd | 白線検出装置 |
JP2007299045A (ja) | 2006-04-27 | 2007-11-15 | Nissan Motor Co Ltd | 車線認識装置 |
Non-Patent Citations (2)
Title |
---|
Soonhong Jung et al,Efficient Lane Detection Based on Spatiotemporal Images,IEEE Transactions on Intelligent Transportation Systems,米国,IEEE,2015年08月21日,Volume: 17, Issue: 1,289 - 295,https://ieeexplore.ieee.org/document/7217838 |
山口 直人 他2名,適応エッジ保存平滑化を用いた白線検出手法,電子情報通信学会論文誌 (J88-D-II),日本,社団法人電子情報通信学会,2005年08月01日 |
Also Published As
Publication number | Publication date |
---|---|
US11010618B2 (en) | 2021-05-18 |
US20190188497A1 (en) | 2019-06-20 |
JP2019109681A (ja) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5961207B2 (ja) | 車外環境認識装置 | |
JP3931891B2 (ja) | 車載用画像処理装置 | |
JP6220327B2 (ja) | 走行区画線認識装置、走行区画線認識プログラム | |
JP5880703B2 (ja) | 車線区分標示検出装置、運転支援システム | |
JP4568637B2 (ja) | 道路認識装置 | |
JP6156400B2 (ja) | 走行路面検出装置及び走行路面検出方法 | |
US9886773B2 (en) | Object detection apparatus and object detection method | |
JP5402828B2 (ja) | 車線境界検出装置、車線境界検出プログラム | |
US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
JP2006331389A (ja) | 車線認識装置 | |
US10748014B2 (en) | Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium | |
JP5065172B2 (ja) | 車両灯火判定装置及びプログラム | |
US10846546B2 (en) | Traffic signal recognition device | |
JP2007264712A (ja) | 車線検出装置 | |
JP6993205B2 (ja) | 区画線特定装置 | |
JP6903477B2 (ja) | 軌道識別装置、およびプログラム | |
JP6317607B2 (ja) | 車外環境認識装置 | |
US11001300B2 (en) | Driving support system | |
JP5974923B2 (ja) | 道路端検出システム、方法およびプログラム | |
JP5434277B2 (ja) | 走行支援装置および走行支援方法 | |
JP6339840B2 (ja) | 車外環境認識装置 | |
JP6608664B2 (ja) | 自車位置認識装置 | |
JP2010271969A (ja) | 車線検出装置 | |
JP6243780B2 (ja) | 車外環境認識装置 | |
JP6453571B2 (ja) | 立体物認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6993205 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |