JP6993205B2 - 区画線特定装置 - Google Patents

区画線特定装置 Download PDF

Info

Publication number
JP6993205B2
JP6993205B2 JP2017241901A JP2017241901A JP6993205B2 JP 6993205 B2 JP6993205 B2 JP 6993205B2 JP 2017241901 A JP2017241901 A JP 2017241901A JP 2017241901 A JP2017241901 A JP 2017241901A JP 6993205 B2 JP6993205 B2 JP 6993205B2
Authority
JP
Japan
Prior art keywords
paint
lane marking
flare
candidate
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017241901A
Other languages
English (en)
Other versions
JP2019109681A (ja
Inventor
泰樹 河野
俊輔 鈴木
俊也 熊野
章弘 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017241901A priority Critical patent/JP6993205B2/ja
Priority to US16/221,984 priority patent/US11010618B2/en
Publication of JP2019109681A publication Critical patent/JP2019109681A/ja
Application granted granted Critical
Publication of JP6993205B2 publication Critical patent/JP6993205B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • B60T2201/089Lane monitoring; Lane Keeping Systems using optical detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、区画線特定装置に関する。
近年、車載カメラによって得られた撮像画像を用いて、車両が走行している路面の区画線を特定する区画線特定装置が知られている。区画線特定装置は、区画線からの車両の逸脱防止など、特定した区画線に基づいた情報を運転者に報知等する技術に用いられる。
ところで、撮像画像には、夜間は対向車の前照灯などの光源による強い光がしばしば入射する。そうすると、撮像画像に発生したフレアが区画線と誤認識され、正常な区画線の特定ができない場合が生じ得る。そこで、特許文献1には、撮像画像における、路面の反射光などによるフレアが発生している領域であるフレア領域を、区画線等の認識処理の対象領域から除外することにより、区画線等の誤認識を防ぐ車両用環境認識装置が提案されている。
特開2013-47934号公報
しかしながら、上述した特許文献1の車両用環境認識装置では、フレアの発生原因となる強い光が撮像される度に、当該強い光が撮像された領域がフレア領域となる。そうすると、フレアが多く発生する状況下では、撮像画像において認識処理が行われない領域が多くなり、区画線の特定に支障を来す。
本開示の一局面は、フレアが多く発生し得る状況であっても、区画線の特定が可能な区画線特定装置を提供する。
本開示の一態様は、路面(5)の区画線を特定する区画線特定装置(3)であって、抽出部(S102)と、判定部(S103)と、区画線特定部(S104-S106)と、を備える。抽出部は、車両(100)に搭載され路面を含む車両の前方を撮像するカメラ(1)によって得られた撮像画像(200)において、区画線の特定に用いる路面ペイントの候補であるペイント候補(61-66,71,72,81)を抽出するように構成されている。判定部は、ペイント候補が所定のフレア特徴を有するか否かを判定するように構成されている。区画線特定部は、ペイント候補であって区画線の特定に用いるための条件である特定条件を満たすペイント候補を用いて区画線を特定するように構成されている。具体的には、区画線特定部は、判定部によってフレア特徴を有しないと判定されたペイント候補(61-66,81)と比較して、判定部によってフレア特徴を有すると判定されたペイント候補であるフレアペイント候補(71,72)について、特定条件を厳しく設定する。
このような構成によれば、フレアペイント候補について、直ちに区画線を特定する処理に用いる対象外にするのではなく、厳しく設定された特定条件を満たす場合には、区画線を特定する処理に用いる。その結果、撮像画像にフレアが多く発生し得る状況であっても、区画線の特定が可能となる。
第1実施形態の車両の構成を示すブロック図である。 第1実施形態の特定処理のフローチャートである。 第1実施形態の撮像画像の一例を示す図である。 第1実施形態の判定処理のフローチャートである。 第1実施形態の接続処理のフローチャートである。 第2,3実施形態の接続処理のフローチャートである。 第2実施形態の追加処理のフローチャートである。 第3実施形態の追加処理のフローチャートである。
以下、本発明の例示的な実施形態について図面を参照しながら説明する。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、これは本開示の理解を容易にする目的で使用しており、特許請求の範囲の解釈を限定する意図ではない。
[1.第1実施形態]
[1-1.構成]
図1に示す車両100は、カメラ1と、センサユニット2と、区画線特定装置3と、報知ユニット4と、を備える。
カメラ1は、路面を含む車両100の前方を撮像するカメラである。カメラ1は、車両100における前方中央付近に取り付けられている。カメラ1は、撮像画像のデータを区画線特定装置3に入力する。
センサユニット2は、車両100の走行支援に必要な情報を検出するセンサの集合体である。センサユニット2は、車速センサ及び走行中に車両100の重心軸周りに加わる角速度を検出するヨーレートセンサ等を備える。
区画線特定装置3は、カメラ1によって得られた撮像画像を用いて路面の区画線を特定する。特に、本実施形態では、車両100が走行している車線の両側の区画線である車両区画線を特定する。区画線は、例えば線の色が白や黄色であったり、また例えば線の形状が直線や破線であるなど、車両100が走行する路面を区画する様々な線のことを指す。区画線特定装置3は、CPU、RAM、ROM、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。区画線特定装置3の機能は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、区画線特定装置3によってプログラムが実行されることで、後述する特定処理が実行される。なお、区画線特定装置3を構成するマイクロコンピュータの数は1つでも複数でもよい。
区画線特定装置3は、CPUがプログラムを実行することで実現される複数の機能のそれぞれに対応する仮想的な構成要素として、抽出部31と、判定部32と、接続部33と、選択部34と、特定部35と、を備える。ただし、これらの機能を実現する手法はソフトウェアに限るものではなく、これらの機能の一部又は全部を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
抽出部31は、カメラ1によって得られた撮像画像からペイント候補を抽出する。ペイント候補とは、後述する区画線の特定処理に用いられる路面ペイントの候補のことである。路面ペイントとは、区画線や道路標示などを示すために白色又は黄色等の明度の高い色で路面に描かれた一続きのペイントである。本実施形態では、特に、区画線として路面上に描かれた路面ペイントを区画ペイントとする。例えば、区画線が実線である場合は、実線を構成する1本の線が1つの区画ペイントである。また例えば、区画線が破線である場合は、破線を構成する複数の線のそれぞれが1つの区画ペイントである。
ここで、ペイント候補の抽出方法について説明する。抽出部31は、撮像画像を水平方向に走査し、周知の算出式を用いて輝度値がしきい値Th0以上変化する点であるエッジ点を抽出する。抽出部31は、抽出されたエッジ点にハフ変換等を適用してペイント候補のエッジを検出する。これにより、撮像画像におけるペイント候補が抽出される。つまり、撮像画像における周囲と比較して輝度の高い領域が、ペイント候補として抽出される。
判定部32は、抽出部31が抽出したペイント候補が少なくとも1つの所定のフレア特徴を有するか否かについて判定する。フレア特徴とは、フレア特有の特徴のことである。本実施形態では、判定部32は、ペイント候補が以下の3つのフレア特徴のうち少なくとも1つを有するか否かについて判定する。
第1のフレア特徴は、撮像画像におけるペイント候補の傾きが、所定の範囲内、本実施形態では撮像画像における鉛直方向に対して30度以内、であることである。対向車の前照灯などの強い光によって生じたフレアは、撮像画像における鉛直方向に近い方向を長手方向として撮像される場合が多い。そこで、判定部32は、ペイント候補の傾きが30度以内である場合に、そのペイント候補がフレア特徴の1つである第1のフレア特徴を有すると判定する。
ここで、ペイント候補の傾きは、ペイント候補における長手方向に沿った2つのエッジ線のうち、車両100に近い側、換言すれば撮像画像の左右方向における中央寄りの方、のエッジ線である車両側エッジ線の傾きに基づいて判定される。車両側エッジ線の傾きは、撮像画像において、車両側エッジ線の鉛直方向のピクセル数と車両側エッジ線の水平方向のピクセル数とを比較することによって算出される。
第2のフレア特徴は、撮像画像において、ペイント候補の長手方向の延長線上に光源が存在することである。フレアは光源による強い光によって発生するため、撮像画像におけるフレアの延長線上に光源が存在し、かつフレア及び光源は1つのペイント候補として抽出される場合が多い。また、フレアと比較して光源は輝度が高い。そこで、判定部32は、まず、ペイント候補に光源が存在するか否か、すなわちペイント候補において所定の輝度よりも高い領域が存在するか否かを判定する。判定部32は、光源が存在すると判定した場合、車両側エッジ線の延長線上に光源が存在するか否かを判定する。車両側エッジ線の延長線上に光源が存在する一例としては、光源を除いたペイント候補の車両側エッジ線の上端が光源に接している場合が挙げられる。判定部32は、車両側エッジ線の延長線上に光源が存在すると判定した場合、そのペイント候補がフレア特徴の1つである第2のフレア特徴を有すると判定する。
第3のフレア特徴は、ペイント候補のコントラストが周辺ペイント候補のコントラストと大きく異なることである。例えば、1本の破線の区画線を構成する複数の区画ペイントは、輝度が同一値又は同一値に近い値になる場合が多い。そこで、判定部32は、まず判定対象のペイント候補との距離が所定値以下のペイント候補である周辺ペイント候補を検索する。そして、判定部32は、2つ以上の周辺ペイント候補が存在する場合、判定対象のペイント候補が第3のフレア特徴を有するか否かを次の手順で判定する。具体的には、まず、判定対象のペイント候補及び2つ以上の周辺ペイント候補のそれぞれについて、ペイント候補の輝度と当該ペイント候補の周辺領域の輝度との差をコントラストとして算出する。そして、判定部32は、対象範囲内に含まれるコントラストを有するペイント候補の数が、対象範囲内に含まれないコントラストを有するペイント候補の数よりも少ない場合に、判定対象のペイント候補が第3のフレア特徴を有すると判定する。対象範囲は、判定対象のペイント候補のコントラストを基準とする所定のコントラスト範囲である。なお、ペイント候補の輝度と周辺領域の輝度との差に代えて、ペイント候補同士の輝度の差をコントラストとして用いてもよい。
このようにして、判定部32は、ペイント候補が第1のフレア特徴、第2のフレア特徴及び第3のフレア特徴のうち少なくとも1つを有するか否かを判定する。換言すれば、判定部32は、ペイント候補について、第1のフレア特徴、第2のフレア特徴及び第3のフレア特徴のうちいずれかを有するペイント候補であるフレアペイント候補であるか否かを判定する。
接続部33は、まず、特定条件を用いて、ペイント候補が、区画ペイントであるか否かを特定する。次に、接続部33は、区画ペイントであると特定されたペイント候補を順に接続する。
本実施形態において、特定条件は、ペイント候補が区画ペイントの特徴を備えている度合を示す値である後述する統合値が、ペイント候補が区画ペイントの特徴を有するか否かを判断するためのしきい値Th1を超えることである。区画ペイントの特徴は、本実施形態では、ペイント候補の傾き、ペイント候補の位置及びペイント候補の幅に基づいて求められる。接続部33は、ペイント候補が区画ペイントの特徴を備えている度合を、過去に特定された車両区画線の情報に基づいて、ペイント候補の傾き、ペイント候補の位置及びペイント候補の幅それぞれについて算出する。すなわち、接続部33は、3つの度合を算出する。そして、接続部33は、当該3つの度合を統合した統合値を算出する。接続部33は、統合値がしきい値Th1を超えた場合に、ペイント候補を区画ペイントであると特定する。
接続部33は、区画ペイントであると特定したペイント候補同士を順に接続し、接続線を生成する。具体的には、区画線特定装置3は、区画ペイントであると特定されたペイント候補のうち、過去に特定された車両区画線の情報に基づいて複数のペイント候補を接続し、接続線を生成する。本実施形態では、互いに近くに存在するとは、少なくとも2つのペイント候補同士が所定の距離内かつ鉛直方向において上下に位置することをいう。つまり、接続部33は、破線である区画線を構成する複数のペイント候補を1本に繋げる。なお、破線ではなく1本の実線である区画線を構成するペイント候補の場合、接続部33は、当該区画線の車両側エッジ線を接続線とする。ペイント候補の接続方法については、後述する特定処理で詳細に説明する。
ここで、接続部33は、フレア特徴を有しないと判定されたペイント候補と比較して、第1のフレア特徴、第2のフレア特徴及び第3のフレア特徴のうちいずれかを有すると判定されたペイント候補であるフレアペイント候補について、特定条件を厳しく設定する。具体的には、接続部33は、フレア特徴を有しないと判定されたペイント候補と比較して、フレアペイント候補のしきい値Th1を高く設定する。例えば、接続部33は、フレア特徴を有しないと判定されたペイント候補に対するしきい値Th1を40%に設定する。これに対し、接続部33は、フレアペイント候補に対するしきい値Th1を80%に設定する。
選択部34は、接続部33で生成された接続線のうち、例えば接続線の形状や撮像画像200における位置など所定の条件に基づいて、区画接続線を選択する。区画接続線は、車両区画線を表す接続線である。
特定部35は、選択部34が選択した区画接続線の情報に基づき、フィルタを用いて車両区画線を特定する。具体的には、特定部35は、所定の区画線モデルを用いた拡張カルマンフィルタ等により、選択された区画接続線の区画線パラメータを算出する。区画線パラメータは、車両区画線の曲率、車両区画線のオフセット位置、車両区画線の車線幅、ヨー角及びピッチ角等である。つまり、特定部35は、区画接続線を滑らかな線に近似することにより、車両区画線を特定する。
報知ユニット4は、車室内に搭載されたスピーカーやディスプレイなど、車両100の運転者に情報を報知する機器の集合体である。報知ユニット4は、区画線特定装置3によって算出された区画線パラメータに基づいて、車両100が車両区画線から逸脱していると判定した場合、車両100の運転者に車両区画線からの車両100の逸脱を音や光などの方法によって報知する。
[1-2.処理]
次に、区画線特定装置3が実行する車両区画線の特定処理の手順について、図2のフローチャートを参照して説明する。特定処理は、カメラ1によって撮像画像を得る度に区画線特定装置3が実行する処理である。なお、本実施形態では、特定処理の説明とともに、図3に示す撮像画像200を取得した例も併せて説明する。
まず、S101で、区画線特定装置3は、カメラ1から撮像画像を取得する。なお、図3に示す例では、区画線特定装置3は、撮像画像200を取得する。撮像画像200は、車両100が夜間に路面5を走行中に、光源である対向車7の前照灯73による強い光が入射したことによりフレアが発生した画像である。
次に、S102で、区画線特定装置3は、撮像画像におけるペイント候補を抽出する。図3に示す撮像画像200の場合、ペイント候補61-66,71,72,81が抽出される。ペイント候補61-66は、車両区画線を構成する区画ペイントである。ペイント候補71,72は、前照灯73の強い光及び当該光によって生じたフレアである。ペイント候補81は、車両区画線ではない区画線を構成する区画ペイントである。なお、S102の処理が、上述した抽出部31としての処理に相当する。
次に、S103で、区画線特定装置3は、ペイント候補が第1のフレア特徴、第2のフレア特徴及び第3のフレア特徴のうち少なくとも1つを有するか否かについて、後述する判定処理を実行することにより判定する。図3に示す例では、区画線特定装置3は、ペイント候補61-66,81はフレア特徴を有さず、ペイント候補71,72はフレア特徴を有すると判定する。すなわち、ペイント候補71,72は、フレアペイント候補であると判定される。なお、S103の処理が、上述した判定部32としての処理に相当する。
次に、S104で、区画線特定装置3は、後述する接続処理を実行することにより、区画ペイントであると特定されたペイント候補を接続し、接続線を生成する。図3に示す例では、区画線特定装置3は、接続線91,92,93を生成する。なお、S104の処理が、上述した接続部33としての処理に相当する。
次に、S105で、区画線特定装置3は、撮像画像において区画接続線を選択する。図3に示す例では、区画線特定装置3は、区画接続線として、接続線91,92を選択する。なお、S105の処理が、上述した選択部34としての処理に相当する。
次に、S106で、区画線特定装置3は、車両区画線を特定する。図3に示す例では、区画線特定装置3は、接続線91,92の区画線パラメータを算出することで、車両区画線を特定する。なお、S106の処理が、上述した特定部35としての処理に相当する。その後、区画線特定装置3は、図2の特定処理を終了する。
次に、区画線特定装置3が特定処理のS103で実行するフレア特徴の判定処理について、図4のフローチャートを参照して説明する。判定処理は、S102で抽出されたペイント候補ごとに実行される処理である。なお、本実施形態では、判定処理の説明とともに、図3に示す撮像画像200の例についても併せて説明する。
まず、S201で、区画線特定装置3は、ペイント候補の傾きが30度以内であるか否かを判定する。図3に示す撮像画像200においては、ペイント候補72は、車両側エッジ線として、撮像画像200における左側の第1の線74及び右側の第2の線75を有する。車両側エッジ線である第2の線75の傾きは、撮像画像200における鉛直方向に対して30度以内である。このため、ペイント候補72は、第1のフレア特徴を有する。ペイント候補71についても、ペイント候補72と同様に第1のフレア特徴を有する。ペイント候補61-66,81は、第1のフレア特徴を有しない。
区画線特定装置3は、S201で、ペイント候補の傾きが30度以内でないと判定した場合、S202へ処理を移行する。一方、区画線特定装置3は、S201で、ペイント候補の傾きが30度以内であると判定した場合、S205へ処理を移行する。
S202で、区画線特定装置3は、ペイント候補の長手方向の延長線上に光源があるか否かを判定する。図3に示す撮像画像200においては、ペイント候補71,72それぞれには、光源である前照灯73が存在する。このため、ペイント候補71,72のそれぞれの前照灯73の領域は、所定の輝度よりも高い。また、前照灯73を除いたペイント候補71の車両側エッジ線の上端は、前照灯73に接している。また、前照灯73を除いたペイント候補72の車両側エッジ線、すなわち第2の線75の上端は、前照灯73に接している。つまり、ペイント候補71,72それぞれの長手方向の延長線上には、光源である前照灯73が存在するため、ペイント候補71,72は、第2のフレア特徴を有する。ペイント候補61-66,81は、第2のフレア特徴を有しない。
区画線特定装置3は、S202で、ペイント候補の延長線上に光源がないと判定した場合、S203へ処理を移行する。一方、区画線特定装置3は、S202で、ペイント候補の延長線上に光源があると判定した場合、処理をS205へ移行する。
S203で、区画線特定装置3は、ペイント候補のコントラストが周辺ペイント候補のコントラストと大きく異なるか否かを判定する。図3に示す撮像画像200においては、区画線特定装置3が判定対象をペイント候補72とした場合、ペイント候補72の周辺ペイント候補として、ペイント候補62,63が検索される。ここで、区画ペイントであるペイント候補62,63のコントラストは、フレアであるペイント候補72のコントラストと大きく異なる。このため、対象範囲内に含まれるコントラストを有するペイント候補の数は、1つ(すなわち、ペイント候補72)である。対象範囲内に含まれないコントラストを有するペイント候補の数は、2つ(すなわち、ペイント候補62,63)である。したがって、対象範囲内に含まれるコントラストを有するペイント候補の数は、対象範囲内に含まれないコントラストを有するペイント候補の数よりも少ない。このため、ペイント候補72は、第3のフレア特徴を有する。ペイント候補61-66,81は、第3のフレア特徴を有しない。
区画線特定装置3は、S203で、ペイント候補のコントラストが周辺ペイント候補のコントラストと大きく異なると判定した場合、処理をS205へ移行する。一方、区画線特定装置3は、S203で、ペイント候補のコントラストが周辺ペイント候補のコントラストと大きく異ならないと判定した場合、S204へ処理を移行する。
S204で、区画線特定装置3は、ペイント候補がフレア特徴を有しないと判定した後、判定処理を終了する。図3に示す例では、ペイント候補61-66,81がフレア特徴を有しないと判定される。
S205で、区画線特定装置3は、ペイント候補がフレア特徴を有すると判定した後、判定処理を終了する。図3に示す例では、ペイント候補71,72がフレア特徴を有する、すなわちペイント候補71,72がフレアペイント候補であると判定される。
次に、区画線特定装置3が特定処理のS104で実行する接続処理について、図5のフローチャートを参照して説明する。接続処理は、S103の判定処理が行われたペイント候補を対象に実行される処理である。なお、本実施形態では、接続処理の説明とともに、図3に示す撮像画像200の例についても併せて説明する。
まず、S301で、区画線特定装置3は、接続処理を実行するペイント候補を1つ選択する。S302で、区画線特定装置3は、選択したペイント候補がフレアペイント候補であるか否かを判定する。フレアペイント候補であると判定した場合、区画線特定装置3は、処理をS303へ移行し、しきい値Th1を80%に設定する。一方、フレアペイント候補でないと判定した場合、区画線特定装置3は、処理をS304へ移行し、しきい値Th1を40%に設定する。その後、区画線特定装置3は、処理を305へ移行する。
S305で、区画線特定装置3は、選択されたペイント候補について、区画ペイントの3つの度合を算出する。S306で、区画線特定装置3は、3つの度合を統合した統合値を算出する。
S307で、区画線特定装置3は、統合値がしきい値Th1を超えているか否かを判定する。統合値がしきい値Th1を超えていると判定した場合、区画線特定装置3は、処理をS308へ移行し、選択したペイント候補が区画ペイントであると特定する。一方、統合値がしきい値Th1を超えていないと判定した場合、区画線特定装置3は、処理をS309へ移行し、選択したペイント候補が区画ペイントでないと特定する。その後、区画線特定装置3は、処理をS310へ移行する。
S310で、区画線特定装置3は、すべてのペイント候補について選択済みであるか否かを判定する。選択済みであると判定した場合、区画線特定装置3は、処理をS311へ移行する。一方、選択済みでないと判定した場合、区画線特定装置3は、処理をS301へ戻す。
図3に示す例では、区画線特定装置3は、S301で、ペイント候補61-66,71,72,81のうち1つを選択し、選択したペイント候補についてS302-S310の処理を実行する。区画線特定装置3は、ペイント候補61-66,71,72,81すべてを選択するまでこの処理を繰り返す。
フレアペイント候補であるペイント候補71,72については、それぞれ処理がS303へ移行され、しきい値Th1が80%に設定される。その結果、ペイント候補71,72それぞれの統合値はしきい値Th1を超えず、処理がS309へ移行される。ペイント候補71,72はそれぞれ、区画ペイントではないと特定される。一方、フレア特徴を有しないと判定されているペイント候補61-66,81については、それぞれ処理がS304へ移行され、しきい値Th1が40%に設定される。その結果、ペイント候補61-66,81それぞれの統合値はしきい値Th1を超え、処理がS308へ移行される。ペイント候補61-66,81はそれぞれ、区画ペイントであると特定される。
S311で、区画線特定装置3は、区画ペイントであると特定したペイント候補同士を順に接続し、接続線を生成し、その後接続処理を終了する。図3に示す例では、区画線特定装置3は、区画ペイントであると特定されたペイント候補61-63の車両側エッジ線を順に接続し、接続線91を生成する。具体的には、区画線特定装置3は、過去に特定された車両区画線の情報に基づいて、例えば、過去に特定された車両区画線の形状に沿うように、ペイント候補61の車両側エッジ線の上端とペイント候補62の車両側エッジ線の下端とを接続する。区画線特定装置3は、次に、ペイント候補61及びペイント候補62と同様、過去に特定された車両区画線の情報に基づいて、ペイント候補62の車両側エッジ線の上端とペイント候補63の車両側エッジ線の下端とを接続し、接続線91を生成する。ペイント候補61-63と同様に、区画線特定装置3は、ペイント候補64-66の車両側エッジ線を順に接続し、接続線92を生成する。また、区画線特定装置3は、ペイント候補81の車両側エッジ線を接続線93とする。
[1-3.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
(1a)区画線特定装置3は、ペイント候補について、フレア特徴を有するか否かを判定し、その後、区画ペイントであるか否かを特定する。つまり、例えばあるペイント候補が、フレア特徴の判定処理においてフレア特徴を有すると判定されたとしても、区画ペイントであるか否かの特定処理において統合値がしきい値Th1以上である場合には、当該ペイント候補が区画ペイントであると特定される。
すなわち、例えば撮像画像における区画線の特定の際、より多くのフレアを検出するため、フレアであると判定する範囲を広く設定すると、フレアと誤判定されてしまう区画ペイントの数も増えやすくなる。この誤判定を防ぐため、フレアであると判定する範囲を狭めると、今度は区画ペイントであると誤判定されてしまうフレアの数が増えやすくなる。図3に示す例で仮にフレアであると判定する範囲を狭めた場合、フレアであるペイント候補72も区画ペイントであると誤判定されてしまい、車両区画線の形状と異なる接続線Aが生成されてしまう。
これに対し、本実施形態では、例えば区画ペイントであるペイント候補が、フレア特徴を有すると判定されたとしても、統合値がしきい値Th1以上であれば区画ペイントであると特定される。その結果、本実施形態の区画線特定装置3によれば、精度よく区画線を特定することができる。
(1b)本実施形態の区画線特定装置3では、ペイント候補が第1のフレア特徴を有することを、当該ペイント候補がフレア特徴を有することの十分条件としている。このため、区画線特定装置3によれば、一定の確からしさをもって、フレアであるペイント候補がフレア特徴を有すると判定することができる。すなわち、区画ペイントであるペイント候補の長手方向の角度は、撮像画像における鉛直方向に対して大きい、換言すれば鉛直方向に近い角度にはならない場合が多い。これに対し、フレアであるペイント候補の長手方向の角度は、撮像画像における鉛直方向に対して小さい、換言すれば鉛直方向に近い角度になる場合が多い。したがって、区画線であるペイント候補は、第1のフレア特徴を有しないと判定されやすくなる。一方、フレアであるペイント候補は、第1のフレア特徴を有すると判定されやすくなる。その結果、区画線特定装置3によれば、第1のフレア特徴に基づき、一定の確からしさをもって、フレアであるペイント候補がフレア特徴を有すると判定することができる。
(1c)本実施形態の区画線特定装置3では、ペイント候補が第2のフレア特徴を有することを、当該ペイント候補がフレア特徴を有することの十分条件としている。このため区画線特定装置3によれば、一定の確からしさをもって、フレアであるペイント候補がフレア特徴を有すると判定することができる。すなわち、フレアであるペイント候補には、光源が存在し、かつ光源は当該ペイント候補の長手方向の延長線上に存在する場合が多い。したがって、区画線であるペイント候補は、第2のフレア特徴を有しないと判定されやすくなる。一方、フレアであるペイント候補は、第2のフレア特徴を有すると判定されやすくなる。その結果、区画線特定装置3によれば、第2のフレア特徴に基づき、一定の確からしさをもって、フレアであるペイント候補がフレア特徴を有すると判定することができる。
(1d)本実施形態の区画線特定装置3では、ペイント候補が第3のフレア特徴を有することを、当該ペイント候補がフレア特徴を有することの十分条件としている。このため、区画線特定装置3によれば、一定の確からしさをもって、フレアであるペイント候補がフレア特徴を有すると判定することができる。すなわち、1本の破線の区画線を構成する複数の区画ペイントの輝度は、同一値又は同一値に近い値になる場合が多い。したがって、区画線であるペイント候補は、第3のフレア特徴を有しないと判定されやすくなる。一方、フレアであるペイント候補は、第3のフレア特徴を有すると判定されやすくなる。その結果、区画線特定装置3によれば、第3のフレア特徴に基づき、一定の確からしさをもって、フレアであるペイント候補がフレア特徴を有すると判定することができる。
なお、第1実施形態では、S102が抽出部としての処理に相当し、S103が判定部としての処理に相当し、S104(S301-S311),S105,S106が区画線特定部としての処理に相当する。
[2.第2実施形態]
[2-1.処理の概要]
第1実施形態の区画線特定装置3が実行する接続処理に対して、第2実施形態の接続処理は、フレアペイント候補について傾きを判定する追加処理を更に加えた点が異なる。
区画ペイントであるペイント候補の傾きは、当該傾きを特定した撮像画像の直前に撮像された撮像画像において特定された車両区画線である前回区画線の傾きと、同一値又は同一値に近い値になることが通常である。この点に着目し、区画線特定装置3は、追加処理を実行することによって、フレアペイント候補のうち、前回区画線との傾きの差が大きいフレアペイント候補については、区画ペイントでないと判定する。なお、説明の便宜上、最新の撮像画像を第1の撮像画像と呼び、第1の撮像画像の直前に撮像された撮像画像を第2の撮像画像と呼ぶこととする。
[2-2.処理]
次に、第2実施形態の接続処理について、図6のフローチャートを用いて説明する。接続処理は、S403の追加処理が新たに加わった点を除き、図5のフローチャートと同様である。すなわち、S401-S402,S404-S412の処理は、S301-S302,S303-S311の処理と同様である。
区画線特定装置3がS403で実行する追加処理について、図7のフローチャートを参照して説明する。追加処理は、S402でフレアペイント候補を対象に実行される処理である。
S501で、区画線特定装置3は、第1の撮像画像のトップビュー画像におけるフレアペイント候補の傾きである第1の傾きと、第2の撮像画像のトップビュー画像における前回区画線の傾きである第2の傾きとを比較することにより傾きの差、すなわち角度を算出する。トップビュー画像は、撮像画像を車両の真上から見た画像に変換した画像である。次に、区画線特定装置3は、当該傾きの差がしきい値Th2を超えるか否かを判定する。傾きの差がしきい値Th2を超えると判定した場合、区画線特定装置3は、処理をS410へ移行し、追加処理を終了する。つまり、前回区画線との傾きの差が大きいフレアペイント候補については、区画ペイントでないと判定する。一方、傾きの差がしきい値Th2を超えないと判定した場合は、区画線特定装置3は、処理をS404へ移行し、追加処理を終了する。つまり、前回区画線との傾きの差が小さいフレアペイント候補については、第1実施形態と同様の処理を行う。
[2-3.効果]
以上詳述した第2実施形態によれば、以下の効果が得られる。
(2a)区画線特定装置3は、追加処理を実行することにより、S404又はS405でしきい値Th1の設定をする前に、区画ペイントでない可能性の高いフレアペイント候補を、S404-S408の処理対象から除外する。このため、区画線の特定の誤判定がよりされにくくすることができる。
なお、第2実施形態では、S104(S401-S412),S105,S106が区画線特定部としての処理に相当する。また、第1の傾きが第1の特徴に相当し、第2の傾きが第2の特徴に相当する。また、前回区画線が第2の区画線に相当し、傾きの差がしきい値Th2を超えることが所定の判定条件に相当する。
[3.第3実施形態]
[3-1.処理の概要]
第3実施形態の追加処理は、第2実施形態の区画線特定装置3が実行する追加処理に代えて、前回区画線が破線である場合に、フレアペイント候補の長さ及びフレアペイント候補と他のペイント候補との間隔について判定する追加処理を行う点が異なる。
破線の区画ペイントであるペイント候補同士の間隔は、前回区画線を構成する破線同士の間隔と同じ又は近いことが通常である。同様に、破線の区画ペイントであるペイント候補の長さは、前回区画線を構成する破線の長さと同一値又は同一値に近い値になることが通常である。この点に着目し、区画線特定装置3は、追加処理を実行することによって、フレアペイント候補のうち、前回区画線との長さの差及び前回区画線との間隔の差のうち少なくとも一方が大きいフレアペイント候補については、区画ペイントでないと判定する。
[3-2.処理]
第3実施形態の接続処理は、S403の追加処理の内容が異なる点を除き、図6に示す第2実施形態の接続処理と同様である。
区画線特定装置3がS403で実行する追加処理について、図8のフローチャートを参照して説明する。
S601で、区画線特定装置3は、前回区画線が破線であるか否かを判定する。破線であると判定した場合、区画線特定装置3は、処理をS602へ移行する。一方、破線でないと判定した場合、区画線特定装置3は、処理をS404へ移行する。
S602で、区画線特定装置3は、まず、第1の撮像画像のトップビュー画像の上下方向における、フレアペイント候補と当該フレアペイント候補の周辺に存在する他のペイント候補との車両側エッジ線の間隔である第1の間隔を算出する。次に、区画線特定装置3は、第2の撮像画像のトップビュー画像の上下方向における、前回区画線の破線の車両側エッジ線同士の間隔である第2の間隔を算出する。そして、区画線特定装置3は、第1の間隔と第2の間隔とを比較することにより間隔の差を算出し、当該間隔の差がしきい値Th3を超えるか否かを判定する。間隔の差がしきい値Th3を超えると判定した場合、区画線特定装置3は、処理をS410へ移行し、追加処理を終了する。つまり、前回区画線と破線の間隔の差が大きいフレアペイント候補については、区画ペイントでないと判定する。間隔の差がしきい値Th3を超えないと判定した場合、区画線特定装置3は、処理をS603へ移行する。
S603で、区画線特定装置3は、第1の撮像画像のトップビュー画像におけるフレアペイント候補の車両側エッジ線の長さと、第2の撮像画像のトップビュー画像における前回区画線の車両側エッジ線の長さとを比較することにより長さの差を算出し、当該長さの差がしきい値Th4を超えるか否かを判定する。長さの差がしきい値Th4を超えると判定した場合、区画線特定装置3は、処理をS410へ移行し、追加処理を終了する。つまり、前回区画線との長さの差が大きいフレアペイント候補については、区画ペイントでないと判定する。一方、長さの差がしきい値Th4を超えないと判定した場合は、区画線特定装置3は、処理をS404へ移行し、追加処理を終了する。つまり、前回区画線との長さの差が小さいフレアペイント候補については、第1実施形態と同様の処理を行う。
[3-3.効果]
以上詳述した第3実施形態によれば、以下の効果が得られる。
(3a)区画線特定装置3は、追加処理を実行することにより、区画線を構成する破線の長さ及び破線同士の間隔は一定であるという破線の特徴を利用して、フレアペイント候補が区画ペイントであるか否かを判定する。そして、区画線特定装置3は、S404又はS405でしきい値Th1の設定をする前に、区画ペイントでない可能性の高いフレアペイント候補を、S404-S408の処理対象から除外する。このため、区画線の特定の誤判定がよりされにくくすることができる。
なお、第3実施形態では、S104(S401-S412),S105,S106が区画線特定部としての処理に相当する。また、第1の間隔及び第1の撮像画像のトップビュー画像におけるフレアペイント候補の車両側エッジ線の長さが第1の特徴に相当し、第2の間隔及び第2の撮像画像のトップビュー画像における前回区画線の車両側エッジ線の長さが第2の特徴に相当する。また、間隔の差がしきい値Th3を超えること及び長さの差がしきい値Th4を超えることが所定の判定条件に相当し、前回区画線が第2の区画線に相当する。
[4.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。なお、第2実施形態と同様、最新の撮像画像を第1の撮像画像、第1の撮像画像の直前に撮像された撮像画像を第2の撮像画像として以下説明する。
(4a)本開示の追加処理では、第1の特徴と第2の特徴との比較結果として、上記第2実施形態では傾きの差を、第3実施形態では間隔の差及び長さの差を算出した。しかし、追加処理の内容はこれに限定されるものではなく、他の特徴の比較結果を算出するようにしてもよい。
例えば、追加処理では、フレアペイント候補を区画ペイントであるとみなした場合の仮の接続線の形状と、前回区画線の形状との比較結果を算出するようにしてもよい。具体的には、まず、区画線特定装置は、第1の撮像画像において、フレアペイント候補と、区画ペイントであると特定した他のペイント候補とを順に接続し、仮の接続線を生成する。次に、区画線特定装置は、第1の撮像画像のトップビュー画像における仮の接続線のパラメータ、この例では仮の接続線の傾き、を第1の特徴として算出する。また、区画線特定装置は、第2の撮像画像のトップビュー画像における前回区画線のパラメータである傾きを第2の特徴として算出する。そして、区画線特定装置は、第1の特徴と第2の特徴とのパラメータの差がしきい値を超える場合、フレアペイント候補を区画ペイントでないと判定する。なお、パラメータは、傾きの代わりに、曲率、ヨー角、クロソイドなど他のパラメータとしてもよく、特に限定されない。また、追加処理は、算出した種々のパラメータの差を総合して比較するようにしてもよい。
また例えば、第1の特徴及び第2の特徴に加え、第3の特徴を更に算出してフレアペイント候補が区画ペイントであるか否かを判定してもよい。第3の特徴は、フレアペイント候補を除いた、区画ペイントであると特定した他のペイント候補を順に接続した仮の接続線のパラメータである傾きである。区画線特定装置は、第1の特徴と第2の特徴とのパラメータの差である第1の差、及び第2の特徴と第3の特徴とのパラメータの差である第2の差をそれぞれ算出し、第2の差よりも第1の差の方が差分が大きい場合、フレアペイント候補を区画ペイントでないと判定する。
(4b)追加処理に加え又は代えて、例えば、区画線特定装置は、前回区画線である車両100が走行している車線の両側の区画線がカーブ状の2本のカーブ線であって、かつフレアペイント候補が当該2本のカーブ線のうちの曲率半径が大きい方のカーブ線付近にある場合に、フレアペイント候補が区画ペイントでないと判定するようにしてもよい。
また例えば、追加処理に加え又は代えて、左右両側の車両区画線の形状は類似するという特徴を用いて、フレアペイント候補が区画ペイントでないと判定するようにしてもよい。具体的には、例えば、区画線特定装置は、フレアペイント候補を用いずに、区画ペイントであると特定したペイント候補同士を順に接続した線のうち、区画接続線であると推定される車両100が走行している車線の両側の区画線に相当する2本の仮の接続線を選択する。そして、区画線特定装置は、今度はフレアペイント候補も用いて、すなわちフレアペイント候補と区画ペイントであると特定したペイント候補とを接続した2本の仮の接続線を再算出する。区画線特定装置は、当該2本の仮の接続線の形状の類似度が所定のしきい値を超えると判定した場合に、フレアペイント候補が区画ペイントでないと判定する。
なお、類似度の算出方法は特に限定されるものではなく、例えば、2本の仮の接続線の間隔や2本の仮の接続線の平行度などに基づいて算出するようにしてもよい。また例えば、類似度の算出方法は、2本の仮の接続線それぞれの曲率、ヨー角、クロソイドなどの差に基づいて算出するようにしてもよく、また、種々のパラメータの差を総合して算出するようにしてもよい。
(4c)上記実施形態では、接続処理の特定条件として、統合値がしきい値Th1を超えることを例示したが、特定条件の内容はこれに限定されるものではない。
例えば、特定条件は、(4a)で説明した仮の接続線の形状と地図上の車両区画線の形状とを比較することにより算出した類似度が、しきい値を超えることとしてもよい。地図上の車両区画線は、車両搭載のナビゲーションシステム等に登録されている地図に描かれている車両区画線のことである。また、ここでいうしきい値は、仮の接続線が車両区画線と同一の線であるか否かを判断するための値である。例えば、区画線特定装置は、ペイント候補と区画ペイントであると特定した他のペイント候補とを順に接続した仮の接続線を生成する。次に、区画線特定装置は、撮像画像のトップビュー画像における仮の接続線の形状と、地図上の車両区画線の形状との類似度を算出し、当該類似度がしきい値を超えるか否かを判定する。
また例えば、特定条件は、仮の接続線の形状と、車両の前方を走行している前方車両の軌跡の形状とを比較することにより算出された類似度が所定のしきい値を超えることとしてもよい。
なお、類似度の算出方法は特に限定されるものではなく、例えば、仮の接続線と、車両区画線又は前方車両の軌跡それぞれの傾き、曲率、ヨー角、クロソイドなどとを比較することにより算出するようにしてもよいし、また、種々のパラメータの差を総合して算出するようにしてもよい。
(4d)上記実施形態では、算出される度合の種類である区画ペイントの特徴として、ペイント候補の傾き、ペイント候補の位置及びペイント候補の幅を例示した。しかし、他の区画ペイントの特徴はこれに限定されるものではない。他の区画ペイントの特徴としては、例えば、ペイント候補の色、太さ、輝度、左右のエッジ線に含まれるエッジ点数などでもよく、特に限定されない。
また例えば、算出される度合の数も、上記実施形態では3つであったが、特に限定されるものではない。
(4e)上記実施形態では、特定条件を厳しく設定する処理の一例として、フレアペイント候補のしきい値を、フレア特徴を有しないと判定されたペイント候補と比較して高く設定する処理を例示した。しかし、特定条件を厳しく設定する処理はこれに限定されるものではない。例えば、特定条件を厳しく設定する処理として、フレアペイント候補について、フレア特徴を有しないと判定されたペイント候補と比較して統合値を低く算出するようにしてもよい。この際、第1~第3のフレア特徴を有する数に応じて統合値が低く算出される程度を変えてもよい。
(4f)上記実施形態では、ペイント候補がフレアペイント候補であると判定する判定条件として、3つの第1~第3のフレア特徴のうち少なくとも1つを有することを例示した。しかし、当該判定条件はこれに限定されるものではない。例えば、判定条件は、上記3つのフレア特徴のうち、少なくとも2つを有することや、また例えば上記3つのフレア特徴すべてを有することとしてもよく、特に限定されない。
(4g)上記実施形態では、所定のフレア特徴の一例として、上述した第1~第3のフレア特徴を例示したが、フレア特徴はこれに限定されるものではない。
例えば、対向車の前照灯などのフレアは短い場合が多い。そこで、例えば判定処理で判定する上記3つのフレア特徴に加え又は代えて、ペイント候補の長さ、より詳しくはペイント候補の車両側エッジ線の長さ、が所定のしきい値以下であることをフレア特徴としてもよい。
また例えば、対向車の前照灯の光源によるフレアは直線状である場合が多い。そこで、例えば判定処理で判定するフレア特徴に加え又は代えて、ペイント候補の曲率、より詳しくはエッジ線の曲率半径が所定のしきい値を超えることをフレア特徴としてもよい。
また例えば、対向車の前照灯の光源によるフレアは車両区画線の外側にある場合が多い。そこで、例えば判定処理で判定するフレア特徴に加え又は代えて、第2の撮像画像において特定された車両区画線である前回区画線を、第1の撮像画像に重ねた場合に、前回区画線よりも外側にペイント候補があることを、フレア特徴としてもよい。また例えば、追加処理に加え又は代えて、第2の撮像画像における前回区画線を第1の撮像画像に重ねた場合に、前回区画線よりも外側にあるペイント候補を区画ペイントでないと判定するようにしてもよい。
また例えば、対向車の前照灯の光源によるフレアは、連続した複数の撮像画像において移動して撮像される場合が多い。そこで、例えば判定処理で判定するフレア特徴に加え又は代えて、第2の撮像画像を含む第1の撮像画像の直前に撮像された複数の撮像画像を比較した場合にペイント候補が移動して撮像されていることをフレア特徴としてもよい。また例えば、追加処理に加え又は代えて、当該複数の撮像画像を比較した場合に移動して撮像されているペイント候補を区画ペイントでないと判定するようにしてもよい。
(4h)上記実施形態では、ペイント候補の傾きの所定の範囲の一例として、撮像画像における鉛直方向に対して30度以内であることを例示したが、所定の範囲は撮像画像における鉛直方向に対して45度以内であればよく、特に限定されない。
(4i)第3のフレア特徴を有するか否かの判定は、上記実施形態に限定されるものではない。例えば、判定対象のペイント候補のコントラストが、周辺ペイント候補のコントラストと比較して高い場合に、判定対象のペイント候補が第3のフレア特徴を有すると判定するようにしてもよい。また例えば、判定対象のペイント候補と比較する他のペイント候補は1つであってもよい。
(4j)上記第2実施形態では、フレアペイント候補の傾きと、区画線の傾きとの比較結果として、第1の撮像画像のトップビュー画像におけるフレアペイント候補と、第2の撮像画像のトップビュー画像における前回区画線との傾きの差を算出する構成を例示した。しかしながら、傾きの差の算出方法はこれに限定されるものではない。例えば、傾きの差は、第1の撮像画像におけるフレアペイント候補の傾きと、第2の撮像画像における前回区画線の傾きとを比較する構成としてもよい。
(4k)上記第2実施形態における接続処理では、追加処理にて傾きの差がしきい値Th2を超えないと判断された場合、S404でしきい値Th1が厳しく設定される構成を例示した。しかしながら、接続処理はこれに限定されるものではない。例えば、しきい値Th1が厳しく設定される構成に加え又は代えて、ペイント候補の傾きの度合が低く算出される構成としてもよい。この際、傾きの度合が低く算出される程度を、傾きの差の大きさに応じて変えてもよい。
(4l)上記第3実施形態における追加処理では、前回区画線との長さの差及び前回区画線との間隔の差のうち少なくとも一方が所定のしきい値を超えるフレアペイント候補について区画ペイントでないと判定した。しかしながら、追加処理はこれに限定されるものではない。例えば、当該長さの差及び当該間隔の差のうち一方のみについて追加処理を行うようにしてもよく、また例えば、当該長さの差及び当該間隔の差の両方が所定のしきい値を超えるフレアペイント候補について区画ペイントでないと判定するようにしてもよい。
(4m)上記第3実施形態では、間隔の差がしきい値Th3を超えず、長さの差がしきい値Th4を超えない場合、S404でしきい値Th1が厳しく設定される構成を例示した。しかしながら、接続処理はこれに限定されるものではない。例えば、しきい値Th1が厳しく設定される構成に加え又は代えて、統合値が低く算出される構成としてもよい。この際、統合値が低く算出される程度を、間隔の差及び長さの差の大きさに応じて変えてもよい。
(4n)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
(4o)本開示は、上述した区画線特定装置の他、当該区画線特定装置を構成要素とするシステム、当該区画線特定装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、区画線特定方法など、種々の形態で実現することができる。
1…カメラ、2…センサユニット、3…区画線特定装置、4…報知ユニット、7…対向車、31…抽出部、32…判定部、33…接続部、34…選択部、35…特定部、5…路面、61,62,63,64,71,72,81…ペイント候補、73…前照灯、74…第1の線、75…第2の線、91,92,93…接続線、100…車両、200…撮像画像。

Claims (8)

  1. 路面(5)の区画線を特定する区画線特定装置(3)であって、
    車両(100)に搭載され路面を含む前記車両の前方を撮像するカメラ(1)によって得られた撮像画像(200)において、区画線の特定に用いる路面ペイントの候補であるペイント候補(61-66,71,72,81)を抽出するように構成された抽出部(S102)と、
    前記ペイント候補が所定のフレア特徴を有するか否かを判定するように構成された判定部(S103)と、
    前記ペイント候補であって区画線の特定に用いるための条件である特定条件を満たす前記ペイント候補を用いて区画線を特定するように構成された区画線特定部(S104-S106)と、
    を備え、
    前記区画線特定部は、前記判定部によって前記フレア特徴を有しないと判定された前記ペイント候補(61-66,81)と比較して、前記判定部によって前記フレア特徴を有すると判定された前記ペイント候補(71,72)であるフレアペイント候補について、前記特定条件を厳しく設定する、区画線特定装置。
  2. 請求項1に記載の区画線特定装置であって、
    前記判定部は、前記ペイント候補が前記フレア特徴を有するか否かの判定として、前記撮像画像における前記ペイント候補の傾きが所定の範囲内であるか否かを少なくとも判定する、区画線特定装置。
  3. 請求項1又は請求項2に記載の区画線特定装置であって、
    前記判定部は、前記ペイント候補が前記フレア特徴を有するか否かの判定として、前記撮像画像において、光源(73)が前記ペイント候補の延長線上に存在するか否かを少なくとも判定する、区画線特定装置。
  4. 請求項1から請求項3までのいずれか1項に記載の区画線特定装置であって、
    前記判定部は、前記ペイント候補が前記フレア特徴を有するか否かの判定として、前記撮像画像における、前記ペイント候補のコントラストと前記ペイント候補の周辺に存在する他の前記ペイント候補のコントラストとの差が所定の値以上であるか否かを少なくとも判定する、区画線特定装置。
  5. 請求項1から請求項4までのいずれか1項に記載の区画線特定装置であって、
    前記区画線特定部は、第1の撮像画像において前記フレアペイント候補に基づき特定される第1の区画線の特徴である第1の特徴と、前記第1の撮像画像の直前に撮像された撮像画像である第2の撮像画像から特定され、前記第1の区画線に対応する第2の区画線の特徴である第2の特徴とを比較し、前記第1の特徴と前記第2の特徴との比較結果が、特徴の差が大きいことを示す所定の判定条件を満たす場合、前記フレアペイント候補を区画線の特定に用いない、区画線特定装置。
  6. 請求項5に記載の区画線特定装置であって、
    前記第1の特徴は、前記第1の撮像画像における前記フレアペイント候補の傾きであって、
    前記第2の特徴は、前記第2の撮像画像から特定される前記第2の区画線の傾きである、区画線特定装置。
  7. 請求項5に記載の区画線特定装置であって、
    前記第1の特徴は、前記第1の撮像画像における前記フレアペイント候補と前記フレアペイント候補の周辺に存在する他の前記ペイント候補との間隔であって、
    前記第2の特徴は、前記第2の撮像画像から特定される前記区画線を構成する破線同士の間隔である、区画線特定装置。
  8. 請求項5に記載の区画線特定装置であって、
    前記第1の特徴は、前記第1の撮像画像における前記フレアペイント候補の長さであって
    前記第2の特徴は、前記第2の撮像画像から特定される前記第2の区画線を構成する破線の長さである、区画線特定装置。
JP2017241901A 2017-12-18 2017-12-18 区画線特定装置 Active JP6993205B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017241901A JP6993205B2 (ja) 2017-12-18 2017-12-18 区画線特定装置
US16/221,984 US11010618B2 (en) 2017-12-18 2018-12-17 Apparatus for identifying line marking on road surface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017241901A JP6993205B2 (ja) 2017-12-18 2017-12-18 区画線特定装置

Publications (2)

Publication Number Publication Date
JP2019109681A JP2019109681A (ja) 2019-07-04
JP6993205B2 true JP6993205B2 (ja) 2022-01-13

Family

ID=66816090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017241901A Active JP6993205B2 (ja) 2017-12-18 2017-12-18 区画線特定装置

Country Status (2)

Country Link
US (1) US11010618B2 (ja)
JP (1) JP6993205B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113212352B (zh) * 2020-02-06 2023-05-05 佛吉亚歌乐电子有限公司 图像处理装置以及图像处理方法
JP7354952B2 (ja) * 2020-07-14 2023-10-03 トヨタ自動車株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020042676A1 (en) 2000-09-29 2002-04-11 Nissan Motor Co., Ltd. Road lane marker recognition
JP2002163661A (ja) 2000-11-22 2002-06-07 Nissan Motor Co Ltd 白線検出装置
JP2007299045A (ja) 2006-04-27 2007-11-15 Nissan Motor Co Ltd 車線認識装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930593B2 (en) * 2003-02-24 2005-08-16 Iteris, Inc. Lane tracking system employing redundant image sensing devices
US8924078B2 (en) * 2004-11-18 2014-12-30 Gentex Corporation Image acquisition and processing system for vehicle equipment control
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
JP2010073009A (ja) * 2008-09-19 2010-04-02 Denso Corp 画像処理装置
WO2011106578A2 (en) * 2010-02-26 2011-09-01 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP5892876B2 (ja) 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP6254083B2 (ja) * 2012-07-27 2017-12-27 クラリオン株式会社 車載用周囲環境認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020042676A1 (en) 2000-09-29 2002-04-11 Nissan Motor Co., Ltd. Road lane marker recognition
JP2002163661A (ja) 2000-11-22 2002-06-07 Nissan Motor Co Ltd 白線検出装置
JP2007299045A (ja) 2006-04-27 2007-11-15 Nissan Motor Co Ltd 車線認識装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Soonhong Jung et al,Efficient Lane Detection Based on Spatiotemporal Images,IEEE Transactions on Intelligent Transportation Systems,米国,IEEE,2015年08月21日,Volume: 17, Issue: 1,289 - 295,https://ieeexplore.ieee.org/document/7217838
山口 直人 他2名,適応エッジ保存平滑化を用いた白線検出手法,電子情報通信学会論文誌 (J88-D-II),日本,社団法人電子情報通信学会,2005年08月01日

Also Published As

Publication number Publication date
US11010618B2 (en) 2021-05-18
US20190188497A1 (en) 2019-06-20
JP2019109681A (ja) 2019-07-04

Similar Documents

Publication Publication Date Title
JP5961207B2 (ja) 車外環境認識装置
JP3931891B2 (ja) 車載用画像処理装置
JP6220327B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
JP5880703B2 (ja) 車線区分標示検出装置、運転支援システム
JP4568637B2 (ja) 道路認識装置
JP6156400B2 (ja) 走行路面検出装置及び走行路面検出方法
US9886773B2 (en) Object detection apparatus and object detection method
JP5402828B2 (ja) 車線境界検出装置、車線境界検出プログラム
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
JP2006331389A (ja) 車線認識装置
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
JP5065172B2 (ja) 車両灯火判定装置及びプログラム
US10846546B2 (en) Traffic signal recognition device
JP2007264712A (ja) 車線検出装置
JP6993205B2 (ja) 区画線特定装置
JP6903477B2 (ja) 軌道識別装置、およびプログラム
JP6317607B2 (ja) 車外環境認識装置
US11001300B2 (en) Driving support system
JP5974923B2 (ja) 道路端検出システム、方法およびプログラム
JP5434277B2 (ja) 走行支援装置および走行支援方法
JP6339840B2 (ja) 車外環境認識装置
JP6608664B2 (ja) 自車位置認識装置
JP2010271969A (ja) 車線検出装置
JP6243780B2 (ja) 車外環境認識装置
JP6453571B2 (ja) 立体物認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211209

R150 Certificate of patent or registration of utility model

Ref document number: 6993205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150