JP6601336B2 - 区画線認識装置 - Google Patents

区画線認識装置 Download PDF

Info

Publication number
JP6601336B2
JP6601336B2 JP2016136113A JP2016136113A JP6601336B2 JP 6601336 B2 JP6601336 B2 JP 6601336B2 JP 2016136113 A JP2016136113 A JP 2016136113A JP 2016136113 A JP2016136113 A JP 2016136113A JP 6601336 B2 JP6601336 B2 JP 6601336B2
Authority
JP
Japan
Prior art keywords
road surface
bright
feature point
lane marking
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016136113A
Other languages
English (en)
Other versions
JP2018005837A (ja
Inventor
謙二 岡野
章伸 酒井
貴道 鳥倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016136113A priority Critical patent/JP6601336B2/ja
Priority to US15/643,350 priority patent/US20180012084A1/en
Publication of JP2018005837A publication Critical patent/JP2018005837A/ja
Application granted granted Critical
Publication of JP6601336B2 publication Critical patent/JP6601336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、カメラの撮影画像から区画線を認識する区画線認識装置に関する。
車両に搭載されたカメラの撮影画像から、道路の車線を区画する区画線を認識する装置では、撮影画像に含まれたノイズを区画線と誤認識することが問題となっている。そのため、ノイズを区画線と誤認識することを抑制する装置が種々提案されている。例えば、特許文献1に記載のレーンマーク認識装置は、ノイズの一つであるレーンマークの補修跡が、レーンマークに近接して存在しているとともに、画像上でレーンマークよりも輝度が低くなることを用いて、レーンマークの補修跡を判別して誤認識を抑制している。
特開2015−197829号公報
撮影画像に含まれるノイズとして、路面に当たった光が反射してカメラのレンズに入射する路面反射がある。この路面反射は、区画線と同様に、画像上で路面よりも輝度が高くなるため、区画線と誤認識されるおそれがある。しかしながら、路面反射は、区画線に近接して現れるとは限らず、また、区画線よりも輝度が低くなるとも限らない。よって、特許文献1に記載の装置では、路面反射と区画線とを判別することはできない。
本発明は、上記実情に鑑みてなされたものであり、路面反射を判別して、区画線を精度良く認識することが可能な区画線認識装置を提供することを主たる目的とする。
本発明は、車両(70)に搭載されたカメラ(10)による撮影画像から、車線を区画するように路面に描かれた区画線を認識する区画線認識装置(20)であって、特徴点検出部(S100,S200)と、反射判定部(S110〜S130,S210〜S220)と、区画線認識部(S140〜S150,S230〜S240)と、を備える。特徴点検出部は、撮影画像から路面よりも明るい部分を表す明特徴点を検出する。反射判定部は、特徴点検出部により検出された明特徴点のうち、予め設定された期間離れた撮影画像のフレーム間で同じ位置に検出されている明特徴点が、並んで予め設定された長さ閾値よりも短い長さの直線となっている場合に、短い長さの直線を路面反射部分と判定する。区画線認識部は、特徴点検出部により検出された明特徴点のうち、反射判定部により路面反射部分と判定された短い長さの直線の明特徴点を除いた明特徴点から、区画線を認識する。
破線の区画線はフレーム間で異なる位置に検出される。これに対して、直線の区画線はフレーム間で同じ位置に検出される。また、短期間ではカメラと光源との位置関係が一定とみなせるため、路面で光が反射した路面反射部分は、撮影画像のフレーム間で同じ位置に検出される。すなわち、フレーム間で同じ位置に検出される特徴点は、破線の区画線ではなく、直線の区画線又は路面反射部分を表す特徴点であると判別できる。そして、一般に、カメラと光源との位置関係から、画像上で、進行方向の全体に亘って路面が反射部分となることはなく、路面反射部分の長さは直線の区画線に比べて短くなる。すなわち、フレーム間で同じ場所に検出されている特徴点が、並んで長さ閾値よりも短い直線となっている場合、その短い直線を路面反射部分であると判別できる。これにより、路面反射を判別して、区画線を精度良く認識することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
区画線認識装置の概略構成を示すブロック図である。 カメラの配置位置を示す説明図である。 白線、補修跡、及び路面反射を説明する図である。 破線である白線の特徴を説明する図である。 実線である白線の特徴を説明する図である。 路面反射の特徴を説明する図である。 白線の認識結果を出力する処理手順を示すフローチャートである。 第1実施形態に係る白線を認識する処理手順を示すフローチャートである。 フレーム間での明特徴点の動きと直線の長さを用いた路面反射の判別を説明する図である。 第2実施形態に係る白線を認識する処理手順を示すフローチャートである。 暗特徴点と明特徴点との並びを用いた路面反射の判別を説明する図である。 フレーム間での特徴点の動き、直線の長さ及び暗特徴点と明特徴点との並びを用いた路面反射の判別を説明する図である。
以下、図面を参照しながら、発明を実施するための形態を説明する。
(第1実施形態)
<構成>
本実施形態に係る区画線認識装置は、車両70に搭載されて、道路の区画線を認識する装置である。本実施形態に係る区画線認識装置は、図1に示すように、ECU20から構成されており、ECU20には、カメラ10と、センサ類17と、車両制御装置50とが接続されている。なお、区画線は、道路の車線を区画するように路面に描かれた白線や黄線である。以下では、白色以外の色の区画線も含めて区画線を白線と称する。
カメラ10は、フロントカメラ11、左サイドカメラ12、右サイドカメラ13、及びリアカメラ14を備えている。各カメラ11〜14は、CCDイメージセンサやCMOSイメージセンサを用いて構成された周知のものである。図2に示すように、フロントカメラ11は、車両前方の路面が撮影範囲となるように、例えば、車両前端のバンパーに設置される。左サイドカメラ12は、車両左側方の路面が撮影範囲となるように、例えば、左側のサイドミラーに設置される。右サイドカメラ13は、車両右側方の路面が撮影範囲となるように、例えば、右側のサイドミラーに設置される。リアカメラ14は、車両後方の路面が撮影範囲となるように、例えば、車両後端のバンパーに設置される。各カメラ11〜14は、予め設定された時間間隔、例えば、1/15(秒)間隔で繰り返し撮影し、カメラ画像をECU20へ出力する。
センサ類17は、車両70の挙動を測定するセンサである。具体的には、センサ類17は、車両70の車速を測定する車速センサ、及び車両70のヨーレートを測定するヨーレートセンサを含む複数のセンサである。
車両制御装置50は、CPU、ROM、RAM、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。車両制御装置50は、ECU20から出力される白線の認識結果に基づいて、車両70が車線内を走行するように、車両70の操舵や、ブレーキ、エンジン等を制御する制御装置である。
ECU20は、CPU,ROM、RAM、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。ECU20が実現する各機能は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、ECU20を構成するマイクロコンピュータの数は1つでも複数でもよい。
ECU20は、入力処理部21、合成処理部22、認識処理部23、及び出力処理部24の機能を備える。また、認識処理部23は、特徴点検出部、反射判定部、及び区画線認識部の機能を備える。これらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
<路面反射部分の特徴>
図3に、合成処理部22により生成された鳥瞰図画像の模式図を示す。図の中央に破線で示す領域は、車両70が存在する車両領域である。合成処理部22は、4つのカメラ11〜14で撮影されたカメラ画像を合成して鳥瞰図に変換し、車両領域を取り囲む鳥瞰図画像を生成する。図3に示す鳥瞰図画像では、路面の特徴部分として、破線の白線と、実線の白線と、補修跡が存在する。本実施形態では、路面上に描かれたペイントなどの路面と色が異なる部分を特徴部分としている。補修跡は、路面の亀裂を補修した跡であり、例えば、アスファルトの路面の亀裂をタールで補修した跡や、コンクリートの路面の亀裂をアスファルトで補修した跡である。路面の亀裂は、特に北米等の雪の多い地域において、タイヤの圧迫を受けて白線に沿って生じることが多く、補修跡は、白線に沿った直線状になることが多い。なお、本実施形態では、鳥瞰図画像が撮影画像に相当する。
通常、鳥瞰図画像上で、補修跡は路面よりも暗くなる。しかしながら、補修跡に日光等の光が当たって反射し、反射光がカメラ10のレンズに入射すると、光を反射した反射部分は、鳥瞰図画像上で路面よりも明るくなる。このように画像上で路面よりも明るくなる特徴は、補修跡の反射部分に限らず路面反射部分全般が有する。よって、一般に、路面反射部分は白線と誤認識されるおそれがある。そこで、本実施形態では、路面反射部分と白線部分との特徴の違いを明確にし、鳥瞰図画像上で、路面反射部分と白線部分とを判別することにした。なお、補修跡の反射部分以外の路面反射部分としては、例えば、濡れた路面に光が当たって反射した場合の濡れた路面の反射部分などがある。
次に、図4〜図6を参照して、破線の白線、実線の白線、及び路面反射部分の特徴を説明する。図4〜図6は、時点t0,t1,t2の各時点における鳥瞰図画像の模式図を示す。時点t1は時点t0から期間ΔT経過した時点であり、時点t2は時点t1から期間ΔT経過した時点である。3つのフレームは、時間の経過に伴い車両70の進行方向の前方から後方に流れている。以下では、時点t0〜時点t2における各フレームを、フレーム0〜フレーム2とする。期間ΔTは、予め設定された期間であり、光源である太陽と車両70との位置関係、すなわち太陽とカメラ11〜14との位置関係が一定と見なせるような十分に短い期間であり、カメラ11〜14の撮影時間間隔より長くてもよい。すなわち、フレーム0とフレーム1は、連続して撮影されたカメラ画像からそれぞれ生成した鳥瞰図画像でもよいし、連続していないカメラ画像からそれぞれ生成した鳥瞰図画像でもよい。
以下では、路面の特徴部分を表す特徴点のうち、路面よりも明るい部分を表す特徴点を明特徴点とする。明特徴点が破線の白線を表す場合、図4に示すように、フレーム0〜フレーム2において、明特徴点はそれぞれ異なる位置に検出される。詳しくは、破線の白線を表す明特徴点は、車両70の進行方向と反対方向に、フレーム間で車両70が移動した分だけずれた位置に検出され、車両70の幅方向において同じ位置に検出される。
一方、明特徴点が実線の白線を表す場合、図5に示すように、フレーム0〜フレーム2において、明特徴点は、車両70の進行方向及び幅方向において、同じ位置に検出される。つまり、時間の経過に伴いフレームが後方に流れていても、実線の白線はフレーム間で同じ位置に映り、明特徴点は同じ位置に検出される。
また、明特徴点が路面反射部分を表す場合、図6に示すように、フレーム0〜フレーム2において、明特徴点は、車両70の進行方向及び幅方向において、同じ位置に検出される。太陽とカメラ11〜14との位置関係が一定であれば、フレームが異なっても同じ位置に路面反射が生じるため、路面反射部分はフレーム間で同じ位置に検出される。さらに、一般に、太陽とカメラ11〜14との位置関係から、画像上で、進行方向の後端から前端まで路面反射部分となることはない。一方、画像上で、直線の白線の長さは、進行方向における画像の長さとなる。よって、画像から検出される路面反射部分の長さは、直線の白線の長さよりも短くなる。このような路面反射部分の特徴は、補修跡に光が当たって反射した部分に限らず路面反射部分全般が有する特徴である。
なお、期間ΔTにおける車両70の移動量と、破線の白線の間隔とが一致すると、破線の白線も各フレームで同じ位置に検出されてしまうので、期間ΔTは、車両70の移動量と白線の間隔とが一致しないような値に設定されている。
<処理>
次に、上述した白線と路面反射との特徴の違いを用いて、白線を検出して出力する処理手順について、図7のフローチャートを参照して説明する。本処理手順は、ECU20が、カメラ11〜14の撮影時間間隔で繰り返し実行する。
まず、ステップS10では、カメラ11〜14により撮影されたカメラ画像を取得し、取得したカメラ画像をサンプリングすることでデジタル信号に変換する。
続いて、ステップS20では、デジタル信号化された4つのカメラ画像を、予め設定された仮想視点から見た鳥瞰図に変換して合成し、車両70の周囲を映した鳥瞰図画像を生成する。
続いて、ステップS30では、ステップS20で生成した鳥瞰図画像から白線を認識する。白線認識処理の詳細については後述する。
続いて、ステップS40では、検出された白線の認識結果を、車載ネットワークを介して車両制御装置50へ出力する。以上で本処理を終了する。
なお、本実施形態では、ステップS10の処理が、入力処理部21の機能が実行する処理に相当し、ステップS20の処理が、合成処理部22の機能が実行する処理に相当する。また、ステップS30の処理が、認識処理部23の機能が実行する処理に相当し、ステップS40の処理が、出力処理部24の機能が実行する処理に相当する。
次に、白線認識の処理手順について、図8のフローチャートを参照して説明する。
まず、ステップS100では、生成された鳥瞰図画像から明特徴点を検出する。本実施形態では、周囲よりも輝度値が閾値以上高いエッジ点を明特徴点とし、鳥瞰図画像にソーベルフィルタ等を適用して明特徴点を検出する。
続いて、ステップS110では、フレーム間での明特徴点の動きに基づいて、検出された明特徴点を分類する。具体的には、図9に示すように、今周期の処理時である時点t11で生成した鳥瞰図画像から検出された明特徴点の位置と、N周期前の処理時である時点t10で生成した鳥瞰図画像から検出された明特徴点の位置とを比較する。そして、2つのフレーム間で明特徴点の位置が異なる場合は、明特徴点を、破線の白線を表す明特徴点のグループである第1グループに分類する。一方、2つのフレーム間で位置が同じ場合は、明特徴点を、実線の白線及び路面反射部分を表す明特徴点のグループである第2グループに分類する。Nは1以上の整数であり、予め設定された値である。
続いて、ステップS120では、ステップS110において分類したグループごとに、明特徴点にハフ変換等を適用して直線を検出する。
続いて、ステップS130では、第2グループの明特徴点から検出された直線のうち、予め設定された長さ閾値よりも短い直線を路面反射部分と判定する。長さ閾値は、生成される鳥瞰図画像の進行方向における長さよりも短い値、例えば進行方向の長さの半分の値に設定されている。図9に示す画像では、第2グループの明特徴点からは、長さ閾値よりも長い直線と、長さ閾値よりも短い直線が検出され、長さ閾値よりも短い直線が路面反射部分と判定される。
そして、第2グループの明特徴点から検出した直線のうち、路面反射部分と判定された直線をノイズとして除いた残りの直線と、第1グループの明特徴点から検出された直線とを、白線候補とする。すなわち、鳥瞰図画像から検出された明特徴点のうち、路面反射部分の明特徴点をノイズとして除いた明特徴点から検出した直線を白線候補とする。
続いて、ステップS140では、測定された車両70の挙動を考慮して、白線候補の中から、車両70の左側及び右側において、それぞれ尤も白線らしい白線候補を選出する。図9に示す画像では、車両70の左側において破線の白線が選出され、車両70の右側において実線の白線が選出される。
続いて、ステップS150では、ステップS140で選出した白線候補から白線パラメータを推定して、白線を認識する。白線パラメータは、例えば、白線曲率、車線幅、車両70の進行方向と白線の接線方向とのなす角度である。以上で本処理を終了する。
なお、本実施形態では、ステップS100の処理が、特徴点検出部の機能が実行する処理に相当し、ステップS110〜S130の処理が、反射判定部の機能が実行する処理に相当する。また、ステップS140〜S150の処理が、区画線認識部の機能が実行する処理に相当する。
<効果>
以上説明した第1実施形態によれば、以下の効果が得られる。
(1)フレーム間での明特徴点の動きに基づいて、明特徴点を、破線の白線の第1グループと、実線の白線及び路面反射部分の第2グループとに分類することができる。そして、第2グループに分類された明特徴点から検出された直線を、直線の長さに基づいて、路面反射部分と実線の白線とに判別することができる。よって、路面反射部分をノイズとして除去して、白線を精度良く認識することができる。
(第2実施形態)
<第1実施形態との相違点>
第2実施形態は、基本的な構成は第1実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
路面反射部分の中でも、補修跡の反射部分は、白線と並列に現れるため、白線と誤認識されやすい。よって、路面反射部分の中でも、特に補修跡の反射部分の判別を可能とすることについて要望が高い。前述した第1実施形態では、白線認識処理において、路面反射部分全般の判別を行っているのに対して、第2実施形態では、白線認識処理において、路面反射部分のうち、補修跡の反射部分の判別を行う点で異なる。
<処理>
次に、第2実施形態のECU20が、第1実施形態の図8に示す白線認識処理に代えて実行する白線認識処理について、図10のフローチャートを参照して説明する。
まず、ステップS200では、生成された鳥瞰図画像から、明特徴点と、路面よりも暗い部分を表す特徴点である暗特徴点とを検出する。本実施形態では、周囲よりも輝度値が閾値以上高いエッジ点を明特徴点とするとともに、周囲よりも輝度値が閾値以上低いエッジ点を暗特徴点とし、鳥瞰図画像にソーベルフィルタ等を適用して明特徴点及び暗特徴点を検出する。図11に示すように、明特徴点としては、破線の白線と実線の白線と補修跡の反射部分とを表すもの検出される。また、暗特徴点としては、補修跡の非反射部分を表すものが検出される。
続いて、ステップS210では、検出された明特徴点及び暗特徴点にハフ変換等を適用して直線を検出する。図11に示すように、破線の白線及び実線の白線が存在する位置には、明特徴点のみが並んだ直線が検出される。一方、補修跡が存在する位置には、明特徴点が並んだ直線である明部分と、暗特徴点が並んだ直線である暗部分とが、同一直線上に検出される。
続いて、ステップS220では、明部分と暗部分とが同一直線上に存在する場合に、暗部分と同一直線上に存在する明部分を反射部分と判定する。そして、ステップS210において明特徴点から検出された直線のうち、反射部分と判定された明部分をノイズとして除いた残りの直線を白線候補とする。
続いて、ステップS230では、測定された車両70の挙動を考慮して、白線候補の中から、車両70の左側及び右側において、それぞれ最も白線らしい白線候補を選出する。
続いて、ステップS240では、ステップS230で選出した白線候補から白線パラメータを推定して、白線を認識する。以上で本処理を終了する。
なお、本実施形態では、ステップS200の処理が、特徴点検出部の機能が実行する処理に相当し、ステップS210〜S220の処理が、反射判定部の機能が実行する処理に相当する。また、ステップS230〜S240の処理が、白線認識部の機能が実行する処理に相当する。
<効果>
以上説明した第2実施形態によれば、以下の効果が得られる。
(2)画像上で、補修跡の反射部分は路面よりも明るくなり、非反射部分は路面よりも暗くなるため、補修跡の位置には、明部分と暗部分とが同一直線上に検出される。これに対して、画像上で、破線の白線及び実線の白線の位置には、明部分のみが検出される。よって、明部分と暗部分とが一直線上に存在する場合は、その明部分を補修跡の反射部分と判定することができる。したがって、補修跡の反射部分をノイズとして除去して、区画線を精度良く認識することができる。
(第3実施形態)
<第2実施形態との相違点>
第3実施形態は、基本的な構成は第2実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
第2実施形態では、明部分と暗部分の並び方を用いて、補修跡の反射部分を判別した。これに対して、第3実施形態では、明部分と暗部分との並び方に加えて、第1実施形態で述べたフレーム間の明特徴点の動き及び直線の長さも用いて、補修跡の反射部分を判別する点で異なる。
<処理>
次に、第3実施形態のECU20が実行する白線認識処理について、図10のフローチャートと異なる点を説明する。第3実施形態では、ステップS200の処理とステップS210の処理の間に、図8のフローチャートにおけるステップS110の処理を実行する。すなわち、図12に示すように、今周期の処理である時点t21生成した鳥瞰図画像から検出された明特徴点の位置と、N周期前の処理である時点t20で生成した鳥瞰図画像から検出された明特徴点の位置とを比較し、明特徴点を分類する。暗特徴点は全て第2グループに分類する。
続いて、ステップS210では、グループごとに直線を検出する。第2グループについては、図12に示すように、実線の白線が存在する位置には、明部分のみが検出され、補修跡が存在する位置には、明部分と暗部分とが同一直線上に検出される。
続いて、ステップS220では、反射部分と判定する直線の条件に、ステップS130の処理における直線の条件を追加する。すなわち、ステップS220の処理では、第2グループの明特徴点から検出された直線のうち、暗部分と同一直線上に検出されており、且つ、その長さが長さ閾値よりも短い明部分を、ノイズとして除去する。以上が、第2実施形態の白線認識処理と異なる点である。
<効果>
以上説明した第3実施形態によれば、上記(2)の効果に加えて、以下の効果が得られる。
(3)路面上に路面よりも暗い下地を引き、その上に白線を描くことがある。この場合、画像上で、破線の白線の位置には、明部分と暗部分とが同一直線上に検出されることがある。このような場合でも、明部分と暗部分との並び方に加えて、フレーム間の明特徴点の動きも用いることで、破線の白線を路面反射部分と誤判定することが抑制される。また、明部分と暗部分との並び方に加えて、明部分の長さも用いることで、路面反射部分をより精度良く判定することができる。
(他の実施形態)
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
(a)上記第3実施形態では、第1実施形態の判定条件と第2実施形態の判定条件とを組み合わせて、補修跡の反射部分を判別したが、第1実施形態の判定条件の一部と第2実施形態の判定条件とを組み合わせて、補修跡の反射部分を判別してもよい。すなわち、フレーム間の明特徴点の動きと、明部分と暗部分の並び方とを用いて、補修跡の反射部分を判別してもよい。この場合、図10に示すフローチャートにおいて、ステップS200の処理とステップS210の処理の間にステップS110の処理を実行し、明特徴点及び暗特徴点を分類する。このようにしても、暗い下地の上に描かれた破線の白線を、路面反射部分と誤判定することが抑制される。
(b)また、直線の長さと、明部分と暗部分の並び方とを用いて、補修跡の反射部分を判別してもよい。この場合、図10に示すフローチャートにおいて、ステップS220の処理で、直線の条件にステップS130の条件を追加し、両方の条件を満たす直線を補修跡の反射部分と判定する。このようにしても、判定条件を明部分と暗部分の並び方だけにした場合よりも、路面反射部分をより精度よく判定することができる。
(c)画像から検出する特徴点は、エッジ点に限らず、白線の特徴を捉えた何らかの要素であればよい。
(d)カメラ10は、4台のカメラから構成されていなくてもよく、少なくともフロントカメラ11を備えていればよい。カメラ10が1台のカメラから構成されている場合は、1台のカメラで撮影されたカメラ画像を変換して鳥瞰図画像を生成する。
(e)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(e)上述した区画線認識装置の他、路面反射判定装置、当該区画線認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、区画線認識方法、路面反射判定方法など、種々の形態で本発明を実現することもできる。
10…カメラ、20…ECU、70…車両。

Claims (4)

  1. 車両(70)に搭載されたカメラ(10)による撮影画像から、車線を区画するように路面に描かれた区画線を認識する区画線認識装置(20)であって、
    前記撮影画像から前記路面よりも明るい部分を表す明特徴点を検出する特徴点検出部(S100,S200)と、
    前記特徴点検出部により検出された前記明特徴点のうち、予め設定された期間離れた前記撮影画像のフレーム間で同じ位置に検出されている前記明特徴点が、並んで予め設定された長さ閾値よりも短い長さの直線となっている場合に、前記短い長さの直線を路面反射部分と判定する反射判定部(S110〜S130,S210〜S220)と、
    前記特徴点検出部により検出された前記明特徴点のうち、前記反射判定部により前記路面反射部分と判定された前記短い長さの直線の前記明特徴点を除いた前記明特徴点から、前記区画線を認識する区画線認識部(S140〜S150,S230〜S240)と、を備え
    前記特徴点検出部は、前記明特徴点に加えて、前記撮影画像から前記路面よりも暗い部分を表す暗特徴点を検出し、
    前記反射判定部は、更に、前記短い長さの直線と同一直線上に、前記暗特徴点が並んでいることを条件として、前記短い長さの直線を前記路面反射部分と判定する、
    区画線認識装置。
  2. 車両に搭載されたカメラによる撮影画像から、車線を区画するように路面に描かれた区画線を認識する区画線認識装置であって、
    前記撮影画像から前記路面の特徴部分を表す特徴点を検出する特徴点検出部と、
    前記特徴点検出部により検出された特徴点のうち前記路面よりも明るい部分を表す明特徴点が並んだ明部分と、前記検出された特徴点のうち前記路面よりも暗い部分を表す暗特徴点が並んだ暗部分とが、同一直線上に存在している場合に、前記明部分を路面反射部分と判定する反射判定部と、
    前記特徴点検出部により検出された前記明特徴点のうち、前記反射判定部により前記路面反射部分と判定された前記明部分の前記明特徴点を除いた前記明特徴点から、前記区画線を認識する区画線認識部と、を備える、区画線認識装置。
  3. 前記反射判定部は、更に、前記明部分の前記明特徴点が予め設定された期間離れた前記撮影画像のフレーム間で同じ位置に検出されていることを条件として、前記明部分を前記路面反射部分と判定する、請求項に記載の区画線認識装置。
  4. 前記反射判定部は、更に、前記明部分の長さが予め設定された長さ閾値よりも短いことを条件として、前記明部分を前記路面反射部分と判定する、請求項に記載の区画線認識装置。
JP2016136113A 2016-07-08 2016-07-08 区画線認識装置 Active JP6601336B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016136113A JP6601336B2 (ja) 2016-07-08 2016-07-08 区画線認識装置
US15/643,350 US20180012084A1 (en) 2016-07-08 2017-07-06 Apparatus and method of recognizing division lines on a road

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016136113A JP6601336B2 (ja) 2016-07-08 2016-07-08 区画線認識装置

Publications (2)

Publication Number Publication Date
JP2018005837A JP2018005837A (ja) 2018-01-11
JP6601336B2 true JP6601336B2 (ja) 2019-11-06

Family

ID=60910835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016136113A Active JP6601336B2 (ja) 2016-07-08 2016-07-08 区画線認識装置

Country Status (2)

Country Link
US (1) US20180012084A1 (ja)
JP (1) JP6601336B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6172367B1 (ja) 2016-10-28 2017-08-02 トヨタ自動車株式会社 自動運転車両の制御装置
KR101969030B1 (ko) * 2017-09-13 2019-04-16 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
US11898868B2 (en) * 2021-09-10 2024-02-13 Here Global B.V. System and method for identifying redundant road lane detections

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6328369B2 (ja) * 2012-11-27 2018-05-23 クラリオン株式会社 車載用制御装置
JP2015069292A (ja) * 2013-09-27 2015-04-13 日産自動車株式会社 車線境界線判定装置及び車線判定装置

Also Published As

Publication number Publication date
JP2018005837A (ja) 2018-01-11
US20180012084A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
JP4248558B2 (ja) 道路区画線検出装置
CN106489174B (zh) 通过相机系统跟踪车辆的方法、相机系统以及机动车辆
CN109478324B (zh) 图像处理装置、外界识别装置
JP6536064B2 (ja) 走行軌跡選定装置、走行軌跡選定方法
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
US9286512B2 (en) Method for detecting pedestrians based on far infrared ray camera at night
JP6741603B2 (ja) 推定装置
JP2007164636A (ja) 道路区画線検出装置
JP5759950B2 (ja) 車載カメラ装置
JP6601336B2 (ja) 区画線認識装置
JP5977275B2 (ja) 分岐路認識装置
JP4807733B2 (ja) 車外環境認識装置
JP2015166903A (ja) 分岐路認識装置
JP2018106259A (ja) 区画線認識装置
JP2018005618A (ja) 道路認識装置
JP5805619B2 (ja) 境界線認識装置
US11176397B2 (en) Object recognition device
WO2011016257A1 (ja) 車両用距離算出装置
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
JP6462557B2 (ja) 車両ピッチ角推定装置
JP6593263B2 (ja) 区画線認識装置
JP6701905B2 (ja) 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム
CN110611772B (zh) 车用取像装置及其曝光参数设定方法
JP6565693B2 (ja) 車載カメラのレンズ異常検出装置
WO2014050285A1 (ja) ステレオカメラ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190923

R151 Written notification of patent or utility model registration

Ref document number: 6601336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250