JP3584194B2 - 白線検出方法および白線検出装置 - Google Patents
白線検出方法および白線検出装置 Download PDFInfo
- Publication number
- JP3584194B2 JP3584194B2 JP2000044533A JP2000044533A JP3584194B2 JP 3584194 B2 JP3584194 B2 JP 3584194B2 JP 2000044533 A JP2000044533 A JP 2000044533A JP 2000044533 A JP2000044533 A JP 2000044533A JP 3584194 B2 JP3584194 B2 JP 3584194B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- image
- white
- vehicle
- candidate point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、車載カメラにより撮影された道路の白線画像から白線を検出する方法および装置に関する。
【0002】
【従来の技術】
近年、車両の操作性、安全性を高めるために、車載カメラにより撮影された画像から道路の白線を検出し、その検出した白線に基づいて車両の進行方向を制御する、または進行方向の制御を補助するシステムが提案されている。このようなシステムでは、撮影された白線画像から白線をいかに正確に検出するかが重要な課題となっている。
【0003】
白線検出精度の向上を図った装置の一例として、特開平9−73545号公報には、走行レーン内の白線の認識精度の向上を図った白線認識装置が記載されている。この白線認識装置では、撮影された画像を近距離領域と遠距離領域の2つの領域に分割し、各領域で白線の検出が以下のようにして行われる。
【0004】
まず、近距離領域において、画像中のエッジから白線を認識して確定する。続いて、その近距離領域で確定された白線に基づいて、遠距離領域上で、その延長線上の領域を含むエッジ追跡領域を設定する。そして、その設定されたエッジ追跡領域内でエッジを追跡し、エッジが不連続の場合には、これを飛び越えて先のエッジを追跡して白線を認識確定する。この白線認識によれば、撮影画像の遠距離領域における白線の認識で問題となる、前方車両、街路樹、建物などの影の影響による白線の誤認識を、エッジ追跡領域を設定することで排除することができる。
【0005】
なお、遠距離領域におけるエッジ追跡領域の設定を、近距離領域で確定された白線ではなく、前回の処理で確定した遠距離領域の白線を用いて行うことができる。具体的には、図20(a)に示す前回の処理で確定された遠距離領域の白線に基づいて、図20(b)に示すような、遠距離領域におけるエッジ追跡領域を設定する。これにより、白線認識精度をさらに向上させることができる。
【0006】
上記の他、特許第2850607号に記載されているような、途切れた白線を正確に検出できるようにした白線認識装置もある。この白線認識装置では、前回の処理で得られた直線式に基づいて候補点を求めるとともにその候補点を基に直線近似することで白線の認識が行われる。
【0007】
【発明が解決しようとする課題】
白線検出精度を低下させる原因の一つに、白線自体のかすれがある。白線自体がかすれていると、白線を正確に検出することができず、そのかすれの度合いによっては白線を誤認識してしまう場合がある。また、夜間走行時には得られる画像のコントラストが非常に低くなることから、白線画像が不鮮明なものとなり、この場合も白線自体がかすれている場合と同様、白線を誤認識する恐れがある。
【0008】
特開平9−73545号公報に記載のものにおいては、近距離領域において、画像中のエッジから白線を認識する際に、上記の白線自体のかすれや白線画像が不鮮明なことによる誤認識を生じる恐れがあり、そのため、白線検出精度が高いものとは言えなかった。
【0009】
特許第2850607号に記載のものにおいては、前回の処理で得られた直線式に基づいて求められた候補点が白線自体のかすれなどにより不連続なものとなった場合には、やはり誤認識を生じる恐れがあり、上記の場合と同様、白線検出精度が高いものとは言えなかった。
【0010】
また、最近の車載用の画像処理装置の開発は、処理能力の高いものを望む状況ではない。よって、白線認識処理ソフトについてもより処理の軽い手法を用いて、白線検出精度の高いものを提供することが望まれている。
【0011】
本発明の目的は、白線自体のかすれや白線画像が不鮮明なことによる白線の誤認識を防止することができる、白線検出精度の高い、白線検出方法および白線検出装置を提供することにある。
【0012】
【課題を解決するための手段】
上記目的を達成するため、本発明の白線検出方法は、車両前方を撮影して得られる道路の白線画像を微分処理して二値化した白線微分画像を生成し、該生成した白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線検出方法であって、前記白線画像にかすれがあるか否かを判定し、かすれがある場合は、現在の白線画像から生成した白線微分画像に一定時間前の白線画像から生成した白線微分画像を重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする。
【0013】
上記の場合、白線画像にかすれがある場合に、さらに車両が回転運動をしたか否かを判定し、車両回転運動有りの場合は、現在の白線画像から生成した白線微分画像と、一定時間前の白線画像から生成した白線微分画像にその車両回転に相当する補正を施したものとを重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識するようにしてもよい。
【0014】
また、上記の場合、上記車両回転に相当する補正が、一定時間前の白線微分画像を実際の路面上で等距離間隔となるような距離分割線で区切り、各分割画像毎に路面距離に応じた車両回転によるずれを補正することであってもよい。
【0015】
本発明の白線検出装置は、車両前方を撮影する撮像手段と、前記撮像手段にて撮影された道路の白線画像を微分処理して二値化した白線微分画像を生成する白線候補点抽出手段と、前記白線画像にかすれがあるか否かを判定するかすれ判定手段と、前記白線候補点抽出手段にて生成された白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線抽出手段とを有し、前記白線抽出手段が、前記かすれ判定手段による判定結果がかすれ有りの場合に、現在の白線画像から生成した白線微分画像に一定時間前の白線画像から生成した白線微分画像を重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする。
【0016】
上記の場合、車両の回転運動を検出する車両回転検出手段と、前記車両回転検出手段の検出結果に基づいて車両が回転運動をしたか否かを判定する車両回転判定手段とをさらに有し、前記白線抽出手段が、前記車両回転判定手段による判定結果が車両回転運動有りの場合に、現在の白線画像から生成した白線微分画像と、一定時間前の白線画像から生成した白線微分画像にその車両回転に相当する補正を施したものとを重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識するように構成してもよい。
【0017】
(作用)
上記のとおりの本発明によれば、白線画像にかすれがある場合は、現在の白線画像から抽出された白線候補点列に一定時間前の白線画像から抽出された白線候補点列を重ね合せるようになっているため、この重ね合せにより白線候補点の数がほぼ二倍になるとともに、かすれた部分の一部(場合によっては全部)が白線候補点によって埋められることになり、ほぼ連続した白線候補点を得ることができる。したがって、その後に行われるハフ変換による直線近似処理の確度が高くなる。
【0018】
また、本発明によれば、車両が回転運動した場合には、現在の白線画像から抽出された白線候補点列と、一定時間前の白線画像から抽出された白線候補点列にその車両回転に相当する補正を施したものとを重ね合せるようになっているため、両白線候補点列を重ねた際の車両回転による画像ずれはほとんど生じない。特に、一定時間前の白線候補点列の画像を実際の路面上で等距離間隔となるような距離分割線で区切り、各分割画像について路面距離に応じた車両回転による画像ずれを補正するものにおいては、各白線候補点毎に画像ずれの補正を行う必要がなくなるので、直線近似処理を行う際の計算量も大幅に低減されることになる。
【0019】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【0020】
図1は、本発明の白線検出装置の一実施形態を示すブロック図である。この白線検出装置は、画像入力部1、白線認識処理部2、ヨーレート検出部3からなる。画像入力部1はビデオカメラより構成され、ビデオカメラで撮影された車両前方の画像、すなわち道路の白線画像が白線認識処理部2へ入力される。ヨーレート検出部3は、車両重心を通る鉛直軸を回転軸としたときの車両の回転角速度(ヨーレート)を検出するものである。このヨーレート検出部3としては、ヨーレートセンサを用いてヨーレートを検出するもの、各車輪の回転速度の違いからヨーレートを割り出すもの、ステアリングの操舵量と車両速度からヨーレートを算出するものなど、種々の構成のものを用いることができる。
【0021】
白線認識処理部2は、認識処理対象領域切り出し部21、白線候補点抽出部22、かすれ度合判定部23、車両回転判定部24、および白線抽出部25から構成される。
【0022】
認識処理対象領域切り出し部21は、画像入力部1より入力される白線画像から白線抽出に必要な領域(認識処理対象領域)を切り出す。白線候補点抽出部22は、その切り出された認識処理対象領域画像に対して周知のフィルタ処理を施してノイズ成分を除去し、さらに微分処理および二値化処理を施して白線候補点を抽出する。かすれ度合判定部23は、その白線候補点が抽出された画像中に、かすれ度合判定を行うためのウインドウ(領域)を設定し、そのウインドウ内における白線候補点の密度、分散具合、連続する候補点列の大きさなどからかすれ度合を評価する。これらの評価項目がすべて一定基準値以上であれば、かすれていないと判定し、いずれか1つの項目でも一定基準値を下回った場合は、かすれていると判定する。車両回転判定部24は、ヨーレート検出部3にて検出されるヨーレート値に基づいて車両が回転運動をしたかどうかを判定する。ヨーレート値の変化量が予め設定された基準値以下の場合は、ほぼ直進状態(車両回転無し)と判定し、基準値を超えた場合は、車両が回転した(車両回転有り)と判定する。白線抽出部25は、ハフ(Hough)変換により、認識処理対象領域内の白線候補点の並びを近似する直線を求める。この白線抽出部25における近似は、かすれ度合判定部23および車両回転判定部24の判定結果によってその処理が異なる。
【0023】
(1)かすれ無し:
単純にハフ(Hough)変換により白線候補点の並びを近似する直線を求める。
【0024】
(2)かすれ有り:
車両回転判定部24の判定結果により、以下の(イ)、(ロ)のいずれかの処理を行う。
【0025】
(イ)車両回転無し:
現画像における認識処理対象領域の白線候補点画像と、所定時間前の画像における認識処理対象領域の白線候補点画像とを重ね合せた画像をハフ変換用画像として、ハフ変換によりこの画像の白線候補点の並びを近似する直線を求める。
【0026】
(ロ)車両回転有り:
現画像における認識処理対象領域の白線候補点画像と、所定時間前の画像における認識処理対象領域の白線候補点画像にヨーレート検出部3にて検出されたヨーレート値の変化量に相当する補正を施したものとを重ね合せた画像をハフ変換用画像として、ハフ変換によりこの画像の白線候補点の並びを近似する直線を求める。
【0027】
次に、この白線検出装置における白線検出手順を図2を参照して詳細に説明する。
【0028】
画像入力部1から白線画像が入力されると、まず、認識処理対象領域切り出し部21によってその入力白線画像から認識処理対象領域が切り出される(ステップS10)。ここでは、画像入力部1から図3に示すような白線33を有する道路および水平線32を含む白線画像が入力され、認識処理対象領域切り出し部21にて、その白線画像から白線33を概ね含む認識処理対象領域31が切り出されることとし、以下、この認識処理対象領域31を例に処理を説明する。
【0029】
続いて、白線候補点抽出部22にて、その切り出された認識処理対象領域31の画像に対して、周知のノイズ除去フィルタ処理(ステップS11)、微分処理(ステップS12)、二値化処理(ステップS13)が順次行われて白線候補点が抽出される。この白線候補点の抽出では、例えば図4(a)に示すようなかすれのない白線画像の場合は、図4(b)に示すような連続した白線候補点列が得られる。一方、図5(a)に示すようなかすれた白線画像の場合は、図5(b)に示すような不連続な白線候補点列が得られる。なお、図4(b)および図5(b)には、便宜上、進行方向左側にある白線に関する候補点のみを示してある。
【0030】
続いて、かすれ度合判定部23にて、その抽出された白線候補点列に基づいてかすれ度合の判定が行われる(ステップS14、S15)。このかすれ度合判定では、まず、図6に示すような、直進時の標準的な白線41を含む画像(認識処理対象領域31に相当する)中で、かすれ度合判定を行うためのウィンドウとして中距離かすれ度合判定ウィンドウ42および近距離かすれ度合判定ウィンドウ43の2つのウィンドウを設定し、これらウィンドウ42、43を上記ステップS11〜S13の処理により抽出された白線候補点列の画像に当てはめて、各ウィンドウ内における白線候補点の密度、分散具合、候補点列の大きさなどからかすれ度合を算出し(ステップS14)、その算出結果に基づいてかすれが有るか否かの判定を行う(ステップS15)。ここでは、白線候補点の密度を、ウィンドウ(42、43)内の画素数に対する、各候補点に対応する画素(有効画素)の数の比率とし、分散具合を、有効画素のx座標値の分散値とし、候補点列の大きさを、隣接している有効画素を連続しているものとみなしてその連続有効画素全体の画素数(面積)として、かすれ度合を算出する。ここで、有効画素のx座標値の分散値とは、候補点が抽出された画像において、画像の縦方向をy軸、横方向をx軸としたときの、x軸に関する候補点の分散値を周知の方法により求めたものである。
【0031】
上記のステップS14、S15におけるかすれ度合判定では、例えば図4(b)に示した連続した白線候補点列が得られた画像の場合は、図7に示すように中距離かすれ度合判定ウィンドウ42および近距離かすれ度合判定ウィンドウ43が設定されてかすれ度合が算出され、結果、かすれ無しと判定される。また、図5(b)に示した不連続の白線候補点列が得られた画像の場合は、図8に示すように中距離かすれ度合判定ウィンドウ42および近距離かすれ度合判定ウィンドウ43が設定されてかすれ度合が算出され、結果、かすれ有りと判定される。
【0032】
上記ステップS15の判定結果がかすれ無し(図7の例)の場合は、白線抽出部25が以下のステップS16〜S20を行うことでハフ(Hough)変換により白線候補点の並びを近似する直線を求める。このハフ(Hough)変換では、具体的には、図9に示すように、x、y座標系において、原点から直線lに対して下ろした垂線とx軸とのなす角をθ、その垂線の長さをρとして、直線lをρ=xsinθ+ycosθで近似する。ここでは、図4(b)に示した白線候補点画像を例に挙げてその処理を説明する。なお、以下の説明において、ハフ(Hough)変換を行う際の原点は、白線検出という目的から、画像の下辺中央に設定してある。
【0033】
まず、ステップS16において、図4(b)に示した白線候補点列の画像を車両からの距離に応じて複数の帯状の領域に分割する。具体的には、図10に示すように、連続した白線候補点列を実際の路面上で同じ長さ(例えば10m)となる複数の分割直線51〜56に分割する、等距離間隔の距離分割線61〜67で画像を区切る。続いて、ステップS17において、距離分割線61〜66で区切られた領域ごとにハフ(Hough)変換を行い、続くステップS18において、上位投票数の(ρ,θ)を直線として抽出する。続いて、ステップS19において、上下の分割画像で検出された直線の交差点と距離分割線が最も近いものを白線として検出する。そして、ステップS20において、各分割画像ごとに白線として検出された直線をつなぎ合せて曲線を近似し、これを白線データとする。なお、1つの分割画像で白線として1つの直線しか検出されなかった場合は、各分割画像で検出された直線を単につなぎ合せるだけでよい。
【0034】
上記ステップS15の判定結果がかすれ有り(図5(a)および図8の例)の場合は、続くステップS21でヨーレート検出部3により回転角速度(ヨーレート)を検出し、続くステップS22で車両回転判定部24がその検出結果をもとに車両が回転したかどうかを判定する。そして、その判定結果に応じて白線抽出部25が以下のステップS23〜S26を行うことで現在の白線画像の白線候補点列と一定時間前の白線画像の白線候補点列とを合成し、その合成画像をハフ(Hough)変換することにより白線候補点の並びを近似する直線を求める。
【0035】
まず、車両回転と合成画像のずれの問題について簡単に説明する。前述の図5(b)に示した不連続の白線候補点列に対して、T0時間前の白線候補点列として図11(a)に示すような車両回転のないもの(ヨーレート値の変化量=0)が与えられた場合は、これら白線候補点列を重ねると図11(b)に示すように、ずれのない白線候補点列を得ることができる。この場合、候補点の数は2倍程度に増やすことができる。一方、図5(b)に示した不連続の白線候補点列に対して、T0時間前の白線候補点列として図12(a)に示すような車両回転のあるもの(ヨーレート値の変化量≠0)が与えられた場合は、これら白線候補点列を重ねると図12(b)の破線で囲まれた領域のような、白線候補点列に車両回転によるずれが生じる。このずれの問題は、詳しくは後で述べるが、白線候補点列を等距離間隔の距離分割線で区切り、各分割画像について路面距離に応じたずれを補正することで解消することができる。以下に述べるステップS23〜S26の処理では、そのような処理が用いられる。
【0036】
ステップS22にて車両回転有りと判定された場合は、続くステップS23において、T0時間前の白線候補点列の画像(前回の処理で用いられた白線候補点列の画像でもよい。)を用意し、これを上述したステップS16と同様な方法により、図13(a)に示すように等距離間隔の距離分割線71〜73で区切る。続いて、ステップS24において、それら分割画像について、路面距離と車両回転角速度とからずらし量を算出し、続くステップS25において、その算出したずらし量に基づいて各分割画像をずらして再合成することで、図13(b)に示すような車両回転によるずれのない白線候補点列を得る。続いて、ステップS26において、その再合成された白線候補点列と現在の画像における白線候補点列とを重ね合せて、これをハフ変換用画像とする。そして、このハフ変換用画像に対して、前述したステップS16〜S20の処理を行うことで、白線候補点列の並びを近似する直線を求め、これを白線データとする。
【0037】
上記ステップS22にて車両回転無しと判定された場合は、ステップS23〜S25の車両回転によるずれを補正するための処理は行わずにステップS26へ移行し、一定時間前の画像の白線候補点列と現在の画像の白線候補点列とを重ね合せて、これをハフ変換用画像として、前述したステップS16〜S20の処理を行う。
【0038】
次に、上述のステップS23〜S25の処理についてさらに具体的に説明する。ここでは、現在の白線画像とT0時間前の白線画像を重ねる場合に、両画像間に車両回転によるずれがどのように生じ、そのずれをどのように補正すれば良いかについて説明する。
【0039】
図14(a)、(b)は、それぞれ車両回転の無い(ヨーレート値の変化量=0)場合の、画像入力部1から入力された現在の白線画像とT0時間前の白線画像である。これら白線画像はほとんど一致することから、図14(c)に示すように、単純に重ね合せても画像に大きなずれは生じない。このことから分かるように、車両回転の無い場合は、車両が直進している状態の場合と同様、現在の白線画像とT0時間前の白線画像とを単純に重ね合せることができる。
【0040】
一方、車両回転有り(ヨーレート値の変化量≠0)の場合は、上記の場合とは異なり、現在の白線画像とT0時間前の白線画像とを単純に重ね合せることはできない。一例として、「ヨーレート値の変化量>0」の場合の白線画像の重ね合せ例を図15に示す。図15において、(a)は現在の白線画像、(b)はT0時間前の白線画像、(c)はそれら白線画像を重ね合せた画像を示す。図15(a)、(b)に示すように、現在の白線画像とT0時間前の白線画像との間には車両回転によりずれが発生する。そのため、これら白線画像を単純に重ね合せてしまうと、図15(c)に示すように、T0時間前の白線画像に対して現在の白線画像が車両進行方向に対して右方向に流れることとなり、座標のずれが生じる。この場合、座標のずれ量は車両からの距離が遠くなるほど大きくなる。
【0041】
図15(c)の合成画像における座標のずれを無くすには、T0時間前の白線画像に対してその座標のずれ量に応じた補正を行う必要がある。しかし、上記のとおり、座標のずれ量は車両からの距離が遠くなるほど大きくなるため、例えば白線候補点画像を補正する場合は、各候補点について、車両からの距離に応じたずれ量を補正する必要があり、その場合、計算量が膨大なものとなって処理に時間がかかる。
【0042】
そこで、図16に示すように、合成画像を等距離間隔の距離分割線で分割したものを考える。この場合、各分割画像における座標のずれ量は、車両からの距離に応じて多少は変化するが、その変化量は少なくてすむ。したがって、T0時間前の白線画像に対しては、各分割画像毎に座標のずれ量を補正することができる。この手法によれば、補正計算量を大幅に少なくすることができ、処理時間も短くなる。
【0043】
各分割画像における座標のずれ量としては、図17に示すように、分割画像の中央における座標のずれ量を補正量の代表値を用いることが望ましい。また、T0時間前の白線画像を分割して補正する場合は、例えば図18(a)に示すように、各分割画像の中央における座標のずれ量を補正量としてそれぞれの分割画像をスライドさせて補正する。このようにして分割補正したT0時間前の白線画像を現在の白線画像に重ね合せるた結果が図18(b)である。図18(b)から分かるように、T0時間前の白線画像と現在の白線画像はほぼ一致したものとなる。
【0044】
以上のようにして、T0時間前の白線画像と現在の白線画像を重ね合せる処理を行うことにより、かすれた白線画像における有効候補点列をほぼ倍に増やすことができ、その後に行われるハフ変換による直線近似処理の確度を高めることができる。
【0045】
以上の動作説明では、道路の左側にある連続した白線を抽出する場合を例にその手順を説明したが、道路の右側にある連続した白線についても同様の処理手順で抽出することができる。また、本実施形態では、かすれた白線についても抽出可能になっていることから、車線を区切る破線状の白線についても抽出可能である。この場合、例えば、高速道路などの10m間隔で引かれた破線状の白線(それぞれの破線の長さは10m)であれば、車速に応じて、「10m/(車両速度)」時間分だけ溯った過去の画像を現在の画像と重ね合せるようにすることで、連続した白線候補点列を得ることができ、白線の認識処理をより確実なものとすることができる。
【0046】
(白線検出システム)
図19は、本発明の白線検出方法が適用されたシステムの構成を示す模式図である。このシステムは、前方画像撮影用カメラ80、画像認識処理・制御ユニット81、電動パワーステアリングユニット(またはステアリング駆動アクチュエーター)82からなる。
【0047】
前方画像撮影用カメラ80は、車両前方を撮影するように車内のフロント部分に取り付けられており、例えば前述の図3に示したような画像を撮影することができる。この前方画像撮影用カメラ80にて撮影された画像は画像認識処理・制御ユニット81に取り込まれる。
【0048】
画像認識処理・制御ユニット81は、例えば座席の下などに設置可能で、内部に図1に示したような白線認識処理部を備え、この白線認識処理部で検出された白線に基づいて車両の進行方向を制御したり、進行方向の制御を補助したりする。この画像認識処理・制御ユニット81による制御は、制御信号を電動パワーステアリングユニット82に送出することにより行われる。
【0049】
【発明の効果】
以上説明したように、本発明によれば、白線自体にかすれがあったり、白線画像が不鮮明な場合であっても、確実に白線を検出することができるので、白線の誤認識を防止することができ、従来のものより白線検出精度の高いものを提供することができる。
【図面の簡単な説明】
【図1】本発明の白線検出装置の一実施形態を示すブロック図である。
【図2】本発明の白線検出装置における白線検出手順の一例を示すフローチャート図である。
【図3】白線画像の一例を示す模式図である。
【図4】(a)はかすれのない白線画像の一例を示す模式図で、(b)は(a)に示す白線画像から抽出された白線候補点列の一例を示す模式図である。
【図5】(a)はかすれのある白線画像の一例を示す模式図で、(b)は(a)に示す白線画像から抽出された白線候補点列の一例を示す模式図である。
【図6】かすれ度合判定ウィンドウの一例を示す模式図である。
【図7】かすれ度合判定の一例を示す模式図である。
【図8】かすれ度合判定の一例を示す模式図である。
【図9】ハフ(Hough)変換を説明するための模式図である。
【図10】白線候補点列の画像分割の一例を示す模式図である。
【図11】(a)は車両回転のない場合の白線候補点列の一例を示す模式図、(b)は(a)の白線候補点列と図4(b)に示す白線候補点列とを重ね合せた画像を示す模式図である。
【図12】(a)は車両回転のある場合の白線候補点列の一例を示す模式図、(b)は(a)の白線候補点列と図5(b)に示す白線候補点列とを重ね合せた画像を示す模式図である。
【図13】(a)は白線候補点列の画像分割の一例を示す模式図、(b)は(a)の各分割画像をずらして再合成した画像の一例を示す模式図である。
【図14】(a)は車両回転の無い場合の現在の白線画像の一例を示す模式図、(b)は車両回転の無い場合のT0時間前の白線画像の一例を示す模式図、(c)は(a)と(b)の各白線画像を重ね合せた画像を示す模式図である。
【図15】(a)は現在の白線画像、(b)はT0時間前の白線画像、(c)は(a)と(b)の白線画像を重ね合せた画像を示す模式図である。
【図16】分割画像の一例を示す模式図である。
【図17】分割画像の補正量の一例を示す模式図である。
【図18】(a)は分割補正画像の一例を示す模式図、(b)は(a)に示す分割補正画像を現在の白線画像に重ね合せた画像の一例を示す模式図である。
【図19】本発明の白線検出方法が適用されたシステムの構成を示す模式図である。
【図20】従来の白線検出方法を説明するための図で、(a)は近距離領域および遠距離領域の確定白線の模式図、(b)は(a)の確定白線に基づくエッジ追跡領域を示す模式図である。
【符号の説明】
1 画像入力部
2 白線認識処理部
3 ヨーレート検出部
21 認識処理対象領域切り出し部
22 白線候補点抽出部
23 かすれ度合判定部
24 車両回転判定部
25 白線抽出部
Claims (9)
- 車両前方を撮影して得られる道路の白線画像を微分処理して二値化した白線微分画像を生成し、該生成した白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線検出方法であって、
前記白線画像にかすれがあるか否かを判定し、かすれがある場合は、現在の白線画像から生成した白線微分画像に一定時間前の白線画像から生成した白線微分画像を重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線検出方法。 - 請求項1に記載の白線検出方法において、
白線画像中に所定のウインドウを設定し、該ウインドウ内における白線候補点の密度からかすれ度合を算出し、該かすれ度合が一定基準値以上の場合をかすれ無しとし、一定基準値を下回った場合をかすれ有りとして、前記白線画像のかすれ判定を行うことを特徴とする白線検出方法。 - 請求項1に記載の白線検出方法において、
前記白線画像にかすれがある場合に、さらに車両が回転運動をしたか否かを判定し、車両回転運動有りの場合は、現在の白線画像から生成した白線微分画像と、一定時間前の白線画像から生成した白線微分画像にその車両回転に相当する補正を施したものとを重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする白線検出方法。 - 請求項3に記載の白線検出方法において、
前記車両回転運動の有無の判定を、車両回転運動を表わすヨーレート値の変化量が一定基準値以下の場合を車両回転無しとし、一定基準値を上回った場合を車両回転有りとして行うことを特徴とする白線検出方法。 - 請求項3に記載の白線検出方法において、
前記車両回転に相当する補正が、一定時間前の白線微分画像を実際の路面上で等距離間隔となるような距離分割線で区切り、各分割画像毎に路面距離に応じた車両回転によるずれを補正することであることを特徴とする白線検出方法。 - 車両前方を撮影する撮像手段と、
前記撮像手段にて撮影された道路の白線画像を微分処理して二値化した白線微分画像を生成する白線候補点抽出手段と、
前記白線画像にかすれがあるか否かを判定するかすれ判定手段と、
前記白線候補点抽出手段にて生成された白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線抽出手段とを有し、
前記白線抽出手段が、前記かすれ判定手段による判定結果がかすれ有りの場合に、現在の白線画像から生成した白線微分画像に一定時間前の白線画像から生成した白線微分画像を重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする白線検出装置。 - 請求項6に記載の白線検出装置において、
前記かすれ判定手段が、白線画像中に所定のウインドウを設定し、該ウインドウ内における白線候補点の密度からかすれ度合を算出し、該かすれ度合が一定基準値以上の場合はかすれ無しと判定し、一定基準値を下回った場合はかすれ有りと判定することを特徴とする白線検出装置。 - 請求項6に記載の白線検出装置において、
車両の回転運動を検出する車両回転検出手段と、
前記車両回転検出手段の検出結果に基づいて車両が回転運動をしたか否かを判定する車両回転判定手段とをさらに有し、
前記白線抽出手段が、前記車両回転判定手段による判定結果が車両回転運動有りの場合に、現在の白線画像から生成した白線微分画像と、一定時間前の白線画像から生成した白線微分画像にその車両回転に相当する補正を施したものとを重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする白線検出装置。 - 請求項8に記載の白線検出装置において、
前記車両回転検出手段が、車両回転運動を表わすヨーレートを検出する手段であり、
前記車両回転判定手段が、前記ヨーレート値の変化量が一定基準値以下の場合は車両回転無しと判定し、一定基準値を上回った場合は車両回転有りと判定することを特徴とする白線検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000044533A JP3584194B2 (ja) | 2000-02-22 | 2000-02-22 | 白線検出方法および白線検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000044533A JP3584194B2 (ja) | 2000-02-22 | 2000-02-22 | 白線検出方法および白線検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001236506A JP2001236506A (ja) | 2001-08-31 |
JP3584194B2 true JP3584194B2 (ja) | 2004-11-04 |
Family
ID=18567272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000044533A Expired - Fee Related JP3584194B2 (ja) | 2000-02-22 | 2000-02-22 | 白線検出方法および白線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3584194B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12067789B2 (en) | 2020-12-28 | 2024-08-20 | Honda Motor Co., Ltd. | Vehicle control system and delimiting line estimating method |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3722487B1 (ja) | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
JP3722485B1 (ja) | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
JP3722486B1 (ja) | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
JP3898709B2 (ja) * | 2004-05-19 | 2007-03-28 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
JP4756316B2 (ja) * | 2005-03-11 | 2011-08-24 | アイシン精機株式会社 | 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法 |
JP4637618B2 (ja) | 2005-03-18 | 2011-02-23 | 株式会社ホンダエレシス | 車線認識装置 |
US7415134B2 (en) | 2005-05-17 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
JP4774807B2 (ja) * | 2005-05-26 | 2011-09-14 | アイシン・エィ・ダブリュ株式会社 | 画像修正装置、地物認識装置及び地物認識方法 |
JP4614826B2 (ja) * | 2005-06-14 | 2011-01-19 | トヨタ自動車株式会社 | 道路区画線検出装置 |
WO2007129582A1 (ja) * | 2006-05-09 | 2007-11-15 | Nissan Motor Co., Ltd. | 車両周辺画像提供装置及び車両周辺画像提供方法 |
JP2007102798A (ja) * | 2006-10-11 | 2007-04-19 | Denso Corp | 車両周辺監視システム |
JP4697480B2 (ja) * | 2008-01-11 | 2011-06-08 | 日本電気株式会社 | 車線認識装置、車線認識方法および車線認識プログラム |
JP4871909B2 (ja) * | 2008-04-25 | 2012-02-08 | 日立オートモティブシステムズ株式会社 | 物体認識装置、および物体認識方法 |
JP4622001B2 (ja) * | 2008-05-27 | 2011-02-02 | トヨタ自動車株式会社 | 道路区画線検出装置および道路区画線検出方法 |
JP4962581B2 (ja) | 2010-03-03 | 2012-06-27 | 株式会社デンソー | 区画線検出装置 |
JP5220787B2 (ja) | 2010-03-08 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | 車載白線認識装置 |
JP5469509B2 (ja) * | 2010-03-31 | 2014-04-16 | パナソニック株式会社 | 車線位置検出装置および車線位置検出方法 |
WO2014104183A1 (ja) | 2012-12-26 | 2014-07-03 | 株式会社日本自動車部品総合研究所 | 境界線認識装置及び分岐路判定装置 |
JP5805619B2 (ja) * | 2012-12-26 | 2015-11-04 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
JP6241172B2 (ja) * | 2013-09-25 | 2017-12-06 | 日産自動車株式会社 | 自車位置推定装置及び自車位置推定方法 |
JP6368651B2 (ja) * | 2015-01-06 | 2018-08-01 | 株式会社日立製作所 | 走行環境認識システム |
CA3018661C (en) | 2016-03-24 | 2020-06-09 | Nissan Motor Co., Ltd. | Travel lane detection method and travel lane detection device |
BR112020000272B1 (pt) * | 2017-07-07 | 2023-03-21 | Nissan Motor Co., Ltd | Método de assistência a estacionamento e dispositivo de assistência a estacionamento |
JP6653361B2 (ja) * | 2018-07-30 | 2020-02-26 | エヌ・ティ・ティ・コムウェア株式会社 | 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム |
JP7127436B2 (ja) * | 2018-08-31 | 2022-08-30 | 株式会社デンソー | 地図生成装置及び地図生成プログラム |
JP6698191B1 (ja) * | 2019-03-27 | 2020-05-27 | エヌ・ティ・ティ・コムウェア株式会社 | 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム |
JP7559934B2 (ja) | 2021-03-30 | 2024-10-02 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
-
2000
- 2000-02-22 JP JP2000044533A patent/JP3584194B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12067789B2 (en) | 2020-12-28 | 2024-08-20 | Honda Motor Co., Ltd. | Vehicle control system and delimiting line estimating method |
Also Published As
Publication number | Publication date |
---|---|
JP2001236506A (ja) | 2001-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3584194B2 (ja) | 白線検出方法および白線検出装置 | |
JP3925488B2 (ja) | 車両用画像処理装置 | |
EP2422320B1 (en) | Object detection device | |
US9235767B2 (en) | Detection region modification for driving assistance apparatus and driving assistance method | |
US7447578B2 (en) | Steering control apparatus and method for automotive vehicle | |
EP2103500B1 (en) | Vehicle and steering control device for vehicle | |
JP3630100B2 (ja) | 車線検出装置 | |
US7190282B2 (en) | Nose-view monitoring apparatus | |
JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
WO2014129312A1 (ja) | 車線境界線逸脱抑制装置 | |
KR101611194B1 (ko) | 차량 주변 이미지 생성 장치 및 방법 | |
CN106428209A (zh) | 转向辅助装置 | |
JP4319928B2 (ja) | 車両状態検知システムおよび車両状態検知方法 | |
WO2014203791A1 (en) | Departure prevention support apparatus | |
JP2005038407A (ja) | 車両用外界認識装置 | |
US10108866B2 (en) | Method and system for robust curb and bump detection from front or rear monocular cameras | |
JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
WO2014034187A1 (ja) | レーンマーク認識装置 | |
JP3293441B2 (ja) | 撮像装置 | |
JP3868915B2 (ja) | 前方監視装置及びその方法 | |
JPH0789443A (ja) | 車両用自動操縦装置 | |
JP2007299045A (ja) | 車線認識装置 | |
JP3365168B2 (ja) | 後方白線認識装置 | |
JP3296208B2 (ja) | カーブ曲率推定装置 | |
JPH1172337A (ja) | 走行レーン認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040802 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100806 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110806 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110806 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |