JP3584194B2 - 白線検出方法および白線検出装置 - Google Patents
白線検出方法および白線検出装置 Download PDFInfo
- Publication number
- JP3584194B2 JP3584194B2 JP2000044533A JP2000044533A JP3584194B2 JP 3584194 B2 JP3584194 B2 JP 3584194B2 JP 2000044533 A JP2000044533 A JP 2000044533A JP 2000044533 A JP2000044533 A JP 2000044533A JP 3584194 B2 JP3584194 B2 JP 3584194B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- image
- white
- vehicle
- candidate point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車載カメラにより撮影された道路の白線画像から白線を検出する方法および装置に関する。
【０００２】
【従来の技術】
近年、車両の操作性、安全性を高めるために、車載カメラにより撮影された画像から道路の白線を検出し、その検出した白線に基づいて車両の進行方向を制御する、または進行方向の制御を補助するシステムが提案されている。このようなシステムでは、撮影された白線画像から白線をいかに正確に検出するかが重要な課題となっている。
【０００３】
白線検出精度の向上を図った装置の一例として、特開平９−７３５４５号公報には、走行レーン内の白線の認識精度の向上を図った白線認識装置が記載されている。この白線認識装置では、撮影された画像を近距離領域と遠距離領域の２つの領域に分割し、各領域で白線の検出が以下のようにして行われる。
【０００４】
まず、近距離領域において、画像中のエッジから白線を認識して確定する。続いて、その近距離領域で確定された白線に基づいて、遠距離領域上で、その延長線上の領域を含むエッジ追跡領域を設定する。そして、その設定されたエッジ追跡領域内でエッジを追跡し、エッジが不連続の場合には、これを飛び越えて先のエッジを追跡して白線を認識確定する。この白線認識によれば、撮影画像の遠距離領域における白線の認識で問題となる、前方車両、街路樹、建物などの影の影響による白線の誤認識を、エッジ追跡領域を設定することで排除することができる。
【０００５】
なお、遠距離領域におけるエッジ追跡領域の設定を、近距離領域で確定された白線ではなく、前回の処理で確定した遠距離領域の白線を用いて行うことができる。具体的には、図２０（ａ）に示す前回の処理で確定された遠距離領域の白線に基づいて、図２０（ｂ）に示すような、遠距離領域におけるエッジ追跡領域を設定する。これにより、白線認識精度をさらに向上させることができる。
【０００６】
上記の他、特許第２８５０６０７号に記載されているような、途切れた白線を正確に検出できるようにした白線認識装置もある。この白線認識装置では、前回の処理で得られた直線式に基づいて候補点を求めるとともにその候補点を基に直線近似することで白線の認識が行われる。
【０００７】
【発明が解決しようとする課題】
白線検出精度を低下させる原因の一つに、白線自体のかすれがある。白線自体がかすれていると、白線を正確に検出することができず、そのかすれの度合いによっては白線を誤認識してしまう場合がある。また、夜間走行時には得られる画像のコントラストが非常に低くなることから、白線画像が不鮮明なものとなり、この場合も白線自体がかすれている場合と同様、白線を誤認識する恐れがある。
【０００８】
特開平９−７３５４５号公報に記載のものにおいては、近距離領域において、画像中のエッジから白線を認識する際に、上記の白線自体のかすれや白線画像が不鮮明なことによる誤認識を生じる恐れがあり、そのため、白線検出精度が高いものとは言えなかった。
【０００９】
特許第２８５０６０７号に記載のものにおいては、前回の処理で得られた直線式に基づいて求められた候補点が白線自体のかすれなどにより不連続なものとなった場合には、やはり誤認識を生じる恐れがあり、上記の場合と同様、白線検出精度が高いものとは言えなかった。
【００１０】
また、最近の車載用の画像処理装置の開発は、処理能力の高いものを望む状況ではない。よって、白線認識処理ソフトについてもより処理の軽い手法を用いて、白線検出精度の高いものを提供することが望まれている。
【００１１】
本発明の目的は、白線自体のかすれや白線画像が不鮮明なことによる白線の誤認識を防止することができる、白線検出精度の高い、白線検出方法および白線検出装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明の白線検出方法は、車両前方を撮影して得られる道路の白線画像を微分処理して二値化した白線微分画像を生成し、該生成した白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線検出方法であって、前記白線画像にかすれがあるか否かを判定し、かすれがある場合は、現在の白線画像から生成した白線微分画像に一定時間前の白線画像から生成した白線微分画像を重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする。
【００１３】
上記の場合、白線画像にかすれがある場合に、さらに車両が回転運動をしたか否かを判定し、車両回転運動有りの場合は、現在の白線画像から生成した白線微分画像と、一定時間前の白線画像から生成した白線微分画像にその車両回転に相当する補正を施したものとを重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識するようにしてもよい。
【００１４】
また、上記の場合、上記車両回転に相当する補正が、一定時間前の白線微分画像を実際の路面上で等距離間隔となるような距離分割線で区切り、各分割画像毎に路面距離に応じた車両回転によるずれを補正することであってもよい。
【００１５】
本発明の白線検出装置は、車両前方を撮影する撮像手段と、前記撮像手段にて撮影された道路の白線画像を微分処理して二値化した白線微分画像を生成する白線候補点抽出手段と、前記白線画像にかすれがあるか否かを判定するかすれ判定手段と、前記白線候補点抽出手段にて生成された白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線抽出手段とを有し、前記白線抽出手段が、前記かすれ判定手段による判定結果がかすれ有りの場合に、現在の白線画像から生成した白線微分画像に一定時間前の白線画像から生成した白線微分画像を重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする。
【００１６】
上記の場合、車両の回転運動を検出する車両回転検出手段と、前記車両回転検出手段の検出結果に基づいて車両が回転運動をしたか否かを判定する車両回転判定手段とをさらに有し、前記白線抽出手段が、前記車両回転判定手段による判定結果が車両回転運動有りの場合に、現在の白線画像から生成した白線微分画像と、一定時間前の白線画像から生成した白線微分画像にその車両回転に相当する補正を施したものとを重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識するように構成してもよい。
【００１７】
（作用）
上記のとおりの本発明によれば、白線画像にかすれがある場合は、現在の白線画像から抽出された白線候補点列に一定時間前の白線画像から抽出された白線候補点列を重ね合せるようになっているため、この重ね合せにより白線候補点の数がほぼ二倍になるとともに、かすれた部分の一部（場合によっては全部）が白線候補点によって埋められることになり、ほぼ連続した白線候補点を得ることができる。したがって、その後に行われるハフ変換による直線近似処理の確度が高くなる。
【００１８】
また、本発明によれば、車両が回転運動した場合には、現在の白線画像から抽出された白線候補点列と、一定時間前の白線画像から抽出された白線候補点列にその車両回転に相当する補正を施したものとを重ね合せるようになっているため、両白線候補点列を重ねた際の車両回転による画像ずれはほとんど生じない。特に、一定時間前の白線候補点列の画像を実際の路面上で等距離間隔となるような距離分割線で区切り、各分割画像について路面距離に応じた車両回転による画像ずれを補正するものにおいては、各白線候補点毎に画像ずれの補正を行う必要がなくなるので、直線近似処理を行う際の計算量も大幅に低減されることになる。
【００１９】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【００２０】
図１は、本発明の白線検出装置の一実施形態を示すブロック図である。この白線検出装置は、画像入力部１、白線認識処理部２、ヨーレート検出部３からなる。画像入力部１はビデオカメラより構成され、ビデオカメラで撮影された車両前方の画像、すなわち道路の白線画像が白線認識処理部２へ入力される。ヨーレート検出部３は、車両重心を通る鉛直軸を回転軸としたときの車両の回転角速度（ヨーレート）を検出するものである。このヨーレート検出部３としては、ヨーレートセンサを用いてヨーレートを検出するもの、各車輪の回転速度の違いからヨーレートを割り出すもの、ステアリングの操舵量と車両速度からヨーレートを算出するものなど、種々の構成のものを用いることができる。
【００２１】
白線認識処理部２は、認識処理対象領域切り出し部２１、白線候補点抽出部２２、かすれ度合判定部２３、車両回転判定部２４、および白線抽出部２５から構成される。
【００２２】
認識処理対象領域切り出し部２１は、画像入力部１より入力される白線画像から白線抽出に必要な領域（認識処理対象領域）を切り出す。白線候補点抽出部２２は、その切り出された認識処理対象領域画像に対して周知のフィルタ処理を施してノイズ成分を除去し、さらに微分処理および二値化処理を施して白線候補点を抽出する。かすれ度合判定部２３は、その白線候補点が抽出された画像中に、かすれ度合判定を行うためのウインドウ（領域）を設定し、そのウインドウ内における白線候補点の密度、分散具合、連続する候補点列の大きさなどからかすれ度合を評価する。これらの評価項目がすべて一定基準値以上であれば、かすれていないと判定し、いずれか１つの項目でも一定基準値を下回った場合は、かすれていると判定する。車両回転判定部２４は、ヨーレート検出部３にて検出されるヨーレート値に基づいて車両が回転運動をしたかどうかを判定する。ヨーレート値の変化量が予め設定された基準値以下の場合は、ほぼ直進状態（車両回転無し）と判定し、基準値を超えた場合は、車両が回転した（車両回転有り）と判定する。白線抽出部２５は、ハフ（Ｈｏｕｇｈ）変換により、認識処理対象領域内の白線候補点の並びを近似する直線を求める。この白線抽出部２５における近似は、かすれ度合判定部２３および車両回転判定部２４の判定結果によってその処理が異なる。
【００２３】
（１）かすれ無し：
単純にハフ（Ｈｏｕｇｈ）変換により白線候補点の並びを近似する直線を求める。
【００２４】
（２）かすれ有り：
車両回転判定部２４の判定結果により、以下の（イ）、（ロ）のいずれかの処理を行う。
【００２５】
（イ）車両回転無し：
現画像における認識処理対象領域の白線候補点画像と、所定時間前の画像における認識処理対象領域の白線候補点画像とを重ね合せた画像をハフ変換用画像として、ハフ変換によりこの画像の白線候補点の並びを近似する直線を求める。
【００２６】
（ロ）車両回転有り：
現画像における認識処理対象領域の白線候補点画像と、所定時間前の画像における認識処理対象領域の白線候補点画像にヨーレート検出部３にて検出されたヨーレート値の変化量に相当する補正を施したものとを重ね合せた画像をハフ変換用画像として、ハフ変換によりこの画像の白線候補点の並びを近似する直線を求める。
【００２７】
次に、この白線検出装置における白線検出手順を図２を参照して詳細に説明する。
【００２８】
画像入力部１から白線画像が入力されると、まず、認識処理対象領域切り出し部２１によってその入力白線画像から認識処理対象領域が切り出される（ステップＳ１０）。ここでは、画像入力部１から図３に示すような白線３３を有する道路および水平線３２を含む白線画像が入力され、認識処理対象領域切り出し部２１にて、その白線画像から白線３３を概ね含む認識処理対象領域３１が切り出されることとし、以下、この認識処理対象領域３１を例に処理を説明する。
【００２９】
続いて、白線候補点抽出部２２にて、その切り出された認識処理対象領域３１の画像に対して、周知のノイズ除去フィルタ処理（ステップＳ１１）、微分処理（ステップＳ１２）、二値化処理（ステップＳ１３）が順次行われて白線候補点が抽出される。この白線候補点の抽出では、例えば図４（ａ）に示すようなかすれのない白線画像の場合は、図４（ｂ）に示すような連続した白線候補点列が得られる。一方、図５（ａ）に示すようなかすれた白線画像の場合は、図５（ｂ）に示すような不連続な白線候補点列が得られる。なお、図４（ｂ）および図５（ｂ）には、便宜上、進行方向左側にある白線に関する候補点のみを示してある。
【００３０】
続いて、かすれ度合判定部２３にて、その抽出された白線候補点列に基づいてかすれ度合の判定が行われる（ステップＳ１４、Ｓ１５）。このかすれ度合判定では、まず、図６に示すような、直進時の標準的な白線４１を含む画像（認識処理対象領域３１に相当する）中で、かすれ度合判定を行うためのウィンドウとして中距離かすれ度合判定ウィンドウ４２および近距離かすれ度合判定ウィンドウ４３の２つのウィンドウを設定し、これらウィンドウ４２、４３を上記ステップＳ１１〜Ｓ１３の処理により抽出された白線候補点列の画像に当てはめて、各ウィンドウ内における白線候補点の密度、分散具合、候補点列の大きさなどからかすれ度合を算出し（ステップＳ１４）、その算出結果に基づいてかすれが有るか否かの判定を行う（ステップＳ１５）。ここでは、白線候補点の密度を、ウィンドウ（４２、４３）内の画素数に対する、各候補点に対応する画素（有効画素）の数の比率とし、分散具合を、有効画素のｘ座標値の分散値とし、候補点列の大きさを、隣接している有効画素を連続しているものとみなしてその連続有効画素全体の画素数（面積）として、かすれ度合を算出する。ここで、有効画素のｘ座標値の分散値とは、候補点が抽出された画像において、画像の縦方向をｙ軸、横方向をｘ軸としたときの、ｘ軸に関する候補点の分散値を周知の方法により求めたものである。
【００３１】
上記のステップＳ１４、Ｓ１５におけるかすれ度合判定では、例えば図４（ｂ）に示した連続した白線候補点列が得られた画像の場合は、図７に示すように中距離かすれ度合判定ウィンドウ４２および近距離かすれ度合判定ウィンドウ４３が設定されてかすれ度合が算出され、結果、かすれ無しと判定される。また、図５（ｂ）に示した不連続の白線候補点列が得られた画像の場合は、図８に示すように中距離かすれ度合判定ウィンドウ４２および近距離かすれ度合判定ウィンドウ４３が設定されてかすれ度合が算出され、結果、かすれ有りと判定される。
【００３２】
上記ステップＳ１５の判定結果がかすれ無し（図７の例）の場合は、白線抽出部２５が以下のステップＳ１６〜Ｓ２０を行うことでハフ（Ｈｏｕｇｈ）変換により白線候補点の並びを近似する直線を求める。このハフ（Ｈｏｕｇｈ）変換では、具体的には、図９に示すように、ｘ、ｙ座標系において、原点から直線ｌに対して下ろした垂線とｘ軸とのなす角をθ、その垂線の長さをρとして、直線ｌをρ＝ｘｓｉｎθ＋ｙｃｏｓθで近似する。ここでは、図４（ｂ）に示した白線候補点画像を例に挙げてその処理を説明する。なお、以下の説明において、ハフ（Ｈｏｕｇｈ）変換を行う際の原点は、白線検出という目的から、画像の下辺中央に設定してある。
【００３３】
まず、ステップＳ１６において、図４（ｂ）に示した白線候補点列の画像を車両からの距離に応じて複数の帯状の領域に分割する。具体的には、図１０に示すように、連続した白線候補点列を実際の路面上で同じ長さ（例えば１０ｍ）となる複数の分割直線５１〜５６に分割する、等距離間隔の距離分割線６１〜６７で画像を区切る。続いて、ステップＳ１７において、距離分割線６１〜６６で区切られた領域ごとにハフ（Ｈｏｕｇｈ）変換を行い、続くステップＳ１８において、上位投票数の（ρ，θ）を直線として抽出する。続いて、ステップＳ１９において、上下の分割画像で検出された直線の交差点と距離分割線が最も近いものを白線として検出する。そして、ステップＳ２０において、各分割画像ごとに白線として検出された直線をつなぎ合せて曲線を近似し、これを白線データとする。なお、１つの分割画像で白線として１つの直線しか検出されなかった場合は、各分割画像で検出された直線を単につなぎ合せるだけでよい。
【００３４】
上記ステップＳ１５の判定結果がかすれ有り（図５（ａ）および図８の例）の場合は、続くステップＳ２１でヨーレート検出部３により回転角速度（ヨーレート）を検出し、続くステップＳ２２で車両回転判定部２４がその検出結果をもとに車両が回転したかどうかを判定する。そして、その判定結果に応じて白線抽出部２５が以下のステップＳ２３〜Ｓ２６を行うことで現在の白線画像の白線候補点列と一定時間前の白線画像の白線候補点列とを合成し、その合成画像をハフ（Ｈｏｕｇｈ）変換することにより白線候補点の並びを近似する直線を求める。
【００３５】
まず、車両回転と合成画像のずれの問題について簡単に説明する。前述の図５（ｂ）に示した不連続の白線候補点列に対して、Ｔ０時間前の白線候補点列として図１１（ａ）に示すような車両回転のないもの（ヨーレート値の変化量＝０）が与えられた場合は、これら白線候補点列を重ねると図１１（ｂ）に示すように、ずれのない白線候補点列を得ることができる。この場合、候補点の数は２倍程度に増やすことができる。一方、図５（ｂ）に示した不連続の白線候補点列に対して、Ｔ０時間前の白線候補点列として図１２（ａ）に示すような車両回転のあるもの（ヨーレート値の変化量≠０）が与えられた場合は、これら白線候補点列を重ねると図１２（ｂ）の破線で囲まれた領域のような、白線候補点列に車両回転によるずれが生じる。このずれの問題は、詳しくは後で述べるが、白線候補点列を等距離間隔の距離分割線で区切り、各分割画像について路面距離に応じたずれを補正することで解消することができる。以下に述べるステップＳ２３〜Ｓ２６の処理では、そのような処理が用いられる。
【００３６】
ステップＳ２２にて車両回転有りと判定された場合は、続くステップＳ２３において、Ｔ０時間前の白線候補点列の画像（前回の処理で用いられた白線候補点列の画像でもよい。）を用意し、これを上述したステップＳ１６と同様な方法により、図１３（ａ）に示すように等距離間隔の距離分割線７１〜７３で区切る。続いて、ステップＳ２４において、それら分割画像について、路面距離と車両回転角速度とからずらし量を算出し、続くステップＳ２５において、その算出したずらし量に基づいて各分割画像をずらして再合成することで、図１３（ｂ）に示すような車両回転によるずれのない白線候補点列を得る。続いて、ステップＳ２６において、その再合成された白線候補点列と現在の画像における白線候補点列とを重ね合せて、これをハフ変換用画像とする。そして、このハフ変換用画像に対して、前述したステップＳ１６〜Ｓ２０の処理を行うことで、白線候補点列の並びを近似する直線を求め、これを白線データとする。
【００３７】
上記ステップＳ２２にて車両回転無しと判定された場合は、ステップＳ２３〜Ｓ２５の車両回転によるずれを補正するための処理は行わずにステップＳ２６へ移行し、一定時間前の画像の白線候補点列と現在の画像の白線候補点列とを重ね合せて、これをハフ変換用画像として、前述したステップＳ１６〜Ｓ２０の処理を行う。
【００３８】
次に、上述のステップＳ２３〜Ｓ２５の処理についてさらに具体的に説明する。ここでは、現在の白線画像とＴ０時間前の白線画像を重ねる場合に、両画像間に車両回転によるずれがどのように生じ、そのずれをどのように補正すれば良いかについて説明する。
【００３９】
図１４（ａ）、（ｂ）は、それぞれ車両回転の無い（ヨーレート値の変化量＝０）場合の、画像入力部１から入力された現在の白線画像とＴ０時間前の白線画像である。これら白線画像はほとんど一致することから、図１４（ｃ）に示すように、単純に重ね合せても画像に大きなずれは生じない。このことから分かるように、車両回転の無い場合は、車両が直進している状態の場合と同様、現在の白線画像とＴ０時間前の白線画像とを単純に重ね合せることができる。
【００４０】
一方、車両回転有り（ヨーレート値の変化量≠０）の場合は、上記の場合とは異なり、現在の白線画像とＴ０時間前の白線画像とを単純に重ね合せることはできない。一例として、「ヨーレート値の変化量＞０」の場合の白線画像の重ね合せ例を図１５に示す。図１５において、（ａ）は現在の白線画像、（ｂ）はＴ０時間前の白線画像、（ｃ）はそれら白線画像を重ね合せた画像を示す。図１５（ａ）、（ｂ）に示すように、現在の白線画像とＴ０時間前の白線画像との間には車両回転によりずれが発生する。そのため、これら白線画像を単純に重ね合せてしまうと、図１５（ｃ）に示すように、Ｔ０時間前の白線画像に対して現在の白線画像が車両進行方向に対して右方向に流れることとなり、座標のずれが生じる。この場合、座標のずれ量は車両からの距離が遠くなるほど大きくなる。
【００４１】
図１５（ｃ）の合成画像における座標のずれを無くすには、Ｔ０時間前の白線画像に対してその座標のずれ量に応じた補正を行う必要がある。しかし、上記のとおり、座標のずれ量は車両からの距離が遠くなるほど大きくなるため、例えば白線候補点画像を補正する場合は、各候補点について、車両からの距離に応じたずれ量を補正する必要があり、その場合、計算量が膨大なものとなって処理に時間がかかる。
【００４２】
そこで、図１６に示すように、合成画像を等距離間隔の距離分割線で分割したものを考える。この場合、各分割画像における座標のずれ量は、車両からの距離に応じて多少は変化するが、その変化量は少なくてすむ。したがって、Ｔ０時間前の白線画像に対しては、各分割画像毎に座標のずれ量を補正することができる。この手法によれば、補正計算量を大幅に少なくすることができ、処理時間も短くなる。
【００４３】
各分割画像における座標のずれ量としては、図１７に示すように、分割画像の中央における座標のずれ量を補正量の代表値を用いることが望ましい。また、Ｔ０時間前の白線画像を分割して補正する場合は、例えば図１８（ａ）に示すように、各分割画像の中央における座標のずれ量を補正量としてそれぞれの分割画像をスライドさせて補正する。このようにして分割補正したＴ０時間前の白線画像を現在の白線画像に重ね合せるた結果が図１８（ｂ）である。図１８（ｂ）から分かるように、Ｔ０時間前の白線画像と現在の白線画像はほぼ一致したものとなる。
【００４４】
以上のようにして、Ｔ０時間前の白線画像と現在の白線画像を重ね合せる処理を行うことにより、かすれた白線画像における有効候補点列をほぼ倍に増やすことができ、その後に行われるハフ変換による直線近似処理の確度を高めることができる。
【００４５】
以上の動作説明では、道路の左側にある連続した白線を抽出する場合を例にその手順を説明したが、道路の右側にある連続した白線についても同様の処理手順で抽出することができる。また、本実施形態では、かすれた白線についても抽出可能になっていることから、車線を区切る破線状の白線についても抽出可能である。この場合、例えば、高速道路などの１０ｍ間隔で引かれた破線状の白線（それぞれの破線の長さは１０ｍ）であれば、車速に応じて、「１０ｍ／（車両速度）」時間分だけ溯った過去の画像を現在の画像と重ね合せるようにすることで、連続した白線候補点列を得ることができ、白線の認識処理をより確実なものとすることができる。
【００４６】
（白線検出システム）
図１９は、本発明の白線検出方法が適用されたシステムの構成を示す模式図である。このシステムは、前方画像撮影用カメラ８０、画像認識処理・制御ユニット８１、電動パワーステアリングユニット（またはステアリング駆動アクチュエーター）８２からなる。
【００４７】
前方画像撮影用カメラ８０は、車両前方を撮影するように車内のフロント部分に取り付けられており、例えば前述の図３に示したような画像を撮影することができる。この前方画像撮影用カメラ８０にて撮影された画像は画像認識処理・制御ユニット８１に取り込まれる。
【００４８】
画像認識処理・制御ユニット８１は、例えば座席の下などに設置可能で、内部に図１に示したような白線認識処理部を備え、この白線認識処理部で検出された白線に基づいて車両の進行方向を制御したり、進行方向の制御を補助したりする。この画像認識処理・制御ユニット８１による制御は、制御信号を電動パワーステアリングユニット８２に送出することにより行われる。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、白線自体にかすれがあったり、白線画像が不鮮明な場合であっても、確実に白線を検出することができるので、白線の誤認識を防止することができ、従来のものより白線検出精度の高いものを提供することができる。
【図面の簡単な説明】
【図１】本発明の白線検出装置の一実施形態を示すブロック図である。
【図２】本発明の白線検出装置における白線検出手順の一例を示すフローチャート図である。
【図３】白線画像の一例を示す模式図である。
【図４】（ａ）はかすれのない白線画像の一例を示す模式図で、（ｂ）は（ａ）に示す白線画像から抽出された白線候補点列の一例を示す模式図である。
【図５】（ａ）はかすれのある白線画像の一例を示す模式図で、（ｂ）は（ａ）に示す白線画像から抽出された白線候補点列の一例を示す模式図である。
【図６】かすれ度合判定ウィンドウの一例を示す模式図である。
【図７】かすれ度合判定の一例を示す模式図である。
【図８】かすれ度合判定の一例を示す模式図である。
【図９】ハフ（Ｈｏｕｇｈ）変換を説明するための模式図である。
【図１０】白線候補点列の画像分割の一例を示す模式図である。
【図１１】（ａ）は車両回転のない場合の白線候補点列の一例を示す模式図、（ｂ）は（ａ）の白線候補点列と図４（ｂ）に示す白線候補点列とを重ね合せた画像を示す模式図である。
【図１２】（ａ）は車両回転のある場合の白線候補点列の一例を示す模式図、（ｂ）は（ａ）の白線候補点列と図５（ｂ）に示す白線候補点列とを重ね合せた画像を示す模式図である。
【図１３】（ａ）は白線候補点列の画像分割の一例を示す模式図、（ｂ）は（ａ）の各分割画像をずらして再合成した画像の一例を示す模式図である。
【図１４】（ａ）は車両回転の無い場合の現在の白線画像の一例を示す模式図、（ｂ）は車両回転の無い場合のＴ０時間前の白線画像の一例を示す模式図、（ｃ）は（ａ）と（ｂ）の各白線画像を重ね合せた画像を示す模式図である。
【図１５】（ａ）は現在の白線画像、（ｂ）はＴ０時間前の白線画像、（ｃ）は（ａ）と（ｂ）の白線画像を重ね合せた画像を示す模式図である。
【図１６】分割画像の一例を示す模式図である。
【図１７】分割画像の補正量の一例を示す模式図である。
【図１８】（ａ）は分割補正画像の一例を示す模式図、（ｂ）は（ａ）に示す分割補正画像を現在の白線画像に重ね合せた画像の一例を示す模式図である。
【図１９】本発明の白線検出方法が適用されたシステムの構成を示す模式図である。
【図２０】従来の白線検出方法を説明するための図で、（ａ）は近距離領域および遠距離領域の確定白線の模式図、（ｂ）は（ａ）の確定白線に基づくエッジ追跡領域を示す模式図である。
【符号の説明】
１ 画像入力部
２ 白線認識処理部
３ ヨーレート検出部
２１ 認識処理対象領域切り出し部
２２ 白線候補点抽出部
２３ かすれ度合判定部
２４ 車両回転判定部
２５ 白線抽出部
【発明の属する技術分野】
本発明は、車載カメラにより撮影された道路の白線画像から白線を検出する方法および装置に関する。
【０００２】
【従来の技術】
近年、車両の操作性、安全性を高めるために、車載カメラにより撮影された画像から道路の白線を検出し、その検出した白線に基づいて車両の進行方向を制御する、または進行方向の制御を補助するシステムが提案されている。このようなシステムでは、撮影された白線画像から白線をいかに正確に検出するかが重要な課題となっている。
【０００３】
白線検出精度の向上を図った装置の一例として、特開平９−７３５４５号公報には、走行レーン内の白線の認識精度の向上を図った白線認識装置が記載されている。この白線認識装置では、撮影された画像を近距離領域と遠距離領域の２つの領域に分割し、各領域で白線の検出が以下のようにして行われる。
【０００４】
まず、近距離領域において、画像中のエッジから白線を認識して確定する。続いて、その近距離領域で確定された白線に基づいて、遠距離領域上で、その延長線上の領域を含むエッジ追跡領域を設定する。そして、その設定されたエッジ追跡領域内でエッジを追跡し、エッジが不連続の場合には、これを飛び越えて先のエッジを追跡して白線を認識確定する。この白線認識によれば、撮影画像の遠距離領域における白線の認識で問題となる、前方車両、街路樹、建物などの影の影響による白線の誤認識を、エッジ追跡領域を設定することで排除することができる。
【０００５】
なお、遠距離領域におけるエッジ追跡領域の設定を、近距離領域で確定された白線ではなく、前回の処理で確定した遠距離領域の白線を用いて行うことができる。具体的には、図２０（ａ）に示す前回の処理で確定された遠距離領域の白線に基づいて、図２０（ｂ）に示すような、遠距離領域におけるエッジ追跡領域を設定する。これにより、白線認識精度をさらに向上させることができる。
【０００６】
上記の他、特許第２８５０６０７号に記載されているような、途切れた白線を正確に検出できるようにした白線認識装置もある。この白線認識装置では、前回の処理で得られた直線式に基づいて候補点を求めるとともにその候補点を基に直線近似することで白線の認識が行われる。
【０００７】
【発明が解決しようとする課題】
白線検出精度を低下させる原因の一つに、白線自体のかすれがある。白線自体がかすれていると、白線を正確に検出することができず、そのかすれの度合いによっては白線を誤認識してしまう場合がある。また、夜間走行時には得られる画像のコントラストが非常に低くなることから、白線画像が不鮮明なものとなり、この場合も白線自体がかすれている場合と同様、白線を誤認識する恐れがある。
【０００８】
特開平９−７３５４５号公報に記載のものにおいては、近距離領域において、画像中のエッジから白線を認識する際に、上記の白線自体のかすれや白線画像が不鮮明なことによる誤認識を生じる恐れがあり、そのため、白線検出精度が高いものとは言えなかった。
【０００９】
特許第２８５０６０７号に記載のものにおいては、前回の処理で得られた直線式に基づいて求められた候補点が白線自体のかすれなどにより不連続なものとなった場合には、やはり誤認識を生じる恐れがあり、上記の場合と同様、白線検出精度が高いものとは言えなかった。
【００１０】
また、最近の車載用の画像処理装置の開発は、処理能力の高いものを望む状況ではない。よって、白線認識処理ソフトについてもより処理の軽い手法を用いて、白線検出精度の高いものを提供することが望まれている。
【００１１】
本発明の目的は、白線自体のかすれや白線画像が不鮮明なことによる白線の誤認識を防止することができる、白線検出精度の高い、白線検出方法および白線検出装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明の白線検出方法は、車両前方を撮影して得られる道路の白線画像を微分処理して二値化した白線微分画像を生成し、該生成した白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線検出方法であって、前記白線画像にかすれがあるか否かを判定し、かすれがある場合は、現在の白線画像から生成した白線微分画像に一定時間前の白線画像から生成した白線微分画像を重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする。
【００１３】
上記の場合、白線画像にかすれがある場合に、さらに車両が回転運動をしたか否かを判定し、車両回転運動有りの場合は、現在の白線画像から生成した白線微分画像と、一定時間前の白線画像から生成した白線微分画像にその車両回転に相当する補正を施したものとを重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識するようにしてもよい。
【００１４】
また、上記の場合、上記車両回転に相当する補正が、一定時間前の白線微分画像を実際の路面上で等距離間隔となるような距離分割線で区切り、各分割画像毎に路面距離に応じた車両回転によるずれを補正することであってもよい。
【００１５】
本発明の白線検出装置は、車両前方を撮影する撮像手段と、前記撮像手段にて撮影された道路の白線画像を微分処理して二値化した白線微分画像を生成する白線候補点抽出手段と、前記白線画像にかすれがあるか否かを判定するかすれ判定手段と、前記白線候補点抽出手段にて生成された白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線抽出手段とを有し、前記白線抽出手段が、前記かすれ判定手段による判定結果がかすれ有りの場合に、現在の白線画像から生成した白線微分画像に一定時間前の白線画像から生成した白線微分画像を重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする。
【００１６】
上記の場合、車両の回転運動を検出する車両回転検出手段と、前記車両回転検出手段の検出結果に基づいて車両が回転運動をしたか否かを判定する車両回転判定手段とをさらに有し、前記白線抽出手段が、前記車両回転判定手段による判定結果が車両回転運動有りの場合に、現在の白線画像から生成した白線微分画像と、一定時間前の白線画像から生成した白線微分画像にその車両回転に相当する補正を施したものとを重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識するように構成してもよい。
【００１７】
（作用）
上記のとおりの本発明によれば、白線画像にかすれがある場合は、現在の白線画像から抽出された白線候補点列に一定時間前の白線画像から抽出された白線候補点列を重ね合せるようになっているため、この重ね合せにより白線候補点の数がほぼ二倍になるとともに、かすれた部分の一部（場合によっては全部）が白線候補点によって埋められることになり、ほぼ連続した白線候補点を得ることができる。したがって、その後に行われるハフ変換による直線近似処理の確度が高くなる。
【００１８】
また、本発明によれば、車両が回転運動した場合には、現在の白線画像から抽出された白線候補点列と、一定時間前の白線画像から抽出された白線候補点列にその車両回転に相当する補正を施したものとを重ね合せるようになっているため、両白線候補点列を重ねた際の車両回転による画像ずれはほとんど生じない。特に、一定時間前の白線候補点列の画像を実際の路面上で等距離間隔となるような距離分割線で区切り、各分割画像について路面距離に応じた車両回転による画像ずれを補正するものにおいては、各白線候補点毎に画像ずれの補正を行う必要がなくなるので、直線近似処理を行う際の計算量も大幅に低減されることになる。
【００１９】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して説明する。
【００２０】
図１は、本発明の白線検出装置の一実施形態を示すブロック図である。この白線検出装置は、画像入力部１、白線認識処理部２、ヨーレート検出部３からなる。画像入力部１はビデオカメラより構成され、ビデオカメラで撮影された車両前方の画像、すなわち道路の白線画像が白線認識処理部２へ入力される。ヨーレート検出部３は、車両重心を通る鉛直軸を回転軸としたときの車両の回転角速度（ヨーレート）を検出するものである。このヨーレート検出部３としては、ヨーレートセンサを用いてヨーレートを検出するもの、各車輪の回転速度の違いからヨーレートを割り出すもの、ステアリングの操舵量と車両速度からヨーレートを算出するものなど、種々の構成のものを用いることができる。
【００２１】
白線認識処理部２は、認識処理対象領域切り出し部２１、白線候補点抽出部２２、かすれ度合判定部２３、車両回転判定部２４、および白線抽出部２５から構成される。
【００２２】
認識処理対象領域切り出し部２１は、画像入力部１より入力される白線画像から白線抽出に必要な領域（認識処理対象領域）を切り出す。白線候補点抽出部２２は、その切り出された認識処理対象領域画像に対して周知のフィルタ処理を施してノイズ成分を除去し、さらに微分処理および二値化処理を施して白線候補点を抽出する。かすれ度合判定部２３は、その白線候補点が抽出された画像中に、かすれ度合判定を行うためのウインドウ（領域）を設定し、そのウインドウ内における白線候補点の密度、分散具合、連続する候補点列の大きさなどからかすれ度合を評価する。これらの評価項目がすべて一定基準値以上であれば、かすれていないと判定し、いずれか１つの項目でも一定基準値を下回った場合は、かすれていると判定する。車両回転判定部２４は、ヨーレート検出部３にて検出されるヨーレート値に基づいて車両が回転運動をしたかどうかを判定する。ヨーレート値の変化量が予め設定された基準値以下の場合は、ほぼ直進状態（車両回転無し）と判定し、基準値を超えた場合は、車両が回転した（車両回転有り）と判定する。白線抽出部２５は、ハフ（Ｈｏｕｇｈ）変換により、認識処理対象領域内の白線候補点の並びを近似する直線を求める。この白線抽出部２５における近似は、かすれ度合判定部２３および車両回転判定部２４の判定結果によってその処理が異なる。
【００２３】
（１）かすれ無し：
単純にハフ（Ｈｏｕｇｈ）変換により白線候補点の並びを近似する直線を求める。
【００２４】
（２）かすれ有り：
車両回転判定部２４の判定結果により、以下の（イ）、（ロ）のいずれかの処理を行う。
【００２５】
（イ）車両回転無し：
現画像における認識処理対象領域の白線候補点画像と、所定時間前の画像における認識処理対象領域の白線候補点画像とを重ね合せた画像をハフ変換用画像として、ハフ変換によりこの画像の白線候補点の並びを近似する直線を求める。
【００２６】
（ロ）車両回転有り：
現画像における認識処理対象領域の白線候補点画像と、所定時間前の画像における認識処理対象領域の白線候補点画像にヨーレート検出部３にて検出されたヨーレート値の変化量に相当する補正を施したものとを重ね合せた画像をハフ変換用画像として、ハフ変換によりこの画像の白線候補点の並びを近似する直線を求める。
【００２７】
次に、この白線検出装置における白線検出手順を図２を参照して詳細に説明する。
【００２８】
画像入力部１から白線画像が入力されると、まず、認識処理対象領域切り出し部２１によってその入力白線画像から認識処理対象領域が切り出される（ステップＳ１０）。ここでは、画像入力部１から図３に示すような白線３３を有する道路および水平線３２を含む白線画像が入力され、認識処理対象領域切り出し部２１にて、その白線画像から白線３３を概ね含む認識処理対象領域３１が切り出されることとし、以下、この認識処理対象領域３１を例に処理を説明する。
【００２９】
続いて、白線候補点抽出部２２にて、その切り出された認識処理対象領域３１の画像に対して、周知のノイズ除去フィルタ処理（ステップＳ１１）、微分処理（ステップＳ１２）、二値化処理（ステップＳ１３）が順次行われて白線候補点が抽出される。この白線候補点の抽出では、例えば図４（ａ）に示すようなかすれのない白線画像の場合は、図４（ｂ）に示すような連続した白線候補点列が得られる。一方、図５（ａ）に示すようなかすれた白線画像の場合は、図５（ｂ）に示すような不連続な白線候補点列が得られる。なお、図４（ｂ）および図５（ｂ）には、便宜上、進行方向左側にある白線に関する候補点のみを示してある。
【００３０】
続いて、かすれ度合判定部２３にて、その抽出された白線候補点列に基づいてかすれ度合の判定が行われる（ステップＳ１４、Ｓ１５）。このかすれ度合判定では、まず、図６に示すような、直進時の標準的な白線４１を含む画像（認識処理対象領域３１に相当する）中で、かすれ度合判定を行うためのウィンドウとして中距離かすれ度合判定ウィンドウ４２および近距離かすれ度合判定ウィンドウ４３の２つのウィンドウを設定し、これらウィンドウ４２、４３を上記ステップＳ１１〜Ｓ１３の処理により抽出された白線候補点列の画像に当てはめて、各ウィンドウ内における白線候補点の密度、分散具合、候補点列の大きさなどからかすれ度合を算出し（ステップＳ１４）、その算出結果に基づいてかすれが有るか否かの判定を行う（ステップＳ１５）。ここでは、白線候補点の密度を、ウィンドウ（４２、４３）内の画素数に対する、各候補点に対応する画素（有効画素）の数の比率とし、分散具合を、有効画素のｘ座標値の分散値とし、候補点列の大きさを、隣接している有効画素を連続しているものとみなしてその連続有効画素全体の画素数（面積）として、かすれ度合を算出する。ここで、有効画素のｘ座標値の分散値とは、候補点が抽出された画像において、画像の縦方向をｙ軸、横方向をｘ軸としたときの、ｘ軸に関する候補点の分散値を周知の方法により求めたものである。
【００３１】
上記のステップＳ１４、Ｓ１５におけるかすれ度合判定では、例えば図４（ｂ）に示した連続した白線候補点列が得られた画像の場合は、図７に示すように中距離かすれ度合判定ウィンドウ４２および近距離かすれ度合判定ウィンドウ４３が設定されてかすれ度合が算出され、結果、かすれ無しと判定される。また、図５（ｂ）に示した不連続の白線候補点列が得られた画像の場合は、図８に示すように中距離かすれ度合判定ウィンドウ４２および近距離かすれ度合判定ウィンドウ４３が設定されてかすれ度合が算出され、結果、かすれ有りと判定される。
【００３２】
上記ステップＳ１５の判定結果がかすれ無し（図７の例）の場合は、白線抽出部２５が以下のステップＳ１６〜Ｓ２０を行うことでハフ（Ｈｏｕｇｈ）変換により白線候補点の並びを近似する直線を求める。このハフ（Ｈｏｕｇｈ）変換では、具体的には、図９に示すように、ｘ、ｙ座標系において、原点から直線ｌに対して下ろした垂線とｘ軸とのなす角をθ、その垂線の長さをρとして、直線ｌをρ＝ｘｓｉｎθ＋ｙｃｏｓθで近似する。ここでは、図４（ｂ）に示した白線候補点画像を例に挙げてその処理を説明する。なお、以下の説明において、ハフ（Ｈｏｕｇｈ）変換を行う際の原点は、白線検出という目的から、画像の下辺中央に設定してある。
【００３３】
まず、ステップＳ１６において、図４（ｂ）に示した白線候補点列の画像を車両からの距離に応じて複数の帯状の領域に分割する。具体的には、図１０に示すように、連続した白線候補点列を実際の路面上で同じ長さ（例えば１０ｍ）となる複数の分割直線５１〜５６に分割する、等距離間隔の距離分割線６１〜６７で画像を区切る。続いて、ステップＳ１７において、距離分割線６１〜６６で区切られた領域ごとにハフ（Ｈｏｕｇｈ）変換を行い、続くステップＳ１８において、上位投票数の（ρ，θ）を直線として抽出する。続いて、ステップＳ１９において、上下の分割画像で検出された直線の交差点と距離分割線が最も近いものを白線として検出する。そして、ステップＳ２０において、各分割画像ごとに白線として検出された直線をつなぎ合せて曲線を近似し、これを白線データとする。なお、１つの分割画像で白線として１つの直線しか検出されなかった場合は、各分割画像で検出された直線を単につなぎ合せるだけでよい。
【００３４】
上記ステップＳ１５の判定結果がかすれ有り（図５（ａ）および図８の例）の場合は、続くステップＳ２１でヨーレート検出部３により回転角速度（ヨーレート）を検出し、続くステップＳ２２で車両回転判定部２４がその検出結果をもとに車両が回転したかどうかを判定する。そして、その判定結果に応じて白線抽出部２５が以下のステップＳ２３〜Ｓ２６を行うことで現在の白線画像の白線候補点列と一定時間前の白線画像の白線候補点列とを合成し、その合成画像をハフ（Ｈｏｕｇｈ）変換することにより白線候補点の並びを近似する直線を求める。
【００３５】
まず、車両回転と合成画像のずれの問題について簡単に説明する。前述の図５（ｂ）に示した不連続の白線候補点列に対して、Ｔ０時間前の白線候補点列として図１１（ａ）に示すような車両回転のないもの（ヨーレート値の変化量＝０）が与えられた場合は、これら白線候補点列を重ねると図１１（ｂ）に示すように、ずれのない白線候補点列を得ることができる。この場合、候補点の数は２倍程度に増やすことができる。一方、図５（ｂ）に示した不連続の白線候補点列に対して、Ｔ０時間前の白線候補点列として図１２（ａ）に示すような車両回転のあるもの（ヨーレート値の変化量≠０）が与えられた場合は、これら白線候補点列を重ねると図１２（ｂ）の破線で囲まれた領域のような、白線候補点列に車両回転によるずれが生じる。このずれの問題は、詳しくは後で述べるが、白線候補点列を等距離間隔の距離分割線で区切り、各分割画像について路面距離に応じたずれを補正することで解消することができる。以下に述べるステップＳ２３〜Ｓ２６の処理では、そのような処理が用いられる。
【００３６】
ステップＳ２２にて車両回転有りと判定された場合は、続くステップＳ２３において、Ｔ０時間前の白線候補点列の画像（前回の処理で用いられた白線候補点列の画像でもよい。）を用意し、これを上述したステップＳ１６と同様な方法により、図１３（ａ）に示すように等距離間隔の距離分割線７１〜７３で区切る。続いて、ステップＳ２４において、それら分割画像について、路面距離と車両回転角速度とからずらし量を算出し、続くステップＳ２５において、その算出したずらし量に基づいて各分割画像をずらして再合成することで、図１３（ｂ）に示すような車両回転によるずれのない白線候補点列を得る。続いて、ステップＳ２６において、その再合成された白線候補点列と現在の画像における白線候補点列とを重ね合せて、これをハフ変換用画像とする。そして、このハフ変換用画像に対して、前述したステップＳ１６〜Ｓ２０の処理を行うことで、白線候補点列の並びを近似する直線を求め、これを白線データとする。
【００３７】
上記ステップＳ２２にて車両回転無しと判定された場合は、ステップＳ２３〜Ｓ２５の車両回転によるずれを補正するための処理は行わずにステップＳ２６へ移行し、一定時間前の画像の白線候補点列と現在の画像の白線候補点列とを重ね合せて、これをハフ変換用画像として、前述したステップＳ１６〜Ｓ２０の処理を行う。
【００３８】
次に、上述のステップＳ２３〜Ｓ２５の処理についてさらに具体的に説明する。ここでは、現在の白線画像とＴ０時間前の白線画像を重ねる場合に、両画像間に車両回転によるずれがどのように生じ、そのずれをどのように補正すれば良いかについて説明する。
【００３９】
図１４（ａ）、（ｂ）は、それぞれ車両回転の無い（ヨーレート値の変化量＝０）場合の、画像入力部１から入力された現在の白線画像とＴ０時間前の白線画像である。これら白線画像はほとんど一致することから、図１４（ｃ）に示すように、単純に重ね合せても画像に大きなずれは生じない。このことから分かるように、車両回転の無い場合は、車両が直進している状態の場合と同様、現在の白線画像とＴ０時間前の白線画像とを単純に重ね合せることができる。
【００４０】
一方、車両回転有り（ヨーレート値の変化量≠０）の場合は、上記の場合とは異なり、現在の白線画像とＴ０時間前の白線画像とを単純に重ね合せることはできない。一例として、「ヨーレート値の変化量＞０」の場合の白線画像の重ね合せ例を図１５に示す。図１５において、（ａ）は現在の白線画像、（ｂ）はＴ０時間前の白線画像、（ｃ）はそれら白線画像を重ね合せた画像を示す。図１５（ａ）、（ｂ）に示すように、現在の白線画像とＴ０時間前の白線画像との間には車両回転によりずれが発生する。そのため、これら白線画像を単純に重ね合せてしまうと、図１５（ｃ）に示すように、Ｔ０時間前の白線画像に対して現在の白線画像が車両進行方向に対して右方向に流れることとなり、座標のずれが生じる。この場合、座標のずれ量は車両からの距離が遠くなるほど大きくなる。
【００４１】
図１５（ｃ）の合成画像における座標のずれを無くすには、Ｔ０時間前の白線画像に対してその座標のずれ量に応じた補正を行う必要がある。しかし、上記のとおり、座標のずれ量は車両からの距離が遠くなるほど大きくなるため、例えば白線候補点画像を補正する場合は、各候補点について、車両からの距離に応じたずれ量を補正する必要があり、その場合、計算量が膨大なものとなって処理に時間がかかる。
【００４２】
そこで、図１６に示すように、合成画像を等距離間隔の距離分割線で分割したものを考える。この場合、各分割画像における座標のずれ量は、車両からの距離に応じて多少は変化するが、その変化量は少なくてすむ。したがって、Ｔ０時間前の白線画像に対しては、各分割画像毎に座標のずれ量を補正することができる。この手法によれば、補正計算量を大幅に少なくすることができ、処理時間も短くなる。
【００４３】
各分割画像における座標のずれ量としては、図１７に示すように、分割画像の中央における座標のずれ量を補正量の代表値を用いることが望ましい。また、Ｔ０時間前の白線画像を分割して補正する場合は、例えば図１８（ａ）に示すように、各分割画像の中央における座標のずれ量を補正量としてそれぞれの分割画像をスライドさせて補正する。このようにして分割補正したＴ０時間前の白線画像を現在の白線画像に重ね合せるた結果が図１８（ｂ）である。図１８（ｂ）から分かるように、Ｔ０時間前の白線画像と現在の白線画像はほぼ一致したものとなる。
【００４４】
以上のようにして、Ｔ０時間前の白線画像と現在の白線画像を重ね合せる処理を行うことにより、かすれた白線画像における有効候補点列をほぼ倍に増やすことができ、その後に行われるハフ変換による直線近似処理の確度を高めることができる。
【００４５】
以上の動作説明では、道路の左側にある連続した白線を抽出する場合を例にその手順を説明したが、道路の右側にある連続した白線についても同様の処理手順で抽出することができる。また、本実施形態では、かすれた白線についても抽出可能になっていることから、車線を区切る破線状の白線についても抽出可能である。この場合、例えば、高速道路などの１０ｍ間隔で引かれた破線状の白線（それぞれの破線の長さは１０ｍ）であれば、車速に応じて、「１０ｍ／（車両速度）」時間分だけ溯った過去の画像を現在の画像と重ね合せるようにすることで、連続した白線候補点列を得ることができ、白線の認識処理をより確実なものとすることができる。
【００４６】
（白線検出システム）
図１９は、本発明の白線検出方法が適用されたシステムの構成を示す模式図である。このシステムは、前方画像撮影用カメラ８０、画像認識処理・制御ユニット８１、電動パワーステアリングユニット（またはステアリング駆動アクチュエーター）８２からなる。
【００４７】
前方画像撮影用カメラ８０は、車両前方を撮影するように車内のフロント部分に取り付けられており、例えば前述の図３に示したような画像を撮影することができる。この前方画像撮影用カメラ８０にて撮影された画像は画像認識処理・制御ユニット８１に取り込まれる。
【００４８】
画像認識処理・制御ユニット８１は、例えば座席の下などに設置可能で、内部に図１に示したような白線認識処理部を備え、この白線認識処理部で検出された白線に基づいて車両の進行方向を制御したり、進行方向の制御を補助したりする。この画像認識処理・制御ユニット８１による制御は、制御信号を電動パワーステアリングユニット８２に送出することにより行われる。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、白線自体にかすれがあったり、白線画像が不鮮明な場合であっても、確実に白線を検出することができるので、白線の誤認識を防止することができ、従来のものより白線検出精度の高いものを提供することができる。
【図面の簡単な説明】
【図１】本発明の白線検出装置の一実施形態を示すブロック図である。
【図２】本発明の白線検出装置における白線検出手順の一例を示すフローチャート図である。
【図３】白線画像の一例を示す模式図である。
【図４】（ａ）はかすれのない白線画像の一例を示す模式図で、（ｂ）は（ａ）に示す白線画像から抽出された白線候補点列の一例を示す模式図である。
【図５】（ａ）はかすれのある白線画像の一例を示す模式図で、（ｂ）は（ａ）に示す白線画像から抽出された白線候補点列の一例を示す模式図である。
【図６】かすれ度合判定ウィンドウの一例を示す模式図である。
【図７】かすれ度合判定の一例を示す模式図である。
【図８】かすれ度合判定の一例を示す模式図である。
【図９】ハフ（Ｈｏｕｇｈ）変換を説明するための模式図である。
【図１０】白線候補点列の画像分割の一例を示す模式図である。
【図１１】（ａ）は車両回転のない場合の白線候補点列の一例を示す模式図、（ｂ）は（ａ）の白線候補点列と図４（ｂ）に示す白線候補点列とを重ね合せた画像を示す模式図である。
【図１２】（ａ）は車両回転のある場合の白線候補点列の一例を示す模式図、（ｂ）は（ａ）の白線候補点列と図５（ｂ）に示す白線候補点列とを重ね合せた画像を示す模式図である。
【図１３】（ａ）は白線候補点列の画像分割の一例を示す模式図、（ｂ）は（ａ）の各分割画像をずらして再合成した画像の一例を示す模式図である。
【図１４】（ａ）は車両回転の無い場合の現在の白線画像の一例を示す模式図、（ｂ）は車両回転の無い場合のＴ０時間前の白線画像の一例を示す模式図、（ｃ）は（ａ）と（ｂ）の各白線画像を重ね合せた画像を示す模式図である。
【図１５】（ａ）は現在の白線画像、（ｂ）はＴ０時間前の白線画像、（ｃ）は（ａ）と（ｂ）の白線画像を重ね合せた画像を示す模式図である。
【図１６】分割画像の一例を示す模式図である。
【図１７】分割画像の補正量の一例を示す模式図である。
【図１８】（ａ）は分割補正画像の一例を示す模式図、（ｂ）は（ａ）に示す分割補正画像を現在の白線画像に重ね合せた画像の一例を示す模式図である。
【図１９】本発明の白線検出方法が適用されたシステムの構成を示す模式図である。
【図２０】従来の白線検出方法を説明するための図で、（ａ）は近距離領域および遠距離領域の確定白線の模式図、（ｂ）は（ａ）の確定白線に基づくエッジ追跡領域を示す模式図である。
【符号の説明】
１ 画像入力部
２ 白線認識処理部
３ ヨーレート検出部
２１ 認識処理対象領域切り出し部
２２ 白線候補点抽出部
２３ かすれ度合判定部
２４ 車両回転判定部
２５ 白線抽出部
Claims (9)
- 車両前方を撮影して得られる道路の白線画像を微分処理して二値化した白線微分画像を生成し、該生成した白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線検出方法であって、
前記白線画像にかすれがあるか否かを判定し、かすれがある場合は、現在の白線画像から生成した白線微分画像に一定時間前の白線画像から生成した白線微分画像を重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線検出方法。 - 請求項１に記載の白線検出方法において、
白線画像中に所定のウインドウを設定し、該ウインドウ内における白線候補点の密度からかすれ度合を算出し、該かすれ度合が一定基準値以上の場合をかすれ無しとし、一定基準値を下回った場合をかすれ有りとして、前記白線画像のかすれ判定を行うことを特徴とする白線検出方法。 - 請求項１に記載の白線検出方法において、
前記白線画像にかすれがある場合に、さらに車両が回転運動をしたか否かを判定し、車両回転運動有りの場合は、現在の白線画像から生成した白線微分画像と、一定時間前の白線画像から生成した白線微分画像にその車両回転に相当する補正を施したものとを重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする白線検出方法。 - 請求項３に記載の白線検出方法において、
前記車両回転運動の有無の判定を、車両回転運動を表わすヨーレート値の変化量が一定基準値以下の場合を車両回転無しとし、一定基準値を上回った場合を車両回転有りとして行うことを特徴とする白線検出方法。 - 請求項３に記載の白線検出方法において、
前記車両回転に相当する補正が、一定時間前の白線微分画像を実際の路面上で等距離間隔となるような距離分割線で区切り、各分割画像毎に路面距離に応じた車両回転によるずれを補正することであることを特徴とする白線検出方法。 - 車両前方を撮影する撮像手段と、
前記撮像手段にて撮影された道路の白線画像を微分処理して二値化した白線微分画像を生成する白線候補点抽出手段と、
前記白線画像にかすれがあるか否かを判定するかすれ判定手段と、
前記白線候補点抽出手段にて生成された白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識する白線抽出手段とを有し、
前記白線抽出手段が、前記かすれ判定手段による判定結果がかすれ有りの場合に、現在の白線画像から生成した白線微分画像に一定時間前の白線画像から生成した白線微分画像を重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする白線検出装置。 - 請求項６に記載の白線検出装置において、
前記かすれ判定手段が、白線画像中に所定のウインドウを設定し、該ウインドウ内における白線候補点の密度からかすれ度合を算出し、該かすれ度合が一定基準値以上の場合はかすれ無しと判定し、一定基準値を下回った場合はかすれ有りと判定することを特徴とする白線検出装置。 - 請求項６に記載の白線検出装置において、
車両の回転運動を検出する車両回転検出手段と、
前記車両回転検出手段の検出結果に基づいて車両が回転運動をしたか否かを判定する車両回転判定手段とをさらに有し、
前記白線抽出手段が、前記車両回転判定手段による判定結果が車両回転運動有りの場合に、現在の白線画像から生成した白線微分画像と、一定時間前の白線画像から生成した白線微分画像にその車両回転に相当する補正を施したものとを重ね合せ、該重ね合せた白線微分画像上の白線の候補点列を近似する直線を求めてこれを白線として認識することを特徴とする白線検出装置。 - 請求項８に記載の白線検出装置において、
前記車両回転検出手段が、車両回転運動を表わすヨーレートを検出する手段であり、
前記車両回転判定手段が、前記ヨーレート値の変化量が一定基準値以下の場合は車両回転無しと判定し、一定基準値を上回った場合は車両回転有りと判定することを特徴とする白線検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000044533A JP3584194B2 (ja) | 2000-02-22 | 2000-02-22 | 白線検出方法および白線検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000044533A JP3584194B2 (ja) | 2000-02-22 | 2000-02-22 | 白線検出方法および白線検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001236506A JP2001236506A (ja) | 2001-08-31 |
| JP3584194B2 true JP3584194B2 (ja) | 2004-11-04 |
Family
ID=18567272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000044533A Expired - Fee Related JP3584194B2 (ja) | 2000-02-22 | 2000-02-22 | 白線検出方法および白線検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3584194B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12067789B2 (en) | 2020-12-28 | 2024-08-20 | Honda Motor Co., Ltd. | Vehicle control system and delimiting line estimating method |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3722487B1 (ja) | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
| JP3722485B1 (ja) | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
| JP3722486B1 (ja) | 2004-05-19 | 2005-11-30 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
| JP3898709B2 (ja) * | 2004-05-19 | 2007-03-28 | 本田技研工業株式会社 | 車両用走行区分線認識装置 |
| JP4756316B2 (ja) * | 2005-03-11 | 2011-08-24 | アイシン精機株式会社 | 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法 |
| JP4637618B2 (ja) | 2005-03-18 | 2011-02-23 | 株式会社ホンダエレシス | 車線認識装置 |
| US7415134B2 (en) | 2005-05-17 | 2008-08-19 | Honda Motor Co., Ltd. | Traffic lane marking line recognition system for vehicle |
| JP4774807B2 (ja) * | 2005-05-26 | 2011-09-14 | アイシン・エィ・ダブリュ株式会社 | 画像修正装置、地物認識装置及び地物認識方法 |
| JP4614826B2 (ja) * | 2005-06-14 | 2011-01-19 | トヨタ自動車株式会社 | 道路区画線検出装置 |
| WO2007129582A1 (ja) * | 2006-05-09 | 2007-11-15 | Nissan Motor Co., Ltd. | 車両周辺画像提供装置及び車両周辺画像提供方法 |
| JP2007102798A (ja) * | 2006-10-11 | 2007-04-19 | Denso Corp | 車両周辺監視システム |
| JP4697480B2 (ja) * | 2008-01-11 | 2011-06-08 | 日本電気株式会社 | 車線認識装置、車線認識方法および車線認識プログラム |
| JP4871909B2 (ja) * | 2008-04-25 | 2012-02-08 | 日立オートモティブシステムズ株式会社 | 物体認識装置、および物体認識方法 |
| JP4622001B2 (ja) * | 2008-05-27 | 2011-02-02 | トヨタ自動車株式会社 | 道路区画線検出装置および道路区画線検出方法 |
| JP4962581B2 (ja) | 2010-03-03 | 2012-06-27 | 株式会社デンソー | 区画線検出装置 |
| JP5220787B2 (ja) | 2010-03-08 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | 車載白線認識装置 |
| JP5469509B2 (ja) * | 2010-03-31 | 2014-04-16 | パナソニック株式会社 | 車線位置検出装置および車線位置検出方法 |
| WO2014104183A1 (ja) | 2012-12-26 | 2014-07-03 | 株式会社日本自動車部品総合研究所 | 境界線認識装置及び分岐路判定装置 |
| JP5805619B2 (ja) * | 2012-12-26 | 2015-11-04 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
| JP6241172B2 (ja) * | 2013-09-25 | 2017-12-06 | 日産自動車株式会社 | 自車位置推定装置及び自車位置推定方法 |
| JP6368651B2 (ja) * | 2015-01-06 | 2018-08-01 | 株式会社日立製作所 | 走行環境認識システム |
| CA3018661C (en) | 2016-03-24 | 2020-06-09 | Nissan Motor Co., Ltd. | Travel lane detection method and travel lane detection device |
| BR112020000272B1 (pt) * | 2017-07-07 | 2023-03-21 | Nissan Motor Co., Ltd | Método de assistência a estacionamento e dispositivo de assistência a estacionamento |
| JP6653361B2 (ja) * | 2018-07-30 | 2020-02-26 | エヌ・ティ・ティ・コムウェア株式会社 | 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム |
| JP7127436B2 (ja) * | 2018-08-31 | 2022-08-30 | 株式会社デンソー | 地図生成装置及び地図生成プログラム |
| JP6698191B1 (ja) * | 2019-03-27 | 2020-05-27 | エヌ・ティ・ティ・コムウェア株式会社 | 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム |
| JP7559934B2 (ja) | 2021-03-30 | 2024-10-02 | 日本電気株式会社 | 画像処理装置、画像処理方法、プログラム |
-
2000
- 2000-02-22 JP JP2000044533A patent/JP3584194B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12067789B2 (en) | 2020-12-28 | 2024-08-20 | Honda Motor Co., Ltd. | Vehicle control system and delimiting line estimating method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001236506A (ja) | 2001-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3584194B2 (ja) | 白線検出方法および白線検出装置 | |
| JP3925488B2 (ja) | 車両用画像処理装置 | |
| EP2422320B1 (en) | Object detection device | |
| US9235767B2 (en) | Detection region modification for driving assistance apparatus and driving assistance method | |
| US7447578B2 (en) | Steering control apparatus and method for automotive vehicle | |
| EP2103500B1 (en) | Vehicle and steering control device for vehicle | |
| JP3630100B2 (ja) | 車線検出装置 | |
| US7190282B2 (en) | Nose-view monitoring apparatus | |
| JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
| WO2014129312A1 (ja) | 車線境界線逸脱抑制装置 | |
| KR101611194B1 (ko) | 차량 주변 이미지 생성 장치 및 방법 | |
| CN106428209A (zh) | 转向辅助装置 | |
| JP4319928B2 (ja) | 車両状態検知システムおよび車両状態検知方法 | |
| WO2014203791A1 (en) | Departure prevention support apparatus | |
| JP2005038407A (ja) | 車両用外界認識装置 | |
| US10108866B2 (en) | Method and system for robust curb and bump detection from front or rear monocular cameras | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| WO2014034187A1 (ja) | レーンマーク認識装置 | |
| JP3293441B2 (ja) | 撮像装置 | |
| JP3868915B2 (ja) | 前方監視装置及びその方法 | |
| JPH0789443A (ja) | 車両用自動操縦装置 | |
| JP2007299045A (ja) | 車線認識装置 | |
| JP3365168B2 (ja) | 後方白線認識装置 | |
| JP3296208B2 (ja) | カーブ曲率推定装置 | |
| JPH1172337A (ja) | 走行レーン認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040802 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100806 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110806 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110806 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |