JP3760426B2 - 走行車線検出方法及びその装置 - Google Patents
走行車線検出方法及びその装置 Download PDFInfo
- Publication number
- JP3760426B2 JP3760426B2 JP24529297A JP24529297A JP3760426B2 JP 3760426 B2 JP3760426 B2 JP 3760426B2 JP 24529297 A JP24529297 A JP 24529297A JP 24529297 A JP24529297 A JP 24529297A JP 3760426 B2 JP3760426 B2 JP 3760426B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- lane
- detected
- edge
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は走行車線検出方法及びその装置に関し、特に走行中の自車両の左右両側にある車線を検出する場合に適用し得る。
【０００２】
【従来の技術】
従来、自車両の両側にある車線を検出し、検出した車線に対して自車両がどのような位置を走行しているかを検出することで、例えば車両の蛇行量や車線からのはみ出しを検出するような車両走行監視装置が提案されている。そして蛇行走行や車線からのはみ出しが検出された場合に運転者に警報を与えることで、運転者に安全走行を喚起する。
【０００３】
このとき走行車線を正しく検出することが重要となる。従来、道路の車線を検出する方法として数多くの提案がされている。例えば図６に示すようなビデオカメラで得た画像の特定領域についてエッジ点Ｐを探すことにより図７に示すようなエッジ点画像を得、次に抽出したエッジ点群をＨｏｕｇｈ変換することにより図８に示すような直線を求めて目的の車線を検出するようになっている（特開昭６３−１４２４７８号参照）。
【０００４】
【発明が解決しようとする課題】
しかしながら上述した従来の車線検出方法では、抽出された多数のエッジ点をＨｏｕｇｈ変換するので、車線検出までに時間がかかってしまう欠点があった。またＨｏｕｇｈ変換によって抽出される直線は目的の車線だけでなく、路面の影などによる直線（以下、これを背景雑音と呼ぶ）も含むものとなるため、車線とは異なる直線を車線として検出してしまうおそれがある。
【０００５】
本発明は以上の点を考慮してなされたもので、比較的少ない計算量で車線を的確に検出し得る走行車線検出方法及びその装置を提案しようとするものである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するため本発明により成された請求項１に記載の走行車線検出方法は、走行している自車両から後側景を撮像し、ある時点の撮像画像のエッジ点を抽出し、ある時点の撮像画像において、ある時点の撮像画像に対し所定時間前に撮像した画像を用いて検出した無限遠点（ＦＯＥ）を通る仮想的な２つの直線に挟まれた領域を設定すると共に、当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数を算出し、複数の設定領域の中からエッジ点の個数が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲として選択し、選択された各候補範囲毎に候補範囲内に存在するエッジ点を結ぶ直線を求めることにより車線を検出するようにした。
【０００７】
また本発明により成された請求項５に記載の走行車線検出装置は、図１に示すように、走行している自車両の後側景を撮像する撮像手段２と、撮像手段２により得られた画像を記憶する画像記憶手段４と、ある時点の撮像画像Ｓ１中のエッジ点を抽出するエッジ点抽出手段３と、ある時点の撮像画像Ｓ２において、無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数を算出するエッジ点個数算出手段６と、複数の設定領域の中からエッジ点の個数が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲として選択する候補範囲選択手段７と、選択された各候補範囲毎に候補範囲内に存在するエッジ点を結ぶ直線を求めることにより車線を検出する直線化手段８とを備えるようにした。
【０００８】
以上の構成において、候補範囲選択手段７により選択される候補範囲は車線のような無限遠点ＦＯＥから放射状に連続したエッジ点が存在する設定領域に限られるので、その他のエッジ点はこの時点で有効に処理対象から削除される。従ってこの候補範囲内のエッジ点のみで直線を作成し、それを検出車線とすることにより、比較的少ない計算量で車線を的確に検出できるようになる。
【０００９】
また本発明により成された請求項２に記載の走行車線検出方法は、請求項１の方法により前記ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、ある時点と時間的に異なる時点の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、当該角度の差が所定の範囲内にあるとき車線が正しく検出されたと判断するようにした。
【００１０】
また本発明により成された請求項６に記載の走行車線検出装置は、図１に示すように、エッジ点抽出手段３はある時点の撮像画像Ｓ２中のエッジ点を抽出し、エッジ点個数算出手段６はある時点のエッジ点抽出画像Ｓ３について、無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数Ｓ４を算出し、候補範囲選択手段７はある時点のエッジ点抽出画像Ｓ３について、複数の設定領域の中からエッジ点の個数Ｓ４が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲Ｓ５として選択し、直線化手段８はある時点のエッジ点抽出画像Ｓ３について、選択された各候補範囲毎Ｓ５に候補範囲内に存在するエッジ点を結ぶ直線Ｓ６を求めることにより車線を検出し、走行車線検出装置１は、さらに、ある時点の撮像画像Ｓ２に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ｂとある時点よりも過去の撮像画像Ｓ２に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ａとの差を求め、当該角度の差が所定の範囲内にあるとき車線が正しく検出されたと判断する妥当性判断手段１０を備えるようにした。
【００１１】
以上の構成において、無限遠点ＦＯＥから放射状に連続したエッジ点として、車線以外に路面に映った影や汚れ等が存在した場合に、妥当性判断手段１０がこれらの背景雑音によるエッジ点と車線によるエッジ点とを有効に識別して検出車線の妥当性を判断するので、車線検出の信頼性を向上させることができるようになる。
【００１２】
また本発明により成された請求項３に記載の走行車線検出方法は、請求項１において、ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき車線が正しく検出されたと判断するようにした。
【００１３】
また本発明により成された請求項７に記載の走行車線検出装置は、図１に示すように、請求項５の構成に加えて、直線化手段８に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ｂが第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき車線が正しく検出されたと判断する妥当性判断手段１１を備えるようにした。
【００１４】
以上の構成において、無限遠点ＦＯＥから放射状に連続したエッジ点として、車線以外に路面に映った影や汚れ等が存在した場合に、妥当性判断手段１１がこれらの背景雑音によるエッジ点と車線によるエッジ点とを有効に識別して検出車線の妥当性を判断するので、車線検出の信頼性を向上させることができるようになる。
【００１５】
また本発明により成された請求項４に記載の走行車線検出方法は、請求項１の方法によりある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、前記ある時点と時間的に異なる時点の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、当該角度の差が所定の範囲内にあり、かつある時点の撮像画像に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき、車線が正しく検出されたと判断するようにした。
【００１６】
さらに本発明により成された請求項８に記載の走行車線検出装置は、図１に示すように、エッジ点抽出手段３はある時点の撮像画像Ｓ２中のエッジ点を抽出し、エッジ点個数算出手段６はある時点のエッジ点抽出画像Ｓ３について、無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数Ｓ４を算出し、候補範囲選択手段７はある時点のエッジ点抽出画像Ｓ３について、複数の設定領域の中からエッジ点の個数Ｓ４が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲Ｓ５として選択し、直線化手段８はある時点のエッジ点抽出画像Ｓ３について、選択された各候補範囲Ｓ５毎に候補範囲内に存在するエッジ点を結ぶ直線Ｓ６を求めることにより車線を検出し、走行車線検出装置１は、さらに、ある時点の撮像画像Ｓ２に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ｂとある時点よりも過去の撮像画像Ｓ２に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ａとの差を求め、当該角度の差が所定の範囲内にあるとき車線が正しく検出されたと判断する第１の妥当性判断手段１０と、直線化手段８に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ｂが第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき車線が正しく検出されたと判断する第２の妥当性判断手段１１とを備え、第１及び第２の妥当性判断手段１０、１１により共に車線が正しく検出されたことを表す判断結果が得られたとき車線が正しく検出されたと判断するようにした。
【００１７】
以上の構成において、無限遠点ＦＯＥから放射状に連続したエッジ点として、車線以外に路面に映った影や汚れ等が存在した場合に、第１及び第２の妥当性判断手段１０、１１によりこれらの背景雑音によるエッジ点と車線によるエッジ点とを一段と的確に識別できるようになるので、車線検出の信頼性をさらに一段と向上させることができるようになる。
【００１８】
【発明の実施の形態】
以下、図面に基づき本発明の一実施形態を説明する。
【００１９】
図１において、１は全体として走行車線検出装置を示し、自車両後方に後ろ向きに取り付けられたビデオカメラ２により撮像された撮像信号Ｓ１が一旦フレームメモリ４に格納された後、撮像画像信号Ｓ２としてエッジ点抽出回路３に出力される。
【００２０】
エッジ点抽出回路３は例えば微分回路でなり、撮像画像信号Ｓ２に基づくある時点のフレーム画像についてエッジ点を抽出し、これにより得られたエッジ点画像信号Ｓ３をエッジ点個数算出回路６に送出する。
【００２１】
またエッジ点個数算出回路６は、エッジ点画像信号Ｓ３と、後述する無限遠点（ＦＯＥ（Focus Of Expansion））検出回路５により検出された無限遠点座標情報Ｓ１０とを用いて、ある設定領域内のエッジ点の個数を算出する。ここで無限遠点とは、撮像画像の各点が全体として収束するような点である。
【００２２】
実際上、エッジ点個数算出回路６は、エッジ点画像について、無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に、当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数を算出する。
【００２３】
具体的に説明すると、先ず図２に示すように、エッジ点画像内で所定の探索範囲ＡＲ１を定める。因みに、図２におけるＨ１及びＨ２は自車が走行している走行レーンの左右の白線である。なおこの図では白線Ｈ１、Ｈ２以外のエッジは示していないが実際には白線Ｈ１、Ｈ２のエッジ点以外にも路面に移った影や路面の汚れ等の多数のエッジ点が存在する。
【００２４】
次にエッジ点個数算出回路６は、図３に示すように、無限遠点ＦＯＥを通る仮想的な２つの直線に挟まれた領域ＡＲ２を設定する。この実施形態の場合、この２つの直線の頂角を２［°］として領域ＡＲ２を設定するようになっている。そしてエッジ点個数算出回路６は、この設定領域ＡＲ２を無限遠点ＦＯＥを中心として所定角度ずつ回転させ、各回転状態で探索範囲ＡＲ１内でかつ設定領域ＡＲ２内に存在するエッジ点の個数を算出する。この実施形態の場合、設定領域ＡＲ２を１［°］ずつ回転させるようになされている。
【００２５】
このとき図３からも明らかなように、エッジ点数が最も多くなるのは無限遠点ＦＯＥから放射状に連続したエッジが存在する場合であり、設定領域ＡＲ２が白線Ｈ１や白線Ｈ２を含む位置に回転したときに他ならない。これに対して、無限遠点ＦＯＥから放射状に連続しないようなエッジ点は、エッジ点個数算出回路６の各回転角度での算出結果にはあまり影響を与えない。
【００２６】
候補範囲選択回路７はエッジ点個数算出回路６からの各設定領域ＡＲ２のエッジ点個数情報Ｓ４を受け、各回転角度の複数の設定領域ＡＲ２をエッジ点数の多かった順に並べ、上位の設定領域ＡＲ２を車線を検出するための候補範囲として選択する。これはエッジ点の個数が所定の閾値よりも多かった設定領域ＡＲ２を車線を検出するための候補範囲として選択することに相当する。
【００２７】
直線化回路８は候補範囲選択回路７からの候補範囲選択情報Ｓ５を受け、候補範囲として選択された設定領域ＡＲ２毎に、各設定領域ＡＲ２内のエッジ点群から最小二乗法によって直線を求める。
【００２８】
この結果走行車線検出装置１においては、無限遠点ＦＯＥを通る仮想的な２つの直線に挟まれた領域ＡＲ２を設定すると共に、当該設定領域ＡＲ２を無限遠点ＦＯＥを中心として所定角度ずつ回転させたときの各設定領域ＡＲ２内に存在するエッジ点の個数を算出し、複数の設定領域ＡＲ２の中からエッジ点の個数が所定の閾値よりも多かった設定領域ＡＲ２を車線を検出するための候補範囲として選択し、選択された各候補範囲ＡＲ２毎に候補範囲ＡＲ２内に存在するエッジ点を結ぶ直線を求めることで車線を検出するようにしたことにより、比較的少ない計算量で車線を的確に検出できる。
【００２９】
このようにして直線化回路８によって求められたエッジ点画像Ｓ３についての直線情報（候補車線情報）Ｓ６は角度算出回路９に送出される。角度算出回路９は直線情報Ｓ６により表される直線間のなす角度を求める。
【００３０】
ここで走行車線検出装置１は、上述したようなエッジ点抽出処理、エッジ点個数算出処理、候補範囲選択処理、直線化処理及び角度算出処理を、所定の計測インターバル毎に行うようになされている。この実施形態の場合、１秒のインターバル毎（すなわち３０フレーム間隔の撮像画像毎）に行う。
【００３１】
この結果、直線化回路８からは現時点の撮像画像に基づいて検出した車線候補情報と、既に１つ前の計測インターバルで検出した車線候補情報が順次出力され、角度算出回路９は現時点の撮像画像に基づいて検出された２つの候補検出車線のなす角度、及び１つ前の計測計測インターバルで検出した２つの候補検出車線のなす角度をそれぞれ求める。すなわち図４（Ａ）に示すように過去の撮像画像に基づいて検出された２つの検出車線Ｌ１Ａ、Ｌ１Ｂのなす角度θt-1を求めると共に、現時点の撮像画像に基づいて検出された２つの検出車線Ｌ２Ａ、Ｌ２Ｂのなす角度θtを求める。
【００３２】
因みに、図４（Ｂ）における現時点の撮像画像からは、２つの検出車線Ｌ２Ａ、Ｌ２Ｂに加えて、無限遠点ＦＯＥから放射状に並んだ路面上の影や汚れ等でなる雑音エッジ２０も検出車線Ｌ２Ｃとして検出される。そのため角度算出回路９は検出車線Ｌ２Ａと検出車線Ｌ２Ｃのなす角度θt′も算出する。
【００３３】
ここで角度算出回路９により求められた現時点の撮像画像に関する角度情報Ｓ７Ｂ（すなわち角度θt及びθt′）と、過去の撮像画像に関する角度情報Ｓ７Ａ（すなわち角度θt-1）は第１の妥当性判断回路１０に送出される。
【００３４】
また角度算出回路９により求められた現時点の撮像画像に関する角度情報Ｓ７Ｂ（すなわち角度θt及びθt′）は、第２の妥当性判断回路１１に送出される。
【００３５】
第１の妥当性判断回路１０は、角度θt-1と角度θtの差（θt-1−θt）、角度θt-1と角度θt′の差（θt-1−θt′）が所定の範囲内にあるとき車線が正しく検出されたと判断する。すなわち直線化回路８で検出された車線が実際の車線であれば、ある程度時間が経過しても検出された車線のなす角度はそれ程変化しないはずであり、大きく変化するものであればそれは車線以外の直線が検出されたと判断してよいことになる。
【００３６】
因みに、図４からも明らかなように、角度θt-1と角度θtの差（θt-1−θt）は所定の範囲内に収まるのでこれらの角度を形成する検出車線Ｌ１Ａ、Ｌ１Ｂ、Ｌ２Ａ、Ｌ２Ｂは正しい検出車線であると判断され、角度θt-1と角度θt′の差（θt-1−θt′）は所定の範囲内に収まらないので検出車線Ｌ２Ｃは誤って検出された雑音エッジであると判断される。
【００３７】
この結果、このような第１の妥当性判断処理を行うことにより、車線検出の信頼性を向上させることができる。
【００３８】
第２の妥当性判断回路１１は角度θt及び角度θt′それぞれが、第１の閾値θ1よりも大きくかつ第２の閾値θ2よりも小さいか否かを判断する。すなわちθ1＜θt＜θ2か否かの判断処理を行うと共に、θ1＜θt′＜θ2か否かの判断処理を行う。なお第１の閾値θ1及び第２の閾値θ2は画像上で車線が撮像された場合に取り得る角度であり、ビデオカメラ２の画角や取付角度等から定まる値である。図４（Ｂ）の例では、角度θt′はθ1＜θt′＜θ2を満たさないので検出車線Ｌ２Ｃは誤って検出された雑音エッジであると判断される。
【００３９】
この結果、このような第２の妥当性判断処理を行うことにより、車線検出の信頼性を一段と向上させることができる。
【００４０】
ＦＯＥ検出回路５は、直線化回路８により形成された候補車線情報Ｓ６を入力すると共に、第１の妥当性判断回路１０から出力される判断結果信号Ｓ８及び第２の妥当性判断回路１１から出力される判断結果信号Ｓ９を入力し、候補車線のうち第１及び第２の妥当性判断回路１０、１１によって正しい車線であると判断された左右２本の車線の交点を無限遠点として求める。これにより、少ない計算量で容易に無限遠点を求める求めることができる。
【００４１】
従って、エッジ点個数算出回路６で用いられる無限遠点は、ある時点ｔよりも前の時点ｔ−１で撮像した画像から検出した車線を使って求められたものとなる。すなわち、ある時点ｔの撮像画像中で使用する無限遠点は、ｔ−１の時点で求めたものとなる。なお一番最初の無限遠点は、従来の一般的な方法と同様に２コマの撮像画像を用い、各点が時間と共に収束する点を求めることで検出すればよく、２回目以降は、１つ前の無限遠点を使いながら上述したような方法で車線を検出していく。
【００４２】
以上の構成において、走行車線検出装置１は、図５に示すような動作を行うことにより、比較的少ない計算量で走行車線を的確に検出する。すなわち先ずステップＳＰ１においてビデオカメラ２によって道路走行画像Ｓt（ここでＳtは時点ｔにおける道路走行画像を表す）を取得し、続くステップＳＰ２においてエッジ点抽出回路３によってこの道路走行画像Ｓtのエッジ点を抽出する。
【００４３】
次にステップＳＰ３において、エッジ点個数算出回路６が、ＦＯＥ検出回路５によって検出された時点ｔ−１での無限遠点ＦＯＥ（Ｓt-1）を用いて、この無限遠点ＦＯＥ（Ｓt-1）を通る仮想的な２つの直線に挟まれた領域ＡＲ２を設定すると共に、当該設定領域ＡＲ２を無限遠点ＦＯＥ（Ｓt-1）を中心として所定角度ずつ回転させたときの各設定領域ＡＲ２内に存在するエッジ点の個数を算出する。
【００４４】
次にステップＳＰ４において、候補範囲選択回路７によってエッジ点の個数が所定の閾値よりも多かった設定領域ＡＲ２を車線を検出するための候補範囲として選択し、続くステップＳＰ５において直線化回路８によって候補範囲として選択された設定領域ＡＲ２毎に各設定領域ＡＲ２内のエッジ点群から最小二乗法によって直線を求める。
【００４５】
次にステップＳＰ６において、第１及び第２の妥当性判断回路１０及び１１によって検出した車線の妥当性を判断する。ステップＳＰ７では、ＦＯＥ検出回路５が第１及び第２の妥当性判断回路１０、１１によって正しい車線であると判断された左右２本の車線の交点を無限遠点ＦＯＥ（Ｓt）として求め、この無限遠点ＦＯＥ（Ｓt）が次の時点ｔ＋１での車線検出に用いられる。
【００４６】
かくして以上の構成によれば、無限遠点ＦＯＥを通る仮想的な２つの直線に挟まれた領域ＡＲ２を設定すると共に、当該設定領域ＡＲ２を無限遠点ＦＯＥを中心として所定角度ずつ回転させたときの各設定領域ＡＲ２内に存在するエッジ点の個数を算出し、複数の設定領域ＡＲ２の中からエッジ点の個数が所定の閾値よりも多かった設定領域ＡＲ２を車線を検出するための候補範囲として選択し、選択された各候補範囲ＡＲ２毎に候補範囲ＡＲ２内に存在するエッジ点を結ぶ直線を求めることで車線を検出するようにしたことにより、比較的少ない計算量で車線を的確に検出することができる。
【００４７】
また第１及び第２の妥当性判断回路１０及び１１を設け、直線化回路８までで検出した車線の妥当性を判断したことにより、車線検出の信頼性を一段と向上させることができる。
【００４８】
なお上述の実施形態においては、第１及び第２の妥当性判断回路１０及び１１を設けた場合について述べたが、本発明はこれに限らず、これらのうち一方のみを設けるようにしても、上述の実施形態とほぼ同様の効果を得ることができる。
【００４９】
ここで第２の妥当性判断回路１１のみを設ける場合には、エッジ点抽出回路６、候補範囲選択回路７、直線化回路８及び角度算出回路９において２つの時点の撮像画像についての処理を行わずに、ある一つの時点の処理を順次行うだけで済むようになる。
【００５０】
【発明の効果】
上述のように請求項１及び請求項５に記載の発明によれば、無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に、当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数を算出し、複数の設定領域の中からエッジ点の個数が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲として選択し、選択された各候補範囲毎に候補範囲内に存在するエッジ点を結ぶ直線を求めることで車線を検出するようにしたことにより、比較的少ない計算量で車線を的確に検出し得る走行車線検出方法及びその装置を実現できる。
【００５１】
また請求項２及び請求項６に記載の発明によれば、ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、ある時点と時間的に異なる時点の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、当該角度の差が所定の範囲内にあるとき車線が正しく検出されたと判断するようにしたことにより、車線検出の信頼性を向上させることができる走行車線検出方法及びその装置を実現できる。
【００５２】
また請求項３及び請求項７に記載の発明によれば、ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき車線が正しく検出されたと判断するようにしたことにより、車線検出の信頼性を向上させることができる走行車線検出方法及びその装置を実現できる。
【００５３】
さらに請求項４及び請求項８に記載の発明によれば、ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、前記ある時点と時間的に異なる時点の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、当該角度の差が所定の範囲内にあり、かつある時点の撮像画像に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき、車線が正しく検出されたと判断するようにしたことにより、車線検出の信頼性をさらに一段と向上させることができる走行車線検出方法及びその装置を実現できる。
【図面の簡単な説明】
【図１】本発明による走行車線検出装置の全体構成を示すブロック図である。
【図２】エッジ点個数の探索範囲を示す略線図である。
【図３】エッジ点個数算出回路がエッジ点を検出する設定領域を示す略線図である。
【図４】検出車線の妥当性判断処理の説明に供する略線図である。
【図５】走行車線検出装置の動作の説明に供するフローチャートである。
【図６】従来の車線検出用のビデオカメラで撮像された画像を示す図である。
【図７】エッジ点画像を示す略線図である。
【図８】Ｈｏｕｇｈ変換により得られる直線を示す略線図である。
【符号の説明】
１ …… 走行車線検出装置
２ …… ビデオカメラ（撮像手段）
３ …… エッジ抽出回路（エッジ点抽出手段）
４ …… フレームメモリ（画像記憶手段）
５ …… ＦＯＥ検出回路（ＦＯＥ検出手段）
６ …… エッジ点個数算出回路（エッジ点個数算出手段）
７ …… 候補範囲選択回路（候補範囲選択手段）
８ …… 直線化回路（直線化手段）
９、１０、１１ …… 角度算出回路、第１の妥当性判断回路、第２の妥当性判断回路（妥当性判断手段）
【発明の属する技術分野】
本発明は走行車線検出方法及びその装置に関し、特に走行中の自車両の左右両側にある車線を検出する場合に適用し得る。
【０００２】
【従来の技術】
従来、自車両の両側にある車線を検出し、検出した車線に対して自車両がどのような位置を走行しているかを検出することで、例えば車両の蛇行量や車線からのはみ出しを検出するような車両走行監視装置が提案されている。そして蛇行走行や車線からのはみ出しが検出された場合に運転者に警報を与えることで、運転者に安全走行を喚起する。
【０００３】
このとき走行車線を正しく検出することが重要となる。従来、道路の車線を検出する方法として数多くの提案がされている。例えば図６に示すようなビデオカメラで得た画像の特定領域についてエッジ点Ｐを探すことにより図７に示すようなエッジ点画像を得、次に抽出したエッジ点群をＨｏｕｇｈ変換することにより図８に示すような直線を求めて目的の車線を検出するようになっている（特開昭６３−１４２４７８号参照）。
【０００４】
【発明が解決しようとする課題】
しかしながら上述した従来の車線検出方法では、抽出された多数のエッジ点をＨｏｕｇｈ変換するので、車線検出までに時間がかかってしまう欠点があった。またＨｏｕｇｈ変換によって抽出される直線は目的の車線だけでなく、路面の影などによる直線（以下、これを背景雑音と呼ぶ）も含むものとなるため、車線とは異なる直線を車線として検出してしまうおそれがある。
【０００５】
本発明は以上の点を考慮してなされたもので、比較的少ない計算量で車線を的確に検出し得る走行車線検出方法及びその装置を提案しようとするものである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するため本発明により成された請求項１に記載の走行車線検出方法は、走行している自車両から後側景を撮像し、ある時点の撮像画像のエッジ点を抽出し、ある時点の撮像画像において、ある時点の撮像画像に対し所定時間前に撮像した画像を用いて検出した無限遠点（ＦＯＥ）を通る仮想的な２つの直線に挟まれた領域を設定すると共に、当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数を算出し、複数の設定領域の中からエッジ点の個数が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲として選択し、選択された各候補範囲毎に候補範囲内に存在するエッジ点を結ぶ直線を求めることにより車線を検出するようにした。
【０００７】
また本発明により成された請求項５に記載の走行車線検出装置は、図１に示すように、走行している自車両の後側景を撮像する撮像手段２と、撮像手段２により得られた画像を記憶する画像記憶手段４と、ある時点の撮像画像Ｓ１中のエッジ点を抽出するエッジ点抽出手段３と、ある時点の撮像画像Ｓ２において、無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数を算出するエッジ点個数算出手段６と、複数の設定領域の中からエッジ点の個数が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲として選択する候補範囲選択手段７と、選択された各候補範囲毎に候補範囲内に存在するエッジ点を結ぶ直線を求めることにより車線を検出する直線化手段８とを備えるようにした。
【０００８】
以上の構成において、候補範囲選択手段７により選択される候補範囲は車線のような無限遠点ＦＯＥから放射状に連続したエッジ点が存在する設定領域に限られるので、その他のエッジ点はこの時点で有効に処理対象から削除される。従ってこの候補範囲内のエッジ点のみで直線を作成し、それを検出車線とすることにより、比較的少ない計算量で車線を的確に検出できるようになる。
【０００９】
また本発明により成された請求項２に記載の走行車線検出方法は、請求項１の方法により前記ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、ある時点と時間的に異なる時点の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、当該角度の差が所定の範囲内にあるとき車線が正しく検出されたと判断するようにした。
【００１０】
また本発明により成された請求項６に記載の走行車線検出装置は、図１に示すように、エッジ点抽出手段３はある時点の撮像画像Ｓ２中のエッジ点を抽出し、エッジ点個数算出手段６はある時点のエッジ点抽出画像Ｓ３について、無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数Ｓ４を算出し、候補範囲選択手段７はある時点のエッジ点抽出画像Ｓ３について、複数の設定領域の中からエッジ点の個数Ｓ４が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲Ｓ５として選択し、直線化手段８はある時点のエッジ点抽出画像Ｓ３について、選択された各候補範囲毎Ｓ５に候補範囲内に存在するエッジ点を結ぶ直線Ｓ６を求めることにより車線を検出し、走行車線検出装置１は、さらに、ある時点の撮像画像Ｓ２に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ｂとある時点よりも過去の撮像画像Ｓ２に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ａとの差を求め、当該角度の差が所定の範囲内にあるとき車線が正しく検出されたと判断する妥当性判断手段１０を備えるようにした。
【００１１】
以上の構成において、無限遠点ＦＯＥから放射状に連続したエッジ点として、車線以外に路面に映った影や汚れ等が存在した場合に、妥当性判断手段１０がこれらの背景雑音によるエッジ点と車線によるエッジ点とを有効に識別して検出車線の妥当性を判断するので、車線検出の信頼性を向上させることができるようになる。
【００１２】
また本発明により成された請求項３に記載の走行車線検出方法は、請求項１において、ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき車線が正しく検出されたと判断するようにした。
【００１３】
また本発明により成された請求項７に記載の走行車線検出装置は、図１に示すように、請求項５の構成に加えて、直線化手段８に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ｂが第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき車線が正しく検出されたと判断する妥当性判断手段１１を備えるようにした。
【００１４】
以上の構成において、無限遠点ＦＯＥから放射状に連続したエッジ点として、車線以外に路面に映った影や汚れ等が存在した場合に、妥当性判断手段１１がこれらの背景雑音によるエッジ点と車線によるエッジ点とを有効に識別して検出車線の妥当性を判断するので、車線検出の信頼性を向上させることができるようになる。
【００１５】
また本発明により成された請求項４に記載の走行車線検出方法は、請求項１の方法によりある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、前記ある時点と時間的に異なる時点の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、当該角度の差が所定の範囲内にあり、かつある時点の撮像画像に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき、車線が正しく検出されたと判断するようにした。
【００１６】
さらに本発明により成された請求項８に記載の走行車線検出装置は、図１に示すように、エッジ点抽出手段３はある時点の撮像画像Ｓ２中のエッジ点を抽出し、エッジ点個数算出手段６はある時点のエッジ点抽出画像Ｓ３について、無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数Ｓ４を算出し、候補範囲選択手段７はある時点のエッジ点抽出画像Ｓ３について、複数の設定領域の中からエッジ点の個数Ｓ４が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲Ｓ５として選択し、直線化手段８はある時点のエッジ点抽出画像Ｓ３について、選択された各候補範囲Ｓ５毎に候補範囲内に存在するエッジ点を結ぶ直線Ｓ６を求めることにより車線を検出し、走行車線検出装置１は、さらに、ある時点の撮像画像Ｓ２に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ｂとある時点よりも過去の撮像画像Ｓ２に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ａとの差を求め、当該角度の差が所定の範囲内にあるとき車線が正しく検出されたと判断する第１の妥当性判断手段１０と、直線化手段８に基づいて検出された２つの検出車線Ｓ６のなす角度Ｓ７Ｂが第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき車線が正しく検出されたと判断する第２の妥当性判断手段１１とを備え、第１及び第２の妥当性判断手段１０、１１により共に車線が正しく検出されたことを表す判断結果が得られたとき車線が正しく検出されたと判断するようにした。
【００１７】
以上の構成において、無限遠点ＦＯＥから放射状に連続したエッジ点として、車線以外に路面に映った影や汚れ等が存在した場合に、第１及び第２の妥当性判断手段１０、１１によりこれらの背景雑音によるエッジ点と車線によるエッジ点とを一段と的確に識別できるようになるので、車線検出の信頼性をさらに一段と向上させることができるようになる。
【００１８】
【発明の実施の形態】
以下、図面に基づき本発明の一実施形態を説明する。
【００１９】
図１において、１は全体として走行車線検出装置を示し、自車両後方に後ろ向きに取り付けられたビデオカメラ２により撮像された撮像信号Ｓ１が一旦フレームメモリ４に格納された後、撮像画像信号Ｓ２としてエッジ点抽出回路３に出力される。
【００２０】
エッジ点抽出回路３は例えば微分回路でなり、撮像画像信号Ｓ２に基づくある時点のフレーム画像についてエッジ点を抽出し、これにより得られたエッジ点画像信号Ｓ３をエッジ点個数算出回路６に送出する。
【００２１】
またエッジ点個数算出回路６は、エッジ点画像信号Ｓ３と、後述する無限遠点（ＦＯＥ（Focus Of Expansion））検出回路５により検出された無限遠点座標情報Ｓ１０とを用いて、ある設定領域内のエッジ点の個数を算出する。ここで無限遠点とは、撮像画像の各点が全体として収束するような点である。
【００２２】
実際上、エッジ点個数算出回路６は、エッジ点画像について、無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に、当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数を算出する。
【００２３】
具体的に説明すると、先ず図２に示すように、エッジ点画像内で所定の探索範囲ＡＲ１を定める。因みに、図２におけるＨ１及びＨ２は自車が走行している走行レーンの左右の白線である。なおこの図では白線Ｈ１、Ｈ２以外のエッジは示していないが実際には白線Ｈ１、Ｈ２のエッジ点以外にも路面に移った影や路面の汚れ等の多数のエッジ点が存在する。
【００２４】
次にエッジ点個数算出回路６は、図３に示すように、無限遠点ＦＯＥを通る仮想的な２つの直線に挟まれた領域ＡＲ２を設定する。この実施形態の場合、この２つの直線の頂角を２［°］として領域ＡＲ２を設定するようになっている。そしてエッジ点個数算出回路６は、この設定領域ＡＲ２を無限遠点ＦＯＥを中心として所定角度ずつ回転させ、各回転状態で探索範囲ＡＲ１内でかつ設定領域ＡＲ２内に存在するエッジ点の個数を算出する。この実施形態の場合、設定領域ＡＲ２を１［°］ずつ回転させるようになされている。
【００２５】
このとき図３からも明らかなように、エッジ点数が最も多くなるのは無限遠点ＦＯＥから放射状に連続したエッジが存在する場合であり、設定領域ＡＲ２が白線Ｈ１や白線Ｈ２を含む位置に回転したときに他ならない。これに対して、無限遠点ＦＯＥから放射状に連続しないようなエッジ点は、エッジ点個数算出回路６の各回転角度での算出結果にはあまり影響を与えない。
【００２６】
候補範囲選択回路７はエッジ点個数算出回路６からの各設定領域ＡＲ２のエッジ点個数情報Ｓ４を受け、各回転角度の複数の設定領域ＡＲ２をエッジ点数の多かった順に並べ、上位の設定領域ＡＲ２を車線を検出するための候補範囲として選択する。これはエッジ点の個数が所定の閾値よりも多かった設定領域ＡＲ２を車線を検出するための候補範囲として選択することに相当する。
【００２７】
直線化回路８は候補範囲選択回路７からの候補範囲選択情報Ｓ５を受け、候補範囲として選択された設定領域ＡＲ２毎に、各設定領域ＡＲ２内のエッジ点群から最小二乗法によって直線を求める。
【００２８】
この結果走行車線検出装置１においては、無限遠点ＦＯＥを通る仮想的な２つの直線に挟まれた領域ＡＲ２を設定すると共に、当該設定領域ＡＲ２を無限遠点ＦＯＥを中心として所定角度ずつ回転させたときの各設定領域ＡＲ２内に存在するエッジ点の個数を算出し、複数の設定領域ＡＲ２の中からエッジ点の個数が所定の閾値よりも多かった設定領域ＡＲ２を車線を検出するための候補範囲として選択し、選択された各候補範囲ＡＲ２毎に候補範囲ＡＲ２内に存在するエッジ点を結ぶ直線を求めることで車線を検出するようにしたことにより、比較的少ない計算量で車線を的確に検出できる。
【００２９】
このようにして直線化回路８によって求められたエッジ点画像Ｓ３についての直線情報（候補車線情報）Ｓ６は角度算出回路９に送出される。角度算出回路９は直線情報Ｓ６により表される直線間のなす角度を求める。
【００３０】
ここで走行車線検出装置１は、上述したようなエッジ点抽出処理、エッジ点個数算出処理、候補範囲選択処理、直線化処理及び角度算出処理を、所定の計測インターバル毎に行うようになされている。この実施形態の場合、１秒のインターバル毎（すなわち３０フレーム間隔の撮像画像毎）に行う。
【００３１】
この結果、直線化回路８からは現時点の撮像画像に基づいて検出した車線候補情報と、既に１つ前の計測インターバルで検出した車線候補情報が順次出力され、角度算出回路９は現時点の撮像画像に基づいて検出された２つの候補検出車線のなす角度、及び１つ前の計測計測インターバルで検出した２つの候補検出車線のなす角度をそれぞれ求める。すなわち図４（Ａ）に示すように過去の撮像画像に基づいて検出された２つの検出車線Ｌ１Ａ、Ｌ１Ｂのなす角度θt-1を求めると共に、現時点の撮像画像に基づいて検出された２つの検出車線Ｌ２Ａ、Ｌ２Ｂのなす角度θtを求める。
【００３２】
因みに、図４（Ｂ）における現時点の撮像画像からは、２つの検出車線Ｌ２Ａ、Ｌ２Ｂに加えて、無限遠点ＦＯＥから放射状に並んだ路面上の影や汚れ等でなる雑音エッジ２０も検出車線Ｌ２Ｃとして検出される。そのため角度算出回路９は検出車線Ｌ２Ａと検出車線Ｌ２Ｃのなす角度θt′も算出する。
【００３３】
ここで角度算出回路９により求められた現時点の撮像画像に関する角度情報Ｓ７Ｂ（すなわち角度θt及びθt′）と、過去の撮像画像に関する角度情報Ｓ７Ａ（すなわち角度θt-1）は第１の妥当性判断回路１０に送出される。
【００３４】
また角度算出回路９により求められた現時点の撮像画像に関する角度情報Ｓ７Ｂ（すなわち角度θt及びθt′）は、第２の妥当性判断回路１１に送出される。
【００３５】
第１の妥当性判断回路１０は、角度θt-1と角度θtの差（θt-1−θt）、角度θt-1と角度θt′の差（θt-1−θt′）が所定の範囲内にあるとき車線が正しく検出されたと判断する。すなわち直線化回路８で検出された車線が実際の車線であれば、ある程度時間が経過しても検出された車線のなす角度はそれ程変化しないはずであり、大きく変化するものであればそれは車線以外の直線が検出されたと判断してよいことになる。
【００３６】
因みに、図４からも明らかなように、角度θt-1と角度θtの差（θt-1−θt）は所定の範囲内に収まるのでこれらの角度を形成する検出車線Ｌ１Ａ、Ｌ１Ｂ、Ｌ２Ａ、Ｌ２Ｂは正しい検出車線であると判断され、角度θt-1と角度θt′の差（θt-1−θt′）は所定の範囲内に収まらないので検出車線Ｌ２Ｃは誤って検出された雑音エッジであると判断される。
【００３７】
この結果、このような第１の妥当性判断処理を行うことにより、車線検出の信頼性を向上させることができる。
【００３８】
第２の妥当性判断回路１１は角度θt及び角度θt′それぞれが、第１の閾値θ1よりも大きくかつ第２の閾値θ2よりも小さいか否かを判断する。すなわちθ1＜θt＜θ2か否かの判断処理を行うと共に、θ1＜θt′＜θ2か否かの判断処理を行う。なお第１の閾値θ1及び第２の閾値θ2は画像上で車線が撮像された場合に取り得る角度であり、ビデオカメラ２の画角や取付角度等から定まる値である。図４（Ｂ）の例では、角度θt′はθ1＜θt′＜θ2を満たさないので検出車線Ｌ２Ｃは誤って検出された雑音エッジであると判断される。
【００３９】
この結果、このような第２の妥当性判断処理を行うことにより、車線検出の信頼性を一段と向上させることができる。
【００４０】
ＦＯＥ検出回路５は、直線化回路８により形成された候補車線情報Ｓ６を入力すると共に、第１の妥当性判断回路１０から出力される判断結果信号Ｓ８及び第２の妥当性判断回路１１から出力される判断結果信号Ｓ９を入力し、候補車線のうち第１及び第２の妥当性判断回路１０、１１によって正しい車線であると判断された左右２本の車線の交点を無限遠点として求める。これにより、少ない計算量で容易に無限遠点を求める求めることができる。
【００４１】
従って、エッジ点個数算出回路６で用いられる無限遠点は、ある時点ｔよりも前の時点ｔ−１で撮像した画像から検出した車線を使って求められたものとなる。すなわち、ある時点ｔの撮像画像中で使用する無限遠点は、ｔ−１の時点で求めたものとなる。なお一番最初の無限遠点は、従来の一般的な方法と同様に２コマの撮像画像を用い、各点が時間と共に収束する点を求めることで検出すればよく、２回目以降は、１つ前の無限遠点を使いながら上述したような方法で車線を検出していく。
【００４２】
以上の構成において、走行車線検出装置１は、図５に示すような動作を行うことにより、比較的少ない計算量で走行車線を的確に検出する。すなわち先ずステップＳＰ１においてビデオカメラ２によって道路走行画像Ｓt（ここでＳtは時点ｔにおける道路走行画像を表す）を取得し、続くステップＳＰ２においてエッジ点抽出回路３によってこの道路走行画像Ｓtのエッジ点を抽出する。
【００４３】
次にステップＳＰ３において、エッジ点個数算出回路６が、ＦＯＥ検出回路５によって検出された時点ｔ−１での無限遠点ＦＯＥ（Ｓt-1）を用いて、この無限遠点ＦＯＥ（Ｓt-1）を通る仮想的な２つの直線に挟まれた領域ＡＲ２を設定すると共に、当該設定領域ＡＲ２を無限遠点ＦＯＥ（Ｓt-1）を中心として所定角度ずつ回転させたときの各設定領域ＡＲ２内に存在するエッジ点の個数を算出する。
【００４４】
次にステップＳＰ４において、候補範囲選択回路７によってエッジ点の個数が所定の閾値よりも多かった設定領域ＡＲ２を車線を検出するための候補範囲として選択し、続くステップＳＰ５において直線化回路８によって候補範囲として選択された設定領域ＡＲ２毎に各設定領域ＡＲ２内のエッジ点群から最小二乗法によって直線を求める。
【００４５】
次にステップＳＰ６において、第１及び第２の妥当性判断回路１０及び１１によって検出した車線の妥当性を判断する。ステップＳＰ７では、ＦＯＥ検出回路５が第１及び第２の妥当性判断回路１０、１１によって正しい車線であると判断された左右２本の車線の交点を無限遠点ＦＯＥ（Ｓt）として求め、この無限遠点ＦＯＥ（Ｓt）が次の時点ｔ＋１での車線検出に用いられる。
【００４６】
かくして以上の構成によれば、無限遠点ＦＯＥを通る仮想的な２つの直線に挟まれた領域ＡＲ２を設定すると共に、当該設定領域ＡＲ２を無限遠点ＦＯＥを中心として所定角度ずつ回転させたときの各設定領域ＡＲ２内に存在するエッジ点の個数を算出し、複数の設定領域ＡＲ２の中からエッジ点の個数が所定の閾値よりも多かった設定領域ＡＲ２を車線を検出するための候補範囲として選択し、選択された各候補範囲ＡＲ２毎に候補範囲ＡＲ２内に存在するエッジ点を結ぶ直線を求めることで車線を検出するようにしたことにより、比較的少ない計算量で車線を的確に検出することができる。
【００４７】
また第１及び第２の妥当性判断回路１０及び１１を設け、直線化回路８までで検出した車線の妥当性を判断したことにより、車線検出の信頼性を一段と向上させることができる。
【００４８】
なお上述の実施形態においては、第１及び第２の妥当性判断回路１０及び１１を設けた場合について述べたが、本発明はこれに限らず、これらのうち一方のみを設けるようにしても、上述の実施形態とほぼ同様の効果を得ることができる。
【００４９】
ここで第２の妥当性判断回路１１のみを設ける場合には、エッジ点抽出回路６、候補範囲選択回路７、直線化回路８及び角度算出回路９において２つの時点の撮像画像についての処理を行わずに、ある一つの時点の処理を順次行うだけで済むようになる。
【００５０】
【発明の効果】
上述のように請求項１及び請求項５に記載の発明によれば、無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に、当該設定領域を無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在するエッジ点の個数を算出し、複数の設定領域の中からエッジ点の個数が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲として選択し、選択された各候補範囲毎に候補範囲内に存在するエッジ点を結ぶ直線を求めることで車線を検出するようにしたことにより、比較的少ない計算量で車線を的確に検出し得る走行車線検出方法及びその装置を実現できる。
【００５１】
また請求項２及び請求項６に記載の発明によれば、ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、ある時点と時間的に異なる時点の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、当該角度の差が所定の範囲内にあるとき車線が正しく検出されたと判断するようにしたことにより、車線検出の信頼性を向上させることができる走行車線検出方法及びその装置を実現できる。
【００５２】
また請求項３及び請求項７に記載の発明によれば、ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき車線が正しく検出されたと判断するようにしたことにより、車線検出の信頼性を向上させることができる走行車線検出方法及びその装置を実現できる。
【００５３】
さらに請求項４及び請求項８に記載の発明によれば、ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、前記ある時点と時間的に異なる時点の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、当該角度の差が所定の範囲内にあり、かつある時点の撮像画像に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき、車線が正しく検出されたと判断するようにしたことにより、車線検出の信頼性をさらに一段と向上させることができる走行車線検出方法及びその装置を実現できる。
【図面の簡単な説明】
【図１】本発明による走行車線検出装置の全体構成を示すブロック図である。
【図２】エッジ点個数の探索範囲を示す略線図である。
【図３】エッジ点個数算出回路がエッジ点を検出する設定領域を示す略線図である。
【図４】検出車線の妥当性判断処理の説明に供する略線図である。
【図５】走行車線検出装置の動作の説明に供するフローチャートである。
【図６】従来の車線検出用のビデオカメラで撮像された画像を示す図である。
【図７】エッジ点画像を示す略線図である。
【図８】Ｈｏｕｇｈ変換により得られる直線を示す略線図である。
【符号の説明】
１ …… 走行車線検出装置
２ …… ビデオカメラ（撮像手段）
３ …… エッジ抽出回路（エッジ点抽出手段）
４ …… フレームメモリ（画像記憶手段）
５ …… ＦＯＥ検出回路（ＦＯＥ検出手段）
６ …… エッジ点個数算出回路（エッジ点個数算出手段）
７ …… 候補範囲選択回路（候補範囲選択手段）
８ …… 直線化回路（直線化手段）
９、１０、１１ …… 角度算出回路、第１の妥当性判断回路、第２の妥当性判断回路（妥当性判断手段）
Claims (8)
- 走行している自車両から後側景を撮像し、
ある時点の撮像画像のエッジ点を抽出し、
前記ある時点の撮像画像において、前記ある時点の撮像画像に対し所定時間前に撮像した画像を用いて検出した無限遠点（ＦＯＥ）を通る仮想的な２つの直線に挟まれた領域を設定すると共に、当該設定領域を前記無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在する前記エッジ点の個数を算出し、
複数の前記設定領域の中から、エッジ点の個数が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲として選択し、
選択された各候補範囲毎に、候補範囲内に存在するエッジ点を結ぶ直線を求めることにより車線を検出する
ことを特徴とする走行車線検出方法。 - 請求項１の方法により前記ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、ある時点と時間的に異なる時点の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、
前記角度の差が所定の範囲内にあるとき、車線が正しく検出されたと判断する
ことを特徴とする請求項１に記載の走行車線検出方法。 - 前記ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき、車線が正しく検出されたと判断する
ことを特徴とする請求項１に記載の走行車線検出方法。 - 請求項１の方法によりある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、前記ある時点と時間的に異なる時点の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、
前記角度の差が所定の範囲内にあり、かつ前記ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき、車線が正しく検出されたと判断する
ことを特徴とする請求項１に記載の走行車線検出方法。 - 走行している自車両の後側景を撮像する撮像手段と、
前記撮像手段により得られた画像を記憶する画像記憶手段と、
ある時点の撮像画像中のエッジ点を抽出するエッジ点抽出手段と、
前記ある時点の撮像画像において、無限遠点（ＦＯＥ）を通る仮想的な２つの直線に挟まれた領域を設定すると共に、当該設定領域を前記無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在する前記エッジ点の個数を算出するエッジ点個数算出手段と、
複数の前記設定領域の中から、エッジ点の個数が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲として選択する候補範囲選択手段と、
選択された各候補範囲毎に、候補範囲内に存在するエッジ点を結ぶ直線を求めることにより車線を検出する直線化手段と
を具えることを特徴とする走行車線検出装置。 - 前記エッジ点抽出手段は、前記ある時点の撮像画像中のエッジ点を抽出し、
前記エッジ点個数算出手段は、ある時点のエッジ点抽出画像について、前記無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に当該設定領域を前記無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在する前記エッジ点の個数を算出し、
前記候補範囲選択手段は、ある時点のエッジ点抽出画像について、複数の前記設定領域の中からエッジ点の個数が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲として選択し、
前記直線化手段は、ある時点のエッジ点抽出画像について、選択された各候補範囲毎に候補範囲内に存在するエッジ点を結ぶ直線を求めることにより車線を検出し、
さらに、
前記ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、前記ある時点よりも過去の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、当該角度の差が所定の範囲内にあるとき車線が正しく検出されたと判断する妥当性判断手段を具える
ことを特徴とする請求項５に記載の走行車線検出装置。 - 前記直線化手段に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき、車線が正しく検出されたと判断する妥当性判断手段を具える
ことを特徴とする請求項５に記載の走行車線検出装置。 - 前記エッジ点抽出手段は、前記ある時点の撮像画像中のエッジ点を抽出し、
前記エッジ点個数算出手段は、ある時点のエッジ点抽出画像について、前記無限遠点を通る仮想的な２つの直線に挟まれた領域を設定すると共に当該設定領域を前記無限遠点を中心として所定角度ずつ回転させたときの各設定領域内に存在する前記エッジ点の個数を算出し、
前記候補範囲選択手段は、ある時点のエッジ点抽出画像について、複数の前記設定領域の中からエッジ点の個数が所定の閾値よりも多かった設定領域を車線を検出するための候補範囲として選択し、
前記直線化手段は、ある時点のエッジ点抽出画像について、選択された各候補範囲毎に候補範囲内に存在するエッジ点を結ぶ直線を求めることにより車線を検出し、
さらに、
前記ある時点の撮像画像に基づいて検出された２つの検出車線のなす角度と、前記ある時点よりも過去の撮像画像に基づいて検出された２つの検出車線のなす角度との差を求め、当該角度の差が所定の範囲内にあるとき車線が正しく検出されたと判断する第１の妥当性判断手段と、
前記直線化手段に基づいて検出された２つの検出車線のなす角度が第１の閾値よりも大きくかつ第２の閾値よりも小さかったとき、車線が正しく検出されたと判断する第２の妥当性判断手段と、
を具え、前記第１及び第２の妥当性判断手段により共に車線が正しく検出されたことを表す判断結果が得られたとき、車線が正しく検出されたと判断する
ことを特徴とする請求項５に記載の走行車線検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24529297A JP3760426B2 (ja) | 1997-09-10 | 1997-09-10 | 走行車線検出方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24529297A JP3760426B2 (ja) | 1997-09-10 | 1997-09-10 | 走行車線検出方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1186199A JPH1186199A (ja) | 1999-03-30 |
| JP3760426B2 true JP3760426B2 (ja) | 2006-03-29 |
Family
ID=17131504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24529297A Expired - Lifetime JP3760426B2 (ja) | 1997-09-10 | 1997-09-10 | 走行車線検出方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3760426B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102650906B1 (ko) * | 2022-11-11 | 2024-03-27 | 이인텔리전스 주식회사 | 차선 검출 장치 및 방법 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4016735B2 (ja) * | 2001-11-30 | 2007-12-05 | 株式会社日立製作所 | レーンマーク認識方法 |
| JP5012522B2 (ja) * | 2008-01-15 | 2012-08-29 | 株式会社豊田中央研究所 | 路側境界面検出装置 |
| JP4962581B2 (ja) | 2010-03-03 | 2012-06-27 | 株式会社デンソー | 区画線検出装置 |
| JP5573266B2 (ja) * | 2010-03-19 | 2014-08-20 | アイシン・エィ・ダブリュ株式会社 | 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム |
| JP5452518B2 (ja) * | 2011-02-09 | 2014-03-26 | 富士重工業株式会社 | 車両用白線認識装置 |
| JP7085435B2 (ja) * | 2018-07-24 | 2022-06-16 | スタンレー電気株式会社 | 車両システム |
| CN111241894B (zh) * | 2018-11-28 | 2023-06-27 | 海信集团有限公司 | 一种检测车道线的方法及车载设备 |
-
1997
- 1997-09-10 JP JP24529297A patent/JP3760426B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102650906B1 (ko) * | 2022-11-11 | 2024-03-27 | 이인텔리전스 주식회사 | 차선 검출 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1186199A (ja) | 1999-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| KR101609303B1 (ko) | 카메라 캘리브레이션 방법 및 그 장치 | |
| JP3764364B2 (ja) | 画像特徴点検出方法、画像処理方法、及びプログラム | |
| JP2003098424A (ja) | 画像処理測距装置 | |
| US11928805B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
| JP3760426B2 (ja) | 走行車線検出方法及びその装置 | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| CN108629225B (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
| JPH11195127A (ja) | 白線認識方法および装置 | |
| JP3807651B2 (ja) | 白線認識装置 | |
| CN112598743B (zh) | 一种单目视觉图像的位姿估算方法及相关装置 | |
| JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
| JP3729005B2 (ja) | 車両の後方監視装置 | |
| JP3006602B1 (ja) | 道路白線検出方法及び装置 | |
| WO2022179016A1 (zh) | 车道检测方法、装置、设备及存储介质 | |
| JP4151631B2 (ja) | 物体検出装置 | |
| JP3226415B2 (ja) | 自動車用移動体認識装置 | |
| JP3333224B2 (ja) | 移動車の走行路検出装置 | |
| JP2001116545A (ja) | 距離画像算出装置 | |
| JP4697761B2 (ja) | 待ち行列検出方法及び待ち行列検出装置 | |
| JPH03238566A (ja) | 消点検出装置 | |
| JP2000321038A (ja) | パターン欠陥検出方法 | |
| JP2001209804A (ja) | 動画像処理装置及びその方法 | |
| JP2018151940A (ja) | 障害物検出装置および障害物検出方法 | |
| JP2018018215A (ja) | 物体特徴点検知装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20031209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051220 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20051228 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051228 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120120 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120120 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130120 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140120 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140120 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |