JP3626733B2

JP3626733B2 - Lane recognition image processing apparatus and program for executing the processing

Info

Publication number: JP3626733B2
Application number: JP2002056167A
Authority: JP
Inventors: 貴幸山本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-03-01
Filing date: 2002-03-01
Publication date: 2005-03-09
Anticipated expiration: 2022-03-01
Also published as: JP2003252149A

Description

【０００１】
【発明の属する技術分野】
この発明は、自動車の予防安全を目的とした車線逸脱警報や運転者の負担軽減を目的としたレーンキープ操舵アシストなど、車両制御のための道路に対する車両位置情報を提供する車線認識画像処理装置に関するものである。
【０００２】
【従来の技術】
従来の車線認識画像処理装置としては、例えば、特開２０００−１０５８９８号公報や特開平１１−２３２４６７号公報のように、左右レーンマーキング間隔の増加、レーンマーキング幅の増加から分岐路を判定する分岐判定手段を備えるものがある。
【０００３】
また、特開２０００―５５６７７号公報のようなナビゲーション装置との連携により分岐情報を得るものがある。
【０００４】
また、特開平１１−２８１３５２号公報、特開平６−２２５３０８号公報のように、車両挙動からレーンマーキングの検出パラメータやレーンマーキング探索ウィンドウ位置を設定する方法がある。
【０００５】
また、特開平９−９１４４０号公報のように所定のモデルデータと比較することにより、レーンマーキング候補が複数存在する場合でも自車線のレーンマーキングを正しく認識するというものがある。
【０００６】
【発明が解決しようとする課題】
左右レーンマーキング間隔の広がりから分岐路を判定する場合は、ナビゲーション装置の経路案内における自車位置同定には有効であるが、車両制御を目的としたリアルタイム画像処理である車線認識においては、既に出口側レーンマーキングを誤認識していることを示し、事前に誤認識を回避するには適さない。
【０００７】
ナビゲーション装置から分岐情報を得る場合は、車両にナビゲーション装置搭載が前提条件となるうえ、自車位置同定において進行方向の誤差がなく、かつ走行車線・追い越し車線いずれを走行中かを同定できなければ分岐情報を有効に活用することはできない。
【０００８】
分岐路形状の記憶データと比較することにより分岐路であることを判定する場合は、事前に分岐路の存在を知ることができるが、画像処理装置内にモデルデータ格納用の大容量のメモリを搭載する必要があり、またデータ比較のために膨大な処理時間を必要とするため、ハードウェア・ソフトウェア負荷が非常に大きくなる。
【０００９】
レーンマーキング数学的モデル式係数そのものに対して時間的な低周波数域フィルタ処理を施すと、車線認識結果にフィルタ時定数分の位相遅れが生じ、車両制御を行うためのリアルタイム性が崩れる。
【００１０】
レーンマーキング探索ウィンドウに対して時間的な低周波数域フィルタ処理を施すと、車線認識結果の位相遅れは防ぐことができるが、車両の急な横移動時にはレーンマーキングが探索ウィンドウ外になり検出できなくなるため、急変時にはフィルタ処理をキャンセルするという例外的処理を追加しなければならない。かつ例外処理実施の判定には、左右いずれかのレーンマーキングの横位置の動きを常にモニタする必要があり、したがってフィルタ処理を施すレーンマーキングは左右いずれかに限定される。
【００１１】
数学的モデル式算出において、候補点集合に誤検出点が混在すると、得られるモデル式の信頼性が著しく低下する。特に、分岐路出口では出口側レーンマーキングを誤検出すると、車両が進むにつれて、本来、誤りである出口側レーンマーキング上の検出点数の割合が増し、本線側レーンマーキングを見失うという悪循環に陥る。
【００１２】
この発明は、レーンマーキング候補点を候補点同士の傾き比較により、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行なって、取捨選択するという平易なアルゴリズムでソフトウェア的に処理し、分岐路通過時において、ナビゲーション装置などの他のインフラ情報の助けを必要とせずに、本線側のレーンマーキングを正しく認識しようとする車線認識画像処理装置及びその処理を実行させるためのプログラムを得ることを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係わる車線認識画像処理装置は、前方を撮影する撮影手段と、この撮影手段により得られた画像を一時記憶する画像記憶手段と、この画像記憶手段より読み出した画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定手段と、このレーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出するレーンマーキング候補点抽出手段と、このレーンマーキング候補点抽出手段により選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定する車線認識手段を備え、上記レーンマーキング候補点抽出手段は、これにより抽出されたレーンマーキング候補点を取捨選択するレーンマーキング候補点選択手段を有し、
【００１４】
上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行うものである。
【００１５】
また、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きのいずれか一方の絶対値が所定閾値以下のときは、これらの傾きを同符号として扱うように処理を行うものである。
【００１６】
また、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、最初の1点と消失点を結ぶ直線の傾きと最初の点とこれから選択するか否かを決定する１点（すなわち選択対象）を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の１点を有効とし、異符号となる場合は選択対象の１点を無効にする処理を行うものである。
【００１７】
また、上記レーンマーキング候補点選択手段を、左又は右レーンマーキングが特定の種類の場合に動作させるようにしたものである。
さらにまた、上記レーンマーキング候補点選択手段を、ウィンカ・スイッチがオフの場合に動作させるようにしたものである。
【００１８】
また、この発明に係わる車線認識画像処理を実行させるためのプログラムは、前方を撮影する撮影手段により得られた画像を一時記憶し、記憶された画像を読み出してレーンマーキング探索範囲を設定し、レーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出し、検出したレーンマーキング候補点を取捨選択し、選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定するようにしたものであって、
【００１９】
上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行うようにしたものである。
【００２０】
また、上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きのいずれか一方の絶対値が所定閾値以下のときは、これらの傾きを同符号として扱うように処理を行うものである。
さらにまた、レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、最初の1点と消失点を結ぶ直線の傾きと最初の点とこれから選択するか否かを決定する１点（すなわち選択対象）を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の１点を有効とし、異符号となる場合は選択対象の１点を無効にする処理を行うようにしたものである。
【００２１】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態を図面とともに説明する。図中同一符号は同一または相当する部分を示す。なお、この発明と関連する発明は、平成１３年４月１２日付けで出願した特願２００１−１１４４８８号明細書「車線認識のための画像処理装置並びに画像処理法」に記載されている。
図１は、この発明の実施の形態１の車線認識画像処理装置の構成を示すブロック図である。図２は、実施の形態１の車線認識画像処理装置の処理フローを示すフローチャートである。
【００２２】
撮像手段である車載カメラ１が車両の前部に設置され、車両前方の路面を撮影する。得られた画像は画像処理ＥＣＵ（Electronic Control Unit）２に入力され画像処理される。画像処理ＥＣＵ２からの信号は，メインＥＣＵ３に入力され、画像記憶手段４に一時的に記憶される。一方、進行方向検出器としてのウインカ・スイッチ５からターンシグナルがメインＥＣＵ３に入力される。メインＥＣＵ３は画像記憶手段４より読み出した画像に対して、レーンマーキング探索ウィンドウ設定手段６でレーンマーキング探索範囲を探索ウインドウとして設定する。このレーンマーキング探索ウィンドウ内よりレーンマーキング候補点抽出手段７でレーンマーキング候補点を検出する。検出したレーンマーキング候補点をレーンマーキング候補点選択手段８で、候補点同士の傾き比較により取捨選択する。選択されたレーンマーキング候補点の集合を車線認識手段９で、数学的モデル式により近似してレーンマーキング数学的モデル式を推定する。これを車線認識結果出力部１０に出力し、舵角指示などに利用する。
【００２３】
図２のフローチャートについて説明する。この種の前述した従来例の車線画像処理装置と基本部分のハードウェア構成は共通であるが、ステップＳ４’のレーンマーキング候補点選択において、レーンマーキング候補点を取捨選択する部分が大きく異なる。
【００２４】
ステップＳ１において、図３に示すように、車両１２に取り付けたカメラ１により車両前方を撮影する。得られた画像は図４に示すように、自車線の左右レーンマーキング１３，１４が水平画角内に収まっているものとする。ステップＳ２において、図４に示すような画像を画像記憶手段（画像メモリ）４に取り込む。ステップＳ３において、レーンマーキング候補点１５，１６を探索する水平方向走査範囲を、図５に示すレーンマーキング探索ウィンドウ１９,２０（破線で囲んだ部分）により設定する。
【００２５】
ステップＳ４において、図５に示す所定の垂直方向位置Ｖのライン２５を、レーンマーキング探索ウィンドウ１９，２０内で、水平Ｈ方向に走査し、画像メモリ４より読み出した輝度分布を基に、○で表すレーンマーキング候補点１５，１６を検出する。このＨ方向走査線であるレーンマーキング探索ライン２５は、左右共通のV座標で、Ｖ_n ｎ＝０，１，----，Ｎ−１のN本設定する。ステップＳ４’において、ステップＳ４で得られたレーンマーキング候補点１５，１６の取捨選択を行う。図６に示す左側分岐を例に、本線側レーンマーキング２１に対して出口側レーンマーキング２２上の候補点２４を除去する手順について説明する。図６に示すように、候補点同士の傾きとは、水平座標／垂直座標＝△Ｈ／△Ｖを指す。この傾きを手前から比較し、同符号ならば候補点有効、異符号ならば無効とする。
【００２６】
以下、図６のステップＳ-０，---，Ｓ-８について説明する。ｎはレーンマーキング探索ラインＮｏ．を指す。ただし、便宜上、すべてのレーンマーキング探索ライン上にレーンマーキング候補点が存在するものとして説明するが、実際は間欠白線の場合など候補点が存在しない探索ラインＮｏ．は以下の処理では欠番となる。
ステップＳ-０では，図７（ａ）（ｂ）に示すように、候補点ｎ＝０と消失点との傾き（０，ｆ_0e）と候補点ｎ＝０，１の傾き(1)を算出する。なお、この発明で消失点とは画像上の走行車線の先端で消失する点をいう。処理上では、近傍の候補点、例えば、ｎ<８までの候補点に対して左右それぞれ直線近似し、得られた左右の近似直線の交点を消失点とする。
傾き（０，ｆ_0e）と傾き(1)の符号を比較する。同符号のため、候補点ｎ＝１は有効とする。
【００２７】
ステップＳ-１では、候補点ｎ＝１，２から、候補点同士の傾き(2)を算出する。
ステップＳ-２では、傾き(1)と傾き(2)の符号を比較する。同符号のため、候補点ｎ＝２は有効とする。
ステップＳ-３では、候補点ｎ＝２，３から、傾き(3)を算出する。
ステップＳ-４では、傾き(2)と傾き(3)の符号を比較する。異符号のため、候補点ｎ＝３は無効とする。
ステップＳ-５では、候補点ｎ＝３が無効となったため、候補点ｎ＝２，４から、傾き(4)を算出する。
ステップＳ-６では、傾き(2)と傾き(4)の符号を比較する。異符号のため、候補点ｎ＝４は無効とする。
ステップＳ-７では、候補点ｎ＝４が無効となったため、候補点ｎ＝２，５から、傾き(5)を算出する。
ステップＳ-８では、傾き(2)と傾き(5)の符号を比較する。同符号のため、候補点ｎ＝５は有効とする。
【００２８】
このように、着目点ｎに対して最も近くで有効となった候補点ｎ−ｉ（ｉ＜ｎ）との傾き（ｎ−ｉ，ｎ）を算出し、候補点ｎ−ｉに対して最も近くで有効となった候補点ｎ−ｉ―ｊ（ｉ＋ｊ＜ｎ）との傾き（ｎ−ｉ―ｊ，ｎ−ｉ）と符号比較し、図８に示すように、同符号ならば着目点ｎは有効、異符号ならば着目点ｎは無効という手順を繰り返すことにより、図９に示すように、出口側レーンマーキング２２上の候補点群２４を除去し、本線側レーンマーキング２１上の候補点群２３のみを選択する。
【００２９】
ステップＳ-０，---，Ｓ-８における傾きの符号判定において、傾きの積により同符号、異符号を判定する。すなわち傾きの積が正ならば同符号、負ならば異符号とする。ただし、傾きの積０は同符号に含めるものとする。なお、傾きの絶対値が所定の閾値以下ならば０とする。この閾値は、検出対象道路において分岐路出口を除いて存在する最小曲率半径のカーブの候補点群を用いて求められる傾きのうち、少なくとも1つが０と判定されるように選べばよい。
【００３０】
ステップＳ５において、Ｓ４’で選択されたレーンマーキング候補点１５，１６の集合を基に、数学的モデル式、例えば２次式で近似すると、図１０に示すように、車線を表すレーンマーキング数学的モデル式１７，１８が得られる。Ｓ６において、レーンマーキング数学的モデル式係数を車線認識結果として車両制御装置へ例えば舵角指示として、送信出力する。
【００３１】
ステップＳ３のレーンマーキング探索ウィンドウにおいては、前回の処理周期ステップＳ１〜Ｓ６のステップＳ５のレーンマーキング数学的モデル式推定で得られたレーンマーキング数学的モデル式を基準に、レーンマーキング探索ウィンドウを設定する。前回の処理周期において、レーンマーキング数学的モデル式が得られなかった場合、すなわちレーンマーキング未検出の場合は別途、広範囲なレーンマーキング探索ウィンドウを設定するものとする。
【００３２】
実施の形態２．
実施の形態２は、実施の形態１記載の車線認識画像処理装置のレーンマーキング候補点選択処理に対する実施条件として、レーンマーキング種類条件を付加したものである。レーンマーキング候補点選択処理は、例えば、分岐直前のレーンマーキング種類が「実線」であることに着目し、レーンマーキング種類が「実線」である場合のみ実施とする。
【００３３】
レーンマーキング種類判定は、時間的な候補点検出点数の平均値により行う。
図１１に示すように、左レーンマーキング種類が「実線」、右レーンマーキング種類が「間欠白線」となる場合は、候補点数平均値において明確な差が現れる。例えば、「実線」では９０％以上、「間欠白線」では４０％以下となる。
レーンマーキング候補点選択処理実施において、レーンマーキング種類を限定することにより、図１２のような導流レーンなど特殊レーンマーキング時に、本処理が実行されて車線認識が不安定になることを防ぐことができる。
また、レーンマーキング候補点選択処理実施において、レーンマーキング種類を限定することにより、分岐の無い区間を走行中の処理時間、あるいは左右いずれか分岐の無い側の処理時間を削減できる。
【００３４】
実施の形態３．
実施の形態３では、実施の形態１の車線認識画像処理装置のレーンマーキング候補点選択処理の実施条件として、ウィンカ・スイッチ５のターンシグナルの条件を付加したものである。図２のフローチャートに対し、図１３のフローチャートに示すように、ステップＳ４”においてウィンカ・スイッチ５のターンシグナルのＯＮ／ＯＦＦを判定し、ウィンカ・スイッチ５のターンシグナルのＯＦＦの場合のみステップＳ４’のレーンマーキング候補点選択処理を実施する。
【００３５】
ウィンカ・スイッチ５のターンシグナルのＯＮ操作時に、レーンマーキング候補点選択処理をキャンセルとすることで、図１４のように実際に自車が出口側レーンに向かう場合、自車線のレーンマーキング候補点を除去することなく、速やかに出口側レーンマーキングに移行できるものである。
【００３６】
図１４（ａ）において、出口へ向かうためにウィンカ・スイッチがＯＮとなっていれば、レーンマーキング候補点選択処理が実施されないため、出口側レーンマーキング上の候補点はそのまま維持される。
図１４（ｂ）において、前回の数学的モデル式を基準に次の探索基準位置を設定するため、本線側レーンマーキングは探索範囲外となり、出口側レーンマーキング上に候補点が検出される。
図１４（ｃ）において、本線側レーンマーキング候補点はなくなり、出口側レーンマーキング候補点のみとなる。
図１４（ｄ）において、車両はほぼ出口側レーンに移っており、左側レーンマーキングの認識対象移行は完了している。右側レーンマーキングの移行は左側レーンマーキング位置から車線幅分右へオフセットした位置を探索基準位置とすることで行う。このように、実際に出口側レーンに向かう場合でもウィンカ・スイッチ５のモニタにより速やかに出口側レーンマーキングに移行することができる。
【００３７】
実施の形態４．
レーンマーキング候補点を候補点同士の傾き比較により取捨選択し、分岐路判定を行わないため、分岐路に限定されない。このため、図１５に示すようにレーンマーキング以外の誤検出された候補点除去に対しても有効である。これにより、レーンマーキング数学的モデル式の信頼性をさらに高めることができる。
【００３８】
実施の形態５．
傾きの符号比較により候補点の有効／無効を判定するため、分岐路出口以外の、極点で傾きが符号反転するカーブに対しては、本線側レーンマーキング候補点が除去されることはない。この原理について、以下、図１５，１６により説明する。図１６において、傾き(2)と傾き(3)は値が０となっている。これは、画素単位で同一Ｈ座標となって傾き０の場合と、実施の形態１で述べた所定の閾値以下で０となった場合を含む。このように、分岐路とは異なり、２次曲線で近似できるカーブでは滑らかに形状が変化するため、傾き０となる極点２６が存在する。この極点により、傾きの積による符号判定において、積が０すなわち「異符号ではない」となり、同符号扱いで、候補点は有効となる。よって、傾き(2)から(4)に係る候補点は有効となる。このように、通常のカーブでは候補点選択処理により、本線上のレーンマーキング候補点は無効とならない。
【００３９】
図１５は、Ｈ軸を縦軸にＶ軸を横軸にとって、左カーブでの候補点の位置関係を表したものである。レーンマーキング探索ラインｎ＝０，１，２，---の順に傾きの符号判定を行い、候補点を逐次、取捨選択していく。ｎ＝４の候補点は傾き異符号となるため、除去される。続いてｎ＝８においてＨは極大値をとる。このように、カーブでは滑らかに形状が変化するため、傾き０となる極点２６が存在する。極点２６の前後で傾きの符号は反転するが、傾きの符号判定において傾きの積０を同符号と同じ扱いとしているため、ｎ＝９，１０，１１の候補点は無効とならない。
【００４０】
実施の形態６．
レーンマーキング候補点を候補点同士の傾き比較により取捨選択するが、最初の基準となる傾きは、消失点との傾きを用いるため、図１７に示すように、逆に出口側レーンマーキング候補点を選択してしまうことを予め回避することができる。図１７について説明する。ただし、便宜上、手前から順に候補点選択を行うものとして説明する。
【００４１】
最近傍であるレーンマーキング探索ラインｎ＝０および次のｎ＝１において、出口側レーンマーキング候補点が検出されると、傾き(1)は出口側を指す方向にセットされる。次に、傾き(1)と傾き(2)の比較では異符号となるため、候補点ｎ＝２は除去される。手前から遠方に向かって、レーンマーキング候補点選択処理を繰り返すと、傾き(1)が出口側を指す限り本線側レーンマーキング候補点群２３（ｎ＝２，---，６）が除去され、出口側レーンマーキング候補点群２４のみが選択される。このように、本来の目的とは逆の結果となってしまう。
【００４２】
これは、基準となる開始点における傾きが本来、誤りである出口側レーンマーキング方向となることに原因があるため、レーンマーキング候補点選択処理の開始点において、消失点との傾きとすることにより回避することができる。このとき、開始点が出口側レーンマーキング上にあったとしても、開始点１点のみとなり、候補点数全体でみると、本線側レーンマーキング上の候補点数が上回るため、影響は軽微で済む。
【００４３】
実施の形態７．
レーンマーキング候補点を候補点同士の傾き比較により取捨選択するため、左右いずれの分岐に対しても有効であり、ソフトウェアを左側通行ならば左側分岐専用、右側通行ならば右側分岐専用というように使い分ける必要がなく、ソフトウェアを左右共通とすることができる。
【００４４】
【発明の効果】
以上説明したように、この発明の車線認識画像処理装置によれば、前方を撮影する撮影手段と、この撮影手段により得られた画像を一時記憶する画像記憶手段と、この画像記憶手段より読み出した画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定手段と、このレーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出するレーンマーキング候補点抽出手段と、このレーンマーキング候補点抽出手段により選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定する車線認識手段を備え、上記レーンマーキング候補点抽出手段は、これにより抽出されたレーンマーキング候補点を取捨選択するレーンマーキング候補点選択手段を有し、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する 2 点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計 3 点を対象に、隣接する 2 点間を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行うものである。
【００４５】
そのため、レーンマーキング候補点を候補点同士の傾き比較により、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行なって、取捨選択するという平易なアルゴリズムでソフトウェア的に処理するため、分岐路通過時においてナビゲーション装置などの他のインフラ情報の助けを必要とせず、本線側のレーンマーキングを正しく認識することができるものである。また、分岐路に限定されず、レーンマーキング以外の誤検出された候補点除去に対しても有効である。
【００４６】
また、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きのいずれか一方の絶対値が所定閾値以下のときは、これらの傾きを同符号として扱うように処理を行うので、分岐路出口以外の、極点で傾きが符号反転するカーブに対しても、本線側レーンマーキング候補点が除去されることはない。
【００４７】
また、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、最初の1点と消失点を結ぶ直線の傾きと最初の点とこれから選択するか否かを決定する１点（すなわち選択対象）を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の１点を有効とし、異符号となる場合は選択対象の１点を無効にする処理を行うので、最初の基準となる傾きは消失点との傾きを用いるため、出口側レーンマーキング候補点を選択してしまうことを回避することができる。
【００４８】
また、上記レーンマーキング候補点選択手段を、左又は右レーンマーキングが特定の種類の場合に動作させるようにしたので、レーンマーキング候補点選択処理実施において、レーンマーキング種類を限定することにより、本処理が実行されて車線認識が不安定になることを防ぐことができる。
また、上記レーンマーキング候補点選択手段を、ウィンカ・スイッチがオフの場合に動作させるようにしたので、動作をより確実にすることができる。
【００４９】
また、この発明の車線認識画像処理を実行させるためのプログラムによれば、前方を撮影する撮影手段により得られた画像を一時記憶し、記憶された画像を読み出してレーンマーキング探索範囲を設定し、レーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出し、検出したレーンマーキング候補点を取捨選択し、選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定するようにし、上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する 2 点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計 3 点を対象に、隣接する 2 点間を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行うようにしたものである。
【００５０】
そのため、レーンマーキング候補点を候補点同士の傾き比較により、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行なって、取捨選択するという平易なアルゴリズムでソフトウェア的に処理するため、分岐路通過時においてナビゲーション装置などの他のインフラ情報の助けを必要とせず、本線側のレーンマーキングを正しく認識することができる。また、分岐路に限定されず、レーンマーキング以外の誤検出された候補点除去に対しても有効である。
【００５１】
また、上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きのいずれか一方の絶対値が所定閾値以下のときは、これらの傾きを同符号として扱うように処理を行うので、分岐路出口以外の、極点で傾きが符号反転するカーブに対しても、本線側レーンマーキング候補点が除去されることはない。
【００５２】
また、上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、最初の1点と消失点を結ぶ直線の傾きと最初の点とこれから選択するか否かを決定する１点（すなわち選択対象）を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の１点を有効とし、異符号となる場合は選択対象の１点を無効にする処理を行うようにしたので、最初の基準となる傾きは消失点との傾きを用いるため、出口側レーンマーキング候補点を選択してしまうことを回避することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１の車線認識画像処理装置の構成を示すブロック図である。
【図２】実施の形態１の車線認識画像処理装置の処理フローを示すフローチャートである。
【図３】車両へのカメラ取り付け例を示す説明図である。
【図４】車両前方を撮影したカメラ出力画像図である。
【図５】レーンマーキング探索ライン上のレーンマーキング候補点検出の説明図である。
【図６】出口側レーンマーキング候補点除去の手順を表す説明図である。
【図７】消失点，最初の候補点，選択対象の候補点の3点を対象とした傾きの説明図である。
【図８】有効となった候補点２点と選択対象の候補点の有効／無効を判定する際の傾きを表す図である。
【図９】出口側と本線側のレーンマーキング候補点の位置関係を表す説明図である。
【図１０】レーンマーキング候補点から推定したレーンマーキング数学的モデル式を示す説明図である。
【図１１】時間的候補点密度によるレーンマーキング種類判定を行う説明図である。
【図１２】導流レーンの説明図である。
【図１３】実施の形態３の車線認識画像処理装置の処理フローを示すフローチャートである。
【図１４】ウィンカ・スイッチＯＮ状態で出口側レーンへ移行するときの説明図である。
【図１５】カーブにおける候補点選択処理を示す説明図である。
【図１６】カーブにおける候補点選択処理を示す説明図である。
【図１７】出口側を選択する候補点選択処理を示す説明図である。
【符号の説明】
１撮像手段、２画像処理ＥＣＵ、
３メインＥＣＵ、４画像記憶手段、
５ウインカ・スイッチ、
６レーンマーキング探索ウィンドウ設定手段、
７レーンマーキング候補点抽出手段、
８レーンマーキング候補点選択手段、９車線認識手段、
１０車線認識結果出力部、１２車両、
１３左レーンマーキング、１４右レーンマーキング、
１５レーンマーキング候補点、１６レーンマーキング候補点、
１７レーンマーキング数学的モデル式、
１８レーンマーキング数学的モデル式、
１９レーンマーキング探索ウィンドウ、
２０レーンマーキング探索ウィンドウ、
２１本線側レーンマーキング、２２出口側レーンマーキング、
２３本線側レーンマーキング候補点群、
２４出口側レーンマーキング候補点群、
２５レーンマーキング探索ライン、２６極点。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a lane recognition image processing apparatus for providing vehicle position information with respect to a road for vehicle control, such as a lane departure warning for the purpose of preventive safety of automobiles and a lane keeping steering assist for the purpose of reducing driver's burden. Is.
[0002]
[Prior art]
As a conventional lane recognition image processing apparatus, for example, as in Japanese Patent Application Laid-Open No. 2000-105898 and Japanese Patent Application Laid-Open No. 11-232467, a branch that determines a branch road from an increase in left and right lane marking intervals and an increase in lane marking width Some have a determination means.
[0003]
In addition, there is one that obtains branch information in cooperation with a navigation device such as Japanese Patent Application Laid-Open No. 2000-55677.
[0004]
Further, as disclosed in JP-A-11-281352 and JP-A-6-225308, there is a method of setting a lane marking detection parameter and a lane marking search window position from vehicle behavior.
[0005]
In addition, as disclosed in Japanese Patent Laid-Open No. 9-91440, by comparing with predetermined model data, the lane marking of the own lane can be correctly recognized even when there are a plurality of lane marking candidates.
[0006]
[Problems to be solved by the invention]
When judging a branch road from the spread of the left and right lane marking intervals, it is effective for identifying the vehicle position in the route guidance of the navigation device, but in the lane recognition that is real-time image processing for vehicle control, the exit is already Indicates that the side lane marking is misrecognized, and is not suitable for avoiding misrecognition in advance.
[0007]
When branch information is obtained from a navigation device, it is a prerequisite that the vehicle is equipped with a navigation device, there is no error in the direction of travel in identifying the vehicle position, and it is not possible to identify whether the vehicle is traveling in a driving lane or overtaking lane Branch information cannot be used effectively.
[0008]
When it is determined that a branch path is obtained by comparing with the storage data of the branch path shape, the existence of the branch path can be known in advance, but a large-capacity memory for storing model data is provided in the image processing apparatus. Since it is necessary to mount it and enormous processing time is required for data comparison, the hardware / software load becomes very large.
[0009]
When temporal low-frequency filter processing is applied to the lane marking mathematical model equation coefficient itself, a phase delay corresponding to the filter time constant occurs in the lane recognition result, and real-time characteristics for vehicle control are lost.
[0010]
Applying temporal low-frequency filter processing to the lane marking search window can prevent the phase lag of the lane recognition result, but the lane marking is outside the search window and cannot be detected when the vehicle moves suddenly. For this reason, it is necessary to add an exceptional process of canceling the filter process at a sudden change. In addition, it is necessary to always monitor the movement of the lateral position of one of the left and right lane markings in order to determine whether to perform exception processing. Therefore, the lane marking to be filtered is limited to either the left or right.
[0011]
In the mathematical model formula calculation, if erroneous detection points coexist in the candidate point set, the reliability of the obtained model formula is significantly reduced. In particular, if an exit-side lane marking is erroneously detected at the exit of a branch road, as the vehicle travels, the ratio of the number of detection points on the exit-side lane marking, which is inherently an error, increases, resulting in a vicious circle of losing sight of the main-line lane marking.
[0012]
In the present invention, lane marking candidate points are compared by comparing the slopes between candidate points.When these slopes have the same sign, the endpoint of the selection target is enabled, and when the slope is different, the process of invalidating the endpoint of the selection target is performed,A lane recognition image that is processed in software with a simple algorithm of selection, and that correctly recognizes the lane marking on the main line side without requiring the assistance of other infrastructure information such as a navigation device when passing through a branch road It is an object to obtain a processing device and a program for executing the processing.
[0013]
[Means for Solving the Problems]
A lane recognition image processing apparatus according to the present invention includes a photographing means for photographing the front, an image storing means for temporarily storing an image obtained by the photographing means, and a lane marking search for an image read from the image storing means. Lane marking search window setting means for setting a range, lane marking candidate point extraction means for detecting lane marking candidate points from within the lane marking search window, and lane marking candidate points selected by the lane marking candidate point extraction means Lane recognition means for estimating a lane marking mathematical model expression by approximating the set with a mathematical model expression, and the lane marking candidate point extraction means,TakeLane marking candidate point selection means to be selectedHave
[0014]
the aboveLane marking candidate point selection means, in an orthogonal coordinate system with a horizontal line as one axis, two adjacent lane marking candidate points that are already valid, and one point that determines whether to select from now on When the slope of a straight line connecting two adjacent points is calculated for a total of 3 points (ie, selection targets), and these slopes have the same sign, the endpoints of the selection target are valid, and the signs are different Is a process for invalidating the endpoints to be selected.
[0015]
In addition, the lane marking candidate point selection means determines whether or not to select two adjacent lane marking candidate points that are already valid in the Cartesian coordinate system with a horizontal line as one axis. Find the slope of a straight line connecting two adjacent points for a total of three points with endpoints (ie, selection targets), and when the absolute value of one of these slopes is less than or equal to a predetermined threshold, Processing is performed so that the inclination is treated as the same sign.
[0016]
Further, the lane marking candidate point selection means determines the slope of the straight line connecting the first point and the vanishing point, the first point, and whether or not to select in the orthogonal coordinate system having a horizontal line as one axis. A process for obtaining the slope of a straight line connecting points (that is, selection targets), and validating one point of the selection target when these slopes have the same sign, and invalidating one point of the selection target when the slopes have different signs. Is what you do.
[0017]
In addition, the lane marking candidate point selection means is operated when the left or right lane marking is of a specific type.
Furthermore, the lane marking candidate point selection means is operated when the blinker switch is off.
[0018]
A program for executing the lane recognition image processing according to the present invention temporarily stores an image obtained by a photographing means for photographing the front, reads the stored image, sets a lane marking search range, Lane marking candidate points are detected from the marking search window, and the detected lane marking candidate points are detected.TakeThe selected lane marking candidate points are approximated by a mathematical model formula to estimate the lane marking mathematical model formula,
[0019]
In selecting the above lane marking candidate points,In a Cartesian coordinate system with a horizontal line as one axis, two adjacent lane marking candidate points that have already been validated and one point that determines whether or not to select from now are used as endpoints (ie, selection targets). Obtains the slope of a straight line connecting two adjacent points for three points. If these slopes have the same sign, the selected endpoint is valid, and if the slope is different, the selected endpoint is invalidated. The processing to be performed is performed.
[0020]
In addition, the above lane marking candidate pointsWhen choosingIn a Cartesian coordinate system with a horizontal line as one axis, two adjacent lane marking candidate points that have already been validated and one point that determines whether or not to select from now are used as endpoints (ie, selection targets). For three points, find the slope of a straight line connecting two adjacent points, and if the absolute value of one of these slopes is less than or equal to a predetermined threshold, perform processing to treat these slopes as the same sign Is.
Furthermore,In selecting lane marking candidate points,In a Cartesian coordinate system with a horizontal line as one axis, the slope of the straight line connecting the first point and the vanishing point, and the slope of the straight line connecting the first point and one point that determines whether or not to select it (ie, the selection target) When the slopes have the same sign, one point to be selected is validated, and when the slopes have different signs, processing to invalidate the one point to be selected is performed.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
Embodiments of the present invention will be described below with reference to the drawings. In the drawings, the same reference numerals indicate the same or corresponding parts. The invention related to this invention is described in Japanese Patent Application No. 2001-114488 “Image processing apparatus and image processing method for lane recognition” filed on April 12, 2001.
FIG. 1 is a block diagram showing a configuration of a lane recognition image processing apparatus according to Embodiment 1 of the present invention. FIG. 2 is a flowchart illustrating a processing flow of the lane recognition image processing apparatus according to the first embodiment.
[0022]
An in-vehicle camera 1 that is an imaging means is installed in the front part of the vehicle and images the road surface in front of the vehicle. The obtained image is input to an image processing ECU (Electronic Control Unit) 2 and subjected to image processing. A signal from the image processing ECU 2 is input to the main ECU 3 and temporarily stored in the image storage unit 4. On the other hand, a turn signal is input to the main ECU 3 from a turn signal switch 5 as a traveling direction detector. The main ECU 3 sets the lane marking search range as a search window by the lane marking search window setting means 6 for the image read from the image storage means 4. Lane marking candidate points are detected by the lane marking candidate point extraction means 7 from the lane marking search window. The detected lane marking candidate points are selected by the lane marking candidate point selection means 8 by comparing the inclinations of the candidate points. The lane recognition unit 9 approximates the selected set of lane marking candidate points with a mathematical model formula to estimate the lane marking mathematical model formula. This is output to the lane recognition result output unit 10 and used for a steering angle instruction or the like.
[0023]
The flowchart of FIG. 2 will be described. The hardware configuration of the basic part is the same as that of the above-described conventional lane image processing apparatus of this type, but the part for selecting the lane marking candidate point is greatly different in the lane marking candidate point selection in step S4 '.
[0024]
In step S1, as shown in FIG. 3, the front of the vehicle is photographed by the camera 1 attached to the vehicle 12. As shown in FIG. 4, it is assumed that the left and right lane markings 13 and 14 of the own lane are within the horizontal angle of view. In step S2, an image as shown in FIG. 4 is taken into the image storage means (image memory) 4. In step S3, the horizontal scanning range for searching for the lane marking candidate points 15 and 16 is set by the lane marking search windows 19 and 20 (portions surrounded by broken lines) shown in FIG.
[0025]
In step S4, the line 25 at the predetermined vertical position V shown in FIG. 5 is scanned in the horizontal H direction in the lane marking search windows 19 and 20, and based on the luminance distribution read from the image memory 4, The lane marking candidate points 15 and 16 to be represented are detected. The lane marking search line 25, which is the H direction scanning line, is a V coordinate common to the left and right._n N is set to n = 0, 1, ----, N-1. In step S4 ', the lane marking candidate points 15 and 16 obtained in step S4 are selected. The procedure for removing the candidate points 24 on the exit-side lane marking 22 with respect to the main line-side lane marking 21 will be described using the left branch shown in FIG. 6 as an example. As shown in FIG. 6, the inclination between the candidate points indicates horizontal coordinates / vertical coordinates = ΔH / ΔV. This inclination is compared from the front, and if the same sign, the candidate point is valid, and if it is different, it is invalid.
[0026]
Hereinafter, steps S-0, ---, and S-8 in FIG. 6 will be described. n is a lane marking search line No. Point to. However, for the sake of convenience, description will be made assuming that lane marking candidate points exist on all lane marking search lines. Is a missing number in the following process.
In step S-0, as shown in FIGS. 7A and 7B, the slope (0, f) between the candidate point n = 0 and the vanishing point is shown._0e) And the slope of candidate point n = 0,1(1)Is calculated. In the present invention, the vanishing point refers to a point that disappears at the tip of the traveling lane on the image. In processing, straight line approximation is performed on each of candidate points in the vicinity, for example, candidate points up to n <8, and the intersection of the obtained right and left approximate lines is defined as a vanishing point.
Slope (0, f_0e) And tilt(1)Compare the signs of. Because of the same sign, candidate point n = 1 is valid.
[0027]
In step S-1, the candidate points n = 1, 2 and the slope between the candidate points(2)Is calculated.
In step S-2, the slope(1)And tilt(2)Compare the signs of. Because of the same sign, candidate point n = 2 is valid.
In step S-3, from candidate point n = 2, 3, the slope(3)Is calculated.
In step S-4, the slope(2)And tilt(3)Compare the signs of. Candidate point n = 3 is invalid because of a different code.
In step S-5, the candidate point n = 3 has become invalid, so the candidate point n = 2, 4(Four)Is calculated.
In step S-6, the slope(2)And tilt(Four)Compare the signs of. Candidate point n = 4 is invalid because of a different code.
In step S-7, the candidate point n = 4 has become invalid.(Five)Is calculated.
In step S-8, the slope(2)And tilt(Five)Compare the signs of. Because of the same sign, candidate point n = 5 is valid.
[0028]
In this way, the slope (ni, n) with respect to the candidate point ni (i <n) that is effective closest to the point of interest n is calculated, and the slope of the candidate point ni is the largest. Sign comparison is made with the slope (n−i−j, n−i) of the candidate point n−i−j (i + j <n) that has become effective in the vicinity. By repeating the procedure that n is valid and the point of interest n is invalid if it is a different code, the candidate point group 24 on the exit side lane marking 22 is removed as shown in FIG. 9, and the candidate on the main line side lane marking 21 is removed. Only the point group 23 is selected.
[0029]
In the sign determination of the slope in steps S-0, ---, S-8, the same sign or different sign is determined by the product of the slope. That is, if the product of the slope is positive, the sign is the same, and if the product is negative, the sign is different. However, the slope product 0 is included in the same sign. If the absolute value of the slope is equal to or less than a predetermined threshold, it is set to 0. This threshold value may be selected so that at least one of the slopes obtained using the candidate point group of the curve with the minimum curvature radius existing on the detection target road excluding the branch road exit is determined to be zero.
[0030]
In step S5, when approximated by a mathematical model equation, for example, a quadratic equation, based on the set of lane marking candidate points 15 and 16 selected in S4 ′, as shown in FIG. Model equations 17 and 18 are obtained. In S6, the lane marking mathematical model equation coefficient is transmitted and output as a lane recognition result to the vehicle control device, for example, as a steering angle instruction.
[0031]
In the lane marking search window in step S3, the lane marking search window is set based on the lane marking mathematical model formula obtained in the lane marking mathematical model formula estimation in step S5 of the previous processing cycle steps S1 to S6. . If the mathematical model formula of lane marking is not obtained in the previous processing cycle, that is, if no lane marking is detected, a wide lane marking search window is set separately.
[0032]
Embodiment 2. FIG.
In the second embodiment, a lane marking type condition is added as an execution condition for the lane marking candidate point selection process of the lane recognition image processing apparatus described in the first embodiment. The lane marking candidate point selection process is performed only when, for example, the lane marking type immediately before branching is “solid line” and the lane marking type is “solid line”.
[0033]
The lane marking type determination is performed based on the average value of the number of candidate point detection points over time.
As shown in FIG. 11, when the left lane marking type is “solid line” and the right lane marking type is “intermittent white line”, a clear difference appears in the average number of candidate points. For example, it is 90% or more for the “solid line” and 40% or less for the “intermittent white line”.
In performing lane marking candidate point selection processing, by limiting the types of lane marking, it is possible to prevent the lane recognition from becoming unstable due to the execution of this processing during special lane marking such as diversion lanes as shown in FIG. it can.
Further, in the execution of the lane marking candidate point selection process, by limiting the type of lane marking, it is possible to reduce the processing time during traveling in a section without a branch, or the processing time on the left or right side without a branch.
[0034]
Embodiment 3 FIG.
In the third embodiment, a turn signal condition of the winker switch 5 is added as an execution condition of the lane marking candidate point selection process of the lane recognition image processing apparatus of the first embodiment. In contrast to the flowchart of FIG. 2, as shown in the flowchart of FIG. 13, it is determined in step S4 ″ whether the turn signal of the winker switch 5 is ON or OFF. Only when the turn signal of the winker switch 5 is OFF, step S4 ′. The lane marking candidate point selection process is executed.
[0035]
By canceling the lane marking candidate point selection process when the turn signal of the turn signal switch 5 is turned ON, when the vehicle actually heads for the exit lane as shown in FIG. Without removal, it is possible to promptly shift to exit-side lane marking.
[0036]
In FIG. 14A, if the winker switch is turned on to go to the exit, the lane marking candidate point selection process is not performed, and the candidate points on the exit side lane marking are maintained as they are.
In FIG. 14B, since the next search reference position is set based on the previous mathematical model formula, the main line side lane marking is outside the search range, and a candidate point is detected on the exit side lane marking.
In FIG. 14 (c), there are no main lane marking candidate points and only exit lane marking candidate points.
In FIG. 14 (d), the vehicle has almost moved to the exit lane, and the recognition target shift of the left lane marking has been completed. The transition of the right lane marking is performed by setting the position offset to the right by the lane width from the left lane marking position as the search reference position. In this way, even when actually going to the exit lane, it is possible to promptly shift to exit lane marking by monitoring the blinker switch 5.
[0037]
Embodiment 4 FIG.
Since the lane marking candidate points are selected by comparing the inclinations of the candidate points and the branch path determination is not performed, the lane marking candidate points are not limited to the branch path. For this reason, as shown in FIG. 15, it is also effective for removing erroneously detected candidate points other than lane marking. This further increases the reliability of the lane marking mathematical model formula.
[0038]
Embodiment 5 FIG.
Since the validity / invalidity of the candidate point is determined by comparing the sign of the inclination, the main line side lane marking candidate point is not removed for a curve whose inclination is reversed at the pole other than the branch road exit. This principle will be described below with reference to FIGS. In FIG. 16, the slope(2)And tilt(3)Has a value of 0. This includes the case where the same H coordinate is obtained in pixel units and the inclination is 0, and the case where the inclination is 0 below the predetermined threshold described in the first embodiment. In this way, unlike a branch path, the shape of a curve that can be approximated by a quadratic curve changes smoothly, and therefore there is a pole 26 with a slope of 0. With this extreme point, in the sign determination by the product of the slope, the product becomes 0, that is, “not a different sign”, and the candidate point becomes valid with the same sign treatment. Therefore, tilt(2)From(Four)The candidate points related to are valid. In this way, in the normal curve, the lane marking candidate points on the main line are not invalidated by the candidate point selection process.
[0039]
FIG. 15 shows the positional relationship of candidate points on the left curve with the H axis as the vertical axis and the V axis as the horizontal axis. The lane marking search lines n = 0, 1, 2,... Are subjected to slope sign determination in order, and candidate points are sequentially selected. Since n = 4 candidate points have different slopes, they are removed. Subsequently, at n = 8, H takes a maximum value. In this way, since the shape smoothly changes in the curve, there is a pole 26 having a slope of 0. Although the sign of the inclination is inverted before and after the pole 26, the candidate product of n = 9, 10, and 11 is not invalidated because the inclination product 0 is treated as the same sign in the sign determination of the inclination.
[0040]
Embodiment 6 FIG.
The lane marking candidate points are selected by comparing the slopes of the candidate points. However, since the slope that is the first reference uses the slope with the vanishing point, as shown in FIG. The selection can be avoided in advance. FIG. 17 will be described. However, for the sake of convenience, description will be made assuming that candidate points are selected sequentially from the front.
[0041]
When an exit lane marking candidate point is detected in the nearest lane marking search line n = 0 and the next n = 1, the slope(1)Is set in the direction pointing to the exit side. Then tilt(1)And tilt(2)Since the comparison results in different signs, the candidate point n = 2 is removed. If you repeat the lane marking candidate point selection process from the near side to the far side,(1)As long as indicates the exit side, the main line side lane marking candidate point group 23 (n = 2, ---, 6) is removed, and only the exit side lane marking candidate point group 24 is selected. Thus, the result is the opposite of the original purpose.
[0042]
This is due to the fact that the slope at the reference starting point is the erroneous exit side lane marking direction, so by setting the slope with the vanishing point at the starting point of the lane marking candidate point selection process It can be avoided. At this time, even if the starting point is on the exit-side lane marking, there is only one starting point, and the total number of candidate points exceeds the number of candidate points on the main line-side lane marking, so the influence is negligible.
[0043]
Embodiment 7 FIG.
Since lane marking candidate points are selected by comparing the slopes of candidate points, it is effective for both left and right branches, and the software is used separately for left branch if left-hand traffic and right branch if right-hand traffic. There is no need and the software can be shared between the left and right
[0044]
【The invention's effect】
As described above, according to the lane recognition image processing apparatus of the present invention, the photographing means for photographing the front, the image storage means for temporarily storing the image obtained by the photographing means, and the image storage means are read out. Lane marking search window setting means for setting the lane marking search range for the image, lane marking candidate point extraction means for detecting lane marking candidate points from the lane marking search window, and selection by this lane marking candidate point extraction means A lane recognition means for estimating a lane marking mathematical model formula by approximating the set of lane marking candidate points obtained by a mathematical model formula, and the lane marking candidate point extraction means is configured to extract the lane marking candidate points extracted thereby.TakeLane marking candidate point selection means to be selectedThe lane marking candidate point selection means is adjacent to the lane marking candidate points that are already effective in the Cartesian coordinate system having a horizontal line as one axis. 2 A point and a point that determines whether or not to select from now on is an endpoint (that is, a selection target). Three Adjacent to a point 2 Obtain the slope of the straight line connecting the points, and if these slopes have the same sign, the selection target endpoint is valid, and if the slope is different, the selection target endpoint is invalidated. Is what you do.
[0045]
Therefore, by comparing the slopes of candidate lane marking points, the endpoints to be selected are validated when these slopes have the same sign, and the endpoints to be selected are invalidated when they have different signs. Since it is processed by software with a simple algorithm of selecting, it can correctly recognize the lane marking on the main line without requiring the assistance of other infrastructure information such as navigation devices when passing through a branch road It is. Also,The present invention is not limited to a branch road, and is effective for removal of erroneously detected candidate points other than lane marking.
[0046]
In addition, the lane marking candidate point selection means determines whether or not to select two adjacent lane marking candidate points that are already valid in the Cartesian coordinate system with a horizontal line as one axis. Find the slope of a straight line connecting two adjacent points for a total of three points with endpoints (ie, selection targets), and when the absolute value of one of these slopes is less than or equal to a predetermined threshold, Since the processing is performed so that the inclination is treated as the same sign, the main line side lane marking candidate points are not removed even for curves other than the exit of the branch road, where the inclination is reversed at the poles.
[0047]
Further, the lane marking candidate point selection means determines the slope of the straight line connecting the first point and the vanishing point, the first point, and whether or not to select in the orthogonal coordinate system having a horizontal line as one axis. A process for obtaining the slope of a straight line connecting points (that is, selection targets), and validating one point of the selection target when these slopes have the same sign, and invalidating one point of the selection target when the slopes have different signs. Since this is performed, since the inclination as the first reference uses the inclination with the vanishing point, it is possible to avoid selecting the exit-side lane marking candidate point.
[0048]
In addition, since the lane marking candidate point selection means is operated when the left or right lane marking is of a specific type, this processing can be performed by limiting the lane marking type in the lane marking candidate point selection process. Can prevent the lane recognition from becoming unstable.
Further, since the lane marking candidate point selection means is operated when the winker switch is OFF, the operation can be made more reliable.
[0049]
Further, according to the program for executing the lane recognition image processing of the present invention, the image obtained by the photographing means for photographing the front is temporarily stored, the stored image is read and the lane marking search range is set, Lane marking candidate points are detected from the lane marking search window, and the detected lane marking candidate points are detected.TakeApproximate the selected set of lane marking candidate points with a mathematical model formula to estimate the lane marking mathematical model formulaIn selecting the lane marking candidate points, the adjacent lane marking candidate points that are already valid in the Cartesian coordinate system with a horizontal line as one axis 2 A point and a point that determines whether or not to select from now on is an endpoint (that is, a selection target). Three Adjacent to a point 2 The straight line connecting the points is obtained, and when these slopes have the same sign, the endpoint of the selection target is validated, and when the slope is different, the endpoint of the selection target is invalidated. is there.
[0050]
Therefore, by comparing the slopes of candidate lane marking points, the endpoints to be selected are validated when these slopes have the same sign, and the endpoints to be selected are invalidated when they have different signs. In addition, since it is processed in software by a simple algorithm of selecting, it is possible to correctly recognize the lane marking on the main line side without needing the assistance of other infrastructure information such as a navigation device when passing through the branch road. Also,The present invention is not limited to a branch road, and is effective for removal of erroneously detected candidate points other than lane marking.
[0051]
In addition, the above lane marking candidate pointsWhen choosingIn a Cartesian coordinate system with a horizontal line as one axis, two adjacent lane marking candidate points that have already been validated and one point that determines whether or not to select from now are used as endpoints (ie, selection targets). For three points, find the slope of a straight line connecting two adjacent points, and if the absolute value of one of these slopes is less than or equal to a predetermined threshold, perform processing to treat these slopes as the same sign Therefore, the main line side lane marking candidate points are not removed even for curves other than the branch road exits whose slopes are sign-inverted at the extreme points.
[0052]
Also,In selecting the above lane marking candidate points,In a Cartesian coordinate system with a horizontal line as one axis, the slope of the straight line connecting the first point and the vanishing point, and the slope of the straight line connecting the first point and one point that determines whether or not to select it (ie, the selection target) When the slopes have the same sign, the selection target is validated, and when the slopes are different, the selection target is invalidated. Since the inclination uses the inclination with the vanishing point, it is possible to avoid selecting the exit side lane marking candidate point.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a lane recognition image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing a processing flow of the lane recognition image processing apparatus according to the first embodiment.
FIG. 3 is an explanatory diagram showing an example of attaching a camera to a vehicle.
FIG. 4 is a camera output image obtained by photographing the front of the vehicle.
FIG. 5 is an explanatory diagram of detection of lane marking candidate points on a lane marking search line.
FIG. 6 is an explanatory diagram illustrating a procedure for removing exit-side lane marking candidate points.
FIG. 7 is an explanatory diagram of inclinations for three points: a vanishing point, a first candidate point, and a candidate point to be selected.
FIG. 8 is a diagram showing a slope when determining validity / invalidity of two valid candidate points and a candidate point to be selected.
FIG. 9 is an explanatory diagram illustrating a positional relationship between lane marking candidate points on the exit side and the main line side.
FIG. 10 is an explanatory diagram showing a lane marking mathematical model formula estimated from lane marking candidate points.
FIG. 11 is an explanatory diagram for performing lane marking type determination based on temporal candidate point density.
FIG. 12 is an explanatory diagram of a diversion lane.
FIG. 13 is a flowchart illustrating a processing flow of the lane recognition image processing apparatus according to the third embodiment.
FIG. 14 is an explanatory diagram when shifting to the exit lane when the winker switch is ON.
FIG. 15 is an explanatory diagram showing candidate point selection processing in a curve.
FIG. 16 is an explanatory diagram showing candidate point selection processing in a curve.
FIG. 17 is an explanatory diagram illustrating candidate point selection processing for selecting an exit side.
[Explanation of symbols]
1 imaging means, 2 image processing ECU,
3 main ECU, 4 image storage means,
5 blinker switch,
6 Lane marking search window setting means,
7 Lane marking candidate point extraction means,
8 lane marking candidate point selection means, 9 lane recognition means,
10 lane recognition result output unit, 12 vehicle,
13 Left lane marking, 14 Right lane marking,
15 lane marking candidate points, 16 lane marking candidate points,
17 lane marking mathematical model formula,
18 lane marking mathematical model formula,
19 Lane marking search window,
20 Lane marking search window,
21 Main line lane marking, 22 Exit lane marking,
23 main line side lane marking candidate points,
24 Exit side lane marking candidate points,
25 lane marking search line, 26 poles.

Claims

Imaging means for imaging the front, image storage means for temporarily storing an image obtained by the imaging means, lane marking search window setting means for setting a lane marking search range for an image read from the image storage means, Lane marking candidate point extraction means for detecting lane marking candidate points from the lane marking search window, and a set of lane marking candidate points selected by the lane marking candidate point extraction means is approximated by a mathematical model formula to comprising a lane recognition means for estimating the marking mathematical model equation, the lane marking candidate point extraction means has a lane marking candidate point selection means for discard selecting preparative lane marking candidate points extracted by this, the lane marking The candidate point selection means uses a horizontal line as one axis. That in the orthogonal coordinate system, the subject and two points adjacent became already active within the lane marking candidate points, therefrom one point an end point to determine whether or not to select (i.e. selection) a total of three points to, Obtain the slope of the straight line connecting two adjacent points, and if these slopes have the same sign, the endpoint of the selection target is valid, and if the slope is different, the endpoint of the selection target is invalidated. A characteristic lane recognition image processing apparatus.

The lane marking candidate point selection means, in an orthogonal coordinate system with a horizontal line as one axis, two adjacent lane marking candidate points that have already become valid and one point that determines whether or not to select from now on. Find the slope of a straight line connecting two adjacent points for a total of three endpoints (ie, selection targets). If the absolute value of one of these slopes is less than or equal to a predetermined threshold, The lane recognition image processing apparatus according to claim 1 , wherein the lane recognition image processing apparatus performs processing so as to handle the same symbol.

Imaging means for imaging the front, image storage means for temporarily storing an image obtained by the imaging means, lane marking search window setting means for setting a lane marking search range for an image read from the image storage means, Lane marking candidate point extraction means for detecting lane marking candidate points from the lane marking search window, and a set of lane marking candidate points selected by the lane marking candidate point extraction means is approximated by a mathematical model formula to A lane recognition means for estimating a mathematical model expression for marking is provided, and the lane marking candidate point extraction means has lane marking candidate point selection means for selecting the extracted lane marking candidate points, and the lane marking candidate The point selection means uses a horizontal line as one axis. In the Cartesian coordinate system, find the slope of the straight line connecting the first point and the vanishing point, and the slope of the straight line connecting the first point and one point that determines whether or not to select (that is, the selection target). If is made the same symbols as valid point to be selected, different signs become car line recognition image processing apparatus you and performing processing to disable one point to be selected if.

The lane recognition image processing according to any one of claims 1 to 3 , wherein the lane marking candidate point selection means is operated when the left or right lane marking is of a specific type. apparatus.

The lane recognition image processing apparatus according to any one of claims 1 to 4, wherein the lane marking candidate point selection means is operated when a winker switch is off.

Temporarily store the image obtained by the photographing means for photographing the front, read the stored image, set the lane marking search range, detect the lane marking candidate point from within the lane marking search window, and detect the detected lane marking candidate and discard select preparative point, a program for executing the the lane recognition image processing so as to estimate the lane marking mathematical model equation is approximated by a mathematical model equation the set of lane marking candidate point selected ,
Order to sift through the lane marking candidate points, in an orthogonal coordinate system with one axis a horizontal line, determining two points that are adjacent became already active within the lane marking candidate point, whether to selected therefrom The slope of a straight line connecting two adjacent points is obtained for a total of three points with one point as the end point (ie, the selection target) . If these slopes have the same sign, the selection target end point is validated. A program for executing lane recognition image processing in which processing for invalidating an end point to be selected is performed when it is a code.

In selecting the lane marking candidate points , in the Cartesian coordinate system having a horizontal line as one axis, two adjacent lane marking candidate points that are already valid and whether or not to select from now are determined. Find the slope of a straight line connecting two adjacent points for a total of three points with one point as the end point (ie, the selection target). If the absolute value of one of these slopes is less than or equal to a predetermined threshold, The program for executing the lane recognition image processing according to claim 6 , wherein the processing is performed so that the inclination of the vehicle is treated as the same sign.

Temporarily store the image obtained by the photographing means for photographing the front, read the stored image, set the lane marking search range, detect the lane marking candidate point from within the lane marking search window, and detect the detected lane marking candidate A program for executing lane recognition image processing by selecting points, approximating a set of selected lane marking candidate points by a mathematical model formula and estimating a lane marking mathematical model formula,
In selecting the above lane marking candidate points, in the Cartesian coordinate system with a horizontal line as one axis, determine the slope of the straight line connecting the first point and the vanishing point, the first point, and whether to select from now on. Processing for obtaining the slope of a straight line connecting one point (that is, a selection target), and validating one point of the selection target when these slopes have the same sign, and invalidating one point of the selection target when the slopes have different signs program for executing the car line recognition image processing to perform.