JP4107587B2 - 車線認識画像処理装置 - Google Patents

Description

この発明は、自動車の予防安全を目的とした車線逸脱警報（ＬＤＷＳ）や運転者の負担軽減を目的としたレーンキープシステム（ＬＫＳ）などの車両制御に用いられる車両位置情報を提供するための車線認識画像処理装置に関するものである。

一般に、車線認識画像処理装置の認識対象となるのは、車線境界線を表すレーンマーキングであり、路面に塗布された白線（または、黄色線など）を指すが、国や地域によって様々な形状が存在する。
特に、米国カリフォルニア州には、Ｒａｉｓｅｄ Ｐａｖｅｍｅｎｔ Ｍａｒｋｅｒｓの１種であるボッツ・ドッツ（Ｂｏｔｔｓ’ Ｄｏｔｓ）と呼ばれる道路鋲が敷設されたフリーウェイや州道などがある。

上記ボッツ・ドッツ（以下、単数の場合には、「ドット」ともいう）は、円状の鋲が車線境界線上に規則的に敷設されたものであり、車両が鋲を乗り越えるときに発生するステアリングへの反力や音の発生を重要視している。
したがって、ボッツ・ドッツは、白線や黄色線のようなペイント・レーンマーキングと比べて、路面とのコントラストが低く且つ進行方向の連続性が乏しいため視認性が非常に悪く、画像処理装置における車線認識を非常に困難なものとしている。
また、通常のレーンマーキングと同じレーン認識アルゴリズムを用いて画像認識する場合、ボッツ・ドッツをノイズから識別して分離する必要があり、後処理をするためのハードウェア・ソフトウェアの負荷が大きい。

上記のように、ボッツ・ドッツは、多くのレーン認識アルゴリズムが前提としている「レーンマーキングの連続性」や「路面とのコントラスト」などの条件を満たさないため、信頼性が高く且つ耐久性の高いロバスト（ｒｏｂｕｓｔ）な認識を行うためには、何らかの対策を講じる必要がある。

従来の車線認識画像処理装置としては、画像のエッジに基づいてレーンマーキング位置を演算する走行環境演算手段と、走行環境演算手段を禁止する禁止手段とを備え、エッジの量と基準値とを比較して画像の異常を検出し、走行環境演算手段を禁止する装置が提案されている（たとえば、特許文献１参照）。
特許文献１の従来装置においては、ボッツ・ドッツの敷設道路に対して、エッジの量からレーンマーキング認識を禁止することにより、レーンマーキング誤認識を回避しているので、ボッツ・ドッツ敷設道路に対しては、常に認識不可の状態となってしまう。

また、他の従来装置として、原画像を微分してエッジ画像に変換し、エッジ画像についてハフ（Ｈｏｕｇｈ）変換を行い、特徴点の並びを近似した直線群を抽出し、この直線群の中から、走行路の道幅に基づいてレーンマーキングに対応する直線を選定する装置が提案されている（たとえば、特許文献２参照）。

特許文献２の従来装置によれば、輪郭が車線境界線と平行でない円形ドットの場合、１個のドットのみのエッジ点からなる直線群に対しては、耐ノイズ性の高いＨｏｕｇｈ変換であっても、正確な車線認識を実現することは困難である。
また、特許文献２の場合、エッジ点列の途切れ部分を検出することにより、レーンマーキング種類（たとえば、「破線」など）を判定しているが、不連続に敷設されるドットに対しては有効な手段とはなり得ない。

一般に、通常のペイント・レーンマーキングは車線境界線に対して平行になるが、ドットの輪郭は、車線境界線に対して必ずしも平行にならないので、ドットの輪郭線上にレーンマーキング候補点位置を設定すると、実際の車線境界線とはかけ離れた方向を向いた車線認識結果となり得る。

ここで、図１５および図１６を参照しながら、従来装置の問題点について具体的に説明する。
図１５はボッツ・ドッツ３と車線の近似直線Ｌ１と車両境界線Ｌ２とレーンマーキング候補点Ｃとの関係を示す説明図であり、走行路の左側のボッツ・ドッツ３のレーンマーキング候補点位置Ｃを車線内側とした場合に、近似直線Ｌ１がドット３の１／２幅分だけ振動することを示している。
図１６（ａ）〜（ｃ）はボッツ・ドッツ３とレーンマーキング探索ライン４とレーンマーキング候補点Ｃとの関係を示す説明図であり、左側のボッツ・ドッツ３のレーンマーキング候補点Ｃの位置を車線内側とした場合に、レーンマーキング探索ライン４との位置関係によって、レーンマーキング候補点Ｃの位置が異なることを示している。

たとえば、複数のボッツ・ドッツ３上のレーンマーキング候補点Ｃを用いたとしても、図１６（ａ）〜（ｃ）に示すように、左側のボッツ・ドッツ３に対して車線内側をレーンマーキング候補点Ｃの位置として設定すると、レーンマーキング探索ライン４とドット３の位置関係および縦方向分解能に依存して、各ドット３におけるレーンマーキング候補点Ｃの位置および個数は、図１６（ａ）〜（ｃ）のようにそれぞれ異なる。
したがって、図１５に示すように、車線認識結果は、ドット３（レーンマーキング）の横幅の１／２に相当するズレ量を生じる。

このようなズレ量の発生を回避するためには、レーンマーキング候補点Ｃの位置を、ドット３の輪郭線上ではなく、ボッツ・ドッツ３の消失点に向かう直線上に一定の規則にしたがって変換すれば解決することが知られているが、このときの変換方法としては、ハードウェアおよびソフトウェアの負荷が小さい方法で実現しなければ実用的ではない。

また、上記問題が実用的な変換方法で解決されたとしても、レーンマーキング候補点Ｃが１個のドット３上のみに存在する場合には、その変換方法の精度および分解能に依存して、車線認識結果が実際の車線境界線とかけ離れた結果となり得る。
したがって、レーンマーキング候補点Ｃが「１個のドット３上のみにあること」を判定する必要がある。ただし、レーンマーキング候補点Ｃが１個のドット３上のみに存在するかを判定する際に、単に候補点数のみに基づいて判定すると、２点のボッツ・ドッツ３を結ぶ直線近似が可能な場合であっても、認識不可と判断されてしまう。

また、上記認識不可の問題は、候補点集合の進行方向の２点間距離に基づいて判定することにより解決可能であるが、全ての２点間距離の組合せを参照するのは、演算コストのアップにつながる。
この２点間距離を判定するための閾値は、１個のドット３上であることを誤りなく判定可能な値に設定されることが求められる。

なお、レーンマーキング候補点Ｃが１個のドット３上のみに存在することが判明した場合、レーンマーキング候補点Ｃから得られる情報は信頼性が低いので、何らかの対策措置をとる必要がある。
この対策措置として、レーンマーキング候補点Ｃから得られる情報を無効化する方法が挙げられる。しかしながら、この方法では、ボッツ・ドッツ敷設道路を走行中に或るフレームのみが無効となった場合に、１フレームのみにも関わらず、車線認識結果を参照できなくなる。また、レーンマーキング探索を前回の車線認識結果を基準に行う場合には、速やかな車線認識復帰が困難になる。

さらに、上記無効化方法によれば、前回の車線認識結果が誤認識であるにも関わらず、前回の車線認識結果を出力している場合には、次の無効化されない車線認識結果が得られるまで、誤認識出力が修正されないという問題がある。
すなわち、上記無効化がなされた場合に、前回の車線認識結果または時間平均化結果を出力することはできるものの、その前回結果の保持期間は、リアルタイム性と信頼性を損なわないように設定する必要がある。

特開平９−１１３２２１号公報 特開平３−１５８９７６号公報

従来の車線認識画像処理装置では、図１６（ａ）〜（ｃ）のように、左側のボッツ・ドッツ３に対して車線内側をレーンマーキング候補点Ｃの位置とすると、各ドット３におけるレーンマーキング候補点Ｃの位置および個数が一致しないので、図１５のように、車線認識結果においては、ドット横幅１／２に相当するズレ量が生じるという課題があった。

また、上記課題が実用的な変換方法で解決されたとしても、レーンマーキング候補点Ｃが１個のドット３上のみに存在する場合は、車線認識結果が実際の車線境界線とかけ離れた結果となり得るので、レーンマーキング候補点が１個のドット上にあることを判定する必要があるが、この判定に候補点数のみで行うと、ドット２点を結ぶ直線近似が可能な場合も認識不可と判断されてしまうという課題があった。
また、この課題を解決するためには、候補点集合の進行方向の２点間距離により判定する必要があるが、全ての２点間距離の組合せを参照するのは、演算コストが高くなるという課題があった。

また、レーンマーキング候補が１個のドット上のみに存在することが判明した場合には、このレーンマーキング候補から得られる信頼性の低い情報を無効化しているが、ボッツ・ドッツ敷設道路を走行中に或る１つのフレームのみが無効となった場合でも、１フレームのみであるにも関わらず、車線認識結果を参照できなくなるという課題があった。
特に、レーンマーキング探索を前回の車線認識結果を基準に行う場合には、速やかな車線認識の復帰が困難になるという課題があった。
さらに、前回の車線認識結果が誤認識であるにも関わらず、前回の車線認識結果を出力している場合には、次の無効化されない車線認識結果を得るまでは誤認識出力が修正されないという課題があった。

この発明は、地域特有のレーンマーキング（ボッツ・ドッツなど）に対する車線認識において、ドットの輪郭が車線と平行でないことに留意して、誤認識となるフレームのみを排除することにより、信頼性の高いロバストな車線認識結果を取得可能な車線認識画像処理装置を得ることを目的とする。
さらに具体的には、レーンマーキング幅の中点をレーンマーキング候補点位置とし、且つ、レーンマーキング候補が１個のドット上のみにしか存在しない場合には車線認識結果を無効にする、というハードウェア・ソフトウェアの負荷が極めて小さい方法で認識信頼性を向上させた車線認識画像処理装置を得ることを目的とする。

この発明による車線認識画像処理装置は、車両に搭載された車線認識画像処理装置であって、車両の前方を撮影する撮影手段と、撮影手段により撮像された画像からレーンマーキング候補領域上の走査方向の開始点および終了点を抽出する抽出手段と、抽出手段に基づいて車両の走行路上の車線を認識する車線認識手段とを備え、車線認識手段は、レーンマーキング候補領域の開始点および終了点を、消失点方向の線上に定められるレーンマーキング候補点位置に変換するレーンマーキング候補点位置変換手段と、レーンマーキング候補点の集合の有効性判定基準となる閾値を設定する閾値設定手段と、レーンマーキング候補点の集合のうち、車両の進行方向に最も離れた位置にある２点を抽出して、２点の間の２点間距離が閾値を越えたか否かを判定するレーンマーキング候補判定手段と、閾値を越える２点間距離が存在しない場合に、レーンマーキング候補点から得られる情報を無効化するための無効化手段とを有してなるものである。

この発明によれば、ボッツ・ドッツ敷設道路などの走行中であっても、ハードウェア・ソフトウェアの負荷を軽減して、信頼性の高いロバストな車線認識結果を取得することができる。

実施の形態１．
以下、図面を参照しながら、この発明の実施の形態１について説明する。
図１はこの発明の実施の形態１による車線認識画像処理装置を示すブロック構成図であり、図２はこの発明の実施の形態１による車線認識画像処理装置を搭載した車両の外観図である。
図２において、撮影手段を構成するカメラ１は、車両２の前方上部に設置されており、車両２の前方を撮影するようになっている。

図１において、車線認識画像処理装置は、カメラ１を含む撮影手段１０と、レーンマーキング候補点抽出手段２０と、車線認識手段３０と、車線認識結果出力手段４０とを備えている。
車線認識手段３０は、レーンマーキング候補点位置変換手段３１と、認識処理手段３２と、レーンマーキング候補判定手段３３と、無効化手段３４とを有する。

レーンマーキング候補点抽出手段２０は、撮影手段１０により撮像された画像Ｇからレーンマーキング候補点Ｃを抽出する。
車線認識手段３０は、レーンマーキング候補点Ｃの集合に基づいて、車両２の走行路上の車線を認識し、最終的な車線認識結果を車線認識結果出力手段４０を介して外部に出力する。

車線認識手段３０内において、レーンマーキング候補点位置変換手段３１は、レーンマーキング候補点Ｃを消失点方向の直線上に変換した位置を、レーンマーキング候補点位置として認識する。
このとき、レーンマーキング候補点位置変換手段３１は、後述するように、レーンマーキング候補点Ｃを含むレーンマーキング候補領域Ｒの中点をレーンマーキング候補点位置として認識し、レーンマーキング候補点Ｃをレーンマーキング候補点位置に変換する。

また、車線認識手段３０内のレーンマーキング候補判定手段３３は、レーンマーキング候補点Ｃの集合の有効性判定基準となる閾値を設定する閾値設定手段（図示せず）を含み、レーンマーキング候補点Ｃの集合から車両２の進行方向に対応した２点を抽出するとともに、抽出された２点の間の２点間距離のうち閾値を越えるものが存在するか否かを判定する。

このとき、レーンマーキング候補判定手段３３は、後述するように、レーンマーキング候補点Ｃの集合のうち、車両の進行方向に最も離れた位置にある２点の間の２点間距離が閾値を越えたか否かを判定する。
また、閾値は、車両２の走行路上のレーンマーキングの横幅以上、且つ車両２の進行方向に対するレーンマーキングのセット間隔以下に設定されているものとする。
さらに、車線認識手段３０内の無効化手段３４は、閾値を越える２点間距離が存在しない場合には、レーンマーキング候補点Ｃから得られる情報を無効化する。

次に、図１および図２とともに、図３を参照しながら、この発明の実施の形態１による具体的な処理手順について説明する。
図３（ａ）〜（ｃ）は撮影手段１０（カメラ１）から出力される画像Ｇおよびその処理手順を示す説明図であり、もっぱらレーンマーキング候補点抽出手段２０の処理動作に対応している。
図３（ａ）は車両２の前方道路を撮影した画像Ｇの具体例を示している。図３（ａ）において、車両２の走行路上に敷設されたボッツ・ドッツ３は、走行路延長線上の無限遠の消失点Ｓに向かって配列されている。ボッツ・ドッツ３の１ドットに対応して、１本のレーンマーキング探索ライン４が設定されている。

図３（ｂ）は図３（ａ）内の画像Ｇをレーンマーキング探索ライン４（１本の水平ライン）に沿ってフィルタ処理した結果５を示しており、縦軸がフィルタ出力値、横軸が画像Ｇの水平座標を表している。図３（ｂ）において、水平座標毎のフィルタ出力結果５（フィルタ出力値）に対して、ボッツ・ドッツ３の認識レベルとなるフィルタ閾値Ｔｈｆが設定されている。

図３（ｃ）は図３（ｂ）内のフィルタ出力結果５に基づくレーンマーキング候補点Ｃの位置決定処理を示しており、縦軸は２値（０、１）を表し、横軸は水平座標を表す。図３（ｃ）において、フィルタ出力結果５を２値化した領域をレーンマーキング候補点Ｃを含むレーンマーキング候補領域Ｒとし、レーンマーキング候補領域Ｒの開始点Ａから終了点Ｂまでの中点をレーンマーキング候補点Ｃの位置として決定した場合を示している。
通常、レーンマーキング候補点抽出手段２０により抽出されたレーンマーキング候補点Ｃ（または、候補領域Ｒ）は、開始点Ａまたは終了点Ｂ上に存在する可能性もあり、実際のボッツ・ドッツ３の輪郭線上に存在するか否かは不明です。図３（ｃ）においては、レーンマーキング候補点位置変換手段３１の機能例として、候補領域Ｒの開始点Ａと終了点Ｂとの中点を変換後の候補点Ｃの位置としています。

まず、撮影手段１０（カメラ１）は、車両２の前方を撮影して得られた画像Ｇをレーンマーキング候補点抽出手段２０に入力する。
このとき、図３（ａ）内の画像Ｇに示すように、自車線の左右のレーンマーキングは、いずれもボッツ・ドッツ３であり、レーンマーキング探索ライン４の水平画角内に収まっているものとする。

レーンマーキング候補点抽出手段２０は、画像Ｇを画素毎の輝度値データとして格納するメモリを有しており、メモリから読み出した輝度値をフィルタ閾値Ｔｈｆと比較して、図３（ｂ）に示すように、フィルタ閾値Ｔｈｆよりも高い輝度値のデータを、路面に対して相対的に輝度の高いレーンマーキングとして抽出する。
このとき、一般にフィルタ処理が行われるが、水平座標方向に輝度値を読み出した輝度分布に対してフィルタ処理を行う方法と、立ち上がり・立ち下がりの正負エッジ処理によりフィルタ処理を行う方法とがある。

ここでは、レーンマーキング候補点抽出手段２０が１次元画像フィルタ処理を行う場合を例にとって説明するが、１次元画像フィルタ処理に限定されるものではない。
レーンマーキング候補点抽出手段２０は、まず、図３（ａ）に示すレーンマーキング探索ライン４上の輝度分布に対して１次元画像フィルタ処理を施し、図３（ｂ）に示すフィルタ出力結果５を取得する。

フィルタ出力結果５において、図３（ａ）のボッツ・ドッツ３の位置のフィルタ出力値は、その前後の値よりも高くなっている。
したがって、続いてフィルタ閾値Ｔｈｆと比較することにより、図３（ｃ）のように、２値化された結果が得られる。ここで、左右レーンマーキングとして抽出された２値化領域を、レーンマーキング候補領域Ｒとする。また、各レーンマーキング候補領域Ｒ上の走査方向（消失点Ｓの方向に対して直交方向）の開始点および終了点を、それぞれ、レーンマーキング候補領域Ｒの開始点Ａおよび終了点Ｂとする。
図３（ｃ）において、レーンマーキング候補領域Ｒの開始点Ａおよび終了点Ｂを、レーンマーキング候補点位置変換手段３１により変換した位置は、レーンマーキング候補点Ｃの位置となる。

次に、図４および図５を参照しながら、レーンマーキング候補点位置変換手段３１による具体的な処理動作について説明する。
図４および図５はレーンマーキング候補点位置変換手段３１による処理動作を示す説明図であり、それぞれ、消失点方向に対する各レーンマーキング候補点Ｃの配列を、ボッツ・ドッツ３上の開始点Ａおよび終了点Ｂと関連させて示している。

図４は１つのドット３上のレーンマーキング候補点Ｃを平面拡大図（上面視状態）で示しており、図５は複数のボッツ・ドッツ３上のレーンマーキング候補点Ｃを斜視図（画面視状態）で示している。
図４および図５において、ボッツ・ドッツ３上のレーンマーキング候補点Ｃを含むレーンマーキング候補領域の開始点Ａおよび終了点Ｂから、レーンマーキング候補点Ｃは、消失点Ｓの方向の直線上の位置に変換することができる。

具体的には、図４および図５において、レーンマーキング候補点Ｃを含むレーンマーキング候補領域Ｒの開始点Ａおよび終了点Ｂ間の直線を、一定の法則に基づいて内分（オフセット）することにより、ボッツ・ドッツ３の消失点Ｓの方向に沿った直線上のレーンマーキング候補点Ｃの位置に変換することができる。
たとえば、図４において、消失点Ｓの方向の直線とドット３とのオフセット位置は、使用者によって任意に決定されるものであり、レーンマーキング端からの距離を求める場合には、ドット３と接する直線を用いてもよい。
なお、オフセットを決定する具体的な比率については、図６を参照しながら後述する。

レーンマーキング候補点位置変換手段３１による変換処理は、同一線上のレーンマーキング候補領域Ｒの開始点Ａおよび終了点Ｂを対象として実行され、レーンマーキング候補点抽出手段２０から得られたレーンマーキング候補点Ｃは、開始点Ａおよび終了点Ｂを結ぶ直線上に変換される。
図４内のレーンマーキング候補点位置への変換結果を画面視状態（斜視図）で示すと、図５のように表される。

次に、図６を参照しながら、開始点Ａおよび終了点Ｂを結ぶ直線上のオフセットを決定する具体的な比率について後述する。
図６は図４および図５におけるレーンマーキング候補点位置への変換法則を示す説明図であり、レーンマーキング候補領域Ｒを半径ｒの円で表している。
図６において、円中心Ｑを通る弦（Ａ１−Ｂ１）において、各点Ａ１、Ｂ１およびＣ１は、それぞれ、開始点Ａ、終了点Ｂおよびレーンマーキング候補点Ｃに対応している。
同様に、円中心Ｑから離れた任意の弦（Ａ２−Ｂ２）において、各点Ａ２、Ｂ２およびＣ２は、それぞれ、開始点Ａ、終了点Ｂおよびレーンマーキング候補点Ｃに対応している。

まず、レーンマーキング候補領域Ｒにおいて、開始点Ａ１、Ａ２と終了点Ｂ１、Ｂ２とを円周上で同定し、円中心Ｑおよび半径ｒを求める。
ここで、任意の開始点Ａ２（または、終了点Ｂ２）と円中心Ｑとを結ぶ直線（Ｑ−Ａ２）が水平方向となす角度をθとする。なお、開始点Ａ２および終了点Ｂ２は、同一水平線上に位置しているので、円中心Ｑから開始点Ａ２または終了点Ｂ２のいずれを結ぶ直線と水平方向とのなす角度をθとしてもよい。

次に、図６のように、開始点Ａ１から円中心Ｑを通って終了点Ｂ１に至る弦（Ａ１−Ｂ１）において、線分（Ａ１−Ｃ１）と線分（Ｂ１−Ｃ１）との距離の比がａ：ｂとなる内分点Ｃ１を考えると、レーンマーキング候補点は、弦（Ａ１−Ｂ１）を比率ａ：ｂで内分する点Ｃ１となる。
したがって、任意のレーンマーキング候補点Ｃ２は、弦（Ａ２−Ｂ２）を、以下の式（１）に示す比率で内分する点として求められることになる。

なお、比率ａ：ｂは、図４および図５を参照しながら説明したように、消失点Ｓの方向の直線と各ドット３のオフセット位置を決定する比率であり、使用者が任意に設定できる値である。ただし、ドット３毎に比率を変更することはできないので、図５のように、候補点の数にバラツキが生じる。

以下、図６に基づいて、上記式（１）についての証明を行う。
まず、図６において、円中心Ｑを通る弦（Ａ１−Ｂ１）を内分する比率がａ：ｂであるとき、線分（Ａ１−Ｃ１）の距離Ｄ１は、半径ｒを用いて、以下の式（２）のように表される。

同様に、線分（Ｂ１−Ｃ１）の距離Ｄ２は、以下の式（３）のように表される。

また、円中心Ｑとレーンマーキング候補点Ｃ１との距離Ｄ３は、半径ｒから距離Ｄ１を減算することにより、以下の式（４）で表される。

さらに、円中心Ｑとレーンマーキング候補領域開始点Ａ２との水平方向距離Ｄ４は、半径ｒおよび角度θを用いて、以下の式（５）で表される。

したがって、線分（Ａ２−Ｃ２）の距離Ｄ５は、距離Ｄ４から距離Ｄ３を減算することにより、以下の式（６）のように表される。

また、線分（Ｂ２−Ｃ２）の距離Ｄ６は、距離Ｄ４に距離Ｄ３を加算することにより、以下の式（７）のように表される。

したがって、レーンマーキング候補点Ｃ２は、弦（Ａ２−Ｂ２）を、以下の式（８）で内分する点である。

式（８）は上記式（１）と同一であり、したがって、上記式（１）が正しいことは証明された。
なお、比率ａ、ｂは任意に設定可能な定数であるから、任意のレーンマーキング候補点Ｃ２は、内分点に限定されることはなく、式（１）に基づく外分点であってもよい。

また、ａ＝ｂとすれば、式（１）の比率は、半径ｒおよび角度θに関わらず「１：１」となり、レーンマーキング候補領域Ｒにおける開始点Ａおよび終了点Ｂを結ぶ直線の中点がレーンマーキング候補点Ｃの変換位置となる。

また、ａ＝１、ｂ＝０とすれば、式（１）に基づくレーンマーキング候補点Ｃの変換位置は、ドット３の左側と接する消失点Ｓの方向の直線上に設定される。
逆に、ａ＝０、ｂ＝１とすれば、式（１）に基づくレーンマーキング候補点Ｃの変換位置は、ドット３の右側と接する消失点Ｓの方向の直線上に設定される。

さらに、図６に基づく式（１）の変換処理は、演算コストが高いので、たとえば図７に示すように、レーンマーキング候補領域Ｒ（ボッツ・ドッツ３）の開始点Ａおよび終了点Ｂをａ：ｂに内分する位置に、各レーンマーキング候補点Ｃを変換するという簡易的な処理方法も考えられる。

以下、レーンマーキング候補点Ｃの位置変換を、画像Ｇ（図３参照）の画面全体（または、必要な範囲）について、レーンマーキング探索ライン４を順に走査させていくことにより、探索ライン４毎にレーンマーキング候補領域Ｒの開始点Ａおよび終了点Ｂを抽出して、レーンマーキング候補点Ｃの変換位置を求めることができる。

次に、車線認識手段３０内の認識処理手段３２は、レーンマーキング候補点位置変換手段３１で変換されたレーンマーキング候補点Ｃの集合に基づいて、車線認識を行う。
このときの車線認識方法としては、数学的モデル式により近似して、レーンマーキング数学的モデル式による推定演算を行うことが多い。
レーンマーキング数学的モデル式としては、レーンマーキング候補点間の線形補間、レーンマーキング候補点の集合に対する直線近似、曲線近似などが挙げられ、また、前方距離で区切った複数の領域に対して直線近似を行う方法や、前方距離に応じて直線近似と曲線近似を使い分ける方法などが考えられ、さらに、ストリングモデルを用いて車線に沿わせるという手法などもある。

なお、数学的モデル式による推定演算を行わない場合には、レーンマーキング候補点Ｃを平面座標系に座標変換し、左右ともレーンマーキング候補点Ｃのある箇所のみについて、横位置を算出するという方法もある。

次に、図８〜図１１の説明図を参照しながら、この発明の実施の形態１による直線近似処理およびレーンマーキング候補判定手段３３による判定処理について説明する。
図８においては、走行路の左側のボッツ・ドッツ３上のレーンマーキング候補点Ｃおよび車線方向の近似直線Ｌ１とともに、レーンマーキング候補点Ｃ間の最大距離Ｄｍ、レーンマーキング間隔Ｐｍおよびレーンマーキング横幅Ｗｍと、最大距離Ｄｍに対する閾値ＴＨおよび閾値設定範囲ΔＴＨとが、斜視図により示されている。

図９においては、近似直線Ｌ１および車線境界線Ｌ２上のボッツ・ドッツ３に関連して、レーンマーキング候補点Ｃ、最大距離Ｄｍおよび閾値ＴＨが、斜視図により示されている。
図１０においては、車両２の走行方向にある車線境界線Ｌ２とともに、車線境界線Ｌ２上のボッツ・ドッツ３（レーンマーキング）およびリフレクタ６と、レーンマーキング間隔ＰＭ（＝１．２［ｍ］）と、ボッツ・ドッツ３（レーンマーキング）のセット間隔ＰＳ（＝５．５［ｍ］×２）とが、平面図により示されている。

図１１においては、車線境界線Ｌ２上のボッツ・ドッツ３に関連して、レーンマーキング間隔ＰＭ（＝１．２［ｍ］）およびボッツ・ドッツ３のマーキング横幅ＷＭ（＝１０［ｃｍ］）とが、平面図により示されている。

図８において、近似直線Ｌ１は、レーンマーキング候補領域Ｒ（ボッツ・ドッツ３）内に認識されたレーンマーキング候補点Ｃの集合に対して、最小２乗法による直線近似処理を実行した場合の結果を示している。
ここで、車線認識が正常であれば、近似直線Ｌ１は、ボッツ・ドッツ３により表される車線境界線Ｌ２と一致する。
図８のように、複数のボッツ・ドッツ３上にレーンマーキング候補点Ｃが分布している場合は、近似直線Ｌ１は、車線境界線Ｌ２と一致する。

以下、レーンマーキング候補判定手段３３による具体的な判定処理ついて説明する。
まず、図８において、各レーンマーキング候補点Ｃ（全９点）のうち、最近傍点と最遠点との間の進行方向距離を、レーンマーキング候補点Ｃ間の最大距離Ｄｍとする。
レーンマーキング間隔ＰＭ（図１０参照）は、各レーンマーキング（ドット３）間の平面距離であり、平面的なレーンマーキング間隔ＰＭを斜視図に座標変換した値は、レーンマーキング間隔Ｐｍ（図８参照）となる。
同様に、平面的なレーンマーキング横幅ＷＭ（図１１参照）を進行方向に関して斜視図に座標変換した値は、レーンマーキング横幅Ｗｍ（図８参照）となる。

ここでは、図１０および図１１のように、ボッツ・ドッツ３の一例として、レーンマーキング間隔ＰＭが１．２［ｍ］、レーンマーキング横幅ＷＭが１０［ｃｍ］の場合を示している。
斜視図に座標変換したレーンマーキング間隔Ｐｍおよびレーンマーキング横幅Ｗｍの値は、垂直座標位置によって異なるが、図８に示すように、最近傍点の垂直座標を基準として設定される。
また、閾値設定範囲ΔＴＨは、図８のように、レーンマーキング横幅Ｗｍ以上、且つ、レーンマーキング間隔Ｐｍ以下の間に設定される。さらに、閾値設定範囲ΔＴＨから、閾値ＴＨ（図８および図９参照）設定される。

図８および図９において、レーンマーキング候補点Ｃ間の最大距離Ｄｍを、閾値ＴＨを用いて判定すると、図８の場合には、Ｄｍ＞ＴＨであり、レーンマーキング候補点Ｃが複数のボッツ・ドッツ３上に存在することが分かる。
一方、図９の場合は、Ｄｍ＜ＴＨであり、レーンマーキング候補点Ｃが１個のドット３上のみに存在することが分かる。

このように、閾値ＴＨを用いた判定により、レーンマーキング候補点Ｃが複数のボッツ・ドッツ３上に存在するか、または、１個のドット３上のみにしか存在しないことを判定することができる。
すなわち、図９のように、１個のドット上のみにしかレーンマーキング候補点Ｃが存在しない場合には、得られる近似直線Ｌ１は、ボッツ・ドッツ３の配列が示す車線境界線Ｌ２から大きくかけ離れたものとなり得る。

以上の説明では、図８および図９のように、斜視図（画面視状態）に基づいて判定したが、図１０のように、レーンマーキング候補点Ｃを平面図（上面視状態）に座標変換してから判定しても同様の結果が得られる。
また、レーンマーキング候補点Ｃ間の最大距離Ｄｍを用いたが、最大距離Ｄｍの代わりに、レーンマーキング候補点Ｃの集合内の任意の２点を抽出し、各２点間距離の組合せにおいて、閾値ＴＨを越えるものが存在しないか否かを判定しても同様の結果が得られる。

次に、図９を参照しながら、車線認識手段３０内の無効化手段３４による無効化処理について具体的に説明する。
無効化手段３４は、たとえば、図９のように、レーンマーキング候補点Ｃ間の最大距離Ｄｍが閾値ＴＨ以下であれば、レーンマーキング候補点Ｃから得られるデータを無効化する。

無効化手段３４による無効化処理の第１例としては、レーンマーキング候補点Ｃそのものを無効化する方法が挙げられる。
この場合、レーンマーキング候補点抽出手段２０により抽出されたレーンマーキング候補点Ｃを無効化することにより、レーンマーキング候補点抽出手段２０の後段側にある車線認識手段３０内のレーンマーキング候補点位置変換手段３１および認識処理手段３２（図１内の破線枠内参照）により得られる処理結果は、全て無効データとなる。

また、無効化手段３４による無効化処理の第２例としては、レーンマーキング候補点位置変換手段３１により変換されたレーンマーキング候補点位置を無効化する方法が挙げられる。
この場合、レーンマーキング候補点位置変換手段３１の後段側にある認識処理手段３２により得られる処理結果は、全て無効データとなる。

また、無効化手段３４による無効化処理の第３例としては、認識処理手段３２による車線認識結果を無効化する方法が挙げられる。
この場合、認識処理手段３２の後段側にある手段、車線認識結果出力手段４０が無効化されるので、たとえば、通信手段により車線認識結果を外部へ出力しても、無効データとなる。

また、無効化手段３４による無効化処理の第４例としては、車線認識手段３０からの車線認識結果を車線認識画像処理装置の外部で参照し、車両制御または車線逸脱警報制御を行う場合に、車線認識結果を「無効フラグ」とともに出力する方法が挙げられる。
この場合、車線認識結果が出力されても、同時に「無効フラグ」が出力されるので、実質的に無効であることを認識することができる。

また、無効化手段３４による無効化処理の第５例としては、車線認識手段３０から車線認識結果を出力させない方法が挙げられる。
この場合、車線認識画像処理装置の外部で参照される「車線認識結果」が更新されないので、システム動作としては、前回の車線認識結果を保持し続ける状態、または、車線を見失った状態となる。
無効化手段３４の具体的処理は、無効化が実現可能であれば、上述した各例に限定されるものではない。

以上のように、車線認識手段３０において、レーンマーキング候補点位置変換手段３１は、レーンマーキング候補領域Ｒにおける開始点Ａおよび終了点Ｂに基づくレーンマーキング候補点Ｃを、消失点Ｓに向かう直線上に変換し、変換された位置（たとえば、開始点Ａと終了点Ｂとの中点）をレーンマーキング候補点位置とする。
また、レーンマーキング候補判定手段３３は、レーンマーキング候補点Ｃの集合からなる２点間距離が閾値ＴＨ以下か否かにより、または、レーンマーキング候補点Ｃの集合のうち、最も離れた位置にある２点間の最大距離Ｄｍが閾値ＴＨ以下か否かにより、１個のドット３上のレーンマーキング候補点Ｃのみであるか否かを判定する。
また、無効化手段３４は、２点間距離が閾値ＴＨ以下であれば、レーンマーキング候補点Ｃから得られる情報を無効化する。

すなわち、撮影手段１０により撮像された画像Ｇからレーンマーキング候補点Ｃを抽出するレーンマーキング候補点抽出手段２０と、レーンマーキング候補点Ｃの集合に基づいて車両の走行路上の車線を認識する車線認識手段３０とを備え、車線認識手段３０内のレーンマーキング候補点位置変換手段３１は、レーンマーキング候補点Ｃをレーンマーキング候補点位置に変換するために、レーンマーキング候補点Ｃを消失点方向の直線上に変換した位置をレーンマーキング候補点位置として認識する。
これにより、各ドット３上のレーンマーキング候補点Ｃの位置を、レーンマーキングの探索ライン４の位置および分解能などに依存せずに安定させることができる。
また、図８に示すように、複数のボッツ・ドッツ３上にレーンマーキング候補点Ｃが存在すれば、レーンマーキング数学的モデル式と車線境界線Ｌ２とが一致する車線認識結果を得ることができる。

また、レーンマーキング候補点位置変換手段３１は、レーンマーキング候補点Ｃを含むレーンマーキング候補領域Ｒの中点をレーンマーキング候補点位置として認識することにより、ハードウェア・ソフトウェアの負荷をほとんど増大させることなく、簡単な手法で認識することができる。

また、車線認識手段３０は、レーンマーキング候補点Ｃの集合の有効性判定基準となる閾値ＴＨを設定する閾値設定手段と、レーンマーキング候補点Ｃの集合から車両２の進行方向に対応した２点を抽出して、抽出された２点間距離のうち、閾値ＴＨを越えるものが存在するか否かを判定するレーンマーキング候補判定手段３３とを含むので、ボッツ・ドッツ３のようなドットからなるレーンマーキングに対する車線認識において、レーンマーキング候補点Ｃが１個のドット３上のみにあるか否かにより、レーンマーキング候補点Ｃの信頼性の有無の判定を簡便な手法で実現することができ、判定後に続く処理に対して、車線認識の信頼度についての有益な情報を提供することができる。

また、車線認識手段３０内のレーンマーキング候補判定手段３３は、レーンマーキング候補点Ｃの集合のうち、車両２の進行方向に最も離れた位置にある２点間距離が閾値ＴＨを越えたか否かを判定することにより、レーンマーキング候補点Ｃの抽出を近傍から遠方へ向かって順に行う場合には、最初と最後のレーンマーキング候補点位置のみを参照すればよく、最も簡便な手法で判定することができるので、ハードウェア・ソフトウェアの負荷をほとんど増加させることなく実現することができる。

また、閾値ＴＨは、車両２の走行路上のレーンマーキング横幅Ｗｍ以上、且つ車両２の進行方向に対するレーンマーキングのセット間隔ＰＳ以下に設定されているので、１個のドット３上のレーンマーキング候補判定に用いられるレーンマーキング最大距離Ｄｍの閾値ＴＨを、各地域のレーンマーキングのサイズおよび間隔に合わせて高精度に設定することができる。

また、車線認識手段３０は、閾値ＴＨを越える２点間距離が存在しない場合に、レーンマーキング候補点Ｃから得られる情報を無効化するための無効化手段３４を含み、信頼性の低い車線認識結果を無効とすることにより、実際の車線境界線Ｌ２とはかけ離れた認識結果に基づく誤警報（車線逸脱警報）や誤制御（車両ステアリング制御）などを回避することができる。

実施の形態２．
なお、上記実施の形態１では、特に言及しなかったが、車線認識手段内に車線認識結果記憶手段を設け、無効化処理時に前回の記憶情報を有効化してもよい。
以下、図１２を参照しながら、車線認識結果記憶手段３６を設けたこの発明の実施の形態２による車線認識画像処理装置について説明する。

図１２はこの発明の実施の形態２を示すブロック構成図であり、前述（図１参照）と同様のものについては、前述と同一符号を付して、または、符号の後に「Ａ」を付して詳述を省略する。
図１２において、車線認識手段３０Ａは、前述の各手段３１〜３３および３４Ａに加えて、認識処理手段３２の出力側に挿入された開閉手段３５と、認識処理手段３２による車線認識結果を記憶する車線認識結果記憶手段３６とを備えている。

車線認識手段３０Ａは、無効化手段３４Ａにより今回の情報が無効化された場合には、無効化処理に応答して、車線認識結果記憶手段内の前回の記憶情報を有効化する。
また、車線認識手段３０Ａは、無効化手段３４Ａによる無効化処理が所定時間以上継続する場合には、車両２がレーンマーキングのセット間隔ＰＳを走行するのに要する時間に相当する所定期間にわたって、車線認識結果記憶手段内の記憶情報の有効化処理を継続させ、所定期間の経過後には、記憶情報の有効化処理を禁止するようになっている。

図１２において、通常時には、無効化手段３４Ａが無効化処理を実行していないので、開閉手段３５は、破線で示すように閉成（ＯＮ）されており、車線認識結果記憶手段３６は、認識処理手段３２による車線認識結果を記憶する。
同時に、車線認識結果は、車線認識結果記憶手段３６を通して車線認識手段３０Ａから出力され、車線認識結果出力手段４０を介して車線認識画像処理装置の外部に出力される。このときの情報出力方法としては、シリアル通信またはＣＡＮ通信などが挙げられる。

一方、無効化手段３４が動作して、レーンマーキング候補点抽出手段２０から得られる今回データの無効化処理が実行された場合には、無効化信号に応答して、開閉手段３５が実線位置に切換えられて開放（ＯＦＦ）されるので、車線認識結果記憶手段３６への車線認識結果の記憶処理は禁止される。
しかし、車線認識結果記憶手段３６には、前回の車線認識結果が記憶保持されているので、前回の車線認識結果は、有効化された情報として、車線認識結果出力手段４０を介して外部に出力される。
すなわち、無効化手段３４により無効化処理が実行された場合には、車線認識結果出力手段４０からの出力されるデータ（車線認識結果）として、車線認識結果記憶手段３６に記憶されている前回の車線認識結果が用いられる。

ここで、車線認識結果記憶手段３６に記憶されている前回の車線認識結果を保持し続ければ、最後に有効であった車線認識結果（最新データ）をいつまでも出力することができる。
ただし、無制限に前回データを利用することは、リアルタイム性が崩れることから望ましくないので、車速に応じた所定期間だけ記憶情報の有効化処理を継続させるようになっている。

たとえば、車両２（図１０参照）がボッツ・ドッツ３のセット間隔ＰＳ（＝５．５×２［ｍ］＝１１．０［ｍ］）を走行するのに要する時間に相当する所定期間にわたって、車線認識結果記憶手段３６内の記憶情報の有効化処理を継続することが望ましい。
たとえば、車両２が車速８０［ｋｍ／ｈ］で走行中であれば、記憶情報の有効化を継続する所定期間は、０．５秒間である。
これにより、無効化処理時においても、前回の車線認識結果を継続して出力することができるとともに、所定期間の経過後には、リアルタイム性の低下した前回の車線認識結果の有効化を禁止することができる。

以上のように、ボッツ・ドッツ３を敷設した道路を車両２が走行中に車線認識不可となった場合には、車線認識結果記憶手段３６からの前回の車線認識結果を用いる。
すなわち、車線認識手段３０Ａは、車線認識結果を記憶する車線認識結果記憶手段３６を含み、無効化手段３４Ａにより情報が無効化された場合には、車線認識結果記憶手段３６内の記憶情報を有効化することにより、車線認識中のあるフレームのみが車線認識無効となった場合は、前回の車線認識結果を保持し、誤認識となるフレームのみを排除することで、信頼性の高いロバストな車線認識結果を得ることができる。

また、車線認識結果記憶手段３６内に前回の車線認識結果を保持する所定期間（上限期間）は、車両２がレーンマーキングのセット間隔ＰＳを走行するのに要する時間に設定される。
すなわち、車線認識手段３０Ａは、無効化手段３４Ａによる無効化処理が所定時間以上継続する場合には、車両２がレーンマーキングのセット間隔ＰＳを走行するのに要する時間に相当する所定期間にわたって、車線認識結果記憶手段内の記憶情報の有効化処理を継続させ、所定期間の経過後には記憶情報の有効化処理を禁止する。これにより、複数フレームにわたって無効化処理が継続する場合でも、次回のレーンマーキング探索基準となる前回の車線認識結果を所定期間（レーンマーキングのセット間隔ＰＳを走行する時間）だけ保持するので、リアルタイム性を確保して、速やかな車線認識処理（通常処理）への復帰を可能にすることができる。

実施の形態３．
なお、上記実施の形態２では、無効化処理時に前回の車線認識結果を出力させたが、車線認識手段内に時間平均化処理手段を設け、車線認識中の或る１つのフレームのみが車線認識無効となった場合に、悪影響が軽減された時間平均化結果を出力させてもよい。
以下、図１３を参照しながら、時間平均化処理手段３７を設けたこの発明の実施の形態３による車線認識画像処理装置について説明する。

図１３はこの発明の実施の形態３を示すブロック構成図であり、前述（図１２参照）と同様のものについては、前述と同一符号を付して、または、符号の後に「Ｂ」を付して詳述を省略する。
図１３において、車線認識手段３０Ｂは、前述の各手段３１〜３３および３４Ｂ〜３６Ｂに加えて、認識処理手段３２の出力側に挿入された時間平均化処理手段３７と、時間平均化結果記憶手段３６Ｂの出力側に挿入された切換手段３８とを備えている。

時間平均化処理手段３７は、認識処理手段３２の車線認識結果に対して時間平均化処理を施し、時間平均化結果記憶手段３６Ｂは、時間平均化処理手段３７による時間平均化結果を記憶する。
これにより、車線認識中の或る１つのフレームのみが車線認識無効となった場合には、前回の車線認識結果が誤認識であったとしても、時間平均化処理によって悪影響が軽減された時間平均化結果を記憶保持することができる。
時間平均化処理手段３７による時間平均化処理としては、ローパスフィルタ処理などの時間的フィルタ処理が用いられる。

車線認識手段３０Ｂは、無効化手段３４Ｂにより情報が無効化された場合には、時間平均化結果記憶手段３６Ｂ内の前回データ（記憶情報）を有効化する。
また、車線認識手段３０Ｂは、無効化手段３４Ｂによる無効化処理が所定時間以上継続する場合には、レーンマーキング（ボッツ・ドッツ３）のセット間隔ＰＳを車両が走行するのに要する時間に相当する所定期間にわたって、時間平均化結果記憶手段３６Ｂ内の記憶情報の有効化処理を継続させるようになっている。

通常時においては、無効化処理が実行されていないので、開閉手段３５Ｂは、破線で示すように閉成（ＯＮ）されており、時間平均化結果記憶手段３６Ｂは、時間平均化処理手段３７からの時間平均化結果を記憶する。
また、このとき、切換手段３８は、図１３内の破線位置を選択しており、認識処理手段３２からの車線認識結果を車線認識結果出力手段４０に出力する。
したがって、車線認識結果は、車線認識手段３０Ｂから、車線認識結果出力手段４０を介して、車線認識画像処理装置の外部に出力される。

一方、無効化手段３４Ｂによる無効化処理が実行された場合には、無効化信号に応答して、開閉手段３５Ｂが実線位置に切換えられて開放（ＯＦＦ）されるので、時間平均化結果記憶手段３６Ｂへの時間平均化結果の記憶処理は禁止される。
また、これと同時に、切換手段３８が実線位置に切換えられて、車線認識結果出力手段４０に接続されるので、時間平均化結果記憶手段３６Ｂに記憶保持された前回までの時間平均化結果は、有効化された情報として、車線認識結果出力手段４０を介して外部に出力される。
これにより、無効化手段３４Ｂにより無効化処理が実行された場合には、車線認識結果出力手段４０からの出力データ（車線認識結果）として、前回までの車線認識結果の時間平均化結果が用いられる。
したがって、車線認識結果出力手段４０は、出力データ（車線認識結果）を使い分け、通常は認識処理手段３２による車線認識結果を用い、無効化手段３４Ｂにより無効化処理が実行された場合には、時間平均化結果記憶手段３６Ｂ内の時間平均化結果を用いることになる。

なお、前述の実施の形態２の場合と同様に、時間平均化結果記憶手段３６Ｂに記憶された時間平均化結果を保持し続ければ、最後に更新された時間平均化結果をいつまでも出力することができるが、リアルタイム性が崩れるのを回避するため、前述と同様に、車両２（図１０参照）がボッツ・ドッツ３（レーンマーキング）のセット間隔ＰＳ（＝１１．０［ｍ］）を走行する所定期間（車両２が８０［ｋｍ／ｈ］で走行中であれば、０．５秒間）だけ、時間平均化結果記憶手段３６Ｂ内の記憶情報の有効化処理を継続する。
これにより、無効化処理時においても、前回までの車線認識結果の時間平均化結果を継続して出力することができるとともに、所定期間の経過後には、リアルタイム性の低下した時間平均化結果の有効化処理を禁止することができる。

ここで、図１４を参照しながら、無効化処理時に時間平均化結果の有効化処理を継続させる所定期間の意味について説明する。
図１４はレーンマーキングの探索範囲ＷＳを示す説明図であり、ボッツ・ドッツ３を敷設した道路上を走行する車両２とレーンマーキングおよびその探索範囲ＷＳとの位置関係を示している。
また、図１４において、（ａ）、（ｂ）、（ｃ）は時間経過順の車両２の位置変化を示している。

レーンマーキングの探索範囲ＷＳは、車両２のフロントウィンドウ位置に取り付けられたカメラ１（図２参照）から得られる画像Ｇに対して、レーンマーキング探索対象とする前方距離範囲（たとえば、前方１０［ｍ］から２０［ｍ］までの１０［ｍ］幅）を決定している。
また、レーンマーキングのセット間隔ＰＳ（ボッツ・ドッツ３のセット間の距離）は、孤立したリフレクタ６を対象外とすると、前述（図１０参照）と同様に、５．５×２［ｍ］（＝１１．０［ｍ］）である。

したがって、車両２の走行方向（矢印参照）に関し、レーンマーキングの探索範囲ＷＳ（＝１０［ｍ］）は、レーンマーキングのセット間隔ＰＳ（＝１１［ｍ］）よりも短い値に設定されている。
この場合、図１４（ｂ）に示すように、レーンマーキングの探索範囲ＷＳ内にボッツ・ドッツ３が含まれないフレームが存在する。このとき、探索範囲ＷＳ内に抽出されるドットとしては、１個のリフレクタ６のみであるため、抽出データは無効となる。

一方、図１４（ａ）、（ｃ）においては、レーンマーキングの探索範囲ＷＳ内に１セット（４個）のボッツ・ドッツ３が確実に含まれる。
ここで、図１４において、（ａ）と（ｃ）との間の車両２の走行距離は、レーンマーキングのセット間隔ＰＳに等しいことが分かる。
したがって、車両２が所定期間（レーンマーキングのセット間隔ＰＳを走行する時間に相当）にわたって無効化処理の実行を継続すれば、確実に１セットのボッツ・ドッツ３を抽出することができるので、時間平均化結果記憶手段３６Ｂ（または、車線認識結果記憶手段３６）からの記憶情報の有効化処理を終了して、通常時の処理に復帰することができる。

このように、レーンマーキングのセット間隔ＰＳを走行する時間を上限として、前回の時間平均化結果（または、車線認識結果）を出力することにより、リアルタイム性を損なうことなく、速やかな認識復帰を可能にすることができる。
仮に、記憶情報の有効化処理を所定期間（セット間隔ＰＳの走行時間）以上にわたって継続すると、ボッツ・ドッツ３の敷設規則ではない別の原因（たとえば、逆光撮像により認識困難な画像）であるにも関わらず、過去の記憶結果の利用を不当な長期間にわたって維持することになり、リアルタイム性を損なううえ、車両制御において不適切な状況に陥る可能性がある。

以上のように、車線認識手段３０Ｂは、車線認識結果に対して時間平均化処理を施す時間平均化処理手段３７と、時間平均化処理手段３７による時間平均化結果を記憶する時間平均化結果記憶手段３６Ｂとを含み、無効化手段３４Ｂにより情報が無効化された場合には、時間平均化結果記憶手段３６Ｂ内の記憶情報を有効化することにより、車線認識中の或る１つのフレームのみが車線認識無効となった場合には、前回の車線認識結果が誤認識であったとしても、時間平均化処理によって悪影響が軽減された時間平均化結果を出力することができ、直接の誤認識結果の出力を回避することができる。

また、車線認識手段３０Ｂは、無効化手段３４Ｂによる無効化処理が所定時間以上継続する場合には、車両２がレーンマーキングのセット間隔ＰＳを走行するのに要する時間に相当する所定期間にわたって、時間平均化結果記憶手段３６Ｂ内の記憶情報の有効化処理を継続させ、所定期間の経過後には記憶情報の有効化処理を禁止する。これにより、複数フレームにわたって無効化処理が継続する場合でも、次回のレーンマーキング探索基準となる前回の時間平均化結果を所定期間（レーンマーキングのセット間隔ＰＳを走行する時間）だけ保持するので、リアルタイム性を確保して、速やかな車線認識処理（通常処理）への復帰を可能にすることができる。

この発明の実施の形態１による車線認識画像処理装置を概略的に示すブロック構成図である。 車両へのカメラ（撮影手段）の取り付け状態の一例を示す外観図である。 車両前方のボッツ・ドッツ敷設道路を撮影した画像と、水平ラインに関する画像のフィルタ処理結果と、フィルタ出力結果を２値化したレーンマーキング候補領域に基づくレーンマーキング候補点位置を示す説明図である。 １つのドット上のレーンマーキング候補領域の開始点および終了点に基づいてレーンマーキング候補点を消失点方向に変換する処理を平面図により拡大して示す説明図である。 ボッツ・ドッツ上のレーンマーキング候補領域の開始点および終了点に基づいてレーンマーキング候補点を消失点方向に変換する処理を斜視図により示す説明図である。 １つのドット上のレーンマーキング候補領域の開始点および終了点に基づいてレーンマーキング候補点を消失点方向に変換する処理を平面図により拡大して示す説明図である。 １つのドット上のレーンマーキング候補領域の開始点および終了点に基づいてレーンマーキング候補点を消失点方向に変換する簡略的な処理を平面図により拡大して示す説明図である。 走行路の左側のボッツ・ドッツ上の各レーンマーキング候補点を各種判定パラメータとともに斜視図により示す説明図である。 走行路の左側の１つのドット上のレーンマーキング候補点を各種判定パラメータとともに斜視図により示す説明図である。 走行路上のボッツ・ドッツおよびリフレクタの設置間隔を平面図により示す説明図である。 ボッツ・ドッツの横幅を平面図により示す説明図である。 この発明の実施の形態２による車線認識画像処理装置を概略的に示すブロック構成図である。 この発明の実施の形態３による車線認識画像処理装置を概略的に示すブロック構成図である。 この発明の実施の形態３による無効化処理時に関連したレーンマーキングのセット間隔とレーンマーキング探索範囲との関係を示す説明図である。 従来の車線認識画像処理装置において走行路の左側のボッツ・ドッツのレーンマーキング候補点位置を車線内側とした場合に、近似直線がドットの１／２幅分だけ振動する状態を斜視図により示す説明図である。 従来の車線認識画像処理装置において走行路の左側のボッツ・ドッツのレーンマーキング候補点位置を車線内側とした場合に、ドットとレーンマーキング探索ラインとの位置関係に応じてレーンマーキング候補点位置がそれぞれ異なる状態を示す説明図である。

符号の説明

１ カメラ、２ 車両、３ ボッツ・ドッツ、４ レーンマーキング探索ライン、５ フィルタ出力結果、６ リフレクタ、Ａ レーンマーキング候補領域の開始点、Ｂ レーンマーキング候補領域の終了点、Ｃ レーンマーキング候補点、Ｄｍ レーンマーキング候補点間の最大距離、Ｌ１ 近似直線、Ｌ２ 車線境界線、Ｐｍ、ＰＭ レーンマーキング間隔、ＰＳ レーンマーキングのセット間隔、Ｑ 円中心、Ｒ レーンマーキング候補領域、ＴＨ 閾値、ΔＴＨ 閾値設定範囲、Ｗｍ、ＷＭ レーンマーキング横幅、ＷＳ レーンマーキングの探索範囲。

Claims (7)

1. 車両に搭載された車線認識画像処理装置であって、
   前記車両の前方を撮影する撮影手段と、
   前記撮影手段により撮像された画像からレーンマーキング候補領域上の走査方向の開始点および終了点を抽出する抽出手段と、
   前記抽出手段に基づいて前記車両の走行路上の車線を認識する車線認識手段とを備え、
   前記車線認識手段は、
   前記レーンマーキング候補領域の開始点および終了点を、消失点方向の線上に定められるレーンマーキング候補点位置に変換するレーンマーキング候補点位置変換手段と、
   前記レーンマーキング候補点の集合の有効性判定基準となる閾値を設定する閾値設定手段と、
   前記レーンマーキング候補点の集合のうち、前記車両の進行方向に最も離れた位置にある２点を抽出して、前記２点の間の２点間距離が前記閾値を越えたか否かを判定するレーンマーキング候補判定手段と、
   前記閾値を越える２点間距離が存在しない場合に、前記レーンマーキング候補点から得られる情報を無効化するための無効化手段と
   を有してなることを特徴とする車線認識画像処理装置。
2. 前記レーンマーキング候補点位置変換手段は、前記レーンマーキング候補点を含むレーンマーキング候補領域の中点を前記レーンマーキング候補点位置として認識することを特徴とする請求項１に記載の車線認識画像処理装置。
3. 前記閾値は、前記車両の走行路上のレーンマーキングの横幅以上、且つ前記車両の進行方向に対する前記レーンマーキングのセット間隔以下に設定されたことを特徴とする請求項１または請求項２に記載の車線認識画像処理装置。
4. 前記車線認識手段は、
   車線認識結果を記憶する車線認識結果記憶手段を含み、
   前記無効化手段により情報が無効化された場合には、前記車線認識結果記憶手段内の記憶情報を有効化することを特徴とする請求項１に記載の車線認識画像処理装置。
5. 前記車線認識手段は、前記無効化手段による無効化処理が所定時間以上継続する場合には、前記車両が前記レーンマーキングのセット間隔を走行するのに要する時間に相当する所定期間にわたって、前記車線認識結果記憶手段内の記憶情報の有効化処理を継続させ、前記所定期間の経過後には、前記記憶情報の有効化処理を禁止することを特徴とする請求項４に記載の車線認識画像処理装置。
6. 前記車線認識手段は、
   車線認識結果に対して時間平均化処理を施す時間平均化処理手段と、
   前記時間平均化処理手段による時間平均化結果を記憶する時間平均化結果記憶手段とを含み、
   前記無効化手段により情報が無効化された場合には、前記時間平均化結果記憶手段内の記憶情報を有効化することを特徴とする請求項１に記載の車線認識画像処理装置。
7. 前記車線認識手段は、前記無効化手段による無効化処理が所定時間以上継続する場合には、前記車両が前記レーンマーキングのセット間隔を走行するのに要する時間に相当する所定期間にわたって、前記時間平均化結果記憶手段内の記憶情報の有効化処理を継続させ、前記所定期間の経過後には、前記記憶情報の有効化処理を禁止することを特徴とする請求項６に記載の車線認識画像処理装置。

Images