JP4697480B2 - 車線認識装置、車線認識方法および車線認識プログラム - Google Patents

Description

本発明は車線区画線の認識に関し、特に画像の処理によって車線区画線の位置を推定することに関する。

ＩＴ技術を応用して、輸送効率および道路交通の快適性を向上しようとするＩＴＳ（Intelligent Transport Systems、高度道路交通システム）の研究テーマの一つとして、ＬＫＳ（Lane Keep Support、車線維持支援）システムがある。これは、センサによって道路上の車線を認識し、それによって自動車が車線の中央を常に走行するようにステアリング、アクセル、ブレーキなどを制御するものである。

このＬＫＳシステムを実現する上で重要であるのが車線認識技術である。特にカメラなどの画像入力装置を走行中の車の前面もしくは後面に設置し、該画像入力装置が走行中の道路を撮影した画像を処理して、白もしくは黄色などの高輝度の色で道路上に描かれた車線区画線を認識する技術が特に盛んに研究されている。

図１８は、特許文献１に記載された従来の車線認識装置１８００の構成の一例を示す概念図である。従来の車線認識装置１８００は、画像入力装置１８１０と、鳥瞰画像作成手段１８２０と、輝度プロファイル作成手段１８３０と、区画線検出手段１８４０から構成されている。

図１９は、図１８で示された車線認識装置１８００の動作を示す概念図である。図１９（ａ）は、画像入力装置１８１０によって撮影された走行中の道路の画像である。これを原画像１９１０という。原画像１９１０を入力された鳥瞰画像作成手段１８２０は、原画像１９１０から図１９（ｂ）に示す鳥瞰画像１９２０を作成する。

輝度プロファイル作成手段１８３０は、鳥瞰画像１９２０に表される路面の路幅方向に直交する方向の座標の輝度を積分することにより、図１９（ｃ）に示される積分輝度を路幅方向の座標別に検出する。最後に、区画線検出手段１８４０が、積分輝度の分布より高い積分輝度を示す路幅方向の座標に対応する位置を求め、車線区画線１９３０を検出する。

特許文献１以外にも、車線認識については次のような文献がある。特許文献２には、原画像から車線を検出する技術の一例が開示されている。特許文献３には、平面移動量に基づいて鳥瞰画像から合成鳥瞰画像を生成する技術の一例が開示されている。特許文献４には、原画像から車線の位置および線種を検出する技術の一例が開示されている。特許文献５には、原画像から検出された車線が実線か破線かを判断する技術の一例が開示されている。

特許文献６には、時点の異なる複数の画像によって車線の検出精度を向上するする技術の一例が開示されている。特許文献７には、輝度合計値の変動に基づいて車線の検出精度を向上する技術の一例が開示されている。特許文献８には、車両に種々のセンサを備え付けて路面の状況を判定することによって車線の検出精度を向上するする技術の一例が開示されている。

特許文献９には、時点の異なる複数の画像をつなぎ合わせて車両の周囲の鳥瞰画像を得るという技術が開示されている。特許文献１０には、原画像から鳥瞰画像を得る際の画質を改善する技術の一例が開示されている。特許文献１１には、近距離と遠距離で独立して車線を認識することによって車線の検出精度を向上するする技術の一例が開示されている。

特開２００４−１４５８５２号公報 特開２０００−２４２７６９号公報 特開２００２−１２０６７５号公報 特開２００２−１７５５３４号公報 特開２００３−０６７７５５号公報 特開２００３−３４６１６３号公報 特開２００４−２４６６４１号公報 特開２００５−２７６０４１号公報 特開２００７−０９６４９７号公報 特開２００７−２４９３９２号公報 特開平０９−１６７２３９号公報

図１８および１９に示した従来の車線認識装置１８００においては、誤認識が発生しやすい問題がある。たとえば画像入力装置１８１０に雨滴や異物が付着した場合、原画像１９１０にはそのような雨滴や異物に起因する点状のノイズが発生する。これを鳥瞰画像作成手段１８２０によって鳥瞰画像１９２０に変換すると、縦方向の白線状のノイズとなり、車線との区別が付きにくくなる。そのため、誤認識が発生しやすくなる。

その一方で、原画像１９１０を鳥瞰画像１９２０に変換せず、そのまま輝度プロファイルから車線を検出しようとする場合、画像入力装置１８１０から遠い距離の映像が不鮮明になりやすいので、車線を正確に認識することが難しい。

このように、原画像１９１０から直接車線を検出する場合と、原画像１９１０を鳥瞰画像１９２０に変換してから車線を検出する場合とでは、それぞれに発生しやすいノイズがあり、誤認識が発生しやすい原因となる。しかしながら、特許文献１はもちろん、特許文献２〜１１にも、これらの両者のそれぞれで発生しやすいノイズを抑制できる構成は記載されていない。

本発明の目的は、原画像と鳥瞰画像のそれぞれで発生しやすいノイズを抑制し、車線の認識精度を向上する車線認識装置、車線認識方法および車線認識プログラムを提供することにある。

上記目的を達成するため、本発明に係る車線認識装置は、画像入力装置から入力された原画像から車線区画線の位置を推定する車線認識装置であって、複数の異なる時刻における原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成手段と、原画像および合成鳥瞰画像のうち一方から当該画像の高輝度な点である特徴点を通る直線として車線区画線候補を検出する区画線候補検出手段と、原画像および合成鳥瞰画像のうち区画線候補検出手段で車線区画線候補を検出された側ではない画像において車線区画線候補周囲の予め定められた範囲における画素値の和に基づく評価値が予め定められた閾値以上である場合に車線区画線候補が車線区画線として適していると判定する区画線候補検定手段と、区画線として適していると検定された車線区画線候補の中から前時刻での車線区画線に近いものを選択して車線区画線の推定位置として出力する区画線位置推定手段とを有することを特徴とする。

上記目的を達成するため、本発明に係る別の車線認識装置は、画像入力装置から入力された原画像から車線区画線の位置を推定する車線認識装置であって、原画像から鳥瞰画像を作成する鳥瞰画像作成手段と、複数の異なる時刻における原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成手段と、鳥瞰画像と合成鳥瞰画像とを基に当該画素位置の鳥瞰画像の予め定められた範囲における画素値の和に基づく評価値および合成鳥瞰画像の評価値の間でより暗い方の値である演算値を画素値とする第２合成鳥瞰画像を作成する第２合成鳥瞰画像作成手段と、第２合成鳥瞰画像から当該画像の高輝度な点である特徴点を通る直線を検出してこれを車線区画線候補とする区画線候補検出手段と、車線区画線候補の中から前時刻での車線区画線に近いものを選択して車線区画線の推定位置として出力する区画線位置推定手段と
を有することを特徴とする。

上記目的を達成するため、本発明に係る車線認識方法は、車線区画線の位置を推定する車線認識方法であって、画像入力装置から原画像を入力する入力工程と、複数の異なる時刻における原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成工程と、原画像および合成鳥瞰画像のうち一方から当該画像の高輝度な点である特徴点を通る直線として車線区画線候補を検出する区画線候補検出工程と、原画像および合成鳥瞰画像のうち区画線候補検出手段で車線区画線候補を検出された側ではない画像において車線区画線候補周囲の予め定められた範囲における画素値の和に基づく評価値が予め定められた閾値以上である場合に車線区画線候補が車線区画線として適していると判定する区画線候補検定工程と、区画線として適していると検定された車線区画線候補の中から前時刻での車線区画線に近いものを選択して車線区画線の推定位置として出力する区画線位置推定工程と
を有することを特徴とする。

上記目的を達成するため、本発明に係る別の車線認識方法は、車線区画線の位置を推定する車線認識方法であって、画像入力装置から原画像を入力する入力工程と、原画像から鳥瞰画像を作成する鳥瞰画像作成工程と、複数の異なる時刻における原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成工程と、鳥瞰画像と合成鳥瞰画像とを基に当該画素位置の鳥瞰画像の予め定められた範囲における画素値の和に基づく評価値および合成鳥瞰画像の評価値の間でより暗い方の値である演算値を画素値とする第２合成鳥瞰画像を作成する第２合成鳥瞰画像作成工程と、第２合成鳥瞰画像から当該画像の高輝度な点である特徴点を通る直線を検出してこれを車線区画線候補とする区画線候補検出工程と、車線区画線候補の中から前時刻での車線区画線に近いものを選択して車線区画線の推定位置として出力する区画線位置推定工程とを有することを特徴とする。

上記目的を達成するため、本発明に係る車線認識プログラムは、画像入力装置から入力された原画像から車線区画線の位置を推定する車線認識装置を構成するコンピュータに、複数の異なる時刻における原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成処理と、原画像および合成鳥瞰画像のうち一方から当該画像の高輝度な点である特徴点を通る直線として車線区画線候補を検出する区画線候補検出処理と、原画像および合成鳥瞰画像のうち区画線候補検出手段で車線区画線候補を検出された側ではない画像において車線区画線候補周囲の予め定められた範囲における画素値の和に基づく評価値が予め定められた閾値以上である場合に車線区画線候補が車線区画線として適していると判定する区画線候補検定処理と、区画線として適していると検定された車線区画線候補の中から前時刻での車線区画線に近いものを選択して車線区画線の推定位置として出力する区画線位置推定処理とを実行させることを特徴とする。

上記目的を達成するため、本発明に係る別の車線認識プログラムは、画像入力装置から入力された原画像から車線区画線の位置を推定する車線認識装置を構成するコンピュータに、原画像から鳥瞰画像を作成する鳥瞰画像作成処理と、複数の異なる時刻における原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成処理と、鳥瞰画像と合成鳥瞰画像とを基に当該画素位置の鳥瞰画像の予め定められた範囲における画素値の和に基づく評価値および合成鳥瞰画像の評価値の間でより暗い方の値である演算値を画素値とする第２合成鳥瞰画像を作成する第２合成鳥瞰画像作成処理と、第２合成鳥瞰画像から当該画像の高輝度な点である特徴点を通る直線を検出してこれを車線区画線候補とする区画線候補検出処理と、車線区画線候補の中から前時刻での車線区画線に近いものを選択して車線区画線の推定位置として出力する区画線位置推定処理とを実行させることを特徴とする。

本発明は、原画像と鳥瞰画像の両方を利用して車線区画線の候補となる線の位置を検出するように構成したので、原画像と鳥瞰画像のそれぞれで発生しやすいノイズを相殺することができる。これによって、ノイズを抑制して車線の認識精度を向上することができるという、従来にない優れた車線認識装置、車線認識方法および車線認識プログラムを提供することができる。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る車線認識装置１０の原理的な構成を示すブロック図である。車線認識装置１０は、制御部１００と、画像入力装置１１０とから構成されている。制御部１００は、ＣＰＵ、ＲＡＭ、およびＯＳなどによって構成されるコンピュータ装置の主要部であり、区画線候補検出手段１２０、合成鳥瞰画像作成手段１３０、区画線候補検定手段１４０、区画線位置推定手段１５０、区画線位置出力手段１６０という各機能を実行する。

画像入力装置１１０は、車線区画線を検出する対象となる画像を入力するカメラなどの装置である。以後、画像入力装置１１０から入力された画像を原画像という。画像入力装置１１０は自動車などの車両に取り付けられる。以後、画像入力装置１１０が取り付けられた車両を自車という。制御部１００を自車に搭載して、画像入力装置１１０と制御部１００との間の接続を有線接続としてもよい。また、制御部１００を自車に搭載せず、画像入力装置１１０と制御部１００との間の接続を無線接続としてもよい。

合成鳥瞰画像作成手段１３０は、複数の異なる時刻において撮影された原画像を基に合成された鳥瞰画像を生成する。区画線候補検出手段１２０は、原画像から、車線区画線の候補となる線の位置を検出する。

区画線候補検定手段１４０は、区画線候補検出手段１２０において検出された車線区画線候補について、合成鳥瞰画像作成手段１３０において作成された合成鳥瞰画像内の車線区画線候補位置周辺の情報に基づいて車線区画線として適しているか否かを検定する。

区画線位置推定手段１５０は、区画線候補検定手段１４０において車線区画線として適していると検定された車線区画線候補の位置に基づいて車線区画線の現時刻の位置を推定する。区画線位置出力手段１６０は、区画線位置推定手段１５０において推定された現時刻の車線区画線位置を出力する。

図２は、図１で示した合成鳥瞰画像作成手段１３０によって行われる合成鳥瞰画像の生成について示す概念図である。ここでいう鳥瞰画像とは、原画像に撮影されている風景を、実世界で鉛直方向下向きの視線で見た場合の画像に変換したものである。鳥瞰画像化とは、原画像をそのような画像に変換することをいう。

合成鳥瞰画像は、複数の異なる時刻において撮影された原画像を用い、それぞれの原画像の部分領域を鳥瞰画像化した部分鳥瞰画像をつなぎ合わせることにより作成される。図２に示した例では、画像入力装置１１０は自車の進行方向と反対向きに設置され、自車の後ろ方向を撮影している。図２（ａ）は時刻Ｔ−１の時点での原画像、図２（ｂ）は時刻Ｔの時点での原画像である。図２（ｂ）の下部には、時刻Ｔ−１では撮影されていず、時刻Ｔで始めて原画像の撮影範囲に入った部分が斜線部として示されている（これを手前領域２１という）。なお図２（ａ）および（ｃ）中の矢印は、自車の進行方向を表す。

図２（ｃ）は時刻Ｔ−１の時点で、図２（ａ）の原画像から生成された鳥瞰画像である。図２（ｄ）は、図２（ｃ）の鳥瞰画像の画素を、時刻Ｔ−１から時刻Ｔの間に自車の移動した距離の分だけ垂直方向に移動させた画像である。図２（ｃ）の鳥瞰画像には、図２（ｂ）の手前領域２１に該当する部分は含まれていないので、図２（ｄ）の画像ではその部分は空白部２２となる。

ここで合成鳥瞰画像作成手段１３０は、図２（ｂ）を鳥瞰画像化して得られた画像と、図２（ｄ）の画像とを合成することにより、図２（ｄ）の空白部２２（図２（ｂ）の手前領域２１に該当する部分）を埋めて、図２（ｅ）の合成鳥瞰画像を生成する。

図３は、図１で示した車線認識装置１０が実行する処理の概要について書き表したフローチャートである。処理を開始すると、まず画像入力装置１１０により車線区画線検出の対象となる原画像が入力される（ステップＳ２００１）。次に、区画線候補検出手段１２０が車線区画線の候補を検出し（ステップＳ２００２）、合成鳥瞰画像作成手段１３０が合成鳥瞰画像を作成する（ステップＳ２００３）。

さらに、未検定の車線区画線候補が存在する間は以下に示すステップＳ２００５〜２００７を、未検定の車線区画線が存在しなくなるまで繰り返す（ステップＳ２００４）。ステップＳ２００５では、区画線候補検定手段１４０が、合成鳥瞰画像内の検定対象車線区画線候補周辺の情報から、検定対象車線区画線が車線区画線として適しているか否かを検定する。ステップＳ２００５における「検定」の詳細については後述する。

ステップＳ２００６において、検定に合格していれば区画線候補検定手段１４０が検定対象車線区画線候補を検定合格候補に加え（ステップＳ２００７）、不合格であればステップＳ２００４に戻る。さらに、区画線位置推定手段１５０が、検定に合格した車線区画線候補の位置を基に現時刻における車線区画線位置を推定する（ステップＳ２００８）。最後に、区画線位置出力手段１６０がステップＳ２００８において推定された車線区画線位置を出力する（ステップＳ２００９）。

なお、本実施の形態では車線区画線候補を原画像から検出し、合成鳥瞰画像内の情報によりそれらを検定するように構成されているが、逆に合成鳥瞰画像から車線区画線候補を検出し、車線区画線候補を原画像もしくは原画像から生成される鳥瞰画像内の情報により検定してもよい。また、本実施の形態における原画像や合成鳥瞰画像の代わりに、これらにフィルタ等の処理を施した処理画像を用いてもよい。

図４は、図２で示した合成鳥瞰画像の作成で、原画像に含まれるノイズの一例を示す概念図である。図４（ａ）に示される原画像４１０では、本来の車線区画線４１１の他に、雨滴などの異物４１２が一定時間以上原画像内の同一位置に留まっている。これを合成鳥瞰画像作成手段１３０により図４（ｂ）に示される合成鳥瞰画像４２０とした場合、原画像４１０の車線区画線４１１から変換された本来の車線区画線４２１に加えて、車線区画線４１１に似た縦方向の白線状のノイズ４２２が発生する。

このため、合成鳥瞰画像４２０だけで車線区画線を認識しようとした場合、ノイズ４２２を車線区画線候補と誤認識してしまう危険性がある。しかしながら、ノイズ４２２の原因となった異物４１２は、原画像４１０では点状の部分的なノイズにしかならないので、車線区画線候補としては認識されにくい。

逆に、原画像４１０で自車の遠方部分４１３は、距離が遠いため鮮明な映像にならない。このため、原画像４１０だけで車線区画線を認識しようとした場合、遠方部分４１３の映像が誤認識の要因となる危険性がある。しかしながら、遠方部分４１３の映像は、合成鳥瞰画像作成手段１３０によって作成された合成鳥瞰画像４２０には含まれないので、車線区画線候補の誤認識の要因とはならない。

つまり、本実施の形態では、原画像４１０と合成鳥瞰画像４２０のそれぞれで車線区画線候補を検出し、検定するように構成されているので、それぞれの画像において出現するノイズを相殺して、それらのノイズの影響を抑えて車線区画線を精度良く認識することができる。

図５は、図１で示した車線認識装置１０を、実際に車両に実装する例を示す概念図である。道路を走行する自車５２０の後部にカメラ５１０が取り付けられている。このカメラ５１０が、画像入力装置１１０となる。カメラ５１０の撮影範囲５１１は、自車の進行方向５３０の逆方向に向いている。車線認識装置１０は、カメラ５１０によって撮影された画像から、車線区分線５４０および５５０を認識するものである。

図６は、図１で示した区画線候補検出手段１２０、合成鳥瞰画像作成手段１３０、区画線候補検定手段１４０、および区画線位置推定手段１５０の、より詳細な構成を示すブロック図である。区画線候補検出手段１２０は、原画像２値化手段６２１と、ハフ変換手段６２２とを含む。ただし、区画線候補検出手段１２０はこの構成に限定されるものではなく、区画線らしい高輝度の線分もしくは直線を検出する手段であればよい。

合成鳥瞰画像作成手段１３０は、画素移動手段６３１と、原画像鳥瞰化手段６３２と、手前領域付加手段６３３とを含む。区画線候補検定手段１４０は、区画線位置変換手段６４１と、合成鳥瞰画像内区画線位置計算手段６４２と、区画線上画素検定手段６４３とを含む。区画線位置推定手段１５０は、左右区画線候補選択手段６５１と、左右区画線位置推定手段６５２とを含む。

原画像２値化手段６２１は、原画像を、例えば原画像の階調数が２５６であれば輝度値２００以上の画素を前景、それ以外の画素を背景とする、というように原画像を前景と背景とに２値化する。ハフ変換手段６２２は原画像において前景とされた画素を基に公知のハフ(Hough)変換により直線を検出し、それらの直線を区画線候補とする。

画素移動手段６３１は、図２に示すように前時刻からの自車の移動量に合わせて合成鳥瞰画像の各画素を遠方に移動する。例えば、図２（ａ）の原画像から生成された図２（ｃ）の合成鳥瞰画像の最下行を画像入力装置１１０の先端より１ｍの位置とし、合成鳥瞰画像の各画素が道路面の縦５ｃｍ、横５ｃｍに相当するように合成鳥瞰画像を作成する場合、自車の移動量が５０ｃｍであったならば、合成鳥瞰画像の各画素を遠方に１０ピクセルずつ移動させる。これにより図２（ｄ）に示した状態の画像になる。

原画像鳥瞰化手段６３２は図２（ｂ）の原画像の手前領域２１を鳥瞰画像化する。ただし、手前領域２１の範囲は、実世界での自車の移動量に相当する距離範囲に対応する原画像での領域を含んでいなければならない。手前領域付加手段６３３は、原画像鳥瞰化手段６３２において鳥瞰画像化された原画像の手前領域２１を合成鳥瞰画像の空白部２２に付加して、図２（ｅ）に示した合成鳥瞰画像を生成する。

図７は、図６で示した原画像鳥瞰化手段６３２による原画像の鳥瞰画像化の原理について説明するイメージ図である。画像入力装置１１０によって撮影される画像面７２０における原画像の座標系をｘｙとし、実世界の座標系をＸＹＺとする。撮像の際の実世界から原画像への変換は透視変換であるとし、レンズ等の歪み等による他の変換の要因は無視できるものとする。Ｘ軸とｘ軸、Ｙ軸とｙ軸はそれぞれ平行であり、道路面７１０はＹ軸に対して鉛直な平面をなし、実世界座標系の原点から道路面７１０までの距離７３０をＨとし、両座標系の原点同士の距離７４０をｆとする。

この場合、道路面上の点(Ｘi、Ｈ、Ｘi)に対応する原画像内の画素(ｘi、ｙi)は次の数１のように表される。

鳥瞰画像は道路面を実世界で鉛直方向下向きの視線で見た場合の画像である。原画像から鳥瞰画像への変換は、鳥瞰画像の各画素における輝度を、原画像内の数１で表される対応する画素の輝度とすることにより行うことができる。従って、上述の数１で道路面上の点を原画像内の画素に変換したものは、道路面上の実世界座標を適当な間隔、例えば縦５ｃｍ×横５ｃｍで量子化したものであると言える。

なお、画像撮像系において透視変換以外の変換要因、例えばレンズの歪み、道路面７１０とｘ軸との間の傾斜ズレ等が存在する場合は、数１の代わりにそれらの変換要因を考慮した変換式を用いて補正することにより、同様に原画像の鳥瞰画像化を達成することができる。これは当業者が任意にとりうる手法であるので、詳しい説明を省略する。

区画線位置変換手段６４１は、区画線候補の位置を上述のような手法で合成鳥瞰画像内での位置に変換する。合成鳥瞰画像内区画線位置計算手段６４２は合成鳥瞰画像内での区画線候補の詳細な位置を計算する。区画線上画素検定手段６４３は各区画線候補が区画線として適しているか否かを合成鳥瞰画像の情報を用いて検定する。

図８は、図６で示した合成鳥瞰画像内区画線位置計算手段６４２による、区画線候補の位置の計算を示す概念図である。原画像内区画線候補位置８２０は、区画線位置変換手段６４１により変換された、合成鳥瞰画像８１０での区画線候補の位置である。合成鳥瞰画像内区画線位置計算手段６４２では、原画像内区画線候補位置８２０を合成鳥瞰画像の手前切片とし、角度を区画線角度範囲８３０内のいずれかであるとすることにより、合成鳥瞰画像内での合成鳥瞰画像内区画線候補位置を表現する。

角度の決定については、角度での位置における合成鳥瞰画像内区画線候補位置もしくはその周辺における合成鳥瞰画像内の画素値の和が最大となる角度として決定する。たとえば、区画線角度範囲８３０を±３０度とし、１度刻みで角度を変化させた場合の合成鳥瞰画像内区画線候補位置もしくはその周辺、例えば合成鳥瞰画像内区画線候補位置を中心線とした左右２０cmの範囲、における合成鳥瞰画像内の画素値の和をそれぞれ計算し、最大の画素値の和をとる角度として決定する。

ここで、合成鳥瞰画像内区画線候補位置の決定における評価値は画素値の和に限るものではなく、合成鳥瞰画像内区画線候補位置もしくはその周辺における合成鳥瞰画像内の画素の配置について、なんらかの区画線らしさを表現する値であればよい。

区画線上画素検定手段６４３は、合成鳥瞰画像内区画線候補位置もしくはその周辺における合成鳥瞰画像内の画素に基づいて、各区画線候補が区画線として適しているか否かを検定する。ここで、検定のための評価値としては、例えば、合成鳥瞰画像内区画線位置計算手段６４２において計算した合成鳥瞰画像内区画線候補位置の決定における画素値の和を用いることができる。

すなわち、画素値の和が予め定められた閾値以上である場合、対象各区画線候補が区画線として適しているとして検定に合格であるとする。ここで、検定のための評価値は画素値の和に限るものではなく、合成鳥瞰画像内区画線候補位置もしくはその周辺における合成鳥瞰画像内の画素の配置について、なんらかの区画線らしさを表現する値であればよい。また、合成鳥瞰画像内区画線位置計算手段６４２において計算した評価値とは別の評価値を用いてもよい。

左右区画線候補選択手段６５１は自車レーンの左右車線区画線について、区画線上画素検定手段６４３において検定に合格した車線区画線候補の中から、左右車線区画線のそれぞれについて最も適した車線区画線候補を選択する。選択の基準は、例えば、前時刻での左右車線区画線の位置そのものや予測される位置に最も近い位置のものを選択するようにしてもよい。もしくは、前時刻での左右車線区画線の位置に近いある範囲、例えば１ｍ以内に存在するもので、検定のための評価値が最も大きいものを選択するようにしてもよい。さらに、これらの基準を組み合わせて用いることもできる。

左右区画線位置推定手段６５２は、左右車線区画線のそれぞれについて選択した車線区画線候補の位置や、前時刻での左右車線区画線の位置等から現時刻での左右車線区画線の位置を推定する。この推定は、例えば、左右車線区画線のそれぞれについて選択した車線区画線候補の位置をそのまま現時刻での左右車線区画線の位置として行ってもよい。また、左右車線区画線の位置について時系列的なフィルタリング手法、例えばカルマンフィルタ等を用いることによって行ってもよい。

図９は、図１および６で示した車線認識装置１０の、より詳細な動作を示すフローチャートである。なお、図３のフローチャートで示した動作と同一の動作には、同一の参照番号を付している。図３で示した動作が図９において複数のステップに分かれる場合は、図３の参照番号にさらに子番号を付ける形で表している。たとえば図３のステップＳ２００２が図９では２つのステップに分かれる場合、その各々をステップＳ２００２ａとステップＳ２００２ｂというようにしている。

処理を開始すると、まず画像入力装置１１０により車線区画線検出の対象となる原画像が入力される（ステップＳ２００１）。次に、原画像２値化手段６２１が原画像を２値化し、各画素を前景と背景とに分類する（ステップＳ２００２ａ）。続いてハフ変換手段６２２によりステップＳ２００２ａで分類された前景の画素を特徴点としたハフ変換により直線を検出し、車線区画線候補とする（ステップＳ２００２ｂ）。

画素移動手段６３１は、前時刻の合成鳥瞰画像の画素を前時刻からの自車の移動量に合わせて移動し、下部に空白部２２を作る。（ステップＳ２００３ａ）。原画像鳥瞰化手段６３２は、原画像の手前部分２１を鳥瞰画像化する（ステップＳ２００３ｂ）。手前領域付加手段６３３は、鳥瞰画像化された原画像手前部分２１を鳥瞰画像下部の空白部２２に付加する（ステップＳ２００３ｃ）。

さらに、未検定の車線区画線候補が存在する間は次のステップＳ２００５ａからステップＳ２００７までを、未検定の車線区画線が存在しなくなるまで繰り返す（ステップＳ２００４）。ステップＳ２００５ａでは、区画線位置変換手段６４１が、原画像での検定対象車線区画線候補位置を合成鳥瞰画像の手前切片位置に変換する。ステップＳ２００５ｂでは、合成鳥瞰画像内区画線位置計算手段６４２が、検定対象車線区画線位置の合成鳥瞰画像内での角度を計算し、合成鳥瞰画像内での車線区画線候補位置を求める。

ステップＳ２００５ｃでは、区画線上画素検定手段６４３が、検定対象車線区画線候補が車線区画線として適しているか否かの検定評価値を計算する。ステップＳ２００６では、検定評価値と予め定められた閾値とを比較し、検定評価値が閾値以上であればステップＳ２００７に進み、閾値より小さければステップＳ２００４に戻る。ステップＳ２００６では、検定合格候補に検定対象区画線候補を加える。

さらに、左右区画線候補選択手段６５１が、検定合格候補の中から、左右車線区画線のそれぞれについて最も適した車線区画線候補を選択する（ステップＳ２００８ａ）。続いて左右区画線位置推定手段６５２が、選択された車線区画線候補を基に、現時刻での左右車線区画線の位置を推定する（ステップＳ２００８ｂ）。最後に、区画線位置出力手段１６０がステップＳ２００８において推定された車線区画線位置を出力する（ステップＳ２００９）。

［第２の実施の形態］
図１０は、本発明の第２の実施の形態に係る車線認識装置１１の原理的な構成を示すブロック図である。車線認識装置１１は、制御部１０００と、画像入力装置１１０とから構成されている。制御部１０００は、ＣＰＵ、ＲＡＭ、およびＯＳなどによって構成されるコンピュータ装置の主要部であり、鳥瞰画像作成手段１０２０、合成鳥瞰画像作成手段１０３０、第２合成鳥瞰画像作成手段１０４０、区画線候補検出手段１０５０、区画線位置推定手段１０６０、区画線位置出力手段１６０という各機能を実行する。

画像入力装置１１０は、本発明の第１の実施の形態と同一の、カメラなどの装置である。鳥瞰画像作成手段１０２０は、現時刻の原画像から、予め定められた実世界範囲、例えば、前後は自車からの距離が１ｍから８ｍまで、左右はそれぞれ自車から４ｍまで、について予め定められた精度、例えば縦５ｃｍ、横５ｃｍ精度、で鳥瞰画像を作成する。

合成鳥瞰画像作成手段１０３０は、複数の異なる時刻において撮影された原画像を基に合成された鳥瞰画像を作成する。第２合成鳥瞰画像作成手段１０４０は、鳥瞰画像と合成鳥瞰画像とを基に第２合成鳥瞰画像を作成する。

区画線候補検出手段１０５０は、第２合成鳥瞰画像から車線区画線の候補となる線の位置を検出する。区画線位置推定手段１０６０は、車線区画線候補の位置に基づいて車線区画線の現時刻の位置を推定する。区画線位置出力手段１６０は、本発明の第１の実施の形態と同様に、区画線位置推定手段１０６０において推定された現時刻の車線区画線位置を出力する。

ここでいう第２合成鳥瞰画像とは、鳥瞰画像と合成鳥瞰画像とから新たに作成された鳥瞰画像であり、鳥瞰画像と合成鳥瞰画像がそれぞれもつノイズを除去するように作成されるものである。前述のように、合成鳥瞰画像は鳥瞰画像に多く含まれていると考えられる遠方部分４１３でのノイズを含まず、また鳥瞰画像には合成鳥瞰画像に含まれる異物４１２などに起因する白線状のノイズ４２２を含まない。このため、これらのノイズを鳥瞰画像と合成鳥瞰画像とでお互いに相殺するように第２合成鳥瞰画像を作成することが可能である。

なお、本実施の形態における第２合成鳥瞰画像の代わりに、これにフィルタ等の処理を施した処理画像を用いてもよい。

図１１は、図１０で示した車線認識装置１１が実行する処理の概要について書き表したフローチャートである。まず画像入力装置１１０により車線区画線検出の対象となる原画像が入力される（ステップＳ２１０１）。次に、鳥瞰画像作成手段１０２０が原画像から鳥瞰画像を作成し（ステップＳ２１０２）、合成鳥瞰画像作成手段１０３０が合成鳥瞰画像を作成する（ステップＳ２１０３）。

さらに、第２合成鳥瞰画像作成手段１０４０が第２合成鳥瞰画像を作成し（ステップＳ２１０４）、区画線候補検出手段１０５０が第２合成鳥瞰画像から車線区画線候補を検出し（ステップＳ２１０５）、区画線位置推定手段１０６０により区画線候補の位置を基に車線区画線位置を推定する（ステップＳ２１０６）。最後に、区画線位置出力手段１６０がステップＳ２１０６において推定された車線区画線位置を出力する（ステップＳ２１０７）。

本実施の形態では、鳥瞰画像と合成鳥瞰画像がそれぞれもつノイズを除去するように作成される第２合成鳥瞰画像から車線区画線候補を検出するように構成されているため、ノイズの影響を抑えて車線区画線を精度良く認識することができる。

図１０で示した車線認識装置１１は、本発明の第１の実施の形態と同じく、図５で説明した形で自車５２０の後部に取り付けられたカメラ５１０が画像入力装置１１０となる。

図１２は、図１０で示した合成鳥瞰画像作成手段１０３０、区画線候補検出手段１０５０、および区画線位置推定手段１０６０の、より詳細な構成を示すブロック図である。合成鳥瞰画像作成手段１０３０は、画素移動手段１２３１と、原画像鳥瞰化手段１２３２と、手前領域付加手段１２３３とを含む。区画線候補検出手段１０５０は、第２合成鳥瞰画像２値化手段１２５１と、ハフ変換手段１２５２とを含む。区画線位置推定手段１０６０は、左右区画線候補選択手段１２６１と、左右区画線位置推定手段１２６２とを含む。

画素移動手段１２３１、原画像鳥瞰化手段１２３２、および手前領域付加手段１２３３は、図６で示した本発明の第１の実施の形態の画素移動手段６３１、原画像鳥瞰化手段６３２、および手前領域付加手段６３３とそれぞれ同一であるので、詳細な説明を省略する。

第２合成鳥瞰画像作成手段１２４０は、鳥瞰画像と合成鳥瞰画像とを基に第２合成鳥瞰画像を作成する。第２合成鳥瞰画像の作成は、例えば以下のように行うことができる。原画像鳥瞰化手段１２２０および合成鳥瞰画像作成手段１２３０において、鳥瞰画像と合成鳥瞰画像を同じ実世界範囲、例えば前後は自車からの距離が１ｍから８ｍまで、左右はそれぞれ自車から４ｍまで、について同じ精度、例えば縦５ｃｍ、横５ｃｍ精度、で第２合成鳥瞰画像を作成する。

その際、第２合成鳥瞰画像も同じ実世界範囲および同じ精度とし、第２合成鳥瞰画像作成手段１２４０において第２合成鳥瞰画像の各画素値を、対応する鳥瞰画像の画素値と合成鳥瞰画像の画素値とでより暗い方の値とする。これにより、鳥瞰画像と合成鳥瞰画像とに別個に現れる高輝度で車線区画線と間違えやすいノイズをお互いに相殺し、第２合成鳥瞰画像としてノイズの少ない鳥瞰画像を得ることができる。

なお、第２鳥瞰画像の作成手法は上記に限らず、鳥瞰画像と合成鳥瞰画像とに別個に現れる車線区画線と間違えやすいノイズをお互いに相殺し、第２合成鳥瞰画像としてノイズの少ない鳥瞰画像が得られる手法であればよい。

第２合成鳥瞰画像２値化手段１２５１は、第２合成鳥瞰画像を、例えば第２合成鳥瞰画像の階調数が２５６であれば輝度値２００以上の画素を前景、それ以外の画素を背景とする、というように第２合成鳥瞰画像を前景と背景とに２値化する。ハフ変換手段１２５２は第２合成鳥瞰画像において前景とされた画素を基に公知のハフ変換により直線を検出し、それらの直線を区画線候補とする。

左右区画線候補選択手段１２６１は自車レーンの左右車線区画線について、区画線候補検出手段１２５０において検出された車線区画線候補の中から、左右車線区画線のそれぞれについて最も適した車線区画線候補を選択する。選択の基準および方法は、図６で示した本発明の第１の実施の形態の左右区画線候補選択手段６５１と同様にすることができるので、詳細な説明を省略する。

また、左右区画線位置推定手段１２６２も、図６で示した本発明の第１の実施の形態の左右区画線位置推定手段６５２と同様の動作を行うようにすることができるので、詳細な説明を省略する。

図１３は、図１０および１２で示した車線認識装置１１の、より詳細な動作を示すフローチャートである。なお、図１１のフローチャートで示した動作と同一の動作には、同一の参照番号を付している。図１１で示した動作が図１３において複数のステップに分かれる場合は、本発明の第１の実施の形態に係る詳細なフローチャート図９と同様に、図１１の参照番号にさらに子番号を付ける形で表している。

まず画像入力装置１１０により車線区画線検出の対象となる原画像が入力される（ステップＳ２１０１）。次に、鳥瞰画像作成手段１０２０が原画像から鳥瞰画像を作成する（ステップＳ２１０２）。

さらに、画素移動手段１２３１が前時刻の合成鳥瞰画像の各画素を移動し（ステップＳ２１０３ａ）、原画像鳥瞰化手段１２３２が原画像の手前部分を鳥瞰画像化し（ステップＳ２１０３ｂ）、手前領域付加手段１２３３が鳥瞰画像化された原画像手前部分２１を鳥瞰画像下部の空白部２２に付加する（ステップＳ２１０３ｃ）。

さらに、第２合成鳥瞰画像作成手段１２４０が鳥瞰画像と合成鳥瞰画像とから第２合成鳥瞰画像を作成する（ステップＳ２１０４）。第２合成鳥瞰画像２値化手段１２５１が第２合成鳥瞰画像を２値化し、第２合成鳥瞰画像の各画素を前景と背景とに分類する（ステップＳ２１０５ａ）と、ハフ変換手段１２５２が前景の画素を特徴点としたハフ変換により直線を検出し、車線区画線候補とする（ステップＳ２１０５ｂ）。さらに、左右区画線候補選択手段１２６１が、車線区画線候補の中から左右区画線のそれぞれについて最も適した区画線候補を選択する（ステップＳ２１０５ｃ）。

さらに、左右区画線位置推定手段１２６２が現時刻での左右車線区画線の位置を推定し（ステップＳ２１０６）、最後に区画線位置出力手段１６０が左右車線区画線の推定位置を出力する（ステップＳ２１０７）。

［第３の実施の形態］
図１４は、本発明の第３の実施の形態に係る車線認識装置１２の原理的な構成を示すブロック図である。車線認識装置１２は、制御部１４００と、画像入力装置１１０とから構成されている。制御部１４００は、ＣＰＵ、ＲＡＭ、およびＯＳなどによって構成されるコンピュータ装置の主要部であり、区画線候補検出手段１４２０、合成鳥瞰画像作成手段１４３０、区画線候補検定手段１４４０、区画線位置推定手段１４５０、区画線種判定手段１４６０、区画線位置出力手段１６０という各機能を実行する。

画像入力装置１１０は、本発明の第１および第２の実施の形態と同一の、カメラなどの装置である。区画線候補検出手段１４２０は、原画像もしくは原画像から生成される鳥瞰画像から、車線区画線の候補となる線の位置を検出する。合成鳥瞰画像作成手段１４３０は、複数の異なる時刻において撮影された原画像を基に合成された鳥瞰画像を作成する。

区画線候補検定手段１４４０は、区画線候補検出手段１４２０において検出された車線区画線候補について、合成鳥瞰画像作成手段１４３０において作成された合成鳥瞰画像内の車線区画線候補位置周辺の情報に基づいて車線区画線として適しているか否かを検定する。

区画線位置推定手段１４５０は、区画線候補検定手段１４４０において車線区画線として適していると検定された車線区画線候補の位置に基づいて車線区画線の現時刻の位置を推定する。区画線種判定手段１４６０は、区画線位置推定手段１４５０により推定された車線区画線の位置周辺の合成画像もしくは原画像もしくは原画像から生成される鳥瞰画像の情報に基づいて車線区画線の線種、例えば実線や破線、の判定を行う。

区画線位置出力手段１６０は、本発明の第１および第２の実施の形態と同様に、区画線位置推定手段１４５０において推定された現時刻の車線区画線位置および区画線種判定手段１４６０において判定された車線区画線種を出力する。

以上の説明からわかるように、図１４に示された車線認識装置１２は、図１に示された本発明の第１の実施の形態に係る車線認識装置１０に、区画線種判定手段１４６０が付加されたものであると言える。区画線候補検出手段１４２０、合成鳥瞰画像作成手段１４３０、区画線候補検定手段１４４０、区画線位置推定手段１４５０、は、本発明の第１の実施の形態に係る区画線候補検出手段１２０、合成鳥瞰画像作成手段１３０、区画線候補検定手段１４０、区画線位置推定手段１５０と各々同一である。

図１５は、図１４で示した車線認識装置１２が実行する処理の概要について書き表したフローチャートである。まず画像入力装置１１０により車線区画線検出の対象となる原画像が入力される（ステップＳ２２０１）。次に、区画線候補検出手段１４２０が車線区画線の候補を検出し（ステップＳ２２０２）、合成鳥瞰画像作成手段１４３０が合成鳥瞰画像を作成する（ステップＳ２２０３）。

さらに、未検定の車線区画線候補が存在する間は以下に示すステップＳ２２０５〜２２０７を、未検定の車線区画線が存在しなくなるまで繰り返す（ステップＳ２２０４）。ステップＳ２２０５では、区画線候補検定手段１４４０が、合成鳥瞰画像内の検定対象車線区画線候補周辺の情報から、検定対象車線区画線が車線区画線として適しているか否かを検定する。ステップＳ２２０５における「検定」の詳細については後述する。

ステップＳ２２０６において、検定に合格していれば区画線候補検定手段１４４０が検定対象車線区画線候補を検定合格候補に加え（ステップＳ２２０７）、不合格であればステップＳ２２０４に戻る。さらに、区画線位置推定手段１４５０が、検定に合格した車線区画線候補の位置を基に現時刻における車線区画線位置を推定し（ステップＳ２２０８）、区画線種判定手段１４６０が推定車線区画線位置を基に車線区画線の線種を判定する（ステップＳ２２０９）。最後に、区画線位置出力手段１６０によりステップＡ８において推定された車線区画線位置および線種を出力する（ステップＳ２２１０）。

以上の説明からわかるように、図１５のフローチャートのステップＳ２２０１〜２２０８は、図３で示した本発明の第１の実施の形態に係るフローチャートのステップＳ２００１〜２００８と同一である。車線区画線の線種を判定するステップＳ２２０９が、その後に付加されたものであるとも言える。

本実施の形態では、本発明の第１の実施の形態と同様に車線区画線を精度良く認識することができるのみならず、車線区画線位置に基づく車線区画線種も精度良く判定することができる。

図１６は、図１４で示した区画線種判定手段１４６０の、より詳細な構成を示すブロック図である。区画線種判定手段１４６０は、合成鳥瞰画像２値化手段１６６１と、区画線上連結前景長算出手段１６６２と、実線・破線判定手段１６６３とを含む。なお、図１４で示した区画線候補検出手段１４２０、合成鳥瞰画像作成手段１４３０、区画線候補検定手段１４４０、区画線位置推定手段１４５０の詳細な構成は、各々図６で示した区画線候補検出手段１２０、合成鳥瞰画像作成手段１３０、区画線候補検定手段１４０、区画線位置推定手段１５０と同一であるので、説明を省略する。

合成鳥瞰画像２値化手段１６６１は、ステップＳ２２０８までの工程で得られた合成鳥瞰画像を、例えば合成鳥瞰画像の階調数が２５６であれば輝度値２００以上の画素を前景、それ以外の画素を背景とする、というように合成鳥瞰画像を前景と背景とに２値化する。

区画線上連結前景長算出手段１６６２は、左右区画線位置推定手段１６５２において位置を推定された左右区画線上に存在する合成鳥瞰画像の前景画素について、例えば８近傍の意味での連結集合に区分けをし、それらの連結集合で最大の画素数を区画線上連結前景長として算出する。

実線・破線判定手段１６６３は、区画線上連結前景長が予め定められた閾値以上、例えば２００画素以上、の場合に車線区画線は実線であると判定し、閾値より小さい場合には車線区画線は破線であると判定する。

図１７は、図１４および１６で示した車線認識装置１２の、より詳細な動作を示すフローチャートである。なお、前述のようにステップＳ２２０１〜２２０８は図３で示した本発明の第１の実施の形態に係るフローチャートのステップＳ２００１〜２００８と同一であるので、詳細な説明を省略する。

また、図１５のフローチャートで示した動作と同一の動作には、同一の参照番号を付している。図１５で示した動作が図１７において複数のステップに分かれる場合は、本発明の第１および第２の実施の形態と同様に、図１５の参照番号にさらに子番号を付ける形で表している。

ステップＳ２２０８までの工程で得られた合成鳥瞰画像に対して、合成鳥瞰画像２値化手段１６６１は合成鳥瞰画像を２値化し、各画素を前景と背景とに分類する（ステップＳ２２０９ａ）。続いて、区画線上連結前景長算出手段１６６２は左右区画線上での前景の連結集合の中で最大の画素数を区画線上連結前景長として算出する（ステップＳ２２０９ｂ）。

さらに、実線・破線判定手段１６６３は区画線上連結前景長と予め定められた閾値を比較し、区画線上連結前景長が予め定められた閾値以上の場合に車線区画線は実線であると判定し、閾値より小さい場合には車線区画線は破線であると判定する（ステップＳ２２０９ｃ）。最後に、区画線位置出力手段１６０が推定された車線区画線位置および判定された車線区画線種を出力する（ステップＳ２２１０）。

図１４に示された車線認識装置１２は、本発明の第１の実施の形態に係る車線認識装置１０に区画線種判定手段１４６０が付加されたものであるが、これと同様に図１０に示された本発明の第２の実施の形態に係る車線認識装置１１に区画線種判定手段１４６０を付加することもできる。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることは言うまでもないことである。

画像からの車線区画線位置推定および車線区画線の種別判定といった用途に適用可能である。

本発明の第１の実施の形態に係る車線認識装置の原理的な構成を示すブロック図である。 図１で示した合成鳥瞰画像作成手段によって行われる合成鳥瞰画像の生成について示す概念図である。 図１で示した車線認識装置が実行する処理の概要について書き表したフローチャートである。 図２で示した合成鳥瞰画像の作成で、原画像に含まれるノイズの一例を示す概念図である。 図１で示した車線認識装置を、実際に車両に実装する例を示す概念図である。 図１で示した区画線候補検出手段、合成鳥瞰画像作成手段、区画線候補検定手段、および区画線位置推定手段の、より詳細な構成を示すブロック図である。 図６で示した原画像鳥瞰化手段による原画像の鳥瞰画像化の原理について説明するイメージ図である。 図６で示した合成鳥瞰画像内区画線位置計算手段による、区画線候補の位置の計算を示す概念図である。 図９は、図１および６で示した車線認識装置の、より詳細な動作を示すフローチャートである。 本発明の第２の実施の形態に係る車線認識装置の原理的な構成を示すブロック図である。 図１０で示した車線認識装置が実行する処理の概要について書き表したフローチャートである。 図１０で示した合成鳥瞰画像作成手段、区画線候補検出手段、および区画線位置推定手段の、より詳細な構成を示すブロック図である。 図１０および１２で示した車線認識装置の、より詳細な動作を示すフローチャートである。 本発明の第３の実施の形態に係る車線認識装置の原理的な構成を示すブロック図である。 図１４で示した車線認識装置１２が実行する処理の概要について書き表したフローチャートである。 図１４で示した区画線種判定手段の、より詳細な構成を示すブロック図である。 図１４および１６で示した車線認識装置の、より詳細な動作を示すフローチャートである。 特許文献１に記載された従来の車線認識装置の構成の一例を示す概念図である。 図１８で示された車線認識装置の動作を示す概念図である。

符号の説明

１０、１１、１２ 車線認識装置
１００、１０００、１４００ 制御部
１１０ 画像入力装置
１２０、１４２０ 区画線候補検出手段
１３０、１４３０ 合成鳥瞰画像作成手段
１４０、１４４０ 区画線候補検定手段
１５０、１４５０ 区画線位置推定手段
１６０ 区画線位置出力手段
６２１ 原画像２値化手段
６２２ ハフ変換手段
６３１ 画素移動手段
６３２ 原画像鳥瞰化手段
６３３ 手前領域付加手段
６４１ 区画線位置変換手段
６４２ 合成鳥瞰画像内区画線位置計算手段
６４３ 区画線上画素検定手段
６５１ 左右区画線候補選択手段
６５２ 左右区画線位置推定手段
１０２０ 鳥瞰画像作成手段
１０３０ 合成鳥瞰画像作成手段
１０４０ 第２合成鳥瞰画像作成手段
１０５０ 区画線候補検出手段
１０６０ 区画線位置推定手段
１２３１ 画素移動手段
１２３２ 原画像鳥瞰化手段
１２３３ 手前領域付加手段
１２５１ 第２合成鳥瞰画像２値化手段
１２５２ ハフ変換手段
１２６１ 左右区画線候補選択手段
１２６２ 左右区画線位置推定手段
１４６０ 区画線種判定手段
１６６１ 合成鳥瞰画像２値化手段
１６６２ 区画線上連結前景長算出手段
１６６３ 実線・破線判定手段

Claims (14)

1. 画像入力装置から入力された原画像から車線区画線の位置を推定する車線認識装置であって、
   複数の異なる時刻における前記原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成手段と、
   前記原画像および前記合成鳥瞰画像のうち一方から当該画像の高輝度な点である特徴点を通る直線として車線区画線候補を検出する区画線候補検出手段と、
   前記原画像および前記合成鳥瞰画像のうち前記区画線候補検出手段で車線区画線候補を検出された側ではない画像において前記車線区画線候補周囲の予め定められた範囲における画素値の和に基づく評価値が予め定められた閾値以上である場合に前記車線区画線候補が車線区画線として適していると判定する区画線候補検定手段と、
   前記区画線として適していると検定された車線区画線候補の中から前時刻での車線区画線に近いものを選択して前記車線区画線の推定位置として出力する区画線位置推定手段と
   を有することを特徴とする車線認識装置。
2. 前記区画線候補検定手段が、
   前記原画像上での前記車線区画線候補の位置を前記合成鳥瞰画像上の手前切片位置に変換する区画線位置変換手段と、
   前記車線区画線候補の前記合成鳥瞰画像内での角度を計算する合成鳥瞰画像内区画線位置計算手段と、
   前記合成鳥瞰画像上の前記車線区画線候補周囲の画素値の和が予め定められた閾値以上である場合に車線区画線として適していると判定する区画線上画素検定手段と
   を含むことを特徴とする、請求項１に記載の車線認識装置。
3. 画像入力装置から入力された原画像から車線区画線の位置を推定する車線認識装置であって、
   前記原画像から鳥瞰画像を作成する鳥瞰画像作成手段と、
   複数の異なる時刻における前記原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成手段と、
   前記鳥瞰画像と前記合成鳥瞰画像とを基に当該画素位置の前記鳥瞰画像の予め定められた範囲における画素値の和に基づく評価値および前記合成鳥瞰画像の前記評価値の間でより暗い方の値である演算値を画素値とする第２合成鳥瞰画像を作成する第２合成鳥瞰画像作成手段と、
   前記第２合成鳥瞰画像から当該画像の高輝度な点である特徴点を通る直線を検出してこれを車線区画線候補とする区画線候補検出手段と、
   前記車線区画線候補の中から前時刻での車線区画線に近いものを選択して前記車線区画線の推定位置として出力する区画線位置推定手段と
   を有することを特徴とする車線認識装置。
4. 前記区画線位置推定手段が、
   前記区画線候補検定手段によって車線区画線として適していると検定された前記車線区画線候補の中から前時刻での左右車線区画線の位置から予測される前記車線区画線の現時刻での位置および前記評価値に基づき左右それぞれの車線区画線を選択する左右区画線候補選択手段と、
   前記選択された車線区画線の位置を前記車線区画線の推定位置とする左右区画線位置推定手段と
   を含むことを特徴とする、請求項１ないし請求項３のうちいずれか１項に記載の車線認識装置。
5. 前記区画線位置推定手段によって推定された前記車線区画線の線種の判定を行う区画線種判定手段を有することを特徴とする、請求項１ないし請求項４のうちいずれか１項に記載の車線認識装置。
6. 前記画像入力装置が車両に取り付けられたカメラであることを特徴とする、請求項１ないし請求項５のうちいずれか１項に記載の車線認識装置。
7. 車線区画線の位置を推定する車線認識方法であって、
   画像入力装置から原画像を入力する入力工程と、
   複数の異なる時刻における前記原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成工程と、
   前記原画像および前記合成鳥瞰画像のうち一方から当該画像の高輝度な点である特徴点を通る直線として車線区画線候補を検出する区画線候補検出工程と、
   前記原画像および前記合成鳥瞰画像のうち前記区画線候補検出手段で車線区画線候補を検出された側ではない画像において前記車線区画線候補周囲の予め定められた範囲における画素値の和に基づく評価値が予め定められた閾値以上である場合に前記車線区画線候補が車線区画線として適していると判定する区画線候補検定工程と、
   前記区画線として適していると検定された車線区画線候補の中から前時刻での車線区画線に近いものを選択して前記車線区画線の推定位置として出力する区画線位置推定工程と
   を有することを特徴とする車線認識方法。
8. 前記区画線候補検定工程が、
   前記原画像上での前記車線区画線候補の位置を前記合成鳥瞰画像上の手前切片位置に変換する区画線位置変換工程と、
   前記車線区画線候補の前記合成鳥瞰画像内での角度を計算する合成鳥瞰画像内区画線位置計算工程と、
   前記合成鳥瞰画像上の前記車線区画線候補周囲の画素値の和が予め定められた閾値以上である場合に車線区画線として適していると判定する区画線上画素検定工程と
   を含むことを特徴とする、請求項７に記載の車線認識方法。
9. 車線区画線の位置を推定する車線認識方法であって、
   画像入力装置から原画像を入力する入力工程と、
   前記原画像から鳥瞰画像を作成する鳥瞰画像作成工程と、
   複数の異なる時刻における前記原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成工程と、
   前記鳥瞰画像と前記合成鳥瞰画像とを基に当該画素位置の前記鳥瞰画像の予め定められた範囲における画素値の和に基づく評価値および前記合成鳥瞰画像の前記評価値の間でより暗い方の値である演算値を画素値とする第２合成鳥瞰画像を作成する第２合成鳥瞰画像作成工程と、
   前記第２合成鳥瞰画像から当該画像の高輝度な点である特徴点を通る直線を検出してこれを車線区画線候補とする区画線候補検出工程と、
   前記車線区画線候補の中から前時刻での車線区画線に近いものを選択して前記車線区画線の推定位置として出力する区画線位置推定工程と
   を有することを特徴とする車線認識方法。
10. 前記区画線位置推定工程が、
    前記区画線候補検定工程によって車線区画線として適していると検定された前記車線区画線候補の中から前時刻での左右車線区画線の位置から予測される前記車線区画線の現時刻での位置および前記評価値に基づき左右それぞれの車線区画線を選択する左右区画線候補選択工程と、
    前記選択された車線区画線の位置を前記車線区画線の推定位置とする左右区画線位置推定工程と
    を含むことを特徴とする、請求項７ないし請求項９のうちいずれか１項に記載の車線認識方法。
11. 前記区画線位置推定工程によって推定された前記車線区画線の線種の判定を行う区画線種判定工程を有することを特徴とする、請求項７ないし請求項１０のうちいずれか１項に記載の車線認識方法。
12. 画像入力装置から入力された原画像から車線区画線の位置を推定する車線認識装置を構成するコンピュータに、
    複数の異なる時刻における前記原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成処理と、
    前記原画像および前記合成鳥瞰画像のうち一方から当該画像の高輝度な点である特徴点を通る直線として車線区画線候補を検出する区画線候補検出処理と、
    前記原画像および前記合成鳥瞰画像のうち前記区画線候補検出手段で車線区画線候補を検出された側ではない画像において前記車線区画線候補周囲の予め定められた範囲における画素値の和に基づく評価値が予め定められた閾値以上である場合に前記車線区画線候補が車線区画線として適していると判定する区画線候補検定処理と、
    前記区画線として適していると検定された車線区画線候補の中から前時刻での車線区画線に近いものを選択して前記車線区画線の推定位置として出力する区画線位置推定処理と
    を実行させることを特徴とする車線認識プログラム。
13. 前記区画線候補検定処理が、
    前記原画像上での前記車線区画線候補の位置を前記合成鳥瞰画像上の手前切片位置に変換する区画線位置変換処理と、
    前記車線区画線候補の前記合成鳥瞰画像内での角度を計算する合成鳥瞰画像内区画線位置計算処理と、
    前記合成鳥瞰画像上の前記車線区画線候補周囲の画素値の和が予め定められた閾値以上である場合に車線区画線として適していると判定する区画線上画素検定処理と
    を含むことを特徴とする、請求項１２に記載の車線認識プログラム。
14. 画像入力装置から入力された原画像から車線区画線の位置を推定する車線認識装置を構成するコンピュータに、
    前記原画像から鳥瞰画像を作成する鳥瞰画像作成処理と、
    複数の異なる時刻における前記原画像を基に合成された合成鳥瞰画像を生成する合成鳥瞰画像作成処理と、
    前記鳥瞰画像と前記合成鳥瞰画像とを基に当該画素位置の前記鳥瞰画像の予め定められた範囲における画素値の和に基づく評価値および前記合成鳥瞰画像の前記評価値の間でより暗い方の値である演算値を画素値とする第２合成鳥瞰画像を作成する第２合成鳥瞰画像作成処理と、
    前記第２合成鳥瞰画像から当該画像の高輝度な点である特徴点を通る直線を検出してこれを車線区画線候補とする区画線候補検出処理と、
    前記車線区画線候補の中から前時刻での車線区画線に近いものを選択して前記車線区画線の推定位置として出力する区画線位置推定処理と
    を実行させることを特徴とする車線認識プログラム。

Images