JP3748811B2

JP3748811B2 - 車線境界判定装置

Info

Publication number: JP3748811B2
Application number: JP2001367133A
Authority: JP
Inventors: 新高橋; 芳樹二宮; 久志里中; 誠西田; 宗広高山
Original assignee: Aisin Seiki Co Ltd; Toyota Motor Corp; Toyota Central R&D Labs Inc; Aisin Corp
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc; Aisin Corp
Priority date: 2001-11-30
Filing date: 2001-11-30
Publication date: 2006-02-22
Anticipated expiration: 2021-11-30
Also published as: JP2003168123A

Description

【０００１】
【発明の属する技術分野】
本発明は、車載カメラからの入力画像に基づいて路面上に描かれた車線標示の境界位置を実時間で判定する判定装置に関し、例えば、車両の自動レーンキーピング動作等を実行する車両の運転支援システム等に有用な装置として、利用することができる。
【０００２】
【従来の技術】
図２１は、高速道路等の走行車線を走行中の車両の車載カメラの視界に入る複合線（車線標示）の標示パターンを例示する平面図である。また、図２２に、追い越し車線を走行中の車両の車載カメラの視界に入る複合線（車線標示）の標示パターンを例示する。図中の車載カメラは、車内のルームミラー付近に設けられており、斜線部はカメラ視界に入らない部分を示している。
【０００３】
現在、車載カメラを利用した自動制御によるレーン・キーピング・オペレーション（車線維持動作）を実行する運転支援システムが普及しつつあり、この様な運転支援システムを備えた車両が一般にも市販されている。これらの運転支援システムでは、車載カメラから入力した前方の道路の画像をコンピュータで解析することにより、レーンを規定する車線標示の位置（レーン境界位置）を検知している。
【０００４】
【発明が解決しようとする課題】
しかしながら、路面上の車線標示が、例えば図２１、図２２に例示される様な複合線（縦方向に脈絡の有る複数列又は複数本の標示で構成されている車線標示）である場合に、レーン・キーピング・オペレーション（車線維持動作）を実行可能な従来の運転支援システムにおいては、レーン（車線）の境界位置の判定が困難または不確実と成るために、車線維持動作を中断しなくてはならなかったり、或いは、算出した車線の境界位置が横方向に振動してしまい、安定した出力結果が得られない等の問題が生じていた。
【０００５】
本発明は、上記の課題を解決するために成されたものであり、その目的は、路面上の車線標示が例えば上記の様な複合線である場合にも、確実なレーン境界位置を安定的かつ継続的に出力可能な車線境界判定装置を実現することである。
【０００６】
【課題を解決するための手段、並びに、作用及び発明の効果】
上記の課題を解決するためには、以下の手段が有効である。
即ち、本発明の第１の手段は、カメラからの入力画像に基づいて、路面上に描かれた車線標示で規定される車線（レーン）の境界位置を走行中に実時間で判定する判定装置において、車線標示の脈絡方向又は自車両の進行方向を縦方向とし、この縦方向に直交する方向を車線標示に関する探索方向として、この探索方向における探索により得られた探索情報に基づいて、車線標示が縦方向に脈絡の有る複数列又は複数本の標示で構成されている複合線から成るか否かを判定する複合線判定手段と、この複合線判定結果に基づいて境界位置を推定する境界位置推定手段とを備える。
【０００７】
図１は、車線標示を上記の探索方向に沿って探索した際に得られる複合線の標示パターンを例示する平面図である。例えば、図１（ａ）は、図２１、図２２の（ａ）で示される探索位置で横方向に探索した際の探索結果に対応している。また、図１の（ｂ），（ｃ），（ｄ）の各標示パターンについても、それぞれ同様に同じ符号に対応している。
また、図中の各標示パターンの斜線部分は、複合線のブロック標示を示すものである。ただし、ここで言う「複合線のブロック標示」とは、運転者にレーン逸脱等の注意を促すために、車線（レーン）の境界標示線の近傍に側方から添えて描かれた矩形の標示のことであり、通常、縦方向の標示ピッチが、境界標示線よりも短周期になっている。
【０００８】
例えば、この様な標示が路面画像上に検出された場合には、その標示パターンが、一般或いは通常の複合線の規格範囲内に有るか否かを上記の複合線判定手段により、判定することができる。また、この様な判定結果を、経時的に或いは画像平面内にて空間的に蓄積（統計操作）していくことにより、その複合線が車両の前方に連続しているか否かを判定することも可能となる。
【０００９】
したがって、これらの判定結果を用いれば、複合線の一部をノイズとみなして無視することが可能となる。例えば、図１の（ａ）〜（ｄ）に示した標示パターンの斜線部分は、複合線のブロック標示と判定することができるため、この標示を車線境界を検出する上では不要な標示であると推定することができる。このため、例えば、このブロック標示を無視することにより、走行中のレーンの正しい境界位置の検出が可能となる。
例えば、以上の様な作用により、路面上の車線標示が例えば上記の様な複合線である場合にも、正確なレーン境界位置を安定的かつ継続的に検出することができる。
更に、複合線判定手段に、現在走行中の車線の車線標示の「線種モード」を、過去又は現在の上記の探索情報に基づいて決定する線種モード判定部を設ける。
例えば、走行中の車線の左側に上記の３重線が空間的に前方へ連続している状態が検出された場合に、左側の車線標示を「左３重線モードにある」と定義する。
この様な線種モード判定を常時行っていれば、例えば「左単一線モードにある」時に、左側に上記の３重線が検出されても、その時に限って、それらの標示パターンを無視することが可能となる。即ち、線種モードと複合線の種類の間に矛盾（不一致）が生じた場合、それらの標示パターンをノイズとして取り扱うことが可能となる。これにより、ノイズに対して頑強な境界位置判定を実現することが可能となる。
更に、境界位置推定手段に、線種モード判定部が決定した線種モードに基づいて、上記の探索情報から車線標示が有するブロック標示等の不要部分を判別して除去するノイズ除去部を設ける。
例えばこの様な手段により、ノイズとして除去しておくことが望ましい部分の探索情報を、線種モードに基づいて推定（除去）することが可能若しくは容易となる。
【００１０】
また、本発明の第２の手段は、上記の第１の手段の複合線判定手段において、探索方向が互いに略平行となる入力画像上の複数箇所の探索位置での複数件の探索情報に基づいて、車線標示が複合線から成るか否かを判定することである。
標示パターンが一般或いは通常の複合線の規格範囲内に有るか否か等の判定結果は、そのサンプルを多数集めることにより、その信頼度が向上する。
上記の第２の手段によれば、１つの標示パターンに対する判定結果を、画像平面内にて空間的に蓄積（統計操作）していくことができる。このため、その複合線が車両の前方に連続しているか否かを推定することが、より確実或いは容易となる。
【００１１】
また、第３の手段は、上記の第１又は第２の手段の複合線判定手段において、最新の探索情報と過去の探索情報との関係に基づいて、車線標示が複合線から成るか否かを判定することである。
例えば、標示パターンが一般或いは通常の複合線の規格範囲内に有るか否か等の判定結果は、そのサンプルを経時的な蓄積処理によって多数集めることもでき、この様な処理方式によっても、複合線が車両の前方に連続しているか否かをより確実或いは容易に推定することができる。
【００１２】
また、上記の第２の手段により得られた１単位時刻（１制御周期）前の判定結果（境界線位置）と現在の入力画像に基づく判定結果（境界線位置）とを照合することによっても、車線標示に対する認識の信頼度を向上させることが可能である。この様な照合手段によれば、路面画像中にノイズが多数写っている場合においても、確実に現在走行中のレーンの境界位置を確定することができる。
【００１３】
また、第４の手段は、上記の第１乃至第３の何れか１つの手段の複合線判定手段において、上記の探索情報が有する標示の数、標示の幅、又は標示間の間隙幅の少なくとも１つから、車線標示が、両側からブロック標示で挟まれた１本の標示線で構成された複合線より成るか否かを判定することである。
この手段によれば、図１（ａ）、図２１（ａ）、図２２（ａ）等の標示パターンを有する複合線を３重線（ブロック標示＋車線境界線＋ブロック標示）と判定することが可能となる。この時の探索情報としては、例えば、図１（ａ）に示したｗ１（標示の幅），ｗ２，ｗ３，Ｌ１（標示間の間隙幅），Ｌ２，Ｌ、或いは図形（標示パターン）自身の位置等が考えられる。
【００１４】
また、第５の手段は、上記の第１乃至第４の何れか１つの手段の複合線判定手段において、探索情報が有する標示の数、標示の幅、又は標示間の間隙幅の少なくとも１つから、車線標示が、片側にブロック標示が接近した１本の標示線で構成された複合線より成るか否かを判定することである。
この手段によれば、図１（ｂ），（ｃ）、図２１（ｂ），（ｃ）、図２２（ｂ），（ｃ）等の標示パターンを有する複合線を２重線（車線境界線＋ブロック標示／ブロック標示＋車線境界線）と判定することが可能となる。この時の探索情報としては、例えば、図１（ｂ）に示したｗ１，ｗ２，Ｌ１、或いは図形（標示パターン）自身の位置等が考えられる。
【００１５】
また、第６の手段は、上記の第１乃至第５の何れか１つの手段の複合線判定手段において、探索情報が有する標示の数、標示の幅、又は標示間の間隙幅の少なくとも１つから、車線標示が縦方向に並列に配置された２つ又は２列のブロック標示で構成された複合線より成るか否かを判定することである。
この手段によれば、図１（ｄ）、図２１（ｄ）、図２２（ｄ）等の標示パターンを有する複合線を上記の３重線の中央に位置する車線境界線が周期的に途切れている部分の標示パターン（中抜けしている３重線：ブロック標示＋ブロック標示）と判定することが可能となる。この時の探索情報としては、例えば、図１（ｄ）に示したｗ１，ｗ２，Ｌ、或いは図形（標示パターン）自身の位置等が考えられる。
【００１８】
また、第７の手段は、上記の第１乃至第６の何れか１つの手段の線種モード判定部に、探索情報がある一定期間継続的に「所定のモード変更条件」を満たすまで、線種モードの変更処理を保留するモード変更保留手段を設けることである。
この様な線種モードの経時的な継続性を判定する手段を導入することにより、ノイズ等の影響により、モード判定が不安定と成りがちな状況下においても、より確実に線種モードの変更を実施することが可能となる。即ち、これにより、ノイズに対してより頑強な境界位置判定を実現することが可能となる。
【００２０】
また、第８の手段は、上記の第１乃至第７の何れか１つの手段の境界位置推定手段において、単一線として探索された前記車線標示の幅が、所定の値ＤＳを越えていた場合に、上記の線種モード判定部が決定した線種モードに基づいて、境界位置を推定することである。
上記の値ＤＳとしては、例えば、一般的な単一線から成る車線境界線の幅の標準的な適正範囲の上限値等がふさわしい。
【００２１】
この第８の手段によれば、カメラの光軸の角度が路面上の車線標示の位置に対して浅い場合や、撮影した画像の解像度が低い場合、画像上のノイズが多い場合、或いは路面上に望ましい形式で車線標示が描かれていない場合等にも、より正確に複合線の判定を行うことができる。この手段の作用については、後述の本発明の実施の形態（第２実施例）のところで詳細に説明する。
【００２２】
また、第９及び第１０の手段は、境界位置推定手段において、複合線の一部として検出された、横幅が最も短い１つの標示の位置を境界位置と推定することである。
例えば、図１の（ｂ）の図形（左２重線の標示パターン）においては、ｗ１≦ｗ２成る関係が要請されるが、この様な場合、横幅が最も短い１つの標示の位置を境界位置と推定する手段が有効である。
例えばこの様な判定基準を活用することにより正確な車線境界位置を推定することが可能となる。
【００２３】
また、上記の各手段の境界位置推定手段において、複合線として検出された、縦方向に並列に配置された２つ又は２列のブロック標示の探索方向における中間点を境界位置と推定すると良い。
例えば、図１（ｄ）、図２１（ｄ）、図２２（ｄ）等の上記の中抜けの標示パターンが検出された場合、図１（ｄ）の図中の破線で示した様に、車線境界線の位置を推定することができる。従って、この様な手段によれば、ノイズとして無視することが望ましい情報（２つのブロック標示の探索情報）に基づいて、境界位置の推定を行うことができる。これにより、車線境界線の位置情報のサンプルを増補することができるため、より正確な境界位置の推定が可能となる。
【００２４】
また、線標示が１つ又は１列のブロック標示で構成されていると複合線判定結果において判定された場合に、上記の各手段の境界位置推定手段において、境界位置をブロック標示の位置に基づいて推定するか、境界位置の推定を保留するか、又は境界位置を不定とすると良い。
【００２５】
例えば、図２１の（ｆ）、図２２の（ｆ）にそれぞれ●（黒丸印）で示した点の位置は、図中の（ｆ）に示された１つのブロック標示の位置、即ち、２重線の外側の標示（車線境界線）が周期的に途切れている部分の標示パターンの位置からそれぞれ推定することができる。したがって、この様な推定から、図中の●（黒丸印）で示した点の位置を車線境界線の位置（レーンの境界位置）と推定することが可能である。
【００２６】
或いは、図２１の（ｆ）、図２２の（ｆ）に示された１つのブロック標示は、ノイズと判断して、無視することもできる。この様な場合には、その他の情報から車線境界線の位置（レーンの境界位置）を推定すれば良い。即ち、上記の様な場合には、一旦、境界位置の推定を保留するか、又は境界位置を不定とすることで、その他の確実な情報を基にして、車線境界線の位置を推定することにより、その探索位置における境界位置も同時に推定することができる。
以上の本発明の手段により、前記の課題を効果的、或いは合理的に解決することができる。
【００２７】
【発明の実施の形態】
以下、本発明を具体的な実施例に基づいて説明する。ただし、本発明は以下に示す実施例に限定されるものではない。
（第１実施例）
図２は、本発明の実施例に係わる車線境界判定装置１００の構成形態を例示するブロック図である。
以下、本図２を用いて、まず最初に、本実施例の車線境界判定装置１００の構成の概要を説明する。
【００２８】
標示抽出手段１は、車載カメラからの入力画像に基づいて解析的に生成された路面画像（図４（ｂ））に対して、周知の白線抽出手段を適用することにより標示（白線）を抽出するものである。
ただし、路面上の標示は、黄色等の比較的輝度の高いものであっても良い。例えば、生成された路面画像に対して、輝度に関する微分処理を行うことにより、これらの標示を抽出することができる（図７）。
【００２９】
図２の境界標示採択部２は、複合線判定手段１１０と境界位置推定手段１２０とを備えており、上記の標示抽出手段１により抽出された探索情報（図８）から、車線の境界位置の判定に悪影響を及ぼす不要な標示をも含めた各種のノイズを除去する機能を奏する。この探索情報は、車線標示の脈絡方向又は自車両の進行方向を縦方向とし、この縦方向に直交する方向を車線標示に関する探索方向として、この探索方向における探索（図７）により得られたものである。
【００３０】
複合線判定手段１１０は、上記の探索情報に基づいて、車線標示が縦方向に脈絡の有る複数列又は複数本の標示で構成されている複合線から成るか否かを判定する。複合線判定手段１１０は、線種分別部１１１と線種モード判定部１１２を備えている。
線種分別部１１１は、探索情報の一部から構成される標示パターンが、一般或いは通常の複合線の規格範囲内に有るか否かを判定する。また、線種モード判定部１１２は、現在走行中の車線の車線標示の「線種モード」を、過去又は現在の上記の探索情報に基づいて決定する。
【００３１】
境界位置推定手段１２０は、上記の複合線判定結果に基づいて境界位置を推定する。この推定の基準としては、例えば線種分別部１１１により分類された車線標示の線種（３重線、２重線、単一線、中抜け等）や、線種モード判定部１１２により判定されたその時々の線種モードの区分等を利用することができる。
境界位置推定手段１２０は、これらの判定基準に基づいて、車線の境界位置の判定に悪影響を及ぼす不要な標示をも含めた各種のノイズを特定（推定）し、上記の探索情報（図８）から不要な情報として除去する。
境界位置推定手段１２０は、本実施例においては、このノイズ除去処理を実行する後述のサブルーチン群（ノイズ除去ｎ（１≦ｎ≦７）：図１０、図１１、図１２）により具現されている。
【００３２】
直線検出手段３は、ノイズが除去された上記の探索情報に基づいて、周知の直線検出方法に従って、車線標示の脈絡方向に伸びている車線境界線を検出する。
レーン選択手段４は、直線検出手段３により検出された車線境界線の組の中から、周知のレーン選択方法に従って、最も信頼性の高い（尤もらしい）車線境界線の組を選択する。これにより、レーンの左右の境界位置を決定することができる。
【００３３】
図３は、車載カメラを有するコンピュータシステムにより上記の車線境界判定装置１００（図２）を実現する際の、各手段の実行手順（２００）を例示するフローチャートである。本フローチャート（実行手順２００）は、ループを有しているが、このループの１巡分の処理は、例えばタイマ割込み等を用いて定期的に実行する。
本フローチャートにおいては、まず最初に、ステップ２１０にて、車線境界判定処理全体の初期化を実行する。この初期化処理としては、例えば、以下の様な後述の各種のフラグやカウンターの初期化処理が含まれている。
【００３４】
ＬＦ３ … 左３重線モードフラグ（初期値は、０）
ＲＦ３ … 右３重線モードフラグ（初期値は、０）
ＬＦ２ … 左２重線モードフラグ（初期値は、０）
ＲＦ２ … 右２重線モードフラグ（初期値は、０）
ＬＭ２ … 左複合線モードカウンター（初期値は、０）
ＬＭ１ … 左単一線モードカウンター（初期値は、γ）
ＲＭ２ … 右複合線モードカウンター（初期値は、０）
ＲＭ１ … 右単一線モードカウンター（初期値は、γ）
ただし、ここでγは、後述の単一線モード復帰閾値である。
【００３５】
次に、ステップ２２０では、車載カメラから現在の最新の撮影画像を入力する。その入力画像の１例を図４（ａ）に例示する。
ステップ２３０では、路面に対する垂直方向上方から鳥瞰した形式の路面画像（路面の平面図）を上記の入力画像（図４（ａ））から解析的に生成する。この処理により生成された路面画像の１例を図４（ｂ）に例示する。
【００３６】
図５、図６は、この入力画像（図４（ａ））を歪み補正した補正画像（図５（ａ））と、上記の路面画像（図４（ｂ），図５（ｂ））との関係を示す説明図である。例えば画像の解析パラメータ（カメラの外部・内部パラメータ等の幾何変換パラメータ）の中には、以下の様な各種の物理量の数値が含まれる。
（解析パラメータの例）
ｈ：カメラの高さ〔ｍ〕
ｆ：カメラの焦点距離〔ｍ〕
φ₀：カメラの俯角〔ｒａｄ〕
尚、図６中の点Ｃはカメラ視点を、矩形Σは幾何変換後の路面画像の投影範囲を示している。
【００３７】
図６は、路面を平面近似した平面Σ（∋Ｐ）と撮像面（∋Ｑ）との関係を例示する斜視図であり、本図６は車載カメラが地面（平面Σ）から距離（高さ）ｈを有し、光軸が水平面上では車両の進行方向を向き、かつ、光軸の俯角が角度φで車体に取付けられている場合の路面と撮像面の関係を表している。ただし、この撮像面には、以下、上記の補正画像（図５（ａ））を配置して考えるものとする。この時、撮像面上（補正画像上）の任意の点Ｑの座標値（ｘ，ｙ）と、路面を近似した平面Σ上の対応点Ｐの座標値（Ｘ，Ｙ）との関係（射影変換）は、次式（１）で与えられる。
【数１】
ｙ＝ｆ／ｔａｎ（φ₀＋ tan^-1（Ｙ／ｈ）），
ｘ＝ｆＸ／（ｈ sinφ₀＋Ｙ cosφ₀） …（１）
【００３８】
即ち、ステップ２３０では、この式（１）に従って路面画像上の点（Ｘ，Ｙ）の画像値を対応する撮像面上（補正画像（図５（ａ）上）の点（ｘ，ｙ）の画像値から決定することにより変換画像（以下、「路面画像（Ｘ，Ｙ）」等と言う場合がある。）を生成する。
【００３９】
路面画像（Ｘ，Ｙ）に対応する撮像面画像（ｘ，ｙ）が存在しない時は、その部分を、図４（ｂ）の矩形画像の右下角と左下角の様な無効画像領域とする。
これらの幾何学的な変換処理により、投影された撮像面上（補正画像（図５（ａ）上）の画像パターンは、被写体が路面上に位置する場合は、路面上（平面Σ上）の正しい位置に投影される。
【００４０】
次に、ステップ２４０では、路面画像（Ｘ，Ｙ）上の標示を抽出する。この標示は通常白色等を前提とするものであるが、以下に示す抽出処理の作用は輝度に関する微分処理に基づくものであるため、黄色等でも以下の処理の対象とすることが可能である。
図７は、標示抽出手段１（図２）、即ち本ステップ２４０の作用を説明する説明図である。本図７に示す様に、標示（白線）の幅や位置は、輝度に対するＸ方向における微分値のピーク座標から求めることができる。
【００４１】
図８は、本実施例の探索情報として保存される車線標示の保存形態（データ形式）を例示する探索情報テーブル１０のテーブル構造図である。
このテーブル構造図上の「ライン」とは、路面画像データ（画素）の１画面上における行（Ｙ座標）のことであり、図５（ｂ）にその行番号Ｉ（１≦Ｉ≦ｍ）の増加方向を示す。
また、このテーブル構造図上の「白線ペア」とは、路面画像上で抽出された、図７のピーク対のことであり、図５（ｂ）にその白線ペア番号Ｊ（１≦Ｊ≦ＮＩ）の増加方向を示す。白線ペア番号Ｊの増加方向は、路面画像データ（画素）の１画面上におけるＸ座標の方向と一致する。また、各ライン毎に白線ペアの数ＮＩ（１≦Ｉ≦ｍ）が記憶されている。
【００４２】
以下、本発明の最も大きな特徴部分である境界標示採択部２（図２）を実現するためのアルゴリズムを例示する。図９は、図３のステップ２５０（境界標示採択部２）を実現するための実行手順３００を例示するフローチャートである。
本ステップステップ２５０（実行手順３００）では、探索情報テーブル１０の中から、不要な標示等をも含んだ広義のノイズを除去することにより、残った白線標示を車線境界線の一部を表す標示として採択する。即ち、一部の標示を有用な境界標示として採択することは、その他の不要な部分を排除（除去）することと同値である。この除去処理は、後述のサブルーチン群（ノイズ除去ｎ（１≦ｎ≦７）により実行する。
【００４３】
以下、上記の探索情報テーブル１０の中から広義のノイズを検出（推定）し、除去する除去処理の手順について詳しく説明する。
【００４４】
本フローチャート（実行手順３００）では、まず最初に初期処理（ステップ３１０，ステップ３１５，ステップ３２０）を実行する。この初期処理で０クリアされるカウンタには、以下のものがある。
（１）Ｌ３Ｃ（左３重線カウンター）
路面画像データの１画面を探索した結果得られた探索情報テーブル１０の中から検出された、画面左半分に位置する３重線標示パターン（図１（ａ））の全件数。
（２）Ｒ３Ｃ（右３重線カウンター）
路面画像データの１画面を探索した結果得られた探索情報テーブル１０の中から検出された、画面右半分に位置する３重線標示パターン（図１（ａ））の全件数。
（３）Ｉ（行番号）
【００４５】
次に、ステップ３２５、ステップ３３０では、各行単位の処理を実行する際の、初期化を行う。即ち、ステップ３２５では、行番号Ｉを１つ増やす。ステップ３３０では、上記の白線ペア番号Ｊを０に初期化する。Ｋは、ステップ３４０にて操作対象となる標示の個数であり、Ｊの増加幅と一致する。ただし、Ｋの初期値は１とする。
【００４６】
ステップ３３５では、白線ペア番号Ｊを増加幅Ｋだけ増加させる。
ステップ３４０では、線種分別部１１１（図２）に対応する処理を実行する。図１０に、この線種分別部１１１（図９ステップ３４０）を実現する実行手順４００を例示する。
【００４７】
ステップ４１０では、図１（ａ）の標示パターンに関して、次式（２）に示す条件を満たすものを三重線と判定する。ただし、以下に示すｄｉ（０≦ｉ≦７）は適当な定数であり、概ね、添字ｉの値が大きくなる程、定数ｄｉの値も大きくなる傾向にある。
【００４８】
【数２】
｜ｗ１−ｗ３｜≦ｄ１，
ｗ１≧ｗ２，
ｄ２≦ｗ２≦ｄ５，
ｄ２≦Ｌ≦ｄ６ …（２）
【００４９】
これらの定数ｄｉの各値は、本実施例を適用する国や地域での実際の車線標示の形式（規格）に照らして、好適或いは最適な値を設定することが望ましい。
また、カーナビゲーションシステムと連動させることにより、本実施例を適用する国や地域を具体的に実時間にて動的に求め、その位置に応じて、各ｄｉ（０≦ｉ≦７）の値が自動的に最適化される様に構成しても良い。
例えば、図１（ａ）の車線境界線の幅ｗ２が、１０cm〜２０cmである地域においては、例えば、ｄ２＝（１０−ε）cm，ｄ５＝２０cm等とすれば良い。
【００５０】
ただし、規格や経験等から既知である標示幅ｗｎの閾値（特に下限値）を、例えば上記の様に適当な正数ε分だけ小さめに設定しておいた方が望ましいケースとしては、例えば次の様なものが考えられる。
（ケース１）白線が磨耗して細く見える場合。
（ケース２）例えばタイヤ跡等の汚れにより白線が細く見える場合。
即ち、上記の式（２）は、これらの各種の諸事情をも加味して、各種のノイズに対して頑強になる様に、好適或いは最適に決定することがより望ましい。
尚、これらの事情は、後述のその他の判別式についても全く同様である。
【００５１】
ステップ４２０では、３重線と判定された上記の標示パターンの位置が、路面画像上の左右どちらに有るかを判定する。この判定は、例えば、図１（ａ）のＪ＋１番目の標示の立ち下がりピーク位置（図７、図８）が画面の中心線に対して左右のどちら側に位置するか等の判定基準を用いて実行することができる。
【００５２】
ステップ４２２では、Ｌ３Ｃ（左３重線カウンター）の値を１だけ増やす。このカウンターＬ３Ｃは、図２の線種モード判定部１１２（即ち、図９のステップ３５５や図１４の実行手順５００）にて、左側の線種モードを決定する際に参照されるものである。
ステップ４２４では、後述のサブルーチン（ノイズ除去１）を呼び出して実行する。このサブルーチン（ノイズ除去１）は、図１（ａ）の斜線部に該当するブロック標示をノイズとして除去するためのものである。即ち、このサブルーチンにより、探索情報テーブル１０（図８）の中のノイズ（ブロック標示）と判定された該当する白線標示のデータが削除若しくは無効化される。
【００５３】
ステップ４２６では、Ｒ３Ｃ（右３重線カウンター）の値を１だけ増やす。このカウンターＲ３Ｃは、図２の線種モード判定部１１２（即ち、図９のステップ３６０）にて、右側の線種モードを決定する際に参照されるものである。
ステップ４２８では、後述のサブルーチン（ノイズ除去２）を呼び出して実行する。
【００５４】
ステップ４３０では、図１（ｂ）の標示パターンに関して、次式（３）に示す条件を満たすものを左二重線と判定する。ただし、次式（３）を満たす標示パターンが、路面画像上の右側に位置する場合には、その標示パターンを左二重線とは判定しない。
【数３】
ｄ２≦ｗ１≦ｄ５，
ｄ３≦ｗ２≦ｄ６，
ｄ０≦Ｌ１≦ｄ４ …（３）
また、ステップ４３５では、後述のサブルーチン（ノイズ除去３）を呼び出して実行する。
【００５５】
ステップ４４０では、図１（ｃ）の標示パターンに関して、次式（４）に示す条件を満たすものを右二重線と判定する。ただし、次式（４）を満たす標示パターンが、路面画像上の左側に位置する場合には、その標示パターンを右二重線とは判定しない。
【数４】
ｄ３≦ｗ１≦ｄ６，
ｄ２≦ｗ２≦ｄ５，
ｄ０≦Ｌ１≦ｄ４ …（４）
また、ステップ４４５では、後述のサブルーチン（ノイズ除去４）を呼び出して実行する。
【００５６】
次に、図１１のステップ４５０では、図１（ｄ）の標示パターン（中抜け）に関して、次式（５）に示す条件を満たすものを前述の「中抜け」の標示パターンと判定する。
【数５】
｜ｗ１−ｗ２｜≦ｄ１，
ｄ２≦Ｌ≦ｄ６ …（５）
【００５７】
ステップ４６０では、「中抜け」と判定された上記の標示パターンの位置が、路面画像上の左右どちらに有るかを判定する。この判定は、例えば、図１（ｄ）のＪ番目とＪ＋１番目の各標示の立ち下がりピーク位置の中点が画面の中心線に対して左右のどちら側に位置するかなどの判定基準を用いて実行することができる。
【００５８】
ステップ４６４では、後述のサブルーチン（ノイズ除去５）を呼び出して実行する。
ステップ４６８では、後述のサブルーチン（ノイズ除去６）を呼び出して実行する。
【００５９】
ステップ４７０では、現在判定対象となっているＪ番目の標示の幅ｗ１が次式（６）を満たすか否かを判定する。この白線幅条件を満たすものは、単一の車線境界線（単一線）と推定される。
【数６】
ｄ２≦ｗ１≦ｄ７ …（６）
ステップ４７５では、Ｊの増加幅Ｋを１に設定する。
ステップ４８０では、後述のサブルーチン（ノイズ除去７）を呼び出して実行する。このサブルーチン（ノイズ除去７）で除去される標示は、実際には車線標示に直接関係ないノイズなどが主である。
以上のサブルーチン（ノイズ除去ｎ）の振り分け処理が、図２の線種分別部１１１に該当する処理である。以上の処理（実行手順４００）が完了した時点で、呼出元に処理を移す（制御を戻す）。
【００６０】
以下、図１２を用いて、前述の境界位置推定手段１２０（図２）の処理に付いて説明する。本実施例においては、この境界位置推定手段１２０は、上記のノイズ除去処理を実行するサブルーチン群（ノイズ除去ｎ（１≦ｎ≦７））により具現されている。
【００６１】
図１２に、これらのノイズ除去部（サブルーチン名：ノイズ除去１〜７）の動作を規定する境界位置推定基準の一覧表を示す。
図１０、図１１に例示した、線種分別部１１１（図１）の動作により、図１２の一覧表に示す各線種が分類される。ただし、単一線（単独の車線境界線）に関しては、ノイズ除去処理が必要ないため、本図１２の一覧表には掲載していない。
【００６２】
図１２の一覧表（境界位置推定基準表）における各記号の意味は、以下の通りである。
（記号）
× ：操作対象となる標示を無条件でノイズと判定（推定）し、前述の探索情報テーブル１０上に有る対応する白線ペアのデータを削除又は無効化する。
△ ：表中の「標示採択条件」が成り立たない場合にだけ、操作対象となる標示をノイズと判定（推定）し、前述の探索情報テーブル１０上に有る対応する白線ペアのデータを削除又は無効化する。
− ：操作或いは参照の対象外とする。
【００６３】
（ノイズ除去１）
したがって、例えば、サブルーチン「ノイズ除去１」では、フラグＬＦ３の値が１である時に限り、図１（ａ）のＪ＋１番目の標示（中央に位置する車線境界線）を削除対象外としてテーブル上に該当データを残す。即ち、有効な標示として採択する。尚、その後は無条件に、Ｊの増加幅Ｋの値を３に設定して、呼出元に制御を戻す。
【００６４】
（ノイズ除去６）
また、例えば、サブルーチン「ノイズ除去６」では、フラグＲＦ３の値が０である時に限り、図１（ｄ）のＪ番目とＪ＋１番目の標示を削除対象外としてテーブル上に該当データを残す。即ち、有効な標示として採択する。尚、その後は無条件に、Ｊの増加幅Ｋの値を２に設定して、呼出元に制御を戻す。
【００６５】
図１３に、各線種モードとモードフラグ（１ビット）の関係を示す。これらの４本のフラグは、線種モード判定部１１２（図２）に相当する図９のステップ３５５（左線種モード判定を実行するサブルーチン）及びステップ３６０（右線種モード判定を実行するサブルーチン）において更新される。
即ち、これらの左右の線種モードを判定するサブルーチンは、上記の探索情報テーブル１０に対する路面画像１画面分のノイズ除去処理が一通り完了した段階で実行される。
尚、この様な１画面単位の処理手順は、図９のステップ３４５とステップ３５０により実現される。
【００６６】
図１４に、図２の線種モード判定部１１２（図９の左線種モード判定）を実現する実行手順５００を例示する。この実行手順５００は、前述の本発明の第７の手段の「モード変更保留手段」をも同時に実現するものである。
【００６７】
本フローチャートでは、まず最初に、ステップ５１０により、線種分別部１１１（図２，図１０）のステップ４２２で更新される前述の左３重線カウンターＬ３Ｃを参照する。本カウンターＬ３Ｃは、路面画像データの１画面を探索した結果得られた探索情報テーブル１０の中から検出された、画面左半分に位置する３重線標示パターン（図１（ａ））の全件数を保持している。
【００６８】
この結果、カウンターＬ３Ｃの値が所定の閾値αよりも大きければ、ステップ５２０に、そうでなければステップ５３０に処理を移す。
以下のステップ５２０とステップ５２５、及び、ステップ５３０とステップ５３５では、次の２種類のカウンター（ＬＭ１，ＬＭ２）を更新する。
【００６９】
（１）ＬＭ１（左単一線モードカウンター）
以下の「左単一線状態判定条件」が連続的に満たされた回数をカウントする（ステップ５３０）。したがって、１度でも「左単一線状態判定条件」が満たされなかった場合には、その場でそのカウント値は０に戻される（ステップ５２０）。これにより、本カウンターでカウントした期間における左単一線状態の連続性が保証される。
《左単一線状態判定条件》
路面画像中の左側にて検出された３重線標示の標示パターン（図１（ａ））の件数（Ｌ３Ｃ）がその１画面中で所定の閾値α以下であること。
【００７０】
（２）ＬＭ２（左複合線モードカウンター）
以下の「左複合線状態判定条件」が連続的に満たされた回数をカウントする（ステップ５２５）。したがって、１度でも「左複合線状態判定条件」が満たされなかった場合には、その場でそのカウント値は０に戻される（ステップ５３５）。これにより、本カウンターでカウントした期間における左複合線状態の連続性が保証される。
《左複合線状態判定条件》
路面画像中の左側にて検出された３重線標示の標示パターン（図１（ａ））の件数（Ｌ３Ｃ）がその１画面中で所定の閾値αよりも大きいこと。
【００７１】
《モード変更条件１》
左単一線モードカウンターＬＭ１の値が所定の閾値γを越えること。本条件はステップ５６０でチェックされ、本条件が満たされている場合には、ステップ５７０とステップ５７５の動作により、図１３（ａ）の定義に従って、左側の線種モードが単一線モードに設定される。
【００７２】
《モード変更条件２》
左複合線モードカウンターＬＭ２の値が所定の閾値βを越えること。本条件はステップ５４０でチェックされ、本条件が満たされている場合には、ステップ５５０とステップ５５５の動作により、図１３（ａ）の定義に従って、左側の線種モードが三重線モードに設定される。
【００７３】
モード変更条件１、２が満たされなければ、モードの変更は行わない。これにより、前述の「モード変更保留手段」が実現される。この様な手段により、線種モードの変更は、状況が一定した段階で初めて実行されるため、ノイズに対して頑強なモード決定処理を実現することができる。
【００７４】
尚、上記の例では、ステップ５１０〜ステップ５３５を用いて、左単一線状態と左複合線状態の区分判定を閾値αにて行ったが、この様な状態区分判定では、３重線標示の件数（Ｌ３Ｃ）の一定期間（複数回の制御周期にわたる期間）の平均値と所定の閾値α′とを比較する様にしても良い。また、この平均値に加えて更に、３重線標示の件数（Ｌ３Ｃ）の一定期間（例：２０ｍの走行期間）の最小値も同時に所定の閾値α″と比較する様にしても良い。これらの統計操作における各種の変形により、ノイズに対してより頑強なアルゴリズムを構成することができる。
【００７５】
例えば図１４のロジックでは、βの値が９である時、ステップ５１０の条件が連続して１０回以上満たされないと、左三重線モードに移行しない（即ち、ステップ５５０を実行しない）。しかし、上記の変形例として、例えば、カウンタＬ３Ｃの平均値をこの１０回に渡って求め、この１０回にわたる平均値が所定の閾値α′以上であれば、左三重線モードに移行する（即ち、ステップ５５０を実行する）様にロジックを構成しても良い。
【００７６】
ステップ５８０とステップ５８５では、左二重線モードフラグＬＦ２の設定処理を行う。
このフラグ設定処理は、ステップ５１０〜ステップ５７５までのモード設定処理と略同様に実施しても良いが、通常高速道路では、右側が３重線である場合には、図２１に示す様に左側は２重線（若しくは３重線）であり、また、左側が２重線の時は、右側は３重線であるため、本実施例の車線境界判定装置１００の適用範囲を高速道路に限定する際には、この様な左二重線モードフラグＬＦ２の設定処理を行っても良い。路面画像中に三重線と誤判定され得るノイズが出現する頻度は通常十分に小さいので、例えば上記の様に三重線の判別結果をベースとして線種モード判定を行えば、ノイズに対して頑強な判定手段を構成することができる。
以上の処理が完了した時点で、図１４の実行手順５００を終了し、呼出元に処理を戻す。
【００７７】
なお、以下の処理手順１〜３に従えば、上記のステップ５８０，５８５に対する代替処理として、図１４のステップ５１０〜ステップ５７５までのモード設定処理と略同様に、左二重線モードフラグＬＦ２の設定処理を独立に構成することができる。
（処理手順１）
前記のカウンターＬ３Ｃ，Ｒ３Ｃと同様のカウンターであるＬ２Ｃ（左二重線カウンター）とＲ２Ｃ（右二重線カウンター）を設け、前記のＬ３Ｃ，Ｒ３Ｃと同様のタイミングで初期化（０クリア）する。
【００７８】
（処理手順２）
線種分別部１１１にて、上記のカウンターＬ２Ｃを用いて、画面左半分に位置する２重線標示パターン（図１（ｂ）又は（ｃ））の全件数をカウントする。ただし、この全件数は、標示パターン（（ｂ）又は（ｃ））別にそれぞれカウントする様にしても良い。
これらの処理は、カウンターＲ２Ｃについても同様である。
【００７９】
（処理手順３）
線種モード判定部１１２にて、カウンターＬ２Ｃの値に基づいて、例えば、図１４のステップ５１０〜ステップ５７５と略同様に、左側の線種モードの切換処理を実行する。
尚、図１４のステップ５８０，ステップ５８５は削除する。
これらの処理は、右側の線種モードの切換処理についても同様である。
【００８０】
この様な処理形態は、例えば、車線標示において三重線の有無とは必ずしも関係せず、三重線の有無とは独立に二重線が標示されている国や地域や道路において有効である。これらの処理形態は、国、地域、道路等の実際の具体的環境に適した最適なものを選択して実施すれば良い。
【００８１】
また、図９のステップ３６０においても、上記と全く同様に、右線種モード判定処理を実施すれば良い。
以上の処理が完了した時点で、図９の実行手順３００を終了し、呼出元に処理を戻す。
以上の処理により、図３の実行手順２００のステップ２５０が実行される。これにより、図２の境界標示採択部２の処理が一通り完了する。
【００８２】
以下、上記の手順により採択された（有効なデータとして残された）車線境界線の候補点データ、即ち、探索情報テーブル１０上に残った有効な多数の白線点のデータに対して、下記の周知の統計操作（［１］直線検出，［２］レーン選択）を施すことにより、車線境界位置を決定（推定）することができる。
即ち、図３のステップ２６０では、下記の「直線検出」を実行する。
また、図３のステップ２７０では、下記の「レーン選択」を実行する。
そして、図３のステップ２８０では、これらの統計操作に基づいて得られた境界位置を所定の出力先（例：レーン逸脱警報装置等）に出力する。
【００８３】
［１］直線検出（Hough 変換）
複合線判定の処理により、白線点リストから複合線のブロック白線に対応するノイズは除去できたが、路面の汚れ等によるランダムなノイズが残っている。そこで、周知のHough 変換により、路面画像上の直線を検出する。Hough 変換はノイズのある画像からロバストに直線を検出することができる代表的な手法である。
【００８４】
車線境界を走行レーンと白線の境界線とするため、路面画像の右半平面では白線ペアの立ち上がりピーク位置を、路面画像の左半平面では白線ペアの立ち下がりピーク位置を代表点（投票点）としてHough 変換を実行する。
Hough 変換は、白線点リストから白線点位置を順番に読み出し、その白線点位置を通る可能性のあるすべての直線への投票を行う。投票は直線を表す２パラメータ空間（直線の切片と傾き）へ行われる。白線点リストをすべて投票した後にパラメータ空間で積算された投票値のピークを複数個検出する。このピークが車線境界の候補となる直線のパラメータ値を示す。このパラメータ値と票数をメモリにリストとして記憶しておく。
【００８５】
［２］レーン選択
Hough 変換の結果、路面画像中の車線境界の候補となる直線が複数検出される。レーン選択ではHough 変換で検出した直線を全て組み合わせてペアをつくり、レーンの左右車線境界に対応するものの中から最も確信度の高いペアを選択する。それは以下の条件を満たすものである。
【００８６】
１）左右の直線長が0.5m以上であること。
２）直線のペアから計算したレーンパラメータが設定範囲内にあること。設定範囲は以下の通りである。
（ａ）位置偏差：−レーン幅計算値／2 〜＋レーン幅計算値／2
（ｂ）レーン幅：ＬＷ０−標準偏差〜ＬＷ０＋標準偏差
（ｃ）ヨー角： −ヨー角閾値〜＋ヨー角閾値
（ｄ）ピッチ角：−ピッチ角閾値〜＋ピッチ角閾値
ただし、ここで、ＬＷ０は、レーン幅の基準値であり、通常以下の中から選択されるものである。
（一般道路）・・・２．７５ｍ，３．００ｍ
（高速道路）・・・３．２５ｍ，３．５０ｍ，３．７５ｍ
【００８７】
図１５に、これらの判定処理（図２のレーン選択手段４）で使用する各レーンパラメータの定義を示す。
路面画像上で本図１５に示すような左右２本の白線白線が検出された場合のレーンパラメータ（位置偏差，レーン幅，ヨー角，ピッチ角）の計算式を以下に示す．このとき路面は局所的に平面で，ｃｏｓΔφ≒１と仮定している。また、路面画像の奥行きｄはレーンマークが直線と見なせる距離である。
【００８８】
（変数定義）
ｅ：位置偏差[m] ，
ｗ：レーン幅[m],
θ：ヨー角[rad] ,
Δφ：カメラの俯角を基準値としたピッチ角変動量[rad] ,
ｈ：カメラ高さ[m],
ｄ：路面画像上の奥行き距離[m] ，
ｐ_R,L：路面画像下端（カメラ直下位置）と直線の交わる位置[m] ，
ｑ_R,L：路面画像上端と直線の交わる位置とｐ_R,Lとの差分[m] 。
【００８９】
以上の条件を満たすペアを抽出しその中で左右の直線長の和が最大のものを現在走行中のレーンの境界線を示すペアと判定する。
Hough 変換の結果としては、直線長は直接に求められないが、例えば、Hough 変換から得られる票数から直線長の和が最大のものを決定することができる。
【００９０】
以上で選択されたペアを車線境界の結果とする。環境条件が悪化するとノイズの誤認は完全に除去できない場合があるので、必要に応じて周知のローパスフィルタ等でフィルタリングを実施した後、レーン逸脱警報装置等へ出力するようにしても良い。
例えば、以上の様な実施例の適用により、路面上の車線標示が例えば上記の様な複合線である場合にも、正確なレーン境界位置を安定的かつ継続的に検出することができる。
【００９１】
（第２実施例）
本第２実施例では、上記の第１実施例の改良事例に付いて例示する。
図１６は、本第２実施例に係わる車線標示の平面図である。本図１６の（ａ），（ｂ）は、両方ともそれぞれ車両の左側に現れる車線標示を例示するもので、網かけ部位が、路面上に描かれた車線標示を示している。
カメラの光軸の角度が路面上の車線標示の位置に対して浅い場合や、撮影した画像の解像度が低い場合、画像上のノイズが多い場合、或いは路面上に望ましい形式で車線標示が描かれていない場合等には、例えば本図１６に例示する様に、複合線を構成するブロック標示と車線境界を示す車線境界線とが一体になって見えることがある。
【００９２】
これらの場合には、図８のテーブル１０の上には、車線標示があたかも１本であるかの様に記録され、その時の白線幅（単一線の幅）は、図示する様に白線幅ｗａやｗｂなる値として記録される。したがって、この様な場合、上記の第１実施例においては、車線の境界位置を正確に把握することが困難となり、車線の境界位置が振動する恐れがある。
本第２実施例では、この様な問題に対応する手段を例示する。
【００９３】
図１７は、本第２実施例に係わる、図２の線種分別部１１１（図９ステップ３４０）を実現する実行手順４００（図１０、図１１）に対する新規拡張部分を例示するフローチャートである。即ち、本第２実施例は、図１１のステップ４７０の直前に、図１７の処理（ステップ６５５〜ステップ６６９）を追加（挿入）することにより、上記の課題を解決するものである。
ただし、前述のカウンターＬ３Ｃ，Ｒ３Ｃ，Ｌ２Ｃ，Ｒ２Ｃについては、前述の（処理手順１），（処理手順２），（処理手順３）に従って、初期化、更新、及び参照するものとする。即ち、本第２実施例では、例えば、以下のタイミングでこれらのカウンターを更新（インクリメント）する。
【００９４】
（カウンターＬ３Ｃ）
ノイズ除去１、ノイズ除去５、データ修正１（図１８）の各サブルーチンの直前。
（カウンターＲ３Ｃ）
ノイズ除去２、ノイズ除去６、データ修正３（図略）の各サブルーチンの直前。
（カウンターＬ２Ｃ）
ノイズ除去３、データ修正２（図１８）の各サブルーチンの直前。
（カウンターＲ２Ｃ）
ノイズ除去４、データ修正４（図略）の各サブルーチンの直前。
【００９５】
尚、以下の処理においては、次の閾値を用いることがある。
（閾値）
Ｄ２Ｄ：図１６（ａ）の間隙が詰まった白線の幅ｗａの下限値
Ｄ２：図１６（ａ）の間隙が詰まった白線の幅ｗａの上限値
Ｄ３Ｄ：図１６（ｂ）の間隙が詰まった白線の幅ｗｂの下限値
Ｄ３：図１６（ｂ）の間隙が詰まった白線の幅ｗｂの上限値
これらの値は、実際の道路事情やカメラの解像度等に基づいて適当な値を経験的に求めて設定する。
【００９６】
図１７のステップ６５５では、Ｊ番目の標示の幅、即ち、現在解析中の白線幅ｗ１の値が、所定の値ＤＳよりも大きいか否かを判定する。この値ＤＳは、例えば、一般的な単一線から成る車線境界線の幅の標準的な適正範囲の上限値等がふさわしく、一般に、上記の閾値Ｄ２Ｄ以下の値をとる。即ち、本第２実施例においては、１本に見える単一線の幅ｗ１が、所定の値ＤＳよりも大きい場合の処理に特徴がある。
ステップ６５８、ステップ６６９の変数Ｋは、前記のＪの増加幅Ｋである。
【００９７】
図１８は、図１７のステップ６６４を実現するサブルーチン（左データ修正）を例示するフローチャートである。このフローチャートでは、ステップ７１０〜７４０までの一連の処理により図１６の（ｂ）の車線標示パターン（間隙の詰まった左３重線：白線幅＝ｗｂ）に対応する処理を実施し、ステップ７５０〜７８０までの一連の処理により図１６の（ａ）の車線標示パターン（間隙の詰まった左２重線：白線幅＝ｗａ）に対応する処理を実施する。
【００９８】
例えば、ステップ７１０では、図１３（ａ）の左三重線モードフラグＬＦ３をチェックする。
また、ステップ７１５では、間隙の詰まった三重線の白線幅の適正範囲をチェックする。
ステップ７３０（データ修正１）では、図８のテーブル１０に記録されている該当する白線の代表点（ピーク位置）を、例えば、図１６（ｂ）の太い縦線で示した位置（幅ｗｂの略中心点の位置）に修正する。この「データ修正１」の処理は、例えば、以下の様に図１９に習って実施することがより望ましい。
【００９９】
図１９は、図１８のステップ７３０を実現するサブルーチン（データ修正１）のより望ましい処理内容を説明する概念図である。即ち、間隙が詰まった左側の３重線の場合、白線幅ｗｂの中点から車線境界線の標準幅Ｄ０の半分だけ位置を右にずらした点（図中●印）を上記の代表点として採用する。
【０１００】
図１８のステップ７５０〜ステップ７８０についても、上記のステップ７１０〜ステップ７４０と略同様に修正処理を実行する。
図２０は、図１８のステップ７７０を実現するサブルーチン（データ修正２）の処理内容を説明する概念図である。即ち、間隙が詰まった左側の２重線の場合には、上記と略同様にして、白線幅ｗａの左端から車線境界線の標準幅Ｄ０分だけ位置を右にずらした点（図中●印）を上記の代表点として採用する。
【０１０１】
右側のデータ修正処理（図１７のステップ６６８のサブルーチン「右データ修正」）に付いても、左右の対称性に注意して上記と同様に実施すれば良い。例えば、前記の図略の「データ修正３」は、上記のデータ修正１に習って構成することができ、また、前記の図略の「データ修正４」は、上記のデータ修正２に習って構成することができる。
以上のデータ修正処理により、より適正な代表点が図８のテーブル１０上に残されるため、前記の課題を解決することができる。
【０１０２】
また、ノイズを太線として誤認する可能性があるため、左側の複合線の出現状況と右側の複合線の出現状況とを総合的に判断して、線種モードを決定する方法を取ることがより望ましい。この様な手法によれば、以下に例示する様により頑強な線種モード判定が実施可能となる。
例えば、図１４の実行手順５００を改良する際に、以下の方法を取ることが望ましい。
【０１０３】
即ち、例えば、以下の条件式（７）〜（９）の何れか１つが成り立つ時、二重線と三重線（又は、三重線と三重線）があると判定する。
【数７】
Ｌ２Ｃ＞閾値α１、かつ、Ｒ３Ｃ＞閾値α２ …（７）
【数８】
Ｌ３Ｃ＞閾値α２、かつ、Ｒ３Ｃ＞閾値α２ …（８）
【数９】
Ｌ３Ｃ＞閾値α２、かつ、Ｒ２Ｃ＞閾値α１ …（９）
【０１０４】
図１４の実行手順５００で用いた手法と略同様に、上記の条件を満たすシーン（撮影画面）の数をカウントし、その様な場面が設定回数以上継続したら、複合線モードに切り換えれば良い。また、二重線か三重線かは点数の多い側で判定しても良い。
例えばこの様な線種モード判定手法により、より頑強な線種モード判定が実施できる。
【０１０５】
尚、上記の実施例では、車両の前方の様子を撮影するカメラを用いたケースを示したが、カメラの配向は任意で良い。即ち、車両の直下、後方、側方等を撮影した場合にも、本発明の作用・効果を得ることが可能である。
また、本発明を実施するに当っては、カメラの台数に対する制約は無い。例えば、複数台のカメラで広い範囲を撮像することにより、検出精度を向上させる等の各種の応用形態を実施しても良い。
【図面の簡単な説明】
【図１】複合線（車線標示）の標示パターンを例示する平面図。
【図２】本発明の実施例に係わる車線境界判定装置１００の構成形態を例示するブロック図。
【図３】車載カメラを有するコンピュータシステムにより車線境界判定装置１００を実現する際の、各手段の実行手順（２００）を例示するフローチャート。
【図４】車載カメラからの入力画像（ａ）、及びそれに基づいて解析的に生成された路面画像（ｂ）を例示する写真。
【図５】入力画像（図４（ａ））を歪み補正した補正画像と、路面画像（図４（ｂ））との関係を示す説明図。
【図６】図５による説明を更に補足するカメラ視界の斜視図。
【図７】標示抽出手段１（図２）の作用を説明する説明図。
【図８】本発明の実施例に係わる探索情報として保存される車線標示の保存形態（データ形式）を例示する探索情報テーブル１０のテーブル構造図。
【図９】図２の境界標示採択部２（図３ステップ２５０）を実現する実行手順（３００）を例示するフローチャート。
【図１０】図２の線種分別部１１１（図９ステップ３４０）を実現する実行手順（４００）を例示するフローチャート（前半）。
【図１１】図２の線種分別部１１１（図９ステップ３４０）を実現する実行手順（４００）を例示するフローチャート（後半）。
【図１２】ノイズ除去部（サブルーチン名：ノイズ除去１〜７）の動作を規定する境界位置推定基準の一覧表。
【図１３】各線種モードとモードフラグ（１ビット）の関係を示す定義表。
【図１４】図２の線種モード判定部１１２（図９の左線種モード判定）を実現する実行手順（５００）を例示するフローチャート。
【図１５】図２のレーン選択手段４（図３のステップ２７０）で使用する各レーンパラメータの定義を示す説明図。
【図１６】本発明の第２実施例に係わる車線標示の平面図。
【図１７】本発明の第２実施例に係わる、図２の線種分別部１１１（図９ステップ３４０）を実現する実行手順４００（図１０、図１１）に対する新規拡張部分を例示するフローチャート。
【図１８】図１７のステップ６６４を実現するサブルーチン（左データ修正）を例示するフローチャート。
【図１９】図１８のステップ７３０を実現するサブルーチン（データ修正１）の処理内容を説明する概念図。
【図２０】図１８のステップ７７０を実現するサブルーチン（データ修正２）の処理内容を説明する概念図。
【図２１】走行車線を走行中の車両の車載カメラの視界に入る複合線（車線標示）の標示パターンを例示する平面図。
【図２２】追い越し車線を走行中の車両の車載カメラの視界に入る複合線（車線標示）の標示パターンを例示する平面図。
【符号の説明】
１ … 標示抽出手段
２ … 境界標示採択部
３ … 直線検出手段
４ … レーン選択手段
１０ … 探索情報テーブル
１００ … 車線境界判定装置
１１０ … 複合線判定手段
１１１ … 線種分別部
１１２ … 線種モード判定部
１２０ … 境界位置推定手段
Ｃ … カメラ視点
Σ … 路面画像平面
Ｉ … 路面画像データ（画素）の行番号（１≦Ｉ≦ｍ）
Ｊ … 標示に路面画像の左側から付けた番号（１≦Ｊ≦ＮＩ）
Ｌ３Ｃ … 左３重線カウンター
Ｒ３Ｃ … 右３重線カウンター
ＬＦ３ … 左３重線モードフラグ
ＲＦ３ … 右３重線モードフラグ
ＬＦ２ … 左２重線モードフラグ
ＲＦ２ … 右２重線モードフラグ
ＬＭ２ … 左複合線モードカウンター
ＬＭ１ … 左単一線モードカウンター
α … 左複合線状態判定閾値
β … 左複合線モード突入閾値
γ … 単一線モード復帰閾値

Claims

カメラからの入力画像に基づいて、路面上に描かれた車線標示で規定される車線（レーン）の境界位置を走行中に実時間で判定する判定装置であって、
前記車線標示の脈絡方向又は自車両の進行方向を縦方向とし、この縦方向に直交する方向を前記車線標示に関する探索方向として、この探索方向における探索により得られた探索情報に基づいて、前記車線標示が、前記縦方向に脈絡の有る複数列又は複数本の標示で構成されている複合線から成るか否かを判定する複合線判定手段と、
この複合線判定結果に基づいて、前記境界位置を推定する境界位置推定手段とを備え、
前記複合線判定手段は、現在走行中の前記車線標示の線種モードを、過去又は現在の前記探索情報に基づいて決定する線種モード判定部を有し、
前記境界位置推定手段は、前記線種モード判定部が決定した前記線種モードに基づいて、前記探索情報から前記車線標示が有するブロック標示等の不要部分を判別して除去するノイズ除去部を有する
ことを特徴とする車線境界判定装置。
前記複合線判定手段は、前記探索方向が互いに略平行となる前記入力画像上の複数箇所の探索位置での複数件の前記探索情報に基づいて、前記車線標示が複合線から成るか否かを判定する
ことを特徴とする請求項１に記載の車線境界判定装置。
前記複合線判定手段は、最新の前記探索情報と過去の前記探索情報との関係
に基づいて、前記車線標示が複合線から成るか否かを判定する
ことを特徴とする請求項１又は請求項２に記載の車線境界判定装置。
前記複合線判定手段は、前記探索情報が有する標示の数、標示の幅、又は標示間の間隙幅の少なくとも１つから、
前記車線標示が、両側からブロック標示で挟まれた１本の標示線で構成された複合線より成るか否かを判定する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の車線境界判定装置。
前記複合線判定手段は、前記探索情報が有する標示の数、標示の幅、又は標示間の間隙幅の少なくとも１つから、
前記車線標示が、片側にブロック標示が接近した１本の標示線で構成された複合線より成るか否かを判定する
ことを特徴とする請求項１乃至請求項４の何れか１項に記載の車線境界判定装置。
前記複合線判定手段は、
前記探索情報が有する標示の数、標示の幅、又は標示間の間隙幅の少なくとも１つから、
前記車線標示が、前記縦方向に並列に配置された２つ又は２列のブロック標示で構成された複合線より成るか否かを判定する
ことを特徴とする請求項１乃至請求項５の何れか１項に記載の車線境界判定装置。
前記線種モード判定部は、
前記探索情報がある一定期間継続的に「所定のモード変更条件」を満たすまで、前記線種モードの変更処理を保留するモード変更保留手段を有する
ことを特徴とする請求項１乃至請求項６の何れか１項に記載の車線境界判定装置。
前記境界位置推定手段は、
単一線として探索された前記車線標示の幅が、所定の値を越えていた場合に、
前記線種モード判定部が決定した前記線種モードに基づいて、前記境界位置を推定する
ことを特徴とする請求項１乃至請求項７の何れか１項に記載の車線境界判定装置。
前記境界位置推定手段は、
前記複合線の一部として検出された、横幅が最も短い１つの標示の位置を前記境界位置と推定する
ことを特徴とする請求項１乃至請求項８の何れか１項に記載の車線境界判定装置。
カメラからの入力画像に基づいて、路面上に描かれた車線標示で規定される車線（レーン）の境界位置を走行中に実時間で判定する判定装置であって、
前記車線標示の脈絡方向又は自車両の進行方向を縦方向とし、この縦方向に直交する方向を前記車線標示に関する探索方向として、この探索方向における探索により得られた探索情報に基づいて、前記車線標示が、前記縦方向に脈絡の有る複数列又は複数本の標示で構成されている複合線から成るか否かを判定する複合線判定手段と、
この複合線判定結果に基づいて、前記境界位置を推定する境界位置推定手段とを備え、
前記境界位置推定手段は、前記複合線の一部として検出された、横幅が最も短い１つの標示の位置を前記境界位置と推定する
ことを特徴とする車線境界判定装置。