JP4806045B2 - 車線認識装置 - Google Patents

Description

本発明は、道路の車線を区分するレーンマークを検出して、車両とレーンマークとの相対位置を認識する車線認識装置に関する。

従来より、車両に搭載されたカメラにより所定の制御周期毎に道路画像を取得して、各道路画像から検出されたレーンマークの画像部分の候補をある短時間分集め、各画像部分のカメラ座標を実空間座標に変換することによって、レーンマークと自車両との相対距離等を算出する技術が提案されている（例えば、特許文献１参照）。

特許第３５３８４７６号公報

上述した従来の技術においては、連続する制御周期毎に取得された道路画像から検出されたレーンマークの画像部分の候補を、ある短時間分集めて実空間座標に変換することによって、レーンマークの実空間位置を認識している。そして、この場合に、レーンマークの実空間位置の認識の信頼性の尺度として、図８に示したように、直前の所定期間における平均的なレーンマークの検出率が一般的に採用されている。

図８では、制御周期Ｔ₁₀毎に実行されるレーンマーク検出処理の結果を、レーンマークが検出されたときを○で示し、レーンマークが検出されなかったときを×で示している。また、レーンマーク検出の信頼性が高いと判断して、レーンマークと車両との相対位置の認識を実行したときを○で示し、レーンマーク検出の信頼性が低いと判断して、レーンマークと車両との相対位置の認識を停止したときを×で示している。

そして、レーンマーク検出の信頼性について、判断時点ｔ_p1の直前のｎ個分の周期の期間（ｔ₁₁〜ｔ_p1）において、レーンマークが検出された周期の個数がｍ以上であるときに、レーンマーク検出の信頼性が高いと判断して、レーンマークと車両との相対位置を認識している。

この場合、レーンマークが検出されない状態（×が続いた状態、〜ｔ₁₄）から、レーンマークが検出される状態（×から○に移行、ｔ₁₅〜）に切り換わったときに、最低でもｍ×Ｔ₁₀に相当する時間が経過するまでは、レーンマーク検出の信頼性が高くなったと判断されないため、レーンマークと車両との相対位置の認識を開始することができない。

そのため、例えば車両が交差点を通過する場合や、インターチェンジでの分岐・合流地点を走行する場合のように、レーンマークが敷設されていない箇所を一時的に走行して、レーンマーク検出の信頼性の低下によりレーンマークと車両との相対位置の認識を停止したときに、その後、レーンマークが敷設された状態に復帰しても、レーンマーク検出の信頼性が高いと判断されるようになるまでには、ある程度の時間を要する。

そして、この場合には、車両が交差点や分岐・合流箇所を通過して、レーンマークが安定して検出可能な状態に復帰したにも拘わらず、レーンマークと車両との相対位置の認識が停止した状態が継続する。そのため、車線維持のためにステアリングをアシスト駆動する車線維持制御や、車線からの逸脱警報制御等を速やかに再開することができないという不都合があった。

本発明は上記背景を鑑みてなされたものであり、レーンマークと車両との相対位置の認識が停止する期間を、レーンマーク検出の信頼性の高さを確保した上で短縮することができる車線認識装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車両に搭載されたカメラにより撮像される車両周囲の道路の画像から、道路の車線を区分するレーンマークを検出する処理を、所定の制御周期毎に実行するレーンマーク検出手段と、前記各制御周期におけるレーンマークの検出の有無を示す検出有無データを順次追加して保持するデータ保持手段と、前記データ保持手段に保持された最新のものから所定個数分前までの前記検出有無データから、レーンマークの平均的な検出率であるレーンマーク検出率を算出するレーンマーク検出率算出手段と、前記レーンマーク検出率が、レーンマーク検出の信頼性が高いことを判定するための信頼性閾値よりも高いときに、前記レーンマーク検出手段によるレーンマークの検出結果に基づいて、前記車両とレーンマークとの相対位置を認識し、前記レーンマーク検出率が前記信頼性閾値以下であるときには、前記相対位置の認識を停止するレーンマーク位置認識手段とを備えた車線認識装置に関する。

そして、本発明の第１の態様は、前記カメラによる撮像画像中の横断歩道の画像部分の存否又は左右のレーンマークの画像部分の存否に基づいて、前記車両が交差点又は道路の分岐若しくは合流箇所を走行していることを検知する走行状況検知手段と、前記走行状況検知手段により、前記車両が交差点又は道路の分岐若しくは合流箇所を走行していることが検知されているときは、前記データ保持手段への新たな前記検出有無データの追加を禁止する検出有無データ追加禁止手段とを備えたことを特徴とする。
また、本発明の第２の態様は、前記車両に搭載されたＧＰＳにより得られる前記車両の位置を地図データに参照して、前記車両が交差点又は道路の分岐若しくは合流箇所を走行していることを検知する走行状況検知手段と、前記走行状況検知手段により、前記車両が交差点又は道路の分岐若しくは合流箇所を走行していることが検知されているときは、前記データ保持手段への新たな前記検出有無データの追加を禁止する検出有無データ追加禁止手段とを備えたことを特徴とする。

かかる本発明によれば、前記走行状況検知手段により前記車両が交差点又は道路の分岐若しくは合流箇所（以下、レーンマーク不設置箇所という）を走行していることが検知されているときは、前記検出有無データ追加禁止手段により、前記データ保持手段への新たな前記検出有無データの追加が禁止される。そのため、前記車両がレーンマーク不設置箇所を通過して、前記レーンマーク検出手段により道路の左右のレーンマークが検出される状態に復帰するまでの間、前記データ保持手段には、前記車両が前記レーンマーク不設置箇所に進入する直前に保持されていた前記レーンマーク検出有無データがそのまま保持された状態となる。

そして、前記車両がレーンマーク不設置箇所に進入する前は、道路の左右のレーンマークが安定して検出されて前記レーンマーク検出率が前記信頼性閾値よりも高い状態であったと想定される。そのため、前記車両がレーンマーク不設置箇所を通過して、前記レーンマーク検出手段により道路の左右のレーンマークが検出される状態に復帰したときに、前記レーンマーク検出率算出手段により算出される前記レーンマーク検出率が、前記信頼性閾値よりも高くなり、前記レーンマーク位置認識手段による前記車両とレーンマークとの相対位置の認識が速やかに再開されることが期待できる。

そして、前記検出有無データ追加禁止手段による前記データ保持手段への前記検出有無データの追加禁止は、前記走行状況検知手段により、前記車両がレーンマーク不設置箇所を走行していると検知されているときに限定して行われる。そのため、レーンマーク検出の信頼性の高さを確保した上で、前記レーンマーク位置認識手段による前記車両とレーンマークとの相対位置の認識が停止する期間を短縮することができる。

さらに、本発明によれば、前記走行状況検知手段は、前記カメラの撮像画像に、交差点内に設けられていることが多い横断歩道の画像が含まれているか否かを判断することによって、前記車両が交差点内を走行している状態にあると容易に検知することができる。

本発明の車線認識装置の車両への搭載態様を示した説明図。 図１に示した車線認識装置の構成図。 レーンマーク検出の信頼性判断と、信頼性判断の結果に基く車両とレーンマークとの相対位置認識のフローチャート。 カメラによる撮像画像から、交差点を通過中であることを検知する処理の説明図。 リングバッファの説明図。 車両が交差点を通過したときのリングバッファ内のデータの変化を示した説明図。 車両が道路の分岐若しくは合流箇所を通過する状況の説明図。 レーンマーク検出の信頼性判断の説明図。

本発明の実施の形態の一例について、図１〜図７を参照して説明する。図１を参照して、車線認識装置１０は、車両１（本発明の車両）に搭載して使用され、車両１の前方を撮像するカメラ２により撮像される道路の画像から、走行車線を区分するために道路に敷設されたレーンマークを検出して、レーンマークと車両１との相対位置を認識するものである。

車線認識装置１０により認識されたレーンマークと車両１との相対位置のデータは、車両１のＥＣＵ（Electronic Control Unit）３０に出力される。ＥＣＵ３０は、レーンマークと車両１との相対位置に基いて、車両１が走行車線内に維持されるように、ステアリング５をアシスト駆動する車線維持制御と、車両１が走行車線から逸脱しそうな状況となったときに、警報（図示しないスピーカからの音声出力等による）を行なう車線逸脱警報制御とを実行する。

また、車両１には、車両１の走行速度を検出する車速センサ２０、車両１の鉛直軸回りの角加速度を検出するヨーレートセンサ２１、ステアリング５の操舵角を検出する舵角センサ２２、及びステアリング５に加わるトルクを検出するトルクセンサ２３が備えられている。

次に、図２を参照して、車線認識装置１０は、制御周期毎にカメラ２により撮像される車両前方の道路の画像から、レーンマーク（白線、黄線、キャッツアイ、Botts Dots等）を検出するレーンマーク検出手段１１と、レーンマーク検出手段１１によるレーンマーク検出の有無を示す検出有無データが順次書き込まれて保持されるリングバッファ１４（本発明のデータ保持手段に相当する）と、リングバッファ１４に保持された検出有無データから、レーンマークの平均的な検出率であるレーンマーク検出率を算出するレーンマーク検出率算出手段１２と、レーンマーク検出率が信頼性閾値よりも高いときに、車両とレーンマークとの相対位置を認識するレーンマーク位置認識手段１３と、車両１が交差点を走行していることを検知する走行状況検知手段１５と、走行状況検知手段１５により車両１が交差点を走行していると検知されているときに、リングバッファ１４への新たな検出有無データの追加を禁止する検出有無データ追加禁止手段１６とを備えている。

車線認識装置１０は、マイクロコンピュータ等により構成された電子ユニットであり、該マイクロコンピュータに車線認識用プログラムを実行させることによって、該マイクロコンピュータが、レーンマーク検出手段１１、レーンマーク検出率算出手段１２、レーンマーク位置認識手段１３、走行状況検知手段１５、及び検出有無データ追加禁止手段１６として機能する。

また、車線認識装置１０には、車速センサ２０と、ヨーレートセンサ２１と、舵角センサ２２と、トルクセンサ２３による各検出信号が入力される。

リングバッファ１４は、図３に示したように、検出有無データを３０個分（配列要素ａ[1]，ａ[2]，…，ａ[30]）保持する容量を有している。そして、新たに追加される検出有無データはａ[1]に保持され、それまでａ[1]に保持されていたデータはａ[2]にシフトする。同様に、それまでａ[2]，ａ[3]，…，ａ[29]に保持されていたデータが、ａ[3]，ａ[4]，…，ａ[30]にシフトする。そして、それまでａ[30]に保持されていたデータが廃棄される。

次に、図４に示したフローチャートに従って、車線認識装置１０の作動について説明する。車線認識装置１０は、図４のＳＴＥＰ１〜ＳＴＥＰ８，ＳＴＥＰ２０の処理を、所定の制御周期毎に繰り返し実行する。

先ず、車線認識装置１０は、ＳＴＥＰ１でカメラ２により車両前方の道路の画像を取り込む。続くＳＴＥＰ２はレーンマーク検出手段１１による処理である。レーンマーク検出手段１１は、道路の画像から抽出したエッジ点に対するハフ変換等の直線抽出処理を行って、レーンマークの画像部分を検出する処理を実行する。

次のＳＴＥＰ３は走行状況検知手段１５による処理である。走行状況検知手段１５は、図５（ａ）に示したように、道路の画像Ｉm1に横断歩道の画像部分５０が存在する場合に、車両１が交差点を走行している状態であると検知する。

なお、走行状況検知手段１５は、道路の画像Ｉm1に対してエッジ抽出を行った図５（ｂ）の画像Ｉm2に対して、立ち上がりエッジ５０ａと立下りエッジ５０ｂが、道路構造令に準拠した態様の間隔ｗ1，ｗ2で周期的に検出されたときに、横断歩道の画像部分が含まれていると判断する。

ＳＴＥＰ３で、走行状況検知手段１５により、車両１が交差点を走行中であると検知されたときはＳＴＥＰ２０に分岐し、検知されなかったときにはＳＴＥＰ４に進む。ＳＴＥＰ４はレーンマーク検出手段１１による処理であり、レーンマーク検出手段１１は、ＳＴＥＰ２でのレーンマーク検出処理によりレーンマークが検出されたか否かを示す検出有無データを、リングバッファ１４に追加する。

また、ＳＴＥＰ２０は検出有無データ追加禁止手段１６による処理である。検出有無データ追加禁止手段１６は、走行状況検知手段１５により車両１が交差点を走行中であると検知されている間は、リングバッファ１４への検出有無データの追加を禁止する。

ここで、交差点にはレーンマークが敷設されていないため、車両１が交差点を走行しているときは、レーンマーク検出手段１１によりレーンマークが検出されない状態となる。そのため、車両１が交差点を走行しているときにも検出有無データをリングバッファ１４に追加すると、車両１が交差点を通過した時には、図６（ａ）に示したように、リングバッファ１４の全ての配列要素ａ[1]〜ａ[30]に、レーンマークの検出無しを示すデータが書き込まれた状態となる。なお、図６（ａ）〜図６（ｃ）では、レーンマークの検出有りを示すデータが書き込まれた状態を○で示し、レーンマークの検出無しを示すデータが書き込まれた状態を×で示している。

一方、検出有無データ追加禁止手段１６により、車両１が交差点を走行している間は、リングバッファ１４への検出有無データの追加を禁止するようにしたときには、例えば図６（ｂ）に示したように、リングバッファ１４は、走行状況検知手段１５により車両１が交差点を走行していると検知され始めた時点（車両１が交差点に進入した時点）の状態に維持される。

図６（ｂ）は、車両が交差点に進入する直前のレーンマークが安定して検出されていた状態における検出有無データが保持されたリングバッファ１４を示している。この場合は、配列要素ａ[1]〜ａ[30]における平均的な検出率であるレーンマーク検出率Ｒtが、レーンマーク検出の信頼性が高いことを判定するための信頼性閾値Ｒthよりも高い状態となっている。

続くＳＴＥＰ５〜ＳＴＥＰ６はレーンマーク検出率算出手段１２による処理である。ＳＴＥＰ５で、レーンマーク検出率算出手段１２は、レーンマーク検出手段１１によりレーンマークが検出されたか否かを判定する。そして、レーンマークが検出されたときはＳＴＥＰ６に進み、レーンマーク検出率算出手段１２は、以下の式（１）によりレーンマーク検出率Ｒtを算出する。

但し、Ｒt：最新に追加されたものからｎ個分の配列要素における平均的なレーンマーク検出率、ｎ：リングバッファの配列要素の総個数（本実施の形態では３０）、ｍ：レーンマーク検出有りを示す検出有無データを保持したリングバッファの配列要素の個数。

一方、レーンマークが検出されなかったときにはＳＴＥＰ９に分岐し、この場合はＳＴＥＰ６〜ＳＴＥＰ８の処理を実行せずに、車線認識装置１０は１制御周期の処理を終了する。

次のＳＴＥＰ７〜ＳＴＥＰ８はレーンマーク位置認識手段１６による処理である。ＳＴＥＰ７で、レーンマーク位置認識手段１６は、レーンマーク検出率Ｒtが信頼性閾値Ｒthよりも高いか否かを判断する。そして、レーンマーク検出率Ｒtが信頼性閾値Ｒthよりも高いときはＳＴＥＰ８に進み、レーンマーク位置認識手段１６は、レーンマーク検出手段１１によるレーンマークの画像部分の検出結果に基づいて、実空間上の車両１とレーンマークとの相対位置を認識し、この相対位置のデータをＥＣＵ３０に送信する。

車両１とレーンマークとの相対位置のデータを受信したＥＣＵ３０は、上述した車線維持制御と車線逸脱警報制御とを実行する。そして、ＳＴＥＰ９に進み、車線認識装置１０は１制御周期の処理を終了する。

一方、レーンマーク検出率Ｒtが信頼性閾値Ｒth以下であったときはＳＴＥＰ７からＳＴＥＰ９に分岐する。この場合は、レーンマーク位置認識手段１３による車両１とレーンマークとの相対位置の認識は実行されない。そして、車線認識装置１０は、１制御周期の処理を終了する。

ここで、図６（ａ）に示したように、リングバッファ１４の各配列要素ａ[1]〜ａ[30]の全てに、レーンマーク検出無しを示す検出有無データが保持された状態で、車両１が交差点を通過してレーンマークが検出される状態に復帰した場合を考察する。この場合、例えば信頼性閾値Ｒthが５０％に設定されていると、レーンマーク検出率Ｒtが信頼性閾値Ｒthよりも高くなるのは、最短でもａ[1]〜ａ[16]の配列要素の全てにレーンマーク検出有りを示す検出有無データが保持される１６×制御周期分の時間が経過した後になる。

次に、図６（ｂ）に示したように、リングバッファ１４の各配列要素ａ[1]〜ａ[30]に、車両１が交差点に進入した時点における検出有無データが保持され、レーンマーク検出率Ｒtが信頼性閾値Ｒthよりも高い状態で、車両１が交差点を通過してレーンマークが検出される状態に復帰した場合について考察する。

この場合には、図６（ｃ）に示したように、レーンマークが検出されて新たな検出有無データが配列要素ａ[1]に追加されたときに、配列要素ａ[1]〜ａ[30]におけるレーンマーク検出率Ｒtが信頼性閾値Ｒthよりも高い状態が継続する。

そのため、図４のフローチャートのＳＴＥＰ２によるレーンマーク検出処理でレーンマークが検出され、ＳＴＥＰ５からＳＴＥＰ６に進んでレーンマーク検出率Ｒtが算出されたときに、ＳＴＥＰ７でレーンマーク検出率Ｒtが信頼性閾値Ｒthよりも高くなる。そして、続くＳＴＥＰ８で、レーンマーク位置認識手段１３により車両１とレーンマークとの相対位置が算出される。

したがって、上述した図６（ａ）に示した、リングバッファ１４の各配列要素ａ[1]〜ａ[30]に、レーンマーク検出無しを示す検出有無データが保持されている場合のように、レーンマーク検出率Ｒtが信頼性閾値Ｒthよりも高くなるまでの経過時間（例えばＲthが５０％であるときには、最低でも１６制御周期分の時間）は生じない。

そのため、車両１が交差点を通過してレーンマークの検出が可能になった時に、レーンマーク位置認識手段１３による車両１とレーンマークの相対位置の認識処理が速やかに実行されて、ＥＣＵ３０による上述した車線維持制御と車線逸脱警報制御が再開される。

なお、本実施の形態において、走行状況検知手段１５は、図５（ａ），図５（ｂ）に示したように、道路の画像に横断歩道の画像部分が含まれるときに、車両１が交差点を走行していると検知したが、他の手法により車両１が交差点を走行していることを検知してもよい。

例えば、車両１がＧＰＳ（Global Positioning System）を搭載しているときには、ＧＰＳにより得られる車両１の位置を地図データに参照して、車両１が交差点を走行していることを検知してもよい。

或いは、車速センサ２０とヨーレートセンサ２１の検出信号から車両１の直進性を判断して、車両１が交差点を通過していることを検知してもよい。さらに、舵角センサ２２とトルクセンサ２３の検出信号から、運転者によるステアリングの操作状況を判断して、車両１が交差点を通過していることを検知するようにしてもよい。

また、本実施の形態では、走行状況検知手段１５は、車両１が交差点を走行していることを検知したが、図７（ａ）に示したように、車両１が道路の分岐箇所Ａ1を走行していること、及び図７（ｂ）に示したように、車両１が道路の合流箇所Ａ2を走行していることを検知するようにしてもよい。

この場合には、走行状況検知手段１５により、車両１が道路の分岐若しくは合流箇所を通過していることが検知されているときに、検出有無データ追加禁止手段１６によりリングバッファ１４への新たな検出有無データの追加を禁止することによって、車両１が分岐・合流箇所を通過して左右のレーンマークが検出可能な状態となったときに、速やかに車両１とレーンマークとの相対位置を認識して、ＥＣＵ３０による車線維持制御と車線逸脱警報制御を再開することができる。

なお、道路の分岐・合流箇所を走行していることの検知は、例えば、左右のレーンマークが検出された状態から、いずれか一方のレーンマークのみが検出される状態に切替わったことを検知することや、ＧＰＳと地図データにより、車両１が走行中の道路の状況を判断することによって行うことができる。

また、本実施の形態では、図１に示したように、カメラ２と車線認識装置１０とＥＣＵ３０を分離した構成とした。しかし、カメラと車線認識装置とＥＣＵの構成はこれに限られず、例えば、カメラと車線認識装置とＥＣＵを一体の構成として、図１のカメラ２の設置位置に取り付けるようにしてもよい。

１…車両、２…カメラ、１０…車線認識装置、１１…レーンマーク検出手段、１２…レーンマーク検出率算出手段、１３…レーンマーク位置認識手段、１４…リングバッファ
１５…走行状況検知手段、１６…検出有無データ追加禁止手段、３０…ＥＣＵ、２０…車速センサ、２１…ヨーレートセンサ、２２…舵角センサ、２３…トルクセンサ。

Claims (2)

1. 車両に搭載されたカメラにより撮像される車両周囲の道路の画像から、道路の車線を区分するレーンマークを検出する処理を、所定の制御周期毎に実行するレーンマーク検出手段と、
   前記各制御周期におけるレーンマークの検出の有無を示す検出有無データを順次追加して保持するデータ保持手段と、
   前記データ保持手段に保持された最新のものから所定個数分前までの前記検出有無データから、レーンマークの平均的な検出率であるレーンマーク検出率を算出するレーンマーク検出率算出手段と、
   前記レーンマーク検出率が、レーンマーク検出の信頼性が高いことを判定するための信頼性閾値よりも高いときに、前記レーンマーク検出手段によるレーンマークの検出結果に基づいて、前記車両とレーンマークとの相対位置を認識し、前記レーンマーク検出率が前記信頼性閾値以下であるときには、前記相対位置の認識を停止するレーンマーク位置認識手段とを備えた車線認識装置であって、
   前記カメラによる撮像画像中の横断歩道の画像部分の存否又は左右のレーンマークの画像部分の存否に基づいて、前記車両が交差点又は道路の分岐若しくは合流箇所を走行していることを検知する走行状況検知手段と、
   前記走行状況検知手段により、前記車両が交差点又は道路の分岐若しくは合流箇所を走行していることが検知されているときは、前記データ保持手段への新たな前記検出有無データの追加を禁止する検出有無データ追加禁止手段とを備えたことを特徴とする車線認識装置。
2. 車両に搭載されたカメラにより撮像される車両周囲の道路の画像から、道路の車線を区分するレーンマークを検出する処理を、所定の制御周期毎に実行するレーンマーク検出手段と、
   前記各制御周期におけるレーンマークの検出の有無を示す検出有無データを順次追加して保持するデータ保持手段と、
   前記データ保持手段に保持された最新のものから所定個数分前までの前記検出有無データから、レーンマークの平均的な検出率であるレーンマーク検出率を算出するレーンマーク検出率算出手段と、
   前記レーンマーク検出率が、レーンマーク検出の信頼性が高いことを判定するための信頼性閾値よりも高いときに、前記レーンマーク検出手段によるレーンマークの検出結果に基づいて、前記車両とレーンマークとの相対位置を認識し、前記レーンマーク検出率が前記信頼性閾値以下であるときには、前記相対位置の認識を停止するレーンマーク位置認識手段とを備えた車線認識装置であって、
   前記車両に搭載されたＧＰＳにより得られる前記車両の位置を地図データに参照して、前記車両が交差点又は道路の分岐若しくは合流箇所を走行していることを検知する走行状況検知手段と、
   前記走行状況検知手段により、前記車両が交差点又は道路の分岐若しくは合流箇所を走行していることが検知されているときは、前記データ保持手段への新たな前記検出有無データの追加を禁止する検出有無データ追加禁止手段とを備えたことを特徴とする車線認識装置。