JP5983729B2 - 白線検出装置、白線検出フィルタ装置及び白線検出方法 - Google Patents

Description

本発明は、道路上に引かれている白線を画像処理によって検出する白線検出装置、白線検出フィルタ装置及び白線検出方法に関する。

従来、道路上に引かれた白線を検出する装置としては、車両前方を撮像した画像データを２値化処理することによって白線と路面とを識別する白線認識装置があり、特許文献１が開示されている。

特許文献１で開示されている白線認識装置の処理手順は、まず入力画像に閾値Ａで閾値処理を行って輝度値の二値化画像を作成し、次に入力画像にエッジ検出処理を行い、そのエッジ強度に対して閾値Ｂで閾値処理を行ってエッジの二値化画像を作成している。そして、これら二つの二値化画像の論理積をとって論理積画像を検出し、既知のＨｏｕｇｈ変換などを行って白線を検出するというものである。

ここで、上述した従来の白線認識装置では、異なる日照条件に対応するために閾値Ａ、Ｂをそれぞれ画像解析によってリアルタイムで変化させており、車両の直前を路面と指定して路面の輝度分布から２値化の閾値を算出していた。

特開２００７−２５７２４２号公報

しかしながら、上述した従来の白線認識装置では、車両の前方を撮像した画像の輝度分布から閾値を求めているために、輝度分布が不均一な場合には閾値を適切に設定することができずに白線を良好に検出することができないという問題点があった。

例えば、車両前方にトラックの影などが存在し、路面上に暗い領域と明るい領域が混在しているような局所領域ごとに日照環境が異なる場合には輝度分布が不均一となって良好に白線を検出することができなかった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、局所領域ごとに日照環境が異なり輝度分布が不均一になる場合でも良好に白線を検出することのできる白線検出装置、白線検出フィルタ装置及び白線検出方法を提供することを目的とする。

本発明は、路面を撮像して路面画像を出力する撮像部と、白線部分を検出するための白線検出領域と路面部分を検出するための路面検出領域とを有する白線検出フィルタとを備えた白線検出装置である。そして、路面画像上の局所領域に白線検出フィルタを設定して輝度を検出し、局所領域における輝度の検出結果を用いて白線検出領域における輝度分布の統計値を算出する。また、局所領域における輝度の検出結果を用いて路面検出領域における輝度分布の統計値を算出する。そして、これら輝度分布の統計値を用いて、白線検出領域と路面検出領域との間の輝度の差と白線検出領域及び路面検出領域の輝度分布とに基づいて算出される分離度を路面画像の各画素について算出する。その後、分離度を所定の閾値で処理することによって路面画像の各画素について白線部分であるか否かを判定して白線部分を明示した２値化画像を出力し、２値化画像に基づいて白線の位置を認識する。これにより、上述した課題を解決する。

図１は、本発明の第１実施形態に係る白線検出装置の構成を示すブロック図である。 図２は、本発明の第１実施形態に係る白線検出装置の白線検出部の構成を示すブロック図である。 図３は、本発明の第１実施形態に係る白線検出装置を搭載した車両の一例を示す図である。 図４は、本発明の第１実施形態に係る白線検出装置による白線検出処理の手順を示すフローチャートである。 図５は、本発明の第１実施形態に係る白線検出装置で用いる白線検出フィルタの一例を示す図である。 図６は、本発明の第１実施形態に係る白線検出装置の局所領域輝度検出部による処理を説明するための図である。 図７は、本発明の第１実施形態に係る白線検出装置の局所領域輝度検出部によって検出された輝度分布を示す図である。 図８は、本発明の第１実施形態に係る白線検出装置の局所領域輝度検出部によって検出された輝度分布を示す図である。 図９は、本発明の第２実施形態に係る白線検出フィルタ装置の構成を示すブロック図である。 図１０は、本発明の第３実施形態に係る白線検出装置の白線検出部の構成を示すブロック図である。 図１１は、本発明の第３実施形態に係る白線検出装置で用いる点線検出フィルタの一例を示す図である。 図１２は、本発明の第３実施形態に係る白線検出装置による点線検出処理の手順を示すフローチャートである。 図１３は、本発明の第３実施形態に係る白線検出装置による点線検出処理の手順を説明するための図である。 図１４は、本発明の第３実施形態に係る白線検出装置による点線検出処理の手順を説明するための図である。 図１５は、本発明の第４実施形態に係る白線検出装置の白線検出部の構成を示すブロック図である。 図１６は、本発明の第４実施形態に係る白線検出装置による白線検出処理の手順を示すフローチャートである。 図１７は、本発明の第４実施形態に係る白線検出装置で用いる白線検出フィルタの一例を示す図である。 図１８は、本発明の第４実施形態に係る白線検出装置の局所領域輝度検出部による処理を説明するための図である。 図１９は、本発明の第４実施形態に係る白線検出装置の分離度ヒストグラム作成部による処理を説明するための図である。

以下、本発明を適用した第１〜第４実施形態について図面を参照して説明する。

［第１実施形態］
［白線検出装置の構成］
図１は、本実施形態に係る白線検出装置の構成を示すブロック図である。図１に示すように、本実施形態に係る白線検出装置１は、撮像部２と、視点変換部３と、白線検出部４と、白線認識部５とを備えている。撮像部２は白線の引かれた路面を撮像して路面画像を出力し、視点変換部３は撮像部２で撮像された路面画像を鳥瞰図に変換する。また、白線検出部４は視点変換部３で変換された路面画像の鳥瞰図に対して白線検出処理を実行して２値化画像を出力し、白線認識部５は白線検出部４から出力された２値化画像に基づいて白線の位置を認識する。

また、図２は上述した白線検出部４の構成を示すブロック図である。図２に示すように、白線検出部４は、インテグラルイメージ作成部２１と、局所領域輝度検出部２２と、白線領域輝度解析部２３と、路面領域輝度解析部２４と、分離度評価部２５と、閾値処理部２６とを備えている。インテグラルイメージ作成部２１は路面画像の鳥瞰図から輝度値及び輝度値の二乗のインテグラルイメージを作成し、局所領域輝度検出部２２は路面画像上の局所領域に白線検出フィルタを設定して輝度を検出する。また、白線領域輝度解析部２３は局所領域における輝度の検出結果を用いて白線検出領域における輝度分布の統計値を算出し、路面領域輝度解析部２４は局所領域における輝度の検出結果を用いて路面検出領域における輝度分布の統計値を算出する。さらに、分離度評価部２５は白線検出領域及び路面検出領域における輝度分布の統計値を用いて路面画像の各画素について分離度を算出し、閾値処理部２６は分離度を所定の閾値で処理することによって白線部分を明示した２値化画像を出力する。

ここで、本実施形態では、図１に示す白線検出装置１を車両に搭載した場合を例示して説明しており、白線検出装置１が搭載された車両の一例を図３に示す。図３は、本実施形態に係る白線検出装置１を、運転支援システムのレーンキープシステムで実行される車線検出ロジックとして使用した場合を示している。図３に示すシステムは、自車両３０の後方に撮像部２を構成する車載カメラ３１が取り付けられ、車載カメラ３１によって自車両が通過した領域の車線を検出し、その逸脱度から運転支援を行うものである。車載カメラ３１で撮像された路面画像は、白線検出装置１が実装されている計算機３２に取り込まれ、路面画像から白線の位置が検出される。検出された白線の位置はレーンキープシステム３３に転送され、レーンキープシステム３３が白線の位置を利用して運転支援を実行する。ただし、本実施形態では検出対象を白線としているが、白線でなくてもその他の色の線であってもよい。また、道路のセンターラインのような通行区分を示す車線だけではなく駐車場の区画を示す白線を検出対象としてもよく、路面上に引かれた線であれば検出することは可能である。

次に、図１に示す白線検出装置１を構成する各部について説明する。

まず、撮像部２は、白線の引かれた路面を撮像して路面画像を出力するための撮像手段であり、例えば車両後方に取り付けられた車載カメラで構成することができ、高さｈ、水平から下向きに角度θの方向に向けて取り付けられている。

視点変換部３は、撮像部２で撮像された路面画像を視点変換によって鳥瞰図に変換している。鳥瞰図は、上空から路面を鉛直下向きに見下ろした仮想カメラの視点で撮像した画像である。鳥瞰図を作成するために用いる視点変換は公知の技術であり、例えば特開２００８−２１９０６３号公報に開示されている技術を利用することができる。尚、本実施形態では鳥瞰図を予め作成してから白線を検出する場合を一例として説明するが、鳥瞰図を作成しなくても撮像部２で撮像された路面画像上の座標系から鳥瞰図上の座標系への座標変換を逐一実施するようにしてもよい。この場合には視点変換部３を設けなくてもよい。

白線認識部５は、白線検出部４から出力される２値化画像に既知のＨｏｕｇｈ変換などを用いて白線の位置を認識する。

次に、図２に示す白線検出部４を構成する各部について説明する。

まず、インテグラルイメージ作成部２１は、非特許文献（Violar,Jones:Robust Real-time Object Detection, IJCV2001）で報告されている手法を用いて鳥瞰図の輝度値のインテグラルイメージと、鳥瞰図の輝度値の二乗のインテグラルイメージとを作成する。これら二つのインテグラルイメージは白線領域輝度解析部２３及び路面領域輝度解析部２４で高速に輝度分布を解析するために使用される。

局所領域輝度検出部２２は、路面画像上の局所領域に白線検出フィルタを設定して輝度を検出するとともに、白線検出フィルタを路面画像全体に走査することによって路面画像上にある全ての局所領域の輝度を検出する。

白線領域輝度解析部２３は、局所領域における輝度の検出結果を用いて白線検出フィルタの白線検出領域における輝度分布の統計値として輝度値の平均μ１と分散σ１を算出する。

路面領域輝度解析部２４は、上述した白線領域輝度解析部２３と同様の方法で白線検出フィルタの路面検出領域における輝度分布の統計値として輝度値の平均μ２と分散σ２を算出する。

分離度評価部２５は、白線検出領域の輝度分布の統計値である平均μ１、分散σ１と、路面検出領域の輝度分布の統計値である平均μ２、分散σ２とを用いて、分離度ｓを算出する。分離度ｓは、白線検出領域と路面検出領域との間の輝度の差と白線検出領域及び路面検出領域の輝度分布の和との比に基づいて算出される値であり、この分離度ｓを路面画像の各画素について算出する。

閾値処理部２６は、分離度ｓを所定の閾値で処理することによって路面画像の各画素について白線部分であるか否かを判定し、白線部分であると判定された画素を明示することによって２値化画像を生成して出力する。尚、閾値については、予め実験等によって適切な値を設定しておくようにすればよい。

［白線検出処理］
以下、図４に示すフローチャートを参照して、本実施形態に係る白線検出装置による白線検出処理の手順を説明する。

図４に示すように、本実施形態に係る白線検出処理では、まずステップＳ１０１において撮像部２が路面を撮像して路面画像を出力すると、ステップＳ１０２において視点変換部３が路面画像を視点変換することによって路面画像の鳥瞰図を生成する。そして、ステップＳ１０３ではインテグラルイメージ作成部２１が鳥瞰図から輝度値のインテグラルイメージと輝度値の二乗のインテグラルイメージを作成する。

次に、ステップＳ１０４において、局所領域輝度検出部２２によって路面画像上の局所領域に白線検出フィルタを設定して輝度を検出する。

ここで、白線検出フィルタの構成を図５に基づいて説明する。図５に示すように、白線検出フィルタ４０は、白線部分を検出するための白線検出領域４１と路面部分を検出するための路面検出領域４２とを有している。白線検出領域４１は実際の白線の幅に対応した横幅を有しており、路面検出領域４２は白線検出領域４１と同様の横幅となっているが相違していてもよい。白線検出フィルタ４０の形状は鳥瞰図で白線を局所的に真上から見た場合に、局所的な白線が白と黒の四角形の組み合わせで近似できることに基づいて決められている。また、四角形のサイズ及び縦横比などはカメラの解像度を考慮して白線のサイズに対応させて実験的に定めればよい。さらに、図５の白線検出フィルタ４０では、白線検出領域４１の両脇に路面検出領域４２を形成しているが、路面検出領域４２はいずれか片側だけでもよい。

そして、局所領域輝度検出部２２は、上述の白線検出フィルタ４０を路面画像上にある各局所領域に順番に設定していき、路面画像全体を走査することによって全ての局所領域における輝度を検出する。例えば、図６に示すように、路面画像上の(ｘ、ｙ)の位置にある局所領域に白線検出フィルタを設定して輝度を検出する。そして、路面画像の横方向のサイズがｘｘ、縦方向のサイズがｙｙの場合には０≦ｘ≦ｘｘ、０≦ｙ≦ｙｙの範囲で白線検出フィルタを１画素ずつ移動させて走査していき、各座標（ｘ、ｙ）における輝度を検出する。

次に、ステップＳ１０５において、白線領域輝度解析部２３及び路面領域輝度解析部２４によって輝度の解析が行われる。

白線領域輝度解析部２３は、局所領域における輝度の検出結果を用いて白線検出領域における輝度分布の統計値として輝度値の平均μ１と分散σ１を算出する。具体的には座標（ｘ、ｙ）の局所領域において、白線検出フィルタ４０の白線検出領域４１における輝度分布のヒストグラムを作成し、このヒストグラムから白線検出領域４１における輝度値の平均μ１と分散σ１を統計値として算出する。ここでは基本的な手法として、ヒストグラムから平均と分散を求める方法を示したが、インテグラルイメージ作成部２１で作成したインテグラルイメージを用いることによって平均と分散を高速に計算することが可能となる。具体的に説明すると、まず白線検出領域４１の画素数がＮの場合に、輝度値のインテグラルイメージから白線検出領域４１における画素の輝度値の合計値αを求めることができる。そして、この合計値αを用いて平均μ１を算出すると、μ１=α／Ｎで求めることができる。

また、インテグラルイメージ作成部２１で作成した輝度値の二乗のインテグラルイメージを用いると、白線検出領域４１における輝度値の二乗の合計値βを求めることができる。そして、ζ=β／Ｎ、η=μ１×μ１とすれば、分散σ１はσ１＝ζ−ηで求めることができる。この分散σ１の算出方法は、統計学の分野で周知の式である分散Ｖ[ｘ]＝Ｅ[ｘ^２]−Ｅ[ｘ]^２の式に基づいている。ただし、Ｅは期待値である。このようにして白線領域輝度解析部２３は輝度値の平均μ１と分散σ１を算出する。

同様に、路面領域輝度解析部２４でも、路面検出領域４２における輝度分布の統計値として輝度値の平均μ２と分散σ２を算出する。ただし、路面領域輝度解析部２４では図５に示す白線検出フィルタ４０にある２つの路面検出領域４２を一つの領域として輝度分布のヒストグラムを作成し、そのヒストグラムから路面検出領域４２における輝度値の平均μ２と分散σ２を算出する。また、上述したようにインテグラルイメージを用いて高速に平均μ２と分散σ２を算出してもよい。

こうして白線検出領域及び路面検出領域における平均と分散が算出されると、次にステップＳ１０６において分離度評価部２５が分離度を算出する。分離度評価部２５は、白線検出領域の平均μ１、分散σ１と、路面検出領域の平均μ２、分散σ２とを用いて、分離度ｓを算出する。分離度ｓは、白線検出領域と路面検出領域との間の輝度の差と白線検出領域及び路面検出領域の輝度分布の和との比に基づいて算出される値であり、次式によって算出することができる。

分離度ｓ＝クラス間分散／全分散＝σ_Ｂ ^２／σ_Ｔ ^２ （１）
ここで、クラス間分散σ_Ｂ ^２及び全分散σ_Ｔ ^２は以下の式で表すことができる。

σ_Ｂ ^２＝｛Ｎ_１×（μ１−μ_Ｔ）^２＋Ｎ_２×（μ２−μ_Ｔ）^２｝／（Ｎ_１＋Ｎ_２） （２）
σ_Ｔ ^２＝σ_Ｂ ^２＋σ_Ｗ ^２ （３）
σ_Ｗ ^２＝｛Ｎ_１×σ１^２＋Ｎ_２×σ２^２｝／（Ｎ_１＋Ｎ_２） （４）
ただし、Ｎ_１は白線検出領域の画素数、Ｎ_２は路面検出領域の画素数、μ_Ｔは白線検出領域と路面検出領域の全画素の平均である。

分離度評価部２５は、式（１）〜（４）に基づいて分離度ｓを路面画像の各画素について算出する。

ここで、式（２）に示すようにクラス間分散σ_Ｂ ^２は白線検出領域４１と路面検出領域４２との間の輝度の差に応じて変化する値であり、各領域の平均μ１、μ２が全画素の平均μ_Ｔから離れているほど大きな値となる。一方、全分散σ_Ｔ ^２は白線検出領域４１及び路面検出領域４２の輝度分布の和に応じて変化する値であり、各領域の分散σ１、σ２が小さくなるほど、すなわち各領域の輝度分布が均一になるほど小さな値となる。

したがって、分離度ｓは図７に示すように白線検出領域４１の平均μ１と路面検出領域４２の平均μ２との間が離れており、尚且つ両者の分散σ１、σ２が小さくなるほど、すなわち各領域の輝度分布が均一であるほど評価値が大きな値となる。

これにより、白線検出フィルタ４０にマッチした形状と輝度パターンとなる局所領域（白線部分）では分離度sは大きな値を示し、マッチしない局所領域（路面部分）では小さな値を示すことになる。したがって、全ての画素を走査して全ての画素について分離度sを算出し、その値を後段の閾値処理部２６で閾値処理することによって、白線部分を明示した二値化画像を出力することができる。

また、分離度ｓは必ず０〜１の値となるので、条件に応じてさまざまな閾値を設定しなくても１つの閾値を設定しておけば、白線部分を検出することができる。

尚、分離度ｓは、他の方法で算出してもよい。例えば、白線検出領域の輝度分布と路面検出領域の輝度分布のうち小さいほうを２倍し、この値に各領域の輝度分布の差を足したものを算出する。そして、この値で白線検出領域と路面検出領域との間の輝度の差を割ることによって分離度を算出してもよい。

具体的な式としては、例えば白線検出領域の輝度分布が路面検出領域の輝度分布より小さい場合には、
分離度ｓ＝|μ１−μ２|／｛２・σ１＋|σ１−σ２|｝ （５）
によって算出することができる。ただし、式（５）では輝度分布を表す統計値として分散を用いている。

上述したように、本実施形態では、白線検出フィルタを局所領域に設定して局所領域毎に分離度を求めて白線部分を検出する。これにより、従来問題となっていた画像中の日照条件が異なって明るい領域と暗い領域が混在するような場合でも白線の検出精度が低下することを防止できる。

さらに、本実施形態では昼間のように日照量が多い時間帯から朝、夕のように日照量が少ない時間帯に変化したとしても、日照条件の変化に影響を受けることなく、白線を検出することができる。図８に示すように、昼間のように日照量が多い時間帯では白線検出領域と路面検出領域の輝度分布は実線で示すような分布となる。一方、朝、夕のように日照量が少ない時間帯では全体的に暗い画像になるため輝度分布は点線で示すように輝度値が低い方向へ全体的にシフトする。すなわち、平均μ１、μ２の値は低下するが、μ１とμ２の差は変化しないので、クラス間分散σ_Ｂ ^２は変化しない。また、分散σ１、σ２も多少の変化を伴うだけでほとんど変化しないので、全分散σ_Ｔ ^２についても変化しない。

したがって、分離度ｓは日照条件が変化したとしても同様の値が算出されるので、日照条件の変化にロバストに白線を検出することができる。また、分離度ｓは日照条件が変化しても同様の値となるので、判別のための閾値を日照条件に応じて変化させる必要がなく、常に安定した検出結果を得ることができる。

こうしてステップＳ１０６において分離度が評価されると、次にステップＳ１０７において局所領域輝度検出部２２が路面画像の全画素について走査が終了したか否かを判定する。走査が終了していない場合にはステップＳ１０４に戻って上述した処理を繰り返し行い、走査が終了している場合にはステップＳ１０８に移行する。

ステップＳ１０８では、閾値処理部２６が分離度ｓを所定の閾値で処理することによって路面画像の各画素について白線部分であるか否かを判定し、白線部分であると判定された画素を明示することによって２値化画像を生成して出力する。

そして、ステップＳ１０９において、白線認識部５が２値化画像に対して既知のＨｏｕｇｈ変換などを行って白線の位置を認識し、その結果をレーンキープシステム３３へ出力すると、本実施形態に係る白線検出装置による白線検出処理は終了する。

［第１実施形態の効果］
上述したように、本実施形態に係る白線検出装置によれば、路面画像上の局所領域に対して白線検出領域と路面検出領域とを有する白線検出フィルタを設定して輝度を検出し、この輝度に基づいて算出される分離度を求めて白線を検出する。これにより、局所領域ごとに日照環境が異なり輝度分布が不均一になるような場合でも良好に白線を検出することができる。

また、本実施形態に係る白線検出装置によれば、インテグラルイメージに基づいて輝度分布の統計値を算出するので、高速に計算を実行することができ、計算負荷を軽減することができる。

さらに、本実施形態に係る白線検出装置によれば、白線検出領域における輝度分布の統計値として輝度値の平均と分散を算出するので、白線検出領域における輝度分布の状態を表した数値を利用して良好に白線を検出することができる。

また、本実施形態に係る白線検出装置によれば、路面検出領域における輝度分布の統計値として輝度値の平均と分散を算出するので、路面検出領域における輝度分布の状態を表した数値を利用して良好に白線を検出することができる。

さらに、本実施形態に係る白線検出装置によれば、白線検出領域と路面検出領域との間の輝度の差と白線検出領域及び路面検出領域の輝度分布の和とに基づいて分離度を算出する。これにより、局所領域ごとに日照環境が異なり輝度分布が不均一になるような場合でも良好に白線を検出することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る白線検出フィルタ装置について説明する。

［白線検出フィルタ装置の構成］
図９は、本実施形態に係る白線検出フィルタ装置の構成を示すブロック図である。図９に示すように、本実施形態に係る白線検出フィルタ装置５０は、インテグラルイメージ作成部５１と、局所領域輝度検出部５２と、白線領域輝度解析部５３と、路面領域輝度解析部５４と、分離度評価部５５とを備えている。

インテグラルイメージ作成部５１は路面画像の鳥瞰図から輝度値及び輝度値の二乗のインテグラルイメージを作成し、局所領域輝度検出部５２は路面画像上の局所領域に白線検出フィルタを設定して輝度を検出する。白線領域輝度解析部５３は局所領域における輝度の検出結果を用いて白線検出領域における輝度分布の統計値を算出し、路面領域輝度解析部５４は局所領域における輝度の検出結果を用いて路面検出領域における輝度分布の統計値を算出する。分離度評価部５５は白線検出領域及び路面検出領域における輝度分布の統計値を用いて路面画像の各画素について分離度を算出する。

ただし、本実施形態に係る白線検出フィルタ装置５０を構成する各部については、上述した第１実施形態と同一なので、詳細な説明は省略する。また、本実施形態に係る白線検出フィルタ装置５０によって実行される白線検出処理についても上述した第１実施形態と同一なので、詳細な説明は省略する。

本実施形態に係る白線検出フィルタ装置５０は、上述した第１実施形態の白線検出部４の構成要素のうち路面画像から分離度を算出する部分だけを抽出したものである。したがって、本実施形態の白線検出フィルタ装置５０をさまざまな装置に搭載すれば、局所領域ごとに日照環境が異なり輝度分布が不均一になるような場合でも良好に白線部分を検出することが可能なフィルタ装置として活用することができる。

［第２実施形態の効果］
上述したように、本実施形態に係る白線検出フィルタ装置によれば、第１実施形態と同様に局所領域ごとに日照環境が異なって輝度分布が不均一になるような場合でも良好に白線を検出することができる。また、白線部分を検出するためのフィルタ装置としてさまざまな装置に搭載することができる。

［第３実施形態］
次に、本発明の第３実施形態に係る白線検出装置について説明する。

［白線検出装置の構成］
本実施形態に係る白線検出装置の構成は、図１に示す第１実施形態の構成と同一であるが、白線検出部４の構成が相違しており、路面に引かれた白線の中から特に点線を検出できるように構成されている。

図１０は本実施形態に係る白線検出部の構成を示すブロック図であり、図１０に示すように本実施形態に係る白線検出部６０は、図２に示す第１実施形態の構成に点線候補領域設定部６１と点線判定部６２を追加したものである。

点線候補領域設定部６１は、閾値処理部２６から出力された２値化画像において白線部分の画素値を積算することによって点線位置の候補となる点線候補領域を設定する。

点線判定部６２は、点線候補領域内にある白線部分の連結画素数をカウントして点線長を検出し、点線候補領域内で検出された点線長の中で最も検出頻度の大きい点線長に基づいて点線候補領域内にある白線部分が点線である否かを判定する。

尚、局所領域輝度検出部２２は、第１実施形態では図５に示す白線検出フィルタを局所領域に設定して輝度を検出していたが、本実施形態では図１１に示す点線検出フィルタを用いて輝度の検出を行っている。図１１に示すように点線検出フィルタ６５は、横方向の長さは図５に示す白線検出フィルタと同様に設定されているが、縦方向の長さは検出対象となる点線の長さに対応して設定されているので、白線検出フィルタよりも短くなっている。

［点線検出処理］
以下、図１２に示すフローチャートを参照して、本実施形態に係る点線検出処理の手順を説明する。図１２に示す点線検出処理において、ステップＳ２０１からステップＳ２０８までの処理は、図４に示す第１実施形態の白線検出処理のステップＳ１０１からステップＳ１０８までの処理と同一なので詳細な説明は省略する。ただし、ステップＳ２０４の局所領域の輝度検出を行う際には図１１に示す点線検出フィルタが使用されている。

ステップＳ２０１からステップＳ２０８までの処理が実行されて２値化画像が出力されると、ステップ２０９では点線候補領域設定部６１が２値化画像の白線部分の画素値を積算し、画素数が所定値以下であるか否かを判定する。ここで、画素数が所定値以下の場合には白線が検出されていないと判定して処理を終了し、画素数が所定値より大きい場合にはステップＳ２１０へ移行する。

ステップＳ２１０では、点線候補領域設定部６１が２値化画像における白線部分の画素値を積算することによって点線位置の候補となる点線候補領域を設定する。ここで、点線候補領域の設定方法を図１３に基づいて説明する。図１３（ａ）は視点変換部３で得られた鳥瞰図、図１３（ｂ）は鳥瞰図の２値化画像である。図１３（ｂ）に示す２値化画像では分離度が閾値以上の画素に１、閾値未満の画素には０が設定されている。そして、図１３（ｂ）の２値化画像において画像の垂直方向に画素の値を積算したものが図１３（ｃ）の下部に示す曲線であり、白線部分が略鉛直方向に並んでいる位置では積算した値が高くなっている。この積算値に対して図１３（ｄ）に示すように、閾値Ｔｈを設定して閾値Ｔｈよりも積算値が高くなっている領域を点線候補領域７１として設定する。

本実施形態の白線検出装置を車載のレーンキープシステムに搭載して使う場合には、車両は点線に対して平行に走行するので、２値化画像中において垂直方向に画素値を積算することによって適切に点線候補領域を設定することができる。尚、本実施形態では積分する方式を採用したが、例えばＨｏｕｇｈ変換などを用いて多くの点線を貫く直線を求め、その領域を点線候補領域としてもよい。

次に、ステップＳ２１１では、点線判定部６２が点線候補領域内にある白線部分が点線であるか否かを判定する。ここで、点線判定部６２による点線の判定方法を図１４に基づいて説明する。まず、点線判定部６２は、点線判定の前処理として点線候補領域内にある白線部分にラベリングを行う。この処理によって図１４（ａ）の点線候補領域７１内にある白線部分にそれぞれラベルが付与される。次に、ラベル付けされた各白線部分の連結画素数を画像の垂直方向にカウントして点線長を検出する。そして、各白線部分の点線長を図１４（ｂ）に示すように長さに応じて区分することでヒストグラムを生成して点線長の検出頻度を求め、最も検出頻度の大きい点線長を点線の長さと推定する。

ここで、点線判定部６２は、あらゆる種類の既知の点線の長さを記憶した事前情報を予め保持しており、推定した点線の長さが事前情報と大きく相違している場合には点線ではないと判定し、事前情報と一致した場合には点線であると判定する。このとき点線の長さに応じて、点線の種類が破線であるか、あるいはポッツドッツであるかを判定する。

こうして点線であるか否かが判定されると、ステップＳ２１２において白線認識部５が点線の位置を認識し、その結果をレーンキープシステム３３へ出力すると、本実施形態に係る白線検出装置による点線検出処理は終了する。

［第３実施形態の効果］
上述したように、本実施形態に係る白線検出装置によれば、局所領域ごとに日照環境が異なり輝度分布が不均一になるような場合でも良好に点線を検出することができる。

さらに、本実施形態に係る白線検出装置によれば、２値化画像の白線部分の画素値を積算して点線候補領域を設定し、点線候補領域内で検出された点線長の中で最も検出頻度の大きい点線長に基づいて白線部分が点線である否かを判定する。これにより、白線だけではなく点線のように規格化されたものを検出することができる。

［第４実施形態］
次に、本発明の第４実施形態に係る白線検出装置について説明する。

［白線検出装置の構成］
本実施形態に係る白線検出装置の構成は、図１に示す第１実施形態の構成と同一であるが、白線検出部４の構成が相違している。

図１５は本実施形態に係る白線検出部の構成を示すブロック図であり、図１５に示すように本実施形態に係る白線検出部８０は、図２に示す第１実施形態の構成に分離度ヒストグラム作成部８１を追加したものである。また、局所領域輝度検出部２２で実行される処理についても第１実施形態と相違している。

局所領域輝度検出部２２は、白線検出フィルタの白線検出領域の幅を順次変更しながら局所領域の輝度を検出する。また、路面画像を複数の領域に分割して各領域にそれぞれ走査線を設定し、この走査線に沿って白線検出フィルタを走査することによって局所領域の輝度を検出する。

分離度ヒストグラム作成部８１は、分離度評価部２５によって算出された分離度を、路面画像上に設定された走査線に沿って集計して分離度ヒストグラムを作成する。

［白線検出処理］
以下、図１６に示すフローチャートを参照して、本実施形態に係る白線検出処理の手順を説明する。図１６に示す白線検出処理において、ステップＳ３０１からステップＳ３０３までの処理は、図４に示す第１実施形態の白線検出処理のステップＳ１０１からステップＳ１０３までの処理と同一なので詳細な説明は省略する。

ステップＳ３０１〜Ｓ３０３までの処理によってインテグラルイメージが作成されると、ステップ３０４において局所領域輝度検出部２２が白線検出フィルタの白線検出領域の幅を順次変更しながら局所領域の輝度を検出する。

局所領域輝度検出部２２は、図１７に示すように白線検出フィルタ４０の白線検出領域４１の幅を順次変化しながら、図１８に示す路面画像上に設定された走査線に沿って白線検出フィルタ４０を走査する。このとき、局所領域輝度検出部２２は、白線検出領域４１の幅を最小値W_minから最大値W_maxまでの間でステップサイズを１ピクセルにして変化させている。そして、白線検出領域４１の幅が異なる複数の白線検出フィルタ４０を繰り返し走査線に沿って走査することによって局所領域の輝度を検出している。

ここで、白線検出領域４１の最小値W_minと最大値W_maxは道路の規格によって定められた白線幅の最小値と最大値に対応して設定されている。さらに、車両の挙動によって変化する範囲に対応させて最小値W_minと最大値W_maxを設定してもよい。例えば、図３に示すように車載カメラ３１がリアカメラの場合、車両３０のリアが沈み込むと撮像される白線の幅は細くなり、逆にリアが浮き上がると白線の幅は太く撮像される。そこで、このような車両の挙動による変化に対応させて最小値W_minと最大値W_maxを設定すれば、車両の挙動による誤差があっても白線を検出することが可能となる。例えば、最小値W_minは白線の幅１０ｃｍに相当するピクセル値に設定し、最大値W_maxは白線の幅５０ｃｍに相当するピクセル値に設定すればよい。尚、路面検出領域４２の幅を変更する必要はない。

また、図１８に示す走査線は、路面画像を複数の領域に分割して各領域にそれぞれ設定されている。例えば、図１８では路面画像をＡ、Ｂ、Ｃの３つの領域に分割し、それぞれの領域に走査線を設定し、この走査線に沿って白線検出フィルタを走査する。

本実施形態では白線検出領域の幅を変更しながら繰り返し白線検出フィルタを用いて輝度を検出している。したがって、路面画像のすべての画素について輝度を検出していると処理負荷が過大になるので、処理負荷を低減させる必要がある。そこで、第１実施形態では路面画像のすべての画素に対して白線検出フィルタを設定して輝度を検出していたが、本実施形態では複数の領域に設定された走査線上だけで輝度を検出するようにして処理負荷を低減させている。

したがって、走査線の数は少ないほうがよいが、少なくし過ぎると正確に白線を検出することができない。そこで、少なくとも３つの領域に路面画像を分割し、各領域にそれぞれ走査線を設定するようにしている。少なくとも３本の走査線を設定すれば、白線の検出を正確に行うことは可能だからである。

こうして局所領域の輝度が検出されると、ステップＳ３０５、Ｓ３０６の処理が実行されて分離度が評価される。ステップＳ３０５、Ｓ３０６の処理については、図４のステップＳ１０５、Ｓ１０６の処理と同一なので詳細な説明は省略する。

そして、ステップＳ３０７において、局所領域輝度検出部２２は、すべての走査線について白線検出領域の幅を変更させて白線検出フィルタの走査が終了したか否かを判定する。

局所領域輝度検出部２２は、まず白線検出領域の幅が最小値W_minの白線検出フィルタを走査線上の開始位置ｘ＝０に設定する。その後、白線検出フィルタの位置を１ピクセル単位で走査線に沿って移動させ、路面画像を左端から右端まで走査し終わると、白線検出領域の幅を１ピクセル増やして繰り返し白線検出フィルタを走査する。そして、白線検出領域の幅が最大値W_maxに達して、白線検出フィルタの位置が路面画像の右端に到達すると、局所領域輝度検出部２２は白線検出フィルタの走査が終了したと判定してステップＳ３０８に移行する。

ステップＳ３０８では、分離度ヒストグラム作成部８１が、分離度評価部２５によって算出された分離度を集計して分離度ヒストグラムを作成する。このとき、白線検出領域の幅が異なる白線検出フィルタを用いた場合についてそれぞれ集計してヒストグラムを作成する。例えば、図１９に示すように、まず白線検出領域の幅が狭い白線検出フィルタを用いた場合について走査線０〜ｘまでの分離度を取得してヒストグラムを作成する。同様に、白線検出領域の幅が中間の白線検出フィルタを用いた場合についてヒストグラムを作成し、白線検出領域の幅が広い白線検出フィルタを用いた場合についてヒストグラムを作成する。ただし、図１９では３つの白線検出フィルタを用いた場合について示しているが、実際には白線検出領域の幅を最小値W_minから最大値W_maxまで１ピクセルずつ増やしていった場合のすべてについてヒストグラムを作成している。

また、ヒストグラムを作成する際には、取得した分離度を走査線上の白線検出領域の中央の位置に投票することによってヒストグラムを作成する。例えば、路面検出領域の幅が１０画素、白線検出領域の幅が１０画素の白線検出フィルタの左端が走査線の「０」の位置に設定されていたとする。この場合の分離度は、路面検出領域の幅の１０画素に白線検出領域の幅の半分の５画素を加算した位置、すなわち走査線上の「１５」の位置に投票されるようにする。本実施形態では、白線検出領域の幅が変化するので、このように白線検出領域の中央の位置に投票してヒストグラムを作成しないと、分離度の投票される位置が白線検出領域の幅に応じてずれてしまうからである。

そして、すべての白線検出フィルタに対してヒストグラムが作成できたら、次にこれらのヒストグラムを集計して分離度ヒストグラムを作成する。集計方法としては、図１９に示すようにすべてのヒストグラムを単に加算すればよいが、分離度の大きさに応じて重み付けを行ってから加算してもよい。例えば、分離度の大きさが最大となるヒストグラムに「１」を、それ以外のヒストグラムに「０．５」をかけることによって重み付けを行ってから加算してもよい。

こうして分離度ヒストグラムが作成されると、次にステップＳ３０９において、閾値処理部２６が分離度ヒストグラムに対して閾値処理を行って所定の閾値以上となるピーク（極大値）を検出する。これにより走査線上の各画素について白線部分であるか否かを判定し、白線部分であると判定された画素の位置を出力する。

そして、ステップＳ３１０において、白線認識部５が閾値処理部２６からの出力に応じて走査線上における白線の位置を認識し、その結果をレーンキープシステム３３へ出力すると、本実施形態に係る白線検出装置による白線検出処理は終了する。

［第４実施形態の効果］
上述したように、本実施形態に係る白線検出装置によれば、局所領域ごとに日照環境が異なり輝度分布が不均一になるような場合でも良好に白線を検出することができる。

さらに、本実施形態に係る白線検出装置によれば、分離度評価部によって算出された分離度を、路面画像上に設定された走査線に沿って集計して分離度ヒストグラムを作成する。これにより、白線の位置を分離度ヒストグラムで表すことができるので、白線の位置を容易に認識することができる。

また、本実施形態に係る白線検出装置によれば、白線検出フィルタの白線検出領域の幅を順次変更しながら局所領域の輝度を検出するので、白線の幅がさまざまに変化した場合でも白線を検出することが可能となる。

さらに、本実施形態に係る白線検出装置によれば、路面画像を複数の領域に分割して各領域にそれぞれ走査線を設定し、設定された走査線に沿って白線検出フィルタを走査して局所領域の輝度を検出する。これにより、路面画像のすべての画素に白線検出フィルタを走査していた場合と比較して処理負荷を軽減することができる。

また、本実施形態に係る白線検出装置によれば、路面画像を少なくとも３つの領域に分割するので、処理負荷を最小限に軽減できるとともに白線を確実に検出することができる。

さらに、本実施形態に係る白線検出装置によれば、白線検出フィルタの白線検出領域の幅を道路の規格によって定められた白線幅の最小値と最大値との間で変更するので、道路の規格によって定められたさまざまな幅の白線を検出することが可能となる。

また、本実施形態に係る白線検出装置によれば、白線検出フィルタの白線検出領域の幅を車両の挙動によって変化する範囲で変更するので、車両の挙動による誤差があっても白線を検出することが可能となる。

さらに、本実施形態に係る白線検出装置によれば、走査線上に設定された白線検出フィルタの白線検出領域の中央の位置に分離度を投票することによって分離度ヒストグラムを作成する。これにより、白線検出領域の幅を変更しても白線の位置を正確に検出することができる。

以上、本発明の白線検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることが可能である。

本出願は、２０１２年３月５日に出願された日本国特許願第２０１２−０４７７０４号及び２０１２年１１月６日に出願された日本国特許願第２０１２−２４４２６６号に基づく優先権を主張しており、これらの出願の内容が参照により本発明の明細書に組み込まれる。

本発明の一態様に係る白線検出装置、白線検出フィルタ装置及びその方法によれば、路面画像上の局所領域に対して白線検出領域と路面検出領域とを有する白線検出フィルタを設定して輝度を検出し、この輝度に基づいて算出される分離度を求めて白線を検出する。これにより、局所領域ごとに日照環境が異なり輝度分布が不均一になるような場合でも良好に白線を検出することができる。したがって、本発明の一態様に係る白線検出装置、白線検出フィルタ装置及びその方法は、産業上利用可能である。

１ 白線検出装置
２ 撮像部
３ 視点変換部
４、６０、８０ 白線検出部
５ 白線認識部
２１、５１ インテグラルイメージ作成部
２２、５２ 局所領域輝度検出部
２３、５３ 白線領域輝度解析部
２４、５４ 路面領域輝度解析部
２５、５５ 分離度評価部
２６ 閾値処理部
５０ 白線検出フィルタ装置
６１ 点線候補領域設定部
６２ 点線判定部
８１ 分離度ヒストグラム作成部

Claims (11)

1. 路面を撮像して路面画像を出力する撮像部と、
   前記撮像部が撮像した前記路面画像における白線部分を検出するための白線検出領域と路面部分を検出するための路面検出領域とを有する白線検出フィルタとを備えた白線検出装置であって、
   前記路面画像上の局所領域に前記白線検出フィルタを設定して輝度を検出する局所領域輝度検出部と、
   前記白線検出領域と前記路面検出領域との間の輝度の差と前記白線検出領域及び前記路面検出領域の輝度分布とに基づいて算出される分離度を前記路面画像の各画素について算出する分離度評価部と、
   前記分離度を前記路面画像上に設定された走査線に沿って集計した分離度ヒストグラムに対して所定の閾値で処理することによって前記路面画像の各画素について白線部分であるか否かを判定して白線部分を明示した２値化画像を出力する閾値処理部と、
   前記２値化画像に基づいて白線の位置を認識する白線認識部と
   を有することを特徴とする白線検出装置。
2. 前記分離度ヒストグラムは、前記走査線上に設定された前記白線検出フィルタの白線検出領域の中央の位置に前記分離度を投票することによって作成されることを特徴とする請求項１に記載の白線検出装置。
3. 前記局所領域輝度検出部は、前記白線検出フィルタの白線検出領域の幅を順次変更しながら前記局所領域の輝度を検出することを特徴とする請求項１に記載の白線検出装置。
4. 前記局所領域輝度検出部は、前記白線検出フィルタの白線検出領域の幅を、道路の規格によって定められた白線幅の最小値と最大値との間で変更することを特徴とする請求項３に記載の白線検出装置。
5. 前記局所領域輝度検出部は、前記白線検出フィルタの白線検出領域の幅を、車両の挙動によって変化する範囲で変更することを特徴とする請求項３または４に記載の白線検出装置。
6. 前記分離度評価部は、前記白線検出領域及び前記路面検出領域の輝度分布として輝度値の平均と分散に基づいて前記分離度を算出することを特徴とする請求項１〜５のいずれか１項に記載の白線検出装置。
7. 前記２値化画像の白線部分の画素値を積算することによって点線位置の候補となる点線候補領域を設定する点線候補領域設定部と、
   前記点線候補領域内にある白線部分の連結画素数をカウントして点線長を検出し、前記点線候補領域内で検出された点線長の中で最も検出頻度の大きい点線長に基づいて前記点線候補領域内にある白線部分が点線である否かを判定する点線判定部と
   をさらに備えたことを特徴とする請求項１〜６のいずれか１項に記載の白線検出装置。
8. 前記局所領域輝度検出部は、前記路面画像を複数の領域に分割して各領域にそれぞれ走査線を設定し、設定された前記走査線に沿って前記白線検出フィルタを走査して前記局所領域の輝度を検出することを特徴とする請求項１〜７のいずれか１項に記載の白線検出装置。
9. 前記局所領域輝度検出部は、前記路面画像を少なくとも３つの領域に分割することを特徴とする請求項８に記載の白線検出装置。
10. 車両に搭載され、路面を撮像する撮像部によって撮像された路面画像から、白線部分を検出するための白線検出領域と路面部分を検出するための路面検出領域とを有する白線検出フィルタを備えた車載の白線検出フィルタ装置であって、
    路面を撮像した路面画像上の局所領域に前記白線検出フィルタを設定して輝度を検出する局所領域輝度検出部と、
    前記白線検出領域と前記路面検出領域との間の輝度の差と前記白線検出領域及び前記路面検出領域の輝度分布とに基づいて算出される分離度を前記路面画像の各画素について算出する分離度評価部とを有し、
    前記局所領域輝度検出部は、前記白線検出フィルタの白線検出領域の幅を、道路の規格によって定められた白線幅の最小値と最大値との間、もしくは、車両の挙動によって変化する範囲の少なくとも一方で、順次変更しながら前記局所領域の輝度を検出することを特徴とする白線検出フィルタ装置。
11. 撮像部で路面を撮像して路面画像を出力し、
    白線部分を検出するための白線検出領域と路面部分を検出するための路面検出領域とを有する白線検出フィルタを、前記路面画像上の局所領域に設定して輝度を検出し、
    前記白線検出領域と前記路面検出領域との間の輝度の差と前記白線検出領域及び前記路面検出領域の輝度分布とに基づいて算出される分離度を前記路面画像の各画素について算出し、
    前記分離度を前記路面画像上に設定された走査線に沿って集計した分離度ヒストグラムに対して所定の閾値で処理することによって前記路面画像の各画素について白線部分であるか否かを判定して白線部分を明示した２値化画像を出力し、
    前記２値化画像に基づいて白線の位置を認識する
    ことを特徴とする白線検出方法。