JP7142131B1 - 車線検出装置、車線検出方法および車線検出プログラム - Google Patents

Abstract

【課題】車線の検出精度を向上させること。【解決手段】実施形態に係る車線検出装置は、生成部と、設定部と、検出部とを備える。生成部は、車載カメラで撮影した撮像画像の対象領域において、奥行き方向に沿う画素値の分布状況を示すヒストグラムを生成する。設定部は、生成部によって生成されたヒストグラムに基づき、画素値毎の横方向に沿うピーク形状と、車線のモデルを示す車線モデルとの相関性に基づき、２値化閾値を設定する。検出部は、設定部によって設定された２値化閾値に基づき、対象領域から車線を検出する。【選択図】図１

Description

本発明は、車線検出装置、車線検出方法および車線検出プログラムに関する。

従来、例えば、車載カメラで撮像された画像から車両が走行する車線を検出する技術がある。たとえば、車線を検出する技術においては、輝度値の差分に基づいて車線を検出する（例えば、特許文献１参照）。

特開２０１５－０９０５８４号公報

しかしながら、従来技術では、たとえば、撮像する環境や、車線がかすれている場合等においては、輝度値の差分が十分になく車線を検出できないおそれがある。

本発明は、上記に鑑みてなされたものであって、車線の検出精度を向上させることができる車線検出装置、車線検出方法および車線検出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る車線検出装置は、生成部と、設定部と、検出部とを備える。前記生成部は、車載カメラで撮影した撮像画像の対象領域において、奥行き方向に沿う画素値の分布状況を示すヒストグラムを生成する。前記設定部は、前記生成部によって生成された前記ヒストグラムに基づき、前記画素値毎の横方向に沿うピーク形状と、車線のモデルを示す車線モデルとの相関性に基づき、２値化閾値を設定する。前記検出部は、前記設定部によって設定された前記２値化閾値に基づき、前記対象領域から前記車線を検出する。

本発明によれば、車線の検出精度を向上させることができる。

図１は、車線検出方法の概要を示す図である。 図２は、車線検出装置のブロック図である。 図３は、モデル情報記憶部に記憶される情報の一例を示す図である。 図４は、ヒストグラムの生成例を示す図である。 図５は、車線検出装置が実行する処理手順を示すフローチャートである。 図６は、図５に示すステップＳ１０２の処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する車線検出装置、車線検出方法および車線検出プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る車線検出方法の概要について説明する。図１は、車線検出方法の概要を示す図である。なお、かかる車線検出方法は、図２にて後述する車線検出装置１０によって実行される。なお、以下では、車線を構成する白線を検出する場合について説明する。なお、車線として検出する対象は、白線に限定されるものではなく、たとえば、「黄色線」や「多重線」等であってもよい。

実施形態に係る車線検出方法は、車載カメラによって撮像された撮像画像から車線の区画線を検出する。図１に示すように、車線検出方法では、車載カメラによって撮影された撮像画像Ｇの対象領域Ｔにおいて、奥行き方向に沿う画素値の分布形状を示すヒストグラムを生成する（ステップＳ１）。

ここで、対象領域Ｔとは、撮像画像Ｇ中において、車両が走行中の車線が含まれる領域であり、車両が走行すると対象領域Ｔの上を走行することになる。すなわち、対象領域Ｔは、車線の検出対象となる領域である。また、画素値とは、たとえば、各画素の輝度値を示し、たとえば、０～２５５の計２５６階調に分類される。

また、ここでのヒストグラムは、対象領域Ｔにおける奥行き方向（車両の進行方向、Ｙ軸方向）に沿う画素値の分布形状を示し、横位置(車両の幅方向の座標、Ｘ座標）毎に生成される。白線は、路面にくらべて輝度が高く、また、白線は対象領域Ｔの奥行方向に延伸している。

このため、奥行き方向に沿ってヒストグラムを生成することによって、たとえば、白線の一部が欠損している場合であっても、奥行き方向全体で見れば、白線に対応する輝度値の分布（頻度）が相対的に増大する。

つづいて、車線検出方法は、ステップＳ１にて生成したヒストグラムに基づき、２値化閾値を設定する（ステップＳ２）。ここで、２値化閾値とは、撮像画像Ｇを２値化するための閾値である。たとえば、２値化閾値よりも輝度値が大きい画素と、２値化閾値よりも輝度値が小さい画素とで撮像画像Ｇが２値化される。

車線検出方法では、横方向（横位置方向、Ｘ軸方向）に沿う画素値毎のピーク形状と、車線のモデルとなる車線モデルＭとの相関性に基づき、２値化閾値を設定する。ここで、画素値毎のピーク形状とは、奥行き方向に生成したヒストグラムを各画素値を基準として横位置方向に見た分布形状であり、画素値毎に横方向における頻度のピーク形状を示すヒストグラムとも言える。

車線検出方法では、横方向に沿う画素値毎のピーク形状と、車線モデルＭとを比較し、車線モデルＭと相関性が最も高い画素値を２値化閾値として設定する。ここで、相関性が高いとは、車線モデルＭと、ピークの形状、ピークの位置（横位置）がともに類似することを指す。そのため、たとえば、双方のピークの形状が類似していたとしてもピークの位置が乖離している場合は、相関性が高いとは言えない。同様に、双方のピークの位置が類似していたとしても形状がピークの形状が乖離している場合、相関性が高いとは言えない。

このように、実施形態に係る車線検出方法では、対象領域Ｔに映る白線部分が路面部分に比べて高い輝度を有する点に着目し、対象領域Ｔに実際に映る白線の輝度値をステップＳ１およびステップＳ２の処理において推定することで２値化閾値を設定する。

そして、車線検出方法では、ステップＳ２にて設定した２値化閾値を用いて、対象領域Ｔから車線を検出する（ステップＳ３）。車線検出方法では、２値化閾値を用いて、撮像画像を２値化し、２値化画像を生成する。この際、たとえば、２値化画像においては、白線部分と路面部分とで２値化されることが期待される。

そして、車線検出方法では、２値化画像を用いて白線から成る車線を検出することで、車線を精度よく検出することが可能となる。このように、実施形態に係る車線検出方法では、対象領域Ｔにおける画素値毎のピーク形状と、車線モデルＭとの相関性に基づき、２値化閾値を設定する。

これにより、実施形態に係る車線検出方法では、２値化閾値の最適化を図ることができ、２値化画像における白線の検出漏れや路面標示での誤検出を抑制することができるので、車線の検出精度の向上を図ることができる。

次に、図２を用いて、車線検出装置の構成例について説明する。図２は、車線検出装置のブロック図である。なお、図２では、車線検出装置１０に加え、車載カメラ５１および車両センサ５２をあわせて示す。

車載カメラ５１は、たとえば、車両の進行方向を撮影するドライブレコーダである。たとえば、車載カメラ５１は、各種撮像素子と、魚眼レンズなどのレンズによって構成される。

車両センサ５２は、車両の走行状態を検出する各種センサである。車両センサ５２には、たとえば、車両の走行速度を検出する速度センサ、車両の舵角を検出する舵角センサ、ヘッドライトの点灯状態を検出するヘッドライトセンサなどが含まれる。

図２に示すように、車線検出装置１０は、記憶部２０と、制御部３０とを備える。記憶部２０は、たとえば、不揮発性メモリやデータフラッシュ、ハードディスクドライブといった記憶デバイスで構成される。

図２に示す例において、記憶部２０は、モデル情報記憶部２１と、ヒストグラム記憶部２２とを有し、そのほか、各種プログラムなどが記憶される。モデル情報記憶部２１は、車線のモデルとなる車線モデルＭに関する各種情報を記憶する記憶領域である。

図３は、モデル情報記憶部２１に記憶される情報の一例を示す図である。図３に示すように、たとえば、モデル情報記憶部２１は、「モデルＩＤ」、「モデル情報」といった項目の情報を互いに関連付けて記憶する。

モデルＩＤは、モデル情報を識別するための識別子であり、モデル情報は車線モデルＭに関する情報である。図３に示す例において、モデル情報記憶部２１には、３つの車線モデルＭが記憶される。

モデルＩＤがＭ０１の車線モデルＭは、２つの区画線から成る２線モデルであり、モデルＩＤがＭ０２、Ｍ０３の車線モデルＭは、１つの区画線から成る１線モデルである。たとえば、２線モデルは、車線の両方の区画線となる白線に対応したモデルであり、１線モデルは、車線の一方のみの区画線となる白線に対応するモデルである。また、１線モデルは、右側の区画線に対応するモデルと、左側の区画線に対応するモデルが含まれる。

図２の説明に戻り、ヒストグラム記憶部２２について説明する。ヒストグラム記憶部２２は、生成部３１によって生成されたヒストグラムに関する情報を記憶する記憶領域である。たとえば、ヒストグラム記憶部２２に記憶されたヒストグラムに関する情報は、後述するリセット条件が成立した場合に消去される。

制御部３０は、生成部３１と、設定部３２と、検出部３３とを備え、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部３０の生成部３１、設定部３２および検出部３３として機能する。

また、制御部３０の生成部３１、設定部３２および検出部３３の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

生成部３１は、車載カメラ５１で撮影した撮像画像Ｇの対象領域Ｔにおいて、奥行き方向に沿う画素値の分布状況を示すヒストグラムを生成する。たとえば、生成部３１は、車載カメラ５１から撮像画像の取得毎に、対象領域Ｔの各画素の画素値を抽出し、抽出した画素値に基づき、奥行き方向に沿う画素値の分布形状を示すヒストグラムを生成する。

また、生成部３１は、過去フレームの画素値を累積したヒストグラムを生成する。図４は、ヒストグラムの生成例を示す図である。たとえば、生成部３１は、過去フレームにおいて生成したヒストグラムに対して、新たなフレームのヒストグラムを加算する。

図４の上図には、過去フレームのヒストグラムを示し、図４の下図には、当該ヒストグラムに対して今回のフレームの画素値を加算したヒストグラムを示す。すなわち、生成部３１は、複数のフレームにわたる画素値の分布形状を示すヒストグラムを生成する。

これにより、ヒストグラムに反映するフレーム数が増えるにしたがって、白線部分と路面部分との画素値の差分が次第に蓄積されていくことになる。つまり、ヒストグラムに反映するフレーム数が増えるにつれて、白線部分と路面部分との差異をより顕著にすることができる。

また、たとえば、生成部３１は、車両の挙動に所定の変化があった場合に、リセット条件が成立したとして、過去フレームまでに累積したヒストグラムをリセットする。具体的には、車両の挙動として、車線変更があった場合、車両が右左折を行った場合、ヘッドライトの点灯状態に変更があった場合等に、リセット条件が成立したとして過去フレームのヒストグラムをリセットする。

つまり、生成部３１は、対象領域Ｔにおける白線の表示態様に変更が生じる場合に、過去フレームのヒストグラムをリセットする。より具体的には、車線変更があった場合や、車両が右左折を行った場合には、その前後で白線の種別が変化する場合があり、ヘッドライトの点灯状態が変更した場合には、白線の見え方が変化する場合がある。

そのため、これらのリセット条件が成立した場合に、過去フレームのヒストグラムをリセットし、新規にヒストグラムを生成する。これにより、過去フレームのヒストグラムを引き継ぐことによる車線の誤検出あるいは未検出を抑制することができる。

図２の説明に戻り、設定部３２について説明する。設定部３２は、生成部３１によって生成されたヒストグラムに基づき、横方向に沿う画素値毎のピーク形状（以下、単にピーク形状と記載）と、車線のモデルを示す車線モデルＭとの相関性に基づき、２値化閾値を設定する。

たとえば、設定部３２は、ピーク形状と、モデル情報記憶部２１に記憶された車線モデルＭと比較し、画素値毎の相関性を導出していく。ここで、ピーク形状において、車線モデルＭのピークの位置（横位置）、および、ピークの形状が類似するほど相関性が高いことになる。言い換えれば、ピークの形状が類似していたとしてもピークの位置が乖離していれば相関性が高いとは言えない。

たとえば、設定部３２は、図３に示したモデルＩＤがＭ０１の車線モデルＭ（２線モデル）を用いて相関性を算出し、相関性が所定条件を満たさない場合、すなわち、２線モデルに対応する分布形状を有する画素値がない場合に、モデルＩＤがＭ０２、Ｍ０３の車線モデルＭ（１線モデル）を用いて相関性を算出し、２値化閾値を設定する。

これにより、たとえば、片側しか白線が存在しない車線であっても、適切に２値化閾値を設定することができる。また、片側しか白線が存在しない車線は稀であり、２線モデル、１線モデルの順に相関性を求めることで、処理負荷の軽減を図ることができる。

次に、図５および図６を用いて、実施形態に係る車線検出装置１０が実行する処理手順について説明する。図５は、車線検出装置１０が実行する処理手順を示すフローチャートである。

図５に示すように、まず、車線検出装置１０は、撮像画像を取得すると（ステップＳ１０１）、ヒストグラムを生成する（ステップ１０２）。なお、ステップＳ１０２の処理手順の詳細については図６を用いて後述する。

つづいて、車線検出装置１０は、ヒスとグラムに基づく画素値毎のピーク形状と車線モデルＭとを用いて、２値化閾値を設定する（ステップＳ１０３）。その後、車線検出装置１０は、２値化閾値を用いて白線を検出して（ステップＳ１０４）、処理を終了する。

次に、図６を用いて図５に示すステップＳ１０２の処理手順について説明する。図６は、図５に示すステップＳ１０２の処理手順を示すフローチャートである。図６に示すように、車線検出装置１０は、車両の挙動の変化に基づくリセット条件が成立したか否かを判定し（ステップＳ２０１）、リセット条件が成立していないと判定した場合（ステップＳ２０１；Ｎｏ）、複数フレームでヒストグラムを生成し（ステップＳ２０２）、処理を終了する。

また、車線検出装置１０は、リセット条件が成立したと判定した場合（ステップＳ２０１；Ｙｅｓ）、単フレーム（現在のフレーム）でヒストグラムを生成し（ステップＳ２０３）、処理を終了する。

上述したように、実施形態に係る車線検出装置１０は、生成部３１と、設定部３２と、検出部３３とを備える。生成部３１は、車載カメラＣで撮影した撮像画像Ｇの対象領域Ｔにおいて、奥行き方向に沿う画素値の分布状況を示すヒストグラムを生成する。設定部３２は、生成部３１によって生成されたヒストグラムに基づき、画素値毎の横方向に沿うピーク形状と、車線のモデルを示す車線モデルＭとの相関性に基づき、２値化閾値を設定する。検出部３３は、設定部３２におって設定された２値化閾値に基づき、対象領域Ｔから車線を検出する。したがって、実施形態に係る車線検出装置１０によれば、白線を検出するために適した２値化閾値を設定することができるので、車線の検出精度を向上させることができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１０ 車線検出装置
２１ モデル情報記憶部
２２ ヒストグラム記憶部
３１ 生成部
３２ 設定部
３３ 検出部
５１ 車載カメラ
Ｇ 撮像画像
Ｔ 対象領域
Ｍ 車線モデル

Claims (7)

1. 車載カメラで撮影した撮像画像の対象領域において、奥行き方向に沿う画素値の分布状況を示すヒストグラムを生成する生成部と、
   前記生成部によって生成された前記ヒストグラムに基づき、前記画素値毎の横方向に沿うピーク形状と、車線のモデルを示す車線モデルとの相関性に基づき、２値化閾値を設定する設定部と、
   前記設定部によって設定された前記２値化閾値に基づき、前記対象領域から前記車線を検出する検出部と
   を備えること特徴とする車線検出装置。
2. 前記設定部は、
   前記車線モデルとして、２つの区画線から成る２線モデルと、１つの区画線から成る１線モデルとを用いて、前記２値化閾値を設定すること
   を特徴とする請求項１に記載の車線検出装置。
3. 前記設定部は、
   前記２線モデルを用いた場合に、前記ピーク形状との相関性が所定条件に満たない場合に、前記１線モデルを用いて前記２値化閾値を設定すること
   を特徴とする請求項２に記載の車線検出装置。
4. 前記生成部は、
   過去フレームの画素値を累積した前記ヒストグラムを生成すること
   を特徴とする請求項１、２または３に記載の車線検出装置。
5. 前記生成部は、
   車両の挙動に所定の変化があった場合に、前記累積した前記ヒストグラムをリセットすること
   を特徴とする請求項４に記載の車線検出装置。
6. 車載カメラで撮影された撮像画像の対象領域において、奥行き方向に沿う画素値の分布状況を示すヒストグラムを生成する生成工程と、
   前記生成工程によって生成された前記ヒストグラムに基づき、前記画素値毎の横方向に沿うピーク形状と、車線のモデルを示す車線モデルとの相関性に基づき、２値化閾値を設定する設定工程と、
   前記設定工程によって設定された前記２値化閾値に基づき、前記対象領域から前記車線のエッジを検出する検出工程と
   を含むこと特徴とする車線検出方法。
7. 車載カメラで撮影された撮像画像の対象領域において、奥行き方向に沿う画素値の分布状況を示すヒストグラムを生成する生成手順と、
   前記生成手順によって生成された前記ヒストグラムに基づき、前記画素値毎の横方向に沿うピーク形状と、車線のモデルを示す車線モデルとの相関性に基づき、２値化閾値を設定する設定手順と、
   前記設定手順によって設定された前記２値化閾値に基づき、前記対象領域から前記車線のエッジを検出する検出手順と
   をコンピュータに実行させること特徴とする車線検出プログラム。

Images