JP5482470B2 - 横断歩道検出装置及びプログラム - Google Patents

Description

本発明は、横断歩道検出装置及びプログラムに係り、特に、撮像した画像から、横断歩道領域を検出する横断歩道検出装置及びプログラムに関する。

従来より、高輝度の画素領域（白線）が繰り返し現れることを認識して、横断歩道を検出する道路認識装置が知られている（特許文献１）。

また、白線のエッジを抽出し、そのエッジ点を通る線分を抽出し、それが水平方向に一定の間隔で存在することを判断した場合に、横断歩道を検出する車載用路面標示検出装置が知られている（特許文献２）。

特開２００６−３０９３１３号公報 特開２００５−３３９４６８号公報

上記の特許文献１、２に記載の技術では、エッジ抽出に基づいて白線を検出している。しかし、白線のかすれや欠けにより、境界線の位置がずれる場合や偽の境界が発生する場合には、横断歩道を検出することができない、という問題がある。

また、横断歩道は、なるべく遠方に存在する時点から検出されることが望ましいが、遠方に存在する横断歩道は、画像上において解像度が低く、ぼけも加わるため、エッジが正しく抽出されないことも多い。その場合には、横断歩道が検出されない。また、この未検出を防ぐために制約を緩めると、誤検出が大幅に増大してしまう、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、横断歩道を安定して精度良く検出することができる横断歩道検出装置及びプログラムを提供することを目的とする。

上記の目的を達成するために第１の発明に係る横断歩道検出装置は、道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段と、前記ウェーブレット係数算出手段によって算出された前記複数の画素列の各々に対する走査毎のウェーブレット係数に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段と、を含んで構成されている。

第２の発明に係るプログラムは、コンピュータを、道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段、及び前記ウェーブレット係数算出手段によって算出された前記複数の画素列の各々に対する走査毎のウェーブレット係数に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、撮影手段によって、道路領域を含む範囲を撮像し、ウェーブレット係数算出手段によって、撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出する。

そして、横断歩道検出手段によって、ウェーブレット係数算出手段によって算出された複数の画素列の各々に対する走査毎のウェーブレット係数の振幅に基づいて、画素列の群である横断歩道領域を検出する。

このように、複数の画素列の各々に対して、画素列方向の走査毎のウェーブレット係数の振幅を算出して、横断歩道領域を検出することにより、横断歩道を安定して精度良く検出することができる。

第１の発明に係る横断歩道検出手段は、複数の画素列の各々について、画素列に対する走査毎のウェーブレット係数の振幅の平均を算出し、算出された各画素列のウェーブレット係数の振幅の平均に基づいて、横断歩道領域を検出するようにすることができる。このように、各画素列に対して、ウェーブレット係数の振幅の平均を算出することにより、横断歩道を安定して精度良く検出することができる。

第１の発明に係る横断歩道検出手段は、画素列の群である横断歩道候補領域を抽出し、抽出された横断歩道候補領域から、ウェーブレット係数の振幅の平均が閾値以上となる横断歩道候補領域を、横断歩道領域として検出するようにすることができる。このように、横断歩道候補領域に対して、ウェーブレット係数の振幅の平均を算出することにより、横断歩道を安定して精度良く検出することができる。

第３の発明に係る横断歩道検出装置は、道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段と、前記複数の画素列の各々について、前記ウェーブレット係数算出手段によって算出された前記画素列に対する走査毎のウェーブレット係数の位相の変化と、予め定められた、走査毎に単調増加する位相関数の変化とを比較し、比較結果に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段と、を含んで構成されている。

第４の発明に係るプログラムは、コンピュータを、道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段、及び前記複数の画素列の各々について、前記ウェーブレット係数算出手段によって算出された前記画素列に対する走査毎のウェーブレット係数の位相の変化と、予め定められた、走査毎に単調増加する位相関数の変化とを比較し、比較結果に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段として機能させるためのプログラムである。

第３の発明及び第４の発明によれば、撮影手段によって道路領域を含む範囲を撮像し、ウェーブレット係数算出手段によって、撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出する。

そして、横断歩道検出手段によって、複数の画素列の各々について、ウェーブレット係数算出手段によって算出された画素列に対する走査毎のウェーブレット係数の位相の変化と、予め定められた、走査毎に単調増加する位相関数の変化とを比較し、比較結果に基づいて、画素列の群である横断歩道領域を検出する。

このように、複数の画素列の各々について、走査毎に単調増加する位相関数の変化と比較して、横断歩道領域を検出することにより、横断歩道を安定して精度良く検出することができる。

第３の発明に係る横断歩道検出手段は、画素列の群である横断歩道候補領域を抽出し、抽出された横断歩道候補領域から、各画素列の比較誤差の平均値が閾値未満となる横断歩道候補領域を、横断歩道領域として検出するようにすることができる。このように、横断歩道候補領域に対して、各画素列の比較誤差の平均値を算出することにより、横断歩道を安定して精度良く検出することができる。

第３の発明に係る、予め定められた、走査毎に単調増加する前記位相関数の変化は、複数の画素列の各々に対して定められ、該画素列に対して予め定められた前記位相関数の変化は、該画素列が画像における消失点から離れるほど、大きい振動周期に応じた傾きを有するようにすることができる。これによって、撮像した画像の任意の部分にある横断歩道領域を安定して検出することができる。

第５の発明に係る横断歩道検出装置は、道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段と、前記複数の画素列の各々について、前記ウェーブレット係数算出手段によって算出された前記画素列に対する走査毎のウェーブレット係数の位相の変化に基づいて、位相の周回数を算出し、前記算出された前記位相の周回数に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段と、を含んで構成されている。

第６の発明に係るプログラムは、コンピュータを、道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段、及び前記複数の画素列の各々について、前記ウェーブレット係数算出手段によって算出された前記画素列に対する走査毎のウェーブレット係数の位相の変化に基づいて、位相の周回数を算出し、前記算出された前記位相の周回数に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段として機能させるためのプログラムである。

第５の発明及び第６の発明によれば、撮影手段によって道路領域を含む範囲を撮像し、ウェーブレット係数算出手段によって、撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出する。

そして、横断歩道検出手段によって、複数の画素列の各々について、ウェーブレット係数算出手段によって算出された画素列に対する走査毎のウェーブレット係数の位相の変化に基づいて、位相の周回数を算出し、算出された前記位相の周回数に基づいて、画素列の群である横断歩道領域を検出する。

このように、複数の画素列の各々について、走査毎のウェーブレット係数の位相の変化における位相の周回数を算出して、横断歩道領域を検出することにより、横断歩道を安定して精度良く検出することができる。

第５の発明に係る横断歩道検出手段は、画素列の群である横断歩道候補領域を抽出し、抽出された横断歩道候補領域から、各画素列における位相の周回数の平均値が閾値以上となる横断歩道候補領域を、横断歩道領域として検出するようにすることができる。このように、横断歩道候補領域に対して、位相の周回数の平均値を算出することにより、横断歩道を安定して精度良く検出することができる。

上記の横断歩道候補領域を抽出する横断歩道検出手段は、複数の画素列の各々について、画素列に対する走査毎のウェーブレット係数の振幅の平均を算出し、算出された各画素列のウェーブレット係数の振幅の平均に基づいて、横断歩道候補領域を抽出するようにすることができる。

上記のウェーブレット係数算出手段は、複数の画素列の各々について、該画素列が画像における消失点から離れるほど、振動周期が大きくなるウェーブレット基底を該画素列に対して適用するようにすることができる。これによって、撮像した画像の任意の部分にある横断歩道領域を安定して検出することができる。

第１の発明、第３の発明、及び第５の発明に係る横断歩道検出装置は、撮影手段によって撮影された画像を、上から見たときの俯瞰画像に変換する変換手段を更に含み、ウェーブレット係数算出手段は、俯瞰画像の複数の画素列の各々に対して、ウェーブレット係数を走査毎に算出するようにすることができる。

上記のウェーブレット基底を、複素ウェーブレット基底とすることができる。
本発明のプログラムは、記憶媒体に格納して提供することができる。

以上説明したように、本発明の横断歩道検出装置及びプログラムによれば、複数の画素列の各々に対して、画素列方向の走査毎のウェーブレット係数の振幅を算出し、又は走査毎に単調増加する位相関数の変化と比較し、又は走査毎のウェーブレット係数の位相の変化における位相の周回数を算出して、横断歩道領域を検出することにより、横断歩道を安定して精度良く検出することができる、という効果が得られる。

本発明の第１の実施の形態に係る横断歩道検出装置を示すブロック図である。 撮像した画像の走路領域を示すイメージ図である。 複素ウェーブレット基底を示すグラフである。 縞の周期と画像中の縞の周期との関係を説明するための図である。 （Ａ）入力画像を示すイメージ図、及び（Ｂ）ウェーブレット係数の振幅の分布を示すイメージ図である。 ウェーブレット係数の振幅及び位相の変化を説明するための図である。 ウェーブレット係数の振幅の微分値の上位Ｎ個、下位Ｎ個を特定する方法を説明するための図である。 （Ａ）入力画像における横断歩道領域を示すイメージ図、及び（Ｂ）ウェーブレット係数の位相の変化を示すグラフである。 （Ａ）入力画像における横断歩道領域以外の領域を示すイメージ図、及び（Ｂ）ウェーブレット係数の位相の変化を示すグラフである。 本発明の第１の実施の形態に係る横断歩道検出装置のコンピュータにおける横断歩道領域検出処理ルーチンを示すフローチャートである。 本発明の第１の実施の形態に係る横断歩道検出装置のコンピュータにおける横断歩道候補抽出処理ルーチンを示すフローチャートである。 本発明の第２の実施の形態に係る横断歩道検出装置を示すブロック図である。 （Ａ）入力画像を示すイメージ図、及び（Ｂ）俯瞰画像を示すイメージ図である。 本発明の第２の実施の形態に係る横断歩道検出装置のコンピュータにおける横断歩道領域検出処理ルーチンを示すフローチャートである。 （Ａ）入力画像を示すイメージ図、及び（Ｂ）ウェーブレット係数の振幅の分布を示すイメージ図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１に示すように、第１の実施の形態に係る横断歩道検出装置１０は、車両（図示省略）に搭載され、かつ、道路領域を含む自車両前方を撮像して画像を出力する撮像装置１２と、撮像装置１２から得られる画像に基づいて、横断歩道領域を検出し、検出結果を表示装置１６に表示させるコンピュータ１４とを備えている。

撮像装置１２は、自車両前方を撮像し、画像の画像信号を生成する単眼のカメラで構成される撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する横断歩道領域検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２により撮像された画像を取得する画像入力部１８と、取得した画像に対して、ウェーブレット係数を計算するウェーブレット係数計算部２０と、計算されたウェーブレット係数に基づいて、横断歩道候補領域を抽出する横断歩道候補抽出部２２と、計算されたウェーブレット係数に基づいて、抽出された横断歩道候補領域から、横断歩道領域を識別し、検出結果として表示装置１６に表示させる横断歩道識別部２４とを備えている。

ウェーブレット係数計算部２０は、図２に示すように、取得した画像中の、予め定められた走路領域に対して、図３に示すような複素ウェーブレット基底を、走行方向にほぼ直交する方向である水平方向の画素列の各々について、水平方向に走査しながら適用させる。なお、走路領域については、既存の走路領域推定手法（例えば、特開２００９−１８１３１０に記載された方法）を用いて取得するようにしてもよい。また、走路領域以外も含む画像全体に対して、複素ウェーブレット基底を走査しながら適用してもよい。

複素ウェーブレット基底φは、例えば、以下の（１）式に従って表される。

ウェーブレット係数計算部２０は、上記（１）式で表される複素ウェーブレット基底を用い、入力画像ｆ（ｘ、ｙ）から、ウェーブレット係数Ｗ（ｂ、ｙ）を、以下の（２）式により計算する。

ただし、ｆ（ｘ、ｙ）は入力画像における画素（ｘ、ｙ）の輝度値であり、ｘは水平方向のインデックスを、ｙは垂直方向のインデックスを表している。ａはウェーブレット基底のスケール変数であり、ｂは、走査位置を示すシフト変数である。スケール変数は、検出すべき画像中の横断歩道の縞周期と、ウェーブレット基底の振動周期が合うように、以下の（３）式で設定する。

ただし、Ｔ_p（ｙ）は、画像中における縞の周期［ｐｉｘｅｌ］であり、ｙ座標ごと（水平方向の画素列ごと）に異なる値が与えられる。画像中の消失点付近のｙ座標（ｙが小）では周期が小さく、自車両に近い部分を表わすｙ座標（ｙが大）では周期が大きい。

画像中の縞の周期と実世界上の縞の周期の間には、図４に示すように、以下の（４）式に示す関係が近似的に成り立つ。

縞の周期Ｔ_p（ｙ）［ｐｉｘｅｌ］：消失点ｙvとｙの垂直距離［ｐｉｘｅｌ］
＝実世界上の縞の周期Ｔ_m［ｍ］：撮像装置１２の設置位置の高さＺ［ｍ］
・・・（４）

上記（４）式より、Ｔ_p（ｙ）は、以下の（５）式で求められる。

上記（２）式に従って算出されるウェーブレット係数Ｗ（ｂ、ｙ）は、複素数値であり、振幅｜Ｗ（ｂ、ｙ）｜と位相∠Ｗ（ｂ、ｙ）とが、以下の（６）式、（７）式で定義される。

図５（Ａ）に示すような画像に対して、水平方向の画素列の各々について、水平方向に走査しながら複素ウェーブレット基底を適用させて、ウェーブレット係数を計算すると、図５（Ｂ）に示すように、水平方向の各画素列において、走査毎（画素毎）にウェーブレット係数の振幅が得られる。なお、図５（Ｂ）はウェーブレット係数の振幅を濃度値で示している。上記図５（Ｂ）より、横断歩道の縞領域全体で振幅が大きな値をとることがわかる。

ここで、白線上であるか白線の間であるかに関わらず縞領域全域で振幅の値が大きくなるのは、ウェーブレット基底が複素数だからである。

図６は、縞領域を有する画素列に複素ウェーブレット基底を走査させながら適用させたときに計算される、ウェーブレット係数の振幅と位相を簡略化して示している。縞領域以外では、ウェーブレット係数の振幅が小さくなるが、縞領域内部では、ウェーブレット係数の振幅が常に大きい値を示している。

以上のように、ウェーブレット係数計算部２０は、取得した画像中の、予め定められた走路領域に対して、複素ウェーブレット基底を、水平方向の画素列の各々について、水平方向に走査しながら適用させて、各画素列の走査毎（画素毎）にウェーブレット係数を計算する。

横断歩道候補抽出部２２は、以下に説明するように、撮像された画像の走路領域から、ウェーブレット係数の振幅｜Ｗ（ｂ、ｙ）｜が大きい領域を、横断歩道候補領域として抽出する。

まず、図７に示すように、水平方向の画素列の各々について、走査毎のウェーブレット係数の振幅の平均を算出し、垂直方向に対する、ウェーブレット係数の振幅の平均の微分値を、以下の（８）式に従って算出する。

ここで、Ｂ＝｛ｂ｜ｂは走路領域内｝は、シフト変数ｂがとりうる値の集合とする。

横断歩道の上端は微分値が大きくなり、下端は微分値が小さくなる。従って、この微分値を降順に並び替え、その上位Ｎ個と下位Ｎ個に対応する画素列を特定し、特定された画素列をそれぞれ横断歩道候補の上端と下端とする。Ｎは候補数の上限分である。一枚の画像上に存在する横断歩道の個数は限られているため、誤検出を抑制するために、Ｎを３以下に設定するのが適当である。

横断歩道候補の上端と下端として特定された画素列の対に囲まれる領域（画素列の群）が、横断歩道候補領域として抽出される。

次に、横断歩道領域を検出する原理について説明する。

まず、抽出された、画素列ｙの群である横断歩道候補領域（Ｙ＝｛ｙ｝と表す）内のウェーブレット係数の振幅の平均値を以下の（９）式に従って算出する。

横断歩道候補領域について上記（９）式に従って算出される振幅の平均が、閾値α以上である場合には、当該横断歩道候補領域は、横断歩道であると識別され、閾値α未満である場合には、当該横断歩道候補領域は、横断歩道でないと識別され、候補から除外される。

次に、横断歩道候補領域内の縞が等間隔に配置されていることを横断歩道判定条件として用いて、識別する。

画素列に対して、走査毎にウェーブレット係数の位相を求めると、当該画素列における、ウェーブレット係数の位相の変化が得られる。ここで位相とは、縞の明暗の移り変わりを、角度（０°→３６０°）で表現したものである。

例えば、図８（Ａ）に示すような横断歩道パターンの画像の水平方向の画素列に対して、図８（Ｂ）に示すような、ウェーブレット係数の位相の変化が得られる。上記図８（Ｂ）のグラフでは、シフト変数ｂの値を横軸とし、位相∠Ｗ（ｂ、ｙ）を縦軸として示している。位相はほぼ直線状に変化しており、破線に示される線分と比較すると、その比較誤差は小さい。

図９（Ａ）に示すような横断歩道以外のパターンの画像の水平方向の画素列に対しては、図９（Ｂ）に示すような、ウェーブレット係数の位相の変化が得られ、破線に示される線分との比較誤差は大きい。

ここで、ウェーブレット係数の位相の変化に対して、比較する位相関数（θ（ｂ、ｙ）と表す）は、以下の性質を持つものとする。

（ａ）線分の傾きが常に２π／Ｔ_p（ｙ）である単調増加関数（Ｔ_p（ｙ）は画像上の縞周期［ｐｉｘｅｌ]）である。すなわち、線分の傾きは、対象となる画素列が、消失点から離れるほど、大きい縞周期に応じた傾きである。

（ｂ）位相∠Ｗ（ｂ、ｙ）が２πを超え、再び０となったとき比較する位相関数θ（ｂ、ｙ）も同様に０とし、以後は０から再度単調増加させる。

横断歩道候補領域について、走査ｂ毎のウェーブレット係数の位相∠Ｗ（ｂ、ｙ）の変化と、位相関数θ（ｂ、ｙ）との誤差の、画素列ｙの群における平均値を、以下の（１０）式に従って算出する。

横断歩道候補領域について上記（１０）式に従って算出される誤差の平均が、閾値β未満である場合には、当該横断歩道候補領域は、横断歩道であると識別され、閾値β以上である場合には、当該横断歩道候補領域は、横断歩道でないと識別され、候補から除外される。なお、閾値βとして、例えば０．１〜０．２と設定することが好ましい。

次に、ウェーブレット係数の位相の周回数を用いて、横断歩道候補領域が、横断歩道領域であるか否かを識別する。

横断歩道候補領域内の各画素列ｙ（ｙ∈Ｙ）ごとに、走査ｂ毎（ｂ＝ｂ_min、ｂ_min＋１、・・・、ｂ_max−１、ｂ_max）のウェーブレット係数の位相∠Ｗ（ｂ、ｙ）の変化をスキャンし、位相の周回数を求める。スキャン開始時の位相∠Ｗ（ｂ_min、ｙ）を基準とし、位相が一周する毎（∠Ｗ（ｂ_min、ｙ）を正の方向にクロスする毎）に、周回数を１加算して計数する。逆に、∠Ｗ（ｂ_min、ｙ）を負の方向にクロスする場合は、周回数を１減算する。周回数は小数単位で求められ、以下の（１１）式で表される。

計数された周回数＋（∠Ｗ（ｂ_max、ｙ）−∠Ｗ（ｂ_min、ｙ））／２π
・・・（１１）

上記（１１）式に従って算出される周回数を、横断歩道候補領域内の全ての画素列ｙ∈Ｙにわたって平均し、周回数の平均値が、閾値γ以上である場合には、当該横断歩道候補領域は、横断歩道であると識別され、閾値γ未満である場合には、当該横断歩道候補領域は、横断歩道でないと識別され、候補から除外される。

横断歩道識別部２４は、抽出された横断歩道候補領域について、上述したように、振幅の平均が閾値α以上であるか否か、誤差の平均が閾値β未満であるか否か、周回数の平均値が、閾値γ以上であるか否かに従って、横断歩道領域であるか否かを識別し、横断歩道領域であると識別された横断歩道候補領域を、横断歩道検出結果として、表示装置１６に表示する。

次に、第１の実施の形態に係る横断歩道検出装置１０の作用について説明する。なお、横断歩道検出装置１０を搭載した車両の走行中に、横断歩道領域を検出する場合を例に説明する。

まず、撮像装置１２によって、自車両前方の撮像が開始されると、コンピュータ１４において、図１０に示す横断歩道領域検出処理ルーチンが実行される。

まず、ステップ１００において、撮像装置１２から、撮像された画像を取得する。そして、ステップ１０２において、上記ステップ１００で取得した画像の予め定められた走路領域の水平方向の画素列の各々に対して、水平方向に走査しながら複素ウェーブレット基底を適用させて、走査毎のウェーブレット係数を計算する。

次のステップ１０４では、上記ステップ１０４で計算されたウェーブレット係数に基づいて、横断歩道候補領域を抽出する。ステップ１０６では、上記ステップ１０２で計算されたウェーブレット係数に基づいて、上記ステップ１０４で抽出された横断歩道候補領域の各々について、候補領域内のウェーブレット係数の振幅の平均を算出する。

ステップ１０８では、上記ステップ１０６で算出された候補領域内のウェーブレット係数の振幅の平均が閾値α以上となる横断歩道候補領域があるか否かを判定する。全ての候補領域について、ウェーブレット係数の振幅の平均が閾値α未満である場合には、全ての候補領域が、横断歩道領域ではないと識別して、横断歩道領域検出処理ルーチンを終了する。

一方、ウェーブレット係数の振幅の平均が閾値α以上となる横断歩道候補領域がある場合には、該当する横断歩道候補領域以外の候補領域を、横断歩道領域ではないと識別して、歩候補領域から除外し、ステップ１１０において、該当する横断歩道候補領域の各々について、水平方向の画素列毎に、走査毎のウェーブレット係数の位相の変化と、予め定められた単調増加関数を表わす直線性の位相の変化とを比較して、比較誤差を算出し、各画素列にわたる比較誤差の平均値を算出する。

ステップ１１２では、上記ステップ１１０で算出された、走査毎のウェーブレット係数の位相の変化の比較誤差の平均が閾値β未満となる横断歩道候補領域があるか否かを判定する。全ての候補領域について、比較誤差の平均が閾値β以上である場合には、全ての候補領域が、横断歩道領域ではないと識別して、横断歩道領域検出処理ルーチンを終了する。

一方、ウェーブレット係数の振幅の平均が閾値β未満となる横断歩道候補領域がある場合には、該当する横断歩道候補領域以外の候補領域を、横断歩道領域ではないと識別して、歩候補領域から除外し、ステップ１１４において、該当する横断歩道候補領域の各々について、水平方向の画素列毎に、走査毎のウェーブレット係数の位相の変化から、位相の周回数を算出し、各画素列にわたる位相の周回数の平均値を算出する。

ステップ１１６では、上記ステップ１１４で算出された位相の周回数の平均値が閾値γ以上となる横断歩道候補領域があるか否かを判定する。全ての候補領域について、位相の周回数の平均が閾値γ未満である場合には、全ての候補領域が、横断歩道領域ではないと識別して、横断歩道領域検出処理ルーチンを終了する。

一方、位相の周回数の平均が閾値γ以上となる横断歩道候補領域がある場合には、該当する横断歩道候補領域を、横断歩道領域であると識別し、ステップ１１８において、横断歩道領域であると識別された横断歩道候補領域を、検出結果として表示装置１６に表示させて、横断歩道領域検出処理ルーチンを終了する。

上記のステップ１０４は、図１１に示す横断歩道候補抽出処理ルーチンによって実現される。

まず、ステップ１３０において、撮像された画像の走路領域の水平方向の画素列の各々について、走査毎のウェーブレット係数の振幅の平均を算出する。そして、ステップ１３２において、水平方向の画素列の各々について、1つ上の画素列におけるウェーブレット係数の振幅の平均との差を用いて、振幅の平均の微分値を各々算出し、ステップ１３４において、上記ステップ１３２で各画素列について算出された振幅の平均の微分値を、降順に並び替える。

そして、ステップ１３６において、上記ステップ１３４で並び替えられた振幅の平均の微分値から、振幅の平均の微分値が上位Ｎ個、下位Ｎ個となる画素列を特定する。次のステップ１３８では、上記ステップ１３６で特定された画素列から、上位側の画素列と下位側の画素列の対で囲まれる画素列の群を、横断歩道候補領域として各々抽出して、横断歩道候補抽出処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る横断歩道検出装置によれば、水平方向の画素列の各々に対して、画素列方向の走査毎のウェーブレット係数を算出し、ウェーブレット係数の振幅の平均に基づいて、横断歩道候補領域の抽出及び識別を行い、更に、走査毎に単調増加する位相関数の変化との比較誤差、及び走査毎のウェーブレット係数の位相の変化における位相の周回数を算出して、横断歩道領域を検出することにより、横断歩道を安定して精度良く検出することができる。

また、画素列が画像における消失点から離れるほど、振動周期が大きくなるウェーブレット基底を画素列に対して適用することによって、横断歩道領域が、撮像した画像のどの部分にあっても、横断歩道領域を安定して検出することができる。

また、明暗の繰り返しパターンの存在を、複素ウェーブレット基底を用いて検出するため、遠方にあるぼやけた横断歩道でも検出することができる。また、用いるウェーブレット基底の周期を画像中の位置に応じて変化させることで、横断歩道以外のパターンの誤検出を抑制することができる。ウェーブレット係数の位相を評価することにより、エッジを抽出しなくても、横断歩道の条件（縞の間隔が一定、多数の縞が並んでいる）を満たすかどうかを判定できる。

従来のエッジ抽出手法を横断歩道検出に適用する場合、輝度値の変わり目の部分のみを特徴点として利用するため、閾値を適切に設定することが特に重要である。もし適切でない閾値が設定された場合、エッジが検出されず検出漏れとなる。または、偽の輪郭が発生し、誤検出が多数発生する。しかし、最適な閾値は、日照条件等によっても変わるため、常に適切な値を与えることは困難である。それに対して、本実施の形態では、縞領域全体にわたってウェーブレット係数の値を評価することで、輝度値の変わり目の部分のみを特徴点とする手法よりも頑健な横断歩道検出を実現することができる。また、ウェーブレット変換の特徴より、画像中の任意の位置における、任意の周期を持つ縞模様の存在判定を行うことができる。本実施の形態では、ウェーブレット基底の周期を画像のｙ座標ごとに適切に変えながら適用させるため、誤検出の抑制が容易である。縞模様が横断歩道の縞周期に合致するならば、エッジが明瞭でなくとも検出できるため、未検出も抑制できる。遠方のぼやけた横断歩道に対して、本実施の形態の手法は特に有効性が高い。

また、縞模様に対しウェーブレット係数を計算すると、その位相は周期的かつ直線状に推移する性質が認められる。したがって、位相が周期性をもち、直線でほぼ近似できることを横断歩道判定の条件とすることで誤検出を抑制できる。

また、位相の周回数をもとに、何本縞が並んでいるかを評価することができ、これにより、紛らわしい他の路面表示（菱形の予告マーク等）と区別することができる。

次に、第２の実施の形態に係る横断歩道検出装置について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。

第２の実施の形態では、撮像された画像を、上から見た俯瞰画像に変換してから、ウェーブレット係数を計算している点が、第１の実施の形態と主に異なっている。

図１２に示すように、第２の実施の形態に係る横断歩道検出装置２１０のコンピュータ２１４は、画像入力部１８と、取得した画像を、上から見た俯瞰画像に変換する俯瞰画像生成部２１８と、俯瞰画像に対して、ウェーブレット係数を計算するウェーブレット係数計算部２０と、横断歩道候補抽出部２２と、横断歩道識別部２４とを備えている。

俯瞰画像生成部２１８は、撮像装置１２によって前方を撮像した図１３（Ａ）に示すような画像を、図１３（Ｂ）に示すような、上から見た俯瞰画像に変換する。

ウェーブレット係数計算部２０では、ｙ座標の値に関わらず、画像中の横断歩道の周期Ｔｐ（ｙ）［ｐｉｘｅｌ］を一定として、走路領域の水平方向の画素列の各々について、水平方向に走査しながら複素ウェーブレット基底を適用させて、ウェーブレット係数を計算する。

横断歩道識別部２４は、抽出された横断歩道候補領域について、振幅の平均が閾値α以上であるか否かに従って、横断歩道領域であるか否かを識別し、横断歩道領域であると識別された横断歩道候補領域を、横断歩道検出結果として、表示装置１６に表示する。

次に、第２の実施の形態に係る横断歩道領域検出処理ルーチンについて図１４を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップステップ１００において、撮像装置１２から、撮像された画像を取得する。そして、ステップ２５０において、上記ステップ１００で取得した画像を俯瞰画像に変換する。ステップ２５２では、上記ステップ２５０で生成された俯瞰画像の予め定められた走路領域の水平方向の画素列の各々に対して、水平方向に走査しながら、同一の振動周期となる複素ウェーブレット基底を適用させて、走査毎のウェーブレット係数を計算する。

次のステップ１０４では、上記ステップ２５２で計算されたウェーブレット係数に基づいて、横断歩道候補領域を抽出する。ステップ１０６では、上記ステップ２５２で計算されたウェーブレット係数に基づいて、上記ステップ１０４で抽出された横断歩道候補領域の各々について、候補領域内のウェーブレット係数の振幅の平均を算出する。

ステップ１０８では、上記ステップ１０６で算出された候補領域内のウェーブレット係数の振幅の平均が閾値α以上となる横断歩道候補領域があるか否かを判定する。全ての候補領域について、ウェーブレット係数の振幅の平均が閾値α未満である場合には、全ての候補領域が、横断歩道領域ではないと識別して、横断歩道領域検出処理ルーチンを終了する。

一方、ウェーブレット係数の振幅の平均が閾値α以上となる横断歩道候補領域がある場合には、該当する横断歩道候補領域が、横断歩道領域であると識別し、ステップ１１８において、横断歩道領域であると識別された横断歩道候補領域を、検出結果として表示装置１６に表示させて、横断歩道領域検出処理ルーチンを終了する。

なお、上記の実施の形態では、ウェーブレット係数の振幅の平均に基づいて、候補領域が横断歩道領域であるか否かを検出する場合を例に説明したが、第１の実施の形態と同様に、更に、ウェーブレット係数の位相の変化と単調増加する位相関数の変化との誤差が閾値未満であるか、及びウェーブレット係数の位相の変化における位相の周回数が閾値以上であるか否かに基づいて、候補領域が横断歩道領域であるか識別するようにしてもよい。

次に、第３の実施の形態に係る横断歩道検出装置について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。

第３の実施の形態では、実数関数で表わされるウェーブレット基底を適用して、ウェーブレット係数を計算している点が、第１の実施の形態と主に異なっている。

第３の実施の形態に係る横断歩道検出装置では、ウェーブレット係数計算部２０によって、取得した画像中の、予め定められた走路領域に対して、実数関数で表されるウェーブレット基底を、走行方向に直交する方向である水平方向の画素列の各々について、水平方向に走査しながら適用させる。

ウェーブレット基底は、上記（１）式で表される複素ウェーブレット基底の実部φ（ｔ）realであり、以下の（１２）式で表される。

上記（１２）式に従って算出されるウェーブレット係数Ｗ（ｂ、ｙ）は、実数値であり、振幅｜Ｗ（ｂ、ｙ）｜として、ウェーブレット係数の絶対値を用いる。

図１５（Ａ）に示すような画像に対して、水平方向の画素列の各々について、水平方向に走査しながらウェーブレット基底を適用させて、ウェーブレット係数を計算すると、図１５（Ｂ）に示すように、水平方向の各画素列において、走査毎（画素毎）にウェーブレット係数の振幅（絶対値）が得られる。なお、図１５（Ｂ）はウェーブレット係数の絶対値を濃度値で示している。上記図１５（Ｂ）より、横断歩道の縞領域の一部で、ウェーブレット基底との類似度が低くなっていることがわかる。本実施の形態では、ウェーブレット係数の振幅（絶対値）の平均値を用いているため、横断歩道候補領域の抽出、及び横断歩道領域の識別を行うことが可能である。

なお、第３の実施の形態に係る横断歩道検出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

上記の第１の実施の形態及び第３の実施の形態では、ウェーブレット基底の周期を、画素列に応じて変更する場合を例に説明したが、これに限定されるものではなく、例えば、特定周期の縞を持つ横断歩道を検出したい場合には、ウェーブレット基底の周期を、縞の周期に応じて固定にして、ウェーブレット係数を算出するようにしてもよい。

また、上記の第１の実施の形態〜第３の実施の形態では、ウェーブレット係数の振幅の平均値以上であるか、ウェーブレット係数の位相の変化と単調増加する位相関数の変化との誤差が閾値未満であるか、及びウェーブレット係数の位相の変化における位相の周回数が閾値以上であるかを組み合わせて、候補領域が横断歩道領域であるか否かを識別する場合を例に説明したが、ウェーブレット係数の振幅の平均値以上であるか、ウェーブレット係数の位相の変化と単調増加する位相関数の変化との誤差が閾値未満であるか、及びウェーブレット係数の位相の変化における位相の周回数が閾値以上であるかの何れか１つの判定を用いて、候補領域が横断歩道領域であるか否かを識別するようにしてもよい。

また、ウェーブレット係数の振幅の平均値が上位、下位となる画素列の対で囲まれる領域を、横断歩道領域として検出してもよい。

また、ウェーブレット係数の振幅の平均値以上であるか否かの判定、ウェーブレット係数の位相の変化と単調増加する位相関数の変化との誤差が閾値未満であるか否かの判定、ウェーブレット係数の位相の変化における位相の周回数が閾値以上であるか否かの判定、及びウェーブレット係数の振幅の平均値が上位、下位となる画素列の対で囲まれる領域の抽出を、２つ以上組み合わせた任意の組み合わせを用いて、横断歩道領域を検出するようにしてもよい。

また、ウェーブレット係数の振幅の平均値が上位、下位となる画素列の対で囲まれる領域を、横断歩道候補領域として抽出する場合を例に説明したが、これに限定されるものではなく、他の既存の方法により、横断歩道候補領域を抽出するようにしてもよい。

また、横断歩道領域の検出結果を、表示装置に表示させる場合を例に説明したが、これに限定されるものではなく、例えば、横断歩道領域の検出結果を、地図情報上に登録するようにしてもよい。

また、横断歩道領域を検出する場合を例に説明したが、更に、横断歩道の縞模様中の位置も検出するようにしてもよい。例えば、ウェーブレット係数の振幅が大きくなる領域において、複素ウェーブレット基底の実数部分、虚数部分のどちらが、画像中の縞模様にあてはまったか否かを調べることにより、縞模様のどの部分とマッチングしたかを調べて、横断歩道の縞模様中の位置も検出するようにしてもよい。

１０、２１０ 横断歩道検出装置
１２ 撮像装置
１４、２１４ コンピュータ
２０ ウェーブレット係数計算部
２２ 横断歩道候補抽出部
２４ 横断歩道識別部
２１８ 俯瞰画像生成部

Claims (15)

1. 道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段と、
   前記ウェーブレット係数算出手段によって算出された前記複数の画素列の各々に対する走査毎のウェーブレット係数の振幅に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段と、
   を含む横断歩道検出装置。
2. 前記横断歩道検出手段は、前記複数の画素列の各々について、前記画素列に対する走査毎のウェーブレット係数の振幅の平均を算出し、算出された各画素列のウェーブレット係数の振幅の平均に基づいて、前記横断歩道領域を検出する請求項１記載の横断歩道検出装置。
3. 前記横断歩道検出手段は、前記画素列の群である横断歩道候補領域を抽出し、前記抽出された横断歩道候補領域から、前記ウェーブレット係数の振幅の平均が閾値以上となる横断歩道候補領域を、横断歩道領域として検出する請求項１記載の横断歩道検出装置。
4. 道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段と、
   前記複数の画素列の各々について、前記ウェーブレット係数算出手段によって算出された前記画素列に対する走査毎のウェーブレット係数の位相の変化と、予め定められた、走査毎に単調増加する位相関数の変化とを比較し、比較結果に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段と、
   を含む横断歩道検出装置。
5. 前記横断歩道検出手段は、前記画素列の群である横断歩道候補領域を抽出し、前記抽出された横断歩道候補領域から、各画素列の比較誤差の平均値が閾値未満となる横断歩道候補領域を、横断歩道領域として検出する請求項４記載の横断歩道検出装置。
6. 前記予め定められた、走査毎に単調増加する前記位相関数の変化は、前記複数の画素列の各々に対して定められ、該画素列に対して前記予め定められた前記位相関数の変化は、該画素列が前記画像における消失点から離れるほど、大きい振動周期に応じた傾きを有する請求項４又は５記載の横断歩道検出装置。
7. 道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段と、
   前記複数の画素列の各々について、前記ウェーブレット係数算出手段によって算出された前記画素列に対する走査毎のウェーブレット係数の位相の変化に基づいて、位相の周回数を算出し、前記算出された前記位相の周回数に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段と、
   を含む横断歩道検出装置。
8. 前記横断歩道検出手段は、前記画素列の群である横断歩道候補領域を抽出し、前記抽出された横断歩道候補領域から、各画素列における前記位相の周回数の平均値が閾値以上となる横断歩道候補領域を、横断歩道領域として検出する請求項７記載の横断歩道検出装置。
9. 前記横断歩道検出手段は、前記複数の画素列の各々について、前記画素列に対する走査毎のウェーブレット係数の振幅の平均を算出し、算出された各画素列のウェーブレット係数の振幅の平均に基づいて、前記横断歩道候補領域を抽出する請求項３、５、又は８記載の横断歩道検出装置。
10. 前記ウェーブレット係数算出手段は、前記複数の画素列の各々について、該画素列が前記画像における消失点から離れるほど、振動周期が大きくなるウェーブレット基底を該画素列に対して適用する請求項１〜請求項９の何れか１項記載の横断歩道検出装置。
11. 前記撮影手段によって撮影された画像を、上から見たときの俯瞰画像に変換する変換手段を更に含み、
    前記ウェーブレット係数算出手段は、前記俯瞰画像の前記複数の画素列の各々に対して、前記ウェーブレット係数を走査毎に算出する請求項１〜請求項５及び請求項７〜請求項９の何れか１項記載の横断歩道検出装置。
12. 前記ウェーブレット基底を、複素ウェーブレット基底とした請求項１〜請求項１１の何れか１項記載の横断歩道検出装置。
13. コンピュータを、
    道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段、及び
    前記ウェーブレット係数算出手段によって算出された前記複数の画素列の各々に対する走査毎のウェーブレット係数の振幅に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段
    として機能させるためのプログラム。
14. コンピュータを、
    道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段、及び
    前記複数の画素列の各々について、前記ウェーブレット係数算出手段によって算出された前記画素列に対する走査毎のウェーブレット係数の位相の変化と、予め定められた、走査毎に単調増加する位相関数の変化とを比較し、比較結果に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段
    として機能させるためのプログラム。
15. コンピュータを、
    道路領域を含む範囲を撮像する撮影手段によって撮影された画像について、道路進行方向に直交する方向に対応する方向の複数の画素列の各々に対して、所定の周期を持つウェーブレット基底を画素列方向に走査しながら適用して、ウェーブレット係数を走査毎に算出するウェーブレット係数算出手段、及び
    前記複数の画素列の各々について、前記ウェーブレット係数算出手段によって算出された前記画素列に対する走査毎のウェーブレット係数の位相の変化に基づいて、位相の周回数を算出し、前記算出された前記位相の周回数に基づいて、前記画素列の群である横断歩道領域を検出する横断歩道検出手段
    として機能させるためのプログラム。