JP5548212B2 - 横断歩道標示検出方法および横断歩道標示検出装置 - Google Patents

Description

本発明は、車載カメラ画像を用いて、道路面上にある横断歩道標示を検出する、横断歩道標示検出方法および横断歩道標示検出装置に関する。

日本国における横断歩道標示は、矩形のペイント部分と非ペイント部分が等幅で交互に繰り返される標示であり、ペイント部分と非ペイント部分は等幅、かつ、幅は４５ｃｍから５０ｃｍで規格化されている。一方、諸外国における横断歩道標示は、矩形のペイント部分の幅と非ペイント部分の幅とが異なるものもあるが、ペイント部分の幅と非ペイント部分の幅との和を一定として、ペイント部分と非ペイント部分とが交互に繰り返されて標示されている。

従来の横断歩道標示検出装置は、カメラで撮像した画像データにおいて、ペイント部分の画素と非ペイント部分の画素との画像輝度が大きく異なることを利用して、画像輝度の大きく変化する画像輝度エッジを抽出していた。これにより、従来の横断歩道標示検出装置は、近接する画像輝度エッジの間隔や数を算出し、横断歩道であるか否かを判定するものがあった（特許文献１参照）。以下、従来技術について説明する。

図１は、特許文献１に記載された、従来の横断歩道標示検出装置１５００のブロック図を示す。図１において、ステレオ画像データ取得部１５０１は、二つの撮像系を備えるステレオカメラを用いて、路面を含む車両前方を同時に撮像した一対の画像データを取得する。ここで、一対の画像データのうち、一方の撮像系で撮影した画像のデータを基準画像データとし、もう一方の撮像系で撮影した画像のデータを参照画像データとする。

距離データ算出部１５０２は、基準画像データと、参照画像データとをステレオマッチングすることにより、画像内の各点におけるステレオカメラからの実空間の距離を算出する。

横断歩道標示検出部１５０３は、取得した基準画像データにおける横断歩道標示の有無を検出し、画像データ上に横断歩道標示が有る場合には、その位置を検出する。

横断歩道標示検出部１５０３は、輝度エッジ検出部１５０４と幅判定部１５０５と間隔判定部１５０６と繰り返し数判定部１５０７とを含む。

輝度エッジ検出部１５０４は、基準画像データにおける任意の領域を設定範囲とし、設定範囲において輝度エッジ位置を検出する。任意の設定範囲における輝度エッジ位置の検出は、基準画像データの全範囲について行なわれる。具体的には、ソーベルフィルタなどの一般的な画像処理によって、輝度エッジ位置が検出される。

幅判定部１５０５は、輝度エッジ検出部１５０４において検出された輝度エッジ位置のうちから、高輝度から低輝度へ変化する画像輝度エッジを始点として抽出し、低輝度から高輝度へ変化する画像輝度エッジを終点として抽出する。そして、幅判定部１５０５は、始点と終点との組合せ群のうちから、互いの間隔が横断歩道のペイント部分の規格幅と同一又は近似する、始点と終点との組合せを抽出する。

間隔判定部１５０６は、幅判定部１５０５において抽出された始点と終点との組合せ群のうち、第１の組合せの終点から、基準画像において第１の組合せの終点と同一横軸上に位置し且つ第１の組合せの始点とは異なる第２の組合せの始点までの間隔を算出する。そして、間隔判定部１５０６は、その間隔が、横断歩道の非ペイント部分の規格幅と同一、または近似する、第１の組合せを抽出する。

繰り返し数判定部１５０７は、設定範囲において、間隔判定部１５０６において抽出した始点と終点との組合せの繰り返し数を算出し、その結果が所定の回数以上ある場合にその領域を横断歩道領域とする。

特開２００６−３０９３１３号公報

しかしながら、上記した従来の構成では、横断歩道標示におけるペイント部分の画素の画像輝度と非ペイント部分の画素の画像輝度とが、大きく異なることを前提にした画像輝度エッジ検出方法が実行される。そのため、横断歩道標示のペイント部分と非ペイント部分の境界であるエッジ部分の輝度が強く現れない等の事情がある場合には、ペイント部分と非ペイント部分の画像輝度の差異が小さくなるので、横断歩道標示におけるペイント部分と非ペイント部分との境界の画像輝度エッジを検出することは困難である。

本発明の目的は、ペイント部分の輝度エッジの検出が困難である場合においても、撮像画像中から横断歩道標示の有無、及びその位置を正確に検出できる横断歩道標示検出方法および横断歩道標示検出装置を提供することである。

本発明に係る横断歩道標示検出装置は、第一の撮像系を有し、第一の撮像系を用いて撮像した路面の画像データを取得する画像データ取得部と、画像データの設定範囲に横断歩道標示のペイント部分が含まれる場合のペイント部分の周期を、設定範囲の座標と、第一の撮像系の幾何学的パラメータと、横断歩道標示の規格値と、に基づいて算出する周期算出部と、ペイント部分の周期の整数倍を１周期とした基底関数に基づいて、設定範囲における画像輝度の周波数分析を行い、周波数パワー分布を算出する周波数分析部と、設定範囲から、周波数パワー分布におけるパワーレベルが所定の閾値より大きい座標点を抽出し、座標点が存在する領域を横断歩道標示領域として検出する領域検出部と、画像データにおける横断歩道標示領域の座標データを出力する位置出力部と、を備えるものである。

これにより、画像データ中の設定範囲における横断歩道標示の周期を算出し、当該周期での周波数分析を行うことで、横断歩道標示の周期性の特徴を抽出可能であり、ペイント部分の輝度エッジが弱い場合においても横断歩道も検出することができるという効果を有する。

また、本発明に係る横断歩道標示検出装置は、周期算出部は、第一の撮像系の幾何学的パラメータ、及び横断歩道標示の規格値を予め記憶するメモリ部と、画像データ取得部から設定範囲の座標を取得し、第一の撮像系の幾何学的パラメータと横断歩道標示の規格値とをメモリ部から取得するパラメータ取得部と、設定範囲の座標と、第一の撮像系の幾何学的パラメータと、横断歩道標示の規格値とに基づいて、ペイント部分の周期を算出する算出部と、を備えるものである。

これにより、予め記憶されたカメラの幾何学的パラメータを利用することで、固定したパラメータによる計算速度の単純化が可能であり処理を高速に行うことができるという効果を有する。

また、本発明に係る横断歩道標示検出装置は、周期算出部は、第一の撮像系の幾何学的パラメータ、及び横断歩道標示の規格値を予め記憶するメモリ部と、画像データ取得部から設定範囲の座標を取得し、第一の撮像系の幾何学的パラメータと横断歩道標示の規格値とをメモリ部から取得するパラメータ取得部と、角速度の変化を検出するセンサを有し、センサが検出した角速度の変化が所定の閾値よりも大きい場合に、横断歩道標示検出装置の旋回を検出する旋回検出部と、横断歩道標示検出装置の旋回が検出された場合に、センサが検出した角速度の変化値に基づいて、旋回角度を算出する角度算出部と、設定範囲の座標と、第一の撮像系の幾何学的パラメータと、横断歩道標示の規格値と、旋回角度とに基づいて、ペイント部分の周期を算出する算出部と、を備えるものである。

これにより、車両が旋回している場合においても、周期算出部は、設定範囲に横断歩道標示のペイント部分が存在する場合の設定範囲におけるペイント部分の周期を算出することができるという効果を有する。

また、本発明に係る横断歩道標示検出装置は、画像データに含まれる設定範囲の座標と、第一の撮像系の幾何学的パラメータとに基づいて、第一の撮像系と、設定範囲が示す路面との実空間における距離を距離データとして算出する距離算出部を、更に備え、周期算出部は、設定範囲に横断歩道標示のペイント部分が含まれる場合のペイント部分の周期を、距離データと、横断歩道標示の規格値と、に基づいて算出し、位置出力部は、画像データにおける横断歩道標示領域の座標データ、及び距離データを出力するものである。

これにより、ペイント部分の輝度エッジを検出することが困難になった横断歩道標示であっても検出することができるとともに、カメラから横断歩道標示までの実空間における距離を検出することができるという効果を有する。

また、本発明に係る横断歩道標示検出装置は、更に、ステレオマッチング部と、距離算出部とを備え、画像データ取得部は、更に、第二の撮像系を有し、第一の撮像系を用いて路面を撮像した基準画像データと、第二の撮像系を用いて路面を撮像した参照画像データと、を取得し、ステレオマッチング部は、基準画像データが有する基準点と、参照画像データが有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出し、評価値分布に基づいて算出される視差と、第一の撮像系の焦点距離と、第一の撮像系と第二の撮像系との距離と、に基づいて、第一の撮像系と基準画像データに撮像された路面との実空間における距離を第一の距離データとして算出し、距離算出部は、第一の距離データに基づいて基準画像データの３次元ボクセルデータを算出し、３次元ボクセルデータに基づいて、第一の撮像系と、基準画像データに含まれる設定範囲が示す路面との実空間における距離を第二の距離データとして算出し、周期算出部は、設定範囲に横断歩道標示のペイント部分が含まれる場合のペイント部分の周期を、第二の距離データと、横断歩道標示の規格値と、に基づいて算出し、位置出力部は、基準画像のデータにおける横断歩道標示領域の座標データと、及び第二の距離データを出力するものである。

これにより、自車両のバウンシングやピッチング、路面の勾配に対しても頑健に横断歩道標示の周期を算出することができるという効果を有する。

また、本発明に係る横断歩道標示検出装置は、カメラの幾何学的パラメータは、カメラの設置ピッチ角と、設置高と、焦点距離と、画素ピッチと、を含むパラメータである。

これにより、カメラ仕様や設置仕様に基づいて横断歩道の周期をより正確に算出することができるという効果を有する。

また、本発明に係る横断歩道標示検出装置は、周波数分析部は、１周期がペイント部分の周期の２倍以上である基底関数に基づいて、周波数分析を行うものである。

これにより、横断歩道標示以外のパターンであって、横断歩道標示に似たパターンを誤検出することが減少するという効果を有する。

また、本発明に係る横断歩道標示検出装置は、領域検出部は、車両の周辺の照度に基づいて、所定の閾値を制御するものである。

これにより、夜間など周囲が暗くゲインノイズが多く存在する場合においても、横断歩道標示の検出精度が向上するという効果を有する。

また、本発明に係る横断歩道標示検出方法は、画像データ取得部が、撮像系を用いて撮像した路面の画像データを取得し、周期算出部が、画像データの設定範囲に横断歩道標示のペイント部分が含まれる場合のペイント部分の周期を、設定範囲の座標と、撮像系の幾何学的パラメータと、横断歩道標示の規格値と、に基づいて算出し、周波数分析部が、ペイント部分の周期の整数倍を１周期とした基底関数に基づいて、設定範囲における画像輝度の周波数分析を行い、周波数パワー分布を算出し、領域検出部が、設定範囲から、周波数パワー分布におけるパワーレベルが所定の閾値より大きい座標点を抽出し、座標点が存在する領域を横断歩道標示領域として検出し、位置出力部が、画像データにおける横断歩道標示領域の座標データを出力するものである。

これにより、画像データ中の設定範囲における横断歩道標示の周期を算出し、当該周期での周波数分析を行うことで、横断歩道標示の周期性の特徴を抽出可能であり、ペイント部分の輝度エッジが弱い場合においても、横断歩道標示も検出することができるという効果を有する。

本発明によれば、画像データ中の設定範囲における横断歩道標示の周期を算出し、当該周期での周波数分析を行うことで、横断歩道標示の周期性の特徴を抽出可能であり、横断歩道のペイント部分の輝度エッジの検出をせずに検出できるため、ペイント部分の輝度エッジの検出が困難な場合においても横断歩道標示も検出することができる。

従来の横断歩道標示検出装置のブロック構成を示す図 本発明の実施の形態１における横断歩道標示検出装置のブロック構成を示す図 車載カメラにより取得する路面の画像データ及び車載カメラと路面との位置関係を示す図 横断歩道標示を撮像した画像データを示す図 横断歩道標示を撮像した画像データを示す図 周期算出部の構成を示す図 周波数分析方法の説明に供する図 横断歩道標示が存在する領域の検出方法の説明に供する図 横断歩道標示が存在する領域の検出方法の説明に供する図 本発明の実施の形態２における横断歩道標示検出装置のブロック構成を示す図 本発明の実施の形態３における横断歩道標示検出装置のブロック構成を示す図 本発明の実施の形態３におけるステレオカメラの三角測量の原理の概要を示す図 視差算出の説明に供する図 三次元ボクセルデータを示す図 本発明の実施の形態４における横断歩道標示検出装置のブロック構成を示す図 周期算出部の構成を示す図

（実施の形態１）
図２は、本発明の実施の形態１における横断歩道標示検出装置１００のブロック構成を示す。図２に示す横断歩道標示検出装置１００は、横断歩道標示検出部１０１と、画像データ取得部１０２と、を含む構成である。横断歩道標示検出部１０１は、周期算出部１０３と、周波数分析部１０４と、領域検出部１０５と、位置出力部１０６と、を含む構成である。

以下本発明の実施の形態１における、横断歩道標示検出装置および横断歩道標示検出方法について説明する。

画像データ取得部１０２は、車載カメラにより、道路の画像データを取得する。画像データは、静止画であり、横軸がＸ軸、縦軸がＹ軸として説明する。また、画面の1画素を座標点として説明する。なお、実施の形態１においては、車載カメラは１つの撮像系を備えるカメラであるとして説明するが、この限りではない。

図３は、車載カメラにより取得する路面の画像データ及び車載カメラと路面との位置関係を示す。具体的には、図３Ａは車載カメラにより取得する路面の画像データを示し、図３Ｂは車載カメラと路面との位置関係を示す。以下、車載カメラは、図３Ｂに示すように、設置高さＨ、設置ピッチ角αとして車両前方に設置され、車載カメラの撮像方向に対して横方向の回転角である設置ロール角はないとして説明する。なお、車載カメラが車両の後方や横方向等に設置された場合であっても、また、設置ロール角がある場合であっても、本発明は実施可能である。

横断歩道標示検出部１０１において、周期算出部１０３は、画像データ取得部１０２において取得された画像データを取得し、図３Ａに示すように、画像データにおいてＹ座標が任意のＹ座標（ｙ１）である横一列の範囲を、設定範囲として選択する。

そして、周期算出部１０３は、設定範囲に横断歩道標示のペイント部分が含まれる場合の画像データにおけるペイント部分の周期を算出する。この周期算出は、画像データに横断歩道標示が現実に撮像されているか否かに関わらず、画像データに対して一様に行われる。

なお、当該ペイント部分の周期は、車載カメラと路面との位置関係、Ｙ座標（ｙ１）、及び実空間における横断歩道のペイント部分の周期に基づいて算出され、画像データに撮像された対象物に依存しない。

周波数分析部１０４は、周期算出部１０３において算出されたペイント部分の周期を１周期とした基底関数に基づいて、設定範囲における画像輝度の周波数分析を行い、周波数パワーＰ（ｘ）の分布を算出する。

領域検出部１０５は、周波数分析部１０４において算出された周波数パワーＰ（ｘ）の分布から、パワーレベルが所定の閾値を超える領域を、横断歩道標示が存在する領域として検出する。ここで、周波数パワーＰ（ｘ）とは、ペイント部の周期を１周期とする周波数の設定範囲におけるパワー分布を意味する。

以上に示した、任意のＹ座標（ｙ１）に係る設定範囲についての各処理を、画像データにおける全てのＹ座標、すなわちＹ座標（ｙ１）からＹ座標（ｙｍ）（ｍ：整数）について行う。そして、画像データにおいて横断歩道標示が存在する領域が、検出される。なお、ｍ（ｍ：整数）は、画像データにおけるＹ軸上の画素数である。

そして、位置出力部１０６は、検出された横断歩道標示が存在する領域の座標データを出力する。

以下、横断歩道標示検出部１０１に含まれる各構成要素の機能について、詳細に説明する。

周期算出部１０３は、画像データ取得部１０２によって取得された路面の画像データから、図３Ａに示すように、画像データにおいてＹ座標が任意のＹ座標（ｙ１）である横一列に位置する画素によって構成される範囲を、設定範囲として選択する。なお、設定範囲は、Ｙ座標が任意のＹ座標（ｙ１）である横一列に位置する全ての座標点から構成されるとして説明するが、Ｙ座標がＹ座標（ｙ１）である横一列に位置する座標点のうち、任意の範囲に位置する座標点としてもよい。

そして、周期算出部１０３は、画像データの設定範囲に、横断歩道標示のペイント部分が含まれる場合のペイント部分の周期を算出する。なお、この周期算出は、画像データに横断歩道標示が現実に撮像されているか否かに関わらず、以降の処理のために画像データに対して一様に行われる。

図４は、横断歩道標示が撮像された場合の画像データを示す。ここでは、設定範囲は、Ｙ座標（ｙ１）における横一列に位置する全ての座標点を含むものとして、周期算出部１０３の機能を説明する。

周期算出部１０３は、画像データ取得部１０２において取得された画像データを取得し、上述のように設定範囲を選択する。そして、周期算出部１０３は、画像データに横断歩道標示が存在するか否かに関わらず、図４に示すように、設定範囲にペイント部分が含まれる場合の、画像データ上の設定範囲におけるペイント部分の周期Ｔｙ１を算出する。周期Ｔｙｎ（ｎ：整数）を算出する理由は、横断歩道標示が画像データに表示された場合には、Ｙ座標が異なれば、ペイント部分の幅、及び間隔が異なるからである。

なお、ペイント部分の周期Ｔｙｎ（ｎ：１からｍの整数）は、各Ｙ座標（ｙｎ）（ｎ：１からｍの整数）における横断歩道標示のペイント部分の幅と、ペイント部分の間隔とを和算した値であり、実空間におけるペイント部分の幅と間隔（すなわち、非ペイント部分の幅）は、日本国の規定においては、互いに同じ値である。従って、日本国の規定においては、周期Ｔｙｎ（ｎ：１からｍの整数）は、画像データにおけるペイント部分の幅、又はペイント部分の間隔の２倍である。つまり、周期Ｔｙｎは、画像データにおけるペイント部分の幅とペイント部分の間隔（すなわち、非ペイント部分の幅）との和である。

一方、諸外国の規定のように、横断歩道標示のペイント部分と非ペイント部分の幅が異なり、ペイント部分の幅と非ペイント部分の幅との和を一定として、ペイント部分と非ペイント部分とが交互に繰り返されて標示されている場合においても、同様に、周期Ｔｙｎ（ｎ：１からｍの整数）は、画像データにおけるペイント部分の幅と、非ペイント部分の幅との和である。

図５は、横断歩道標示のペイント部分と非ペイント部分の幅が異なり、ペイント部分の幅と非ペイント部分の幅との和を一定として、ペイント部分と非ペイント部分とが交互に繰り返されて標示されている場合において、横断歩道標示が撮像された場合の画像データを示す。

周期Ｔｙｎは、実空間における横断歩道のペイント部分の幅、又は間隔（Ｗ）、設定範囲の座標（ｙ）、及びカメラの幾何学パラメータを用いて、数式１により算出される。なお、カメラの幾何学的パラメータは、設置ピッチ角α、カメラ設置高Ｈ、カメラ焦点距離ｆ、Y軸画素ピッチｄｐｙを含む、カメラの設置パラメータである。また、数式１におけるｙｃはＹ軸の中心座標である。

なお、数式１においては、横断歩道標示のペイント部分の幅または間隔（すなわち、間隔とは非ペイント部分の幅）をＷとしているが、横断歩道標示のペイント部分の幅と、非ペイント部分の幅との和をＷ´とすると、数式２のようになる。

数式２を用いることにより、諸外国の規定のように、横断歩道標示のペイント部分と非ペイント部分の幅が異なり、ペイント部分の幅と非ペイント部分の幅との和を一定として、ペイント部分と非ペイント部分とが交互に繰り返されて標示されている場合においても、Ｔｙｎは算出されうる。

なお、以下の説明における図面は、日本国の規定のように、画像データにおけるペイント部分の幅と、非ペイント部分の幅とが等しい場合について示しているが、本発明を限定するものではなく、画像データにおけるペイント部分の幅と、非ペイント部分の幅とが異なる場合についても、本発明は適用される。

図６は、周期算出部１０３の構成図を示す。周期算出部１０３は、パラメータ取得部４０１と、算出部４０２と、メモリ４０３と、を含む構成である。メモリ４０３は、カメラの幾何学的パラメータ、及び横断歩道標示の規格値を予め記憶している。ここで、横断歩道標示の規格値とは、横断歩道標示のペイント部分の幅および非ペイント部分の幅を含む。すなわち、横断歩道標示の規格値は、横断歩道標示のペイント部分の幅、非ペイント部分の幅、および、ペイント部分の幅と非ペイント部分の幅との和のうち少なくともいずれか１つを含むものである。

パラメータ取得部４０１は、画像データ取得部１０２から画像データを取得して設定範囲のＹ座標（ｙｎ）を選択し、メモリ４０３からカメラの幾何学的パラメータ、及び横断歩道標示の規格値を読み込む。そして、パラメータ取得部４０１によって取得されたカメラの幾何学的パラメータ、設定範囲のＹ座標（ｙｎ）、及び横断歩道標示の規格値に基づいて、算出部４０２が、数式１または数式２を用いてＴｙｎを算出する。

周波数分析部１０４は、１周期がＴｙ１である矩形波の偶関数と奇関数を基底関数として、設定範囲における画像輝度の周波数分析を行う。周波数分析を行うことによって、設定範囲における周波数パワーＰ（ｘ）が算出される。

図７は、周波数分析方法の説明に供する図である。図７Ａは設定範囲における輝度分布Ｌｙ１（ｘ）を示し、図７Ｂは設定範囲における周波数分析に用いる基底関数のうち偶関数ｕ（ｓ）５０１を示し、図７Ｃは基底関数のうち奇関数ｖ（ｓ）５０２を示す。

周波数パワーＰ（ｘ）は、偶関数ｕ（ｓ）、奇関数ｖ（ｓ）を用いて算出された内積値Ａｕ（ｘ）、及びＡｖ（ｘ）から、下記の数式３によって算出される。

ここで、本発明における周波数分析方法においては、直交する２つの基底関数のパワーが算出され、周波数パワーＰ（ｘ）が横断歩道標示の何れの位置（ｘ）においても同じ値となるため、横断歩道標示の領域は、容易に算出される。

以下、周波数パワーＰ（ｘ）が、横断歩道標示の何れの位置（ｘ）においても同じ値であることについて、画像データにおけるペイント部分の幅と、非ペイント部分の幅とが等しい場合について、説明する。

任意のＹ座標（ｙ１）における設定範囲において、周期Ｔｙ１＝８の横断歩道標示が輝度分布Ｌｙ１（ｘ）＝［２００、２００、２００、２００、１０、１０、１０、１０、２００、２００、２００、２００］となる画像データである場合、輝度値が２００となっているｘ座標がペイント部分を表し、輝度値が１０となっているｘ座標がペイント部分とペイント部分とに挟まれた非ペイント部分を表す。

基底関数の偶関数をｕ（ｓ）＝［１、０、−１、−１、−１、０、１、１］、奇関数をｖ（ｓ）＝［１、１、１、０、−１、−１、−１、０］とすると、ｘ＝０からｘ＝７までの輝度分布と偶関数ｕ（ｓ）との内積値は、Ａｕ（０）＝２００＊１＋２００＊０＋２００＊（−１）＋２００＊（−１）＋１０＊（−１）＋１０＊０＋１０＊１＋１０＊１＝−１９０である。一方、ｘ＝０からｘ＝７までの輝度分布と奇関数ｖ（ｓ）との内積値はＡｖ（０）＝２００＊１＋２００＊１＋２００＊１＋２００＊０＋１０＊（−１）＋１０＊（−１）＊１０＊（−１）＋１０＊０＝５７０である。ここでの周波数パワーＰ（０）は、数式３より、６００．８である。

同様に、ｘ＝１からｘ＝８までの輝度分布と偶関数ｕ（ｓ）との内積値は、Ａｕ（１）＝２００＊１＋２００＊０＋２００＊（−１）＋１０＊（−１）＋１０＊（−１）＋１０＊０＋１０＊１＋２００＊１＝１９０である。一方、ｘ＝１からｘ＝８までの輝度分布と奇関数ｖ（ｓ）との内積値はＡｖ（１）＝２００＊１＋２００＊１＋２００＊１＋１０＊０＋１０＊（−１）＋１０＊（−１）＋１０＊（−１）＋２００＊０＝５７０である。ここでの周波数パワーＰ（１）は、数式３より、６００．８であり、Ｐ（０）と等しい。

同様に、Ｐ（２）＝Ｐ（３）＝Ｐ（４）＝６００．８であり、横断歩道標示の何れの位置（ｘ）においても同じ周波数パワーが得られる。

次に、周波数パワーＰ（ｘ）が横断歩道標示の何れの位置（ｘ）においても同じ値であることについて、画像データにおけるペイント部分の幅と、非ペイント部分の幅とが異なる場合について、説明する。

すなわち、本実施の形態においては、任意のＹ座標（ｙ１）における設定範囲において、周期Ｔｙ１＝８の横断歩道標示が輝度分布Ｌｙ１（ｘ）＝［２００、２００、１０、１０、１０、１０、１０、１０、２００、２００、１０、１０］となる場合について説明する。かかる場合、輝度値が２００であるペイント部分と、輝度値が１０である非ペイント部分の画素数すなわち幅は異なる。

ここで、基底関数の偶関数をｕ（ｓ）＝［１、０、−１、−１、−１、０、１、１］、奇関数をｖ（ｓ）＝［１、１、１、０、−１、−１、−１、０］とする。基底関数は、画像データにおけるペイント部分の幅と、非ペイント部分の幅とが等しい場合と同様に、矩形波の中で最も周波数の低い関数である本関数を用いる。

ｘ＝０からｘ＝７までの輝度分布と偶関数ｕ（ｓ）との内積値は、Ａｕ（０）＝２００＊１＋２００＊０＋１０＊（−１）＋１０＊（−１）＋１０＊（−１）＋１０＊０＋１０＊１＋１０＊１＝１９０である。一方、ｘ＝０からｘ＝７までの輝度分布と奇関数ｖ（ｓ）との内積値はＡｖ（０）＝２００＊１＋２００＊１＋１０＊１＋１０＊０＋１０＊（−１）＋１０＊（−１）＊１０＊（−１）＋１０＊０＝３８０である。ここでの周波数パワーＰ（０）は、数式３より、４２４．９である。

同様に、ｘ＝１からｘ＝８までの輝度分布と偶関数ｕ（ｓ）との内積値は、Ａｕ（１）＝２００＊１＋１０＊０＋１０＊（−１）＋１０＊（−１）＋１０＊（−１）＋１０＊０＋１０＊１＋２００＊１＝３８０である。一方、ｘ＝１からｘ＝８までの輝度分布と奇関数ｖ（ｓ）との内積値はＡｖ（１）＝２００＊１＋１０＊１＋１０＊１＋１０＊０＋１０＊（−１）＋１０＊（−１）＋１０＊（−１）＋２００＊０＝１９０である。ここでの周波数パワーＰ（１）は、数式３より、４２４．９であり、Ｐ（０）と等しい。

同様に、Ｐ（２）＝Ｐ（３）＝Ｐ（４）＝４２４．９であり、横断歩道標示の何れの位置（ｘ）においても同じ周波数パワーが得られる。

ここで、ペイント部分の幅と、非ペイント部分の幅とが異なる場合は、ペイント部分の幅と非ペイント部分の幅とが等しい場合に比べて、幅の狭いペイント部を表現するための高周波成分が増加する。そして、奇関数と偶関数は最も周波数の低い矩形波、すなわち、周期の等しい矩形波で構成されるため、１周期の奇関数と偶関数だけでは高周波成分を抽出できず、周波数パワーは小さくなる。したがって、ペイント部分の幅と、非ペイント部分の幅とが異なる場合は、領域検出部１０５で設定するパワーレベルの閾値を、規格で定められた幅と間隔の程度に合わせて変更する必要がある。

ただし、領域検出部１０５で設定するパワーレベルの閾値を下げた場合でも、実交通環境では誤検出することはあまりない。なぜならば、周波数パワーが大きくなる場合は、１周期の大きさが規格値と等しく、かつ、ペイント部の幅と非ペイント部の幅とがより等しい繰り返しパターンの場合であり、実交通環境では横断歩道標示以外にはないためである。

このように、領域検出部１０５で設定するパワーレベルの閾値を、規格で定められた幅と間隔の割合によって変化させることによって、画像データにおける横断歩道標示のペイント部分の幅と、非ペイント部分の幅とが異なる場合であっても、検出することができるという効果を奏する。

なお、ここで基底関数として、偶関数をｕ（ｓ）＝［１、０、−１、−１、−１、０、１、１］、奇関数をｖ（ｓ）＝［１、１、１、０、−１、−１、−１、０］として説明したが、この限りではない。すなわち、各関数の要素の数および数値の順列は、上述した基底関数に限定されない。

また、矩形波による周波数分析は、画像データの輝度分布の直交成分の影響を受けず、周期がＴｙ１である矩形波の周波数パワーのみを抽出できるため、路面の照度が変化した場合においても、横断歩道標示の周波数パワーは不変であり、安定した検出方式である。以下、路面の照度に対する周波数パワーの不変性について説明する。

設定範囲において、周期Ｔｙ１＝８の横断歩道標示がＬｙ１（ｘ）＝［２００、２００、２００、２００、１０、１０、１０、１０］となる画像データと、Ｌｙ２（ｘ）＝［２１０、２１０、２１０、２１０、２０、２０、２０、２０］となる画像データとがある場合、基底関数の偶関数をｕ（ｓ）＝［１、０、−１、−１、−１、０、１、１］、奇関数をｖ（ｓ）＝［１、１、１、０、−１、−１、−１、０］とすると、輝度分布Ｌｘ１（ｘ）と偶関数ｕ（ｓ）との内積値は、Ａｕ１（０）＝２００＊１＋２００＊０＋２００＊（−１）＋２００＊（−１）＋１０＊（−１）＋１０＊０＋１０＊１＋１０＊１＝−１９０である。一方、輝度分布Ｌｘ１（ｘ）と奇関数ｖ（ｓ）との内積値はＡｖ１（０）＝２００＊１＋２００＊１＋２００＊１＋２００＊０＋１０＊（−１）＋１０＊（−１）＋１０＊（−１）＋１０＊０＝５７０である。ここでの周波数パワーは、−１９０、及び５７０の平方根の結果として６００．８である。

同様に、輝度分布Ｌｙ２（ｘ）と偶関数ｕ（ｓ）との内積値は、Ａｕ２（０）＝２１０＊１＋２１０＊０＋２１０＊（−１）＋２１０＊（−１）＋２０＊（−１）＋２０＊０＋２０＊１＋２０＊１＝−１９０である。一方、輝度分布Ｌｙ２（ｘ）と奇関数ｖ（ｓ）との内積値はＡｖ２（０）＝２１０＊１＋２１０＊１＋２１０＊１＋２１０＊０＋２０＊（−１）＋２０＊（−１）＋２０＊（−１）＋２０＊０＝５７０である。ここでの周波数パワーＰ２（０）は、数式３より、６００．８となり、Ｐ１（０）と等しい。

さらに、一般的な周波数分析が、三角関数を基底関数としてＦＦＴを計算するため、画像信号と三角関数との内積において多くの掛算が必要となるのに対して、本発明における周波数分析方法は、矩形波を基底関数としてＦＦＴを計算するため、内積演算は単に画像信号を加算すればよく、高速に演算できる。

なお、基底関数の周期を周期Ｔｙ１にすることは一例であり、基底関数の周期を、Ｔｙ１の２倍の周期とすることもでき、又はＴｙ１の３倍の周期とすることもでき、本発明の限定する範囲ではない。

基底関数の周期をＴｙ１の２倍とすることによって、横断歩道標示以外のパターンであって、横断歩道標示に似たパターンを誤検出することが減少する。一方、周期がＴｙ１の２倍である基底関数を用いた周波数分析方法は、横断歩道標示として判定される領域が小さくなるため、横断歩道標示の位置を荒く検出するのに適している。

領域検出部１０５は、周波数分析部１０４によって算出された周波数パワーＰ（ｘ）の分布から、パワーレベルが所定の閾値を超える座標（ｘ）を抽出し、抽出されたｘ座標が密に存在する領域を、横断歩道標示が存在する領域として検出する。

図８は、横断歩道標示が存在する領域の検出方法の説明に供する図である。図８Ａは設定範囲における周波数パワーＰ（ｘ）の分布から横断歩道標示が存在する領域を検出する方法における、横断歩道標示が撮像されている画像データを示し、図８Ｂは設定範囲における周波数パワーＰ（ｘ）の分布を示す。

図８Ｂにおいて、周波数パワーＰ（ｘ）が所定の閾値を超えるｘ座標はｘ１≦ｘ≦ｘ２の間の座標点であり、設定範囲においてｘ１とｘ２の間に横断歩道標示が存在することを意味する。

ここで、所定の閾値は、固定値として説明したが、周波数分析部１０４が、周囲の照度等を判定し、判定結果によって変更できる変動値とすることもできる。これにより、夜間など周囲が暗くゲインノイズが多く存在する場合において、閾値を低く変動させることによって、輝度エッジによらずに横断歩道標示を検出できる。

以上に示した、画像データ上の任意のＹ座標（ｙ１）の設定範囲についての、周期算出、周波数分析、及び領域算出を、画像データにおける全てのＹ座標、すなわちＹ座標（ｙ１）からＹ座標（ｙｍ）（ｍ：整数）について走査して行う。

なお、以上の説明では全てのＹ座標について一連の処理を行うとしたが、任意の範囲について一連の処理を行うとしてもよい。たとえば、任意の範囲は、消失点から画面最下端までの範囲である。消失点は、遠近法において、並行線が交わる点を意味する。

図９は、横断歩道標示が存在する領域の検出方法の説明に供する図である。図９ＡはＹ座標（ｙ１）における設定範囲における周波数パワーＰ（ｘ）を３次元データとして示し、図９Ｂは上記に示した周期算出部１０３、周波数分析部１０４、及び領域算出部１０５における一連の処理を、図８Ａに示すＹ座標（ｙ１）からＹ座標（ｙｍ）について行った周波数パワーの総和Ｐ（ｘ、ｙ）のうち、図８Ｂに示した所定の閾値を超える範囲を示す。図９の実線で示した領域７０１が、総和Ｐ（ｘ，ｙ）のうち所定の閾値を超える範囲であり、領域７０１に横断歩道標示が存在することになる。

位置出力部１０６は、領域検出部１０５において検出された領域７０１の座標データを出力する。

以上の構成によれば、画像データ中の設定範囲において、横断歩道標示の周期に基づいて周波数分析を行い、周波数パワーが所定の閾値を超える領域を横断歩道標示が存在する領域として検出することにより、横断歩道の輝度エッジの検出をせずに横断歩道標示を検出できるため、輝度エッジの検出が困難である場合でも横断歩道標示を検出できる。

なお、以上の説明では、周期算出部１０３において、Ｙ座標（ｙ１）に位置する横一列の範囲全てを設定範囲として説明したが、Ｙ座標（ｙ１）に位置する任意の座標点を設定範囲としてもよい。

なお、以上の説明では、周期算出部１０３、周波数分析部１０４、及び領域算出部１０５における一連の処理を、任意のＹ座標（ｙ１）について行った後に、Ｙ軸上の他の点についての一連の処理を行い、それぞれの周波数パワーＰ（ｘ）を和算する方法について説明をしたが、本願発明を実施する方法はこの限りではない。すなわち、Ｙ軸上の任意の範囲における全てＹ座標の設定範囲について周期算出、周波数分析、及び領域算出を並列処理してもよい。

なお、以上の説明では、周期算出部１０３において、画像データ取得部１０２によって取得された画像データごとに、画像データにおける横断歩道標示のペイント部分の周期を算出したが、ペイント部分の周期は予め算出されてメモリに記憶されていてもよい。

なお、以上の説明では、基底関数に矩形波を用いたが、基底関数に三角関数を用いることも可能である。

（実施の形態２）
図１０は、実施の形態２における横断歩道標示検出装置８００のブロック構成を示す。実施の形態１と異なるのは、距離算出部８０２、周期算出部８０３、及び位置出力部８０４を設け、周期算出部１０３、及び位置出力部１０６を不要とする点である。

以下、本発明の実施の形態２における横断歩道標示検出装置８００について説明する。なお、図１０において、実施の形態１における機能と同一である構成要素は、同一の符号を付している。

画像データ取得部１０２は、道路面を含む画像データを取得する。画像データを取得する方法は、実施の形態１と同様であるため、説明は省略する。

距離算出部８０２は、画像データ取得部１０２において取得された路面の画像データから、任意のＹ座標（ｙ１）におけるＸ軸上の全て、若しくは任意の範囲を設定範囲として抽出する。

そして、距離算出部８０２は、カメラと、設定範囲が示す路面との実空間における距離Ｄｙ１を算出する。距離Ｄｙｎ（ｎ：整数）は、設定範囲の座標、及びカメラの幾何学パラメータを用いて、数式４により算出される。なお、カメラの幾何学パラメータは、実施の形態１における説明で示したように、設置ピッチ角α、カメラ設置高Ｈ、カメラ焦点距離ｆ、Y軸画素ピッチｄｐｙ、を含む、カメラの設置パラメータを意味する。また、ｙｃはY軸画像中心の座標を意味する。

なお、設置ピッチ角αと設置高さＨは、自車両のバウンシングやピッチ運動により変化するが、設置ピッチ角α、設置高さＨを使って路面までの距離を算出する方法は一例であり、本発明を限定するものではない。例えば、車高センサやジャイロセンサなどの他センサを使ってピッチ角変動分、高さ変動分を測定して補正することもできる。

周期算出部８０３は、距離算出部８０２において算出された距離Ｄｙ１を受けて、画像データに横断歩道標示が存在するか否かに関わらず、設定範囲にペイント部分が撮像された場合の、設定範囲におけるペイント部分の周期Ｔｙ１を算出する。

周期Ｔｙｎ（ｎ：整数）は、距離算出部８０２において算出された距離Ｄｙｎ（ｎ：整数）、実空間における横断歩道のペイント部分の幅、又は間隔（Ｗ）、カメラ焦点距離ｆを用いて、数式５により算出される。

なお、数式５においては、横断歩道標示のペイント部分の幅または間隔（すなわち、間隔とは非ペイント部分の幅）をＷとしているが、横断歩道標示のペイント部分の幅と、非ペイント部分の幅との和をＷ´とすると、数式６のようになる。

数式６を用いることにより、諸外国の規定のように、横断歩道標示のペイント部分と非ペイント部分の幅が異なり、ペイント部分の幅と非ペイント部分の幅との和を一定として、ペイント部分と非ペイント部分とが交互に繰り返されて標示されている場合においても、Ｔｙｎは算出されうる。

なお、車両が旋回している場合においても、周期算出部８０３が周期Ｔｙ１を算出できることは、実施の形態１と同様であるため、実施の形態２においては説明を省略する。

周波数分析部１０４は、周期算出部８０３において算出されたＴｙ１を周期とした矩形波の偶関数および奇関数を基底関数として、設定範囲における画像輝度の周波数分析を行う。周波数分析部１０４の機能は、実施の形態１と同様であるため、説明を省略する。

領域検出部１０５は、周波数分析部１０４によって算出された周波数パワーＰ（ｘ）の分布から、パワーレベルが所定の閾値を超えるｘ座標を抽出し、抽出されたｘ座標が密に存在する領域を、横断歩道標示が存在する領域として検出する。領域検出部１０５の機能は、実施の形態１と同様であるため、説明を省略する。

位置出力部８０４は、領域検出部１０５において検出された横断歩道標示が存在する領域の座標データ、及び距離算出部８０２において算出された距離Ｄｙｎ（ｎ：整数）の情報を併せて出力する。

以上の構成によれば、画像データ中の設定範囲において、横断歩道標示の周期に基づいて周波数分析を行い、周波数パワーが所定の閾値を超える領域を横断歩道標示が存在する領域として検出することにより、横断歩道の輝度エッジの検出が必要ないため、ペイント部分の輝度エッジが弱い場合においても横断歩道標示を検出することができるとともに、カメラから横断歩道標示までの実空間における距離を検出することができる。

（実施の形態３）
図１１は実施の形態３における横断歩道標示検出装置９００のブロック構成を示す。前述の実施の形態１と異なるのは、車載カメラが二つの撮像系を搭載したステレオカメラであって、ステレオ画像データ取得部９０２、ステレオマッチング部９０３、距離算出部９０４、周期算出部９０５、及び位置出力部８０４を設け、周期算出部１０３、及び位置出力部１０６を不要とする点である。

実施の形態３における横断歩道標示検出装置９００は、車両走行中に自車両のバウンシングやピッチング、路面の勾配などがある場合に路面に対するカメラのピッチ角が変動することによって、設定範囲に横断歩道標示のペイント部分が含まれる場合の画像データにおけるペイント部分の周期算出精度が劣化する課題を解決するものである。

以下、本発明の実施の形態３における横断歩道標示検出装置９００について説明する。

ステレオ画像データ取得部９０２は、二つの撮像系を搭載した車載ステレオカメラにより、道路の画像データを取得する。車載カメラは、図３Ｂのように、設置高さＨ、設置ピッチ角αとして車両前方に設置し、設置ロール角はゼロとして説明する。なお、車載ステレオカメラの設置方法については一例であり、設置ロール角がある場合にも適用でき、本発明の範囲を限定するものではない。

ステレオマッチング部９０３は、基準カメラと参照カメラの２つのカメラを有するステレオカメラを用いて、三角測量の原理により距離データを算出する。

図１２は、ステレオカメラによる三角測量の原理を用いて対象物１００１の距離を算出する概要を示す。基準カメラ１００２、及び参照カメラ１００３が同一の対象物１００１を撮像する場合において、ステレオカメラと対象物との距離は、三角測量の原理により、数式７によって算出される。なお、視差ｄは、基準カメラで撮像される基準画像での対象物の位置と、参照カメラで撮像される参照画像での対象物の位置との差分であり、ステレオマッチングによって算出される。なお、焦点距離ｆは、撮像素子と撮像面との距離である。

図１３は、視差算出の説明に供する図である。図１３Ａは対象物に対する視差を算出するための画像処理において、基準カメラが撮像する基準画像を示し、図１３Ｂは対象物に対する視差を算出するための画像処理において、参照カメラが撮像する参照画像を示す。視差の算出方法は、図１３Ａに示す基準画像における基準点を設定し、基準点に対応して、図１３Ｂに示す参照画像における探索領域を設定する。図１３Ｃに示すように、基準点の周辺輝度値と探索領域における対応点候補の周辺輝度値の類似度である評価値の分布を示す評価値分布を算出して、最も評価値が小さい対応点候補を対応点として算出する。

なお、類似度の指標は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅｓ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）を用いることができ、本発明を限定するものではない。

以上の方法により、基準カメラから基準画像のデータに撮像された路面までの距離データが算出される。

距離算出部９０４は、ステレオマッチング部９０３において算出された距離データを用いて、基準画像の３次元ボクセルデータを算出する。距離算出部９０４は、算出された３次元ボクセルデータに基づいて、基準カメラから基準画像に撮像された路面までの距離Ｄを算出する。

図１４は、基準画像に撮像された路面の３次元ボクセルデータを示す。３次元ボクセルデータは、Ｘ軸、及びＹ軸をもつ画像座標に対して、奥行きの軸を追加した座標空間のデータであり、画像座標の各点に対して一つの距離データが存在する。路面は、図１４に示す３次元ボクセルデータにおいて、斜線部である。

斜線部分の推定方法は、一般的な画像処理で算出可能であり、例えば、斜線部分は、３次元ボクセルデータにおいて最もデータ点数が多いため、データ点数の密度分布がもっとも密である平面を、最尤推定法により斜線部分であるとして推定することができる。推定された平面に基づいて、設定範囲に対して一つの距離データが算出される。図１４においては、Ｙ座標がｙ１である設定範囲に対して道路面の奥行距離Ｄｙ１が決まり、設定範囲における道路面の距離を算出することができる。

なお、３次元ボクセルデータに基づいて算出される距離Ｄｙ１は、実施の形態２において数式４により算出されるＤｙ１と同じである。すなわち、実施の形態３においては、実施の形態２における数式４を用いることなく、３次元ボクセルデータに基づいてＤｙ１が算出される。

周期算出部９０５は、基準画像のデータから、任意のＹ座標（ｙ１）におけるＸ軸上の全て、または任意の範囲を設定範囲として選択する。そして、周期算出部９０５は、基準画像データに含まれる設定範囲に横断歩道標示のペイント部分が存在すると想定した場合の設定範囲におけるペイント部分の周期Ｔｙｎ（ｎ：１からｍの整数）を算出する。

ペイント部分の周期Ｔｙｎ（ｎ：１からｍの整数）は、距離算出部９０４において算出された距離Ｄｙｎ（ｎ：整数）、実空間における横断歩道のペイント部分の幅又は間隔（Ｗ）、カメラ焦点距離ｆを用いて、実施の形態２において示した数式５により算出される。

また、ペイント部分の周期Ｔｙｎ（ｎ：１からｍの整数）は、距離Ｄｙｎ（ｎ：整数）、実空間における横断歩道のペイント部分の幅と非ペイント部分の幅との和（Ｗ´）、カメラ焦点距離ｆを用いて、実施の形態２において示した数式６により算出される。数式５を用いても、数式６を用いても、Ｔｙｎの数値は同じである。

なお、周波数分析部１０４、及び領域検出部１０５は、実施の形態１においては画像データに基づいて情報処理を行ったのに対して、実施の形態３においては基準画像のデータに基づいて情報処理を行う点以外は同じであるため、説明は省略する。また、位置出力部８０４についての説明は、実施の形態２において行ったため、省略する。

以上の構成によれば、これにより、自車両のバウンシングやピッチング、路面の勾配などがある場合に、車両走行中に路面に対するカメラのピッチ角が変動しても、予め３次元ボクセルデータを算出し３次元ボクセルデータに基づいて距離算出を行うことによって、係る場合であっても簡易な方法により横断歩道標示の周期を算出することができる。

（実施の形態４）
図１５は実施の形態４における横断歩道標示検出装置１３００のブロック構成を示す。前述の実施の形態１と異なるのは、横断歩道標示検出部１３０１において、周期算出部１３０２を設け、周期算出部１０３を不要とする点である。

車両が旋回して走行している場合においては、画像データ上において横断歩道標示が斜めに撮像される。実施の形態４における横断歩道標示検出装置１３００は、横断歩道標示のペイント部分が画像データにおいて横方向に均等に並んでいない場合に、実施の形態１に示した周期算出方法を、適用するものである。

以下本発明の実施の形態４における横断歩道標示検出装置１３００について、説明する。なお、横断歩道標示検出装置１３００に含まれる周期算出部１３０２以外の構成要素は、実施の形態１において説明したため、機能に関する説明を省略する。

図１６は、周期算出部１３０２のブロック構成を示す。周期算出部１３０２は、パラメータ取得部４０１と、メモリ４０３と、旋回検出部１４０１と、角度算出部１４０２と、算出部１４０３と、を含む構成である。メモリ４０３は、カメラの幾何学的パラメータ、及び横断歩道標示の規格値を予め記憶している。

周期算出部１３０２において、パラメータ取得部４０１は、画像データ取得部１０２から画像データを受けて設定範囲のＹ座標（ｙｎ）を選択し、メモリ４０３からカメラの幾何学的パラメータ、及び横断歩道標示の規格値を読み込む。

旋回検出部１４０１は、舵角センサやヨーレートセンサ等のセンサを有し、舵角センサ、又はヨーレートセンサが取得する角速度の変化値が所定の閾値より大きい場合に、横断歩道標示装置が搭載される車両が旋回したと検出する。

旋回検出部１４０１が旋回を検出した場合に、角度算出部１４０２は、検出された角速度の変化値に基づいて、旋回の角度γを算出する。ここで旋回の角度γは直進時の角度からの変位の絶対値とする。

算出部１４０３において、読み込んだパラメータに基づいて、数式８を用いて周期Ｔｙを算出する。

なお、数式８においては、横断歩道標示のペイント部分の幅または間隔（すなわち、間隔とは非ペイント部分の幅）をＷとしているが、横断歩道標示のペイント部分の幅と、非ペイント部分の幅との和をＷ´とすると、数式９のようになる。

数式９を用いることにより、諸外国の規定のように、横断歩道標示のペイント部分と非ペイント部分の幅が異なり、ペイント部分の幅と非ペイント部分の幅との和を一定として、ペイント部分と非ペイント部分とが交互に繰り返されて標示されている場合においても、Ｔｙｎは算出されうる。

なお、カメラの幾何学的パラメータ、及び横断歩道標示の規格値は、予め、横断歩道標示装置１３００の備えるメモリに記憶されている。

以上の構成によれば、車両が旋回している場合においても、周期算出部１３０１は、設定範囲に横断歩道標示のペイント部分が存在する場合の設定範囲におけるペイント部分の周期を算出することができる。

２００９年９月２９日出願の特願２００９−２２３９７６の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明にかかる横断歩道標示検出装置は、ペイント部分の輝度エッジが弱い横断歩道標示であっても、撮像画面から横断歩道標示の検出が可能なものとして有用である。

１００ 横断歩道標示検出装置
１０１ 横断歩道標示検出部
１０２ 画像データ取得部
１０３ 周期算出部
１０４ 周波数分析部
１０５ 領域検出部
１０６ 位置出力部
４０１ パラメータ取得部
４０２ 算出部
４０３ メモリ
５０１ 偶関数
５０２ 奇関数
７０１ 横断歩道標示領域
８００ 横断歩道標示検出装置
８０１ 横断歩道標示検出部
８０２ 距離算出部
８０３ 周期算出部
８０４ 位置出力部
９００ 横断歩道標示検出装置
９０１ 横断歩道標示検出部
９０２ ステレオ画像データ取得部
９０３ ステレオマッチング部
９０４ 距離算出部
９０５ 周期算出部
１００１ 対象物
１００２ 基準カメラ
１００３ 参照カメラ
１３００ 横断歩道標示検出装置
１３０１ 横断歩道標示検出部
１３０２ 周期算出部
１４０１ 旋回検出部
１４０２ 角度算出部
１４０３ 算出部
１５００ 横断歩道標示検出装置
１５０１ ステレオ画像データ取得部
１５０２ 距離データ算出部
１５０３ 横断歩道標示検出部
１５０４ 輝度エッジ検出部
１５０５ 幅判定部
１５０６ 間隔判定部
１５０７ 繰り返し数判定部

Claims (9)

1. 第一の撮像系を有し、前記第一の撮像系を用いて撮像した路面の画像データを取得する画像データ取得部と、
   前記画像データの設定範囲に横断歩道標示のペイント部分が含まれる場合の前記画像データ上の前記ペイント部分の周期を、前記設定範囲の座標と、前記第一の撮像系の幾何学的パラメータと、予め定められた横断歩道標示の規格値とに基づいて算出する周期算出部と、
   前記ペイント部分の周期の整数倍を１周期とした基底関数に基づいて、前記設定範囲における画像輝度の周波数分析を行い、周波数パワー分布を算出する周波数分析部と、
   前記設定範囲から、前記周波数パワー分布におけるパワーレベルが所定の閾値より大きい座標点を抽出し、前記座標点が存在する領域を横断歩道標示領域として検出する領域検出部と、
   前記画像データにおける前記横断歩道標示領域の座標データを出力する位置出力部と、
   を備える横断歩道標示検出装置。
2. 前記周期算出部は、
   前記第一の撮像系の幾何学的パラメータ、及び前記横断歩道標示の規格値を予め記憶するメモリ部と、
   前記画像データ取得部から前記設定範囲の座標を取得し、前記第一の撮像系の幾何学的パラメータと前記横断歩道標示の規格値とを前記メモリ部から取得するパラメータ取得部と、
   前記設定範囲の座標と、前記第一の撮像系の幾何学的パラメータと、前記横断歩道標示の規格値とに基づいて、前記ペイント部分の周期を算出する算出部と、
   を備える請求項１に記載の横断歩道標示検出装置。
3. 前記周期算出部は、
   前記第一の撮像系の幾何学的パラメータ、及び前記横断歩道標示の規格値を予め記憶するメモリ部と、
   前記画像データ取得部から前記設定範囲の座標を取得し、前記第一の撮像系の幾何学的パラメータと前記横断歩道標示の規格値とを前記メモリ部から取得するパラメータ取得部と、
   角速度の変化を検出するセンサを有し、前記センサが検出した角速度の変化が所定の閾値よりも大きい場合に、前記横断歩道標示検出装置の旋回を検出する旋回検出部と、
   前記横断歩道標示検出装置の旋回が検出された場合に、前記センサが検出した角速度の変化値に基づいて、旋回角度を算出する角度算出部と、
   前記設定範囲の座標と、前記第一の撮像系の幾何学的パラメータと、前記横断歩道標示の規格値と、前記旋回角度とに基づいて、前記ペイント部分の周期を算出する算出部と、
   を備える請求項１に記載の横断歩道標示検出装置。
4. 前記画像データに含まれる設定範囲の座標と、前記第一の撮像系の幾何学的パラメータとに基づいて、前記第一の撮像系と、前記設定範囲が示す路面との実空間における距離を距離データとして算出する距離算出部とを、更に備え、
   前記周期算出部は、前記設定範囲に横断歩道標示のペイント部分が含まれる場合の前記ペイント部分の周期を、前記距離データと、横断歩道標示の規格値と、に基づいて算出し、
   前記位置出力部は、前記画像データにおける前記横断歩道標示領域の座標データ、及び前記距離データを出力する、
   請求項１に記載の横断歩道標示検出装置。
5. ステレオマッチング部と、距離算出部とを、更に備え、
   前記画像データ取得部は、更に、第二の撮像系を有し、前記第一の撮像系を用いて路面を撮像した基準画像データと、前記第二の撮像系を用いて前記路面を撮像した参照画像データと、を取得し、
   前記ステレオマッチング部は、前記基準画像データが有する基準点と、前記参照画像データが有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出し、前記評価値分布に基づいて算出される視差と、前記第一の撮像系の焦点距離と、前記第一の撮像系と前記第二の撮像系との距離と、に基づいて、前記第一の撮像系と前記基準画像データに撮像された路面との実空間における距離を第一の距離データとして算出し、
   前記距離算出部は、前記第一の距離データに基づいて前記基準画像データの３次元ボクセルデータを算出し、前記３次元ボクセルデータに基づいて、前記第一の撮像系と、前記基準画像データに含まれる設定範囲が示す路面との実空間における距離を第二の距離データとして算出し、
   前記周期算出部は、前記設定範囲に横断歩道標示のペイント部分が含まれる場合の前記ペイント部分の周期を、前記第二の距離データと、横断歩道標示の規格値と、に基づいて算出し、
   前記位置出力部は、前記基準画像のデータにおける前記横断歩道標示領域の座標データと、及び前記第二の距離データを出力する、
   請求項１に記載の横断歩道標示検出装置。
6. 前記幾何学的パラメータは、撮像系の設置ピッチ角と、設置高と、焦点距離と、画素ピッチと、を含むパラメータである、
   請求項１、４又は５のいずれかに記載の横断歩道標示検出装置。
7. 前記周波数分析部は、１周期が前記ペイント部分の周期の２倍以上である基底関数に基づいて、周波数分析を行う、
   請求項１、４又は５のいずれかに記載の横断歩道標示検出装置。
8. 画像データ取得部は、撮像系を用いて撮像した路面の画像データを取得し、
   周期算出部は、前記画像データの設定範囲に横断歩道標示のペイント部分が含まれる場合の前記ペイント部分の周期を、前記設定範囲の座標と、前記撮像系の幾何学的パラメータと、横断歩道標示の規格値と、に基づいて算出し、
   周波数分析部は、前記ペイント部分の周期の整数倍を１周期とした基底関数に基づいて、前記設定範囲における画像輝度の周波数分析を行い、周波数パワー分布を算出し、
   領域検出部は、前記設定範囲から、前記周波数パワー分布におけるパワーレベルが所定の閾値より大きい座標点を抽出し、前記座標点が存在する領域を横断歩道標示領域として検出し、
   位置出力部は、前記画像データにおける前記横断歩道標示領域の座標データを出力する、
   横断歩道標示検出方法。
9. 前記幾何学的パラメータは、前記撮像系の設置ピッチ角と、設置高と、焦点距離と、画素ピッチと、を含むパラメータである、
   請求項８に記載の横断歩道標示検出方法。

Images