JP5188429B2 - 環境認識装置 - Google Patents

Description

本発明は、環境認識装置に係り、特に、撮像した画像に対してテンプレートマッチングを行って有意情報を認識する環境認識装置に関する。

従来から、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等で撮像した画像中から、最高速度制限や車両進入禁止等の有意情報が表示された規制標識等の道路標識を検出する標識検出装置や標識の認識方法が知られている。

例えば、特許文献１に記載の標識の認識方法では、カラー画像を撮像するカメラで撮像された各画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色情報を色相（Ｈ）、彩度（Ｓ）、明度（Ｉ）の情報に変換し、閾値により画像データを２値化して画像中の赤色の領域を標識候補として抽出する。そして、標識候補として抽出された画像部分の形状の縦横比や、画像部分中における赤領域の面積比、円形か三角形状かの形状、形状における中心の位置等に基づいて、標識候補が、一時停止や徐行、車両通行止、駐車禁止、追越し禁止等の禁止標識、最高速度制限標識等であると特定するようになっている。

また、例えば、特許文献２に記載の標識検出装置では、例えば、赤い標識を抽出する場合には、カラー画像のＲ（赤）、Ｇ（緑）、Ｂ（青）の各値のうちＲ以外の値を０とし、閾値によりＲの値を２値化して画像中から特定色領域を切り出す。そして、特定色（Ｒ）を有する画素の数の、画像の水平方向および垂直方向のヒストグラムを作成し、領域の水平方向の位置座標と垂直方向の位置座標を検出する。

道路標識の有意情報が表示された部分では、各色の境界がはっきりしており、色の濃淡がほとんどないという特色がある。そこで、特許文献２に記載の標識検出装置等ではその特色を利用して、検出した領域内の各値の最大値やその近傍の値を有する画素の数と、最小値やその近傍の値を有する画素の数とを計数し、それらの画素数の和が領域内の画素数に占める割合が予め設定した閾値よりも大きい場合に、その領域を標識が撮像された領域であると判定する。そして、領域中から有意情報を抽出してディスプレイに表示して、使用者（運転者）に道路標識を報知するようになっている。

しかし、これらの方法や装置では、撮像された画像中から道路標識が撮像された領域を抽出し、特に特許文献１に記載の標識の認識方法では、道路標識が一時停止や最高速度制限標識等であることを特定することができるようにもなっているが、例えば、最高速度制限が実際に時速何ｋｍ／ｈに制限されているかまでは検出できず、道路標識の有意情報の具体的な内容を装置自体が認識することができない。

そのため、特許文献２に記載された装置のように、画像中から抽出した有意情報をディスプレイに表示する等して使用者に報知して、その具体的な内容を使用者に認識させるしかないが、それでは、上記の技術を、例えば検出した道路標識の有意情報に表示されている最高速度制限等の具体的な内容に基づいて装置自らが自車両の速度や進行方向を自動的に、すなわち運転者による認識や操作を介さずに制御する車両の自動制御技術等に応用することができない。

一方、画像中の有意情報を抽出する技術としては、従来から、テンプレートを用いたテンプレートマッチングの技術が知られている。テンプレートマッチングの技術では、例えば、画像に対して例えば図２４に示すような画素配列を有するテンプレートＴｅを移動させながら画像中の各画素領域の画素配列とテンプレートＴｅの画素配列とを比較し、最も一致度が高い画素領域を画像中から抽出する。

そして、例えば「３０」、「４０」、「６０」等の最高速度の表示に対応する画素配列をそれぞれ有する数種類のテンプレートについても同様の処理を行い、その中で、抽出した画素領域との一致度が最も高いものを選択することで、装置は、画像中に撮像された道路標識の有意情報の具体的な内容を、選択したテンプレートに予め対応付けられた最高速度等の内容として認識することができる。

特許第３００６４７１号公報 特開２００２−４２１３１号公報

しかし、このような従来のテンプレートマッチング技術では、画面全体からテンプレートＴｅの画素配列と一致度が高い画素領域を、各画素を総当りして探すため、検索すべき画素数が非常に多く、しかも、それを複数の種類のテンプレートについて行わなければならず、検索に非常に時間がかかるという問題があった。

そこで、上記の特許文献１や特許文献２に記載された手法を用いて画像中に道路標識が撮像された領域を特定することが考えられるが、それらの手法では、画像に対して煩雑な処理を種々行わなければならず、結局、処理に時間がかかってしまう。また、画像データの２値化や圧縮処理等を伴うため、もともと画像データが有している豊富な情報量を有効に使うことができないといった問題もあった。

また、撮像された道路標識の画像中での見かけ上の大きさはカメラと道路標識との距離に応じて変わるため、画像に当てるテンプレートＴｅの大きさをカメラと道路標識との距離に対応させて変化させる必要があるが、上記の特許文献１や特許文献２に記載された手法では、道路標識までの距離が検出されない。そのため、画像に当てるべきテンプレートの大きさを特定できないといった問題もある。

例えば、走行している車両に搭載されたカメラから道路脇に設置された道路標識を撮像すると、道路標識の画像中での見かけ上の大きさが時々刻々変化する。そして、通常、カメラからは毎秒数フレームから数十フレームの画像が送信されてくるが、それに対応して、各フレームごとに画像中から道路標識等を的確に抽出し、それに表示された有意情報の内容を的確に認識することが可能な技術の開発が望まれる。

また、認識した有意情報の内容を、前述した車両の自動制御技術等に応用するためには、それをリアルタイムで処理することが望まれる。

本発明は、このような事情に鑑みてなされたものであり、画像中から道路標識等における有意情報を抽出し、その内容をリアルタイムで的確に認識することが可能な環境認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
環境認識装置において、
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像において隣接する複数の画素について、当該複数の画素の各画像データに基づいて当該複数の画素を１つのグループに統合する統合処理手段と、
前記グループに属する画素に対応する前記実空間上の距離に基づいて、前記グループの実空間上の大きさを算出する算出手段と、
前記実空間上の大きさが所定の大きさである前記グループに対して、前記グループと予め用意されたテンプレートのいずれかを正規化してテンプレートマッチングを行うことで、前記グループの有意情報を認識するマッチング処理手段と、
を備え、
前記統合処理手段は、一の前記画素の画像データが所定の閾値以上であり、かつ、前記一の画素と同一の画像中の前記一の画素より以前に前記画像データが送信された画素であって、前記一の画素に隣接する画素の前記画像データが前記所定の閾値以上である場合には、当該一の画素および前記隣接する画素を１つのグループに統合することを特徴とする。

第２の発明は、第１の発明の環境認識装置において、前記統合処理手段は、一の前記画素と同一の画像中の前記一の画素より以前に前記画像データが送信された画素であって前記一の画素に隣接する画素の前記画像データと前記一の画素の画像データとの差分が所定の第１閾値未満であり、かつ、前記一の画素より以前に前記画像データが送信された前記隣接する画素が属する前記グループに属する全画素の前記画像データの平均値と前記一の画素の画像データとの差分が所定の第２閾値未満である場合に、前記一の画素および前記隣接する画素を１つのグループに統合することを特徴とする。

第３の発明は、第１又は第２の発明の環境認識装置において、前記算出手段は、前記画像上で接していない複数の前記グループについて、前記各グループに属する各画素の前記画像データの平均値同士の差、前記各グループの前記実空間上の距離の差、前記複数のグループを統合した場合の統合されたグループの実空間上の大きさ、形状、実空間上の高さ、および実空間上の傾きの少なくとも１つを算出し、それに基づいて前記複数のグループを統合するか否かを判定し、統合すべきと判定した場合、当該１つのグループに統合して前記テンプレートマッチングの対象とすることを特徴とする。

第４の発明は、第３の発明の環境認識装置において、前記算出手段は、前記グループの実空間上の大きさを、前記グループに属する画素の前記画像上の位置および前記画素に対応する前記実空間上の距離に基づいて算出することを特徴とする。

第５の発明は、第３の発明の環境認識装置において、前記算出手段は、前記グループの形状を、前記グループの前記画像上で占める画素領域の縦方向の１列ごとの画素数または横方向の１行ごとの画素数を算出し、その横方向または縦方向の変化量に基づいて算出することを特徴とする。

第６の発明は、第５の発明の環境認識装置において、前記算出手段は、前記グループに属する画素の中に、前記グループに属する他の画素に対応する前記距離との差が所定の閾値以上である画素が存在する場合には、前記グループの形状の算出を中止することを特徴とする。

第７の発明は、第３の発明の環境認識装置において、
前記画像を処理して道路面を検出する路面検出手段を備え、
前記算出手段は、前記グループに属する画素に対応する前記実空間上の距離に基づいて
前記画素に対応する実空間上の高さを算出し、前記実空間上の高さと前記路面検出手段が検出した前記道路面の高さとの差分に基づいて、前記グループの実空間上の高さを算出することを特徴とする。

第８の発明は、第１から第７のいずれかの発明の環境認識装置において、前記マッチング処理手段は、前記グループの実空間上の大きさに基づいて、前記グループに対する前記テンプレートの適用位置を特定することを特徴とする。

第９の発明は、第１から第８のいずれかの発明の環境認識装置において、前記マッチング処理手段は、前記グループに属する画素の画像データに基づいて前記テンプレートにおける２点とそれぞれ一致する画素エッジを検出し、それに基づいて当該グループと前記テンプレートのいずれかを正規化することを特徴とする。

第１０の発明は、第１から第９のいずれかの発明の環境認識装置において、前記マッチング処理手段は、前記グループに属する画素の画像データに基づいて前記テンプレートの２点とそれぞれ一致する画素エッジを検出し、それに基づいて前記グループに対する前記テンプレートの適用位置を特定することを特徴とする。

第１１の発明は、第１から第１０のいずれかの発明の環境認識装置において、前記マッチング処理手段は、実空間上の高さが所定の高さである前記グループに対してテンプレートマッチングを行うことを特徴とする。

第１２の発明は、第１から第１１のいずれかの発明の環境認識装置において、前記マッチング処理手段は、形状が所定の形状である前記グループに対してテンプレートマッチングを行うことを特徴とする。

第１３の発明は、第１から第１２のいずれかの発明の環境認識装置において、前記マッチング処理手段は、実空間上の傾きが所定の傾きである前記グループに対してテンプレートマッチングを行うことを特徴とする。

第１４の発明は、第１から第１３のいずれかの発明の環境認識装置において、前記マッチング処理手段は、前記グループの実空間上の傾きに基づいて、当該グループと前記テンプレートのいずれかを正規化してテンプレートマッチングを行うことを特徴とする。

第１５の発明は、第１から第１４のいずれかの発明の環境認識装置において、
前記テンプレートは、予め複数種類用意されており、
前記マッチング処理手段は、前記テンプレートマッチングを、前記複数種類のテンプレートについてそれぞれ行い、その中で、算出した一致度が最も良く、かつ、前記一致度が所定の閾値より良い前記テンプレートに対応付けられた情報を、前記有意情報として認識することを特徴とする。

第１６の発明は、第１５の発明の環境認識装置において、
前記テンプレートは、当該テンプレートを構成する画素に、前記画像の画素が取り得る前記画像データの数値の全範囲を区分する所定個数の数値範囲のいずれかが割り当てられて形成されており、
前記マッチング処理手段は、前記テンプレートマッチングを行う際に、前記グループまたは正規化された前記グループの画素の前記画像データが、前記テンプレートまたは正規化された前記テンプレートの対応する画素に割り当てられた前記数値範囲内の値であるか否かに基づいて前記一致度を算出することを特徴とする。

第１７の発明は、第１から第１６のいずれかの発明の環境認識装置において、前記マッチング処理手段は、前記グループに対応する前記撮像対象が移動物と判断された場合には、当該撮像対象に対応する前記グループを前記テンプレートマッチングの対象から除外することを特徴とする。

第１８の発明は、第１から第１７のいずれかの発明の環境認識装置において、
前記テンプレートは、予め複数種類用意されており、
前記マッチング処理手段は、サンプリング周期ごとに同一の撮像対象として連続して検出された前記グループに対して前記テンプレートごとにそれぞれ算出された一致度をサンプリング周期ごとに加算し、
前記サンプリング周期ごとの加算値に基づいて最も一致する前記テンプレートを選定し、当該選定されたテンプレートに対応付けられた情報を、前記有意情報として認識することを特徴とする。

第１９の発明は、第１の発明の環境認識装置において、
前記画像データは、カラーの画像データであり、
前記所定の閾値は、前記画素ごとのカラーの画像データから赤色の画素を抽出するように設定されていることを特徴とする。

第２０の発明は、第１９の発明の環境認識装置において、前記テンプレートは、前記有意情報に対応する部分は青色に、その他の地の部分は白色に形成されていることを特徴とする。

第１の発明によれば、撮像手段により撮像された画像の各画素の画像データに基づいて各画素を各グループに統合し、統合された各グループまたはテンプレートを正規化してテンプレートマッチングを行う。従来のテンプレートマッチング技術では、各画素を総当りして画面全体からテンプレートの画素配列と一致度が高い画素領域を検索するため、検索すべき画素数が非常に多く、検索に非常に時間がかかったが、第１の発明によれば、画像中に統合されて検出された各グループのみに対してテンプレートマッチングを行うだけであるため、テンプレートマッチングに要する時間を格段に短縮することが可能となる。

しかも、第１の発明では、画像の各画素について実空間上の距離を算出してグループの実空間上の大きさを算出し、実空間上の大きさが所定の大きさであるグループのみに対してテンプレートマッチングを行うため、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となる。そして、例えば撮像手段から毎秒数フレームから数十フレームの画像が送信されてきても、各フレームごとに画像中から道路標識等を的確に抽出することが可能となり、リアルタイムで処理を行うことが可能となる。

さらに、第１の発明では、テンプレートを用いたテンプレートマッチングで画像から有意情報を抽出するため、画像中に有意情報が撮像されているか否かを的確に判定し、有意情報が撮像されている場合には、使用者による認識や操作等を介さずに有意情報の内容を環境認識装置自体が的確に認識することが可能となる。そのため、例えば環境認識装置が車両に搭載されており、道路標識を認識するように構成されている場合には、環境認識装置自体が道路標識に標示された有意情報の内容を自動的に認識することが可能となり、車両の自動制御技術等に応用することが可能となる。

また、第１の発明によれば、前記発明の効果に加え、撮像手段から送信されてきた一の画素の画像データと、より以前に画像データが送信された一の画素に隣接する画素の画像データとが所定の閾値以上である場合に、それらの画素を１つのグループに統合するため、統合処理手段に１画像分の全画素の画像データの入力を待たずに各画素の画像データが順次入力されるのと同時並行で各画素の画像データの値に基づいて処理を行うことが可能となり、統合処理手段等における処理をリアルタイムで行うことが可能となる。

第２の発明によれば、前記各発明の効果に加え、撮像手段から送信されてきた一の画素の画像データと、より以前に画像データが送信された一の画素に隣接する画素の画像データとが所定の閾値以上である場合に、それらの画素を１つのグループに統合するため、統合処理手段に１画像分の全画素の画像データの入力を待たずに各画素の画像データが順次入力されるのと同時並行で各画素の画像データの値に基づいて処理を行うことが可能となるため、統合処理手段等における処理をリアルタイムで行うことが可能となる。

また、画像に撮像された１つの撮像対象を一体的に１つのグループとして統合して抽出した後に、それらのグループに対してテンプレートマッチングを行うことが可能となるため、例えば曲面上に有意情報が表示されているような場合にも的確に有意情報の内容を認識することが可能となる。

第３の発明によれば、画像上で接していない複数のグループを、各グループに属する各画素の画像データの平均値同士の差等に基づいてさらに１つのグループに統合してマッチング処理手段におけるテンプレートマッチングの対象とすることで、画像中に撮像されている撮像対象に対応して１つのグループに統合されるべきグループがノイズ等により複数のグループに分割されてしまっているような場合に、ノイズ等の影響を排除して、分割された複数のグループを本来の１つのグループに統合することが可能となり、前記各発明の効果がより的確に発揮される。

第４の発明によれば、前記各発明の効果に加え、各グループや統合されたグループの実空間上の大きさを各画素の画像上の画素位置と各画素に対応する実空間上の距離に基づいて算出することで、三角測量の原理に基づいてそれらのグループの空間上の大きさを的確に算出することが可能となる。

第５の発明によれば、前記各発明の効果に加え、各グループや統合されたグループの形状を画像上で占める画素領域の縦方向の１列ごとまたは横方向の１行ごとに算出された画素数の横方向または縦方向の変化量に基づいて算出することで、変化量が一旦増加した後、減少に転じるように変化した場合に、グループの形状が少なくとも円形状や三角形状、方形状であることを把握することが可能となり、グループの形状を的確に把握することが可能となる。

第６の発明によれば、各グループや統合されたグループに属する各画素の中に、グループ中の他の画素に対応する実空間上の距離との差が大きい画素が存在する場合には、１つのグループとして統合された各画素の中に複数の異なる撮像対象が撮像された画素が混在する状態であると考えられるため、そのようなグループの形状を１つの撮像対象に対応する形状と見なすべきではない。そして、このような場合に、グループの形状の算出を中止することで、当該グループをテンプレートマッチングの対象から除外されるようにすることが可能となり、前記各発明の効果が的確に発揮される。

第７の発明によれば、路面検出手段で道路面を検出し、それに基づいて画像の各画素に対応する実空間上の各点の道路面からの高さを算出することが可能となり、例えば道路面から１ｍ程度の高さに設置されるようになっている道路標識とそれ以外の撮像対象とを道路面からの高さに基づいて的確に判別することが可能となる。そのため、実空間上の道路面からの高さが抽出すべき認識対象の高さと異なるグループをテンプレートマッチングの
対象から除外することが可能となり、無駄なテンプレートマッチングを行う必要がなくなるため、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。

第８の発明によれば、所定の大きさを有する撮像対象において有意情報が表示されている位置が予め分かっている場合に、グループの実空間上の大きさに基づいてテンプレートの適用位置を特定してテンプレートマッチングを行うことで、テンプレートを適用する画像上の範囲を限定することが可能となり、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングの高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。

第９の発明によれば、グループ内に各画素エッジを検出して、それらにテンプレートにおける２点を一致させるようにグループやテンプレートを正規化することで、画像上に撮像されたグループの各画素エッジ間の画素数に即してテンプレート等を正規化することが可能となり、テンプレートマッチングを的確に行うことが可能となり、前記各発明の効果がより的確に発揮される。

第１０の発明によれば、グループ内の各画素エッジとテンプレートの２点とを一致させるようにテンプレートを適用すればよいため、テンプレートを適用する画像上の範囲を限定することが可能となり、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングの高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。

第１１、第１２および第１３の各発明によれば、有意情報を認識する対象の実空間上の高さや形状や傾きが予め分かっている場合に、それらが所定の高さ、形状、傾きであるグループのみに対してテンプレートマッチングを行うことで、無駄なテンプレートマッチングを行う必要がなくなるため、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。

第１４の発明によれば、前記各発明の効果に加え、グループやテンプレートを正規化する際に、グループの実空間上の傾きに基づいて縦方向や横方向の画素数の変換比率をそれぞれ独立に変えて正規化して適用するように構成することで、有意情報の認識対象が撮像手段に対して傾きを有する場合でも、グループやテンプレートを的確に正規化して適用してテンプレートマッチングを行うことが可能となり、テンプレートマッチングをより的確に行うことが可能となる。

第１５の発明によれば、テンプレートを複数種類用意し、その中で、算出した一致度が最も良く、かつ、一致度が所定の閾値より良いテンプレートに対応付けられた情報を有意情報として認識することで、有意情報の内容を一致度が最も良いテンプレートに対応付けられた情報として認識することが可能となるとともに、最も一致度が良い場合でもその一致度が所定の閾値より悪い場合には、テンプレートマッチングで認識すべき有意情報が表示された撮像対象が画像中に撮像されていないと的確に判定することが可能となり、前記各発明の効果が的確に発揮されるとともに、テンプレートマッチングの確実性や安定性を向上させることが可能となる。

第１６の発明によれば、テンプレートまたは正規化されたテンプレートの各画素ごとにグループまたは正規化されたグループの対応する画素の画像データが数値範囲内にあるか否かを判定して所定値を加算するだけで一致度を算出することが可能となるため、一致度
の計算処理の処理負荷が格段に軽減されるとともに、より迅速に一致度を算出することが可能となり、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。

第１７の発明によれば、例えば、道路標識のように道路に設置された撮像対象中から有意情報を認識する際に、同一の撮像対象が連続して撮像されたグループとして検出されたグループに対応する撮像対象が道路面に対して移動する移動物である場合には、テンプレートマッチングの対象とする必要がない。そのため、このような場合に、移動物である撮像対象に対応する前記グループをテンプレートマッチングの対象から除外することで、無駄なテンプレートマッチングを行う必要がなくなるため、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となり、前記各発明の効果がより的確に発揮される。

第１８の発明によれば、前回以前のサンプリング周期で、テンプレートとグループとの一致度が悪く、加算値が低ければ、今回のサンプリング周期で誤検出等により同一の撮像対象が連続して撮像されたグループに対して当該テンプレートの一致度が最も良く、かつ、一致度が所定の閾値より良い場合でも、当該テンプレートがただちに検出されることがなくなる。そのため、今回のサンプリング周期で何らかの原因で誤ってグループに対して一致度が最も良く検出され、かつ、一致度が所定の閾値より良いと判定されたテンプレートが検出されたとしても、その誤検出されたテンプレートに対応付けられた情報を有意情報の内容として誤認識することを確実に防止することが可能となり、前記各発明の効果がより的確に発揮される。

第１９の発明によれば、例えば、道路標識の中でも赤色の部分を多く含む最高速度制限や一時停止、徐行、車両通行止、駐車禁止、追越し禁止等の規制標識が撮像された画素を的確に抽出してグループとすることが可能となり、規制標識を的確に抽出してその有意情報を有効に認識することが可能となる。そのため、規制標識に標示された有意情報を認識するために本発明の環境認識装置を用いる場合等に、前記各発明の効果が的確に発揮される。

第２０の発明によれば、例えば、道路標識の中でも赤色の部分を多く含む規制標識に標示された有意情報を認識する際に、有意情報が青色で標示され、その他の地の部分が白色で標示された最高速度制限を表す規制標識を的確に抽出することが可能となる。そのため、特に最高速度制限を表す規制標識に標示された有意情報を認識するために本発明の環境認識装置を用いる場合等に、前記各発明の効果が的確に発揮される。

第１の実施形態に係る環境認識装置の構成を示すブロック図である。 撮像手段で撮像される画像の例を示す図である。 距離検出手段のイメージプロセッサによるステレオマッチング処理を説明する図である。 作成された距離画像の例を示す図である。 基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。 自車両の左右に検出された車線の例を説明する図である。 形成された車線モデルの例を説明する図であり、（Ａ）はＺ−Ｘ平面上の水平形状モデル、（Ｂ）はＺ−Ｙ平面上の道路高モデルを表す。 第１の実施形態における統合処理手段等の処理手順を示すフローチャートである。 第１の実施形態における統合処理手段等の処理手順を示すフローチャートである。 入力された一の画素と既に入力されている左に隣接する画素とを説明する図である。 入力された一の画素と既に入力されている下に隣接する画素とを説明する図である。 （Ａ）一の画素の下に隣接する画素が属するグループと左に隣接する画素が属するグループが別のグループである例を説明する図であり、（Ｂ）２つのグループが一の画素と統合されて１つのグループになる例を説明する図である。 孤立した状態となったグループの例を説明する図である。 グループに属する各画素に対応する実空間上の各点をＸ−Ｚ平面にプロットした例を説明する図である。 グループに属する各画素に対応する実空間上の各点をＹ−Ｚ平面にプロットした例を説明する図である。 ２つのグループが統合されたグループの例を説明する図である。 テンプレートの例および開始点、終了点を説明する図である。 基準画像上のグループの例を説明する図である。 第２の実施形態における統合処理手段等の処理手順を示すフローチャートである。 第２の実施形態における統合処理手段等の処理手順を示すフローチャートである。 一の画素と左に隣接する画素が属するグループの例を説明する図である。 一の画素と下に隣接する画素が属するグループの例を説明する図である。 （Ａ）２つの画素が一の画素の左および下に隣接するグループの例を説明する図であり、（Ｂ）一の画素が左に隣接する画素とグループ化されたため下に隣接する画素ともグループ化される例を説明する図である。 テンプレートの例を説明する図である。

以下、本発明に係る環境認識装置の実施の形態について、図面を参照して説明する。

なお、以下では、環境認識装置を自動車等の車両に搭載し、道路脇に設置された道路標識を撮像して最高速度等の有意情報を認識する場合について説明するが、これに限定されず、種々の用途に用いることができる。

［第１の実施の形態］
第１の実施形態に係る環境認識装置１は、図１に示すように、撮像手段２や距離検出手段６、統合処理手段１０や算出手段１１、マッチング処理手段１２等を有する処理部９等を備えて構成されている。

なお、距離検出手段６等を含む処理部９の上流側の構成については、本願出願人により先に提出された特開２００６−７２４９５号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。

一対のカメラのうち、メインカメラ２ａは運転者に近い側のカメラであり、例えば図２に示すような画像Ｔを撮像するようになっている。なお、以下では、このメインカメラ２ａで撮像された画像Ｔについて各画素ｐの統合処理等を行う場合について説明する。また、サブカメラ２ｂで撮像された画像と区別するために、以下、メインカメラ２ａで撮像された画像Ｔを基準画像Ｔ、サブカメラ２ｂで撮像された画像を比較画像という。

なお、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれモノクロの画像データＤが取得されるようになっているが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。

また、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで基準画像Ｔや比較画像を撮像する場合、図２に示すように、基準画像Ｔ等の各水平ラインｊの最も左側の画素から撮像を開始し、その後、順に右方向に走査していく。また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各画素ごとに撮像された順に基準画像Ｔと比較画像の各画像データＤがそれぞれ変換手段３に順次送信されるようになっている。

変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで各画素ごとに撮像された基準画像Ｔと比較画像の各画像データＤがそれぞれ順次送信されてくると、各画像データＤをそれぞれ例えば２５６階調のグレースケールの輝度としてのデジタル値の画像データＤに変換して画像補正部４に出力するようになっている。

画像補正部４は、送信されてきた基準画像Ｔと比較画像の各画像データＤに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、画像補正した基準画像Ｔと比較画像の各画像データＤを画像データメモリ５に順次格納するとともに、処理部９に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像の各画像データＤを距離検出手段６にも順次送信するようになっている。

距離検出手段６のイメージプロセッサ７では、基準画像Ｔと比較画像の各画像データに対して順次ステレオマッチング処理やフィルタリング処理を施して、実空間上の距離に対応する視差ｄｐを基準画像Ｔの各画素ごとに順次算出するようになっている。

イメージプロセッサ７におけるステレオマッチング処理では、基準画像Ｔと比較画像Ｔｃの各画像データＤが送信されてくると、図３に示すように、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢを設定し、基準画素ブロックＰＢに対応する比較画像Ｔｃ中のエピポーララインＥＰＬ上の基準画素ブロックＰＢと同形の各比較画素ブロックＰＢｃについて、下記（１）式に従って当該基準画素ブロックＰＢとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定するようになっている。
ＳＡＤ＝Σ｜Ｄ１s,t−Ｄ２s,t｜ …（１）

なお、上記（１）式において、Ｄ１s,tは基準画素ブロックＰＢ中の各画素の画像データＤを表し、Ｄ２s,tは比較画素ブロックＰＢｃ中の各画素の画像データＤを表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。

イメージプロセッサ７は、このようにして基準画像Ｔの各基準画素ブロックＰＢについて、特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置と当該基準画素ブロックＰＢの基準画像Ｔ上の位置から視差ｄｐを順次算出するようになっている。以下、基準画像Ｔの各画素に視差ｄｐを割り当てた画像を距離画像という。また、このようにして各画素ごとに算出された視差ｄｐの情報すなわち距離画像は、距離検出手段６の距離データメモリ８に順次格納されるとともに、処理部９に順次送信されるようになっている。

なお、実空間上で、前記一対のカメラ２ａ、２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（すなわち水平方向）をＸ軸方向、車高方向（すなわち高さ方向）をＹ軸方向、車長方向（すなわち距離方向）をＺ軸方向とした場合、実空間上の点（Ｘ，Ｙ，Ｚ）と、距離画像上の画素の座標（ｉ，ｊ）および視差ｄｐとは、下記（２）〜（４）式で表される三角測量の原理に基づく座標変換により一意に対応付けることができる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）

上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、イメージプロセッサ７は、視差ｄｐの信頼性を向上させる目的から、上記のようなステレオマッチング処理で得られた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。

例えば、道路面の映像のみからなる特徴に乏しい４×４画素の基準画素ブロックＰＢに対して、比較画像Ｔｃ上でステレオマッチング処理を行っても、比較画像Ｔｃの道路面が撮像されている部分ではすべて相関が高くなるため、対応する比較画素ブロックＰＢｃが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐはフィルタリング処理を施して無効とし、視差ｄｐの値として０を出力するようになっている。

したがって、基準画像Ｔの各画素に、有効に算出された視差ｄｐを割り当てて（すなわち対応付けて）距離画像Ｔｚを作成すると、距離画像Ｔｚは、例えば図４に示すように、基準画像Ｔ上で有意な特徴を有する部分である撮像対象の辺縁部分（エッジ部分）等に有効な視差ｄｐが算出された画像となる。なお、距離画像Ｔｚの作成においては、上記（４）式等に従って予め視差ｄｐを距離Ｚ等に換算し、距離Ｚ等を基準画像Ｔの各画素に割り当てて作成するように構成することも可能である。

本実施形態では、処理部９の統合処理手段１０や算出手段１１、マッチング処理手段１２等における各処理では、必要に応じて上記（４）式等に従って距離画像Ｔｚの各画素における視差ｄｐが実空間上の距離Ｚに変換されて用いられる。

なお、本実施形態では、上記のように、撮像手段２としてメインカメラ２ａとサブカメラ２ｂとを備え、距離検出手段６は、それらで撮像された基準画像Ｔおよび比較画像Ｔｃに対するステレオマッチング処理により基準画像Ｔの各画素について実空間上の距離Ｚ（すなわち視差ｄｐ）を算出するように構成されているが、これに限定されず、撮像手段２は例えば単眼のカメラのように１枚の画像Ｔのみを出力するものであってもよい。

また、距離検出手段６は、当該画像Ｔの各画素について実空間上の距離Ｚを算出又は測定して画像Ｔの各画素に割り当てる機能を有していればよく、例えば自車両前方にレーザ光等を照射してその反射光の情報に基づいて画像Ｔに撮像された撮像対象までの距離Ｚを測定するレーダ装置等で構成することも可能であり、検出の手法は特定の手法に限定されない。

処理部９は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部９は、統合処理手段１０や算出手段１１、マッチング処理手段１２を備えているが、さらに、路面検出手段１３や追跡手段１４を備えている。

なお、処理部９において先行車両検出等の他の処理を行うように構成することも可能である。また、処理部９に、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類からの測定値が入力されるように構成することも可能である。

ここで、本実施形態の処理部９の統合処理手段１０や算出手段１１、マッチング処理手段１２等における処理について説明する前に、路面検出手段１３における処理について説明する。

なお、以下の説明において、車線とは、追越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線をいう。また、本実施形態では、以下に説明するように、路面検出手段１３は、道路面に標示された車線を検出し、その検出結果に基づいて道路面を検出するように構成されているが、道路面を検出することができるものであれば以下に説明する形態に限定されない。

路面検出手段１３は、撮像手段２により撮像された基準画像Ｔ中から自車両の左側および右側の車線を検出するようになっている。具体的には、路面検出手段１３は、図５に示すように、基準画像Ｔを用いて、その１画素幅の水平ラインｊ上を例えば基準画像Ｔの中央から左右方向に探索し、輝度が隣接する画素の輝度から設定された閾値以上に大きく変化する画素を車線候補点ｃｒ、ｃｌとして検出する。

そして、基準画像Ｔ上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点を検出していく。その際、路面検出手段１３は、検出した車線候補点の視差ｄｐ等に基づいて当該車線候補点が道路面上にないと判断した場合には当該車線候補点を車線候補点から除外する。なお、この場合の道路面は、前回のサンプリング周期で検出した道路面に基づいてその後の自車両の挙動等から今回のサンプリング周期における道路面の位置が推定される。そして、残った車線候補点のうち、自車両に近い側の車線候補点に基づいて車線をハフ変換等により直線で近似して自車両の左右にそれぞれ検出する。

その際、ハフ変換では種々の直線が候補として算出されるが、例えば自車両の一方の側（例えば右側）に複数の車線が検出される場合には、自車両の他方（例えば左側）に検出した車線との整合性がある車線や、前回のサンプリング周期で検出した車線との整合性がある車線を選ぶ等して、自車両の左右にそれぞれ直線を選別する。

このようにして、自車両に近い側に車線を直線状にそれぞれ検出すると、それより遠い側ではその直線に基づいて直線との位置関係等から車線候補点を選別して結ぶことで、図６に示すように自車両の左側および右側にそれぞれ車線ＬＲ、ＬＬを検出するようになっている。なお、以上の路面検出手段１３の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報等に詳述されており、詳細な説明は同公報等を参照されたい。

路面検出手段１３は、このようにして検出した左右の車線位置ＬＲ、ＬＬや車線候補点ｃｒ、ｃｌ等の情報を図示しないメモリに保存するようになっている。

また、路面検出手段１３は、検出した左右の車線位置ＬＲ、ＬＬや車線候補点の情報に基づいて車線モデルを三次元的に形成するようになっている。本実施形態では、路面検出手段１３は、図７（Ａ）、（Ｂ）に示すように、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図７（Ａ）は、Ｚ−Ｘ平面上の車線モデルすなわち水平形状モデル、図７（Ｂ）は、Ｚ−Ｙ平面上の車線モデルすなわち道路高モデルを表す。

路面検出手段１３は、このようにして車線モデルを形成して、実空間上における道路面を検出するようになっている。また、路面検出手段１３は、このようにして形成した車線モデルの情報をそれぞれメモリに保存するようになっている。

次に、統合処理手段１０や算出手段１１、マッチング処理手段１２等における処理について説明する。

統合処理手段１０は、撮像手段２の一方のカメラから画像補正部４等を介して画像の各画素の画像データＤが順次送信されてくると、隣接する複数の画素について、当該隣接する複数の画素の各画像データＤに基づいて１つのグループに統合するか否かを判定し、統合すべきと判定した場合に１つのグループに統合するようになっている。

なお、本実施形態では、処理を行う対象として、撮像手段２のメインカメラ２ａで撮像された基準画像Ｔを用いるように構成されているが、撮像手段２のサブカメラ２ｂで撮像された比較画像Ｔｃを用いるように構成することも可能であり、また、その両方を用いるように構成することも可能である。

また、本実施形態では、統合処理手段１０は、撮像手段２のメインカメラ２ａから基準画像Ｔの各画素の画像データＤが順次送信されてくると、入力された一の画素（以下、注目画素という。）の画像データＤが所定の閾値Ｄth以上であり、かつ、注目画素と同一の画像中の、注目画素より以前に画像データＤが送信された画素であって、注目画素に隣接する画素の画像データＤも前記閾値Ｄth以上である場合に、注目画素と隣接する画素とを１つのグループに統合すべきと判定して統合するようになっている。

そして、統合処理手段１０は、このように、基準画像Ｔ中で統合可能な隣接画素同士を統合していくようになっている。なお、上記の閾値Ｄthは、検出すべき道路標識の種類に応じて変更してもよく、また、道路標識の種類にかかわらず一定値に設定するように構成することも可能であり、適宜設定される。

以下、この統合処理手段１０および算出手段１１における処理を、図８および図９に示すフローチャートに従って説明する。

なお、本実施形態では、前述したように、撮像手段２から各画素の画像データＤが順次出力され、変換手段３や画像補正部４でそれぞれ処理が行われ、処理された各画像データＤが、順次、処理部９に送信されるが、処理部９では、各画像データＤが順次入力するのと同時並行的に以下の処理が行われる。そのため、１画像分の全画素の画像データＤの入力を待たずに入力と同時並行で処理を行うことが可能となるため、統合処理手段１０や算出手段１１における処理をリアルタイムで行うことが可能となる。

また、以下の説明では、例えば図２に示した基準画像Ｔにおける画素について、基準画像Ｔの左下隅の画素を原点とし、右向きにｉ軸、上向きにｊ軸をとった場合の画素の座標（ｉ，ｊ）を用いて、画素ｐi,jのように表す。また、画素ｐi,jの画像データＤをＤi,jのように表す。

統合処理手段１０は、まず、撮像手段２により撮像が開始されると（図８のステップＳ１）、ｉおよびｊの値をそれぞれ０に設定する（ステップＳ２）。前述したように、撮像手段２で撮像された水平ライン０（すなわちｊ座標が０の各画素からなる水平ラインｊ）上の左端の画素ｐ0,0（すなわち原点の画素）の画像データＤ0,0の処理部９への入力が開始されると（ステップＳ３）、続いて、画素ｐ1,0、ｐ2,0、ｐ3,0、…の画像データＤ1,0、Ｄ2,0、Ｄ3,0、…が順次入力される。

そして、統合処理手段１０は、水平ラインｊの右端の画素まで処理を完了していなければ（ステップＳ４；ＮＯ）、処理が繰り返されるごとにｉ座標を１ずつインクリメントして（ステップＳ５）、設定した注目画素ｐi,j（ステップＳ６）を水平ラインｊ上の右隣の画素に移動させながら処理を続ける。

また、水平ラインｊの右端の画素まで処理を完了すると（ステップＳ４；ＹＥＳ）、基準画像Ｔの最上段の水平ラインまで処理が終了していなければ（ステップＳ７；ＮＯ）、処理を行う水平ラインｊを１行上方の水平ラインｊ＋１に移行させ、注目画素のｉ座標を０に設定して（ステップＳ８）、画素ｐ0,j+1を注目画素として（ステップＳ６）処理を行い、注目画素を画素ｐ0,j+1から順に右側に移動させながら処理を続行する。

次に、注目画素を画素ｐi,jに設定（ステップＳ６）した後の統合処理手段１０における処理（図９のステップＳ９以降）について説明する。

統合処理手段１０は、まず、注目画素ｐi,jの画像データＤi,jが前記閾値Ｄth以上であるか否かの判定を行い（ステップＳ９）、注目画素ｐi,jの画像データＤi,jが閾値Ｄth未満であると判定すると（ステップＳ９；ＮＯ）、以下の各処理をスキップして図８のステップＳ４の判定処理に戻る。

また、注目画素ｐi,jの画像データＤi,jが閾値Ｄth以上であると判定すると（ステップＳ９；ＹＥＳ）、統合処理手段１０は、続いて、図１０に示すように、注目画素ｐi,jが入力されるより以前に入力されており、注目画素ｐi,jの左に隣接する画素ｐi-1,jについて、その画像データＤi-1,jが閾値Ｄth以上であるか否かの判定を行う（ステップＳ１０）。

そして、統合処理手段１０は、左に隣接する画素ｐi-1,jの画像データＤi-1,jも閾値Ｄth以上であると判定した場合には（ステップＳ１０；ＹＥＳ）、続いて、図１１に示すように、注目画素ｐi,jが入力されるより以前に入力されており、注目画素ｐi,jの下に隣接する画素ｐi,j-1について、その画像データＤi,j-1が閾値Ｄth以上であるか否かの判定を行う（ステップＳ１１）。

統合処理手段１０は、下に隣接する画素ｐi,j-1の画像データＤi,j-1が閾値Ｄth未満であると判定した場合には（ステップＳ１１；ＮＯ）、注目画素ｐi,jを、下に隣接する画素ｐi,j-1とは統合しないが、ステップＳ１０の判定処理で左に隣接する画素ｐi-1,jの画像データＤi-1,jは閾値Ｄth以上であると判定しているため、注目画素ｐi,jと左に隣接する画素ｐi-1,jとを１つのグループに統合すべきと判定して統合する（ステップＳ１２）。

なお、上記のステップＳ１０やＳ１１の判定処理や、後述するステップＳ１４の判定処理において、注目画素ｐi,jの視差ｄｐに基づいて上記（４）式に従って算出される実空間上の距離Ｚi,jと、隣接する画素ｐの視差ｄｐに基づいて算出される実空間上の距離Ｚｐとが例えば予め設定された閾値以上であり、注目画素ｐi,jや隣接する画素ｐに対応する実空間上の各点が大きく離れている場合には、各ステップの判定基準をクリアしても１つのグループに統合しないように構成することも可能である。

一方、統合処理手段１０は、ステップＳ１１の判定処理で、下に隣接する画素ｐi,j-1の画像データＤi,j-1が閾値Ｄth以上であると判定した場合には（ステップＳ１１；ＹＥＳ）、注目画素ｐi,jと、下に隣接する画素ｐi,j-1と、左に隣接する画素ｐi-1,jとを１つのグループに統合する（ステップＳ１３）。

その際、例えば図１２（Ａ）に示すように、下に隣接する画素ｐi,j-1がグループｇ１に属し、左に隣接する画素ｐi-1,jが他のグループｇ２に属している場合、注目画素ｐi,jと下に隣接する画素ｐi,j-1と左に隣接する画素ｐi-1,jとを統合すると（ステップＳ１３）、図１２（Ｂ）に示すように、注目画素ｐi,jを介してグループｇ１とグループｇ２とが１つのグループｇに統合される。

一方、統合処理手段１０は、ステップＳ１０の判定処理で、左に隣接する画素ｐi-1,jの画像データＤi-1,jは閾値Ｄth未満であると判定した場合には（ステップＳ１０；ＮＯ）、ステップＳ１４の判定処理に進み、上記と同様に、注目画素ｐi,jの下に隣接する画素ｐi,j-1の画像データＤi,j-1が閾値Ｄth以上であるか否かの判定を行う（ステップＳ１４）。

そして、統合処理手段１０は、下に隣接する画素ｐi,j-1の画像データＤi,j-1が閾値Ｄth以上であると判定した場合には（ステップＳ１４；ＹＥＳ）、ステップＳ１０の判定処理で左に隣接する画素ｐi-1,jの画像データＤi-1,jは閾値Ｄth未満であると判定しているため（ステップＳ１０；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとは統合せず、下に隣接する画素ｐi,j-1のみと統合して１つのグループとする（ステップＳ１５）。

統合処理手段１０は、ステップＳ１２、Ｓ１３、Ｓ１５の処理で、注目画素ｐi,jを隣接する画素と統合すると、拡大したグループｇの画素数を更新し、グループｇの左端、右端の画素の各座標や上端、下端の画素の各座標に変更があれば更新する。また、例えば図１２（Ｂ）に示したように、複数のグループが統合されて１つのグループとされた場合には、１つに統合されたグループｇのグループ番号を、統合の対象となった複数のグループの各グループ番号のうちの例えば最も小さい番号を選択して更新する（ステップＳ１６）。

また、統合処理手段１０は、注目画素ｐi,jを追加して拡大したグループｇや、複数のグループを統合して１つとしたグループｇに属する全画素の画像データＤの平均値Ｄaveを算出して更新し、また、グループｇに属する各画素の視差ｄｐに基づいて上記（４）式に従ってそれぞれ実空間上の距離Ｚを算出し、その平均値Ｚave（以下、平均距離Ｚaveという。）を算出して更新する（ステップＳ１７）。

なお、距離検出手段６におけるフィルタリング処理で視差ｄｐが無効とされ、視差ｄｐの値として０が割り当てられている画素については、実空間上の距離Ｚを算出できないため、平均距離Ｚaveの算出には用いられない。また、統合処理手段１０は、ステップＳ１７の処理を終了すると、ステップＳ４の判定処理以降の処理を続行する。

一方、統合処理手段１０は、ステップＳ１４の判定処理で、注目画素ｐi,jの下に隣接する画素ｐi,j-1の画像データＤi,j-1が閾値Ｄth未満であると判定した場合には（ステップＳ１４；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとも下に隣接する画素ｐi,j-1とも統合せず、注目画素ｐi,jのみが属する新たなグループとして登録する（ステップＳ１８）。そして、この新規のグループに新たなグループ番号を付し、グループの画素数を１とし、左右端、上下端の画素の各座標をそれぞれ注目画素ｐi,jの座標（ｉ，ｊ）として記録する。

また、統合処理手段１０は、ステップＳ１４の判定処理で下に隣接する画素ｐi,j-1の画像データＤi,j-1が閾値Ｄth未満であると判定し（ステップＳ１４；ＮＯ）、注目画素ｐi,jを下に隣接する画素ｐi,j-1と統合しなかった結果、今後の処理で新たな画素が追加される可能性がなくなり、基準画像Ｔ上で孤立した状態となったグループｇが発生したか否かを判定する（ステップＳ１９）。

例えば、図１３に示すようなグループｇの場合、今後の処理で、注目画素が同じ水平ラインｊ上のさらに右側に設定されても、或いは、処理される水平ラインｊが１行上方の水平ラインｊ＋１に移行されても、もはや注目画素がグループｇに統合される可能性はない。そのため、図１３に示したようなグループｇが、基準画像Ｔ上で孤立した状態となったグループｇとなる。

統合処理手段１０は、このように、基準画像Ｔ上で孤立した状態となったグループｇが発生したと判定すると（ステップＳ１９；ＹＥＳ）、続いて、そのグループｇに属する全画素の画素数が予め設定された閾値以下か否かを判定し（ステップＳ２０）、画素数が閾値以下であると判定すると（ステップＳ２０；ＹＥＳ）、そのグループｇを登録されたグループの中から削除する（ステップＳ２１）。このような画素数が小さい孤立したグループは、基準画像Ｔ中に生じたノイズ等のように無視してよいグループであるからである。

また、統合処理手段１０は、孤立したグループｇが発生していないと判定した場合や（ステップＳ１９；ＮＯ）、孤立したグループｇが発生してもその画素数が閾値より多く、比較的大きなグループである場合には（ステップＳ２０；ＮＯ）には、そのグループｇを登録されたグループの中から削除せず、ステップＳ４の判定処理以降の処理を続行する。

そして、統合処理手段１０は、水平ラインｊの右端の画素まで処理を完了し（図８のステップＳ４；ＹＥＳ）、基準画像Ｔの最上段の水平ラインまで処理が終了すると（ステップＳ７；ＹＥＳ）、基準画像Ｔの１画像分の処理を終了し、各グループに属する各画素の各座標（ｉ，ｊ）や画素数、左右端の画素の各座標、上下端の画素の各座標等の情報を図示しない記憶手段に保存する。

また、その際、例えば、各グループの左右端の画素位置の中間点をｉ座標とし、上限端の画素位置の中間点をｊ座標とする中心点を各グループごとに算出して記憶手段に保存するように構成することも可能である。

次に、処理部９の算出手段１１では、統合処理手段１０で統合して得られた各グループｇについて、それらのグループｇに属する各画素ｐの視差ｄｐに基づき上記（４）式に従って各画素ｐに対応する実空間上の距離Ｚｐを算出し、さらに、各画素ｐの基準画像Ｔ上での画素位置（ｉｐ，ｊｐ）と算出した距離Ｚｐに基づき上記（２）、（３）式に従って実空間上のＸ座標ＸｐおよびＹ座標Ｙｐを算出する。すなわち、各画素ｐに対応する実空間上の位置（Ｘｐ，Ｙｐ，Ｚｐ）をそれぞれ算出する。

そして、グループｇに属する各画素ｐの実空間上の各位置（Ｘｐ，Ｙｐ，Ｚｐ）に基づいて、グループｇの実空間上のＸ軸方向の大きさ（すなわちＸ軸方向の幅）およびＹ軸方向の大きさ（すなわちＹ軸方向の幅）を算出する（図８のステップＳ２２）。そして、算出手段１１は、この処理を、得られた全てのグループｇについて行い、算出した実空間上の大きさを各グループｇにそれぞれ対応付けて記憶手段に保存するようになっている。

また、本実施形態では、算出手段１１は、各グループｇの実空間上の大きさのほか、各グループｇの形状や実空間上の高さ、実空間上の傾きを算出するようになっている。

各グループｇの形状については、本実施形態では、算出手段１１は、各グループｇが基準画像Ｔ上で占める画素領域の形状に基づいて特定するようになっている。そして、グループｇの基準画像Ｔ上の縦方向の１列ごとの画素数または横方向の１行ごとの画素数を算出し、その横方向または縦方向の変化量に基づいて各グループｇの形状を特定するようになっている。

すなわち、例えば最高速度制限を表す道路標識が撮像されたグループｇの場合、道路標識は円形状であるため、グループｇが基準画像Ｔ上で占める画素領域の形状も円形状になる。そのため、例えばグループｇが占める画素領域の基準画像Ｔ上の横方向の１行ごとの画素数を、各行を例えば基準画像Ｔの縦方向に移動させながら順次算出していき、各行ごとの画素数が増加する状態が続いた後、減少に転じるように変化した場合には、グループｇの形状が円形状であると特定される。

なお、少なくとも道路標識に関しては、その形状が、上記のような円形状（○）である場合だけでなく、三角形状（△、▽）や方形状（◇、□）である場合もあり、それらの場合も、上記のようにグループｇが占める画素領域の横方向（または縦方向）の１行（または１列）ごとの画素数の分布は、基準画像Ｔの縦方向（または横方向）に見た場合、増加する状態が続いた後、減少に転じる。

そのため、グループｇの形状をさらに円形状等に限定するために、より詳しい解析を行うように構成することも可能である。しかし、本実施形態では、処理の迅速化を図る目的から、少なくとも、上記のような画素数の分布形状を有するグループｇを、後述するマッチング処理手段１２におけるテンプレートマッチングの対象となる形状を有するグループとして特定し、各グループｇに処理の対象とすることを表すラベルを付して記憶手段に保存するようになっている。

また、例えば瓢箪状の形状等のように、上記のような画素数の分布形状を有しないグループｇについては、テンプレートマッチングの対象としないグループとして特定するようになっている。その際、各グループｇに処理の対象としないことを表すラベルを付して記憶手段に保存するように構成してもよい。

なお、本実施形態では、算出手段１１は、各グループｇに属する各画素の中に、当該グループｇに属する他の画素に対応する距離Ｚとの差が、所定の閾値以上に離れている実空間上の距離Ｚｐを有する画素ｐが存在する場合には、そのグループｇについては形状の算出を中止するようになっている。この場合、当該グループｇには、処理の対象とすることを表すラベルは付さない。

このような場合、１つのグループｇとして統合された各画素ｐの中に、複数の異なる撮像対象が撮像された画素ｐが混在する状態であると考えられるため、グループｇの形状は例えば１つの道路標識の形状を表すものではなく、テンプレートマッチングの対象とすべきでないためである。

各グループｇの実空間上の高さについては、本実施形態では、算出手段１１は、上記のようにして算出したグループｇに属する各画素ｐに対応する実空間上の各点の高さＹｐと、路面検出手段１３が検出した距離Ｚｐにおける道路面の高さＹ^＊の差分を算出して、各点の道路面からの高さＹｐ−Ｙ^＊を算出する。そして、各点の道路面からの高さＹｐ−Ｙ^＊の平均値や最小値を算出し、それらをグループｇの高さとして各グループｇにそれぞれ対応付けて記憶手段に保存するようになっている。

なお、実空間上の距離Ｚにおける道路面の高さＹ^＊は、図７（Ｂ）に示したように、各区間ごとの上記の車線モデルから線形補間する等して求めることができる。また、車線モデルは、路面検出手段１３によって今回のサンプリング周期における車線モデルが検出されていればそれを用い、今回のサンプリング周期での車線モデルが検出されていなければ、前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルが推定されて用いられる。

各グループｇの実空間上の傾きについては、本実施形態では、算出手段１１は、上記のようにして算出したグループｇに属する各画素ｐに対応する実空間上の各点の分布の水平方向に対する距離方向の傾きや高さ方向に対する距離方向の傾きとして算出するようになっている。

具体的には、グループｇに属する各画素ｐに対応する実空間上の各点（Ｘｐ，Ｙｐ，Ｚｐ）をＸ−Ｚ平面にプロットすると、例えば図１４に示すようにプロットすることができ、この各点の分布を直線近似する等して、各点の分布の水平方向（Ｘ軸方向）に対する距離方向（Ｚ軸方向）の傾きθを算出することができる。

また、グループｇに属する各画素に対応する実空間上の各点をＹ−Ｚ平面にプロットすると、例えば図１５に示すようにプロットすることができ、各点の分布を直線近似する等して、各点の分布の高さ方向（Ｙ軸方向）に対する距離方向（Ｚ軸方向）の傾きφを算出することができる。

算出手段１１は、このようにして算出した実空間上の傾きθ、φを各グループｇにそれぞれ対応付けて記憶手段に保存するようになっている。

一方、統合処理手段１０で上記のようにして隣接する画素ｐを統合してグループｇを得る場合、基準画像Ｔ中にノイズ等が入っていると、１つの道路標識等の撮像対象に対応して本来１つのグループに統合されるべき画素領域が、そのノイズ等の影響で複数のグループｇ１、ｇ２、…に分割されてしまう場合がある。

そこで、この問題を解消するためには、本実施形態では、算出手段１１は、統合処理手段１０が上記のようにして隣接する画素を統合して各グループｇを得た後、必要に応じて、統合処理手段１０での統合処理により得られた各グループｇのうち複数のグループｇ１、ｇ２、…を１つのグループｇに統合するようになっている（図８のステップＳ２３）。

複数のグループｇ１、ｇ２、…を統合する処理としては、例えば、得られた各グループｇ１、ｇ２、…の中から２つのグループｇ１、ｇ２を選出して統合できるか否かを判定し、統合した場合には、統合して１つのグループとされたグループｇについても他のグループとさらに統合できるか否かを判定するようにして、各グループｇ１、ｇ２、…を統合していくように構成することができる。

また、複数のグループｇ１、ｇ２、…を統合する基準として、本実施形態では、基準画像Ｔ上で接していない複数のグループｇ１、ｇ２、…について、各グループｇ１、ｇ２、…に属する各画素ｐの画像データＤ（本実施形態では輝度）や、各グループｇ１、ｇ２、…に属する各画素ｐに対応する実空間上の距離Ｚｐ等に基づいて、複数のグループｇ１、ｇ２、…を１つのグループに統合するか否かを判定し、統合すべきと判定した場合に１つのグループｇに統合して、マッチング処理手段１２におけるテンプレートマッチングの対象とするようになっている。

具体的には、例えば、複数のグループｇ１、ｇ２、…について、各グループｇ１、ｇ２、…に属する各画素ｐの画像データＤのグループｇ１、ｇ２、…ごとの平均値Ｄaveの差が所定の閾値以下で、差が小さい場合には、複数のグループｇ１、ｇ２、…を１つのグループに統合すべきである可能性が高い。また、各グループｇ１、ｇ２、…に属する各画素ｐに対応する実空間上の距離Ｚｐのグループｇ１、ｇ２、…ごとの平均距離Ｚaveの差が所定の閾値以下で、差が小さい場合にも、複数のグループｇ１、ｇ２、…を１つのグループｇに統合すべきである可能性が高い。

また、最高速度制限を表す道路標識が撮像されたグループｇを抽出する場合、円形状の道路標識の直径は６０ｃｍ程度であるから、仮に複数のグループｇ１、ｇ２、…を統合した場合の統合されたグループｇの実空間上の大きさが直径６０ｃｍの円内に収まる場合にも、複数のグループｇ１、ｇ２、…を１つのグループｇに統合すべきである可能性が高い。

さらに、仮に複数のグループｇ１、ｇ２、…を統合した場合の統合されたグループｇの実空間上の形状が直径６０ｃｍの円内に収まる場合にも、複数のグループｇ１、ｇ２、…を１つのグループｇに統合すべきである可能性が高い。

また、最高速度制限を表す道路標識は道路面から１ｍ程度の高さに設置されるから、仮に複数のグループｇ１、ｇ２、…を統合した場合の統合されたグループｇの実空間上での道路面からの高さが１ｍ程度である場合にも、複数のグループｇ１、ｇ２、…を１つのグループｇに統合すべきである可能性が高い。なお、グループの実空間上の高さは、グループの中心点またはグループ中の最も低い位置について算出される。

また、道路標識の有意情報（例えば最高速度）が標示される面は平面状であるから、複数のグループｇ１、ｇ２、…の水平方向（Ｘ軸方向）に対する距離方向（Ｚ軸方向）の傾きθ（図１４参照）や高さ方向（Ｙ軸方向）に対する距離方向（Ｚ軸方向）の傾きφ（図１５参照）が互いに大きく異なる場合には統合すべきではないが、傾きθや傾きφが互いに近接する値である場合には、複数のグループｇ１、ｇ２、…を１つのグループｇに統合すべきである可能性が高い。

算出手段１１は、上記のような基準に従い、それぞれ予め設定された閾値に基づいて、複数のグループｇ１、ｇ２、…を１つのグループｇに統合するか否かを判定し、統合すべきと判定した場合に１つのグループｇに統合して、マッチング処理手段１２におけるテンプレートマッチングの対象とするようになっている。

なお、複数のグループｇ１、ｇ２、…を統合した場合の統合されたグループｇの大きさは、複数のグループが例えば図１６に示したグループｇ１、ｇ２である場合、図８のステップＳ２２における処理と同様に、グループｇ１、ｇ２に属する全画素ｐの実空間上の各位置（Ｘｐ，Ｙｐ，Ｚｐ）のうち、最も右側にある位置のＸ座標Ｘmaxと最も左側にある位置のＸ座標Ｘminとの差すなわちＸ軸方向の幅が統合されたグループｇの実空間上のＸ軸方向の大きさとして算出され、最も上側にある位置のＹ座標Ｙmaxと最も下側にある位置のＹ座標Ｙminの差すなわちＹ軸方向の幅が統合されたグループｇの実空間上のＹ軸方向の大きさとして算出される。

また、複数のグループｇ１、ｇ２、…を統合した場合の統合されたグループｇの形状も、図８のステップＳ２２における処理と同様にして、仮に統合された場合のグループｇが基準画像Ｔ上で占める画素領域の形状に基づいて算出される。そして、統合されたグループｇの基準画像Ｔ上の縦方向の１列ごとの画素数または横方向の１行ごとの画素数を算出し、その横方向または縦方向の変化量に基づいてグループｇの形状が特定される。

さらに、算出手段１１における各グループｇについての形状等の算出や、複数のグループｇ１、ｇ２、…を１つのグループｇに統合するか否かの判定において、各グループｇや統合されたグループｇの形状や実空間上の高さ、実空間上の傾き等の全てを算出するように構成すると、演算負荷が重くなり、処理の高速化を図ることができなくなる場合があるため、上記の演算処理のうちいずれかの演算処理を行うかは適宜選択して設定される。

算出手段１１は、上記のように、複数のグループｇ１、ｇ２、…を１つのグループｇに統合した場合には、統合処理手段１０における統合処理のステップＳ１６、Ｓ１７の処理と同様に、統合して形成されたグループｇの画素数やグループ番号を更新し、グループｇの左端、右端の画素の各座標や上端、下端の画素の各座標に変更があれば更新する。

また、算出手段１１は、統合して形成されたグループｇに属する全画素の画像データＤの平均値Ｄaveを算出して更新し、グループｇに属する各画素の視差ｄｐに基づいて上記（４）式に従ってそれぞれ算出した実空間上の距離Ｚの平均値Ｚaveすなわち平均距離Ｚaveを算出して更新するようになっている。

次に、本実施形態におけるマッチング処理手段１２でのテンプレートマッチングについて説明する。

マッチング処理手段１２には、例えば図１７に示すようなテンプレートＴｅが予め用意されている。本実施形態では、基準画像Ｔ中から、最高速度制限標識における有意情報を抽出して有意情報の内容である最高速度を認識するために、「３０」、「４０」、「５０」、「６０」、「８０」の各有意情報（最高速度）に対応する複数種類の各テンプレートＴｅが用意されている。

なお、この他にも、一時停止や徐行、車両通行止、駐車禁止、追越し禁止等の道路標識における有意情報の内容を認識する場合には、それらの道路標識における有意情報に対応するテンプレートが用意され、また、その他の物体等における有意情報の内容を認識する場合には、それらの物体等における有意情報に対応するテンプレートが用意されることは言うまでもない。

そして、マッチング処理手段１２は、本実施形態では、統合処理手段１０での統合処理により得られた各グループｇや、算出手段１１で複数のグループｇ１、ｇ２、…が統合されて形成されたグループｇの全てのグループｇに対してテンプレートマッチングを行うのではなく、所定の条件を満たすグループｇについてのみテンプレートマッチングを行うようになっている。

本実施形態では、まず、グループｇの実空間上の大きさが、所定の大きさ、すなわち例えば縦横の大きさがそれぞれ６０ｃｍ以下（或いは多少余裕を持たせて８０ｃｍ以下等としてもよい。）のグループｇのみをテンプレートマッチングの対象とし、大きさがそれより大きなグループｇに対してはテンプレートマッチングを行わないようになっている。なお、大きさの範囲に下限を設けてもよい。

また、実空間上の高さＹｐ−Ｙ^＊が、所定の高さ、すなわち例えば１ｍ以上（或いは多少余裕を持たせて０．８ｍ以上等としてもよい。）のグループｇのみをテンプレートマッチングの対象とし、高さがそれより低いグループｇに対してはテンプレートマッチングを行わないように構成してもよい。なお、高さの範囲に上限を設けてもよい。

また、形状が、所定の形状、すなわち例えば円形状であるグループｇのみをテンプレートマッチングの対象とし、円形状でないグループｇに対してはテンプレートマッチングを行わないように構成してもよい。なお、前述したように、本実施形態では、グループｇの形状に関しては、算出手段１１における処理で、テンプレートマッチングの対象となる形状を有するグループｇにはラベルが付されているため、マッチング処理手段１２は、少なくともグループｇの形状に関してはそのラベルを参照して判断するようになっている。

また、実空間上の水平方向（Ｘ軸方向）や高さ方向（Ｙ軸方向）に対する距離方向（Ｚ軸方向）の傾きθ、φが、所定の傾き、すなわち傾きθ、φ（図１４、図１５参照）がそれぞれ０°近傍の値を有するグループｇのみをテンプレートマッチングの対象とし、傾きθ、φがその範囲を越えるグループｇに対してはテンプレートマッチングを行わないように構成してもよい。

このように構成すれば、例えば、自車両の進行方向に略平行に設けられた壁等に描かれた模様等に対応するグループｇの水平方向（Ｘ軸方向）に対する距離方向（Ｚ軸方向）の傾きθは９０°に近い値として検出されるが、このような場合には、少なくとも自車両に対して最高速度制限を標示する道路標識ではないからテンプレートマッチングを行う必要はない。そのため、そのような場合にテンプレートマッチングを行わないように構成すれば、テンプレートマッチングに要する時間を短縮することが可能となり、テンプレートマッチングの高速化を図ることが可能となる。

次に、マッチング処理手段１２は、上記のようにして処理の対象としたグループｇに対してグループｇごとにテンプレートマッチングを行う。その際、前述したように、基準画像Ｔ中に撮像された道路標識等の処理対象の画像中での見かけ上の大きさは、撮像手段２と処理対象との実空間上の距離に応じて変わるため、グループｇごとに、当該グループｇまたはテンプレートＴｅのいずれかを正規化して適用してテンプレートマッチングを行うようになっている。

なお、正規化とは、グループｇやテンプレートＴｅを互いに比較できる形にすることをいい、例えば、一方が縦横１０×１０画素であり他方が２０×３０画素であるとき、後者を正規化する場合、縦方向には２画素を１画素とするように変換し、横方向には３画素を１画素とするように変換して１０×１０画素にすることをいう。

また、以下では、グループｇにあわせてテンプレートＴｅを正規化する場合について説明するが、テンプレートＴｅにあわせてグループｇ側を正規化するように構成することも可能であり、同様に説明される。

さらに、本実施形態では、テンプレートマッチングとして、正規化したテンプレートＴｅにおける各画素（ｍ，ｎ）における正規化されたデータ値をＴm,n、それと比較されるグループｇの画素領域の各画素（ｍ，ｎ）における画像データＤをＤm,nと表す場合に、比較位置での一致度Ｍを、
Ｍ＝Σ（Ｄm,n−Ｔm,n）^２ …（５）
で計算する一般的なテンプレートマッチングを行うように構成されているが、グループｇに対してテンプレートＴｅを適用して一致度を算出し得る手法であれば、後述するように、他の改良されたテンプレートマッチングの手法等を用いることも可能である。

本実施形態では、テンプレートＴｅを正規化する場合、マッチング処理手段１２は、テンプレートマッチングを行う対象であるグループｇの実空間上の距離Ｚすなわちグループｇの平均距離Ｚaveに基づいて、テンプレートＴｅを正規化して適用するようになっている。

この場合、例えば、最高速度制限を表す直径６０ｃｍの円形状の道路標識の中に、最高速度を表す有意情報としての数字は、横幅で３０ｃｍ程度に標示される。そのため、図１７に示したテンプレートＴｅでは横方向の２点Ｐｓ、Ｐｅ（以下、開始点Ｐｓおよび終了点Ｐｅという。）間の画素数が２０であるが、この画素数を、グループｇの平均距離Ｚaveにおける横幅３０ｃｍに相当する画素数Δｉに変換して正規化する。

ここで、グループｇの平均距離Ｚaveにおける横幅３０ｃｍに相当する画素数Δｉは、以下のようにして算出される。すなわち、正規化した後のテンプレートＴｅの開始点Ｐｓと終了点Ｐｅの横方向の座標を仮にｉPs、ｉPeとすると、求めるべき画素数Δｉは、
Δｉ＝ｉPe−ｉPs …（６）
と表される。

また、ｉPs、ｉPeに対応する実空間上の各点のＸ座標をＸPs、ＸPeとした場合、上記（２）式から、
ＸPs＝ＣＤ／２＋Ｚave×ＰＷ×（ｉPs−ＩＶ） …（７）
ＸPe＝ＣＤ／２＋Ｚave×ＰＷ×（ｉPe−ＩＶ） …（８）
の関係が成り立ち、差ＸPe−ＸPsが３０ｃｍになる。

そこで、（６）式〜（８）式から、
３０ｃｍ＝Pe−ＸPs
＝Ｚave×ＰＷ×（ｉPe−ｉPs）
＝Ｚave×ＰＷ×Δｉ
すなわち、
Δｉ＝３０ｃｍ／（Ｚave×ＰＷ） …（９）
が成り立つため、図１７に示した横方向の開始点Ｐｓから終了点Ｐｅまでの画素数が２０のテンプレートＴｅを、横方向の画素数がΔｉになるように変換する。

また、図１７に示したテンプレートＴｅのように、テンプレートＴｅが最高速度制限を表す道路標識に標示される最高速度の数字の表示と縦横比が同じになるように予め形成されていれば、テンプレートＴｅを縦方向についても横方向と同じ比率で変換する。本実施形態では、マッチング処理手段１２は、このようにしてテンプレートＴｅの縦方向および横方向の画素数を変換してテンプレートＴｅを正規化するようになっている。

なお、最高速度制限を表す道路標識が撮像手段２に正対するように設置されておらず、図１４や図１５に示したように、道路標識が撮像されたグループｇの実空間上での水平方向（Ｘ軸方向）に対する距離方向（Ｚ軸方向）の傾きθや高さ方向（Ｙ軸方向）に対する距離方向（Ｚ軸方向）の傾きφが０°でない有意な値を有するように検出される場合もある。

そこで、テンプレートＴｅを正規化する際に、グループｇの実空間上の傾きθ、φに基づいて縦方向や横方向の画素数の変換比率をそれぞれ独立に変えて、テンプレートＴｅを正規化して適用するように構成することも可能である。このように構成すれば、何らかの原因で自車両に搭載された撮像手段２に対して傾きを有するように設置された道路標識の最高速度等の有意情報に対してテンプレートＴｅを的確に適用することが可能となり、テンプレートマッチングをより的確に行うことが可能となる。

マッチング処理手段１２では、上記のようにして正規化したテンプレートＴｅを、テンプレートマッチングの対象として選択した各グループｇが例えば図１８に示すような基準画像Ｔ上で占める画素領域のみに適用して、テンプレートマッチングを行うように構成することが可能である。この場合、テンプレートマッチングを行う画素領域が、グループｇの画素領域のみに限定されるため、テンプレートマッチングを迅速に行うことが可能となる。

しかし、本実施形態では、さらに、算出されているグループｇの実空間上の大きさに基づいて、グループｇに対して正規化されたテンプレートＴｅを適用する位置を算出し、その画素領域にテンプレートＴｅを１回だけ適用してテンプレートマッチングを行うようになっている。このように構成することで、１つのテンプレートＴｅにつき各グループｇに１回ずつ適用してテンプレートマッチングを行うことが可能となり、テンプレートマッチングを非常に高速に行うことが可能となる。

そして、マッチング処理手段１２は、上記のようにして、基準画像Ｔ上で得られたグループｇのうち、テンプレートマッチングの対象とした全グループｇについて、各テンプレートＴｅを適用してテンプレートマッチングを行う。

その際、グループｇごとにグループｇの実空間上の距離Ｚすなわちグループｇの平均距離Ｚaveが異なるため、マッチング処理手段１２は、まず、テンプレートマッチングを行う１つのグループｇａを選択して、そのグループｇａについて上記（９）式から変換比率を算出する。

そして、図１７に示した「５０」のテンプレートＴｅや「３０」、「４０」、「６０」、「８０」等の他のテンプレートＴｅをそれぞれ変換し正規化して当該グループｇａに適用してテンプレートマッチングを行い、上記（５）式に従って各テンプレートＴｅの当該グループｇａに対する一致度Ｍga（３０）、Ｍga（４０）、Ｍga（５０）、Ｍga（６０）、Ｍga（８０）をそれぞれ計算する。

また、テンプレートマッチングを行うグループｇを変え、そのグループｇに対する変換比率を算出し、各テンプレートＴｅをそれぞれ変換し正規化してグループｇに適用してテンプレートマッチングを行い、各テンプレートＴｅのグループｇに対する各一致度Ｍを計算する処理を、テンプレートマッチングの対象とした全グループｇについて行う。

そして、マッチング処理手段１２は、テンプレートマッチングの対象とした各グループｇに対して計算した各テンプレートＴｅの全ての一致度Ｍの中から、最良の一致度Ｍbest、すなわち上記（５）式で一致度Ｍを計算する場合には、最小の一致度Ｍbestを抽出する。

このようにして各テンプレートＴｅを適用してテンプレートマッチングを行うと、いずれかのテンプレートＴｅで最良の一致度Ｍbestが算出されるが、そもそも基準画像Ｔ中に最高速度制限を表す道路標識が撮像されていない場合には、最良の一致度Ｍbestはさほど良い値にはならない。

そこで、本実施形態では、予め最良の一致度Ｍbestに所定の閾値を設けておき、算出した最良の一致度Ｍbestが閾値より良い値ではない場合、すなわち上記（５）式で一致度Ｍを計算する場合には閾値より小さい値でない場合には、マッチング処理手段１２は、基準画像Ｔ中に最高速度制限を表す道路標識が撮像されていないと判定し、算出した最良の一致度Ｍbestが閾値以下の良い値である場合には、基準画像Ｔ中に最高速度制限を表す道路標識が撮像されていると判定するようになっている

そして、マッチング処理手段１２は、算出した最良の一致度Ｍbestが閾値以下の良い値である場合には、最良の一致度Ｍbestを算出したテンプレートＴｅを選定し、そのテンプレートＴｅに対応付けられた情報、すなわち例えば図１７に示したテンプレートＴｅを検出した場合には５０ｋｍ／ｈを、現在検出の対象としている最高速度制限を表す道路標識に標示された有意情報の内容として認識するようになっている。

また、マッチング処理手段１２は、最良の一致度Ｍbestが算出されたグループｇをその有意情報の内容が標示された道路標識が基準画像Ｔ上に撮像された画素領域であると判定して、その有意情報の内容とともに、そのグループｇのグループ番号や基準画像Ｔ上での左右端、上下端の画素の各座標、グループｇの実空間上の平均距離Ｚave等の情報を、有意情報と対応付けて記憶手段に保存するようになっている。

なお、上記のように、本実施形態では、グループｇの実空間上の距離Ｚすなわちグループｇの平均距離Ｚaveに基づいてテンプレートＴｅを正規化して適用する場合について説明したが、グループｇおよびその内部の画素領域に属する各画素ｐの画像データＤ（例えば輝度）に基づいてテンプレートＴｅを正規化し、グループｇに対してテンプレートＴｅを適用する画素位置を特定するように構成することも可能である。

ここで、グループｇの内部の画素領域とは、例えば、図１６に示したようにグループｇ１、ｇ２が統合されて１つのグループとされた場合の元のグループｇ１、ｇ２の間隙部分の画素領域ｒinや、図１８に示したように、グループｇに周囲を包囲された画素領域ｒinをいう。そして、この場合、内部の画素領域ｒinに属する各画素ｐの画像データＤについても、グループｇに属する各画素ｐの画像データＤと同等に扱う。

具体的には、グループｇおよびその内部の画素領域ｒinに属する各画素ｐを横方向に探索し、各画素ｐの画像データＤに基づいて、テンプレートＴｅの開始点Ｐｓおよび終了点Ｐｅ（図１７参照）と一致する各画素エッジｐｓ、ｐｅをそれぞれ検出する。

そして、例えば図１７に示したテンプレートＴｅでは、左側の画素から探索した場合、開始点Ｐｓは最初にデータ値（輝度）が例えば２５５から０に変化する画素として表され、終了点Ｐｅは最後にデータ値（輝度）が例えば０から２５５に変化する画素として表されるため、例えば図１８に示したグループｇにおいても、左側の画素ｐから探索した際に、画像データＤが左に隣接する画素ｐの画像データＤから所定の閾値以上に小さくなった最初の画素を一方の画素エッジｐｓとし、さらに右方向に探索していき、画像データＤが左に隣接する画素ｐの画像データＤから所定の閾値以上に大きくなった最後の画素を他方の画素エッジｐｅとして検出する。

そして、図１７に示した横方向の開始点Ｐｓから終了点Ｐｅまでの画素数が２０のテンプレートＴｅを、２０画素がグループｇの各画素エッジｐｓ、ｐｅ間の画素数になるように変換する。

また、テンプレートＴｅの縦方向も同じ比率で変換するように構成してもよく、或いは、図示を省略するが、横方向の探索の場合と同様に、グループｇおよびその内部の画素領域ｒinに属する各画素ｐを、縦方向にも探索して各画素エッジをそれぞれ検出し、縦方向の変換比率を算出するように構成してもよい。

そして、変換され正規化されたテンプレートＴｅを、グループｇが基準画像Ｔ上で占める画素領域内で移動させてテンプレートマッチングを行うように構成することも可能であり、また、正規化したテンプレートＴｅを、テンプレートＴｅの開始点Ｐｓと終了点Ｐｅ（なお、開始点Ｐｓや終了点Ｐｅも画素位置が正規化されている。）とグループｇの各画素エッジｐｓ、ｐｅとが一致するようにグループｇに対してテンプレートＴｅを適用する位置を特定して、グループｇに対してテンプレートＴｅを１回だけ適用してテンプレートマッチングを行うように構成してもよい。

なお、本実施形態では、テンプレートＴｅとして、図１７に示したように、最高速度制限を表す道路標識における有意情報である最高速度の数字部分のみを画素表示したテンプレートを用いる場合について説明したが、最高速度制限を表す道路標識において、最高速度が標示された部分の周囲に標示される赤枠の部分を含めてテンプレートを構成してもよい。

また、本実施形態では、テンプレートＴｅとして、有意情報に対応する部分（図１７の例では「５０」の文字の部分）の各画素に例えば輝度０のデータ値を割り当て、その他の地の部分の各画素に例えば輝度２５５のデータ値を割り当てて形成されたテンプレートＴｅを用いる場合について説明した。そして、その場合、テンプレートＴｅとグループｇとの一致度Ｍは、例えば上記（５）式に従って計算された。しかし、テンプレートＴｅを改良することで、一致度Ｍの計算処理の処理負荷をより軽減することが可能となる。

例えば、図１７に示したようなテンプレートＴｅの、有意情報が標示された部分（例えば「５０」の文字の部分）の各画素に、０〜２５５の輝度階調のうちの例えば０〜１００の輝度の数値範囲を割り当て、その他の地の部分の各画素に、０〜２５５の輝度階調のうち例えば２００〜２５５の輝度の数値範囲を割り当てる。

そして、上記のようにグループｇまたはテンプレートＴｅのいずれかを正規化して適用してテンプレートマッチングを行う際、グループｇまたは正規化されたグループｇの各画素の画像データＤが、テンプレートＴｅまたは正規化されたテンプレートＴｅの対応する各画素にそれぞれ割り当てられた数値範囲内の値であるか否かを判定する。

そして、例えば、画像データＤが数値範囲内にあれば所定値（例えば１）を加算していき、画像データＤが数値範囲内になければ加算しないようにして、一致度Ｍを計算するように構成することが可能である。なお、この場合は、一致度Ｍが大きい方がより良い一致度ということになる。

このように構成すれば、テンプレートＴｅ（または正規化されたテンプレートＴｅ）の各画素ごとに、グループｇ（または正規化されたグループｇ）の対応する画素の画像データＤが数値範囲内にあるか否かを判定して所定値を加算するだけで一致度Ｍを算出することが可能となるため、一致度Ｍを例えば上記（５）式に従って計算する場合に比べて、一致度Ｍの計算処理の処理負荷が格段に軽減される。

以上のように、本実施形態に係る環境認識装置１によれば、撮像手段２により撮像された一対の基準画像Ｔおよび比較画像Ｔｃのうち、少なくとも基準画像Ｔ（画像Ｔ）の各画素ｐの画像データＤに基づいて各画素ｐを各グループｇに統合し、統合された各グループｇまたはテンプレートＴｅを正規化して適用してテンプレートマッチングを行う。

そのため、従来のテンプレートマッチング技術では、各画素を総当りして画面全体からテンプレートＴｅの画素配列と一致度Ｍが高い画素領域を検索するため、検索すべき画素数が非常に多く、検索に非常に時間がかかったが、本実施形態に係る環境認識装置１では、基準画像Ｔ中で統合されて検出された各グループｇのみに対してテンプレートマッチングを行うだけであるため、テンプレートマッチングに要する時間を格段に短縮することが可能となる。

しかも、本実施形態に係る環境認識装置１では、基準画像Ｔと比較画像Ｔｃとを用いて基準画像Ｔの各画素について実空間上の距離を算出してグループｇの実空間上の大きさを算出し、実空間上の大きさが所定の大きさであるグループｇのみに対してテンプレートマッチングを行う。

そのため、テンプレートマッチングに要する時間がさらに短縮され、テンプレートマッチングのさらなる高速化を図ることが可能となる。そして、例えば撮像手段２から毎秒数フレームから数十フレームの画像が送信されてきても、各フレームごとに画像中から道路標識等を的確に抽出することが可能となり、リアルタイムで処理を行うことが可能となる。

さらに、本実施形態に係る環境認識装置１では、テンプレートＴｅを用いたテンプレートマッチングで基準画像Ｔから有意情報を抽出するため、基準画像Ｔ中に有意情報が撮像されているか否かを的確に判定し、有意情報が撮像されている場合には、使用者（或いは運転者）による認識や操作等を介さずに有意情報の内容を環境認識装置１自体が的確に認識することが可能となる。そのため、例えば環境認識装置１が車両に搭載されており、道路標識を認識するように構成されている場合には、環境認識装置１自体が道路標識に標示された有意情報の内容を自動的に認識することが可能となり、車両の自動制御技術等に応用することが可能となる。

なお、上記の本実施形態の構成から分かるように、本実施形態に係る環境認識装置１が認識し得る対象は、最高速度制限を表す道路標識に限定されず、一時停止や徐行、車両通行止、駐車禁止、追越し禁止等の道路標識や、大きさを特定でき、それに表示される有意情報が撮像された画像Ｔ（基準画像Ｔ）の各画素の画像データＤ（例えば輝度）の値の大小等の違いにより把握できるものであれば、それらの対象にも適用でき、対象に表示された有意情報の内容を有効に認識することができる。

また、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂによりモノクロの画像データＤが取得される場合について説明したが、ＲＧＢ値等で表されるカラーの画像データを撮像する撮像手段を用いることも可能である。

その場合、統合処理手段１０における各画素ｐをグループｇに統合する処理において、その閾値を、基準画像Ｔ中から例えば赤色の画素を抽出するように設定すれば、例えば道路標識の中でも赤色の部分を多く含む最高速度制限や一時停止、徐行、車両通行止、駐車禁止、追越し禁止等の規制標識が撮像された画素ｐを的確に抽出してグループｇとすることが可能となり、規制標識を的確に抽出してその有意情報を有効に認識することが可能となる。

すなわち、ＲＧＢ値で表されるカラーの画像データＤがＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分につきそれぞれ例えば０〜２５５の輝度で表されるとした場合、例えば、閾値を、Ｒ成分に対しては２００以上、かつ、Ｇ成分およびＢ成分に対してはそれぞれ１００未満等のように設定することで、基準画像Ｔ中から例えば赤色の画素ｐを抽出するように設定することができる。

また、上記のように統合処理手段１０では基準画像Ｔ中から例えば赤色の画素を抽出してグループｇに統合するように構成し、テンプレートＴｅ（図１７参照）を、有意情報（例えば「５０」等の数字）に対応する部分が青色、その他の地の部分が白色になるように形成してテンプレートマッチングを行うように構成すれば、規制標識である道路標識の中から、特に最高速度制限を表す道路標識を的確に抽出して、その有意情報を有効に認識することが可能となる。

さらに、図１に示したように、今回のサンプリング周期で統合処理手段１０により統合されたグループｇnew（複数のグループが統合されて１つのグループとされたグループｇnewを含む。以下同じ。）を、前回のサンプリング周期で統合処理手段１０により統合されたいずれかのグループｇoldに対応付けられるか否かを判定して、グループｇnewがグループｇoldに対応付けられると判定した場合には当該グループｇnewを同一の撮像対象が連続して撮像されたグループとして検出して追跡する追跡手段１４を処理部９に設けるように構成することも可能である。

今回のサンプリング周期で検出されたグループｇnewが前回のサンプリング周期で検出されたいずれかのグループｇoldに対応付けられるか否かの判定は、例えば、今回のサンプリング周期で検出されたグループｇnewの実空間上の位置（Ｘnew，Ｙnew，Ｚnew）や大きさ、平均距離Ｚave、グループｇnewに属する全画素の画像データＤの平均値Ｄave等と前回のサンプリング周期で検出されていたグループｇoldの位置（Ｘold，Ｙold，Ｚold）や大きさ、平均距離Ｚave、グループｇoldに属する全画素の画像データＤの平均値Ｄave等とを比較して、それらの整合性を判定して行われる。

このような追跡手段１４を設けた場合、例えば、同一の撮像対象が連続して撮像されたグループとして検出されたグループｇnewに対応する実空間上の距離Ｚaveと、それに対応する前回のサンプリング周期で検出されたグループｇoldにに対応する実空間上の距離Ｚave、および環境認識装置１が搭載された例えば自車両の速度から、グループｇnewに対応する撮像対象の例えば道路面に対する速度を算出することができる。

そして、撮像対象が道路面に対して０ｋｍ／ｈではない有意の速度を有して移動する移動物体である場合には、少なくともその撮像対象は道路標識ではないと判定することが可能となる。

そのため、上記の実施形態のように、環境認識装置１を、最高速度制限を表す規制標識等の道路標識に標示された有意情報を認識するように構成する場合、今回のサンプリング周期で統合処理手段１０により統合されたグループｇnewのうち、道路面に対して０ｋｍ／ｈでない有意の速度を有して移動する移動物体である撮像対象に対応するグループｇnewを、マッチング処理手段１２におけるテンプレートマッチングの対象から予め除外することで、テンプレートマッチングの処理負荷をより軽減することが可能となり、処理のさらなる高速化を図ることが可能となる。

また、上記のような追跡手段１４を設けた場合に、追跡手段１４で同一の撮像対象が連続して撮像されたグループとして検出したグループｇnewに対してマッチング処理手段１２によりテンプレートマッチングが行われた結果、複数種類の各テンプレートＴｅについて、それぞれ一致度Ｍが算出される。

追跡手段１４は、各一致度Ｍをそれぞれポイント化し、ポイント化した値を各サンプリング周期ごとに加算していく。そして、この処理を、各テンプレートＴｅについて別々に行う。そのため、同一の撮像対象が連続して撮像されたグループとして検出したグループｇnewには、各テンプレートＴｅの種類の数の各加算値が対応付けられていく。

なお、一致度Ｍを例えば上記（５）式に従って計算する場合、一致度Ｍが小さい値である方が一致度が高く優良であるため、一致度Ｍが小さい値であるほど、ポイント化した値は大きくなるようにポイント化のしかたが予め決められる。

そして、マッチング処理手段１２よりテンプレートマッチングを行い、算出した一致度Ｍが最も良く、かつ、一致度Ｍが所定の閾値より良いテンプレートＴｅを検出する際、当該テンプレートＴｅに対して追跡手段１４で一致度Ｍをポイント化した値の加算値が所定の閾値に達した場合に、当該テンプレートＴｅに対応付けられた情報を有意情報として認識するように構成することが可能である。

このように構成すれば、前回以前のサンプリング周期で、テンプレートＴｅとグループｇoldとの一致度Ｍが悪く、ポイント化した値の加算値が低ければ、今回のサンプリング周期で誤検出等により同一の撮像対象が連続して撮像されたグループｇnewに対して当該テンプレートの一致度Ｍが最も良く、かつ、一致度Ｍが所定の閾値より良い場合でも、当該テンプレートＴｅがただちに検出されることがなくなる。

そのため、今回のサンプリング周期で何らかの原因で誤ってグループｇnewに対して一致度Ｍが最も良く検出され、かつ、一致度Ｍが所定の閾値より良いと判定されたテンプレートＴｅが検出されたとしても、その誤検出されたテンプレートＴｅに対応付けられた情報を有意情報の内容として誤認識することを確実に防止することが可能となる。

［第２の実施の形態］
上記の第１の実施形態に係る環境認識装置１では、基準画像Ｔにおいて画像データＤが所定の閾値Ｄth以上である隣接する画素ｐ同士を１つのグループｇに統合していく場合について説明したが、このように閾値Ｄthで一律に統合するか否かを判定するように構成すると、基準画像Ｔ上で同一の撮像対象が濃淡を有して撮像されている場合に、同一の撮像対象が撮像されている画素領域の一部しかグループｇに統合されず、同一の撮像対象を一体的に１つのグループに統合することができない場合が生じ得る。

道路標識等のように、有意情報が表示された面が平面状である場合には、上記のような不都合はほとんど生じないが、例えば曲面上に有意情報が表示されているような場合には上記のような不都合を生じ得る。

そこで、本発明の第２の実施形態に係る環境認識装置では、統合処理手段１０で基準画像Ｔの各画素ｐをグループｇに統合する際、基準画像Ｔに撮像された１つの撮像対象を一体的に１つのグループｇとして統合するように統合処理手段１０を構成した環境認識装置について説明する。

そのため、本実施形態に係る環境認識装置は、ハード的には第１の実施形態に係る環境認識装置１と同様であるが、統合処理手段１０における統合処理のしかたが第１の実施形態の場合と異なる。

本実施形態に係る統合処理手段１０は、撮像手段２から注目画素（一の画素）ｐi,jの画像データＤi,jが送信されてくると、注目画素ｐi,jと同一のサンプリング周期で送信される基準画像Ｔ中の、注目画素ｐi,jより以前に画像データＤが送信された画素ｐであって、注目画素ｐi,jに隣接する画素ｐの画像データＤと、注目画素ｐi,jの画像データＤi,jとの差分ΔＤが所定の第１閾値ΔＤth未満であり、かつ、注目画素ｐi,jより以前に画像データＤが送信された隣接する画素ｐが属するグループｇに属する全画素ｐの画像データＤの平均値Ｄaveと、注目画素ｐi,jの画像データＤi,jとの差分δＤが所定の第２閾値δＤth未満である場合にのみ、注目画素ｐi,jと隣接する画素ｐとを１つのグループｇに統合すべきと判定して統合するようになっている。

以下、本実施形態に係る統合処理手段１０での処理を、図１９および図２０に示すフローチャートに従って説明する。

なお、本実施形態においても、前述したように、撮像手段２から各画素の画像データＤが順次出力され、変換手段３や画像補正部４でそれぞれ処理が行われ、処理された各画像データＤが、順次、処理部９に送信されるが、処理部９では、各画像データＤが順次入力するのと同時並行的に以下の処理が行われる。そのため、１画像分の全画素の画像データＤの入力を待たずに入力と同時並行で処理を行うことが可能となるため、統合処理手段１０等における処理をリアルタイムで行うことが可能となる。

統合処理手段１０では、まず、図８の第１の実施形態のフローチャートのステップＳ１〜Ｓ８と同様の処理が行われる。すなわち、撮像手段２により撮像が開始されると（図１９のステップＳ１）、統合処理手段１０は、ｉおよびｊの値をそれぞれ０に設定する（ステップＳ２）。撮像手段２で撮像された水平ライン０（すなわちｊ座標が０の各画素からなる水平ラインｊ）上の左端の画素ｐ0,0（すなわち原点の画素）の画像データＤ0,0の処理部９への入力が開始されると（ステップＳ３）、続いて、画素ｐ1,0、ｐ2,0、ｐ3,0、…の画像データＤ1,0、Ｄ2,0、Ｄ3,0、…が順次入力される。

そして、統合処理手段１０は、水平ラインｊの右端の画素まで処理を完了していなければ（ステップＳ４；ＮＯ）、処理が繰り返されるごとにｉ座標を１ずつインクリメントして（ステップＳ５）、設定した注目画素ｐi,j（ステップＳ６）を水平ラインｊ上の右隣の画素に移動させながら処理を続ける。また、水平ラインｊの右端の画素まで処理を完了すると（ステップＳ４；ＹＥＳ）、基準画像Ｔの最上段の水平ラインまで処理が終了していなければ（ステップＳ７；ＮＯ）、処理を行う水平ラインｊを１行上方の水平ラインｊ＋１に移行させ、注目画素のｉ座標を０に設定して（ステップＳ８）、画素ｐ0,j+1を注目画素として（ステップＳ６）処理を行い、注目画素を画素ｐ0,j+1から順に右側に移動させながら処理を続行する。

次に、注目画素を画素ｐi,jに設定（ステップＳ６）した後の統合処理手段１０における処理（図２０のステップＳ３０以降）について説明する。前述したように、注目画素ｐi,jと隣接する画素ｐとを１つのグループｇに統合する際の統合処理のしかたや基準が第１の実施形態の場合と異なっている。

本実施形態では、統合処理手段１０は、まず、注目画素ｐi,jと、図１０に示したように注目画素ｐi,jが入力されるより以前に入力されていて注目画素ｐi,jの左に隣接する画素ｐi-1,jについて、下記の条件１や条件２を満たすか否かの判定を行う（ステップＳ３０）。

［条件１］注目画素ｐi,jの画像データＤi,jと、左に隣接する画素ｐi-1,jの画像データＤi-1,jとの差分ΔＤleft（ｉ，ｊ）、すなわち、
ΔＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄi-1,j｜ …（１０）
が、予め設定された第１閾値ΔＤth未満である。なお、以下、上記のような隣接する画素間の画像データＤの差分ΔＤをエッジ強度という。

［条件２］図２１に示すように、注目画素ｐi,jの画像データＤi,jと、左に隣接する画素ｐi-1,jが属するグループｇに属する全画素の画像データＤの平均値Ｄave-leftとの差分δＤleft（ｉ，ｊ）、すなわち、
δＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄave-left｜ …（１１）
が、予め設定された第２閾値δＤth未満である。

なお、以下、上記のように、注目画素ｐi,jの画像データＤi,jと、隣接する画素が属するグループｇの画像データＤの平均値Ｄaveとの差分δＤを平均値差分という。また、グループｇに属する全画素の画像データＤの平均値Ｄaveは、後述するように、ステップＳ１７の処理で算出される。さらに、左に隣接する画素ｐi-1,jが属するグループｇが当該左に隣接する画素ｐi-1,jのみで構成されている場合もあり、その場合、グループｇに属する全画素の画像データＤの平均値Ｄave-leftは、当該左に隣接する画素ｐi-1,jの画像データＤi-1,jに等しい。

統合処理手段１０は、条件１と条件２をともに満たすと判定した場合には（ステップＳ３０；ＹＥＳ）、ステップＳ３１の判定処理に進み、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ３０；ＮＯ）、ステップＳ３２の判定処理に進む。なお、上記の第１閾値ΔＤthと第２閾値δＤthとは同じ値に設定されても異なる値に設定されてもよく、それらの閾値の値は適宜設定される。

統合処理手段１０は、ステップＳ３０の判定処理で、条件１と条件２をともに満たすと判定すると（ステップＳ３０；ＹＥＳ）、続いて、注目画素ｐi,jと、図１１に示したように注目画素ｐi,jが入力されるより以前に入力されていて注目画素ｐi,jの下に隣接する画素ｐi,j-1について、上記と同様に、下記の条件３や条件４を満たすか否かの判定を行う（ステップＳ３１）。

［条件３］注目画素ｐi,jの画像データＤi,jと、下に隣接する画素ｐi,j-1の画像データＤi,j-1とのエッジ強度ΔＤlower（ｉ，ｊ）、すなわち、
ΔＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄi,j-1｜ …（１２）
が、予め設定された前述した第１閾値ΔＤth未満である。

［条件４］図２２に示すように、注目画素ｐi,jの画像データＤi,jと、下に隣接する画素ｐi,j-1が属するグループｇに属する全画素の画像データＤの平均値Ｄave-lowerとの平均値差分δＤlower（ｉ，ｊ）、すなわち、
δＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄave-lower｜ …（１３）
が、予め設定された前述した第２閾値δＤth未満である。

なお、この場合も、下に隣接する画素ｐi,j-1が属するグループｇが当該下に隣接する画素ｐi,j-1のみで構成されている場合もあり、その場合、グループｇに属する全画素の画像データＤの平均値Ｄave-lowerは、当該下に隣接する画素ｐi,j-1の画像データＤi,j-1に等しい。

そして、統合処理手段１０は、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ３１；ＮＯ）、注目画素ｐi,jを、下に隣接する画素ｐi,j-1とは統合しないが、ステップＳ３０の判定処理で上記の条件１と条件２を満たすと判定しているため、注目画素ｐi,jと左に隣接する画素ｐi-1,jとを１つのグループに統合すべきと判定して統合する（ステップＳ１２）。

その際、例えば図１０に示したように、左に隣接する画素ｐi-1,jが他の画素と統合されていなければ、注目画素ｐi,jと左に隣接する画素ｐi-1,jが統合されて、左右に隣接する２つの画素からなるグループが新たに形成される。また、例えば図２１に示したように、左に隣接する画素ｐi-1,jが他の画素と統合されていてグループｇに属していれば、注目画素ｐi,jがグループｇに追加されるように統合され、グループｇが注目画素ｐi,jの分だけ１画素分拡大する。

なお、左に隣接する画素ｐi-1,jが属するグループｇが例えば図２３（Ａ）に示すような形状である場合に、ステップＳ３１の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定されて（ステップＳ３１；ＮＯ）、注目画素ｐi,jが下に隣接する画素ｐi,j-1と統合されない場合でも、図２３（Ｂ）に示すように、注目画素ｐi,jが左に隣接する画素ｐi-1,jと統合されることで（ステップＳ１２）、結果的に、注目画素ｐi,jが下に隣接する画素ｐi,j-1と統合される場合もある。

次に、統合処理手段１０は、ステップＳ３１の判定処理で、条件３と条件４をともに満たすと判定した場合には（ステップＳ３１；ＹＥＳ）、注目画素ｐi,jと下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jとを１つのグループに統合すべきと判定して統合する（ステップＳ１３）。

その際、例えば図１１に示したように、下に隣接する画素ｐi,j-1や左に隣接する画素ｐi-1,jがともに他の画素と統合されていなければ、注目画素ｐi,jと下に隣接する画素ｐi,j-1と左に隣接する画素ｐi-1,jが統合されて３つの画素からなるグループが新たに形成される。また、例えば図２１や図２２に示したように、下に隣接する画素ｐi,j-1または左に隣接する画素ｐi-1,jのいずれか一方が他の画素と統合されていてグループｇに属していれば、注目画素ｐi,jとグループｇに属していない方の画素とがグループｇに追加されるように統合されて、グループｇが２画素分拡大する。

また、例えば図１２（Ａ）に示したように、左に隣接する画素ｐi-1,jがグループｇ１に属し、下に隣接する画素ｐi,j-1が他のグループｇ２に属している場合、注目画素ｐi,jを下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jと統合すると（ステップＳ１３）、図１２（Ｂ）に示したように、注目画素ｐi,jを介してグループｇ１とグループｇ２とが統合されて１つのグループｇとなる。

一方、統合処理手段１０は、ステップＳ３０の判定処理で、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ３０；ＮＯ）、ステップＳ３２の判定処理に進み、上記と同様に、条件３や条件４を満たすか否かの判定を行う（ステップＳ３２）。

そして、統合処理手段１０は、条件３と条件４をともに満たすと判定した場合には（ステップＳ３２；ＹＥＳ）、ステップＳ３０の判定処理で条件１と条件２の少なくとも一方を満たさないと判定しているため（ステップＳ３０；ＮＯ）、注目画素ｐi,jを、左に隣接する画素ｐi-1,jとは統合せず、下に隣接する画素ｐi,j-1のみと統合する（ステップＳ１５）。

その際、注目画素ｐi,jを下に隣接する画素ｐi,j-1と統合すると（ステップＳ１５）、結果的に、左に隣接する画素ｐi-1,jと統合される場合があることは、図２３（Ａ）、（Ｂ）に示したケースから容易に類推される。

統合処理手段１０は、ステップＳ１２、Ｓ１３、Ｓ１５の処理で、注目画素ｐi,jを隣接する画素と統合すると、拡大したグループｇの画素数を更新し、グループｇの左端、右端の画素の各座標や上端、下端の画素の各座標に変更があれば更新する。また、例えば図１２（Ｂ）に示したように、複数のグループが統合されて１つのグループとされた場合には、１つに統合されたグループｇのグループ番号を、統合の対象となった複数のグループの各グループ番号のうちの例えば最も小さい番号を選択して更新する（ステップＳ１６）。

また、統合処理手段１０は、注目画素ｐi,jを追加して拡大したグループｇや、複数のグループを統合して１つとしたグループｇに属する全画素の画像データＤの平均値Ｄaveを算出して更新し、また、グループｇに属する各画素の視差ｄｐに基づいて上記（４）式に従ってそれぞれ実空間上の距離Ｚを算出し、その平均値Ｚave（以下、平均距離Ｚaveという。）を算出して更新する（ステップＳ１７）。

なお、距離検出手段６におけるフィルタリング処理で視差ｄｐが無効とされ、視差ｄｐの値として０が割り当てられている画素については、実空間上の距離Ｚを算出できないため、平均距離Ｚaveの算出には用いられない。

また、上記のように、注目画素ｐi,jと左や下に隣接する画素ｐとをグループ化するか否かの判定処理（図２０のステップＳ３０、Ｓ３１、Ｓ３２）において、距離検出手段６で基準画像Ｔの各画素ごとに算出した視差ｄｐ（すなわち実空間上の距離Ｚに対応する。）の情報や、路面検出手段１３により検出された実空間上における道路面の情報に基づいて、さらに厳しい条件を課して１つのグループに統合するか否かの判定を行うように構成することも可能である。

具体的には、例えば、図２０のステップＳ３０、Ｓ３１、Ｓ３２の判定処理において、注目画素ｐi,jに対応する実空間上の距離Ｚi,jと、隣接する画素ｐに対応する実空間上の距離Ｚｐとの差分｜Ｚi,j−Ｚｐ｜、または隣接する画素ｐが属するグループｇに対応する実空間上の平均距離Ｚaveとの差分｜Ｚi,j−Ｚave｜が、予め設定された閾値以上に離れている場合には、上記の条件１〜条件４が満たされる場合であっても、注目画素ｐi,jと隣接する画素ｐとを１つのグループに統合しないように構成することができる。

実空間上の距離Ｚがあまりに離れている場合には、画像データＤ等が条件１〜条件４を満たす場合であっても、注目画素ｐi,jと隣接する画素ｐはそれぞれ別の撮像対象が撮像された画素領域に属すると考えられるからである。

また、前述した路面検出手段１３により検出された実空間上における道路面の情報に基づいて、例えば注目画素ｐi,jに対応する実空間上の道路面からの高さＹi,j−Ｙ^＊と、隣接する画素ｐに対応する実空間上の道路面からの高さＹｐ−Ｙ^＊或いは隣接する画素ｐが属するグループｇに対応する実空間上の道路面からの高さＹave−Ｙ^＊とを比較して、一方が道路面上に存在する立体物の一部であると考えられ、他方が道路面上に標示された車線や規制標示等のパターンの一部であると考えられる場合には、上記の条件１〜条件４が満たされる場合であっても、注目画素ｐi,jと隣接する画素ｐとを１つのグループに統合しないように構成することができる。

道路面上に存在する立体物と、道路面上に標示されたパターンは別の物体であり、画像データＤ等が条件１〜条件４を満たす場合であっても、注目画素ｐi,jと隣接する画素ｐはそれぞれ別の撮像対象が撮像された画素領域に属すると考えられるからである。

統合処理手段１０は、ステップＳ１７の処理を終了すると、ステップＳ４の判定処理以降の処理を続行する。

一方、統合処理手段１０におけるステップＳ３２の判定処理で、注目画素ｐi,jの下に隣接する画素ｐi,j-1の画像データＤi,j-1が閾値Ｄth未満であると判定された場合（ステップＳ３２；ＮＯ）以降のステップＳ１８からステップＳ２１までの処理は第１の実施形態と同様であり、説明を省略する。

そして、統合処理手段１０は、水平ラインｊの右端の画素まで処理を完了し（図１９のステップＳ４；ＹＥＳ）、基準画像Ｔの最上段の水平ラインまで処理が終了すると（ステップＳ７；ＹＥＳ）、基準画像Ｔの１画像分の処理を終了し、各グループに属する各画素の各座標（ｉ，ｊ）や画素数、左右端の画素の各座標、上下端の画素の各座標等の情報を図示しない記憶手段に保存する。

また、処理部９の算出手段１１における図１９のステップＳ２２、Ｓ２３の処理、およびマッチング処理手段１２におけるテンプレートマッチング等は第１の実施形態と同様であり、説明を省略する。

なお、本実施形態では、注目画素ｐi,jと隣接する画素ｐとを統合する際に、画像データＤに第１の実施形態の場合のような所定の閾値Ｄthを設けない。そのため、第１の実施形態では、基準画像Ｔのうち、所定の閾値Ｄth以上の画像データＤを有する画素領域のみで複数のグループｇが得られるが、本実施形態では、ノイズ等が生じた画素部分を除く基準画像Ｔのほぼ全ての画素領域が複数のグループｇに分割された状態となる。

そのため、マッチング処理手段１２におけるテンプレートマッチングの対象を、画像データＤの平均値Ｄaveが例えば前記所定の閾値Ｄth以上のグループｇのみに限定するように構成してもよく、また、そのような限定を設けないように構成することも可能である。

以上のように、本実施形態に係る環境認識装置においても、第１の実施形態に係る環境認識装置１と全く同様の効果を奏することが可能となる。

また、本実施形態に係る環境認識装置によれば、基準画像Ｔに撮像された１つの撮像対象を一体的に１つのグループｇとして統合して抽出した後に、それらのグループｇに対してテンプレートマッチングを行うことが可能となるため、例えば曲面上に有意情報が表示されているような場合にも的確に有意情報の内容を認識することが可能となる。

１ 環境認識装置
２ 撮像手段
６ 距離検出手段
１０ 統合処理手段
１１ 算出手段
１２ マッチング処理手段
１３ 路面検出手段
Ｄ、Ｄi,j、Ｄi-1,j、Ｄi,j-1 画像データ
Ｄave 画像データの平均値
Ｄth 閾値
ｇ、ｇ１、ｇ２ グループ
（ｉｐ，ｊｐ） 画素位置
Ｍ 一致度
ｐ、ｐi-1,j、ｐi,j-1 隣接する画素
ｐi,j 注目画素（一の画素）
Ｐｓ、Ｐｅ 開始点、終了点（２点）
ｐｓ、ｐｅ 画素エッジ
Ｔ 基準画像（画像）
Ｔｅ テンプレート
Ｙ 実空間上の高さ
Ｙ−Ｙ^＊、Ｙi,j−Ｙ^＊ 道路面からの高さ
Ｚ、Ｚi,j、Ｚｐ 実空間上の距離
｜Ｚi,j−Ｚｐ｜ 差分
ΔＤ エッジ強度（差分）
ΔＤth 第１閾値
δＤ 平均値差分（差分）
δＤth 第２閾値
θ 水平方向に対する距離方向の傾き（実空間上の傾き）
φ 高さ方向に対する距離方向の傾き（実空間上の傾き）

Claims (20)

1. 画素ごとに画像データを有する画像を撮像する撮像手段と、
   前記画像の各画素について実空間上の距離を検出する距離検出手段と、
   前記画像において隣接する複数の画素について、当該複数の画素の各画像データに基づいて当該複数の画素を１つのグループに統合する統合処理手段と、
   前記グループに属する画素に対応する前記実空間上の距離に基づいて、前記グループの実空間上の大きさを算出する算出手段と、
   前記実空間上の大きさが所定の大きさである前記グループに対して、前記グループと予め用意されたテンプレートのいずれかを正規化してテンプレートマッチングを行うことで、前記グループの有意情報を認識するマッチング処理手段と、
   を備え、
   前記統合処理手段は、一の前記画素の画像データが所定の閾値以上であり、かつ、前記一の画素と同一の画像中の前記一の画素より以前に前記画像データが送信された画素であって、前記一の画素に隣接する画素の前記画像データが前記所定の閾値以上である場合には、当該一の画素および前記隣接する画素を１つのグループに統合することを特徴とする環境認識装置。
2. 前記統合処理手段は、一の前記画素と同一の画像中の前記一の画素より以前に前記画像データが送信された画素であって前記一の画素に隣接する画素の前記画像データと前記一の画素の画像データとの差分が所定の第１閾値未満であり、かつ、前記一の画素より以前に前記画像データが送信された前記隣接する画素が属する前記グループに属する全画素の前記画像データの平均値と前記一の画素の画像データとの差分が所定の第２閾値未満である場合に、前記一の画素および前記隣接する画素を１つのグループに統合することを特徴とする請求項１に記載の環境認識装置。
3. 前記算出手段は、前記画像上で接していない複数の前記グループについて、前記各グループに属する各画素の前記画像データの平均値同士の差、前記各グループの前記実空間上の距離の差、前記複数のグループを統合した場合の統合されたグループの実空間上の大きさ、形状、実空間上の高さ、および実空間上の傾きの少なくとも１つを算出し、それに基づいて前記複数のグループを統合するか否かを判定し、統合すべきと判定した場合、当該１つのグループに統合して前記テンプレートマッチングの対象とすることを特徴とする請求項１又は請求項２に記載の環境認識装置。
4. 前記算出手段は、前記グループの実空間上の大きさを、前記グループに属する画素の前記画像上の位置および前記画素に対応する前記実空間上の距離に基づいて算出することを特徴とする請求項３に記載の環境認識装置。
5. 前記算出手段は、前記グループの形状を、前記グループの前記画像上で占める画素領域の縦方向の１列ごとの画素数または横方向の１行ごとの画素数を算出し、その横方向または縦方向の変化量に基づいて算出することを特徴とする請求項３に記載の環境認識装置。
6. 前記算出手段は、前記グループに属する画素の中に、前記グループに属する他の画素に対応する前記距離との差が所定の閾値以上である画素が存在する場合には、前記グループの形状の算出を中止することを特徴とする請求項５に記載の環境認識装置。
7. 前記画像を処理して道路面を検出する路面検出手段を備え、
   前記算出手段は、前記グループに属する画素に対応する前記実空間上の距離に基づいて前記画素に対応する実空間上の高さを算出し、前記実空間上の高さと前記路面検出手段が
   検出した前記道路面の高さとの差分に基づいて、前記グループの実空間上の高さを算出することを特徴とする請求項３に記載の環境認識装置。
8. 前記マッチング処理手段は、前記グループの実空間上の大きさに基づいて、前記グループに対する前記テンプレートの適用位置を特定することを特徴とする請求項１から請求項７のいずれか一項に記載の環境認識装置。
9. 前記マッチング処理手段は、前記グループに属する画素の画像データに基づいて前記テンプレートにおける２点とそれぞれ一致する画素エッジを検出し、それに基づいて当該グループと前記テンプレートのいずれかを正規化することを特徴とする請求項１から請求項８のいずれか一項に記載の環境認識装置。
10. 前記マッチング処理手段は、前記グループに属する画素の画像データに基づいて前記テンプレートの２点とそれぞれ一致する画素エッジを検出し、それに基づいて前記グループに対する前記テンプレートの適用位置を特定することを特徴とする請求項１から請求項９のいずれか一項に記載の環境認識装置。
11. 前記マッチング処理手段は、実空間上の高さが所定の高さである前記グループに対してテンプレートマッチングを行うことを特徴とする請求項１から請求項１０のいずれか一項に記載の環境認識装置。
12. 前記マッチング処理手段は、形状が所定の形状である前記グループに対してテンプレートマッチングを行うことを特徴とする請求項１から請求項１１のいずれか一項に記載の環境認識装置。
13. 前記マッチング処理手段は、実空間上の傾きが所定の傾きである前記グループに対してテンプレートマッチングを行うことを特徴とする請求項１から請求項１２のいずれか一項に記載の環境認識装置。
14. 前記マッチング処理手段は、前記グループの実空間上の傾きに基づいて、当該グループと前記テンプレートのいずれかを正規化してテンプレートマッチングを行うことを特徴とする請求項１から請求項１３のいずれか一項に記載の環境認識装置。
15. 前記テンプレートは、予め複数種類用意されており、
    前記マッチング処理手段は、前記テンプレートマッチングを、前記複数種類のテンプレートについてそれぞれ行い、その中で、算出した一致度が最も良く、かつ、前記一致度が所定の閾値より良い前記テンプレートに対応付けられた情報を、前記有意情報として認識することを特徴とする請求項１から請求項１４のいずれか一項に記載の環境認識装置。
16. 前記テンプレートは、当該テンプレートを構成する画素に、前記画像の画素が取り得る前記画像データの数値の全範囲を区分する所定個数の数値範囲のいずれかが割り当てられて形成されており、
    前記マッチング処理手段は、前記テンプレートマッチングを行う際に、前記グループまたは正規化された前記グループの画素の前記画像データが、前記テンプレートまたは正規化された前記テンプレートの対応する画素に割り当てられた前記数値範囲内の値であるか否かに基づいて前記一致度を算出することを特徴とする請求項１５に記載の環境認識装置。
17. 前記マッチング処理手段は、前記グループに対応する前記撮像対象が移動物と判断された場合には、当該撮像対象に対応する前記グループを前記テンプレートマッチングの対象
    から除外することを特徴とする請求項１から請求項１６のいずれか一項に記載の環境認識装置。
18. 前記テンプレートは、予め複数種類用意されており、
    前記マッチング処理手段は、サンプリング周期ごとに同一の撮像対象として連続して検出された前記グループに対して前記テンプレートごとにそれぞれ算出された一致度をサンプリング周期ごとに加算し、
    前記サンプリング周期ごとの加算値に基づいて最も一致する前記テンプレートを選定し、当該選定されたテンプレートに対応付けられた情報を、前記有意情報として認識することを特徴とする請求項１から請求項１７のいずれか一項に記載の環境認識装置。
19. 前記画像データは、カラーの画像データであり、
    前記所定の閾値は、前記画素ごとのカラーの画像データから赤色の画素を抽出するように設定されていることを特徴とする請求項１に記載の環境認識装置。
20. 前記テンプレートは、前記有意情報に対応する部分は青色に、その他の地の部分は白色に形成されていることを特徴とする請求項１９に記載の環境認識装置。

Images