JP6160252B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関するものである。

従来より、撮像画像から白線などの直線成分を検出することで、撮像画像内の消失点を検出する技術が知られている（たとえば、特許文献１参照）。

特開２００８−１２３０３６号公報

しかしながら、従来技術は、白線などの直線成分に基づいて消失点を検出するものであるため、道路がカーブしている場合や未舗装である場合など、撮像画像から直線成分を検出できない場合に、消失点を適切に検出できないという問題があった。

本発明の課題は、消失点を適切に検出することが可能な画像処理装置を提供することである。

本発明は、撮像画像内に複数の検出領域を設定し、各検出領域内の方向成分を検出方向ごとにカウントすることで、方向成分のヒストグラムを検出領域ごとに生成する。そして、方向成分のヒストグラムのピーク方向に消失点が存在する可能性があるものと判断し、方向成分のヒストグラムのピーク方向に沿って、消失点が存在する可能性を評価するための評価領域を設定することで、撮像画像内に複数の評価領域を設定し、撮像画像内の座標位置のうち、評価領域が最も重複している座標位置を消失点として検出することで、上記課題を解決する。

本発明によれば、撮像画像内に白線などの直線成分が存在しない場合でも、撮像画像内に散在する方向成分を検出し、最も多くの方向成分が示す方向に存在する座標位置を消失点として検出することで、たとえ道路がカーブしている場合や未舗装である場合でも、消失点を適切に検出することができる。

本実施形態に係る画像処理システムを示す構成図である。 検出領域の一例を示す図である。 方向成分ヒストグラムの一例を示す図である。 投票領域の設定方法を説明するための図である。 投票領域の投票値に重み付けを行う方法を説明するための図である。 自車両前方に他車両が存在する場合の撮像画像の一例を示す図である。 消失点の検出方法を説明するための図である。 消失点の信頼度の判定方法を説明するための図である。 第１実施形態に係る画像処理を示すフローチャートである。 未舗装の屈曲路を撮像した撮像画像の一例を示す図である。 消失点の検出方法の他の例を説明するための図である。 道路形状の検出方法を説明するための図である。 道路形状の検出方法を説明するための図である。 道路形状の検出方法の他の例を説明するための図である。 第２実施形態に係る画像処理を示すフローチャートである。

以下、図面に基づいて、本発明の実施形態について説明する。なお、以下においては、車両に搭載され、自車両の前方を撮像した撮像画像から消失点を検出する画像処理システムを例示して、本発明を説明する。

図１は、本実施形態に係る画像処理システムを示す構成図である。本実施形態に係る画像処理システムは、図１に示すように、カメラ１０と、画像処理装置２０とを備える。

カメラ１０は、ＣＣＤイメージセンサー、ＭＯＳセンサー、又はＣＩＤ等の複数の光電変換素子が二次元に配置された撮像素子を備えており、撮像素子で撮像画像を所定の周期で撮像し、撮像した撮像画像を画像処理装置２０に出力する。また、カメラ１０は、図１に示すように、自車両の進行方向前方を撮像するように車両に設置されており、自車両の進行方向前方を撮像する。さらに、本実施形態においては、撮像画像の１／２から２／３程度の画像領域で、道路の路面が撮像されるように、カメラ１０の俯角が設定されている。

画像処理装置２０は、消失点を検出するためのプログラムが格納されたＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）と、撮像画像などを一時的に記憶するＲＡＭ（Random Access Memory）と、を備えている。なお、動作回路としては、ＣＰＵ（Central Processing Unit）に代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。

本実施形態に係る画像処理装置２０は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、検出領域設定機能と、ヒストグラム生成機能と、投票領域設定機能と、投票機能と、消失点検出機能と、信頼度判定機能の各機能を実現する。以下に、画像処理装置２０が実現する各機能について説明する。

画像処理装置２０の検出領域設定機能は、撮像画像から方向成分を検出するための領域を検出領域として設定する。ここで、図２は、検出領域設定機能により設定された検出領域の一例を示す図である。具体的には、検出領域設定機能は、まず、図２に示すように、カメラ１０から取得した撮像画像のうち道路が撮像される撮像画像下部の画像領域を処理範囲として設定する。たとえば、本実施形態においては、撮像画像の下端から１／２〜２／３程度の画像領域において、自車両が走行する道路が撮像されるようにカメラ１０が設置されているため、検出領域設定機能は、図２に示すように、撮像画像の下端から１／２〜２／３程度の画像領域を処理範囲として設定する。

そして、検出領域設定機能は、図２に示すように、処理範囲内において、複数の検出領域を設定する。たとえば、本実施形態において、検出領域設定機能は、５×５画素の大きさや、９×９画素の大きさで、検出領域を設定することができる。なお、検出領域の大きさは、特に限定されないが、方向成分を算出することが可能な大きさであり、かつ、処理範囲内において複数の検出領域が設定できる大きさとすべきである。また、図２に示す例では、３つの検出領域を例示しているが、検出領域の設置位置および数は特に限定されず、たとえば、処理範囲内の任意の位置に検出領域を設定する構成としてもよいし、また、処理範囲を複数の領域に分割し、分割した領域をそれぞれ検出領域として設定してもよい。あるいは、処理範囲内の方向成分を全て検出するために、検出領域を１画素ずつずらして、複数の検出領域を設定する構成としてもよい。

次に、画像処理装置２０のヒストグラム生成機能について説明する。ヒストグラム生成機能は、検出領域設定機能により設定された検出領域内の方向成分を検出し、検出した方向成分に基づいて、方向成分ヒストグラムを生成する。図３は、方向成分ヒストグラムの一例を示す図であり、図３（Ａ）〜（Ｃ）に示す方向成分ヒストグラムは、図２に示す検出領域Ａ〜Ｃでそれぞれ検出された方向成分に基づくものである。

ヒストグラム生成機能は、方向成分ヒストグラムを生成するために、まず、各検出領域の方向成分を検出する。たとえば、ヒストグラム生成機能は、複数の方向に対応する複数のガボールフィルターを用意し、各方向に対応するガボールフィルターをそれぞれ用いて、検出領域内の画像の輝度値の畳み込み演算を行うことで、各検出方向で検出されたエッジ成分を、検出領域内の各方向に対応する方向成分として検出する。たとえば、本実施形態において、ヒストグラム生成機能は、検出領域の中心位置を中心点として検出領域内の方向を０°から３６０°で表した場合に、検出領域内の方向成分を、たとえば１°単位あるいは５°単位で検出することで、検出領域内において複数の方向の方向成分を検出することができる。また、ヒストグラム生成機能は、後述する方向成分ヒストグラムを生成するために、検出した各方向成分に対してカウント値をそれぞれ出力する。たとえば、ヒストグラム生成機能は、検出した各方向成分に対してカウント値「１」を出力することができる。なお、カウント値は「１」に限定されるものではなく、適宜設定することができる。

そして、ヒストグラム生成機能は、検出領域で検出した複数方向の方向成分に基づいて、方向成分ヒストグラムを生成する。具体的には、ヒストグラム生成機能は、方向成分を検出した検出方向ごとに、方向成分のカウント値をカウントすることで、図３に示すように、方向成分の検出方向を横軸とし、方向成分のカウント値の合計を縦軸とした、方向成分ヒストグラムを生成する。

たとえば、図２に示す例において、検出領域Ａには、複数方向の方向成分がほぼ均一に含まれており、そのため、図３（Ａ）に示すように、検出領域Ａの方向成分ヒストグラムは比較的平坦なものとなる。一方、図２に示す例において、検出領域Ｂには、撮像画像の左上方向に伸びる道路端が含まれるため、左上方向の方向成分が多く検出されることとなり、その結果、検出領域Ｂの方向成分ヒストグラムでは、図３（Ｂ）に示すように、道路端が伸びる左上方向に方向成分のピークを有することとなる。さらに、図２に示す例において、検出領域Ｃには、撮像画像の左上方向に伸びる道路端と、撮像画像の上方向に伸びる道路標識のポールが含まれるため、左上方向の方向成分と上方向の方向成分とが多く検出されることとなり、その結果、検出領域Ｃの方向成分ヒストグラムでは、図３（Ｃ）に示すように、道路端が伸びる左上方向と道路標識のポールが伸びる上方向に方向成分のピークを有することとなる。

次に、画像処理装置２０の投票領域設定機能について説明する。投票領域設定機能は、ヒストグラム生成機能により生成された方向成分ヒストグラムに基づいて、投票領域を設定する。ここで、図４は、投票領域の設定方法を説明するための図である。なお、図４に例においては、図２に示す検出領域Ｂで生成された方向成分ヒストグラムに基づいて、投票領域Ｂを設定する方法について例示する。

具体的には、投票領域設定機能は、図４に示すように、検出領域の中心Ｏを始点とした放射状の領域を、投票領域として設定する。また、投票領域設定機能は、方向成分ヒストグラムがピークとなる方向に沿って投票領域を設定する。たとえば、図４に示す検出領域Ｂは、撮像画像の左上方向に伸びる道路端を含むため、左上方向の方向成分が多く検出されることとなり、その結果、検出領域Ｂの方向成分ヒストグラムでは、図３（Ｂ）に示すように、道路端が伸びる左上方向に方向成分のピークを有することとなる、そのため、投票領域設定機能は、図４に示すように、検出領域Ｂの方向成分ヒストグラムがピークとなる方向、すなわち、撮像画像の左上方向に沿って、放射状の投票領域Ｂを設定する。

さらに、投票領域設定機能は、投票領域を設定する際に、方向成分ヒストグラムのピーク近傍の分散に基づいて、投票領域の大きさを決定する。具体的には、投票領域設定機能は、方向成分ヒストグラムのピーク近傍の分散が小さいほど（方向成分ヒストグラムのピークの先鋭度が大きいほど）、投票領域の始点Ｏを頂点とする角度θを小さくし、方向成分ヒストグラムのピーク近傍の分散が大きいほど（方向成分ヒストグラムのピークの先鋭度が小さいほど）、投票領域の始点Ｏを頂点とする角度θを大きくすることで、投票領域の大きさを決定する。たとえば、投票領域設定機能は、方向成分ヒストグラムの標準偏差σまたは２σに応じて、投票領域の角度θを決定することで、投票領域の大きさを決定することができる。

なお、方向成分ヒストグラムが２以上のピークを有する場合には、投票領域設定機能は、方向成分ヒストグラムのピークごとに、投票領域を設定する。すなわち、図３（Ｃ）に示すように、方向成分ヒストグラムのピークが２つある場合には、投票領域設定機能は、２つの投票領域を設定することができる。

そして、投票領域設定機能は、処理範囲内に設定された複数の検出領域について複数の投票領域を設定する。たとえば、処理範囲に５つの検出領域が設定されている場合には、投票領域設定機能は、これら５つの検出領域の中心位置をそれぞれ始点とする５以上の投票領域を設定する。

次に、画像処理装置２０の投票機能について説明する。投票機能は、投票領域設定機能により設定された投票領域内の各座標位置（ＸＹ座標で特定可能な各単位領域）に投票値を投票する。なお、投票機能による投票方法は、特に限定されず、たとえば、投票機能は、投票領域内の全ての座標位置に投票値「１」を均等に投票する構成としてもよいし、あるいは、方向成分ヒストグラムのピーク近傍の分散に基づいて、投票領域内の座標位置ごとに投票値の重み付けを行う構成としてもよい。以下に、投票領域内の座標位置ごとに投票値の重み付けを行う方法について詳細に説明する。

投票領域内の座標位置ごとに投票値の重み付けを行う場合には、投票機能は、まず、方向成分ヒストグラムの標準偏差σを、方向成分ヒストグラムのピーク近傍の分散を示す値として算出する。そして、投票機能は、標準偏差σが所定の第１判定値以上であり、方向成分ヒストグラムのピークが鋭いと判断できる場合には、図５（Ａ）に示すように、投票領域Ｂを放射状の３つの領域Ｂ_１〜Ｂ_３に分割し、投票領域Ｂ内の各座標位置の投票値の重みを、領域Ｂ_１〜Ｂ_３の順に、‘０．１’，‘０．８’，‘０．１’に設定する。そして、投票機能は、重み付けを行った領域Ｂ_１〜Ｂ_３のそれぞれに、領域Ｂ_１〜Ｂ_３の重みに１を乗じた値を投票値として投票する。たとえば、図５（Ａ）に示す例では、領域Ｂ_１の各座標位置には投票値「０．１」が投票され、領域Ｂ_２の各座標位置には投票値「０．８」が投票され、領域Ｂ_３の各座標位置には投票値「０．１」が投票されることとなる。

また、投票機能は、方向成分ヒストグラムのピーク近傍の分散（すなわち標準偏差σ）が第１判定値未満であり、かつ、第１判定値よりも小さい第２判定値以上である場合には、図５（Ｂ）に示すように、投票領域Ｂを放射状の５つの領域Ｂ_１〜Ｂ_５に分割し、投票領域Ｂ内の各座標位置の投票値の重みを、領域Ｂ_１〜Ｂ_５の順に‘０．０５’，‘０．２’，‘０．５’，‘０．２’，‘０．０５’に設定する。そして、投票機能は、重み付けを行った投票領域Ｂ_１〜Ｂ_５のそれぞれに、投票領域Ｂ_１〜Ｂ_５の重みに１を乗じた値を投票値として投票する。たとえば、図５（Ｂ）に示す例では、投票領域Ｂ_１の各座標位置には投票値「０．０５」が投票され、投票領域Ｂ_２の各座標位置には投票値「０．２」が投票され、投票領域Ｂ_３の各座標位置には投票値「０．５」が投票され、投票領域Ｂ_４の各座標位置には投票値「０．２」が投票され、投票領域Ｂ_５の各座標位置には投票値「０．０５」が投票されることとなる。

さらに、投票機能は、図示していないが、方向成分ヒストグラムのピーク近傍の分散（すなわち標準偏差σ）が第２判定値未満であり、方向成分ヒストグラムのピークがなだらかであると判断できる場合には、投票領域Ｂを放射状の７つの領域Ｂ_１〜Ｂ_７に分割し、投票領域Ｂ内の各座標位置の投票値の重みを、領域Ｂ_１〜Ｂ_７の順に‘０．０５’，‘０．１’，‘０．２’，‘０．３’，‘０．２’，‘０．１’，‘０．０５’に設定する。そして、投票機能は、重み付けを行った各領域Ｂ_１〜Ｂ_７の各座標位置に、領域Ｂ_１〜Ｂ_７の重みに１を乗じた値を投票値として投票する。

なお、投票領域の投票値に重み付けを行う方法は、上述した方法に限定されるものではなく、たとえば、方向成分ヒストグラムのピーク近傍の分散にかかわらず、たとえば、図５（Ａ）に示すように、投票領域を放射状の３つの領域に分割して、投票領域内の投票値の重み付けを行う構成としてもよい。

また、本実施形態において、投票機能は、方向成分ヒストグラムがピークとなる方向が、撮像画像の垂直方向（Ｙ軸方向）、または、水平方向（Ｘ軸方向）である場合には、垂直方向（Ｙ軸方向）に沿って設定された投票領域の投票値と、水平方向（Ｘ軸方向）に沿って設定された投票領域の投票値の重み付けをゼロとすることで、垂直方向（Ｙ軸方向）に沿って設定された投票領域の座標位置、および、水平方向（Ｘ軸方向）に沿って設定された投票領域の座標位置に、投票値を投票しない構成とすることができる。垂直方向（Ｙ軸方向）の方向成分、および、水平方向（Ｘ軸方向）の方向成分は、図６の検出領域Ｄ，Ｅに示すように、自車両前方に存在する他車両のバンパー、建物、道路標識のポールなどから検出された方向成分である可能性が高く、このような方向成分を消失点の検出対象から除外するためである。なお、図６は、自車両前方に他車両が存在する場合の撮像画像の一例を示す図である。

また、車のバンパー、建物、道路標識のポールなどはコントラストが大きいため、車のバンパー、建物、道路標識のポールを含む検出領域の方向成分の強度は大きくなる傾向にあり、その結果、検出領域の方向成分ヒストグラムのピーク近傍の分散は大きくなる傾向にある。そのため、投票機能は、垂直方向（Ｙ軸方向）または水平方向（Ｘ軸方向）の方向成分のピーク近傍の分散（すなわち標準偏差σ）を算出し、標準偏差σが所定値以上である場合にのみ、垂直方向（Ｙ軸方向）または水平方向（Ｘ軸方向）に沿って設定された投票領域の投票値の重みをゼロとする構成としてもよい。

さらに、投票機能は、図３（Ｃ）に示すように、方向成分ヒストグラムのピークが複数存在し、１つの方向成分ヒストグラムに対して複数の投票領域が設定されている場合には、各投票領域の座標位置に対して投票値を投票する。また、投票機能は、１つの方向成分ヒストグラムにおいて３以上の方向成分のピークが存在する場合には、ピークの大きさが上から２番目までのピークに対応する投票領域の座標位置のみに投票値を投票する構成としてもよいし、最も大きいピークと、最も大きいピークに対して、たとえば８０％以上の大きさを持つピークに対応する投票領域の座標位置のみに投票値を投票する構成としてもよい。

さらに、投票機能は、方向成分ヒストグラムのピークの大きさが所定の基準値未満であるか否かを判定し、ピークの大きさが基準値未満である場合には、このピークに対応する投票領域の座標位置に対して、投票値を投票しない構成としてもよい。これにより、たとえば図３（Ａ）に示すように、ほぼ平坦な方向成分ヒストグラムを消失点の検出対象から除外することができ、消失点の検出精度の向上を図ることができる。なお、上述した基準値の大きさは、特に限定されないが、たとえば、各方向成分ヒストグラムで最大ピークを検出し、全ての方向成分ヒストグラムの最大ピークの平均値を算出し、この最大ピークの平均値の半分の値を上記基準値の値として設定することができる。また同様に、投票機能は、方向成分ヒストグラムのピーク近傍の分散が所定の基準値以上であるか否かを判定し、方向成分ヒストグラムのピーク近傍の分散が基準値未満である場合に、このピークに対応する投票領域の座標位置に対して、投票値を投票しない構成としてもよい。

次に、画像処理装置２０の消失点検出機能について説明する。消失点検出機能は、投票機能による投票値の投票結果に基づいて、撮像画像内の消失点を検出する。具体的には、消失点検出機能は、撮像画像内の各座標位置の投票値を算出し、投票値が最も大きい座標位置を消失点として検出する。

ここで、図７は、消失点の検出方法を説明するための図である。たとえば、図７（Ａ）に示すように、処理範囲内に５つの検出領域が設定されている場合には、図７（Ｂ）に示すように、５以上の投票領域が設定される。このように、複数の投票領域が設定される場合には、図７（Ｂ）に示すように、一部の座標位置において異なる投票領域が重複する場合がある。消失点検出機能は、各座標位置の投票値を算出する際に、複数の投票領域が重複している座標位置については、それぞれの投票領域で投票された投票値を合計して、該画素位置の投票値を算出する。たとえば、座標位置ｘにおいて投票領域Ｙと投票領域Ｚが重複しており、投票領域Ｙでの座標位置ｘの投票値が「０．８」であり、投票領域Ｚでの座標位置ｘの投票値が「０．２」である場合には、座標位置ｘの投票値は「１．０」として算出される。

そして、消失点検出機能は、全ての座標位置の投票値を比較し、投票値が最も大きい座標位置を、消失点として検出する。

また、本実施形態では、所定の撮影フレームで撮影される撮像画像ごとに消失点を検出しており、今回検出した消失点が前回検出した消失点の位置から一定距離以上離れている場合には、消失点を検出できなかったと判断する構成としてもよい。また、カルマンフィルターやパーティクルフィルターなどの時系列フィルターを用いて、一定時間前までに検出された複数の消失点の座標位置の平均値を計算し、今回検出した消失点が過去の消失点の平均値の座標位置から一定距離以上離れている場合に、消失点を検出できなかったと判断する構成としてもよい。これにより、消失点の検出精度を向上することができる。

次に、画像処理装置２０の信頼度判定機能について説明する。信頼度判定機能は、消失点検出機能により検出された消失点の信頼度を判定する。消失点の信頼度を判定するために、信頼度判定機能は、まず、消失点の信頼度を判定するための放射状領域を設定する。具体的には、信頼度判定機能は、図８（Ａ）に示すように、消失点検出機能により検出された消失点を基準とし、消失点よりも下部の画像領域を放射状に分割した領域を、放射状領域として設定する。また、信頼度判定機能は、放射状領域を設定する際に、消失点を頂点とする各放射状領域の角度θ’が、たとえば１０°あるいは２０°となるように、複数の放射状領域を設定することができる。

そして、信頼度判定機能は、たとえば、方向成分ヒストグラムに基づいて設定した投票領域が消失点を含む場合に、このような方向成分ヒストグラムが得られた検出領域を検出対象として特定し、放射状領域内に存在する複数の検出領域のうち、検出対象として特定された検出領域の数を、放射状領域ごとにカウントする。そして、信頼度判定機能は、図８（Ｂ）に示すように、カウント値を縦軸とし、各放射状領域を横軸とするヒストグラムを、信頼度ヒストグラムとして生成する。

ここで、図８（Ａ）においては、各検出領域の方向成分ヒストグラムのピークの方向を矢印で示している。たとえば、図８（Ａ）に示す例では、道路端を含む放射状領域３，８、および、タイヤの跡や轍を含む放射状領域５内の検出領域において、方向成分ヒストグラムのピーク方向が消失点に向かっており、これらの検出領域が検出対象として特定される。そのため、図８（Ｂ）に示すように、放射状領域３、放射状領域５、放射状領域８に対応する位置においてカウント値が高い信頼度ヒストグラムが生成されることとなる。

たとえば、道路端、白線、タイヤの跡、轍などの方向成分に基づいて検出された消失点は信頼度が高く、このような方向成分は、図８（Ｂ）に示すように、特定の放射状領域のみにおいて検出される傾向にあり、その分、信頼度ヒストグラムの分散は大きくなる。これに対して、路面以外の方向成分（すなわちノイズ）が消失点の検出に影響している場合には、その分だけ、信頼度ヒストグラムの分散は低くなる。そのため、信頼度判定機能は、信頼度ヒストグラムの分散を算出し、たとえば図８（Ｂ）に示すように、信頼度ヒストグラムの分散が所定の信頼度判定値以上となる場合には、消失点の信頼度が高いと判定することができる。一方、信頼度判定機能は、信頼度ヒストグラムの分散が所定の信頼度判定値未満となる場合には、消失点の信頼度が低いと判定することができる。なお、上述した信頼度判定値の値は、特に限定されず、実験などにより適宜設定することができる。また、信頼度ヒストグラムのピーク近傍の分散のみを算出し、信頼度ヒストグラムのピーク近傍の分散が所定の信頼度判定値以上となる場合に、消失点の信頼度が高いと判定する構成としてもよい。

なお、信頼度判定機能は、信頼度ヒストグラムを生成する際に、検出対象となる検出領域のそれぞれに対して均等に「１」をカウントする構成としてもよいし、または、投票領域の投票値に重み付けを行っている場合には、消失点での投票値の重みが所定の閾値（たとえば０．５）以上である場合にのみ、このような投票領域に対応する検出領域を、検出対象の検出領域として特定してカウントする構成としてもよい。

続いて、図９を参照して、第１実施形態に係る画像処理装置について説明する。図９は、第１実施形態に係る画像処理を示すフローチャートである。なお、図９に示す画像処理は、たとえば、イグニッションがオンとなった場合に、画像処理装置２０により実行される。

まず、ステップＳ１０１では、検出領域設定機能により、処理範囲の設定が行われる。具体的には、検出領域設定機能は、図２に示すように、カメラ１０で撮像した撮像画像のうち、撮像画像の下端から１／２〜２／３程度の画像領域を処理範囲として設定する。そして、ステップＳ１０２では、検出領域設定機能により、図２に示すように、ステップＳ１０１で設定された処理範囲内に、複数の検出領域が設定される。

ステップＳ１０３では、ヒストグラム生成機能により、ステップＳ１０２で設定された各検出領域において、方向成分の検出が行われる。そして、ステップＳ１０４では、ヒストグラム生成機能により、ステップＳ１０３で検出した方向成分に基づいて、図３に示すように、方向成分ヒストグラムの生成が行われる。

ステップＳ１０５では、投票領域設定機能により、ステップＳ１０４で生成された方向成分ヒストグラムに基づいて、投票領域の設定が行われる。具体的には、投票領域設定機能は、図４に示すように、ステップＳ１０４で生成された方向成分ヒストグラムがピークとなる方向に沿って、放射状の投票領域を設定する。

ステップＳ１０６では、投票機能により、ステップＳ１０５で設定した投票領域の各座標位置に、投票値が投票される。そして、ステップＳ１０７では、消失点検出機能により、ステップＳ１０６で投票された投票値に基づいて、消失点の検出が行われる。具体的には、消失点検出機能は、撮像画像の各座標位置の投票値を算出し、投票値が最も大きい座標位置を消失点として検出する。

ステップＳ１０８では、ステップＳ１０７で検出した消失点の信頼度を判定するために、信頼度判定機能により、まず、放射状領域の設定が行われる。具体的には、信頼度判定機能は、図８（Ａ）に示すように、消失点よりも下部の画像領域を、消失点を基準として放射状に分割することで、複数の放射状領域を設定する。

ステップＳ１０９では、信頼度判定機能により、信頼度ヒストグラムの生成が行われる。たとえば、信頼度判定機能は、方向成分ヒストグラムに基づいて設定した投票領域が消失点を含む場合に、このような方向成分ヒストグラムが得られた検出領域を検出対象として特定し、放射状領域内に存在する複数の検出領域のうち、検出対象として特定された検出領域の数を、放射状領域ごとにカウントすることで、信頼度ヒストグラムとして生成する。

そして、ステップＳ１１０では、信頼度判定機能により、ステップＳ１０９で生成した信頼度ヒストグラムに基づいて、消失点の信頼度の算出が行われる。具体的には、信頼度判定機能は、信頼度ヒストグラムの分散を算出し、信頼度ヒストグラムの分散が所定の信頼度判定値以上である場合には、消失点の信頼度が高いと判定して、ステップＳ１１１に進む。一方、信頼度ヒストグラムの分散が所定の信頼度判定値未満である場合には、消失点の信頼度が低いと判定して、ステップＳ１１２に進む。

ステップＳ１１１では、消失点の信頼度が高いと判定されているため、消失点が検出できたものと判定され、ステップＳ１０７で検出された消失点を、図９に示す画像処理により検出した消失点として出力する。

一方、ステップＳ１１０で消失点の信頼度が低いと判定された場合には、ステップＳ１１２に進む。ステップＳ１１２では、消失点検出機能により、消失点の不検出処理が行われる。たとえば、消失点検出機能は、処理範囲内における検出領域の設置位置を変更し、変更した検出領域の方向成分に基づいて、消失点を検出する処理を繰り返す。そして、消失点検出機能は、所定の信頼度判定値以上の信頼度の消失点が検出された場合には、消失点が検出できたものと判定し、検出した消失点を出力する。一方、消失点検出機能は、検出領域の設置位置を変更して消失点を検出する処理を所定回数繰り返した場合でも、信頼度判定値以上の消失点が検出できない場合には、消失点は検出できないものと判定し、消失点は検出できないとの検出結果を出力する。あるいは、消失点検出機能は、ステップＳ１０７で検出した消失点を、信頼度が低いという情報を付加して出力する構成としてもよい。

以上のように、第１実施形態では、自車両前方の道路を撮像した撮像画像内に、複数の検出領域を設定し、各検出領域内の方向成分に基づいて、検出領域ごとに、方向成分ヒストグラムを生成する。そして、方向成分ヒストグラムごとに、方向成分ヒストグラムがピークとなる方向に沿って投票領域を設定し、投票領域の各座標位置に投票値を投票し、投票値が最も大きい座標位置を消失点として検出する。これにより、本実施形態では、撮像画像に散在する方向成分が最も多く向かう座標位置を消失点として検出することができるため、たとえば、道路がカーブやＳ字路などである場合や未舗装である場合でも、タイヤの跡や轍などの方向成分に基づいて、消失点を適切に検出することができる。

ここで、図１０（Ａ）は、未舗装の屈曲路を撮像した撮像画像の一例を示す図である。図１０（Ａ）に示すように、未舗装の屈曲路において、白線などの直線成分が存在しない場合でも、タイヤの跡や轍などの方向成分が存在する場合がある。このような場合に、方向成分ヒストグラムを生成し、図１０（Ｂ）に示すように、方向成分ヒストグラムに基づいて投票領域を設定し、投票領域の各座標位置に投票値を投票することで、撮像画像内の方向成分が最も多く向かう座標位置を、消失点として検出することができる。

また、本実施形態では、撮像画像に散在する方向成分の検出方向に沿って複数の投票領域を設定し、複数の投票領域が重複している座標位置においては、各投票領域において投票された投票値を合計することで、各座標位置の投票値を算出する。このように、本実施形態では、撮像画像内に散在する複数の方向成分から消失点を検出することで、たとえ道路に白線などが存在せず、１つ１つの方向成分が不鮮明である場合であっても、消失点を適切に検出することができる。

さらに、本実施形態では、方向成分ヒストグラムのピーク近傍の分散が小さいほど、投票領域の大きさ（検出領域の中心位置を頂点とする投票領域の角度θ）を小さくする。ここで、白線などの直線成分は、コントラストが大きく、所定方向の方向成分が得られやすいため、方向成分ヒストグラムのピーク近傍の分散は小さくなる。また、白線などの直線成分は、その方向に消失点が存在する可能性が高い。そのため、方向成分ヒストグラムのピーク近傍の分散が小さいほど、投票領域の大きさを小さくすることで、投票領域を、消失点が存在する可能性が高い領域に限定し、これにより、消失点の検出精度を向上することができる。また、本実施形態では、方向成分ヒストグラムのピーク近傍の分散が小さいほど、投票領域のうちピーク方向に対応する領域の投票値の重み付けを大きくすることで、白線などの直線成分に応じた方向の投票値の重みを大きくすることができ、その結果、消失点の検出精度をさらに高めることができる。

加えて、本実施形態では、垂直方向（Ｙ軸方向）に沿って設定された投票領域の各座標位置、および水平方向（Ｘ軸方向）に沿って設定された投票領域の各座標位置に投票値を投票しないことで、前方車両のバンパー、建物、道路標識のポールなどに起因する可能性が高い、垂直方向（Ｙ軸方向）の方向成分、および、水平方向（Ｘ軸方向）の方向成分を消失点の検出対象から除外することができ、これにより、消失点の検出精度を高くすることができる。

また、本実施形態では、方向成分ヒストグラムのピークの大きさが所定の基準値以上であるか否かを判定し、ピークの大きさが基準値以上のピークに対応する投票領域のみに投票値を投票することで、図３（Ａ）に示すように、方向成分のピークが得られない方向成分ヒストグラムを消失点の検出対象から除外することができ、これにより、消失点の検出精度を高めることができるとともに、消失点検出時の処理負荷を軽減することができる。

さらに、本実施形態では、方向成分ヒストグラムに複数のピークが存在する場合でも、それぞれのピークの方向に沿って投票領域を設定する。ここで、方向成分ヒストグラムに複数のピークが存在する場合には、一方のピークの方向に消失点が存在し、他の方向には消失点は存在しないため、消失点が存在しない方向に投票領域を設定しない構成とすることも考えられる。しかしながら、消失点が存在しない方向には、他の検出領域から投票領域が設定される可能性は低く、消失点の誤検出が生じる可能性は低い。一方、単に、方向成分ヒストグラムにピークがある場合に、ピークの方向に沿って投票領域を設定する構成とすることで、消失点の検出処理を単純化することができ、これにより、消失点の検出処理の軽減化・高速化を図ることができる。また、このような構成とした場合でも、仮に、道路に道路標示があるために、方向成分ヒストグラムにおいて複数の方向でピークが検出された場合でも、消失点を安定して検出することができる。

さらに、本実施形態では、検出した消失点を基準として放射状領域を設定し、放射状領域内に存在する検出領域のうち、消失点を含む投票領域に対応する検出領域の数をカウントすることで、信頼度ヒストグラムを生成し、生成した信頼度ヒストグラムに基づいて、消失点の信頼度を判定する。ここで、白線などの直線成分に基づく消失点は信頼性が高く、このような直線成分は、消失点を中心として放射状に広がる複数の放射状領域のうち、特定の放射状領域のみに存在する傾向があり、その分、信頼度ヒストグラムの分散は大きくなる傾向にある。そこで、本実施形態では、信頼度ヒストグラムの分散が所定の信頼度判定値以上の場合に、消失点の信頼度が高いと判定し、信頼度が高いと判定された消失点のみを検出することで、消失点の検出精度を高めることができる。

なお、上述した本実施形態では、図２に示すように、撮像画像の下端から１／２〜２／３程度の画像領域を処理範囲として設定する構成を例示したが、この構成に限定されず、たとえば、図１１（Ａ）に示すように、処理範囲を横長のライン状とする構成としてもよい。この場合も、図１１（Ｂ）に示すように、ライン状とした処理範囲内の方向成分に基づいて、消失点を検出することができる。特に、図６に示すように、自車両前方に他車両が存在するために消失点を適切に検出できない場合でも、図１１（Ａ）に示すように、自車両前方の他車両を含まないように処理範囲を設定することで、消失点を適切に検出することができる。なお、自車両前方の他車両が存在する場合には、他車両のバンパーなどの水平方向の方向成分が多く検出される。そのため、水平方向の方向成分を検出し、水平方向の方向成分が所定値以上検出されている場合には、自車両前方に他車両が存在するものと判断して、自車両前方の他車両を含まないように処理範囲をライン状に設定する構成とすることができる。

なお、本実施形態では、路面の傷や路面に描画された道路標示など、消失点が存在する方向以外の方向成分も検出される場合があるが、このような方向成分が存在する割合は低いため、消失点の検出精度に大きな影響が与えるものではない。

《第２実施形態》
続いて、本発明の第２実施形態について説明する。第２実施形態における画像処理システムは、図１に示す第１実施形態の画像処理システムと同様の構成を有し、以下に説明するように動作すること以外は、第１実施形態に係る画像処理システムと同様に動作する。

第２実施形態に係る画像処理装置２０は、第１実施形態に係る画像処理装置２０の機能に加えて、消失点検出機能により検出された消失点に基づいて、自車両の進行方向前方の道路形状を検出する道路形状検出機能をさらに備える。以下に、図１２を参照して、第２実施形態に係る道路形状検出機能について説明する。なお、図１２は、道路形状の検出方法を説明するための図である。

道路形状検出機能は、自車両前方の道路形状を検出するために、まず、図１２（Ａ）に示すように、処理範囲内に水平ライン領域を設定する。なお、本実施形態では、処理範囲内に複数の水平ライン領域を下から順に配置するため、道路形状検出機能は、まず、１つ目の水平ライン領域を処理範囲の下端近傍に設定することが好ましい。また、水平ライン領域の大きさ（Ｙ軸方向の大きさ）は、特に限定されないが、たとえば、処理範囲内に５〜７個の水平ライン領域を配置できる大きさ、あるいは、処理範囲内に１０〜２０個の水平ライン領域を配置できる大きさなどに設定することができる。

次に、道路形状検出機能は、水平ライン領域に複数の検出領域を設定し、水平ライン領域の検出領域の方向成分に基づいて、水平ライン領域の方向成分に基づく消失点を検出する。たとえば、図１２（Ａ）に示す例では、道路形状検出機能は、水平ライン領域Ａ内に設置した複数の検出領域（不図示）の方向成分に基づいて、消失点Ａを検出する。

そして、道路形状検出機能は、図１２（Ａ）に示すように、検出した消失点Ａと水平ライン領域Ａの左右の端部とを結ぶ線Ｌ_ＡＲ，Ｌ_ＡＬをそれぞれ設定し、図１２（Ｂ）に示すように、消失点Ａと線Ｌ_ＡＲ，Ｌ_ＡＬとにより形成される三角形状の範囲（図１２（Ｂ）において破線で示す範囲）において、新たな水平ライン領域Ｂを設定する。

そして、道路形状検出機能は、水平ライン領域Ｂの方向成分に基づいて消失点Ｂを検出し、検出した消失点Ｂと水平ライン領域Ｂの左右端部とを結ぶ線Ｌ_ＢＲ，Ｌ_ＢＬをそれぞれ設定し、消失点Ｂと線Ｌ_ＢＲ，Ｌ_ＢＬとにより形成される三角形状の範囲内において、新たな水平ライン領域Ｃを設定する。同様に、道路形状検出機能は、水平ライン領域の設定と消失点の検出とを繰り返すことで、図１３に示すように、複数の水平ライン領域に対応する複数の消失点を、消失点の列データとして検出する。

そして、道路形状検出機能は、検出した消失点の列データに基づいて、自車両前方の道路形状を検出する。ここで、水平ライン領域ごとに検出した消失点は、それぞれの水平ライン領域の方向成分に基づくものである。そのため、水平ライン領域の道路が直進している場合には、この水平ライン領域の消失点は自車両の直進方向に検出され、水平ライン領域が左方向にカーブしている場合には、この水平ライン領域の消失点は自車両の直進方向よりも左側に検出され、水平ライン領域が右方向にカーブしている場合には、この水平ライン領域の消失点は自車両の直進方向よりも右側に検出される。

そこで、道路形状検出機能は、消失点の列データが直進方向に真っ直ぐ伸びている場合には、道路の形状は直線であると検出し、また、消失点の列データが右方向にカーブしている場合には道路の形状を右カーブであると検出し、消失点の列データが左にカーブしている場合には、道路の形状は左カーブであると検出する。また、図１３に示すように、消失点の列データが左右に蛇行している場合には、道路の形状は左右に蛇行していると検出する。

また、道路形状検出機能は、図１４に示すように、水平ライン領域ごとに、水平ライン領域の左右両端の中点を検出し、複数の水平ライン領域で算出した複数の中点の列データに基づいて、自車両前方の道路の形状を検出することもできる。たとえば、図１４に示す例では、図１３に示す例と同様に、中点の列データが蛇行しているため、道路形状検出機能は、自車両前方の道路の形状を左右に蛇行しているものとして検出する。

さらに、第２実施形態において、道路形状検出機能は、消失点の列データに基づいて、道路勾配の検出を行う。たとえば、水平エリア領域が下り坂である場合には、水平エリア領域の消失点は、水平アリア領域が平坦である場合の消失点よりも下側（Ｙ座標正方向側）に検出される。反対に、水平エリア領域が上り坂である場合には、水平エリア領域の消失点は、水平アリア領域Ａ１が平坦である場合の消失点よりも上側（Ｙ座標負方向側）に検出される。そのため、道路形状検出機能は、たとえば、各水平エリア領域が平坦である場合の消失点のＹ座標位置を記憶しておき、各水平エリア領域が平坦である場合の消失点のＹ座標位置と、実際に検出した各水平エリアの消失点のＹ座標位置とを比較することで、自車両前方の道路勾配を検出することができる。

続いて、図１５を参照して、第２実施形態に係る画像処理装置について説明する。図１５は、第２実施形態に係る画像処理を示すフローチャートである。なお、図１５に示す画像処理は、たとえば、イグニッションがオンとなった場合に、画像処理装置２０により実行される。

まず、ステップＳ２０１では、ステップＳ１０１と同様に、処理範囲の設定が行われる。そして、ステップＳ２０２では、図１２（Ａ）に示すように、道路形状検出機能により、ステップＳ２０１で設定された処理範囲内において、水平ライン領域の設定が行われる。ステップＳ２０３では、ステップＳ２０２で設定された水平ライン領域内に、複数の検出領域の設定が行われる。

ステップＳ２０４〜Ｓ２１０では、第１実施形態のステップＳ１０３〜Ｓ１１１と同様に、各検出領域の方向成分に基づいて、消失点の検出が行われる。すなわち、第２実施形態では、ステップＳ２０２で設定された水平ライン領域の方向成分に基づいて、該水平ライン領域の消失点が検出されることとなる。

ステップＳ２１１では、道路形状検出機能により、水平ライン領域が全て設定されたか否かの判断が行われる。図１３に示すように、処理範囲内に水平ライン領域が全て設定されており、複数の水平ライン領域に対応する複数の消失点が、消失点の列データとして検出された場合には、ステップＳ２１２に進む。一方、水平ライン領域が全て設定されていない場合には、ステップＳ２０３に戻り、図１２（Ｂ）に示すように、消失点と水平ライン領域の左右両端とを結ぶ三角形状の範囲内で、新たな水平ライン領域の設定が行われる。

ステップＳ２１２では、消失点の列データが検出されたと判断されているため、道路形状検出機能により、消失点の列データに基づいて、道路形状の検出が行われる。具体的には、道路形状検出機能は、消失点の列データが直進方向に真っ直ぐ伸びている場合には、道路の形状は直線であると検出し、また、消失点の列データが右方向にカーブしている場合には道路の形状を右カーブと検出し、消失点の列データが左にカーブしている場合には、道路の形状は左カーブであると検出する。

さらに、ステップＳ２１３において、道路形状検出機能は、消失点の列データに基づいて、自車両前方の道路勾配を検出する。たとえば、道路形状検出機能は、各水平エリア領域が平坦である場合の消失点のＹ座標位置と、実際に検出した各水平エリアの消失点のＹ座標位置とを比較することで、自車両前方の道路勾配を検出することができる。

以上のように、第２実施形態では、処理範囲内に複数の水平ライン領域を設定し、各水平ライン領域の方向成分に基づいて消失点を検出することで、複数の水平ライン領域に対応する複数の消失点を、消失点の列データとして検出し、検出した消失点の列データに基づいて、自車両前方の道路形状を検出する。水平ライン領域ごとに検出した各消失点は、それぞれの水平ライン領域の方向成分に基づくものであるため、水平ライン領域の消失点の列データに基づいて、道路形状を適切に検出することができる。

また、第２実施形態では、水平ライン領域を設定する際に、既に設定した水平ライン領域の方向成分に基づく消失点と、既に設定した水平ライン領域の左右端部とを結ぶ三角形状の範囲内において、新たな水平ライン領域を設定することで、新たに設定する水平ライン領域を、路面を撮像した画像領域に限定することができ、路面以外の方向成分を消失点の検出対象から除外することができるため、消失点の検出精度を高めることができる。

さらに、第２実施形態では、消失点の列データに基づいて、自車両前方の道路勾配を検出する。水平エリア領域が下り坂である場合には、水平エリア領域の消失点は、水平アリア領域が平坦である場合の消失点よりも下側（Ｙ座標正方向側）に検出され、水平エリア領域が上り坂である場合には、水平エリア領域の消失点は、水平アリア領域が平坦である場合の消失点よりも上側（Ｙ座標負方向側）に検出される。そのため、第２実施形態では、水平エリア領域ごとに、水平エリア領域が平坦である場合の消失点のＹ座標位置と、実際に検出した各水平エリアの消失点のＹ座標位置とを比較することで、自車両前方の道路勾配を適切に検出することができる。

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

たとえば、上述した実施形態では、撮像画像の下端から１／２〜２／３程度の画像領域を処理範囲として設定する構成を例示したが、この構成に限定されず、たとえば、消失点よりも所定画素数（たとえば１０〜２０画素程度）下の位置から撮像画像の最下端までの画像領域を処理範囲として設定する構成としてもよい。

また、上述した第２実施形態では、消失点の列データを検出する際に、複数の水平ライン領域を隣接するように配置する構成を例示したが、この構成に限定されず、たとえば、水平ライン領域の一部が互いに重複するように、複数の水平ライン領域をＹ軸方向に数画素ずつずらして配置する構成としてもよいし、あるいは、複数の水平ライン領域をＹ軸方向に数画素だけ離して配置する構成としてもよい。

さらに、上述した実施形態では、方向成分ヒストグラムのピークに沿って投票領域を設定し、投票領域に投票値を投票し、投票値が最も大きい座標位置を消失点として検出する構成を例示したが、この構成に限定されず、たとえば、方向成分ヒストグラムのピークに沿って、消失点を検出するための投票領域を設定し、撮像画像内の座標位置のうち投票領域が最も重複する座標値を消失点として検出する構成としてもよい。この場合も、撮像画像内に散在する方向成分が最も多く向かう方向にある座標位置を消失点として検出することができるため、たとえ白線などの直線成分が存在しない場合でも、消失点を適切に検出することができる。

なお、上述した実施形態のカメラ１０は本発明の撮像手段に、画像処理装置２０の検出領域設定機能は本発明の検出領域設定手段に、画像処理装置２０のヒストグラム生成機能は本発明の方向成分検出手段および生成手段に、画像処理装置２０の投票領域設定機能は本発明の評価領域設定手段に、画像処理装置２０の投票機能は本発明の投票手段に、画像処理装置２０の消失点検出機能は本発明の消失点検出手段に、画像処理装置２０の信頼度判定機能は本発明の放射状領域設定手段、信頼度ヒストグラム生成手段、および信頼度判定手段に、画像処理装置２０の道路形状検出機能は本発明の帯状領域設定手段、消失点列検出手段、および道路形状検出手段に、それぞれ対応する。

１０…カメラ
２０…画像処理装置

Claims (15)

1. 自車両の進行方向を撮像し、撮像した像に対応する撮像画像を出力する撮像手段と、
   前記撮像画像内に複数の検出領域を設定する検出領域設定手段と、
   前記検出領域内において、複数の方向のエッジ成分を前記方向ごとの方向成分として検出するとともに、検出した前記方向成分に対して所定のカウント値をそれぞれ出力する方向成分検出手段と、
   前記方向成分のカウント値を前記方向成分の検出方向ごとにカウントすることで、前記方向成分のヒストグラムを前記検出領域ごとに生成する生成手段と、
   前記方向成分のヒストグラムのピーク方向に消失点が存在する可能性があるものと判断し、前記方向成分のヒストグラムのピーク方向に沿って、前記消失点が存在する可能性を評価するための評価領域を設定することで、前記撮像画像内に複数の前記評価領域を設定する評価領域設定手段と、
   前記撮像画像内の座標位置のうち前記評価領域が最も重複している座標位置を前記消失点として検出する消失点検出手段と、
   前記消失点検出手段により前記消失点を検出した後に、前記撮像画像のうち該消失点よりも下部の画像領域を、該消失点を中心として放射状に分割することで、複数の放射状領域を設定する放射状領域設定手段と、
   前記放射状領域内に設定された前記検出領域のうち、前記消失点を含む前記評価領域に対応する前記検出領域の数をカウントすることで、前記消失点の信頼度を判定するための信頼度ヒストグラムを生成する信頼度ヒストグラム生成手段と、
   前記信頼度ヒストグラムの分散に基づいて、前記消失点の信頼度を判定する信頼度判定手段と、を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記評価領域内の各座標位置に、前記消失点が存在する可能性に応じた投票値を投票する投票手段をさらに備え、
   前記消失点検出手段は、前記座標位置ごとに前記投票値の合計値を算出し、前記撮像画像内の座標位置のうち、前記投票値の合計値が最も大きい座標位置を前記消失点として検出することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記投票手段は、前記評価領域内の各座標位置に前記投票値を投票する際に、前記方向成分のヒストグラムのピーク方向に近い座標位置ほど、前記投票値の重み付けを大きくすることを特徴とする画像処理装置。
4. 請求項２または３に記載の画像処理装置において、
   前記投票手段は、前記評価領域内の各座標位置に前記投票値を投票する際に、前記方向成分のヒストグラムのピーク近傍の分散が大きいほど、前記ヒストグラムのピーク近傍の座標位置における、前記投票値の重み付けを大きくすることを特徴とする画像処理装置。
5. 請求項２〜４のいずれかに記載の画像処理装置において、
   前記投票手段は、前記方向成分のヒストグラムのピーク方向が車幅方向または前記車幅方向に対して垂直方向である場合には、該ヒストグラムのピークに沿って設定された前記評価領域に対して前記投票値を投票しないことを特徴とする画像処理装置。
6. 請求項２〜４のいずれかに記載の画像処理装置において、
   前記投票手段は、前記方向成分のヒストグラムのピーク方向が車幅方向または前記車幅方向に対して垂直方向であり、かつ、該ヒストグラムのピークの大きさが所定値以上である場合に、該ヒストグラムのピークに沿って設定された前記評価領域に対して前記投票値を投票しないことを特徴とする画像処理装置。
7. 請求項１〜６のいずれかに記載の画像処理装置において、
   前記評価領域設定手段は、前記方向成分のヒストグラムに複数のピークが存在する場合には、前記ピークの大きさ、または、前記ピーク近傍の分散に基づいて、１または２以上のピークを選択し、選択したピークの方向に沿って１または２以上の前記評価領域を設定することを特徴とする画像処理装置。
8. 請求項２〜７のいずれかに記載の画像処理装置において、
   前記評価領域内の各座標位置に、前記消失点が存在する可能性に応じた投票値を投票する投票手段をさらに備え、
   前記投票手段は、前記方向成分のヒストグラムのピークの大きさが所定の基準値未満である場合には、該ヒストグラムのピークに沿って設定された前記評価領域に対して前記投票値を投票しないことを特徴とする画像処理装置。
9. 請求項１〜８のいずれかに記載の画像処理装置において、
   前記消失点検出手段は、前記消失点の信頼度が所定の信頼度判定値以下であると判定された場合に、前記検出領域設定手段に前記検出領域の設置位置を変更させることを特徴とする画像処理装置。
10. 請求項１〜９のいずれかに記載の画像処理装置において、
    前記撮像画像内において、車幅方向に延在する領域を帯状領域として設定する帯状領域設定手段と、
    前記帯状領域内に前記複数の検出領域を設定し、前記各検出領域内での前記方向成分を前記帯状領域の方向成分として検出する消失点列検出手段と、
    自車両前方の道路の形状を検出する道路形状検出手段とを備え、
    前記消失点検出手段は、
    複数の前記帯状領域に対して、前記帯状領域の方向成分に基づく前記消失点の検出を繰り返すことで、前記複数の前記帯状領域に対応する複数の前記消失点を検出し、
    前記消失点列検出手段は、
    前記複数の前記帯状領域に対応する前記複数の前記消失点を、消失点の列データとして検出し、
    前記道路形状検出手段は、
    前記消失点の列データに基づいて、前記自車両前方の道路の形状を検出することを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記帯状領域設定手段は、前記撮像画像の下部から上部に向かって複数の前記帯状領域を順に設定することを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置において、
    前記帯状領域設定手段は、先に設定される前記帯状領域を第１帯状領域とし、前記第１帯状領域の次に設定される前記帯状領域を第２帯状領域とした場合に、前記第１帯状領域の左右両端と、前記第１帯状領域の方向成分に基づいて検出された消失点とにより形成される三角形状の領域内において、前記第２帯状領域を設定することを特徴とする画像処理装置。
13. 請求項１０〜１２のいずれかに記載の画像処理装置において、
    前記道路形状検出手段は、前記帯状領域の車幅方向における中点を前記帯状領域ごとに検出することで、前記複数の帯状領域で検出された複数の中点を、中点の列データとして検出し、検出した前記中点の列データに基づいて、自車両前方の道路の形状を検出することを特徴とする画像処理装置。
14. 請求項１０〜１３のいずれかに記載の画像処理装置において、
    前記道路形状検出手段は、前記帯状領域の方向成分に基づいて検出された、前記消失点の前記車幅方向に対する垂直方向の座標位置に基づいて、自車両前方の道路勾配を検出することを特徴とする道路形状検出装置。
15. 撮像画像内に複数の検出領域を設定し、前記検出領域内における複数方向のエッジ成分を、前記検出領域の方向成分として検出するとともに、検出した前記方向成分に対して所定のカウント値をそれぞれ出力し、前記方向成分のカウント値を前記方向成分の検出方向ごとにカウントすることで、前記方向成分のヒストグラムを前記検出領域ごとに生成し、前記方向成分のヒストグラムがピークとなる方向に沿って、消失点が存在する可能性を評価するための評価領域を設定し、前記撮像画像内の座標位置のうち、前記評価領域が最も重複する座標位置を前記消失点として検出し、前記消失点を検出した後に、前記撮像画像のうち該消失点よりも下部の画像領域を、該消失点を中心として放射状に分割することで、複数の放射状領域を設定し、前記放射状領域内に設定された前記検出領域のうち、前記消失点を含む前記評価領域に対応する前記検出領域の数をカウントすることで、前記消失点の信頼度を判定するための信頼度ヒストグラムを生成し、前記信頼度ヒストグラムの分散に基づいて、前記消失点の信頼度を判定することを特徴とする画像処理方法。

Images