JP6233345B2 - 路面勾配検出装置 - Google Patents

Description

本発明は、車両の周囲の撮像画像から路面勾配を検出する路面勾配検出装置に関する。

従来、車両周囲の撮像画像から路面勾配を検出する装置に関する技術文献として、例えば、特開平９−３２５０２６号公報が知られている。この公報には、ステレオカメラの撮像画像の中から白線部分を含む画像領域の視差を算出し、算出した画像領域の視差から高さを求めることにより路面の勾配角を検出する路面勾配の検出方法が記載されている。

特開平９−３２５０２６号公報

ところで、ステレオカメラの撮像画像から画像領域の視差を算出する手法としては、例えば、ＳＧＭ［Semi Global Matching］法が知られている。しかしながら、ＳＧＭ法では、画像的な特徴の少ない路面に対しては、十分な精度で視差を算出することができないという課題があった。前述した従来の路面勾配の検出方法では、白線部分を含む画像領域を用いることにより視差の算出精度を高め、路面勾配の検出精度を向上させている。しかしながら、この検出方法は、路面上の白線が認識できないほどに掠れているような場合又は路面上に白線が存在しない場合には適用できず、路面勾配の検出精度を向上できる状況が限られる。

そこで、本技術分野では、撮像画像内に白線が含まれない場合であっても路面勾配の検出精度を向上させることができる路面勾配検出装置を提供することが望まれている。

上記課題を解決するため、本発明の一側面は、車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて路面勾配を検出する路面勾配検出装置であって、撮像画像を分割して複数の画像領域を設定する画像領域設定部と、画像領域を構成する画素範囲毎の座標を認識する座標認識部と、撮像画像の視差情報に基づいて、画素範囲毎の視差を算出する視差算出部と、撮像画像の輝度情報に基づいて、画素範囲毎の輝度を算出する輝度算出部と、画素範囲毎の輝度及び画素範囲毎の座標に基づいて、隣り合う画素範囲との輝度差が大きいほど画素範囲の重み付けを大きく設定する、又は、画素範囲毎の輝度及び画素範囲毎の座標に基づいて、隣り合う画素範囲との輝度差が第１の閾値以上である場合に、隣り合う画素範囲との輝度差が第１の閾値未満である場合と比べて画素範囲の重み付けを大きく設定する重み付け設定部と、画素範囲毎の視差、画素範囲毎の重み付けの大きさ、及び画素範囲毎の座標に基づいて、画像領域毎の代表視差及び画像領域毎の代表高さを算出する代表高さ算出部と、画像領域毎の代表視差及び画像領域毎の代表高さに基づいて、撮像画像から路面勾配を検出する路面勾配検出部と、を備える。

本発明の一側面に係る路面勾配検出装置によれば、隣り合う画素範囲との輝度差に応じて設定された画素範囲の重み付けを利用して画像領域の代表高さを算出するので、輝度差を考慮せずに画像領域の代表高さを算出するような従来の場合と比べて、代表高さを精度良く算出することができる。しかも、この路面勾配検出装置によれば、白線を含む画像領域に限定して路面勾配を検出する従来の装置と比べて、路面上の白線が認識できないほどに掠れている状態であっても輝度差が生じていれば重み付けに反映することができる。また、この路面勾配検出装置では、白線の他に、路面の凹凸又は路面のマンホール等によって輝度差が生じる場合であっても重み付けに反映することができる。従って、この路面勾配検出装置によれば、撮像画像内に白線が含まれない場合であっても、輝度差に応じて設定された画素範囲の重み付けを利用して代表高さを精度良く算出することができるので、路面勾配の検出精度を向上させることができる。

上記路面勾配検出装置において、撮像画像に含まれる立体物を検出する立体物検出部を更に備え、画像領域設定部は、撮像画像上で立体物を構成する画素を含まないように画像領域を設定してもよい。
この路面勾配検出装置によれば、路面勾配検出の対象となる画像領域から他車両等の立体物を構成する画素を除くことができる。従って、この路面勾配検出装置によれば、撮像画像内の立体物によって生じる輝度差の影響により、誤った重み付けが設定され、路面勾配の検出精度が低下することを抑制することができる。

上記路面勾配検出装置において、代表高さ算出部は、画素範囲毎の視差及び画素範囲毎の座標に基づいて画素範囲毎の高さを算出すると共に、画像領域内で高さの等しい画素範囲の重み付けの大きさを加算し、重み付けの加算値が最も大きい高さを画像領域の代表高さとして算出してもよい。
この路面勾配検出装置によれば、画像領域毎に高さの等しい画素範囲の重み付けの大きさを加算し、重み付けの加算値が最も大きい高さを画像領域の代表高さとして算出するので、画像領域内の画像範囲の視差の平均値を代表高さとするような従来の場合と比べて、代表高さを精度良く算出することができる。

上記路面勾配検出装置において、代表高さ算出部は、画像領域内で視差の等しい画素範囲の重み付けの大きさを加算し、重み付けの加算値が最も大きい視差を画像領域の代表視差として算出してもよい。
この路面勾配検出装置によれば、画像領域内で視差の等しい画素範囲の重み付けの大きさを加算し、重み付けの加算値が最も大きい視差を画像領域の代表視差として算出するので、画像領域内の画像範囲の視差の平均値を代表視差とするような従来の場合と比べて、代表視差を精度良く算出することができる。

以上説明したように、本発明の一側面に係る路面勾配検出装置によれば、撮像画像内に白線が含まれない場合であっても路面勾配の検出精度を向上させることができる。

本実施形態に係る路面勾配検出装置を示すブロック図である。 （ａ）ステレオカメラにより撮像された撮像画像を示す図である。（ｂ）複数の画像領域が設定された撮像画像を示す図である。（ｃ）画像領域を構成する複数の画素範囲を示す図である。 立体物を含む撮像画像を示す図である。 （ａ）図２（ａ）と異なる路面の撮像画像に設定された画像領域を示す図である。（ｂ）輝度差と画素範囲の横座標との関係を示すグラフである。（ｃ）高さと重み付けの加算値との関係を示すグラフである。 本実施形態に係る路面勾配検出装置の路面勾配検出制御を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１に示す本実施形態に係る路面勾配検出装置１は、乗用車等の車両に搭載され、車両の周囲を撮像した撮像画像から得られた視差情報に基づいて路面勾配を検出する。視差情報とは、例えば、撮像画像の画素（ピクセル）毎の視差の情報である。路面勾配とは、車両の走行可能な路面の勾配である。なお、路面には、車両の走行する道路の路面の他、駐車場の通路及び駐車スペースの路面が含まれてもよい。

路面勾配検出装置１は、車両の周囲を撮像する車載カメラにより撮像画像を取得し、撮像画像から生成した視差画像の視差情報に基づいて路面勾配を検出する。視差画像とは、視差情報を含む画像である。視差画像には、例えば、視差画像を構成する各画素に視差情報が含まれている。

［路面勾配検出装置の構成］
図１に示すように、路面勾配検出装置１は、路面勾配を検出するためのＥＣＵ［Electronic Control Unit］２、及びステレオカメラ（車載カメラ）３を備えている。

ＥＣＵ２は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の処理を実行する。ＥＣＵ２は、複数の電子制御ユニットから構成されていてもよい。また、後述するＥＣＵ２の機能の少なくとも一部は、車両と通信可能な情報管理センター等の施設のコンピュータ又は携帯情報端末において実行されてもよい。

ステレオカメラ３は、車両の周囲を撮像して撮像画像を取得する画像取得機器である。ステレオカメラ３は、両眼視差を再現するように配置された第１カメラ４及び第２カメラ５を有している。第１カメラ４及び第２カメラ５は、例えば、車両のフロントガラスの裏側に設けられ、車両の前方を撮像する。なお、第１カメラ４及び第２カメラ５は、車両の側部又は車両の後部（例えばリアガラスの裏側）に設けられ、車両の側方又は後方を撮像してもよい。ステレオカメラ３は、撮像した撮像画像をＥＣＵ２へ送信する。

なお、路面勾配検出装置１は、ステレオカメラ３に代えて、単眼カメラを備えていてもよい。単眼カメラにおいても、周知の手法（例えば走行中の車両における単眼カメラからの撮像の時間差を利用した手法）を用いることにより、撮像画像から視差情報を得ることができる。

次に、ＥＣＵ２の機能的構成について説明する。図１に示すように、ＥＣＵ２は、画像取得部１０、画像領域設定部１１、立体物検出部１２、座標認識部１３、視差算出部１４、輝度算出部１５、重み付け設定部１６、代表高さ算出部１７、及び路面勾配検出部１８を有している。

画像取得部１０は、ステレオカメラ３の撮像した撮像画像を取得する。ここで、図２（ａ）は、ステレオカメラ３により撮像された撮像画像を示す図である。図２（ａ）は、車両の前方を撮像した撮像画像を示している。図２（ａ）には、車両の走行車線を形成する白線（車線境界線，車両通行帯境界線等）Ｌ１，Ｌ２、白線Ｌ１と共に隣接車線を形成する白線Ｌ３、及び横断歩道Ｃが示されている。また、図２（ａ）に撮像画像のｘｙ座標系を示す。ｘ座標は、撮像画像の横方向の座標（横座標）であり、ｙ座標は撮像画像の縦方向の座標（縦座標）である。ｘ座標及びｙ座標は、例えば、撮像画像を構成する画素単位で設定されている。ｘｙ座標系は、例えば、撮像画像の左下の角の画素Ａを原点（ｘ，ｙ：０，０）として設定されている。

また、画像取得部１０は、例えば、ステレオカメラ３における第１カメラ４の撮像画像及び第２カメラ５の撮像画像に基づいて、周知のステレオ画像処理等により視差情報を取得する。画像取得部１０は、例えば、ステレオカメラ３における第１カメラ４の撮像画像及び第２カメラ５の撮像画像に基づいて、周知の手法により、輝度情報を取得する。輝度情報とは、例えば、撮像画像の画素毎の輝度の情報である。

なお、画像取得部１０は、ステレオカメラ３の撮像画像に基づいて、車両の走行する走行車線の車線境界を検出してもよい。画像取得部１０は、例えば、撮像画像に対して、周知の画像処理（例えばエッジ検出処理）を行うことにより白線認識（白線Ｌ１，Ｌ２の認識）を行ってもよい。この場合、画像取得部１０は、車線境界検出部として機能する。

画像領域設定部１１は、ステレオカメラ３の撮像画像を分割して複数の画像領域を設定する。画像領域とは、撮像画像を分割して形成された領域である。ここで、図２（ｂ）は、複数の画像領域が設定された撮像画像を示す図である。図２（ｂ）に、撮像画像を分割するグリッドＧ、及びグリッドＧによって形成された画像領域Ｐａを示す。図２（ｂ）に示すグリッドＧの横線は、例えば、撮像画像の横方向（車両の車幅方向）と平行な複数の線である。グリッドＧの縦線は、例えば、撮像画像における消失点に向かって収束する複数の線である。図２（ｂ）に示すように、画像領域設定部１１は、例えば、撮像画像の下側（すなわち車両の手前側）から上側に向かうほど画像領域の横幅が小さくなる台形状に、撮像画像を複数の画像領域に分割する。画像領域設定部１１は、例えば、撮像画像の座標に基づいて、予め設定されたグリッドＧを撮像画像に適用することにより画像領域を設定する。

なお、図２（ｂ）に示すグリッドＧ及び画像領域は一例であり、グリッドＧ及び画像領域の分割の方法は特に限定されず、周知の手法を採用することができる。画像領域設定部１１は、例えば、撮像画像の横方向に平行な横線と撮像画像の縦方向に平行な縦線を有するグリッドＧを採用することで、長方形状又は正方形状の画像領域を設定してもよい。

続いて、図２（ｃ）は、画像領域Ｐａを構成する複数の画素範囲Ｑ１〜Ｑ８を示す図である。画素範囲とは、撮像画像上において単一の画素からなる範囲又は連続する複数の画素からなる範囲である。例えば、図２（ｃ）に示す画素範囲Ｑ１〜Ｑ８は、それぞれ単一の画素からなる範囲である。画素範囲は、全ての画像領域において同数の画素を含む同形状の範囲となる。これらの複数の画素範囲が集まって画像領域を形成している。言い換えると、画像領域は、複数の画素範囲に分けられる。画像領域設定部１１は、画素範囲が複数の画素からなる場合には、画像領域の設定と共に、画像領域を構成する複数の画素範囲を設定する。画像領域設定部１１は、例えば、画像領域と同様に、予め設定されたグリッドを採用することで複数の画素範囲を設定する。

画像領域設定部１１は、後述する立体物検出部１２の検出結果に基づいて、画像領域を設定してもよい。画像領域設定部１１は、例えば、立体物検出部１２が立体物を検出した場合、撮像画像上で立体物を構成する画素を含まないように画像領域を設定する。これにより、路面勾配検出装置１は、撮像画像に含まれる他車両及び電柱等の立体物に起因して生じる画像範囲毎の輝度差の影響で、路面勾配の検出の精度が低下することを避けられる。

また、画像領域設定部１１は、撮像画像のうち予め設定された部分に対して画像領域を設定してもよい。画像領域設定部１１は、例えば、画像取得部１０が車両の走行する走行車線の車線境界を検出した場合、撮像画像のうち走行車線内の部分に対して画像領域を設定してもよい。これにより、路面勾配検出装置１は、走行車線外の他車両及び電柱等に起因して生じる輝度差の影響で、路面勾配の検出の精度が低下することを避けられる。

立体物検出部１２は、例えば、ステレオカメラ３の撮像画像に基づいて、撮像画像に含まれる立体物を検出する。立体物とは、例えば、他車両（四輪車、二輪車）、電柱又は壁等の構造物、及び歩行者である。立体物検出部１２は、例えば、画像取得部１０の認識した撮像画像の視差情報及び輝度情報の少なくとも一方に基づいて、周知の画像処理（例えばエッジ検出処理、パターン認識処理）により、立体物を検出する。立体物検出部１２は、例えば、撮像画像に含まれる立体物を検出した場合、撮像画像上で立体物を構成する画素を認識する。

なお、立体物検出部１２は、車両が立体物を検出するレーダを備えている場合には、ステレオカメラ３の撮像画像の他、レーダの検出結果を利用して立体物を検出してもよい。立体物検出部１２は、例えば、周知の手法により、ステレオカメラ３の撮像画像及びレーダの検出結果から撮像画像内に含まれる立体物を検出する。また、立体物検出部１２は、撮像画像上における大きさが所定の大きさ以下である場合には、立体物として検出しなくてもよい。

ここで、図３は、撮像画像上で立体物を構成する画素範囲を示す図である。図３に示す状況において、立体物検出部１２は、ステレオカメラ３の撮像画像から立体物である先行車Ｎを検出する。立体物検出部１２は、立体物である先行車Ｎを検出した場合、撮像画像上で先行車Ｎを構成する画素を認識する。立体物検出部１２が撮像画像上で先行車Ｎを構成する画素を認識した場合、画像領域設定部１１は、先行車Ｎを構成する画素を含まないように画像領域を設定する。また、画像領域設定部１１は、画素範囲が複数の画素からなる場合には、先行車Ｎを構成する画素を含まないように画素範囲を設定する。なお、ＥＣＵ２は、必ずしも立体物検出部１２を有する必要はない。

座標認識部１３は、撮像画像における画素範囲毎の座標を認識する。座標認識部１３は、画素範囲が単一の画素からなる場合、画素毎の座標を画素範囲毎の座標として認識する。座標認識部１３は、例えば、画素範囲が複数の画素から構成される場合、画素範囲の中心位置の座標を画素範囲の座標として認識する。画素範囲の中心位置のｘ座標の値は、例えば、画素範囲を構成する各画素のｘ座標の値の合計を当該画素範囲を構成する画素の数で除して得られる値である。同様に、画素範囲の中心位置のｙ座標の値は、例えば、画素範囲を構成する各画素のｙ座標の値の合計を当該画素範囲を構成する画素の数で除して得られる値である。なお、座標認識部１３は、画素範囲が複数の画素から構成される場合、画素範囲の中心位置の座標以外を画素範囲の座標として認識してもよい。

視差算出部１４は、ステレオカメラ３の撮像画像に基づいて、画素範囲毎の視差を算出する。視差算出部１４は、例えば、画像取得部１０が撮像画像から取得した視差情報（例えば画素単位の視差情報）に基づいて、周知の手法により画素範囲毎の視差を算出する。視差算出部１４は、画素範囲が単一の画素からなる場合、画素毎の視差を画素範囲毎の視差として算出する。一方、視差算出部１４は、例えば、画素範囲が複数の画素からなる場合、画素範囲を構成する複数の画素の視差の平均値を当該画素範囲の視差として算出する。視差算出部１４は、画素範囲を構成する複数の画素の視差のうち最小の視差又は最大の視差を画素範囲の視差として算出してもよい。

輝度算出部１５は、ステレオカメラ３の撮像画像の輝度情報に基づいて、画素範囲毎の視差を算出する。輝度算出部１５は、画素範囲が単一の画素からなる場合、画素毎の輝度を画素範囲毎の輝度として算出する。一方、輝度算出部１５は、例えば、画素範囲が複数の画素からなる場合、画素範囲を構成する複数の画素の輝度の平均値を当該画素範囲の輝度として算出する。輝度算出部１５は、画素範囲を構成する複数の画素の輝度のうち最小の輝度又は最大の輝度を画素範囲の輝度として算出してもよい。

重み付け設定部１６は、座標認識部１３の認識した画素範囲毎の座標及び輝度算出部１５の算出した画素範囲毎の輝度に基づいて、画素範囲毎の重み付けを設定する。重み付け設定部１６は、例えば、隣り合う画素範囲との輝度差が大きいほど画素範囲の重み付けを大きく設定する。

輝度差とは、隣り合う画素範囲の輝度の差である。重み付け設定部１６は、例えば、所定の画素範囲に対して隣り合う画素範囲が複数存在する場合には、複数の隣り合う画素範囲と所定の画素範囲との輝度差のうち、最も大きい輝度差を所定の画素範囲の輝度差として用いる。重み付け設定部１６は、座標認識部１３の認識した画素範囲毎の座標に基づいて、隣り合う画素範囲を認識する。重み付け設定部１６は、画素範囲に対して隣り合う画素範囲が複数存在する場合、最も大きい輝度差ではなく、周知の手法により求められた輝度差を画素範囲の輝度差としてもよい。また、重み付け設定部１６は、輝度差の比較対象を同じ画像領域内の画素範囲に限定してもよい。重み付け設定部１６は、立体物検出部１２が撮像画像上で立体物を構成する画素を認識した場合、立体物を構成する画素を含む画素範囲以外を輝度差の比較対象としてもよい。

重み付けは、例えば、画素範囲の視差の信頼性に相当する。重み付け設定部１６は、撮像画像の画像処理による視差の算出において、路面を構成する白線等に起因して輝度差が高い画素範囲は視差の算出の精度が高くなることから、隣り合う画素範囲との輝度差が大きいほど画素範囲の重み付けを大きく設定する。重み付け設定部１６は、例えば、隣り合う画素範囲との輝度差に比例する大きさの重み付けを画素範囲に設定する。

或いは、重み付け設定部１６は、隣り合う画素範囲との輝度差が第１の閾値以上である場合に、隣り合う画素範囲との輝度差が第１の閾値未満である場合と比べて画素範囲の重み付けを大きく設定する。第１の閾値は、輝度差に応じた画素範囲の重み付けのために適切に設定された閾値である。なお、重み付け設定部１６は、例えば、第１の閾値より大きい第２の閾値を設定し、隣り合う画素範囲との輝度差が第２の閾値以上である場合に、隣り合う画素範囲との輝度差が第２の閾値未満である場合と比べて画素範囲の重み付けを大きく設定してもよい。同様に、重み付け設定部１６は、輝度差に対して重み付けの大きさを段階的に設定するための閾値を３つ以上設定してもよい。

代表高さ算出部１７は、例えば、視差算出部１４の算出した画素範囲毎の視差に基づいて、画像領域毎の代表視差を算出する。代表視差とは、複数の画素範囲からなる画像領域の代表（典型）の視差として用いられる。代表視差とは、画像領域の基準となる視差である。代表高さ算出部１７は、例えば、画像領域を構成する複数の画素範囲の視差の平均値を代表視差として算出する。代表高さ算出部１７は、画像領域を構成する複数の画素範囲の視差の最大値と最小値の中間となる中間値を代表視差として算出してもよい。

なお、代表高さ算出部１７は、画素範囲毎の視差の他、重み付け設定部１６の設定した画素範囲毎の重み付けの大きさに基づいて、画像領域毎の代表視差を算出してもよい。この場合の態様については後述する。

また、代表高さ算出部１７は、例えば、視差算出部１４の算出した画素範囲毎の視差、座標認識部１３の認識した画素範囲毎の座標、及び重み付け設定部１６の設定した画素範囲毎の重み付けの大きさに基づいて、画像領域毎の代表高さを算出する。

代表高さ算出部１７は、例えば、視差算出部１４の算出した画素範囲毎の視差及び座標認識部１３の認識した画素範囲毎の座標に基づいて、画素範囲毎の高さを算出する。代表高さ算出部１７は、例えば、画素範囲毎の視差及び画素範囲毎の縦座標に基づいて、周知の手法（例えば所定の演算式を用いた手法）により、画素範囲毎の高さを算出する。代表高さ算出部１７は、画素範囲毎の高さと重み付け設定部１６の設定した画素範囲毎の重み付けの大きさに基づいて、画像領域内で高さの等しい画素範囲の重み付けを加算する。代表高さ算出部１７は、例えば、画像領域内で重み付けの加算値が最も大きい高さを画像領域の代表高さとして算出する。

以下、重み付けを用いた代表高さの算出について説明する。ここで、図４（ａ）は、図２（ａ）と異なる路面の撮像画像に設定された画像領域を示す図である。図４（ａ）には、白線Ｌ４の一部を含むように設定された画像領域Ｐｂが示されている。図４（ａ）に示す撮像画像のうち白線Ｌ４以外は車両が走行する走行路面である。画像領域Ｐｂは、撮像画像上で縦座標が共通する１１の画素範囲Ｑａ〜Ｑｋから構成されている。画素範囲Ｑａ〜Ｑｋは、それぞれ単一の画素からなる画素範囲とする。

図４（ｂ）は、輝度差と画素範囲の横座標との関係を示すグラフである。図４（ｂ）に画素範囲Ｑａ〜Ｑｋにおける輝度差と第１の閾値Ｔｈを示す。ここでは、理解を容易にするため、画像領域Ｐｂ内で隣り合う画素範囲との輝度差にのみ着目する。図４（ａ）及び図４（ｂ）に示すように、例えば、車両の走行する走行路面のみを含む画像範囲Ｑａの輝度は、同じく走行路面のみを含む画像範囲Ｑｂの輝度と比べて差（輝度差）が小さい。一方で、白線Ｌ４の一部を含む画像範囲Ｑｅの輝度は、走行路面のみを含む画像範囲Ｑｄの輝度と比べて差（輝度差）が大きい。図４（ｂ）では、白線Ｌ４のみを含む画像範囲Ｑｆの輝度差が最も大きくなっている。

重み付け設定部１６は、図４（ｂ）に示す輝度差に応じて画素範囲毎の重み付けを設定する。ここでは、重み付け設定部１６は、画素範囲の輝度差が第１の閾値Ｔｈ以上である場合に、画素範囲の輝度差が第１の閾値Ｔｈ未満である場合と比べて、画素範囲の重み付けを大きく設定する。具体的に、重み付け設定部１６は、輝度差が第１の閾値Ｔｈ以上である画素範囲Ｑｅ、Ｑｆ、Ｑｇに対して、輝度差が第１の閾値Ｔｈ未満である画素範囲Ｑａ〜Ｑｄ、Ｑｈ〜Ｑｋに比べて、重み付けを大きく設定する。

代表高さ算出部１７は、例えば、視差算出部１４の算出した画素範囲Ｑａ〜Ｑｋの視差及び座標認識部１３の認識した画素範囲Ｑａ〜Ｑｋの座標に基づいて、画素範囲Ｑａ〜Ｑｋの高さを算出する。代表高さ算出部１７は、画素範囲Ｑａ〜Ｑｋの高さと画素範囲Ｑａ〜Ｑｋの重み付けの大きさに基づいて、画像領域Ｐｂの代表高さを算出する。

図４（ｃ）は、高さと重み付けの加算値の関係を示すグラフである。図４（ｃ）に、高さＨ１〜Ｈ６を示す。高さはＨ１〜Ｈ６の順に大きくなる。代表高さ算出部１７は、高さの等しい画素範囲が存在する場合、高さの等しい画素範囲の重み付けの大きさを高さ毎に加算する。ここで、高さが等しいとは、複数の画素範囲の高さが完全に一致する場合に限られない。代表高さ算出部１７は、予め所定間隔（例えば１ｃｍ）で設定された基準高さに対して所定範囲（例えば±０.５ｃｍ）内に複数の画素範囲の高さが含まれる場合、これらの画素範囲の高さが基準高さと等しいとして扱ってもよい。図４（ｃ）に示すＨ１〜Ｈ６は、基準高さに相当する。

図４（ｃ）において、画素範囲Ｑａの高さは高さＨ６と等しい。また、画素範囲Ｑｃ，Ｑｋの高さは高さＨ５と等しい。画素範囲Ｑｂ，Ｑｄ，Ｑｅ，Ｑｆの高さは高さＨ５と等しい。画素範囲Ｑｊ，Ｑｇの高さは高さＨ３と等しい。画素範囲Ｑｉの高さは高さＨ２と等しい。画素範囲Ｑｋの高さは高さＨ１と等しい。図４（ｃ）に示すように、重み付けの加算値は、高さの等しい画素範囲が多いほど大きくなる。また、重み付けの加算値は、大きい重み付けが設定された画素範囲が含まれるほど大きくなる。上述したように、輝度差が第１の閾値Ｔｈ以上である画素範囲Ｑｅ，Ｑｆ，Ｑｇは、輝度差が第１の閾値Ｔｈ未満である画素範囲Ｑａ〜Ｑｄ、Ｑｈ〜Ｑｋに比べて、重み付けが大きく設定されている。

図４（ｃ）においては、高さＨ４が最も重み付けの加算値の大きい高さとなる。高さＨ４には、重み付けの大きい画素範囲Ｑｅ、Ｑｆの高さが含まれている。また、高さＨ４には、最も多い４つの画素範囲Ｑｂ，Ｑｄ，Ｑｅ、Ｑｆの高さが含まれている。代表高さ算出部１７は、例えば、画像領域Ｐｂ内で重み付けの加算値が最も大きい高さＨ４を画像領域Ｐｂの代表高さとして算出する。同様にして、代表高さ算出部１７は、撮像画像内の画像領域毎の代表高さをそれぞれ算出する。

なお、代表高さ算出部１７は、重み付けの加算値が最も大きい高さＨ４と二番目に大きい高さＨ３の中間の高さを代表高さとして算出してもよい。また、代表高さ算出部１７は、重み付けの加算値が最も大きい高さＨ４、二番目に大きい高さＨ３、及び三番目に大きい高さＨ５の平均値を代表高さとして算出してもよい。その他の態様を採用してもよい。

路面勾配検出部１８は、代表高さ算出部１７の算出した画像領域毎の代表視差及び画像領域毎の代表高さに基づいて、路面勾配を算出する。路面勾配検出部１８は、例えば、画像領域毎の代表視差及び代表高さを関連付けることで、車両のステレオカメラ３からの距離に応じた高さの変化である路面勾配を算出する。路面勾配検出部１８は、周知の手法により、画像領域毎の代表視差及び代表高さから路面勾配を算出してもよい。

なお、路面勾配検出部１８は、画像領域毎の代表視差及び代表高さの他に、画像領域毎の代表横座標に基づいて、路面勾配を算出してもよい。この場合、座標認識部１３は、例えば、画素範囲毎の座標に基づいて、画像領域毎の代表横座標を認識する。座標認識部１３は、例えば、画像領域を構成する複数の画素範囲の横座標の平均値を画像領域の代表横座標として認識する。画像領域毎の代表視差、代表高さ、代表横座標を合わせて画像領域毎の代表三次元位置と称する。すなわち、路面勾配検出部１８は、画像領域毎の代表三次元位置に基づいて、路面勾配を検出してもよい。路面勾配検出部１８は、例えば、周知の手法により、画像領域毎の代表三次元位置から路面勾配を検出する。

〈路面勾配検出装置における路面勾配検出制御〉
以下、本実施形態に係る路面勾配検出装置１の路面勾配検出制御について説明する。図５は、本実施形態に係る路面勾配検出装置１の路面勾配検出制御を示すフローチャートである。路面勾配検出装置１は、例えば、車両が走行中の間、予め設定された時間毎に図５に示すフローチャートの処理を繰り返す。

図５に示すように、路面勾配検出装置１のＥＣＵ２は、ステップＳ１０１として、画像取得部１０によるステレオカメラ３の撮像画像の取得を行う。画像取得部１０は、例えば、ステレオカメラ３における第１カメラ４の撮像画像及び第２カメラ５の撮像画像に基づいて、周知のステレオ画像処理等により視差情報を取得する。

ステップＳ１０２において、ＥＣＵ２は、画像領域設定部１１により撮像画像に対する複数の画像領域の設定を行う。画像領域設定部１１は、例えば、予め設定されたグリッドＧを撮像画像に適用することにより、グリッドＧによって区画された複数の画像領域を設定する。また、画像領域設定部１１は、画素範囲が複数の画素からなる場合には、画像領域を構成する複数の画素範囲を設定する。

このとき、画像領域設定部１１は、立体物検出部１２の検出結果に基づいて、画像領域を設定してもよい。画像領域設定部１１は、立体物検出部１２が立体物（例えば先行車Ｎ）を検出した場合、撮像画像上で立体物を構成する画素を含まないように画像領域を設定する。

ステップＳ１０３において、ＥＣＵ２は、座標認識部１３により画素範囲毎の座標を認識する。座標認識部１３は、撮像画像における画素毎の座標に基づいて、画素範囲毎の座標を認識する。

ステップＳ１０４において、ＥＣＵ２は、視差算出部１４により画素範囲毎の視差を算出すると共に、輝度算出部１５により画素範囲毎の輝度を算出する。視差算出部１４は、画像取得部１０が撮像画像から取得した視差情報に基づいて、画素範囲毎の視差を算出する。輝度算出部１５は、画像取得部１０が撮像画像から取得した輝度情報に基づいて、画素範囲毎の輝度として算出する。

ステップＳ１０５において、ＥＣＵ２は、重み付け設定部１６により画素範囲毎の重み付けを設定する。重み付け設定部１６は、画素範囲毎の座標及び画素範囲毎の輝度に基づいて、画素範囲毎に隣り合う画素範囲との輝度差を算出する。重み付け設定部１６は、画素範囲毎の輝度差に基づいて、画素範囲毎の重み付けを設定する。重み付け設定部１６は、例えば、隣り合う画素範囲との輝度差が大きいほど画素範囲の重み付けを大きく設定する。或いは、重み付け設定部１６は、隣り合う画素範囲との輝度差が第１の閾値以上である場合に、隣り合う画素範囲との輝度差が第１の閾値未満である場合と比べて画素範囲の重み付けを大きく設定する。

ステップＳ１０６において、ＥＣＵ２は、代表高さ算出部１７により画像領域毎の代表視差及び画像領域毎の代表高さを算出する。代表高さ算出部１７は、画素範囲毎の視差、画素範囲毎の座標、及び画素範囲毎の重み付けの大きさに基づいて、画像領域毎の代表視差及び画像領域毎の代表高さを算出する。代表高さ算出部１７は、例えば、画像領域を構成する複数の画素範囲の視差の平均値を画像領域の代表視差として算出する。また、代表高さ算出部１７は、例えば、画素範囲毎の視差及び画素範囲毎の縦座標に基づいて画素範囲毎の高さを算出すると共に、画像領域内で高さの等しい画素範囲の重み付けを加算する。代表高さ算出部１７は、例えば、画像領域内で重み付けの加算値が最も大きい高さを画像領域の代表高さとして算出する。

ステップＳ１０７において、ＥＣＵ２は、路面勾配検出部１８により路面勾配を検出する。路面勾配検出部１８は、代表高さ算出部１７の算出した画像領域毎の代表視差及び画像領域毎の代表高さに基づいて、周知の手法により、路面勾配を算出する。

〈路面勾配検出装置の作用効果〉
以上説明した本実施形態に係る路面勾配検出装置１によれば、隣り合う画素範囲との輝度差に応じて設定された画素範囲の重み付けを利用して画像領域の代表高さを算出するので、輝度差を考慮せずに画像領域の代表高さを算出する従来の場合と比べて、代表高さを精度良く算出することができる。しかも、この路面勾配検出装置１によれば、白線を含む画像領域に限定して路面勾配を検出する従来の装置と比べて、白線が認識できないほどに掠れている状態であっても輝度差が生じていれば重み付けに反映することができる。また、この路面勾配検出装置１では、白線の他に、路面の凹凸又は路面のマンホール等によって輝度差が生じる場合であっても重み付けに反映することができる。従って、この路面勾配検出装置１によれば、撮像画像内に白線が含まれない場合であっても、輝度差に応じて設定された画素範囲の重み付けを利用して代表高さを精度良く算出することができるので、路面勾配の検出精度を向上させることができる。

また、本実施形態に係る路面勾配検出装置１では、画像範囲毎の重み付けの設定と代表高さ及び代表視差の算出から、他車両等の立体物を構成する画素範囲を除いてもよい。この場合、路面勾配検出装置１は、路面勾配検出の対象となる画像領域から他車両等の立体物を構成する画素を除くことができる。従って、この路面勾配検出装置１によれば、撮像画像内の立体物によって生じる輝度差の影響により、誤った重み付けが設定され、路面勾配の検出精度が低下することを抑制することができる。

更に、この路面勾配検出装置１では、代表高さ算出部１７において、画素範囲毎の視差及び画素範囲毎の座標に基づいて画素範囲毎の高さを算出すると共に、画像領域内で高さの等しい画素範囲の重み付けの大きさを加算し、画像領域毎に重み付けの加算値が最も大きい高さを代表高さとして算出してもよい。この場合、路面勾配検出装置１は、画像領域内で高さの等しい画素範囲の重み付けの大きさを加算し、重み付けの加算値が最も大きい高さを画像領域の代表高さとして算出するので、画像領域内の画像範囲の視差の平均値を代表高さとするような従来の場合と比べて、代表高さを精度良く算出することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

例えば、代表高さ算出部１７は、上述した代表高さの算出方法と同様に、画像範囲毎の重み付けの大きさを用いて、画像領域毎の代表視差を算出してもよい。この場合、代表高さ算出部１７は、視差算出部１４の算出した画素範囲毎の視差及び重み付け設定部１６の設定した画素範囲毎の重み付けの大きさに基づいて、画像領域毎の代表視差を算出する。

画像範囲毎の重み付けの大きさを用いた画像領域毎の代表視差の算出について、図４（ａ）〜図４（ｃ）を参照して具体的に説明する。まず、上述した実施形態で説明したとおり、視差算出部１４は、撮像画像の視差情報に基づいて、図４（ａ）に示す画素範囲Ｑａ〜Ｑｋの視差を算出する。輝度算出部１５は、撮像画像の輝度情報に基づいて、図４（ａ）に示す画素範囲Ｑａ〜Ｑｋの輝度を算出する。また、重み付け設定部１６は、図４（ｂ）に示すように、画像範囲Ｑａ〜Ｑｋの輝度差に応じて画像範囲Ｑａ〜Ｑｋの重み付けを設定する。重み付け設定部１６は、例えば、輝度差が第１の閾値Ｔｈ以上である画素範囲Ｑｅ、Ｑｆ、Ｑｇに対して、輝度差が第１の閾値Ｔｈ未満である画素範囲Ｑａ〜Ｑｄ、Ｑｈ〜Ｑｋに比べて、重み付けを大きく設定する。なお、重み付け設定部１６は、輝度差が高いほど画素範囲Ｑａ〜Ｑｋの重み付けを大きく設定してもよい。

代表高さ算出部１７は、視差算出部１４の算出した画素範囲Ｑａ〜Ｑｋの視差及び重み付け設定部１６の設定した画素範囲Ｑａ〜Ｑｋの重み付けの大きさに基づいて、画像領域Ｐｂの代表視差を算出する。以下、図４（ｃ）の縦座標を高さではなく視差に置き換えて説明を行う。

代表高さ算出部１７は、視差の等しい画素範囲が存在する場合、視差の等しい画素範囲の重み付けの大きさを視差毎に加算する。視差が等しいとは、複数の画素範囲の視差が完全に一致する場合に限られない。代表高さ算出部１７は、予め所定間隔（例えば０.５ｍ）で設定された基準視差に対して所定範囲（例えば±０.２５ｍ）内に複数の画素範囲の視差が含まれる場合、これらの画素範囲の視差が基準視差と等しいとして扱ってもよい。

この場合、代表高さ算出部１７は、例えば、画像領域Ｐｂ内で重み付けの加算値が最も大きい高さＨ４を画像領域Ｐｂの代表高さとして算出する。同様にして、代表高さ算出部１７は、撮像画像に設定された画像領域毎の代表視差をそれぞれ算出する。

なお、代表高さ算出部１７は、重み付けの加算値が最も大きい視差と二番目に大きい視差の中間の視差を代表視差として算出してもよい。また、代表高さ算出部１７は、重み付けの加算値が最も大きい視差、二番目に大きい視差、及び三番目に大きい視差の平均値を代表視差として算出してもよい。

この場合、路面勾配検出装置１では、画像領域内で視差の等しい画素範囲の重み付けの大きさを加算し、重み付けの加算値が最も大きい視差を画像領域の代表視差として算出するので、画像領域内の画像範囲の視差の平均値を代表視差とするような従来の場合と比べて、代表視差を精度良く算出することができる。

なお、この場合において、代表高さ算出部１７は、画像範囲毎の重み付けの大きさを用いて算出した画像領域毎の代表視差と画像領域毎の座標に基づいて、画像領域毎の代表高さを算出することができる。座標認識部１３は、例えば、画素範囲毎の座標に基づいて、画像領域毎の座標を認識する。座標認識部１３は、例えば、画素範囲が複数の画素からなる場合における画素範囲の座標の認識と同様に、画像領域の中心位置の座標を画像領域の座標として認識する。代表高さ算出部１７は、画像領域毎の代表視差と画像領域毎の縦座標に基づいて、周知の手法により、画像領域毎の代表高さを算出する。

或いは、代表高さ算出部１７は、上述した実施形態と同様にして、画像領域毎の代表高さを算出してもよい。

その他、路面勾配検出装置１は、立体物検出部１２が撮像画像に含まれる立体物を検出した場合であっても、撮像画像上で立体物を構成する画素を含む画像領域を設定してもよい。この場合、路面勾配検出装置１は、例えば、重み付け設定部１６において、撮像画像上で立体物を構成する画素を含む画素範囲以外の画素範囲を輝度差の比較対象とすることにより、立体物に起因する輝度差の影響を抑制することができる。更に加えて、路面勾配検出装置１は、代表高さ算出部１７において、立体物を構成する画素を含む画素範囲以外の画素範囲を用いて、画像領域毎の代表視差及び画像領域毎の代表高さを算出してもよい。

１…路面勾配検出装置、２…ＥＣＵ、３…ステレオカメラ、４…第１カメラ、５…第２カメラ、１０…画像取得部、１１…画像領域設定部、１２…立体物検出部、１３…座標認識部、１４…視差算出部、１５…輝度算出部、１６…重み付け設定部、１７…代表高さ算出部、１８…路面勾配検出部、Ｃ…横断歩道、Ｇ…グリッド、Ｌ１-Ｌ４…白線、Ｎ…先行車（立体物）、Ｐａ，Ｐｂ…画像領域、Ｑ１-Ｑ８，Ｑａ-Ｑｋ…画素範囲、Ｔｈ…第１の閾値。

Claims (4)

1. 車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて路面勾配を検出する路面勾配検出装置であって、
   前記撮像画像を分割して複数の画像領域を設定する画像領域設定部と、
   前記画像領域を構成する画素範囲毎の座標を認識する座標認識部と、
   前記撮像画像の前記視差情報に基づいて、前記画素範囲毎の視差を算出する視差算出部と、
   前記撮像画像の輝度情報に基づいて、前記画素範囲毎の輝度を算出する輝度算出部と、
   前記画素範囲毎の輝度及び前記画素範囲毎の座標に基づいて、隣り合う前記画素範囲との輝度差が大きいほど前記画素範囲の重み付けを大きく設定する、又は、前記画素範囲毎の輝度及び前記画素範囲毎の座標に基づいて、隣り合う前記画素範囲との輝度差が第１の閾値以上である場合に、隣り合う前記画素範囲との輝度差が前記第１の閾値未満である場合と比べて前記画素範囲の重み付けを大きく設定する重み付け設定部と、
   前記画素範囲毎の前記視差、前記画素範囲毎の前記座標、及び前記画素範囲毎の前記重み付けの大きさに基づいて、前記画像領域毎の代表視差及び前記画像領域毎の代表高さを算出する代表高さ算出部と、
   前記画像領域毎の代表視差及び前記画像領域毎の前記代表高さに基づいて、前記撮像画像から前記路面勾配を検出する路面勾配検出部と、
   を備える、路面勾配検出装置。
2. 前記撮像画像に含まれる立体物を検出する立体物検出部を更に備え、
   前記画像領域設定部は、前記撮像画像上で前記立体物を構成する画素を含まないように前記画像領域を設定する、請求項１に記載の路面勾配検出装置。
3. 前記代表高さ算出部は、前記画素範囲毎の前記視差及び前記画素範囲毎の前記座標に基づいて前記画素範囲毎の高さを算出すると共に、前記画像領域内で前記高さの等しい前記画素範囲の前記重み付けの大きさを加算し、前記重み付けの加算値が最も大きい前記高さを前記画像領域の前記代表高さとして算出する、請求項１又は請求項２に記載の路面勾配検出装置。
4. 前記代表高さ算出部は、前記画像領域内で前記視差の等しい前記画素範囲の前記重み付けの大きさを加算し、前記重み付けの加算値が最も大きい前記視差を前記画像領域の前記代表視差として算出する、請求項１〜３のうち何れか一項に記載の路面勾配検出装置。

Images