JP4930046B2 - 路面判別方法および路面判別装置 - Google Patents

Description

本発明は、車両の周囲を撮像して得られた撮像画像に基づいて、車両の周囲の路面の判別や、車両の周囲に存在する障害物（立体物）の有無を判定する路面判別方法、および路面判別装置に関するものである。

近年、車両の周囲に存在する障害物を検出し、車両の駐車支援、車間距離制御、そして衝突防止制御などを行う運転支援装置が種々提案されている。
そして、車両の周囲に存在する障害物を検出するための装置として、例えば、特許文献１に開示された装置がある。この特許文献１に開示された装置では、カメラなどの撮像手段により車両の周囲を撮像して得られた撮像画像において線分を検出し、検出した線分に基づいて障害物の候補を設定し、障害物の候補と路面との運動視差に基づいて、障害物の候補が路面なのか、それとも路面上にある障害物（立体物）であるのかを判断している。
特開２００４−０３２４６０号公報

しかし、特許文献１に開示された発明の場合、エッジ強度が大きい線分が撮像画像内において検出されない場合には、障害物の候補を設定することができないので、撮像画像に存在する路面や立体物の判別ができないという問題があった。

よって、本発明は、撮像画像内にエッジ強度が大きい線分が検出されない場合であっても、撮像画像に存在する路面や立体物の判別を行うことができる方法およびその装置を提供することを目的とする。

本発明は、カメラで撮像した路面の撮像画像に基づいて、路面の判別を行う路面判別方法または装置であって、（ａ）前記撮影画像内において路面上に存在するエッジを抽出し、抽出したエッジの強度であるエッジ強度を算出し、前記エッジ強度が所定の閾値以上であるエッジが線状に連続する領域をエッジ線分として、検出し、（ｂ）検出された前記エッジ線分により区分される領域を対象領域として設定し、当該対象領域の特徴量を算出し、（ｃ）算出される特徴量と、該特徴量に対応する路面種別の区分との関係を示すテーブルを参照して、算出された特徴量から、前記対象領域の路面種別の区分を特定すると共に、特定された路面種別の区分に基づいて、路面の状態が、走行路面、走行外路面、および立体物のうちの何れの種別に属するのかを判別し、かつ、特徴量を算出さる際において、前記対象領域を設定する際に、前記対象領域を構成する画素のうち、前記エッジ線分に対応する画素を除いて、前記対象領域を設定する構成とした。

本発明によれば、路面の撮像画像からエッジ強度が所定の閾値以上となる線分を除いた領域の特徴量が算出される。そして、算出された特徴量に基づいて学習テーブルを参照して、対象領域の区分を特定し、特定した区分に基づいて、路面の状態が、走行路面、走行外路面、および立体物のうちの何れの種別に属するのかが判別される。
ここで、特徴抽出をした際に特徴が顕著に現れる線分を除いた領域の特徴量が常に算出されるので、特徴量は、領域内に存在する色や細かい模様などの、弱いエッジ強度を持つテクスチャの特徴を反映したものとなる。
よって、弱いエッジ強度を持つテクスチャから算出された特徴量に基づいて、対象領域の区分の特定が常に行われるので、撮像画像内に強いエッジ強度の線分が存在しない場合であっても、弱いエッジ強度を持つテクスチャの特徴量に基づいて対象領域の区分が特定できると共に、特定された区分に基づいて、路面の状態が判別できる。

以下、本発明の好ましい実施形態を、添付図面を参照しながら説明する。
図１は、本実施形態に係る路面判別装置の構成を示すブロック図である。
路面判別装置１は、カメラＣと、画像処理部１０と、制御部２０と、記憶部３０とを含んで構成される。

カメラＣは、車両の外部を撮像した映像をデジタルデータとして取り込むことができるものであり、車両に設けられている。ここでは、広い範囲の撮像が可能な広角カメラが、カメラＣとして採用される。

カメラＣとして、図２の（ａ）に示すように、車両の前方領域を撮像する前カメラＣ１と、車両の右側領域を撮像する右カメラＣ２と、車両の左側領域を撮像する左カメラＣ３と、車両の後方領域を撮像する後カメラＣ４とが設けられており、車両の周囲全体の撮像が行われるように構成されている。
なお、以下の説明においては、これらカメラ（Ｃ１〜Ｃ４）を特に区別しない場合は、単にカメラＣと表記する。

図１を参照して、画像処理部１０は、撮像画像を生成し、生成した撮像画像を後記する制御部２０に出力すると共に、生成した撮像画像を記憶部３０の画像メモリ３１に格納するものである。
画像処理部１０は、撮像画像生成部１１と、撮像画像補正部１２とを含んで構成される。

撮像画像生成部１１は、各カメラＣ（Ｃ１〜Ｃ４）から入力される４つのそれぞれの画像から、車両の上方から見た画像である俯瞰画像を生成すると共に、この４つの俯瞰画像を合成し、この合成された俯瞰画像を制御部２０に出力するものである。また、この際に画像の中央部に、予め記憶しておいた車両を示すマークＶを重畳（インポーズ）させて、制御部２０へ出力する。なお、今後、この車両マークＶは、インポーズされたマークそのものと、実際の車両を模式的に表す際にも、「車両マークＶ」として表現することもある。また、この車両を示すマークＶのインポーズは撮像画像生成部１１でなく、制御部２０で行っても良い。

図２の（ｂ）に示すように、俯瞰画像では、車両マークＶを中心にして、前カメラＣ１から入力される画像ＩＭ１が車両マークＶの進行方向における前側（図面において上側）に、右カメラＣ２から入力される画像ＩＭ２が車両マークＶの進行方向右側（図面において右側）に、左カメラＣ３から入力される画像ＩＭ３が車体の進行方向左側（図面において左側）に、そして後カメラＣ４から入力される画像ＩＭ４が車両マークＶの進行方向における後側に、それぞれ配置されている。

図１に示すように、記憶部３０には、各カメラＣから入力される画像の各画素が、所定の画素範囲を有する俯瞰画像のどの位置の画素に対応するのかを示す設定テーブル３２が予め用意されている。よって、撮像画像生成部１１は、カメラＣから画像が入力されると、設定テーブルを参照して入力された画像を変換して俯瞰画像を生成する。

図３は、撮像画像生成部１１が生成する俯瞰画像において、車両の周囲がどのように現れるのかを説明する説明図である。なお、この説明図では、俯瞰画像において路面や路面上に位置する立体物がどの様に現れるのかを説明するために、撮像画像生成部１１が生成する俯瞰画像に現れるテクスチャの一部を省略している。また、車両は符号Ｖで、路面に描かれた白線は符号Ｗで、路面は符号Ｒで、それぞれ示されている。

撮像画像生成部１１は、各カメラＣ（Ｃ１〜Ｃ４）から入力される広角画像の変換により俯瞰画像を生成する。この際、車両の周囲はすべて路面と同じ高さであるという仮定のもとで変換が行われる。
そのため、路面に描かれた白線のように路面と同じ高さにあるものは、撮像画像においても、車両の上方から見た場合と同じように現れる。よって、俯瞰画像においても、車両マークＶの側面に対して平行に位置する白線Ｗは、車両マークＶの側面に平行に位置して現れる（図３の（ａ））。

しかし、路面上に存在する立体物の場合、例えば路面に対して垂直方向に延出する円柱Ｐの場合、実際に車両の上方から見ると図３の（ｃ）に示すように円で見えるが、撮像画像（俯瞰画像）では、円柱Ｐが高さを持っており、路面と同じ高さにないために、俯瞰変換を行った画像では、車両マークＶから斜め方向に延出する略台形の形状として現れる（図３の（ｂ）参照）。
このように、実際に車両を上方から見た場合とは若干異なる俯瞰画像が、撮像画像として採用されている。
なお、以下の説明においては、撮像画像生成部１１が生成する俯瞰画像（撮像画像）は、必要な場合を除いて、図３の（ａ）のように簡略的に表記するものとする。

撮像画像補正部１２は、広角カメラのレンズ系の特徴に起因する影響を除外するように、撮像画像を補正するものである。
広角カメラの場合、レンズの周縁側に入射する光の量は、レンズの中心側に比べて少なくなる。そのため、撮像画像における４隅の領域は、広角カメラの撮像範囲の周縁側の領域に対応するので、撮像画像の中央側に比べて暗い画像となる。
また、広角画像の変換により撮像画像を生成する場合、撮像画像の４隅の領域の画像は、中央側の領域の画像に比べて引き延ばされることになるので、撮像画像の４隅の領域に存在するテクスチャは、その形状が歪んだ状態で撮像画像内に表示される。

図４に示すように、例えば車両が移動している場合、時刻ｔにおける撮像画像での領域Ａ内にある物体は、時刻ｔ＋△ｔにおける撮像画像では領域Ａ’内に移動するが、上記した広角カメラのレンズ系の特徴に起因して、同じ物体であっても形状や明るさが異なって表示されてしまう。

そのため、歪みや明るさの影響を考慮せずに撮像画像を生成し、この撮像画像において設定される小領域の特徴量を算出すると、同じテクスチャからなる小領域であっても、異なる特徴量が抽出されてしまい、種別判別部２３における判断を誤るおそれがある。

このため、広角カメラで取得した画像から撮像画像を生成した際に生ずる画像の歪みや明るさの違いを補正する変換式が、レンズ系の特徴に基づいて、撮像画像内の位置ごとにあらかじめ設定されている。よって、撮像画像補正部１２は、変換式に基づいて撮像画像を補正して、広角カメラの撮像範囲内における位置に関係なく、同じ物体や同じテクスチャが撮像画像内において常に同じように表示されるようにする。

これにより、撮像画像内に存在する画像の歪み、暗さ、そして粗さなどの影響が除外されるので、補正後の撮像画像に基づいてより正確な特徴抽出を行うことができる。また、安定した特徴量の抽出が可能となり、種別判別部２３における種別の判別の精度を向上させることができる。

図１を参照して、制御部２０は、画像処理部１０から入力される撮像画像を処理して、車両の周囲の路面の判別など行い、判別結果を示す情報を生成し、これを出力するものである。
制御部２０は、線分検索部２１と、特徴量算出部２２と、種別判別部２３とを備えて構成される。

線分検索部２１は、画像処理部１０から入力される撮像画像を区画して、複数の小領域を設定する撮像画像処理部２１ａと、特徴抽出をした場合に特徴が顕著に現れる線分（直線や曲線）を、小領域の各々において検索するエッジ検出部２１ｂとを備えて構成される。

図５の（ａ）に示すような撮像画像が入力されると、撮像画像処理部２１ａは、撮像画像を所定の大きさを有する複数の小領域に分割する（図５の（ｂ））。そして、エッジ検出部２１ｂは、エッジ強度が所定の閾値よりも大きく、かつエッジ長さが所定長さ以上のエッジを小領域の各々において検索する。

エッジ検出部２１ｂは、従来公知の方法でエッジを検索し、エッジが検出された場合に、小領域を構成する画素のうちのどの画素がエッジ（線分）に対応する画素であるのかを示すエッジ情報を生成し、これを特徴量算出部２２に出力する。
従来公知のエッジを検索する方法として、例えば、Ｓｏｂｅｌフィルタを用いて求めたエッジにＨｏｕｇｈ変換を行う方法や、Ｃａｎｎｙフィルタを用いる方法などが挙げられる。
なお、エッジ長さが所定長さ以上のエッジとは、所定の閾値以上のエッジ強度を有するエッジが連なって形成される直線や曲線などの線分を意味する。また、エッジの長さは、連なっている画素の数に基づいて算出できる。

ここで、図６の（ａ）に示す撮像画像における小領域Ａ、小領域Ｂ、小領域Ｃの場合を例に挙げて、エッジ検出部２１ｂが検索する線分について説明をする。
小領域Ａの場合、図６の（ｂ）に示すように、その内部に線分が存在しないので、エッジ検出部２１ｂは、小領域Ａには線分が存在しない旨（線分に対応する画素が存在しない旨）のエッジ情報を生成する。

小領域Ｂの場合、図６の（ｃ）に示すように、略中央部を上下に延びる線分と小領域Ｂの左側から右斜下に向かう線分、すなわち図中楕円で囲まれた線分を境にして、画素の輝度が大きく異なっている。
そのため、エッジ検出部２１ｂは、これら二つの線分を検出し、小領域Ｂを構成する画素のうちのどの画素が、これら二つの線分に対応する画素であるのかを示すエッジ情報を生成する。

小領域Ｃの場合、図６の（ｄ）に示すように、小領域の左側から右斜下に向かう線分を境にして画素の輝度が大きく異なっているので、この線分についてのエッジ情報を生成する。
そして、エッジ検出部２１ｂは、生成したエッジ情報を、特徴量算出部２２に出力する。

図１を参照して、特徴量算出部２２は、撮像画像において設定された小領域ごとに特徴抽出を行う領域（対象領域）を設定する対象領域設定部２２ａと、各小領域において設定された対象領域の特徴量を算出し、対象領域が属する小領域の特徴量とする算出部２２ｂと、線分検索部２１において検出された線分が、影のエッジを示す線分か否かを判定する影判定部２２ｃとを備えて構成される。

対象領域設定部２２ａは、線分検索部２１のエッジ検出部２１ｂからエッジ情報が入力されると、エッジ情報を参照して小領域に線分が存在するか否かを確認する。そして、線分が存在する場合、小領域を構成する画素からエッジ情報により特定される線分に対応する画素を除外した領域を対象領域として設定する。

ここで、図６の（ａ）に示す撮像画像における小領域Ａ、小領域Ｂ、小領域Ｃの場合を例に挙げて、対象領域の設定について説明をする。
図６の（ｂ）に示す小領域Ａのように、その内部に所定の閾値を越える直線エッジや曲線エッジなどの線分が検出されない場合、対象領域設定部２２ａは、小領域Ａのすべてを対象領域として設定する。
また、図６の（ｃ）に示す小領域Ｂのように、その内部に線分が存在する場合、対象領域設定部２２ａは、小領域Ｂを構成する画素から線分に対応する画素を除いた画素の範囲を対象領域として設定する。すなわち、符号ａ、ｂ、ｃで示す画素範囲が対象領域として設定される。
図６の（ｄ）に示す小領域Ｃの場合、小領域Ｂの場合と同様にして、符号ｄ、ｅで示す画素範囲が対象領域として設定される。
ここで、小領域から線分の領域を除外した領域を対象領域としているのは、特徴抽出の際に顕著な特徴となる線分を除いた領域に存在する細かな模様や色などのテクスチャの特徴を抽出するためである。

例えば、顕著な特徴となる線分を有していないアスファルトのテクスチャが小領域内に存在する場合、「灰色っぽい」、「砂利のような細かい粒模様がある」、そして「ランダムな大きさの小石が混ざる」などのアスファルト特有の質感や模様に起因する特徴を抽出することができる。同様にして、土や草などの特徴も抽出できる。
さらに、壁や支柱などの路面上に存在する立体物の場合、風雨に曝される時間が長く立体物の縦方向に雨だれなどの汚れの模様が形成されることが多いので、縦方向に向かうエッジが、汚れ模様に起因する特徴として抽出できる。

従って、対象領域を、特徴抽出の際に顕著な特徴となる線分に起因する特徴が算出されないように設定することで、撮像画像内に線分が存在しない場合であっても、細かな模様や色などのテクスチャが存在するので、これらの特徴を抽出できる。また、路面などの平面物のみならず、壁などの立体物も識別することができる。

算出部２２ｂは、小領域において設定された対象領域に存在するテクスチャ（色や模様など）の細かなエッジと、そのエッジの方向を検出する。そして、検出されたエッジのエッジ強度の頻度（エッジ強度ヒストグラム）と、エッジの方向の頻度（エッジ方向ヒストグラム）とのうちの少なくとも一方を求め、小領域の特徴量とする。

ここで、対象領域が、図７および図８に示すようなテクスチャを有している場合を例に挙げて、算出部２２ｂが算出するエッジ強度の頻度とエッジの方位の頻度とについて説明をする。

図７の（ａ）は、対象領域が、芝目が一定の草のテクスチャから構成されており、対象領域内において検出されたエッジの方向が一定（４５度方向に揃っている）であり、エッジ強度が弱い場合を示している。
よって、この対象領域から算出されるエッジの方向の頻度は４５度の近辺に集中する。また、エッジ強度の頻度は、対象領域の全体に亘ってエッジ強度の弱いエッジがほぼ均一に存在するので、エッジ強度が弱い部分に集中する。

図７の（ｂ）は、対象領域が、芝目が一定の草のテクスチャａと、人工的な模様が付された路面のテクスチャｂとから構成されており、草の領域と路面の領域内において検出されたエッジの方向が共に同一（４５度方向に揃っている）であり、エッジ強度がそれぞれ異なる場合を示している。
よって、この対象領域から算出されるエッジ方向の頻度は４５度の近辺に集中する。また、エッジ強度の頻度は、草のテクスチャａではエッジ強度の弱いエッジが、路面のテクスチャｂではエッジ強度の強いエッジが、それぞれ均一に存在するので、エッジ強度が弱い部分と強い部分の二ヶ所に分かれて分布する。

図７の（ｃ）は、対象領域が、砂利のテクスチャから構成されており、対象領域内において検出されたエッジの方向がランダムであり、エッジ強度が弱いものと強いものとが混在している場合を示している。
よって、この対象領域から算出されるエッジ方向の頻度は、広範囲に亘って分布する。また、エッジ強度の頻度は、対象領域内に主に２種類のテクスチャが存在するので、エッジ強度が弱い部分と強い部分の二ヶ所に分かれて分布する。

図８の（ａ）は、対象領域が、縦エッジ（９０度方向に向かうエッジ）の強度が強く、かつ斜めエッジ（４５度方向に向かうエッジ）の強度が弱い人工的なパターンのテクスチャから構成されている場合を示している。
この図８の（ａ）に示すテクスチャを有する対象領域から特徴量を算出する場合、図７の（ａ）乃至（ｃ）に示した場合と同様にして、対象領域全体のエッジ強度の頻度とエッジの方位の頻度とを求めても良いが、図８の（ｂ）に示すように、０度、４５度、９０度などのエッジの方向ごとにエッジ強度の分布を求める構成や、図８の（ｃ）に示すように、エッジの強度ごとにエッジの方向の分布を求める構成としても良い。
これにより、人工的なパターンの模様自体を、エッジ強度の頻度とエッジの方向の頻度とで表現できる。

影判定部２２ｃは、線分検索部２１が小領域内において検出した線分が、影のエッジによる線分、すなわち影線分であるか否かを判定するものである。
影判定部２２ｃは、例えば図６の（ｄ）に示す小領域Ｃの場合、互いに隣接するサブ領域ｄ、ｅの特徴量と輝度値をそれぞれ比較し、特徴量が同一であり、かつ輝度値が異なる場合に、サブ領域ｄ、ｅを区画する線分が影線分であると判定する。
続いて、影判定部２２ｃは、輝度値の大きい方のサブ領域が日向の領域であり、輝度値が小さい方のサブ領域が日陰の領域であると決定し、影線分の位置と、日陰領域であるのか日向領域であるのかを区別する情報とからなる影情報を生成し、算出部２２ｂと種別判別部２３とに出力する。ちなみに、図６の（ｄ）の場合は、サブ領域ｄが日向領域であり、サブ領域ｅが日陰領域であると決定される。

ここで、影線分であるか否かを確認するのは、車両の周囲の撮像により得られる撮像画像には、車両の周囲に存在する建物（立体物）や車両の影が含まれるので、影を含む撮像画像において設定された小領域においてそのまま特徴抽出を行うと、特徴量を正確に行えない場合があるからである。

図６の（ｄ）を参照して、算出部２２ｂでは、影判定部２２ｃから影情報が入力されると、日陰の領域であるサブ領域ｅの輝度値を、日向の領域であるサブ領域ｄの輝度値と同じ輝度値に補正した上で、サブ領域ｄとサブ領域ｅとからなる対象領域の特徴量を算出し、小領域Ｃの特徴量とする。そして、算出された特徴量を、種別判別部２３や学習部２４に出力する。
その結果、種別判別部２３では、影による影響が除かれた対象領域より算出された特徴量に基づいて、小領域の区分の特定が行われるので、小領域の区分の特定をより正確に行うことができる。

また、影判定部２２ｃは、影線分の経時的な変化を考慮して、影線分が車両の影による線分であるのか否かをさらに判断する。
この場合、影判定部２２ｃは、影情報が生成されると、記憶部３０（図１参照）の影履歴テーブル３４に影情報を記憶すると共に、影情報により特定される影の経時的な変化の有無を確認する。
ここで、影履歴テーブル３４には、影データが時系列順に並べて格納されているので、時刻ｔにおける影情報と時刻ｔ＋△ｔにおける影情報とを比較することで、撮像画像内における影線分の位置と影の範囲の経時変化が判るようになっている。

従って、影判定部２２ｃは、時刻ｔ＋△ｔにおける影情報と、時刻ｔにおける影情報とが一致した場合、撮像画像において検出された影線分が、車両の影による線分であると判断する。そして、車両の影による線分を特定する車両影情報を生成し、これを種別判別部２３に出力する。
一方、一致しない場合、影線分は車両の影による線分でないと判断する。すなわち、車両の周囲に存在する立体物（例えば建物）の影による線分であると判断する。

ここで、影情報により特定される影の位置の経時的な変化の有無を確認することで、撮像画像において検出された影線分が、車両の影による線分であるか否かを判断することができる理由を、図９を参照して説明する。
車両が移動している場合、撮像画像内において検出された影が車両の影であれば、車両マークＶと影Ｓｖとの相対的な位置関係は経時的に変化しない。よって、時刻ｔの撮像画像において検出された影Ｓｖの位置と、時刻ｔ＋△ｔの撮像画像において検出された影Ｓｖの位置は同じになる。
これに対して、撮像画像において検出された影が車両以外の立体物の影であれば、車両マークＶと影Ｓｏとの相対的な位置関係は経時的に変化する。よって、時刻ｔの撮像画像において検出された影Ｓｏの位置は、時刻ｔ＋△ｔの撮像画像では、車両マークＶの進行方向における後側（図中、下方向）に移動する。

このように、撮像画像において検出された影の位置の経時的な変化の有無を確認することで、影が車両の影であるのか否かを確認できるので、種別判別部２３では、この車両の影の位置を把握した上で、車両の周囲の路面の判別を行うことが出来る。よって、より正確に路面の判別を行うことができる。

なお、時刻ｔの影情報と時刻ｔ＋△ｔの影情報との比較は、図９に示すように、影線分Ｌを、始点Ｓと、終点Ｄと、始点と終点とを結ぶ影線分Ｌ上の複数の曲点Ｍとで表した場合に、時刻ｔにおける影線分の各曲点Ｍの位置と、時刻ｔ＋△ｔにおける影線分の各曲点Ｍの位置とを比較することで行うことができる。

さらに、影判定部２２ｃは、影線分の経時的な変化を考慮して、車両の周囲における立体物の有無を判断する。
この場合における処理を、図１０の撮像画像の場合を例に挙げて説明をする。
影判定部２２ｃは、車両マークＶの影線分Ｌｖの曲点Ｍの位置が車両側に移動した場合に、撮像画像内において検出されている他の影線分（建物の影線分）Ｌｏの形状が変化しているか否かを、影履歴テーブル３４を参照して確認する。
具体的には、影履歴テーブル３４を参照して、時刻ｔ＋△ｔにおける建物の影線分Ｌｏの曲点Ｍの数が、時刻ｔにおける建物の影線分Ｌｏの曲点Ｍの数よりも増加しているか否かを確認する。

そして、曲点Ｍの数が増加している場合、影判定部２２ｃは、車両マークＶの右側面から車両マークＶの前後方向に延伸する仮想線Ｋ１を基準として、この仮想線Ｋ１から影線分Ｌｖの位置が移動した曲点Ｍまでの距離Ｄ１と、この仮想線Ｋ１から影線分Ｌｏの増加した曲点Ｍまでの距離Ｄ２とを求める。続いて、影判定部２２ｃは、求めた距離Ｄ１と距離Ｄ２とを比較し、これらの距離が略一致した場合、影線分Ｌｖの位置が移動した曲点Ｍと影線分Ｌｏの増加した曲点とを結ぶ仮想線Ｋ２の右側に立体物が存在すると判断する。
そして、影判定部２２ｃは、存在するとみなされた立体物の位置を示す位置情報を生成し、これを種別判別部２３に出力する。

種別判別部２３は、特徴量と所定の区分との関係を示す学習テーブルを、特徴量算出部２２により算出した特徴量に基づいて参照し、撮像画像において設定された小領域の各々の区分を特定すると共に、各小領域において特定された区分に基づいて、周囲の路面の状態が、「走行路面」、「走行外路面」、および「立体物」のうちの何れの種別に属するのかを判別するものである。

種別判別部２３が参照する学習テーブル３３について説明する。
学習テーブル３３は、特徴量とあらかじめ規定された区分との対応関係をまとめたデータベースであり、記憶部３０に記憶されている。
ここで、区分として、「アスファルト」、「草」、「土」、そして「壁」などが用意されており、例えば、「アスファルト」は、車両が走行する路面を意味する「走行路面」という種別に、「草」、「土」は、走行路面以外の平面を意味する「走行外路面」という種別に、「壁」は、平面ではない立体面を意味する「立体物」という種別に、それぞれ属することがあらかじめ設定されている。

そして、学習テーブル３３には、「アスファルト」、「草」、「土」、「砂利」、そして「壁」などを撮像した撮像画像から、上記した手法により求めた特徴量（エッジ強度の頻度と、エッジの方向の頻度）があらかじめ登録されている。
よって、撮像画像において設定された小領域から算出された特徴量に基づいて学習テーブル３３を検索することで、小領域がどのような区分に属するのかが判るようになっている。

従って、例えば、特徴量算出部２２により算出した特徴量が、図７の（ａ）に示す「草」のテクスチャから算出求めた特徴量と同一であった場合、種別判別部２３は、特徴量を算出した小領域の区分が「草」であると特定する。

そして、種別判別部２３は、すべての小領域の区分の特定が完了すると、各小領域において特定された区分に基づいて、車両の周囲の路面の状態が、走行路面、走行外路面、および立体物のうちの何れの種別に属するのかを判定し、判定結果を示す路面状態情報を生成する。
例えば、各小領域において特定された区分がすべて「アスファルト」である場合、アスファルトは「走行路面」に属するので、車両の周囲の路面のすべてが「走行路面」である旨の路面状態情報を生成する。

なお、車両の影による線分とその範囲を示す車両影情報や撮像画像内における立体物の位置を示す位置情報が、影判定部２２ｃから入力されている場合には、
これらの情報でも車両の周囲の状態が確認できるので、種別判別部２３は、各小領域において特定された区分に基づいて判断をした車両の周囲の路面の状態の妥当性を確認することができる。
例えば、「走行路面」であると判定した場合に、当該路面に立体物が位置することが位置情報により確認されるときには、判定結果が妥当でないと判断し、判定結果を「立体物」に変更する、若しくは撮像画像における小領域の設定からやり直して、路面の状態の判定を再度行うなどの措置をとる。

種別判別部２３は、生成した路面状態情報を、路面判別装置１に接続された外部機器などに出力する。
例えば、外部機器が、車両と立体物との離間距離が所定距離以下となったときに警報を発する警報装置（図示せず）である場合には、路面状態情報に基づいて、車両の周囲に存在する立体物の位置と、車両と立体物との離間距離とが特定できるので、必要な場合に車両の運転者に注意を喚起することができる。

また、外部機器が、車両の駐車支援を行う駐車支援装置である場合には、車両内に設置された車両の周囲の状態を表示する表示部（図示せず）上で、車両の周囲の路面の状態が、「走行路面」、「走行外路面」、そして「立体物」のうちの何れの種別であるのかを、重畳して表示させることができる。
また、車両の運転者が、表示部に表示された車両の周囲を示す画像において車両の駐車場所として指定した領域が、「走行外路面」や「立体物」の領域である場合、指定した場所には車両を駐車させることができない旨を運転者に通知して注意喚起することができる。

学習部２４は、特徴量算出部２２において算出された特徴量を、所定の区分と関連づけて、学習テーブル３３に記憶するものである。
学習部２４は、学習テーブル３３を参照して、算出された特徴量に最も近似する特徴量を検索し、算出された特徴量を、検索された特徴量が対応する区分に関連づけて、学習テーブル３３に記憶する。
例えば、算出された特徴量が、「草」という区分に関連づけられた特徴量と近似している場合は、この区分に関連づけて学習テーブル３３に記憶される。

以上の通り、本実施形態では、カメラで撮像した路面の撮像画像において、エッジ強度が所定の閾値以上となる線分を撮像画像において検索し、検索された線分を撮像画像から除いた領域を対象領域として設定すると共に、当該対象領域の特徴量を算出し、特徴量と所定の区分との関係を示す学習テーブルを、算出した特徴量に基づいて参照して対象領域の区分を特定し、特定された区分に基づいて、路面の状態が、走行路面、走行外路面、および立体物のうちの何れの種別に属するのかを判別するように構成されており、特徴抽出をした際に特徴が顕著に現れる線分を除いた領域の特徴量が常に算出されるので、特徴量は、領域内に存在する色や細かい模様などの、弱いエッジ強度を持つテクスチャの特徴を反映したものとなる。
よって、弱いエッジ強度を持つテクスチャから算出された特徴量に基づいて、対象領域の区分の特定が常に行われるので、撮像画像内に強いエッジ強度の線分が存在しない場合であっても、弱いエッジ強度を持つテクスチャの特徴量に基づいて対象領域の区分が特定できると共に、特定された区分に基づいて、周囲の路面の状態が判別できるという効果が得られる。

さらに、広角カメラで取得した画像から撮像画像を生成した際に生ずる画像の歪みや明るさの違いを補正する変換式が、レンズ系の特徴に基づいて、撮像画像内の位置ごとにあらかじめ設定されており、撮像画像が、この変換式に基づいて補正されるように構成されているので、広角カメラの撮像範囲内における位置に関係なく、同じ物体や同じテクスチャが撮像画像内において常に同じように表示される。よって、補正後の撮像画像に基づいてより正確な特徴抽出を行えるという効果が得られる。

また、撮像画像内においてエッジ強度が所定の閾値以上となる線分を検索し、検索した線分を挟んで隣接する領域の特徴量が同じであり、かつ輝度が異なる場合に、検索した線分が影のエッジを示す線分であると判断する共に、影のエッジを示す線分を挟んで隣接する領域の輝度を同じ輝度に補正した上で、特徴量を算出するように構成されているので、影による影響が除かれた対象領域から算出された特徴量に基づいて小領域の区分の特定を行うことができ、小領域の区分の特定をより正確に行うことができるという効果が得られる。

さらに、対象領域内に存在するエッジのエッジ強度の頻度と、エッジの方向の頻度とのうちの少なくとも一方を特徴量として算出するように構成されているので、対象領域に含まれるテクスチャをエッジ強度の頻度とエッジの方向の頻度とのうちの少なくとも一方で表現できるという効果が得られる。また、特徴量の比較は、エッジ強度の頻度やエッジの方向の頻度の形状の比較により簡単に行えるという効果が得られる。

また、影のエッジを示す線分に基づいて撮像画像内の影の領域を特定し、特定した影の領域の経時的な変化の有無と、対象領域の区分とに基づいて、路面の判別を行うように構成されているので、特定された対象領域の区分に基づいて判別された路面の状態の妥当性を、影の領域の経時的な変化により把握される路面の状態により、判断できるという効果が得られる。

特に、影の領域の経時的な変化の有無は、影のエッジを示す線分の経時的な変化に基づいて判断されるように構成されているので、影の領域を特定するためのすべての情報を記憶しておく必要無しに、影のエッジを示す線分の形状の経時的な変化や、線分上に位置する変化点の位置や数の経時的な変化に基づいて、影の領域の経時的な変化の有無を確認できるという効果が得られる。

また、撮像画像を区画して複数の小領域を設定し、設定された小領域の各々において、エッジ強度が所定の閾値以上となる線分を検索し、小領域の各々において、検索された線分を小領域から除いた領域を対象領域として設定してこの対象領域の特徴量を算出し、特徴量と所定の区分との関係を示す学習テーブルを、算出した特徴量に基づいて参照して小領域の各々の区分を特定し、特定された小領域の各々の区分に基づいて、路面の状態が、走行路面、走行外路面、および立体物のうちの何れの種別に属するのかを判別する構成としたので、撮像画像において設定された小領域毎に区分の特定を行うことができ、路面の状態の判別がより細かく行えるという効果が得られる。

さらに、カメラは車両に搭載されており、車両の周囲の路面を撮像する構成としたので、車両の周囲の路面の判別を行えるという効果が得られる。

また、撮像画像は、カメラからの画像データを、車両の上方から見た俯瞰画像に変換したものであり、画像の中央部に位置する車両を取り囲むように、車両の周囲の画像が配置される構成としたので、車両が直進走行している場合、俯瞰画像内における影の領域の変化は、画像内で平行に移動する単純な動きとして捉えることができると共に、影の領域を特定するための計算が単純な計算で行えるという効果が得られる。

さらに、車両の直進走行時に、影のエッジを示す線分が所定時間変化しない場合、当該線分を車両の影のエッジを示す線分であると判断し、車両の影のエッジを示す線分がその後変化した場合に、線分が変化した位置に立体物または段差が存在すると判断する構成としたので、車両の周囲における立体物の有無やその位置が確認できるという効果が得られる。

なお、本実施形態では、複数のカメラＣが車両に設けられており、各カメラから入力される複数の画像データに基づいて俯瞰画像を生成する場合を例に挙げて説明をした。
しかし、１台のカメラにより車両の周囲を撮像する構成としても良い。この場合には、カメラＣから入力される１の画像データに基づいて撮像画像が生成されることになる。

また、本実施の形態では、学習部２４は、学習テーブル３３を参照して、算出された特徴量に最も近似する特徴量を検索し、検索された特徴量が対応する区分に算出された特徴量を関連づけて、学習テーブル３３に記憶する構成としたが、
算出された特徴量を何れの区分に関連づけるのかの判断をオペレータ（人）が行い、図示しない入力端末を介して行うようにしても良い。

実施形態に係る路面判別装置の構成図である。 車両に搭載されたカメラの配置と画像処理部において生成される撮像画像の説明図である。 俯瞰画像の例を示す説明図である。 撮像画像において現れる広角カメラのレンズ系の特徴に起因する影響を説明する説明図である。 撮像画像における小領域の例を示す説明図である。 小領域において設定される対象領域を説明する説明図である。 エッジ強度の頻度とエッジの方位の頻度とを説明をする説明図である。 エッジ強度の頻度とエッジの方位の頻度とを説明をする説明図である。 車両の影による線分の判断要領を説明する説明図である。 立体物の有無の判断要領を説明する説明図である。

符号の説明

１ 路面判別装置
１０ 画像処理部
１１ 撮像画像生成部
１２ 撮像画像補正部
２０ 制御部
２１ 線分検索部
２１ａ 撮像画像処理部
２１ｂ エッジ検出部
２２ 特徴量算出部
２２ａ 対象領域設定部
２２ｂ 算出部
２２ｃ 影判定部
２３ 種別判別部
２４ 学習部
３０ 記憶部
３１ 画像メモリ
３２ 設定テーブル
３３ 学習テーブル（テーブル）
３４ 影履歴テーブル

Claims (12)

1. カメラで撮像した路面の撮像画像に基づいて、路面の判別を行う路面判別方法であって、
   （ａ）前記撮影画像内において路面上に存在するエッジを抽出し、抽出したエッジの強度であるエッジ強度を算出し、前記エッジ強度が所定の閾値以上であるエッジが所定長さ以上線状に連続する領域をエッジ線分として、検出する線分検出段階と、
   （ｂ）検出された前記エッジ線分により区分される領域を対象領域として設定し、当該対象領域の特徴量を算出する特徴量算出段階と、
   （ｃ）前記特徴量算出段階で算出される特徴量と、該特徴量に対応する路面種別の区分との関係を示すテーブルを参照して、前記特徴量算出段階により算出された特徴量から、前記対象領域の路面種別の区分を特定すると共に、特定された路面種別の区分に基づいて、路面の状態が、走行路面、走行外路面、および立体物のうちの何れの種別に属するのかを判別する種別判別段階と
   を備え、
   前記特徴量算出段階では、前記対象領域を設定する際に、前記対象領域を構成する画素のうち、前記エッジ線分に対応する画素を除いて、前記対象領域を設定することを特徴とする路面判別方法。
2. 前記線分検出段階の前に、
   前記撮像画像を補正して、前記カメラのレンズ系の特徴に起因する影響を除去する撮像画像補正段階をさらに備える
   ことを特徴とする請求項１に記載の路面判別方法。
3. 前記撮像画像において生ずる画像の歪みや明るさの違いを補正する変換式が、前記レンズ系の特徴に基づいて、前記撮像画像内の位置ごとにあらかじめ設定されており、
   前記撮像画像補正段階では、前記変換式に基づいて前記撮像画像を補正する
   ことを特徴とする請求項２に記載の路面判別方法。
4. 前記特徴量算出段階では、
   前記線分検出段階において検出されたエッジ線分を挟んで隣接する領域の特徴量が同じであり、かつ輝度が異なる場合に、前記エッジ線分が影のエッジを示す線分であると判断する共に、
   前記影のエッジを示す線分を挟んで隣接する領域の輝度を同じ輝度に補正した上で、前記特徴量を算出する
   ことを特徴とする請求項１乃至請求項３のうちの何れか一項に記載の路面判別方法。
5. 前記特徴量算出段階では、
   前記影のエッジを示す線分に基づいて、前記撮像画像内の影の領域を特定し、
   前記種別判別段階では、
   前記対象領域の区分と、前記影の領域の経時的な変化の有無とに基づいて、路面の判別を行う
   ことを特徴とする請求項３または請求項４に記載の路面判別方法。
6. 前記影の領域の経時的な変化の有無は、前記影のエッジを示す線分の経時的な変化に基づいて判断される
   ことを特徴とする請求項５に記載の路面判別方法。
7. 前記線分検出段階では、前記エッジ線分により区分して設定された複数の小領域の各々において前記エッジ線分を検出し、
   前記特徴量算出段階では、前記小領域の各々において、前記小領域を構成する画素のうち、前記エッジ線分に対応する画素を除くことにより設定された領域を対象領域として設定し、
   前記種別判別段階では、前記小領域の各々の区分を特定し、特定された前記小領域の各々の区分に基づいて、路面の状態が、走行路面、走行外路面、および立体物のうちの何れの種別に属するのかを判別する
   ことを特徴とする請求項１乃至請求項６のうちの何れか一項に記載の路面判別方法。
8. 前記カメラは、車両に搭載されて車両の周囲の路面を撮像するものである
   ことを特徴とする請求項１乃至請求項７のうちの何れか一項に記載の路面判別方法。
9. 前記撮像画像は、前記カメラからの画像データを、車両の上方から見た俯瞰画像に変換したものである
   ことを特徴とする請求項８に記載の路面判別方法。
10. 前記撮像画像は、前記カメラからの画像データを、車両の上方から見た俯瞰画像に変換したものであり、画像の中央部に配置された車両マークを取り囲むように、車両の周囲の俯瞰画像が配置されている
    ことを特徴とする請求項９に記載の路面判別方法。
11. 前記特徴量算出段階では、
    前記車両の直進走行時に、前記影のエッジを示す線分が所定時間変化しない場合、当該線分を前記車両の影のエッジを示す線分であると判断し、前記車両の影のエッジを示す線分がその後変化した場合に、前記線分が変化した位置に立体物が存在すると判断する
    ことを特徴とする請求項８乃至請求項１０のうちの何れか一項に記載の路面判定方法。
12. カメラで撮像した路面の撮像画像に基づいて、路面の判別を行う路面判別装置であって、
    前記撮影画像内において路面上に存在するエッジを抽出し、抽出したエッジの強度であるエッジ強度を算出し、前記エッジ強度が所定の閾値以上であるエッジが所定長さ以上線状に連続する領域をエッジ線分として、検出する線分検出部と、
    検出された前記エッジ線分により区分される領域を対象領域として設定し、当該対象領域の特徴量を算出する特徴量算出部と、
    前記特徴量算出部で算出される特徴量と、該特徴量に対応する路面種別の区分との関係を示すテーブルを参照して、前記特徴量算出部により算出された特徴量から、前記対象領域の路面種別の区分を特定すると共に、特定された路面種別の区分に基づいて、路面の状態が、走行路面、走行外路面、および立体物のうちの何れの種別に属するのかを判別する種別判別部と
    を備え、
    前記特徴量算出部は、前記対象領域を設定する際に、前記対象領域を構成する画素のうち、前記エッジ線分に対応する画素を除いて、前記対象領域を設定することを特徴とする路面判別装置。

Images