JP6350374B2

JP6350374B2 - 路面検出装置

Info

Publication number: JP6350374B2
Application number: JP2015084916A
Authority: JP
Inventors: 西嶋　征和; 征和西嶋; 文男菅谷
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2015-04-17
Filing date: 2015-04-17
Publication date: 2018-07-04
Anticipated expiration: 2035-04-17
Also published as: CN106056571A; DE102016206117B4; US20160305785A1; US9912933B2; CN106056571B; DE102016206117A1; JP2016206776A

Description

本発明の種々の側面は、車両が走行する路面領域を検出する路面検出装置に関する。

従来、ステレオカメラで撮像した車両の周囲の撮像画像の視差情報から、車両が走行する路面領域を検出する路面検出装置がある。このような路面検出装置として、例えば、下記の特許文献１が知られている。特許文献１には、撮像画像における視差情報（距離情報）を利用して路面領域を検出する装置が記載されている。

また、路面領域の検出精度を高めるため、例えば、撮像画像中の白線の内側の画像領域に存在する視差情報に基づいて、路面領域を検出する技術が知られている。

米国特許出願公開第２０１４／００７１２４０号明細書

しかしながら、道路の白線を検出できない場合、或いは白線が無い場合には、上述した路面領域の検出精度を高める方法は使用できない。このため、本技術分野においては、白線の検出結果に基づくことなく、路面領域の検出精度を高めることが求められている。

そこで、本発明の種々の側面は、路面領域の検出精度を高めることができる路面検出装置を提供することを目的とする。

本発明の一側面は、車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて、路面領域を検出する路面検出装置であって、車両の運動情報に基づいて、車両が進行する進行軌跡を推定する軌跡推定部と、視差情報に重み付けを行い、重み付けされた視差情報に基づいて撮像画像中の路面領域を検出する検出部と、を備え、検出部は、視差情報に重み付けを行う際に、撮像画像中において進行軌跡に近い側に位置する視差情報の重み付けの重みの大きさよりも、進行軌跡から離れた側に位置する視差情報の重み付けの重みの大きさを小さくする。

この路面検出装置では、進行軌跡に近い側に位置する視差情報の重み付けの重みは、進行軌跡から離れた側に位置する視差情報の重み付けの重みよりも大きくなる。ここで、車両が進行する進行軌跡の周囲の領域は道路であると考えられる。また、進行軌跡から離れた領域は、道路ではない可能性が高いと考えられる。このため、路面検出装置は、進行軌跡に近い側に位置する視差情報の重み付けの重みを大きくすることにより、進行軌跡から離れた側に位置する視差情報が路面領域の検出に与える影響を抑制できる。従って、路面検出装置は、路面領域の検出精度を高めることができる。

軌跡推定部は、進行軌跡を推定すると共に、進行軌跡に基づいて車両の走行車線の曲率を推定し、検出部は、軌跡推定部で推定された曲率の単位時間当たりの変化量が予め設定された基準変化量より大きい場合、撮像画像中において進行軌跡に近い側に位置する視差情報の重み付けの重みの大きさよりも、進行軌跡から離れた側に位置する視差情報の重み付けの重みの大きさを小さくする処理を行わなくてもよい。例えば、推定した走行車線の曲率の単位時間当たりの変化量が基準変化量より大きい場合、道路の形状が大きく変動しているため、推定された進行軌跡に沿った道路形状と実際の道路形状とが一致しない傾向がある。このため、推定した走行車線の曲率の単位時間当たりの変化量が基準変化量より大きい場合には、進行軌跡からの距離に基づいた視差情報の重み付けを行わないことにより、路面領域ではない領域に対応する視差情報の重みが大きくなることを抑制できる。

本発明の他の一側面は、車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて、路面領域を検出する路面検出装置であって、車両の運動情報に基づいて、車両が進行する進行軌跡を推定する軌跡推定部と、視差情報に重み付けを行い、重み付けされた視差情報に基づいて撮像画像中の路面領域を検出する検出部と、を備え、検出部は、視差情報に重み付けを行う際に、撮像画像中において進行軌跡から予め定められた範囲の内側に位置する視差情報の重み付けの重みの大きさよりも、予め定められた範囲の外側に位置する視差情報の重み付けの重みの大きさを小さくする。

この路面検出装置では、進行軌跡から予め定められた範囲の内側に位置する視差情報の重み付けの重みは、予め定められた範囲の外側に位置する視差情報の重み付けの重みよりも大きくなる。ここで、車両が進行する進行軌跡の周囲の領域は道路であると考えられる。また、進行軌跡から離れた領域は、道路ではない可能性が高いと考えられる。このため、路面検出装置は、進行軌跡から予め定められた範囲の内側に位置する視差情報の重み付けの重みを大きくすることにより、進行軌跡から予め定められた範囲の外側に位置する視差情報が路面領域の検出に与える影響を抑制できる。従って、路面検出装置は、路面領域の検出精度を高めることができる。

軌跡推定部は、進行軌跡を推定すると共に、進行軌跡に基づいて車両の走行車線の曲率を推定し、検出部は、軌跡推定部で推定された曲率の単位時間当たりの変化量が予め設定された基準変化量より大きい場合、撮像画像中において進行軌跡から予め定められた範囲内に位置する視差情報の重み付けの重みの大きさよりも、予め定められた範囲外に位置する視差情報の重み付けの重みの大きさを小さくする処理を行わなくてもよい。例えば、推定した走行車線の曲率の単位時間当たりの変化量が基準変化量より大きい場合、道路の形状が大きく変動しているため、推定された進行軌跡に沿った道路形状と実際の道路の形状とが一致しない傾向がある。このため、推定した走行車線の曲率の単位時間当たりの変化量が基準変化量より大きい場合には、進行軌跡から予め定められた範囲の外側であるか範囲の内側であるかに基づいた視差情報の重み付けを行わないことにより、路面領域ではない領域に対応する視差情報の重みが大きくなることを抑制できる。

本発明の種々の側面によれば、路面領域の検出精度を高めることができる。

第一実施形態に係る路面検出装置の概略構成を示す図である。視差画像中の横方向位置を横軸とし、視差を縦軸とした視差投票マップを示す図である。撮像画像上における進行軌跡を示す図である。 V-disparity画像に表れた路面領域の一例を示す図である。路面検出装置における路面領域の検出処理の流れを示すフローチャートである。第二実施形態に係る路面検出装置の概略構成を示す図である。撮像画像上における走行エリアを示す図である。路面検出装置における路面領域の検出処理の流れを示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

（第一実施形態）
まず、第一実施形態について説明する。図１に示すように、本実施形態に係る路面検出装置１は、例えば、乗用車等の車両Ｖに搭載され、車両Ｖの周囲を撮像した撮像画像から得られた視差情報（車載カメラからの距離情報）に基づいて、路面領域を検出する。路面領域とは、例えば、車両Ｖの走行可能な道路の路面である。なお、路面領域には、車両Ｖの走行する道路の路面の他、駐車場の通路及び駐車スペースの路面が含まれてもよい。

路面検出装置１は、車両Ｖの周囲を撮像する車載カメラにより撮像画像を取得し、撮像画像から生成した視差画像の視差情報（視差）に基づいて路面領域を検出する。視差画像とは、視差情報を含む画像である。

図１に示すように、路面検出装置１は、路面領域を検出するためのＥＣＵ［Electronic Control Unit］２、ステレオカメラ（車載カメラ）３、及び内部センサ４を備えている。ＥＣＵ２は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の処理を実行する。ＥＣＵ２は、複数の電子制御ユニットから構成されていてもよい。

ステレオカメラ３は、車両Ｖの周囲を撮像して撮像画像を取得する画像取得機器である。ステレオカメラ３は、両眼視差を再現するように配置された第１カメラ３Ａ及び第２カメラ３Ｂを有している。第１カメラ３Ａ及び第２カメラ３Ｂは、例えば、車両Ｖのフロントガラスの裏側に設けられ、車両Ｖの前方を撮像する。

なお、路面検出装置１は、ステレオカメラ３に代えて、単眼カメラを備えていてもよい。単眼カメラにおいても、周知の手法（例えば撮像の時間差を利用した手法）を用いることにより、撮像画像から視差画像を得ることができる。

内部センサ４は、車両Ｖの走行状態を検出する検出機器である。内部センサ４は、例えば、車速センサ、及びヨーレートセンサを含む。車速センサは、車両Ｖの速度を検出する検出器である。車速センサとしては、例えば、車両Ｖの車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車両Ｖの回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車速情報（車両の運動情報）をＥＣＵに送信する。ヨーレートセンサは、車両Ｖの重心の鉛直軸周りのヨーレートを検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した車両Ｖのヨーレート情報（車両の運動情報）をＥＣＵ２へ送信する。

次に、ＥＣＵ２の機能的構成について説明する。図１に示すように、ＥＣＵ２は、画像取得部２１、軌跡推定部２２、検出部２３、及び路面情報出力部２４を有している。

画像取得部２１は、ステレオカメラ３の撮像した撮像画像を取得する。画像取得部２１は、例えば、ステレオカメラ３における第１カメラ３Ａの撮像画像及び第２カメラ３Ｂの撮像画像に基づいて、周知の手法により視差情報を含む視差画像を生成する。例えば、視差画像を構成する各画素に視差情報が含まれている。以下、視差情報を含む視差画像中の画素を視差点という。

軌跡推定部２２は、内部センサ４の車速センサ及びヨーレートセンサの検出結果（運動情報）に基づいて、車両Ｖが進行する進行軌跡を推定する。例えば、軌跡推定部２２は、車速センサ及びヨーレートセンサによって検出された現在の速度及びヨーレートの状態が継続すると仮定して、進行軌跡を推定してもよい。軌跡推定部２２は、車速センサ及びヨーレートセンサの検出結果以外の情報(例えば、舵角センサによって検出される舵角（車両の運動情報）等)を用いて進行軌跡を推定してもよい。

検出部２３は、視差情報に基づいて、撮像画像中の路面領域を検出する。検出部２３は、路面領域を検出する際に、撮像画像上において車両Ｖの進行軌跡に近い側に位置する視差情報よりも車両Ｖの進行軌跡から離れた側に位置する視差情報の利用を抑制しながら路面領域を検出する。視差情報の利用を抑制することとは、視差情報が路面領域の検出に与える影響を弱くすることである。具体的には、検出部２３は、視差画像に含まれる視差情報に重み付けを行い、重み付けされた視差情報に基づいて撮像画像中の路面領域を検出する。より詳細には、検出部２３は、路面候補点推定部２３Ａ、重み付け部２３Ｂ、及び路面検出部２３Ｃを有している。

路面候補点推定部２３Ａは、視差画像に含まれる複数の視差点のうち、路面に対応する視差点を路面候補点として推定する。路面候補点推定部２３Ａは、既知の方法により、視差点が路面に対応する視差点であるか、又は、路面以外の立体物等に対応する視差点であるかを推定する。

一例として、路面候補点推定部２３Ａは、次のようにして路面候補点を推定してもよい。路面候補点推定部２３Ａは、図２に示すような視差投票マップを設定する。図２の視差投票マップは、横方向の辺が視差画像の横方向（水平方向）の位置に対応し且つ縦方向の辺が視差の大きさに対応するように定められた複数の矩形状のブロックを配列させて構成されている。路面候補点推定部２３Ａは、視差画像中の視差点の位置、及び視差点の視差の大きさに基づいて、視差投票マップを構成する複数のブロックのうち対応するブロックに視差点を分類（投票）する。このようにして、路面候補点推定部２３Ａは、視差投票マップのブロックと、各視差点とを対応させる。

次に、路面候補点推定部２３Ａは、視差投票マップのブロックのそれぞれについて、視差の平均値、視差の偏差、視差点における視差画像の縦方向の座標の平均値、視差点における視差画像の縦方向の座標の偏差を算出する。路面候補点推定部２３Ａは、視差投票マップのブロックのそれぞれに対し、視差点の縦方向の分布が小さく、且つ、視差方向の分布が大きいブロックに路面の属性を設定する。具体的には、路面候補点推定部２３Ａは、例えば、視差点の縦方向の分布（視差点における視差画像の縦方向の座標の偏差）が、予め設定された第一閾値未満か否かを判定する。また、路面候補点推定部２３Ａは、例えば、視差方向の分布（視差点における視差画像の縦方向の座標の偏差／視差の偏差）が、第二閾値未満か否かを判定する。路面候補点推定部２３Ａは、視差点の縦方向の分布が予め設定された第一閾値未満、且つ視差方向の分布が第二閾値未満の場合に、当該ブロックに路面の属性を設定する。路面候補点推定部２３Ａは、上記条件を満たさないブロックについては、路面以外（例えば、立体物）の属性を設定する。

路面候補点推定部２３Ａは、路面の属性が設定されたブロックに分類された視差点を、路面候補点として推定する。ここで、視差画像の精度誤差等によって、路面に対応した視差点以外の視差点についても路面候補点として推定されることがある。このため、検出部２３は、精度誤差等を排除して精度良く路面領域を検出するため、以下で説明するように、推定した路面候補点について重み付けを行う。

重み付け部２３Ｂは、路面候補点推定部２３Ａによって推定された路面候補点に重み付けを行う。重み付け部２３Ｂは、撮像画像中において軌跡推定部２２によって推定された進行軌跡に近い側に位置する路面候補点の重み付けの重みの大きさよりも、進行軌跡から離れた側に位置する路面候補点の重み付けの重みの大きさを小さくする。

具体的には、重み付け部２３Ｂは、軌跡推定部２２で推定された進行軌跡を、ステレオカメラ３によって撮像された撮像画像に投影する。重み付け部２３Ｂが重み付けの際に用いる撮像画像として、第１カメラ３Ａ又は第２カメラ３Ｂによって撮像されたいずれかの撮像画像を用いることができる。重み付け部２３Ｂは、例えば、図３に示すステレオカメラ３の撮像画像Ｐのように、水平方向（横方向）において、投影した進行軌跡Ｋに近い路面候補点ほど重み付けの重みを大きくする。例えば、路面候補点Ａについては重みを「１」、路面候補点Ａよりも進行軌跡Ｋに近い路面候補点Ｂの重みを「２」とすることができる。このように、重み付け部２３Ｂは、路面として推定された路面候補点のそれぞれについて、進行軌跡Ｓからの距離に基づいて重み付けの重みを設定する。ここで、路面候補点に設定される重みは、重みの値が大きいほど当該路面候補点の位置が路面領域であると検出され易くなることを示している。

ここで、図３は、車両Ｖの前方を撮像した撮像画像である。図３には、車両の走行車線を形成する白線（車線境界線）Ｌ，Ｌ１、白線Ｌと共に隣接車線を形成する白線Ｌ２が示されている。Ｒ１は車両Ｖの走行車線を示している。Ｒ２は対向車線（隣接車線）を示している。

路面検出部２３Ｃは、重み付けされた路面候補点に基づいて、撮像画像中の路面領域を検出する。路面検出部２３Ｃは、重みが小さい路面候補点よりも重みが大きい路面候補点を、路面領域の検出に強く作用させる。具体的には、路面検出部２３Ｃは、重みが小さい路面候補点よりも重みが大きい路面候補点の位置を、路面領域として検出され易くする。

例えば、路面検出部２３Ｃは、路面候補点の視差に基づいた路面領域の検出を、例えば、公知のV-disparity画像を用いて行うことができる。図４に示すように、V-disparity画像は、横軸に視差（視差が示す距離）をとり、縦軸に視差画像での垂直方向の座標をとり、視差画像に対して水平方向のヒストグラムを求めたグラフである。視差画像において、路面領域は、例えば、視差画像の垂直方向の座標が変化するのに伴って、視差が滑らかに変化する。そのため、図４に示すように、V-disparity画像においては、路面領域は斜め方向に伸びる線分Ｗとして射影される。

路面検出部２３Ｃは、重みの大きい路面候補点ほど路面領域の検出に強く作用するように、各路面候補点をV-disparity画像に反映させる。路面候補点推定部２３Ａは、各路面候補点をV-disparity画像に反映させる際に、例えば、重みの値に応じた個数の路面候補点が存在するとして、重みの値に応じた個数の路面候補点をV-disparity画像に反映させる。例えば、路面候補点Ｘに対して重み「２」が設定されている場合、路面候補点Ｘが２個存在するとして、２個の路面候補点ＸをV-disparity画像に反映させる。これにより、重みの大きい路面候補点ほど、路面領域の検出に強く作用する。

路面検出部２３Ｃは、路面候補点を用いて路面領域を検出したが、路面領域として路面の勾配を検出してもよい。

路面情報出力部２４は、検出部２３によって検出された路面領域の情報を外部に出力する。路面情報出力部２４は、例えば、車両Ｖの自動運転を行うＥＣＵ又は車両Ｖの運転支援を行うＥＣＵに対して、路面情報を出力してもよい。

次に、路面検出装置１で行われる路面領域の検出処理の流れについて、図５のフローチャートを用いて説明する。図５に示すフローチャートは、例えば、車両Ｖがエンジン駆動中である間、予め設定された時間毎に実行される。画像取得部２１は、ステレオカメラ３の撮像した撮像画像を取得する（Ｓ１０１）。画像取得部２１は、取得した撮像画像に基づいて視差画像を生成する（Ｓ１０２）。

路面候補点推定部２３Ａは、生成された視差画像に基づいて、路面候補点を推定する（Ｓ１０３）。軌跡推定部２２は、内部センサ４の検出結果に基づいて車両Ｖの進行軌跡を推定する（Ｓ１０４）。重み付け部２３Ｂは、進行軌跡からの距離に応じて、路面候補点推定部２３Ａによって推定された路面候補点に重み付けを行う（Ｓ１０５）。路面検出部２３Ｃは、例えば、公知のV-disparity画像等を用いて、路面候補点の視差に基づいて路面領域を検出する（Ｓ１０６）。路面情報出力部２４は、検出部２３によって検出された路面領域の情報を外部に出力する（Ｓ１０７）。

本実施形態は以上のように構成され、この路面検出装置１において、進行軌跡Ｋに近い側に位置する路面候補点の重み付けの重みは、進行軌跡Ｋから離れた側に位置する路面候補点の重み付けの重みよりも大きくなる。ここで、車両Ｖが進行する進行軌跡Ｋの周囲の領域は道路であると考えられる。また、進行軌跡Ｋから離れた領域は、道路ではない可能性が高いと考えられる。このため、路面検出装置１は、進行軌跡Ｋに近い側に位置する路面候補点の重み付けの重みを大きくすることにより、進行軌跡Ｋから離れた側に位置する路面候補点が路面領域の検出に与える影響を抑制できる。従って、路面検出装置１は、路面領域の検出精度を高めることができる。

（第一実施形態の変形例）
次に、第一実施形態の変形例について説明する。本変形例において、図１に示す重み付け部２３Ｂは、車両Ｖの進行する走行車線の曲率の単位時間当たりの変化量が大きい場合、上述した路面候補点に対する重み付けを行わなくてもよい。具体的には、軌跡推定部２２は、進行軌跡を推定すると共に、進行軌跡に基づいて車両Ｖの走行車線の曲率を推定する。例えば、軌跡推定部２２は、推定した進行軌跡の曲率を走行車線の曲率として推定してもよい。

重み付け部２３Ｂは、軌跡推定部２２で推定された走行車線の曲率の単位時間当たりの変化量が、予め設定された基準変化量より大きいか否かを判定する。曲率の単位時間当たりの変化量が基準変化量よりも大きい場合、撮像画像中において軌跡推定部２２によって推定された進行軌跡に近い側に位置する路面候補点の重み付けの重みの大きさよりも、進行軌跡から離れた側に位置する路面候補点の重み付けの重みの大きさを小さくする処理を行わない。

例えば、推定した走行車線の曲率の単位時間当たりの変化量が基準変化量より大きい場合、道路の形状が大きく変動しているため、推定された進行軌跡に沿った道路形状と実際の道路形状とが一致しない傾向がある。例えば、走行車線の曲率の変化量が大きい場面として、道路形状が直線からカーブに切り替わる場面、或いはカーブから直線に切り替わる場面などがある。このため、推定した走行車線の曲率の単位時間当たりの変化量が基準変化量より大きい場合には、進行軌跡からの距離に基づいた路面候補点の重み付けを行わないことにより、路面領域ではない領域に対応する路面候補点の重みが大きくなることを抑制できる。

（第二実施形態）
次に、第二実施形態について説明する。図６に、本実施形態に係る路面検出装置の概略構成を示す。図６に示すように、本実施形態に係る路面検出装置１Ａは、第一実施形態に係る路面検出装置１の重み付け部２３Ｂに代えて、重み付け部１２３Ｂを有している。路面検出装置１Ａにおいて、重み付け部１２３Ｂ以外の構成要素については、第一実施形態に係る路面検出装置１の構成要素と同様であり、同一符号を付して詳細な説明を省略する。

検出部２３は、路面候補点推定部２３Ａ、重み付け部１２３Ｂ、及び路面検出部２３Ｃを有している。重み付け部１２３Ｂは、路面候補点推定部２３Ａによって推定された路面候補点に重み付けを行う。重み付け部１２３Ｂは、撮像画像中において軌跡推定部２２によって推定された進行軌跡から予め定められた範囲の内側に位置する路面候補点の重み付けの重みの大きさよりも、予め定められた範囲の外側に位置する路面候補点の重み付けの重みの大きさを小さくする。

ここで、重み付け部１２３Ｂは、予め定められた範囲として、車両Ｖが走行する道路の範囲である走行エリアを用いる。重み付け部１２３Ｂは、軌跡推定部２２によって推定された進行軌跡に基づいて、走行エリアを設定する。例えば、日本においては、重み付け部１２３Ｂは、片側１車線の道路（車両Ｖが走行する車線（走行車線Ｒ）と、対向車が走行する車線（対向車線Ｒ２）とが１車線ずつ設けられている道路）を想定して走行エリアを設定する。具体的には、図７に示すように、例えば、重み付け部１２３Ｂは、車両Ｖから見て進行軌跡Ｋに対して左側に２．５ｍ離れた位置に境界線Ｔ１を設定する。重み付け部１２３Ｂは、進行軌跡Ｋに対して右側に４．５ｍ離れた位置に境界線Ｔ２を設定する。なお、進行軌跡Ｋに対して左側に２．５ｍ離れた位置とは、実際の進行軌跡Ｋに対して水平方向に左側に２．５ｍ離れた位置である。進行軌跡Ｋに対して右側に４．５ｍ離れた位置とは、実際の進行軌跡Ｋに対して水平方向に右側に４．５ｍ離れた位置である。重み付け部１２３Ｂは、実際の進行軌跡Ｋから所定距離離れた位置に設定した境界線Ｔ１及びＴ２を、ステレオカメラ３の撮像画像に投影する。重み付け部１２３Ｂは、撮像画像上に投影された境界線Ｔ１と境界線Ｔ２との間の領域を、走行エリアＴとして設定することができる。なお、走行エリアＴは、進行軌跡Ｋに対して水平方向にオフセットしていることに限定されない。走行エリアＴは、片側１車線の道路を想定して設定されることに限定されない。

重み付け部１２３Ｂは、撮像画像中において、走行エリアＴの内側に位置する路面候補点の重み付けの重みの大きさよりも、走行エリアＴの外側に位置する路面候補点の重み付けの重みの大きさを小さくする。例えば、図７に示す例において、重み付け部１２３Ｂは、走行エリアＴの外側に位置する路面候補点Ａについては重みを「１」、走行エリアＴの内側に位置する路面候補点Ｂの重みを「２」とすることができる。このように、重み付け部１２３Ｂは、路面として推定された路面候補点のそれぞれについて、路面候補点が走行エリアＴの内側に位置するか或いは外側に位置するかに基づいて、重み付けの重みを設定する。路面検出部２３Ｃは、第一実施形態と同様に、重み付け部１２３Ｂによって重み付けされた路面候補点に基づいて、撮像画像中の路面領域を検出する。

次に、路面検出装置１Ａで行われる路面領域の検出処理の流れについて、図８のフローチャートを用いて説明する。図８に示すフローチャートは、例えば、車両Ｖがエンジン駆動中である間、予め設定された時間毎に実行される。画像取得部２１は、ステレオカメラ３の撮像した撮像画像を取得する（Ｓ２０１）。画像取得部２１は、取得した撮像画像に基づいて視差画像を生成する（Ｓ２０２）。路面候補点推定部２３Ａは、生成された視差画像に基づいて、路面候補点を推定する（Ｓ２０３）。

軌跡推定部２２は、内部センサ４の検出結果に基づいて車両Ｖの進行軌跡を推定する（Ｓ２０４）。重み付け部１２３Ｂは、進行軌跡に基づいて、走行エリアを設定する（Ｓ２０５）。重み付け部２３Ｂは、路面候補点が走行エリアＴの内側に位置するか或いは外側に位置するかに基づいて、路面候補点に重み付けを行う（Ｓ２０６）。路面検出部２３Ｃは、例えば、公知のV-disparity画像等を用いて、路面候補点の視差に基づいて路面領域を検出する（Ｓ２０７）。路面情報出力部２４は、検出部２３によって検出された路面領域の情報を外部に出力する（Ｓ２０８）。

本実施形態は以上のように構成され、この路面検出装置１Ａにおいて、走行エリアＴの内側に位置する路面候補点の重み付けの重みは、走行エリアＴの外側に位置する路面候補点の重み付けの重みよりも大きくなる。ここで、車両Ｖが進行する進行軌跡Ｋの周囲の領域は道路であると考えられる。また、進行軌跡Ｋから離れた領域は、道路ではない可能性が高いと考えられる。このため、路面検出装置１Ａは、進行軌跡Ｋに基づいて設定した走行エリアＴの内側に位置する路面候補点の重み付けの重みを大きくすることにより、走行エリアＴの外側に位置する路面候補点が路面領域の検出に与える影響を抑制できる。従って、路面検出装置１Ａは、路面領域の検出精度を高めることができる。

（第二実施形態の変形例）
次に、第二実施形態の変形例について説明する。本変形例において、図６に示す重み付け部１２３Ｂは、車両Ｖの進行する走行車線の曲率の単位時間当たりの変化量が大きい場合、上述した路面候補点に対する重み付けを行わなくてもよい。具体的には、軌跡推定部２２は、進行軌跡を推定すると共に、進行軌跡に基づいて車両Ｖの走行車線の曲率を推定する。例えば、軌跡推定部２２は、推定した進行軌跡の曲率を走行車線の曲率として推定してもよい。

重み付け部１２３Ｂは、軌跡推定部２２で推定された走行車線の曲率の単位時間当たりの変化量が、予め設定された基準変化量より大きいか否かを判定する。曲率の単位時間当たりの変化量が基準変化量よりも大きい場合、撮像画像中において走行エリアＴの内側に位置する路面候補点の重み付けの重みの大きさよりも、走行エリアＴの外側に位置する路面候補点の重み付けの重みの大きさを小さくする処理を行わない。

例えば、推定した走行車線の曲率の単位時間当たりの変化量が基準変化量より大きい場合、道路の形状が大きく変動しているため、推定された進行軌跡に沿った道路形状と実際の道路形状とが一致しない傾向がある。このため、推定した走行車線の曲率の単位時間当たりの変化量が基準変化量より大きい場合には、路面候補点が走行エリアＴの内側に位置するか或いは外側に位置するかに基づいた路面候補点の重み付けを行わないことにより、路面領域ではない領域に対応する路面候補点の重みが大きくなることを抑制できる。

以上、本発明の各実施形態及び各変形例について説明したが、本発明は、上記各実施形態及び各変形例に限定されるものではない。例えば、各実施形態及び各変形例において軌跡推定部２２は、ステレオカメラ３の撮像画像に基づいて、車両Ｖが進行する進行軌跡を推定してもよい。例えば、軌跡推定部２２は、ステレオカメラ３の撮像画像（車両の運動情報）から撮像画像内の物体のオプティカルフローを算出する。そして、軌跡推定部２２は、算出したオプティカルフローに基づいて、車両Ｖの進行方向を推定する。軌跡推定部２２は、推定した進行方向に基づいて、車両Ｖの進行軌跡を推定してもよい。

１，１Ａ…路面検出装置、３…ステレオカメラ（車載カメラ）、２２…軌跡推定部、２３…検出部、Ｋ…進行軌跡、Ｐ…撮像画像、Ｖ…車両。

Claims

車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて、路面領域を検出する路面検出装置であって、
前記車両の運動情報に基づいて、前記車両が進行する進行軌跡を推定する軌跡推定部と、
前記視差情報に重み付けを行い、重み付けされた前記視差情報に基づいて前記撮像画像中の路面領域を検出する検出部と、を備え、
前記検出部は、前記視差情報に重み付けを行う際に、前記撮像画像中において前記進行軌跡に近い側に位置する前記視差情報の重み付けの重みの大きさよりも、前記進行軌跡から離れた側に位置する前記視差情報の重み付けの重みの大きさを小さくする、路面検出装置。
前記軌跡推定部は、前記進行軌跡を推定すると共に、前記進行軌跡に基づいて前記車両の走行車線の曲率を推定し、
前記検出部は、前記軌跡推定部で推定された前記曲率の単位時間当たりの変化量が予め設定された基準変化量より大きい場合、前記撮像画像中において前記進行軌跡に近い側に位置する前記視差情報の重み付けの重みの大きさよりも、前記進行軌跡から離れた側に位置する前記視差情報の重み付けの重みの大きさを小さくする処理を行わない、請求項１に記載の路面検出装置。
車載カメラの撮像した車両の周囲の撮像画像から得られた視差情報に基づいて、路面領域を検出する路面検出装置であって、
前記車両の運動情報に基づいて、前記車両が進行する進行軌跡を推定する軌跡推定部と、
前記視差情報に重み付けを行い、重み付けされた前記視差情報に基づいて前記撮像画像中の路面領域を検出する検出部と、を備え、
前記検出部は、前記視差情報に重み付けを行う際に、前記撮像画像中において前記進行軌跡から予め定められた範囲の内側に位置する前記視差情報の重み付けの重みの大きさよりも、前記予め定められた範囲の外側に位置する前記視差情報の重み付けの重みの大きさを小さくする、路面検出装置。
前記軌跡推定部は、前記進行軌跡を推定すると共に、前記進行軌跡に基づいて前記車両の走行車線の曲率を推定し、
前記検出部は、前記軌跡推定部で推定された前記曲率の単位時間当たりの変化量が予め設定された基準変化量より大きい場合、前記撮像画像中において前記進行軌跡から予め定められた範囲内に位置する前記視差情報の重み付けの重みの大きさよりも、前記予め定められた範囲外に位置する前記視差情報の重み付けの重みの大きさを小さくする処理を行わない、請求項３に記載の路面検出装置。