JP6440411B2 - 物体検出装置 - Google Patents

Description

本発明は、画像に基づいて物体を検出する物体検出装置に関する。

各種センサを用いた車載向けの運転支援装置の開発が世界的に進められている。運転支援装置は、例えば緊急時に自動ブレーキをかけるＡＥＢ（自動緊急ブレーキ）の機能や、先行車両にあわせて自動で速度を調整するＡＣＣ（アダプティブクルーズコントロール）の機能などを提供することができる。ＡＥＢやＡＣＣなどの機能を提供するには、自車両の前方に存在する先行車両や障害物などの物体を検出することが必要である。

このような物体の検出に用いられる物体検出装置として、距離画像の各画素毎の二次元座標位置データと、各画素毎の基準位置からの距離データとに基づき、距離画像の各画素毎に、３次元座標系における３次元座標位置データを演算して、面及び検出対象物体に対応する画素の３次元分布を生成するものが知られている（例えば、下記特許文献１参照）。

また、レーザレーダで計測した３次元距離データ点群を蓄積したグリッドマップを生成して路面と立体物を判定する立体物検出装置が知られている（例えば、下記特許文献２参照）。この装置は、３次元距離情報を、立体物を示す３次元情報である立体物情報と、平面を示す３次元情報である平面情報とに分割し、立体物情報、及び注目する立体物周辺の所定領域に対応する平面情報に基づいて、立体物が平面に接する接地点位置を抽出する。そして、距離情報と接地点位置とに基づいて、画像内における立体物の探索範囲を決定する。

特開平１０−１４３６５９号公報 特開２０１３−１４０５１５号公報

物体検出装置においては、機敏かつ信頼性の高い運転支援を実現するために、近傍から遠方にわたって正確かつ迅速に物体を検出することが求められる。また、物体を検出して制御を実施する動作を迅速に行うために、検出にかかる処理時間を可能な限り短縮することも求められる。

しかしながら、特許文献１に記載された物体検出装置では、距離画像に基づいて面を検出し、面に対応する画素群から、この面を基準とする所定の高さ以上の画素群である検出対象物体として検出するため、画素の少ない遠方の物体に対する誤検出や未検出が頻発する虞がある。

また、特許文献２に記載された立体物検出装置では、路面上に存在する立体物認識の誤検出を低減できるとされているが、路面に存在する立体物を検出するために、事前に距離データを立体物と路面に分割しておく必要がある。このような距離データの分割は、距離データが減少する遠方の領域においては困難になる。

本発明は、前記課題に鑑みてなされたものであり、遠方においても正確に物体を検出し、かつ処理時間を短縮可能な物体検出装置を提供することを目的とする。

前記の目的を達成するために、本発明の物体検出装置は、２つのカメラの画像に基づいて車両前方の物体を検出する物体検出装置であって、前記２つのカメラの各画像を照合して画素毎に視差を算出する視差取得部と、前記２つのカメラの一方の単画像において、前記車両から近い近傍領域と前記車両から遠い遠方領域との間の境界を設定する遠近境界設定部と、前記視差に基づいて前記近傍領域の物体を検出する近傍物体検出部と、前記単画像に基づいて前記遠方領域の物体を検出する遠方物体検出部と、を備えることを特徴とする。

本発明の物体検出装置によれば、遠方物体検出部が２つのカメラの一方の単画像に基づいて遠方領域の物体を検出することで、遠方においても正確に物体を検出することができ、かつ近傍物体検出部が２つのカメラの視差に基づいて近傍領域の物体を検出することで、近傍の物体を正確に検出することができるだけでなく、データ処理量を減少させて処理時間を短縮することができる。

本発明の実施形態に係る物体検出装置を示すシステム概要図。 図１に示す路面推定部の概略構成を示すブロック図。 （ａ）及び（ｂ）は、路面推定部による処理を説明する画像図。 （ａ）は路面推定部による処理を説明する画像図、（ｂ）はV-Disparity画像。 （ａ）は路面推定部による処理を説明する画像図、（ｂ）はV-Disparity画像。 （ａ）は遠方物体検出部による処理を説明する画像図、（ｂ）はV-Disparity画像。 （ａ）及び（ｂ）は、遠近物体統合部による処理を説明する画像図。

以下、図面を参照して本発明の物体検出装置の実施の形態について説明する。

図１は、本実施形態に係る物体検出装置及びその周辺の概略構成を示すシステム概要図である。

本実施形態の物体検出装置１００は、２つのカメラの画像に基づいて車両１１０前方の物体を検出する装置であり、例えば、車両１１０に搭載されたステレオカメラ装置１１１によって構成されている。ステレオカメラ装置１１１は、車両１１０の前方を撮影し、画像処理によって車両１１０の前方の路面１０１を検出すると共に、車両１１０の近傍の先行車両１０２及び遠方の先行車両１０３、その他車両以外の障害物、例えばガードレール１０４等を検出する装置である。車両１１０は、ステレオカメラ装置１１１と、走行制御部１２２と、を備えている。

ステレオカメラ装置１１１は、例えば、左カメラ１１２及び右カメラ１１３の２つのカメラ、左画像取得部１１４及び右画像取得部１１５、視差画像取得部（視差取得部）１１６、路面高さ推定部（路面推定部）１１７、遠近境界距離設定部（遠近境界設定部）１１８、近傍物体検出部１１９及び遠方物体検出部１２０、並びに、遠近物体統合部１２１を備えている。

左カメラ１１２及び右カメラ１１３は、車両１１０の車幅方向に互いに離間した位置に設置され、車両１１０の前方を撮像する一対の撮像手段であり、それぞれ光を電荷信号に変換するＣＣＤ等の撮像素子を有している。左画像取得部１１４は、左カメラ１１２から一定周期ごとに電荷信号を取得して左画像を出力する。右画像取得部１１５は、上記の一定周期と同期したタイミングで右カメラ１１３から電荷信号を取得して右画像を出力する。

視差画像取得部１１６は、２つのカメラの各画像、すなわち左画像取得部１１４から出力された左画像と、右画像取得部１１５から出力された右画像とを取得して照合することで、右画像の画素毎に視差を算出し、画素毎に視差が格納された視差画像を出力する。ここで、視差とは、左カメラ１１２と右カメラ１１３との間の車幅方向の距離に基づく左右の画像のずれを表しており、三角測量の原理によって距離に変換することのできる量である。以下では、簡単のため、視差画像に格納された各画素の視差を距離データと呼ぶ。

路面高さ推定部１１７は、視差画像取得部１１６から出力された視差画像に基づいて、路面１０１の位置を検出および推定し、路面１０１の高さ位置および路面１０１の最遠方距離を出力する。ここで、路面１０１の高さ位置とはある基準となる地平面からの高さであり、奥行き方向の距離毎に対応する路面１０１の高さ位置が出力されるようになっている。また、路面１０１の最遠方距離とは、路面高さ推定部１１７によって検出された路面１０１の距離のうち、車両１１０から最も遠い距離を指す。

遠近境界距離設定部１１８は、路面高さ推定部１１７から出力された路面１０１の最遠方距離を取得し、その最遠方距離を車両１１０の近傍の領域と遠方の領域との間の境界となる遠近境界距離として設定し、出力する。すなわち、遠近境界距離設定部１１８は、２つのカメラの一方の単画像、例えば右カメラ１１３の右画像において、車両１１０から近い近傍領域Ｒ１と車両１１０から遠い遠方領域Ｒ２との間の境界Ｒｂを設定する。

近傍物体検出部１１９は、視差画像取得部１１６が算出した視差に基づいて、近傍領域Ｒ１の物体を検出する。より具体的には、近傍物体検出部１１９は、右画像の近傍領域Ｒ１の画素毎に算出した視差が各画素に格納された視差画像を用い、視差画像の各画素の視差である距離データが、奥行方向及び横方向に連続した一群の距離データを、視差画像から抽出することで、近傍領域Ｒ１の物体を検出する。

換言すると、近傍物体検出部１１９は、視差画像取得部１１６から出力された視差画像と、遠近境界距離設定部１１８から出力された遠近境界距離と、に基づいて、車両１１０の近傍領域Ｒ１において、奥行き方向および横方向に連続した距離データのかたまりを視差画像から抽出することによって、近傍領域Ｒ１の先行車両１０２及びガードレール１０４等の障害物を検出し、検出結果を出力する。

遠方物体検出部１２０は、例えば右カメラ１１３の右画像に基づいて、遠方領域Ｒ２の物体を検出する。より具体的には、遠方物体検出部１２０は、右カメラ１１３から出力された右画像と、遠近境界距離設定部１１８から出力された遠近境界距離である境界Ｒｂに基づいて、車両１１０から離れた遠方の領域において、画像を用いたパタンマッチングを実施する。これにより、遠方物体検出部１２０は、遠方の先行車両１０３を検出し、検出結果を出力する。

遠近物体統合部１２１は、近傍物体検出部１１９から出力された検出結果と、遠方物体検出部１２０から出力された検出結果とに基づいて、車両１１０の近傍から遠方にわたる物体の検出結果を出力する。具体的には、遠近物体統合部１２１は、車両１１０に近い近傍領域Ｒ１の先行車両１０２及び障害物の検出結果と、車両１１０から遠い遠方領域Ｒ２の先行車両１０３の検出結果とに基づいて、幾何学的位置関係に矛盾が生じないように、近傍領域Ｒ１の物体と遠方領域Ｒ２の物体の検出結果を統合し、結果を出力する。

走行制御部１２２は、ステレオカメラ装置１１１の遠近物体統合部１２１から出力された先行車両１０２，１０３やガードレール１０４等の障害物の検出結果に基づいて、アクセル及びブレーキ等を制御する。これにより、走行制御部１２２は、例えば、車両１１０が先行車両１０２，１０３やガードレール１０４等との衝突を回避したり、車両１１０を先行車両１０２，１０３に自動追尾させたりする、車両１１０の走行支援を行う。

図２は、路面高さ推定部１１７の概略構成を示すブロック図である。

路面高さ推定部１１７は、例えば、道路形状設定部２０１と、仮想平面設定部２０２と、直線検出部２０３と、最遠方距離検出部（境界画素位置検出部）２０４と、を備えている。

道路形状設定部２０１は、車両１１０が走行中の道路形状を設定し、設定した道路形状を画像上に投影した道路の画像領域を算出し、出力する。仮想平面設定部２０２は、道路形状設定部２０１から出力された道路の画像領域内に入る距離データ、すなわち各画素に対応する視差と各画素の座標位置のデータを、２次元の仮想平面にヒストグラムとして投影し、V-Disparity画像を出力する。ここで、仮想平面設定部２０２が距離データを投影する仮想平面は、縦方向の画素の座標位置Ｖを縦軸にとり、視差（Disparity）を横軸にとった２次元空間である。また、V-Disparity画像とは、グリッド化された仮想平面の画素毎にデータ点の合計数を示すヒストグラム度数が格納されている画像である。

直線検出部２０３は、仮想平面設定部２０２から出力されたV-Disparity画像を取得し、V-Disparity画像のヒストグラム度数が高い画素を通過する直線を検出し、この直線をもとに路面高さ位置を算出する。最遠方距離検出部２０４は、直線検出部２０３による路面推定結果をもとに路面推定結果が信頼可能である最遠方の路面１０１の距離を検出し、出力する。

図３（ａ）及び（ｂ）は、道路形状設定部２０１による処理を説明する画像図である。

道路形状設定部２０１は、図３（ａ）に示すように、右画像３０１において道路である可能性が高い領域として、例えば、台形領域３０２のような領域を、道路形状として設定する。台形領域３０２は、直進方向にまっすぐ伸びる一定幅で一定勾配の路面を仮定した場合に、路面が画像上に投影される位置を算出することによって得ることができる。このように、直進方向に伸びる道路形状を仮定した場合において、道路形状が実際にはカーブしていた場合には、設定した道路形状と実際の道路形状にずれが生じてしまう問題がある。

この場合、道路形状設定部２０１は、図３（ｂ）に示すように、逐次道路のカーブ方向を推定し、カーブ方向に伸びる一定幅で一定勾配の路面を推定し、推定した路面が画像上に投影される位置を算出することが好ましい。これにより、例えば、カーブ領域３０３のようなカーブした領域を、道路形状として設定することができる。道路のカーブ方向は、画像情報をもとに白線を検知するか、又は距離情報をもとに路肩を検出すること等によって推定することが可能である。

図４（ａ）は、仮想平面設定部２０２による処理を説明する右カメラ１１３の右画像３０１である。図４（ｂ）は、右画像３０１に対応した視差画像の各距離データを仮想平面に投影することによって得られたV-Disparity画像である。

図４（ａ）に示す車両１１０の近傍の領域における平坦な路面４００と、車両１１０の遠方の領域における登り勾配の路面４０１とは、それぞれ、図４（ｂ）に示すV-Disparity画像上において、第１の方向４０２と第２の方向４０３のように、勾配の異なる斜め方向の直線状に投影される性質がある。また、先行車両１０２，１０３などの障害物は、それぞれ実線で囲まれた領域４０４，４０５のデータのように、垂直方向の直線状に投影される性質がある。

路面高さ推定部１１７においては、領域４０４，４０５に示すような垂直方向の直線状の障害物の距離データはノイズとなる。したがって、路面高さ推定部１１７において、このようなノイズの影響をうけることなく、路面４００の距離データの第１の方向４０２及び第２の方向４０３に沿う直線を表現する関係式を算出する。

図５（ａ）は、直線検出部２０３及び最遠方距離検出部２０４による処理を説明する右カメラ１１３の右画像３０１である。図５（ｂ）は、直線検出部２０３及び最遠方距離検出部２０４の処理を説明するV-Disparity画像である。

直線検出部２０３は、例えば、まずV-Disparity画像を一定の閾値で２値化した画像に変換し、ハフ変換により直線を検出することで、図５（ｂ）に示すように、V-Disparity画像において最も支配的な直線５０１を検出する。直線５０１は、推定された路面が画像上に投影される縦位置と視差との関係を示している。直線検出部２０３は、この縦位置と視差との関係を、３次元空間中の奥行き方向の距離と路面高さ位置の関係に変換し、距離毎の路面高さ位置を出力する。

また、図５（ａ）に示す例では、車両１１０の近傍の領域における路面５０２に対して、車両１１０の遠方の領域における路面５０３の勾配が変化している。そのため、図５（ｂ）に示すV-Disparity画像上で検出された直線５０１は、車両１１０の近傍の領域５０４では、よく路面の距離データとフィットしている。しかし、直線５０１は、車両１１０の遠方の領域５０５では、実際の路面の距離データの位置とずれを生じており、路面推定結果の信頼性が低いことがわかる。

最遠方距離検出部２０４は、車両１１０の近傍の領域において、路面推定結果が信頼可能である路面５０２の最遠方の距離を検出して出力する。このために、最遠方距離検出部２０４は、車両１１０の近傍側から順に直線検出部２０３の検出した直線５０１が通過する各画素のヒストグラム度数を確認し、ヒストグラム度数が一定以下になる画素が一定個数以上連続するときの最初の画素位置を境界画素位置５０６として検出する。

すなわち、境界画素位置検出部である最遠方距離検出部２０４は、V-Disparity画像における直線５０１と距離データの位置とのずれに基づいて、境界画素位置５０６を検出する。最遠方距離検出部２０４は、この境界画素位置５０６における視差を距離に変換することによって、車両１１０の近傍領域Ｒ１における路面５０２の最遠方の距離を算出する。

このように、最遠方距離である境界画素位置５０６よりも車両１１０に近い路面５０２の範囲は、路面推定結果すなわち路面５０２までの距離の信頼性が高い、車両１１０の近傍領域Ｒ１とみなすことができる。また、最遠方距離である境界画素位置５０６よりも車両１１０から遠い路面５０３の範囲は、路面推定結果すなわち路面５０３までの距離の信頼性が低い、車両１１０の遠方領域Ｒ２とみなすことができる。

以上により、路面高さ推定部１１７は、視差画像取得部１１６が算出した視差に基づいて、車両１１０前方の路面５０２，５０３までの距離を算出し、路面５０２までの距離の信頼性が高い領域５０４と、路面５０３までの距離の信頼性が低い領域５０５との間の境界画素位置５０６を検出する。また、遠近境界距離設定部１１８は、境界画素位置５０６に基づいて近傍領域Ｒ１と遠方領域Ｒ２との間の境界Ｒｂを設定する。

図６（ａ）は、遠方物体検出部１２０による処理を説明する右カメラ１１３の右画像である。図６（ｂ）は、遠方物体検出部１２０による処理を説明するV-Disparity画像である。

遠方物体検出部１２０は、右カメラ１１３から出力された図６（ａ）に示す右画像と、最遠方距離検出部２０４から出力された遠近境界距離を示す境界画素位置５０６と、道路形状設定部２０１から出力された道路形状の画像領域である台形領域３０２を取得する。そして、遠方物体検出部１２０は、右画像上の遠方領域Ｒ２に先行車両の探索範囲６０１を設定する。

遠方物体検出部１２０は、右カメラ１１３の右画像の境界Ｒｂにおける画素の縦方向の座標位置とV-Disparity画像の境界画素位置５０６との間の推定誤差αを用い、探索範囲６０１の縦方向の一端を境界画素位置５０６と推定誤差αとの和となる位置に設定する。すなわち、遠方物体検出部１２０は、探索範囲６０１の下端位置が、図６（ｂ）に示す路面推定結果の直線５０１の境界画素位置５０６における画像縦位置Ｖｅと推定誤差αとの和Ｖｅ＋αとなるように設定する。

ここで、推定誤差αは、路面推定結果の境界画素位置５０６において想定される路面の画像縦位置の推定誤差を事前に設定した値である。なお、推定誤差αは、路面５０２が比較的平坦な高速道路において比較的小さく、路面５０２の勾配が多い一般道で比較的大きくなる傾向がある。したがって、車両１１０の走行状況に応じて、推定誤差αを逐次計算して変更するようにしてもよい。

遠方物体検出部１２０は、右カメラ１１３の右画像の境界Ｒｂにおいて想定される最大高さの物体の画像縦幅Ｈを用い、探索範囲６０１の縦方向の他端を境界画素位置５０６から画像縦幅Ｈと推定誤差αを減じた位置に設定する。すなわち、遠方物体検出部１２０は、探索範囲６０１の上端位置が、境界画素位置５０６における画像縦位置Ｖｅから上述の値αと画像縦幅Ｈを減じたＶｅ−Ｈ−αとなるように設定する。ここで、画像縦幅Ｈは、境界画素位置５０６において想定される最大の車高を有する車両が画像上に投影されるときの画像縦幅である。

遠方物体検出部１２０は、探索範囲６０１の左右端の位置を、境界画素位置５０６における道路形状の画像領域である台形領域３０２の左右端の位置に設定する。このようにして、遠方物体検出部１２０は、探索範囲６０１を、境界画素位置５０６以遠の車両が存在する可能性のある画像範囲に設定する。

次に、遠方物体検出部１２０は、テンプレート６０２を探索範囲６０１の中で走査し、パタンマッチングを実施することによって、車両１１０から離れた遠方領域Ｒ２において、先行車両１０３を検出する。遠方物体検出部１２０は、パタンマッチングにおいて、先行車両１０３の画像の特徴を事前に学習しておき、その学習した特徴量とテンプレート６０２の画像の特徴量を比較する。そして、遠方物体検出部１２０は、特徴量の差が一定以下であれば車両らしいと判定し、そのテンプレートの位置において先行車両１０３を検出する。

対象の先行車両１０３が存在する距離によって先行車両１０３が投影される画像上のサイズは異なる。そのため、遠方物体検出部１２０は、大きさの異なる複数のテンプレート６０２を用い、大きさの異なるテンプレート６０２の数だけ上記の探索による先行車両の検出処理を繰り返し実施する。このように、遠方物体検出部１２０は、車両１１０から離れた遠方領域Ｒ２においてのみ、右カメラ１１３から出力されたカメラ画像を用いた物体検出処理を実施する。

図７（ａ）及び（ｂ）は、遠近物体統合部１２１による処理を説明する右カメラ１１３の右画像である。

図７（ａ）に示すように、近傍物体検出部１１９によって先行車両１０２等の近傍物体の検出結果７０１が得られ、遠方物体検出部１２０によって先行車両１０３等の遠方物体の検出結果７０２，７０３が得られた場合に、遠近物体統合部１２１は、近傍物体および遠方物体の位置関係をチェックする。そして、遠近物体統合部１２１は、検出結果７０２，７０３のように、画像上で互いに重なっている検出物体について、距離が遠い方の物体を消去する。

図７（ａ）に示す例では、遠近物体統合部１２１は、画像上で互いに重なっている検出結果７０２，７０３のうち、距離が遠い方の検出結果７０３を消去する。その結果、遠近物体統合部１２１は、図７（ｂ）に示すように、検出結果７０１，７０２を遠近物体として出力する。なお、遠近物体統合部１２１は、車両１１０の近傍の領域における検出結果と、車両１１０の遠方の領域における検出結果とが、画像上で互いに重なっている場合にも、距離が遠い方の検出結果を消去する。このように、検出結果である物体領域が画像上で重なっている場合において、距離が遠い物体を消去する理由は、距離の遠い側の物体は距離の近い側の物体によって遮蔽されて見えないはずであり、誤検出の可能性が高いためである。

以下、本実施形態の物体検出装置１００の作用について説明する。

前記したように、例えば、前記特許文献１に記載された従来の物体検出装置では、距離画像に基づいて面を検出し、面に対応する画素群から、この面を基準とする所定の高さ以上の画素群である検出対象物体として検出するため、画素の少ない遠方の物体に対する誤検出や未検出が頻発する虞がある。これは、遠方の領域ではセンサから得られる情報量が、近傍の領域よりも少なくなっており、距離データの個数がわずかしか得られないことに加えて、センサから得られる距離の精度が低下するためである。

このように、路面データの個数がわずかしか得られず、距離の精度が低下すると、遠方における物体の距離データと路面の距離データとの分離が困難となり、遠方領域において推定する路面の位置誤差が大きくなり、物体の誤検知や未検知が生じてしまう。例えば、路面の位置を実際より下側に推定することによって、路面の領域を物体として検出する（誤検出）現象や、路面の位置を実際より上側に推定することによって、路面上に物体が存在するのに検出しない（未検出）現象が生じてしまう。

また、特許文献２に記載された従来の立体物検出装置では、路面上に存在する立体物認識の誤検出を低減できるとされているが、路面に存在する立体物を検出するために、事前に距離データを立体物と路面に分割しておく必要がある。このような距離データの分割は、距離データが減少する遠方の領域においては困難になる。遠方領域において立体物を正しく立体物として分割できなかった場合、物体の未検出を防ぐことができないことが懸念される。

さらに、画像を探索して画像特徴量を比較評価する場合、画像サイズおよび画像の探索範囲が十分小さく絞れていない場合は、特許文献１のように距離データから物体を検出するのに比べて、処理時間が長くなってしまう傾向がある。とくに、近傍領域においては物体の画像サイズが大きくなり、画像上を探索する際の画像探索範囲も広くなるため、処理時間が特許文献１の方法に比べて大幅に長くなることが懸念される。

これに対し、本実施形態の物体検出装置１００は、左右２つのカメラ１１２，１１３の各画像を照合して画素毎に視差を算出する視差画像取得部（視差取得部）１１６だけでなく、遠近境界距離設定部（遠近境界設定部）１１８を備えている。そして、この遠近境界距離設定部１１８によって、左右２つのカメラの一方の右カメラ１１３の単画像である右画像において車両１１０から近い近傍領域Ｒ１と車両１１０から遠い遠方領域Ｒ２との間の境界Ｒｂを設定する。そして、近傍物体検出部１１９によって視差に基づいて近傍領域Ｒ１の物体を検出するとともに、遠方物体検出部１２０によって右画像に基づいて遠方領域Ｒ２の物体を検出している。

これにより、物体検出装置１００は、距離データによる物体の検出が困難な画素の少ない遠方領域Ｒ２の物体を、距離データによらず右カメラ１１３の右画像に基づいて正確に検出することができる。したがって、本実施形態の物体検出装置１００によれば、遠方領域Ｒ２における物体の誤検出や未検出の発生を抑制し、車両１１０の遠方においても正確に物体を検出することができる。また、視差に基づく距離データから物体を検出する際の処理対象を近傍領域Ｒ１に絞ることができ、データ処理量を減少させ、処理時間を短縮することができる。

また、本実施形態の物体検出装置１００は、視差に基づいて車両１１０前方の路面までの距離を算出し、該距離の信頼性が高い領域と、該距離の信頼性が低い領域との間の境界画素位置５０６を検出する路面高さ推定部（路面推定部）１１７をさらに備えている。加えて、本実施形態の物体検出装置１００は、遠近境界距離設定部（遠近境界設定部）１１８が、境界画素位置５０６に基づいて境界Ｒｂを設定している。これにより、近傍領域Ｒ１における距離データの信頼性を高くし、近傍領域Ｒ１における物体の検出精度を向上させることができる。

また、路面高さ推定部１１７は、仮想平面設定部２０２と、直線検出部２０３と、最遠方距離検出部（境界画素位置検出部）２０４とを備えている。仮想平面設定部２０２は、前記したV-Disparity画像を出力し、直線検出部２０３は、V-Disparity画像において最も支配的な直線５０１を検出する。そして、最遠方距離検出部２０４は、V-Disparity画像における直線５０１と距離データの位置とのずれに基づいて、境界画素位置５０６を検出している。これにより、路面高さ推定部１１７によって、路面までの距離の信頼性が高い領域５０４と、該距離の信頼性が低い領域５０５との間の境界画素位置５０６を検出することができる。

また、遠方物体検出部１２０は、右画像上の遠方領域Ｒ２に探索範囲６０１を設定し、該探索範囲６０１内でテンプレート６０２を走査させ、パタンマッチングによって遠方領域Ｒ２の物体を検出する。これにより、遠方領域Ｒ２において、距離データによらず、右画像に基づいて正確に物体を検出することができる。

また、遠方物体検出部１２０は、右画像の境界Ｒｂにおける画素の縦方向の座標位置とV-Disparity画像の境界画素位置５０６との間の推定誤差αを用い、探索範囲６０１の縦方向の下端を境界画素位置５０６と推定誤差αとの和となる位置に設定している。これにより、推定誤差αを考慮したより適切な範囲に探索範囲６０１を設定することができる。

また、遠方物体検出部１２０は、右画像の境界Ｒｂにおいて想定される最大高さの物体の画像縦幅Ｈを用い、探索範囲６０１の縦方向の上端を境界画素位置５０６から画像縦幅Ｈと推定誤差αを減じた位置に設定している。これにより、推定誤差α及び画像縦幅Ｈを考慮したより適切な範囲に探索範囲６０１を設定することができる。

また、本実施形態の物体検出装置１００は、右画像を用いて車両１１０前方の道路形状を設定する道路形状設定部２０１を備えている。そして、遠方物体検出部１２０は、探索範囲６０１の左右端の位置を道路形状の画像領域の左右端の位置に設定している。これにより、探索範囲６０１をさらに絞り込み、処理時間を短縮することができる。

また、遠方物体検出部１２０は、大きさの異なる複数のテンプレート６０２を用いて繰り返し探索範囲６０１を走査している。これにより、遠方領域Ｒ２内で車両１１０に近い先行車両から、車両１１０から遠い先行車両まで、漏れなく検出することができる。

また、本実施形態の物体検出装置１００は、右画像上に表示された互いに重なっている物体の検出結果７０２，７０３のうち、距離が遠い方の物体の検出結果７０３を消去する遠近物体統合部１２１を備えている。これにより、誤検出によって検出された可能性の高い検出結果７０３を消去し、誤検出を低減することができる。

また、近傍物体検出部１１９は、右画像の近傍領域Ｒ１の画素毎に算出した視差が各画素に格納された視差画像を用い、視差画像の各画素の視差である距離データが、奥行方向及び横方向に連続した一群の距離データを、視差画像から抽出することで、近傍領域Ｒ１の物体を検出している。これにより、近傍物体検出部１１９は、視差に基づいて近傍領域Ｒ１の物体を正確に検出することができる。

以上、図面を用いて本発明の実施の形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。

例えば、前述の実施形態では、物体検出装置によって遠方の先行車両を検出する例を説明したが、本発明の物体検出装置は、先行車両の検出以外にも、歩行者や、その他の障害物を検出する場合にも適用できる。

また、前述の実施形態では、ステレオカメラ装置を使用する例を説明したが、ステレオカメラ以外にも、単眼カメラとレーザレーダ、単眼カメラとミリ波レーダ等、画像情報と距離情報がセンサ出力値として得られるセンサ構成にも適用できる。

また、前述の実施形態では、物体検出装置によって路面上に存在する先行車両を検出して走行制御を行う自動車向け運転支援装置の例について説明したが、本発明は、自動車向け運転支援装置以外にも、海上の障害物を検出する船舶向けの周辺監視装置および運転支援装置、又は地平面上の障害物を検出する航空機向けの周辺監視装置および運転支援装置などにも適用できる。

また、前術の実施形態では、車両から離れた遠方領域においては、カメラの右画像のみを用いて物体検出を行っているが、右画像又は左画像と視差画像を併用して物体を検出してもよい。

１００ 物体検出装置、１０１ 路面、１０２，１０３ 先行車両（物体）、１０４ ガードレール（物体）、１１０ 車両、１１２ 左カメラ（カメラ）、１１３ 右カメラ（カメラ）、１１６ 視差画像取得部（視差取得部）、１１７ 路面高さ推定部（路面推定部）、１１８ 遠近境界距離設定部（遠近境界設定部）、１１９ 近傍物体検出部、１２０ 遠方物体検出部、１２１ 遠近物体統合部、１２２ 走行制御部、２０１ 道路形状設定部、２０２ 仮想平面設定部、２０３ 直線検出部、２０４ 最遠方距離検出部（境界画素位置検出部）、３０２ 台形領域（道路形状）、３０３ カーブ領域（道路形状）、４００，４０１ 路面、５０２，５０３ 路面、５０４ 距離の信頼性が高い領域、５０５ 距離の信頼性が低い領域、５０６ 境界画素位置、６０１ 探索範囲、６０２ テンプレート、Ｈ 画像縦幅、Ｒ１ 近傍領域、Ｒ２ 遠方領域、Ｒｂ 境界、α 推定誤差

Claims (8)

1. ２つのカメラの画像に基づいて車両前方の物体を検出する物体検出装置であって、
   前記２つのカメラの各画像を照合して画素毎に視差を算出する視差取得部と、
   前記２つのカメラの一方の単画像において、前記車両から近い近傍領域と前記車両から遠い遠方領域との間の境界を設定する遠近境界設定部と、
   前記視差に基づいて前記近傍領域の物体を検出する近傍物体検出部と、
   前記単画像に基づいて前記遠方領域の物体を検出する遠方物体検出部と、
   前記視差に基づいて前記車両前方の路面までの距離を算出し、該距離の信頼性が高い領域と、該距離の信頼性が低い領域との間の境界画素位置を検出する路面推定部と、
   を備え、
   前記遠近境界設定部は、前記境界画素位置に基づいて前記境界を設定し、
   前記路面推定部は、
   横軸を前記視差、縦軸を前記単画像の各画素の縦方向の座標位置とする仮想平面に、前記単画像の各画素に対応する前記視差及び前記座標位置のデータを投影したV-Disparity画像を出力する仮想平面設定部と、
   前記V-Disparity画像において最も支配的な直線を検出する直線検出部と、
   前記V-Disparity画像における前記直線と前記データの位置とのずれに基づいて、前記境界画素位置を検出する境界画素位置検出部と、
   を備えることを特徴とする物体検出装置。
2. 前記遠方物体検出部は、前記単画像上の前記遠方領域に探索範囲を設定し、該探索範囲内でテンプレートを走査させ、パタンマッチングによって前記遠方領域の物体を検出することを特徴とする請求項１に記載の物体検出装置。
3. 前記遠方物体検出部は、前記単画像の前記境界における画素の縦方向の座標位置と前記V-Disparity画像の前記境界画素位置との間の推定誤差を用い、前記探索範囲の縦方向の一端を前記境界画素位置と前記推定誤差との和となる位置に設定することを特徴とする請求項２に記載の物体検出装置。
4. 前記遠方物体検出部は、前記単画像の前記境界において想定される最大高さの物体の画像縦幅を用い、前記探索範囲の縦方向の他端を前記境界画素位置から前記画像縦幅と前記推定誤差を減じた位置に設定することを特徴とする請求項３に記載の物体検出装置。
5. 前記単画像を用いて前記車両前方の道路形状を設定する道路形状設定部をさらに備え、
   前記遠方物体検出部は、前記探索範囲の左右端の位置を前記道路形状の画像領域の左右端の位置に設定することを特徴とする請求項２に記載の物体検出装置。
6. 前記遠方物体検出部は、大きさの異なる複数の前記テンプレートを用いて繰り返し前記探索範囲を走査することを特徴とする請求項２に記載の物体検出装置。
7. 前記単画像上に表示された互いに重なっている前記物体の検出結果のうち、距離が遠い方の物体の検出結果を消去する遠近物体統合部をさらに備えることを特徴とする請求項１に記載の物体検出装置。
8. 前記近傍物体検出部は、前記単画像の前記近傍領域の画素毎に算出した視差が各画素に格納された視差画像を用い、前記視差画像の各画素の前記視差である距離データが、奥行方向及び横方向に連続した一群の前記距離データを、前記視差画像から抽出することで、前記近傍領域の前記物体を検出することを特徴とする請求項１に記載の物体検出装置。

Images