JP6736931B2 - 立体物検出方法及び立体物検出装置 - Google Patents

Description

本発明は、カメラで撮像された画像と測距センサで検出された測距点の距離からカメラの画像上の立体物を検出する立体物検出方法及びその装置に関する。

従来では、路面上に存在する歩行者等の立体物を検出する立体物検出装置として、特許文献１が開示されている。特許文献１に開示された立体物検出装置では、３次元距離情報を２次元グリッドマップに展開して立体物が平面に接する接地点位置を抽出する。そして、抽出された接地点位置と距離情報とに基づいて画像内に立体物の探索範囲を決定し、この立体物の探索範囲から路面上の立体物を検出していた。

特開２０１３−１４０５１５号公報

しかしながら、上述した従来の立体物検出装置では、３次元距離情報を取得するためのレーザレーダを角度スキャンしているため、遠方へ行くほど取得した測距点の間隔が高さ方向及び水平方向で広くなる。すなわち、遠方へ行くほど測距点がまばらに存在することになる。ここで、従来の立体物検出装置では、測距点群を一定の粗さの２次元グリッドマップに投影しているので、測距点の間隔が広くなる遠方へ行くにしたがってグリッドマップの各セルでは測距点の数が減少もしくはセル内の測距点がなくなってしまう。したがって、測距点の間隔が広くなった部分では、実際に立体物が存在していたとしても立体物と路面との間の境界を検出することができず、立体物を精度良く検出することができないという問題点があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、測距点の数が少ない部分があったとしても画像上の立体物を精度良く検出することのできる立体物検出方法及びその装置を提供することを目的とする。

上述した課題を解決するために、本発明の一態様に係る立体物検出方法及びその装置は、車両に搭載されて車両周囲の画像を撮像するカメラと、車両に搭載されて車両周囲の測距点の距離を検出する測距センサとを備えた立体物検出装置を用いる。そして、測距センサで検出された測距点の中からカメラの視野範囲にある測距点を抽出し、抽出された測距点から車両周囲の立体物と路面との間の境界線を推定し、推定された境界線に基づいて画像上の立体物を検出する。

本発明によれば、測距センサによって検出された測距点の数が少ない部分があったとしても画像上の立体物を精度良く検出することができる。

図１は、本発明の第１実施形態に係る立体物検出装置の構成を示すブロック図である。 図２は、本発明の第１実施形態に係る立体物検出装置による立体物検出処理の処理手順を示すフローチャートである。 図３は、本発明の第１実施形態に係る立体物検出方法において、測距データ検出部で検出された測距データと画像データ検出部で撮像された画像の一例を示す図である。 図４は、本発明の第１実施形態に係る立体物検出方法において、測距データに含まれる測距点群の座標系を極座標系に変換する方法を説明するための図である。 図５は、本発明の第１実施形態に係る立体物検出方法において、車両の周囲にある立体物と路面との間の境界線を推定する方法を説明するための図である。 図６は、本発明の第１実施形態に係る立体物検出方法において、境界線を分割する方法を説明するための図である。 図７は、本発明の第１実施形態に係る立体物検出方法において、境界線の所定範囲内にある測距点を抽出する方法を説明するための図である。 図８は、本発明の第１実施形態に係る立体物検出方法において、抽出された測距点群を画像上に投影する方法を説明するための図である。 図９は、本発明の第１実施形態に係る立体物検出方法において、画像上に立体物領域を設定する方法を説明するための図である。 図１０は、本発明の第２実施形態に係る立体物検出方法において、境界線の所定範囲内にある測距点を抽出する方法を説明するための図である。 図１１は、本発明の第３実施形態に係る立体物検出方法において、車両の周囲にある立体物と路面との間の境界線を推定する方法を説明するための図である。 図１２は、本発明の第３実施形態に係る立体物検出方法において、境界線を分割する方法を説明するための図である。 図１３は、本発明の第４実施形態に係る立体物検出装置の構成を示すブロック図である。 図１４は、本発明の第４実施形態に係る立体物検出装置による立体物検出処理の処理手順を示すフローチャートである。 図１５は、本発明の第４実施形態に係る立体物検出方法において、測距データ検出部で検出された測距データと自己位置周辺の地図情報と画像データ検出部で撮像された画像の一例を示す図である。 図１６は、本発明の第４実施形態に係る立体物検出方法において、境界線分を選択する方法を説明するための図である。

［第１実施形態］
以下、本発明を適用した第１実施形態について図面を参照して説明する。

［立体物検出装置の構成］
図１は、本実施形態に係る立体物検出装置の構成を示すブロック図である。図１に示すように、本実施形態に係る立体物検出装置１０は、測距データ検出部１２と、画像データ検出部１４と、中央制御部２０と、出力部１６とを備えている。立体物検出装置１０は、測距データ検出部１２で検出された測距データと、画像データ検出部１４で検出された画像データとに基づいて、立体物検出部として機能する中央制御部２０によって立体物を検出する。そして、立体物検出装置１０は、立体物の検出結果として、例えば立体物の位置や大きさ等を出力部１６から出力する。

測距データ検出部１２は、車両に搭載されて車両周囲の測距点の距離を検出する測距センサである。測距データ検出部１２は、車両の周辺環境（立体物だけでなく路面も含む）の３次元測距データ（距離データともいう）を検出する。この３次元測距データには、各測距点の３次元の位置や測距点の距離等の情報が含まれている。測距センサとしては、レーザビームの走査ラインを複数備え、高解像度の距離データを検出することのできるレーザレーダを使用する。なお、距離データを検出する方法において、計測手段、計測性能及びデータの出力形式等は特に限定する必要はない。例えば、計測手段としてステレオカメラを用いてもよいし、既知のパターンを対象に投影してステレオ撮影を行うアクティブステレオ法を用いてもよい。また、距離データを測距センサからの距離と方位で表してもよいし、測距センサを中心とした座標系の３次元位置座標のデータとして表現してもよい。

画像データ検出部１４は、車両に搭載されて車両周囲の画像を撮像する車載カメラである。例えば、ＳＸＧＡ解像度のモノクロカメラ等を用いることができる。

出力部１６は、立体物の検出結果を車両の乗員に提示する表示部である。出力部１６は、車両に搭載されたナビゲーション装置の表示画面でもよいし、車載カメラで撮像された画像を表示するためのディスプレイでもよい。また、ヘッドアップディスプレイであってもよい。

中央制御部２０は、画像データ検出部１４で撮像された画像と測距データ検出部１２で検出された測距点の距離から画像上の立体物を検出する立体物検出処理を実行するコントローラである。中央制御部２０は、立体物検出処理を実行するための機能部として、境界線推定部２１と、境界線分割部２２と、測距点抽出部２３と、測距点投影部２４と、立体物領域設定部２５とを備えている。

次に、中央制御部２０を構成する各部について説明する。まず、境界線推定部２１は、測距センサで検出された測距点の中からカメラの視野範囲にある測距点を抽出し、抽出された測距点の高さ方向の変化に基づいて車両周囲の立体物と路面との間の境界線を推定する。

境界線分割部２２は、境界線推定部２１で推定された境界線上で車両からの距離の変化が大きくなる部分で境界線を分割する。境界線を分割することによって求められた複数の境界線分は、路面上に存在する複数の立体物にそれぞれ対応する。

測距点抽出部２３は、境界線分割部２２で分割された境界線から所定範囲内にある測距点を抽出する。特に、境界線を分割した境界線分に基づいて所定の大きさの立体を設定し、この立体の内部に存在する測距点を抽出する。

測距点投影部２４は、測距点抽出部２３で抽出された測距点を画像データ検出部１４で撮像された画像上に投影する。

立体物領域設定部２５は、測距点投影部２４によって投影された測距点を包含する画像上の領域を立体物領域として設定する。立体物領域は、画像上において立体物が存在すると推定される領域である。

尚、中央制御部２０は、マイクロコンピュータ、マイクロプロセッサ、ＣＰＵを含む汎用の電子回路とメモリ等の周辺機器から構成されている。そして、特定のプログラムを実行することにより、上述した境界線推定部２１、境界線分割部２２、測距点抽出部２３、測距点投影部２４及び立体物領域設定部２５として動作する。このような中央制御部２０の各機能は、１または複数の処理回路によって実装することができる。処理回路は、例えば電気回路を含む処理装置等のプログラムされた処理装置を含み、また実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置も含んでいる。

［立体物検出処理の手順］
次に、本実施形態に係る立体物検出装置１０による立体物検出処理の手順を図２のフローチャートを参照して説明する。

図２に示すように、まずステップＳ１０において、自車両に搭載された測距データ検出部１２は、立体物だけでなく路面も含む車両の周辺環境の３次元測距データ（距離データ）を検出する。また、画像データ検出部１４は、測距データ検出部１２による３次元測距データの検出と同期して、自車両の周辺環境の画像を撮像して画像データとして取り込む。尚、測距データ検出部１２の車両への取り付け位置と画像データ検出部１４の車両への取り付け位置との間の相対的な関係については、所定の座標変換を行って対応づけておけばよい。図３（ａ）は、測距データ検出部１２の高解像度レーザレーダによって取得された３次元測距データの一例であり、図３（ｂ）は、図３（ａ）の３次元測距データの検出と同期して画像データ検出部１４の車載カメラによって撮像された画像の一例を示している。

ステップＳ２０において、境界線推定部２１は、ステップＳ１０で検出された３次元測距データの測距点群の中からカメラの視野範囲にある測距点群を抽出し、抽出された測距点群に基づいて車両周囲の立体物と路面との間の境界線を推定する。

まず、境界線推定部２１は、図４（ａ）に示す３次元測距データに含まれる全体の測距点群３０の中から図４（ｂ）に示すようにカメラの視野範囲にある測距点群３１を抽出する。そして、境界線推定部２１は、抽出された測距点群３１の座標系を、測距データ検出部１２を中心とした直交座標系から極座標系に座標変換して、図４（ｃ）に示すような極座標系の測距点群３２を抽出する。ただし、極座標系は、車両からの距離ｒと車両の進行方向に対する方位θとで表される座標系である。この座標変換は、直行座標系の測距点群を極座標系の空間に射影することで実現することができる。

次に、境界線推定部２１は、図５（ａ）に示す極座標系の測距点群３２を、図５（ｂ）に示す２次元グリッドマップ４０上に投影する。２次元グリッドマップ４０は、図５（ｂ）に示すように水平面に平行な極座標系の平面を格子状のセルＣに分割したグリッドマップ（格子状地図）である。図５（ｃ）に示すように、２次元グリッドマップ４０の各セルＣに投影された測距点群４１は、立体物と路面の位置にしたがって高さ方向（グリッドマップ４０に垂直な方向）にばらつく。ここで、境界線推定部２１は、各セルＣに投影された測距点群４１の高さの平均値を計算することにより、各セルＣの高さの代表値とする（標本化）。ただし、高さの代表値は、平均値に限定する必要はなく、例えば最大値や最小値を代表値としてもよい。このように極座標系のグリッドマップにおいて各セルに投影された測距点群を標本化するので、車両から遠方のセルで測距点の数が減少しても各セルの高さ方向の値を求めることができる。したがって、極座標系のグリッドマップ上で、車両からの距離によらずに一定の間隔で各セルの高さ方向の値を求めることができる。

さらに、境界線推定部２１は、図５（ｃ）に示すように、グリッドマップ４０の方位θ毎に距離ｒの近い地点から遠い地点へ向かって高さの代表値を並べて、曲線４２を求める。そして、距離ｒの方向に隣り合うセルの間で高さの代表値の変化率を計算し、図５（ｄ）に示すように代表値の変化率が予め設定された閾値を超えた変化点４３を検出する。ただし、同一の方位θにおいて複数の変化点４３が検出された場合には、距離ｒが最短となる変化点を採用する。

さらに、境界線推定部２１は、変化点４３に隣接するセルのうち距離ｒの遠い側にあるセルを、図５（ｅ）に示すように立体物に属するセル４４と判定する。こうしてグリッドマップ４０の方位θ毎に立体物に属するセル４４が求められると、境界線推定部２１はグリッドマップ４０上で立体物に属するセル４４を曲線で連結することによって、立体物が路面に接地する接地点の位置を示す境界線４５を推定する。尚、グリッドマップを用いて境界線を推定したが、グリッドマップを用いずに、最近傍となる測距点の座標上の距離から連続する測距点群を求めて境界線を推定してもよい。

ステップＳ３０において、境界線分割部２２は、ステップＳ２０で推定した立体物と路面との間の境界線４５を分割することにより、路面上にある複数の立体物に対応する複数の境界線分を求める。図６（ａ）に示すように、境界線分割部２２は、境界線４５の距離ｒの方向における変化率を計算し、その変化率が予め設定された閾値を超える点を分節点５０と設定する。そして、図６（ｂ）に示すように、境界線分割部２２は、設定された分節点５０によって、境界線４５を分割（セグメンテーション）することにより、境界線分５１を求める。ここで求められた各境界線分５１は、路面上に存在する複数の立体物にそれぞれ対応して求められたものと推定することができる。

ステップＳ４０において、測距点抽出部２３は、ステップＳ３０で求めた境界線分５１を用いて、カメラの視野範囲にある測距点群３１の中から立体物に属する測距点群を抽出する。これにより、測距点抽出部２３は、路面上に存在する複数の立体物に対応した測距点群を抽出することができる。

図７（ａ）に示すように、測距点抽出部２３は、まず測距点群３１と境界線分５１を直交座標系に射影した空間を設定し、境界線分５１を用いて立体物に対応する領域５３を設定する。立体物に対応する領域５３は、例えば境界線分５１の両端を直径５２とする円を設定すればよい。さらに、図７（ｂ）に示すように、測距点抽出部２３は、立体物に対応する領域５３を底面とする立体５４を設定し、この立体５４の内部に存在する測距点を立体物に属する測距点群５５として抽出する。

このように、立体物に対応すると推定される境界線分５１に基づいて立体５４を設定し、設定された立体５４の内部に存在する測距点群５５を抽出するので、抽出された測距点群５５は路面上に存在する立体物に対応している。そして、立体物の高さは抽出された測距点群５５の存在範囲から推定することができるので、立体物の高さを仮定せずに測距点を抽出することができる。特に、従来では、人や車等の認識したい対象に合わせて立体物の高さを仮定していたので、仮定が合致しない場合には、画像中の立体物を正確に検出できないという問題があったが、本実施形態ではそのような問題は生じない。

ただし、立体物に対応する領域５３は円に限定されるわけではなく、境界線分５１の両端を対角線とする多角形としてもよく、立体５４は適宜最適な立体を設定すればよい。また、測距センサであるレーザレーダの距離データの誤差や物体による不検出範囲等を考慮して、境界線分５１の両端から外側方向へ拡張した範囲を底面としてもよい。すなわち、立体物に属する測距点群５５を抽出できるように、境界線分５１に基づいて最適な底面を決めて最適な立体５４を設定すればよい。

さらに、立体５４の高さは、制限を設定せずに無限大の高さを有する領域を設定してもよい。ただし、検出対象となる立体物のカテゴリ（例えば、人や車など）が予め分かっている場合には立体５４の高さを設定してもよい。この場合、境界線分５１の両端の間に存在して一定の高さの範囲内にある測距点群を抽出することになる。これにより、一定の高さ以上の範囲にある測距点群を除外できるので、ガード下やトンネル内のような構造物の下の空間に存在する立体物を検出することができる。

ステップＳ５０において、測距点投影部２４は、ステップＳ４０で抽出された立体物に属する測距点群５５を、対応する撮像画像上に投影する。図８は、複数の立体物に対応する境界線分５１及び測距点群５５を画像上に投影した場合の一例を示す図である。

ステップＳ６０において、立体物領域設定部２５は、ステップＳ５０で撮像画像上に投影された測距点群の存在範囲に基づき、立体物が存在すると推定される立体物領域を画像上に設定する。各測距点群５５は既に立体物毎にセグメンテーションされているので、測距点群５５を包含する矩形の領域を設定することによって、立体物領域の幅と高さを設定することができる。図９は、複数の立体物に対応する境界線分５１を画像上に投影し、立体物領域５７を画像上に表示した場合の一例を示す図である。ただし、測距点群５５を画像上に投影せずに、境界線分５１に対応する測距点群５５の存在範囲から直接に立体物領域５７を設定してもよい。すなわち、境界線分５１の所定範囲内にある測距点を抽出し、抽出された測距点群５５に対応させて立体物領域５７を設定する。こうして立体物領域５７が設定されると、出力部１６から図９に示すような画像が車両の乗員に提示されて、本実施形態に係る立体物検出処理は終了する。

［第１実施形態の効果］
以上詳細に説明したように、本実施形態に係る立体物検出方法及びその装置では、立体物と路面との間の境界線を推定し、推定された境界線に基づいて画像上の立体物を検出する。これにより、測距センサによって検出された測距点の数が少ない部分があったとしても画像上の立体物を精度良く検出することができる。例えば、図７（ａ）に示すように測距点３１が存在していた場合に、グリッドマップのセルが測距点３１と同程度の大きさに設定されていると、測距点３１が存在するセル同士の間隔は空いてしまう。したがって、従来の方法で境界線を推定せずに立体物を検出しようとすると、測距点の数が少ない部分では立体物全体を一体の領域として捉えることができない。しかしながら、本実施形態に係る立体物検出方法では、境界線を推定するので、測距点３１の間隔が空いていても境界線によって測距点３１の間を連結し、立体物全体を一体の領域として捉えることができ、推定された境界線に基づいて画像上で立体物を検出することができる。

また、本実施形態に係る立体物検出方法及びその装置では、境界線の所定範囲内にある測距点を抽出し、抽出された測距点の存在範囲から画像内に立体物領域を設定して画像上の立体物を検出する。これにより、抽出された測距点の存在範囲から、直接、立体物を検出できるので、測距点を画像上に投影する処理を行う必要がなくなり、処理負荷を軽減することができる。

さらに、本実施形態に係る立体物検出方法及びその装置では、境界線から高さ方向の所定範囲内にある測距点を抽出し、抽出された測距点の存在範囲から画像内に立体物領域を設定して画像上の立体物を検出する。これにより、所定の高さ以上の範囲にある測距点を除外できるので、ガード下やトンネル内のような構造物の下の空間に存在する立体物を検出することができる。

また、本実施形態に係る立体物検出方法及びその装置では、カメラの視野範囲にあって抽出された測距点に基づいて、極座標系上で境界線を推定する。これにより、一定の分解能（スキャン角）内に存在する測距点によって、車両からの距離に影響されずに境界線を推定することができる。

［第２実施形態］
以下、本発明を適用した第２実施形態について図面を参照して説明する。本実施形態の立体物検出処理では、ステップＳ４０の処理が第１実施形態と相違している。第１実施形態では、境界線分５１を含む所定範囲を底面とした立体５４を設定し、立体５４の内部に存在する測距点群５５を抽出して立体物領域５７を設定していた。しかし、本実施形態では、境界線分５１の方位θの方向の両端の間に存在し、一定の高さの範囲内にある測距点群を抽出して立体物領域を設定する。ただし、立体物検出装置１０の構成及びステップＳ４０以外の処理は、第１実施形態と同一であるため、詳細な説明は省略する。

ステップＳ４０において、測距点抽出部２３は、境界線分５１を用いてカメラの視野範囲にある測距点群３１の中から立体物に属する測距点群を抽出する。このとき、図１０（ａ）に示すように、測距点抽出部２３は、抽出した測距点群３１及び境界線分５１を極座標系の空間内に設定し、境界線分５１の方位θの方向の両端の間の領域６０を設定する。この領域６０は、距離ｒの方向に０から無限大までの領域であってもよいし、所定の範囲の領域であってもよい。そして、図１０（ｂ）に示すように、測距点抽出部２３は、領域６０を底面とする立体６１を設定し、この立体６１の内部に存在する測距点を立体物に属する測距点群６２として抽出する。ただし、立体６１の高さについては、検出対象となる立体物のカテゴリ（例えば人や車など）に応じて予め設定された高さから選択する。

また、領域６０は、測距センサであるレーザレーダの距離データの誤差や物体による不検出範囲等を考慮して、境界線分５１の両端から外側方向へ拡張してもよい。すなわち、立体物に属する測距点群６２を抽出できるように、境界線分５１に基づいて最適な領域を設定できればよい。

［第２実施形態の効果］
以上詳細に説明したように、本実施形態に係る立体物検出方法及びその装置では、境界線分の方位θの方向の両端の間にある測距点群を抽出するので、方位θの方向にある立体物を確実に検出することができる。

［第３実施形態］
以下、本発明を適用した第３実施形態について図面を参照して説明する。本実施形態の立体物検出処理では、ステップＳ２０、３０の処理が第１実施形態と相違している。第１実施形態では、車両からの距離ｒと車両の進行方向に対する方位θとで表される極座標系において、グリッドマップの格子状のセルで測距点を標本化していた。しかし、本実施形態では、車両の進行方向の距離ｘと車幅方向の距離ｙとで表される直交座標系において、車両からの距離ｒに応じてセルの幅が広がっていく同心円状のセルで測距点を標本化する。ただし、立体物検出装置１０の構成及びステップＳ２０、３０以外の処理は、第１実施形態と同一であるため、詳細な説明は省略する。また、本実施形態の立体物検出処理は、第２実施形態に適用することも可能である。

ステップＳ２０において、境界線推定部２１は、ステップＳ１０で検出された３次元測距データの測距点群の中から、図１１（ａ）に示すようにカメラの視野範囲にある測距点群３１を抽出する。ここで、第１実施形態では極座標系に座標変換していたが、本実施形態では図１１（ａ）に示す直交座標系の空間で境界線の推定処理を行う。

次に、境界線推定部２１は、図１１（ａ）に示す直交座標系の測距点群３１を、図１１（ｂ）に示す２次元グリッドマップ７０上に投影する。２次元グリッドマップ７０は、図１１（ｂ）に示すように水平面に平行な直交座標系の平面を同心円状のセルＣに分割したグリッドマップ（格子状地図）である。図１１（ｃ）に示すように、２次元グリッドマップ７０の各セルＣに投影された測距点群４１は、立体物と路面の位置にしたがって高さ方向（グリッドマップ７０に垂直な方向）にばらつく。ここで、境界線推定部２１は、各セルＣに投影された測距点群４１の高さの平均値を計算することにより、各セルＣの高さの代表値とする（標本化）。

さらに、境界線推定部２１は、図１１（ｃ）に示すように、グリッドマップ７０の同心円の放射方向毎に距離ｒの近い地点から遠い地点へ向かって高さの代表値を並べて、曲線４２を求める。そして、距離ｒの方向に隣り合うセルＣの間で高さの代表値の変化率を計算し、図１１（ｄ）に示すように代表値の変化率が予め設定された閾値を超えた変化点４３を検出する。ただし、同一の放射方向において複数の変化点４３が検出された場合には、距離ｒが最短となる点を採用する。

さらに、境界線推定部２１は、変化点４３に隣接するセルのうち距離ｒの遠い側にあるセルを、図１１（ｅ）に示すように立体物に属するセル７４と判定する。こうしてグリッドマップ７０の放射方向毎に立体物に属するセル７４が求められると、境界線推定部２１はグリッドマップ７０上で立体物に属するセル７４を曲線で連結することによって、立体物が路面に接地する接地点の位置を示す境界線７５を推定する。

ステップＳ３０において、境界線分割部２２は、ステップＳ２０で推定された立体物と路面との間の境界線７５を分割することにより、路面上にある複数の立体物に対応する複数の境界線分を求める。図１２（ａ）に示すように、境界線分割部２２は、境界線７５上において、座標中心（測距センサの位置）からの距離ｒの変化率を計算し、その変化率が予め設定された閾値を超える点を分節点８０と設定する。そして、図１２（ｂ）に示すように、境界線分割部２２は、設定された分節点８０によって、境界線７５を分割（セグメンテーション）することにより、境界線分８１を求める。ここで求められた各境界線分８１は、路面上に存在する複数の立体物にそれぞれ対応して求められたものと推定することができる。こうして境界線分８１が求められると、この後は第１実施形態と同一の処理を実行して立体物を検出する。

［第３実施形態の効果］
以上詳細に説明したように、本実施形態に係る立体物検出方法及びその装置では、カメラの視野範囲にあって抽出された測距点に基づいて、直交座標系上で境界線を推定する。これにより、実際の距離にしたがって立体物毎に境界線を推定することができる。

［第４実施形態］
以下、本発明を適用した第４実施形態について図面を参照して説明する。本実施形態に係る立体物検出方法では、車両の自己位置を推定し、車両の自己位置の地図情報に基づいて境界線分を選択する。尚、本実施形態の立体物検出処理は、第２及び第３実施形態に適用することも可能である。

［立体物検出装置の構成］
図１３は、本実施形態に係る立体物検出装置の構成を示すブロック図である。図１３に示すように、本実施形態に係る立体物検出装置１１０は、地図データ記憶部９０と、地図データ取得部９１と、車両情報取得部９２をさらに備えたことが第１実施形態と相違している。また、中央制御部１２０が自己位置推定部９３と、境界線分選択部９４をさらに備えたことが第１実施形態と相違している。尚、第１実施形態と同一の構成要素には同一の符号を付して詳細な説明は省略する。

地図データ記憶部９０は、地図データを格納したデータベースであり、車両に搭載してもよいし、データセンター内にあるサーバに設置してもよい。地図データ記憶部９０に格納されている地図データには、少なくとも車道や建物、歩道、信号機等の周辺環境に関する情報が記録されており、特に立体物の位置情報が記録されている。

地図データ取得部９１は、地図データ記憶部９０に格納されている地図データの全体から必要な領域の地図データを抽出して取得する。地図データ取得部９１は、サーバに設置された地図データ記憶部９０から通信網を介して地図データを取得してもよいし、車両に搭載された地図データ記憶部９０にアクセスして地図データを取得してもよい。

図１５（ａ）は、測距データ検出部１２の高解像度レーザレーダで検出された測距データをＸ−Ｙ平面上で表示した場合の一例である。また、図１５（ｂ）は、自己位置推定部９３によって推定された車両の自己位置に基づき、地図データ取得部９１によって切り出された自車両を中心とした周囲環境の地図データの一例である。図１５（ｃ）は、図１５（ａ）の測距データと同期して画像データ検出部１４（車載カメラ）で撮像された画像の一例を示している。尚、図１５（ａ）の測距点群と図１５（ｂ）の地図データは，座標系が同一であるため、２つのデータを重ね合わせることによって、地図上の各地点でデータを対応付けすることができる。

車両情報取得部９２は、自車両に搭載されたセンサ群から車両情報を取得する。例えば、ＧＰＳや速度センサ、ジャイロセンサ、加速度センサ等のセンサ群から自車両の位置、速度、角速度、加速度等の車両情報を取得する。

自己位置推定部９３は、車両情報取得部９２で取得した車両情報と、地図データ取得部９１で取得した地図データ（地図情報）とに基づいて自車両の地図上での現在位置を推定し、自己位置情報として出力する。

境界線分選択部９４は、自己位置推定部９３で推定された自己位置情報と地図データ取得部９１で取得された地図情報とに基づいて、境界線分割部２２で求められた境界線分の中から立体物の検出に必要となる境界線分を選択する。

［立体物検出処理の手順］
次に、本実施形態に係る立体物検出装置１１０による立体物検出処理の手順を図１４のフローチャートを参照して説明する。図１４に示すように、ステップＳ３５を追加したことが第１実施形態と相違している。

本実施形態に係る立体物検出処理では、ステップＳ１０〜Ｓ３０までの処理が第１実施形態と同様に行われ、境界線が分割されて境界線分が求められる。そして、ステップＳ３５において、境界線分選択部９４は、まず自己位置推定部９３によって推定された自己位置情報を取得し、この自己位置情報に基づいて地図データ取得部９１から自己位置周辺の地図情報を取得する。図１６（ａ）は、ステップＳ３０で求められた境界線分を射影した直交座標系のグリッドマップの一例を示す図である。図１６（ｂ）は、自己位置情報に基づいて地図データ取得部９１から取得した地図情報の一例を示す図であり、車道や建物、歩道、信号機等の属性が領域毎にそれぞれ記録されている。

そして、境界線分選択部９４は、ステップＳ３０で求められた境界線分の中から、地図情報、特に立体物の位置情報に基づいて、立体物の検出に必要となる境界線分を選択する。図１６（ａ）に示す直交座標系のグリッドマップ９５と、図１６（ｂ）に示す車両周辺の地図情報９７とを重ね合わせて、境界線分９６が存在する領域に対応する地図情報９７の領域を検出する。これにより、例えば、図１６（ｃ）に示すように地図情報９７の建物の領域で境界線分９６が存在する領域２０１、２０３は、建物の壁であると推定することができる。したがって、立体物として人や車を検出することが目的である場合には、建物に属する領域２０１、２０３の境界線分９６を選択せずに除外することができる。

また、占有面積が小さくて地図情報によって位置が高精度に特定できる信号機や電柱、標識のような立体物については、地図情報から直接境界線分９６の属性を検出することができる。例えば、図１６（ｃ）の領域２０５の境界線分は、地図情報９７から信号機であることを検出することができる。

さらに、車道や歩道等の特定の領域では、車や歩行者、自転車等の特定の立体物しか存在しないと推定できるので、地図情報に記録された各領域の属性により、測距点群を抽出する際の高さの制限値を決定することができる。さらに、トンネル、ガード下等そのままでは２次元グリッドマップが有効に機能しないような場所では、地図情報からトンネル等の領域を特定する。そして、このような領域では、２次元グリッドマップに投影する測距点群に高さ制限を設定すれば、トンネル内やガード下の立体物を検出することが可能になる。

［第４実施形態の効果］
以上詳細に説明したように、本実施形態に係る立体物検出方法及びその装置では、車両の自己位置を推定し、車両の自己位置の地図情報と境界線とに基づいて画像上にある立体物を検出する。これにより、車両の自己位置の地図情報から立体物の属性を推定することができるので、効率良く立体物を検出することができる。また、建物の壁や柵、ガードレール等の検出対象外の立体物に関する測距点を除外できるので、立体物を検出するための演算量を効果的に削減し、誤検出を低減することができる。

なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

１０、１１０ 立体物検出装置
１２ 測距データ検出部
１４ 画像データ検出部
１６ 出力部
２０、１２０ 中央制御部
２１ 境界線推定部
２２ 境界線分割部
２３ 測距点抽出部
２４ 測距点投影部
２５ 立体物領域設定部
９０ 地図データ記憶部
９１ 地図データ取得部
９２ 車両情報取得部
９３ 自己位置推定部
９４ 境界線分選択部

Claims (7)

1. 車両に搭載されて車両周囲の画像を撮像するカメラと、前記車両に搭載されて車両周囲の測距点の距離を検出する測距センサとを備え、前記カメラで撮像された画像と前記測距センサで検出された測距点の距離から前記画像上の立体物を検出する立体物検出装置の立体物検出方法であって、
   前記測距センサで検出された測距点の中から前記カメラの視野範囲にある測距点を抽出し、
   抽出された前記測距点から前記車両周囲の立体物の位置を求め、求められた複数の前記立体物の位置を連結することによって、前記車両周囲の立体物と路面との間の境界線を推定し、
   前記境界線の距離方向における変化率が所定の閾値を超える点で前記境界線を分割して複数の境界線分を求め、
   求められた前記境界線分に基づいて前記画像上の立体物を検出することを特徴とする立体物検出方法。
2. 前記境界線の所定範囲内にある測距点を抽出し、抽出された測距点の存在範囲から前記画像内に立体物領域を設定して前記画像上の立体物を検出することを特徴とする請求項１に記載の立体物検出方法。
3. 前記境界線から高さ方向の所定範囲内にある測距点を抽出し、抽出された測距点の存在範囲から前記画像内に立体物領域を設定して前記画像上の立体物を検出することを特徴とする請求項１に記載の立体物検出方法。
4. 前記カメラの視野範囲にあって抽出された前記測距点に基づいて、前記車両からの距離と前記車両の進行方向に対する方位とで表される極座標系上で前記境界線を推定することを特徴とする請求項１〜３のいずれか１項に記載の立体物検出方法。
5. 前記カメラの視野範囲にあって抽出された前記測距点に基づいて、前記車両の進行方向の距離と前記車両の車幅方向の距離とで表される直交座標系上で前記境界線を推定することを特徴とする請求項１〜３のいずれか１項に記載の立体物検出方法。
6. 前記車両の自己位置を推定し、前記車両の自己位置の地図情報と前記境界線とに基づいて前記画像上の立体物を検出することを特徴とする請求項１〜５のいずれか１項に記載の立体物検出方法。
7. 車両に搭載されて車両周囲の画像を撮像するカメラと、前記車両に搭載されて車両周囲の測距点の距離を検出する測距センサとを備え、前記カメラで撮像された画像と前記測距センサで検出された測距点の距離から前記画像上の立体物を検出する立体物検出装置であって、
   前記測距センサで検出された測距点の中から前記カメラの視野範囲にある測距点を抽出し、抽出された前記測距点から前記車両周囲の立体物の位置を求め、求められた複数の前記立体物の位置を連結することによって、前記車両周囲の立体物と路面との間の境界線を推定し、前記境界線の距離方向における変化率が所定の閾値を超える点で前記境界線を分割して複数の境界線分を求め、求められた前記境界線分に基づいて前記画像上の立体物を検出するコントローラを備えたことを特徴とする立体物検出装置。