JP6690267B2 - 車両用立体物検出装置 - Google Patents

Description

本発明は、自車両の周囲に存在する立体物を検出する車両用立体物検出装置に係る。

車両用立体物検出装置は、左右に隔置された二つのカメラにより自車両の前方を撮像する撮像装置と、撮像装置により撮像された画像に基づいて視差画像を生成し、視差画像を処理して自車両の前方に存在する立体物を検出する画像処理装置と、を有している。画像処理装置における視差画像の処理及び立体物の検出の要領について、従来種々の提案がなされている。

例えば、下記の特許文献１には、視差画像に基づいて作成された垂直座標-視差の図において、分布する画素から道路面の画素を抽出して除去し、垂直座標が変化しても視差が変化しない画像部分を立体物の領域として検出する立体物検出装置が記載されている。なお、道路面の画素は垂直座標の変化に伴って視差が変化する画像部分として特定される。

特開２０１４−１３０４２９号公報

〔発明が解決しようとする課題〕
特許文献１に記載されているような従来の立体物検出装置においては、立体物の検出精度が道路面の検出精度に依存する。そのため、道路面の検出が不正確である場合には、立体物が実際に存在していても立体物が検出されないという検出失敗及び立体物が実際には存在しないのにも拘らず立体物が検出されるという誤検出が生じることがある。

また、特許文献１に記載されているような従来の立体物検出装置においては、垂直座標-視差の図において分布する画素から道路面の画素が除去され、残存する画像部分が立体物の領域として検出される。そのため、実際には複数の立体物が存在するにも拘らず一つの立体物しか検出されない場合がある。

本発明の課題は、道路面の検出精度に依存せずに、従来に比して高精度に、自車両の周囲に存在する立体物を検出することができるよう改良された車両用立体物検出装置を提供することである。

〔課題を解決するための手段及び発明の効果〕
本発明によれば、左右に隔置された少なくとも二つのカメラにより自車両の周囲を撮像する撮像装置と、撮像装置により撮像された画像に基づいて視差画像を生成し、視差画像を処理して自車両の周囲に存在する立体物を検出する画像処理装置と、を有する車両用立体物検出装置が提供される。

画像処理装置は、
視差画像を水平方向に隣接する複数の部分縦長視差画像に分割する視差画像分割部と、
各部分縦長視差画像の各画素を、横軸を視差とし縦軸を垂直座標とする垂直座標−視差空間へ写像する写像部と、
垂直座標−視差空間内の互いに視差が異なる複数の点について、点の位置を中心とし当該点の視差が大きいほど大きい横幅を有する水平区間を設定し、水平区間内に含まれる画素群の最大垂直位置と最小垂直位置との差が閾値以上であるときに、最大垂直位置と最小垂直位置との間に含まれる画素群を一つの立体物の画素群であると判定する判定部と、
を有する。

自車両の周囲の道路は、自車両に近い位置から遠い位置まで連続的に延在するので、垂直座標−視差空間において、道路の画素群は傾斜した直線をなす。よって、水平区間内の画素群の最大垂直座標と最小垂直座標との差は小さい。これに対し、自車両の周囲の道路上に存在する立体物は、自車両から特定の位置の領域にのみ延在するので、垂直座標−視差空間において、立体物の画素群は上下方向に延在する直線をなす。よって、水平区間内の画素群の最大垂直座標と最小垂直座標との差は大きい値になる。

上記の構成によれば、水平区間内に含まれる画素群の最大垂直位置と最小垂直位置との差が閾値以上であるときに、最大垂直位置と最小垂直位置との間に含まれる画素群が一つの立体物の画素群であると判定される。よって、自車両の前方の道路上に立体物が存在するときには、その立体物を検出することができる。

また、水平区間内の画素群の最大垂直座標及び最小垂直座標は、立体物の下端及び上端の位置に対応している。よって、最大垂直座標及び最小垂直座標に基づいて立体物の下端及び上端の位置を判定することができ、立体物の下端及び上端の位置の判定を立体物毎に行うことができる。また、最大垂直座標又は最小垂直座標に対応する視差、即ち立体物の下端又は上端の視差に基づいて、自車両から立体物までの距離を判定することができ、下端の垂直位置と上端の垂直位置との差に基づいて立体物の上下方向の大きさを特定することができる。更に、水平区間内の画素群の幅を判定することにより、立体物の水平方向の大きさを特定することができる。従って、自車両の周囲に複数の立体物が存在する場合にも、それらを区別して立体物を検出し、立体物までの距離、立体物の大きさを推定することができる。

また、水平区間の幅が垂直座標−視差空間における視差に関係なく比較的大きい値に設定されると、自車両から遠い位置に複数の立体物が存在する状況において、複数の立体物の画素群が水平区間内に収まり、複数の立体物が一つの立体物と誤検出されることがある。逆に、水平区間の幅が垂直座標−視差空間における視差に関係なく比較的小さい値に設定されると、立体物が複雑な外形を有するような状況において、一つの立体物の画素群が一つの水平区間内に収まらず、一つの立体物が複数の立体物と誤検出されることがある。

これに対し、上記構成によれば、水平区間は、垂直座標−視差空間内の互いに視差が異なる複数の点について、点の位置を中心とし当該点の視差が大きいほど大きい横幅を有するよう設定される。よって、視差が小さく、自車両から対象物までの距離が大きいほど水平区間の幅が小さく設定される。従って、水平区間の幅が垂直座標−視差空間における視差に関係なく一定である場合に比して、複数の立体物が一つの立体物と誤検出される虞及び一つの立体物が複数の立体物と誤検出される虞を低減することができる。

更に、上記構成によれば、垂直座標-視差の図において分布する画素から道路面の画素が抽出され除去されることにより立体物が検出される訳ではない。よって、立体物の検出精度は道路面の検出精度に依存せず、道路面の検出が不正確であることに起因して立体物の検出失敗及び実際には存在しない立体物の誤検出が生じることがないので、このことによっても従来に比して高精度に自車両の周囲に存在する立体物を検出することができる。

本発明による車両用立体物検出装置の実施形態を示す概略構成図である。 図１に示された立体物検出装置のブロック図である。 実施形態における立体物検出制御ルーチンを示すフローチャートである。 道路上に二つの立体物が存在する視差画像の一例を示す図である。 全ての部分縦長視差画像について垂直座標−視差空間を示す図である。 垂直座標−視差空間において、道路の画素の点について設定された水平区間Ｓ１を示す図である。 垂直座標−視差空間において、立体物の画素の点について設定された水平区間Ｓ２を示す図である。 画素の点の視差ｄに基づいて水平区間の幅Ｗを演算するために使用されるマップを示す図である。

以下に添付の図を参照しつつ、本発明の好ましい実施形態について詳細に説明する。

図１は、乗用車に適用された本発明の実施形態にかかる車両用立体物検出装置１０を示す概略構成図、図２は立体物検出装置１０のブロック図である。立体物検出装置１０は車両１２に搭載され、自車両１２の前方を撮像する撮像装置１４と、画像処理装置１６とを有している。画像処理装置１６は、後に詳細に説明するように、撮像装置１４により撮像された画像に基づいて視差画像を生成し、視差画像を処理して自車両１２の前方に存在する立体物を検出し、検出結果を表示装置１８に表示する。

図２に示されているように、撮像装置１４は、左右に隔置された二つのカメラ１４Ｌ及び１４Ｒと、これらのカメラにより撮像された画像を当技術分野において公知の要領にて補正する画像補正部２０と、を有しいている。画像処理装置１６は、視差画像生成部２２と、視差画像分割部２４と、写像部２６と、判定部２８と、を有しいている。

なお、図１には詳細に示されていないが、画像処理装置１６は、ＣＰＵ、ＲＯＭ、ＲＡＭ及び入出力ポート装置を有し、これらが双方向性のコモンバスにより互いに接続された一般的な構成を有するマイクロコンピュータであってよい。また、後に詳細に説明するように、視差画像生成部２２、視差画像分割部２４、写像部２６及び判定部２８の機能は、ＲＯＭに記憶されＣＰＵによって実行される制御プログラムのそれぞれ対応するステップにより達成される。なお、視差画像生成部２２は撮像装置１４の一部であってもよい。

次に、図３に示されたフローチャートを参照して実施形態における立体物検出制御ルーチンについて説明する。なお、図３は、上述のようにＣＰＵによって実行される制御プログラムを示すフローチャートである。また、図３に示されたフローチャートによる制御は、図には示されていないイグニッションスイッチがオンであるときに所定の時間毎に繰返し実行される。

まず、ステップ１０においては、カメラ１４Ｌ及び１４Ｒにより撮像され画像補正部２０により補正された画像の信号が、撮像装置１４から読み込まれる。

ステップ２０においては、読み込まれた画像信号に基づいて当技術分野において公知の要領にて視差画像が生成される。よって、ステップ２０により視差画像生成部２２の機能が達成される。

図４は、視差画像４０の一例であり、道路４２上に二つの立体物４４及び４６が存在し、立体物４４及び４６は自車両１２から見て部分的に重なって見える位置に位置している。図４に示されているように、視差画像の左上の隅が垂直座標ｖ及び水平座標ｕの原点であり、図４で見て下方ほど垂直座標ｖの値が大きく、右方ほど水平座標ｕの値が大きい。また、画像の濃度（画素の密度）が高いほど、視差が小さく、従って自車両１２から画素に対応する対象部までの距離が大きい。

ステップ３０においては、視差画像４０が水平方向に隣接する複数の部分縦長視差画像４８に分割される。図４に示された破線の矩形５０は、視差画像４０を複数の部分縦長視差画像４８に分割する際に使用される分割ブロックを示している。分割ブロック５０の横幅は３〜７画素程度の大きさである。分割ブロック５０が視差画像４０の左端から右端まで適用されることにより、視差画像４０が互いに同一の横幅及び高さを有する複数の部分縦長視差画像４８に分割される。よって、ステップ３０により視差画像分割部２４の機能が達成される。

ステップ４０においては、各部分縦長視差画像４８について、部分縦長視差画像４８の各画素が垂直座標ｖと視差（画素値）との関係を示す垂直座標−視差空間へ写像される。よって、ステップ４０により写像部２６の機能が達成される。具体的には、部分縦長視差画像４８の画素毎に、当該画素の垂直座標を上下方向の位置とし、当該画素の視差を水平方向の位置として、垂直座標−視差空間５２に当該画素の点を登録する。図５は、全ての部分縦長視差画像４８についての垂直座標−視差空間５２を示しており、灰色の部分が画素を示している。図５に示されているように、垂直座標−視差空間５２においては、道路４２の画素群は右下がりに傾斜した直線をなし、立体物４４及び４６の画素群は上下方向に延在する直線をなす。

ステップ５０においては、垂直座標−視差空間５２に存在する画素の点毎に、当該点の位置を中央とし当該点の視差に応じた横幅を有する水平区間が設定される。そして、水平区間に存在する画素群の最大垂直座標ｖ_ｍａｘと最小垂直座標ｖ_ｍｉｎとの差Δｖ（＝ｖ_ｍａｘ−ｖ_ｍｉｎ）が演算され、差Δｖが基準値Δｖ0（正の定数）以上であるか否かの判別により、立体物が存在するか否かが判別される。差Δｖが基準値Δｖ0以上であるときには、その水平区間内に存在する画素群が一つの立体物の画素群であると特定される。よって、ステップ５０により判定部２８の機能が達成される。

水平区間は例えば以下のように設定される。垂直座標−視差空間５２に存在する画素の点の視差に対応する距離z、即ちカメラ１４Ｌ及び１４Ｒから画素の対象物までの距離が、下記の式（１）に従って演算される。下記の式（１）において、ｄは視差であり、ｂは基線長であり、ｆはカメラ１４Ｌ及び１４Ｒの焦点距離である。
z＝ｂ＊ｆ／ｄ …（１）

そして、立体物を検出するために予め設定された奥行方向の距離をΔzとして、z−Δzの距離に対応する視差ｄ_Ｌとz＋Δzの距離に対応する視差ｄ_Ｈとの範囲が水平区間に設定される。最大垂直座標ｖ_ｍａｘは、水平区間に存在する各画素の垂直座標のうちの最大値であり、最小垂直座標ｖ_ｍｉｎは、水平区間に存在する各画素の垂直座標のうちの最小値である。

図６は、道路４２の画素の点について設定された水平区間Ｓ１を示している。道路４２は立体物４４及び４６よりも自車両１２に近く、視差ｄ_Ｌと視差ｄ_Ｈとの差が大きいので、水平区間Ｓ１の幅Ｗ１は大きい値になる。しかし、道路４２の画素群は右下がりに傾斜した直線をなすので、水平区間Ｓ１内の画素群の最大垂直座標ｖ_ｍａｘと最小垂直座標ｖ_ｍｉｎとの差Δｖは、基準値Δｖ0よりも小さい。

これに対し、図７は、立体物４４の画素の点について設定された水平区間Ｓ２を示している。視差ｄ_Ｌと視差ｄ_Ｈとの差は水平区間Ｓ１の場合よりも小さいので、水平区間Ｓ２の幅Ｗ２は幅Ｗ１よりも小さい。しかし、立体物４４の画素群は上下方向に延在する直線をなすので、水平区間Ｓ２内の画素群の最大垂直座標ｖ_ｍａｘと最小垂直座標ｖ_ｍｉｎとの差Δｖは基準値Δｖ0よりも大きい。

このようにして、水平区間内の画素群の最大垂直座標ｖ_ｍａｘと最小垂直座標ｖ_ｍｉｎとの差Δｖが基準値Δｖ0よりも大きいか否かの判定によって、立体物４４などの存否が判定される。また、最大垂直座標ｖ_ｍａｘ又は最小垂直座標ｖ_ｍｉｎの視差に基づいて、自車両１２から立体物４４などまでの距離が判定され、差Δｖに基づいて立体物の上下方向の大きさが特定される。更に、水平区間内の画素群の幅が判定されることにより、立体物の水平方向の大きさが特定される。従って、自車両１２の前方に複数の立体物が存在する場合にも、それらを区別して立体物を検出し、立体物までの距離、立体物の大きさなどを推定することができる。

ステップ６０においては、ステップ５０における判定結果に基づいて自車両１２の前方に立体物が存在するか否かの情報、立体物が存在する場合には立体物までの距離、立体物の大きさなどに関する情報が出力され、それらの情報が表示装置１８に表示される。

以上の説明から解るように、実施形態によれば、ステップ２０において、視差画像４０が生成され、ステップ３０において、視差画像４０が水平方向に隣接する複数の部分縦長視差画像４８に分割される。ステップ４０において、各部分縦長視差画像４８について、部分縦長視差画像４８の各画素が垂直座標ｖと視差（画素値）との関係を示す垂直座標−視差空間へ写像される。更に、ステップ５０において、垂直座標−視差空間５２に存在する画素の点毎に水平区間が設定され、水平区間に存在する画素群の最大垂直座標ｖ_ｍａｘと最小垂直座標ｖ_ｍｉｎとの差Δｖが基準値Δｖ0以上であるか否かの判別により、立体物の存否が判別される。

よって、実施形態によれば、自車両１２の前方に他車両のような立体物が存在する場合には、差Δｖの大きさに基づいてその立体物を検出することができ、また最大垂直座標ｖ_ｍａｘ及び最小垂直座標ｖ_ｍｉｎに基づいて立体物までの距離、立体物の大きさなどを推定することができる。

また、実施形態によれば、前述の特許文献１に記載された立体物検出装置のように、垂直座標-視差の図において分布する画素から道路面の画素が抽出され除去されることにより立体物が検出される訳ではない。よって、立体物の検出精度は道路面の検出精度に依存せず、道路面の検出が不正確であることに起因して立体物の検出失敗及び実際には存在しない立体物の誤検出が生じることがないので、従来に比して高精度に自車両の前方に存在する立体物を検出することができる。

特に、実施形態によれば、ステップ５０において、垂直座標−視差空間５２に存在する画素の点の視差に対応する距離をzとし、立体物を検出するために予め設定された奥行方向の距離をΔzとして、z−Δzの距離に対応する視差ｄ_Ｌとz＋Δzの距離に対応する視差ｄ_Ｈとの範囲が水平区間に設定される。即ち、水平区間は、垂直座標−視差空間内の互いに視差が異なる複数の点について、点の位置を中心とし当該点の視差が大きいほど大きい横幅を有するよう設定される。よって、視差が小さく、自車両から対象物までの距離が大きいほど水平区間の幅が小さく設定される。従って、水平区間の幅が垂直座標−視差空間における視差に関係なく一定である場合に比して、自車両から遠い位置にある複数の立体物が一つの立体物と誤検出される虞及び自車両から近い位置にある一つの立体物が複数の立体物と誤検出される虞を低減することができる。

以上においては、本発明を特定の実施形態について詳細に説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の範囲内にて他の種々の実施形態が可能であることは当業者にとって明らかであろう。

例えば、上述の実施形態においては、撮像装置１４の二つのカメラ１４Ｌ及び１４Ｒは、自車両１２の前方を撮像し、視差画像は自車両１２の前方の画像である。しかし、二つのカメラは、必要に応じて自車両１２の後方を撮像するようになっていてもよく、更には自車両１２の側方を撮像するようになっていてもよい。

また、上述の実施形態においては、ステップ５０において、画素の点の視差に対応する距離をzとし、予め設定された奥行方向の距離をΔzとして、z−Δzの距離に対応する視差ｄ_Ｌとz＋Δzの距離に対応する視差ｄ_Ｈとの範囲が水平区間に設定される。しかし、水平区間は、垂直座標−視差空間内の点の視差が大きいほど大きい横幅を有するよう設定される限り、他の要領にて設定されてもよい。

例えば、図８は画素の点の視差ｄに基づいて水平区間の幅Ｗを演算するために使用されてよいマップを示している。水平区間の幅Ｗは画素の点の視差ｄに基づいて図８に示されたマップを参照して演算されてもよい。

また、上述の実施形態においては、水平区間は、垂直座標−視差空間内の点の視差が大きいほど大きい横幅を有するよう設定される。しかし、水平区間の幅は視差に関係なく一定の値であってもよい。

１０…立体物検出装置、１２…自車両、１４…撮像装置、１６…画像処理装置、１８…表示装置、２２…視差画像生成部、２４…視差画像分割部、２６…写像部、２８…判定部、４０…視差画像、４２…道路、４４，４６…立体物、４８…部分縦長視差画像、Ｓ１，Ｓ２…水平区間

Claims (1)

1. 左右に隔置された少なくとも二つのカメラにより自車両の周囲を撮像する撮像装置と、前記撮像装置により撮像された画像に基づいて視差画像を生成し、前記視差画像を処理して自車両の周囲に存在する立体物を検出する画像処理装置と、を有する車両用立体物検出装置において、
   前記画像処理装置は、
   前記視差画像を水平方向に隣接する複数の部分縦長視差画像に分割する視差画像分割部と、
   各部分縦長視差画像の各画素を、横軸を視差とし縦軸を垂直座標とする垂直座標−視差空間へ写像する写像部と、
   前記垂直座標−視差空間内の互いに視差が異なる複数の点について、点の位置を中心とし当該点の視差が大きいほど大きい横幅を有する水平区間を設定し、前記水平区間内に含まれる画素群の最大垂直位置と最小垂直位置との差が閾値以上であるときに、前記最大垂直位置と前記最小垂直位置との間に含まれる画素群を一つの立体物の画素群であると判定する判定部と、
   を有する、車両用立体物検出装置。