JP6396729B2 - 立体物検出装置 - Google Patents

Description

本発明は、立体物検出装置に関する。

従来、車両周辺の対象物が立体物であるか路面であるかを判定する車両用の対象物判定装置が報告されている（特許文献１等）。

例えば、特許文献１に記載の技術では、２台のカメラで異なる視点の各々から車両周辺の対象物を撮影することにより、視差を有する左右画像を取得し、左右画像の各々において対応した点における視差を演算する。そして、一方の辺が視差、他方の辺が画像の横方向の位置に各々対応し、かつ視差が大きくなるに従って視差に対応する辺及び横方向の位置に対応する辺が長くなるように定められたブロックを複数配列した視差投票マップを設定し、この視差投票マップの各々のブロックに、視差が演算された視差算出点に関する情報を投票する。そして、視差投票マップにおいて、視差算出点の投票数が閾値以上のブロックであって、投票された視差算出点の視差方向への分布が小さくかつ画像の縦方向への分布が大きい第１ブロックには立体物の属性を付与し、投票された視差算出点の視差方向への分布が大きくかつ画像の縦方向への分布が小さい第２ブロックには路面の属性を付与して、立体物か路面かを判定している。

ここで、立体物であれば、画像奥行方向の距離が変わらないので視差値がほぼ一定になり、路面であれば、画像奥行方向の距離が変わるので、視差値が変化する。そのため、立体物の視差算出点は、実空間座標において距離方向の広がりが小さくかつ高さ方向に大きく広がって分布する、すなわち、画像上で視差方向への分布が小さくかつ縦方向への分布が大きいという特性がある。一方、路面の視差算出点は、実空間座標において高さ方向の広がりが小さくかつ距離方向に大きく広がって分布する、すなわち、画像上で縦方向への分布が小さくかつ視差方向への分布が大きいという特性がある。

このような特性に着目して、特許文献１に記載の従来の対象物判定装置では、視差投票マップにおいて、視差算出点の投票数が閾値以上のブロックであって、投票された視差算出点の視差方向への分布が小さくかつ画像の縦方向への分布が大きい第１ブロックには立体物の属性を付与することで、立体物を検出している。一方、投票された視差算出点の視差方向への分布が大きくかつ画像の縦方向への分布が小さい第２ブロックに路面の属性を付与することで、路面を検出している。なお、視差算出マップにおいて、視差算出点の投票数が閾値以上の場合、左右画像間で対応がとれた視差算出点の個数が多いことから立体物か路面かの判定が可能であるものの、視差算出点の投票数が閾値未満の場合、左右画像間で対応がとれた視差算出点の個数が少ないことから立体物か路面かの判定が困難なノイズとなる可能性が高い。

特開２００６−２３６１０４号公報

しかしながら、従来技術（特許文献１等）においては、対象物のうち立体物と路面とを区別して検出可能であるものの、立体物のうち路肩や路上落下物等といった高さの低い立体物については検出精度が低くなるという改善点を有していた。

ここで、高さの低い立体物を検出するためには、特許文献１に記載の従来の対象物判定装置では、立体物を検出するための条件を緩める処置が考えられる。例えば、視差算出マップにおいて、一定数以上の視差算出点が投票されたブロックであることを判定するための閾値を低く設定したり、立体物の属性を付与する第１ブロックを判定するための閾値が低くなるように調整するといった処置が考えられる。しかし、このような処置を行うと、高さの低い立体物を検出可能となるものの、同時にノイズを拾い易くなり、路面勾配自体を立体物として検出してしまう等といったような立体物の誤検出が増加してしまう。よって、高さの低い立体物を検出するために、立体物の検出条件を規定する各種閾値が低くなるように調整する処置を行うと、立体物の誤検出を増加させて立体物の検出精度を下げてしまうことになる。また、立体物の誤検出結果を含む対象物判定結果が、運転支援に利用されることは、安全上望ましくない。このように、従来の対象物判定装置おいては、立体物と路面とを区別可能であり、且つ、高さの低い立体物についても検出可能な技術が求められていた。

本発明は、上記の事情に鑑みてなされたものであって、立体物と路面とを良好に区別可能な状態を維持しつつ、高さの低い立体物についても立体物として高精度に検出可能な立体物検出装置を提供することを目的とする。

本発明の立体物検出装置は、ステレオカメラ撮像部と、前記ステレオカメラ撮像部によって取得された画像に基づいて、当該画像を構成する所定の画素領域ごとに視差値を算出する視差値算出部と、前記画像を縦方向に前記画素領域を含むように複数分割した所定の縦列領域を抽出し、当該縦列領域ごとに、前記画像の各画素領域の画素位置情報に含まれる縦座標を縦軸に投影し、且つ、当該縦座標に各々対応する前記視差値を横軸に投影した２次元平面を設定し、当該２次元平面上において、投影した前記縦座標及び前記視差値に基づいて直線近似を行うことで、投影した前記縦座標及び前記視差値からなる近似直線を生成する近似直線生成部と、前記２次元平面上において生成された前記近似直線について、当該近似直線の傾きと長さから投票による立体物判定に寄与する重みを算出する投票重み算出部と、前記視差値と前記画像の各画素領域の画素位置情報に含まれる横座標とによって定められたブロックを複数配列した視差投票マップを設定し、当該視差投票マップの各々のブロックに対して、視差算出点を、前記投票重み算出部で算出した前記重みを反映して投票する視差算出点投票部と、前記視差投票マップにおいて、前記視差算出点の投票数が所定の閾値以上のブロックの情報に基づいて立体物を検出する立体物検出部と、を備えることを特徴とする。

上記立体物検出装置において、前記投票重み算出部は、前記近似直線の長さが所定の閾値以上の場合に、前記近似直線の傾きを表す、視差の変化量に対する縦座標の変化量が大きいほど、前記重みを重くすることが好ましい。

本発明にかかる立体物検出装置によれば、立体物と路面とを良好に区別可能な状態を維持しつつ、高さの低い立体物についても立体物として検出され易くなるようにすることができる。これにより、高さの低い立体物の検出精度を向上させることができ、その結果、より好適に立体物を検出できるという効果を奏する。

図１は、実施形態に係る立体物検出装置の構成の一例を示す図である。 図２は、実施形態に係る２次元平面上で生成される近似直線の一例を示す図である。 図３は、実施形態に係る視差投票マップの一例を示す図である。 図４は、実施形態に係る立体物検出装置の基本処理の一例を示すフローチャートである。

以下に、本発明にかかる立体物検出装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。

［実施形態］
図１〜図３を参照して、実施形態に係る立体物検出装置の構成について説明する。ここで、図１は、実施形態に係る立体物検出装置の構成の一例を示す図である。図２は、実施形態に係る２次元平面上で生成される近似直線の一例を示す図である。図３は、実施形態に係る視差投票マップの一例を示す図である。

本実施形態における立体物検出装置は、車両（自車両）に搭載され、典型的には、ステレオカメラ撮像部１と、車両運動量検出装置２と、ＥＣＵ３と、アクチュエータ４と、を備える。

ステレオカメラ撮像部１は、車両の周囲環境を撮像する。本実施形態においては、ステレオカメラ撮像部１が２つのカメラから構成されている例を説明する。ステレオカメラ撮像部１は、撮像可能な右カメラ１ａと左カメラ１ｂとから構成される。右カメラ１ａは、車両前方右側に設置され、左カメラ１ｂは、車両前方左側に設置される。右カメラ１ａ及び左カメラ１ｂは、例えば、ステレオカメラである。右カメラ１ａは、車両の進行方向を撮像した画像である輝度画像ＲをＥＣＵ３へ出力する。左カメラ１ｂは、車両の進行方向を撮像した画像である輝度画像ＬをＥＣＵ３へ出力する。なお、ステレオカメラ撮像部１は、２つのカメラを具備している例に限定されず、後述のＥＣＵ３の処理により視差を算出可能であれば、２つ以上のカメラを具備してもよい。

車両運動量検出装置２は、車両運動量を示す各種情報（車速やヨーレートや加速度等）を検出する。車両運動量検出装置２は、車速センサ２ａとヨーレートセンサ２ｂと加速度センサ２ｃを少なくとも含んで構成される。車速センサ２ａは、車輪毎に設けられ、夫々の車輪速度を検出する車輪速度検出装置である。各車速センサ２ａは、各車輪の回転速度である車輪速度を検出する。各車速センサ２ａは、検出した各車輪の車輪速度を示す車輪速信号をＥＣＵ３へ出力する。ＥＣＵ３は、各車速センサ２ａから入力される各車輪の車輪速度に基づいて、車両の走行速度である車速を算出する。ＥＣＵ３は、各車速センサ２ａのうち少なくとも１つから入力される車輪速度に基づいて車速を算出してもよい。ＥＣＵ３は、算出した車速を車両の運動情報として取得する。ヨーレートセンサ２ｂは、車両のヨーレートを検出するヨーレート検出装置である。ヨーレートセンサ２ｂは、検出したヨーレートを示すヨーレート信号をＥＣＵ３へ出力する。ＥＣＵ３は、入力されたヨーレート信号を車両の運動情報として取得する。加速度センサ２ｃは、車体にかかる加速度を検出する加速度検出装置である。加速度センサ２ｃは、検出した加速度を示す加速度信号をＥＣＵ３へ出力する。ＥＣＵ３は、入力された加速度信号を車両の運動情報として取得する。

ＥＣＵ３は、車両の各部の駆動を制御するものであり、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェースを含む周知のマイクロコンピュータを主体とする電子制御ユニットである。ＥＣＵ３は、ステレオカメラ撮像部１および車両運動量検出装置２と電気的に接続され、検出結果に対応した電気信号が入力される。そして、ＥＣＵ３は、検出結果に対応した電気信号に応じて各種演算処理を行い、演算結果に対応した制御指令を出力することで、ＥＣＵ３と電気的に接続されたアクチュエータ４の作動を制御する。例えば、ＥＣＵ３は、この演算処理結果に基づいた制御信号をアクチュエータ４へ出力して、アクチュエータ４を作動させることで車両の挙動を制御する運転支援制御を行う。

ＥＣＵ３の各種処理部の詳細について説明する。ＥＣＵ３は、輝度画像取得部３ａと、視差値算出部３ｂと、近似直線生成部３ｃと、投票重み算出部３ｄと、視差算出点投票部３ｅと、立体物検出部３ｆと、車両制御部３ｉと、を少なくとも備える。ここで、立体物検出部３ｆは、属性付与部３ｇと、三次元位置算出部３ｈ、とを更に備える。

ＥＣＵ３のうち、輝度画像取得部３ａは、ステレオカメラ撮像部１の右カメラ１ａ及び左カメラ１ｂからそれぞれ出力される輝度画像Ｒおよび輝度画像Ｌを取得する。輝度画像取得部３ａは、更に、画像歪補正処理として、右カメラ１ａと左カメラ１ｂのレンズ歪みがなくなるように輝度画像Ｒおよび輝度画像Ｌを補正し、右カメラ１ａと左カメラ１ｂの光軸が平行になるように輝度画像Ｒおよび輝度画像Ｌを補正する処理を行う機能も有する。輝度画像取得部３ａにより取得されかつ歪みを補正された輝度画像Ｒおよび輝度画像Ｌは、視差値算出部３ｂの処理に用いられる。

視差値算出部３ｂは、車両の周囲環境を撮像した、ステレオカメラ撮像部１から得られた複数の輝度画像（例えば、輝度画像Ｒおよび輝度画像Ｌ）に基づいて、当該輝度画像を構成する所定の画素領域ごとに、視差値を算出する。

なお、本実施形態において、所定の画素領域は、単一画素であってもよいし、複数画素のまとまりであってもよい。また、所定の画素領域は、視差を算出する際に、複数の輝度画像間で共通の大きさとなる領域に設定されるものとする。例えば、輝度画像Ｌの画素領域を単一画素とした場合、輝度画像Ｒの画素領域も単一画素となる。また、輝度画像Ｌの画素領域を複数画素のまとまりとした場合、輝度画像Ｒの画素領域も輝度画像Ｌと同じ大きさとなる複数画像のまとまりとなる。例えば、輝度画像Ｌの画素領域を、２×２（ｘ方向に２つの単一画素、ｙ方向に２つの単一画素）の４個の複数画素のまとまりとする場合、輝度画像Ｒの画素領域も２×２の４個の複数画素のまとまりとなる。この他、画素領域は、例えば、３×３の９個の複数画素のまとまりであってもよいし、４×４の１６個の複数画素のまとまりであってもよいし、５×５の２５個の複数画素のまとまりであってもよい。

ＥＣＵ３のうち、視差値算出部３ｂは、当該技術分野で公知の視差算出手法（例えば、エピポーラ線に沿ったブロックマッチング法や、Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ法等）を用いて、視差値を算出する。本実施形態では、後述の連続性・傾き判定部３ｄにより、近似直線の連続性を判定することから、比較的画像の広い領域で滑らかな視差が算出されるＳｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ法を用いることが好ましい。

ここで、視差値算出部３ｂによる視差の算出処理の詳細について説明する。視差値算出部３ｂは、輝度画像取得部３ａにより取得されかつ歪み補正された輝度画像Ｒおよび輝度画像Ｌに基づいて、視差を算出する。本実施形態において、視差値算出部３ｂは、輝度画像Ｌおよび輝度画像Ｒの何れか一方のみをベースとして視差を算出する。言い換えると、視差値算出部３ｂは、輝度画像Ｌおよび輝度画像Ｒの両方に基づいて輝度画像Ｌをベースとして視差を算出するか、又は、輝度画像Ｌおよび輝度画像Ｒの両方に基づいて輝度画像Ｒをベースとして視差を算出する。

具体的には、視差値算出部３ｂは、輝度画像Ｌと輝度画像Ｒの間で対応する画素領域を探索し、探索した対応する画素領域ごとに、対応する画素領域が輝度画像Ｌと輝度画像Ｒの間でどの程度ずれているかを示すズレ量を視差値Ｄ（ｘ，ｙ）として算出する。例えば、視差値算出部３ｂは、輝度画像Ｌをベースとして視差を算出する場合、対応する画素領域間で、輝度画像Ｌから輝度画像Ｒまでのズレ量を視差値Ｄ（ｘ，ｙ）として算出する。なお、輝度画像Ｒをベースとして視差を算出する場合、対応する画素領域間で、輝度画像Ｒから輝度画像Ｌまでのズレ量を視差値Ｄ（ｘ，ｙ）として算出すればよい。更に、視差値算出部３ｂは、算出した視差値Ｄ（ｘ，ｙ）を、輝度画像Ｌ及び輝度画像Ｒのうち一方の輝度画像（すなわち、視差算出のベースとした輝度画像）における画素領域の画素位置情報（ｘ，ｙ）（すなわち、視差値Ｄ（ｘ，ｙ）が算出された視差算出点（ｘ，ｙ））ごとに紐付ける処理を行う。

より具体的には、視差値算出部３ｂは、ステレオカメラ撮像部１によって取得された画像（輝度画像）の輝度値情報に基づいて、当該画像を構成する部分的な画素領域ごとに視差値を算出する過程で以下の処理を行う。視差値算出部３ｂは、当該部分的な画素領域における視差値を暫定的に算出する。そして、視差値算出部３ｂは、当該暫定的に算出された視差値である暫定視差値と、当該部分的な画素領域から所定の画像範囲内に位置する画素領域のうち少なくとも近接位置の画素領域において、当該視差値算出部３ｂによって既に算出された視差値である周辺視差値と、の比較に基づいて当該暫定視差値を補正することによって、当該部分的な画素領域における視差値を算出する。このように算出された視差値は、後述の近似直線生成部３ｃにより近似直線を生成する際等に用いられる。

ＥＣＵ３のうち、近似直線生成部３ｃは、図２の上図に示すように、画像（すなわち、視差を算出した際にベースにした輝度画像Ｌ又は輝度画像Ｒ）を縦方向に画素領域を含むように複数分割した所定の縦列領域（図２において、画像の縦方向に引かれた黒線の領域）を抽出する。ここで、縦列領域は、所定幅を有する画像中の縦列に対応する領域が、画像中で等間隔おきに複数設定されるものとする。画像中で抽出される縦列領域の数は、当該縦列領域の所定幅と画像の幅に応じて決定される。

そして、近似直線生成部３ｃは、図２の下図に示すように、当該縦列領域ごとに、画像の各画素領域の画素位置情報に含まれる縦座標（図２において、ｙ座標）を縦軸に投影し、且つ、当該縦座標に各々対応する視差値を横軸に投影した２次元平面を設定する。ここで、２次元平面は、画像の一方の端（例えば、左端）から他方の端（例えば、右端）に向かう順で、各縦列領域に関して夫々設定される。図２の下図は、画像から複数抽出された縦列領域のうち、一例として、画像中の路面部分と立体物部分（図２において、対向車線を走行する相手車両）と背景部分とを跨ぐように設定された、画像の左端からカウントして２３番目の縦列領域に関する２次元平面を示している。近似直線生成部３ｃは、縦列領域に沿って下から上に向かう順で、当該縦列領域内における画素領域の画素位置情報に含まれる縦座標と、当該縦座標に各々対応する視差値とを抽出しながら、これら縦座標と視差値を２次元平面上にプロットする。

そして、近似直線生成部３ｃは、図２の下図に示すように、当該２次元平面上において、当該技術分野で公知の近似直線手法（例えば、Ｓｐｌｉｔ−ａｎｄ−Ｍｅｒｇｅ手法等）を用いて、投影した縦座標及び視差値に基づいて直線近似を行うことで、投影した縦座標及び視差値からなる近似直線を生成する。近似直線生成部３ｃは、画像の縦列領域ごとに設定された各２次元平面において、プロットされた縦座標及び視差値に対応する点から近似直線を生成する。

ＥＣＵ３のうち、投票重み算出部３ｄは、図２の下図に示すように、２次元平面上において生成された近似直線のうち、縦軸から横軸方向へ向かって所定距離以上離れている近似直線について、その傾きと長さに基づいて、当該近似直線に含まれる視差点が、後述する投票による立体物判定に寄与する重みを決定する。つまり、投票重み算出部３ｄは、２次元平面上において生成された近似直線について、当該近似直線の傾きと長さから投票による立体物判定に寄与する重みを算出する。

ここで、所定距離は、２次元平面上で、背景に対応する近似直線と、立体物及び路面に対応する近似直線とを区別可能な適切な値に設定されるものとする。２次元平面上においては、立体物や背景であれば、画像奥行方向の距離が変わらないので視差値がほぼ一定になる。例えば、図２の下図に示すように、視差値がほぼ一定になる背景と立体物については、縦座標の変化量に対して視差値の変化量が小さくなるため、縦軸に対する近似直線の傾きが両者ともに小さくなる。そのため、背景と立体物とを区別するには、視差値の大きさの違いで判定することになる。一般的に、背景は、実空間座標上で車両から進行方向に向かって遠方側に存在し、一方、立体物は、実空間座標上で少なくとも背景よりも車両寄りの近方側に存在する。そのため、背景に対応する画素領域で算出される視差値は小さくなり、立体物に対応する画素領域で算出される視差値は、背景よりも大きくなる傾向になる。そこで、本実施形態では、２次元平面上において生成された近似直線のうち、縦軸から横軸方向へ向かって所定距離未満の近似直線については、背景に対応すると判定して、近似直線の連続性と傾きの判定対象から除くものとする。

図２の下図に示すように、立体物に相当する領域の近似直線は、横軸に対しての傾きが大きくなる（垂直に近くなる）傾向がある。一方、走行路面は上述の傾きが幾分か小さくなる傾向がある。このため、近似直線の傾きから、ある程度立体物か路面かの当たりをつけることができる。

また、視差誤差の影響が大きい領域では、安定した直線近似ができず、直線がこま切れとなる傾向がある。

上述の傾向を鑑みて、所定の長さ閾値以上の長さを持つ近似直線を判定し、その近似直線の横軸に対する傾きが所定の傾き閾値以上であれば、より立体物らしいと判断して、当該近似直線に含まれる視差点の、投票による立体物判定に寄与する重みを重くする。本実施形態において、例えば重みを２倍とする。また、近似直線の長さが所定の傾き閾値以上の場合に、近似直線の傾きを表す、視差の変化量に対する縦座標の変化量が大きいほど、重みを重くすることが好ましい。

ここで、遠くの立体物ほど画像上では小さく映り、かつ、視差誤差の影響を受けやすいといった一般的な性質も合わせて考慮すると、上述の長さ閾値と傾き閾値は距離によってその値が変わる方が好ましい。

ＥＣＵ３のうち、視差算出点投票部３ｅは、視差値と画像の各画素領域の画素位置情報に含まれる横座標とによって定められたブロックであって、当該ブロックの縦方向の辺が視差値、当該ブロックの横方向の辺が横座標に各々対応し、且つ、当該視差値が大きくなるに従って縦方向の辺及び横方向の辺が長くなるように定められたブロック、を複数配列した視差投票マップを設定する。

ここで、図３を参照して、視差算出点投票部３ｅが視差算出点を投票する際に用いる視差投票マップの詳細について説明する。図３に示すように、視差投票マップは、横方向の辺を画像の横方向（ｘ座標軸方向）の位置に対応させ、かつ縦方向の辺が視差値Ｄ（ｘ，ｙ）の大きさに対応するように定められた複数の矩形状のブロックを配列させて構成されている。各ブロックは、視差値が大きくなるに従って画像の横方向の長さを長くする（すなわち、横座標（図３において、ｘ座標）に対応する辺の長さを長くする）と共に、視差値が大きくなるに従って視差値の解像度を大きくする（すなわち、視差値に対応する辺の長さを長くする）ことにより、視差値が大きくなるに従ってブロックの領域が大きくなるように定められている。

本実施形態では、視差投票マップは平面１〜平面５の複数の領域の分割されており、複数の領域の各々は、所定の視差幅に対応するように定められている。実施形態では、視差値を８ビットで表した場合、平面１が視差値０〜１５、平面２が視差値１６〜３１、平面３が視差値３２〜６３、平面４が視差値６４〜１２７、平面５が視差１２８〜２５５に対応するように定められている。

また、平面１の各ブロックの大きさは横方向をＮ画素、縦方向（視差方向）を１画素の大きさ、平面２の各ブロックの大きさは横方向を２Ｎ画素、縦方向（視差方向）を２画素の大きさ、平面３の各ブロックの大きさは横方向を４Ｎ画素、縦方向（視差方向）を４画素の大きさ、平面４の各ブロックの大きさは横方向を８Ｎ画素、縦方向（視差方向）を８画素の大きさ、平面５の各ブロックの大きさは横方向を１６Ｎ画素、縦方向（視差方向）を１６画素の大きさになるように定められ、各平面のブロックは格子状に配列されている。なお、Ｎは、任意の整数である。Ｎは、例えば１とすることもでき、４とすることもできる。

そして、視差算出点投票部３ｅは、図３に示したような視差投票マップの各々のブロックに対して、投票重み算出部３ｄにより算出された重みを反映して視差算出点を投票する。具体的には、視差算出点投票部３ｅは、２次元平面上に含まれる近似直線上の視差値について、通常“１”としてカウントされる投票に対して、投票重み算出部３ｄにより算出された重みを乗算して、視差投票マップ上の対応するブロックに投票する。なお、２次元平面は、画像の縦列領域ごとに設定されるため、視差算出点投票部３ｅは、全ての２次元平面上の視差点について、投票重み算出部３により算出された重みを反映して、視差投票マップ上の対応するブロックに投票する。

ＥＣＵ３のうち、立体物検出部３ｆは、視差投票マップにおいて、視差算出点の投票数が所定の閾値以上のブロックの情報に基づいて立体物を検出する。ここで、立体物検出部３ｆは、属性付与部３ｇと三次元位置算出部３ｈを含んで構成される。

属性付与部３ｇは、視差投票マップにおいて、視差算出点の投票数が所定の閾値以上のブロックに立体物の属性を付与する。具体的には、属性付与部３ｇは、視差算出点の投票数が平面毎に設定された所定の閾値以上か否かをブロックごとに判定することで、所定の閾値以上のブロックに立体物については、立体物の属性を付与する。また、属性付与部３ｇは、所定の閾値未満のブロックについては、路面の属性を付与する。ここで、距離が近いほど、左右画像の対応を取ることができ、視差算出点の個数が多くなるので、所定の閾値は、平面１から平面５に向かって徐々に大きくなるように設定される。また、所定の閾値は、平面１〜５毎に、予め実験等により路面と立体物とを区別可能であると確かめられた適切な値に設定されるものとする。

三次元位置算出部３ｈは、立体物の属性が付与されたブロックの横座標、投票されている視差の平均値、投票される視差点の画像縦方向のばらつきから、車両の存在する三次元実空間中で、どの位置にどの程度の高さの立体物が存在するかを算出する。

ＥＣＵ３のうち、車両制御部３ｉは、立体物検出部３ｆにより検出された立体物を車両が回避するように車両挙動を制御する運転支援制御を行う。車両制御部３ｉは、例えば、車両運動量検出装置２から取得した運動情報（車両の車速、ヨーレート、加速度）、車両が走行可能な領域を示す各種情報、及び、回避対象となる立体物の位置などに基づいて、車両が立体物を回避可能な走行軌跡や走行速度等を演算する。そして、車両制御部３ｉは、この演算処理結果に基づいた制御信号をアクチュエータ４へ出力して、アクチュエータ４を作動させることで回避制御を実行する。車両制御部３ｉは、回避制御として、例えば、ＥＰＳ等のアクチュエータ４を介して車両の操舵輪の舵角を制御することで、車両が立体物を回避するように操舵支援を実行する。車両制御部３ｉは、立体物をより確実に回避できるように、回避制御として、操舵支援にブレーキ支援を組み合わせて実行してもよい。このようにして、車両制御部３ｉは、立体物の位置への車両の移動を回避する回避制御手段として機能する。

続いて、上述のように構成される立体物検出装置の処理により実行される立体物検出方法について、図４を参照して説明する。ここで、図４は、実施形態に係る立体物検出装置の基本処理の一例を示すフローチャートである。

図４に示すように、輝度画像取得部３ａは、ステレオカメラ撮像部１の右カメラ１ａ及び左カメラ１ｂからそれぞれ出力される輝度画像Ｒおよび輝度画像Ｌを取得する（ステップＳ１０）。

そして、視差値算出部３ｂは、ステップＳ１０にて輝度画像取得部３ａの処理により取得された複数の輝度画像（例えば、輝度画像Ｒおよび輝度画像Ｌ）の輝度値情報に基づいて、当該輝度画像を構成する所定の画素領域ごとに、視差値を算出する（ステップＳ２０）。

そして、近似直線生成部３ｃは、上述の図２に示すように、２次元平面上において、画像（すなわち、ステップＳ１０にて輝度画像取得部３ａの処理により取得された輝度画像Ｒおよび輝度画像Ｌのうち、ステップＳ２０にて視差値算出部３ｂの処理により視差値の算出のベースとされた画像）を縦方向に画素領域を含むように複数分割した所定の縦列領域を抽出する。そして、近似直線生成部３ｃは、当該縦列領域ごとに、画像の各画素領域の画素位置情報に含まれる縦座標を縦軸に投影し、且つ、ステップＳ２０にて視差値算出部３ｂの処理により算出した当該縦座標に各々対応する視差値を横軸に投影した２次元平面を設定する。そして、近似直線生成部３ｃは、当該２次元平面上において、投影した縦座標及び視差値に基づいて直線近似を行うことで、投影した縦座標及び視差値からなる近似直線を生成する（ステップＳ３０）。

そして、投票重み算出部３ｄは、上述の図２に示すように、ステップＳ３０にて近似直線生成部３ｃの処理により２次元平面上において生成された近似直線のうち、縦軸から横軸方向へ向かって所定距離以上離れている近似直線について、その長さと傾きに基づいて、当該近似直線に含まれる視差点が、後述する投票による立体物判定に寄与する重みを算出する（ステップＳ４０）。

そして、視差算出点投票部３ｅは、上述の図３に示すように、視差値と画像の各画素領域の画素位置情報に含まれる横座標とによって定められたブロックであって、当該ブロックの縦方向の辺が視差値、当該ブロックの横方向の辺が横座標に各々対応し、且つ、当該視差値が大きくなるに従って縦方向の辺及び横方向の辺が長くなるように定められたブロック、を複数配列した視差投票マップを設定する。そして、視差算出点投票部３ｅは、視差投票マップの対象のブロックに対して、ステップＳ４０にて投票重み算出部３ｄにより算出された重みを反映して視差算出点を投票する（ステップＳ５０）。

そして、属性付与部３ｇは、ステップＳ５０にて視差算出点投票部３ｅの処理により視差算出点が投票された視差投票マップにおいて、対象のブロックの視差算出点の投票数が所定の閾値以上か否かを判定する（ステップＳ６０）。

ここで、ステップＳ６０において、属性付与部３ｇは、対象のブロックの視差算出点の投票数が所定の閾値以上であると判定した場合（ステップＳ６０：Ｙｅｓ）、この対象のブロックに対して立体物の属性を付与する（ステップＳ７０）。その後、ステップＳ９０の処理へ移行する。

一方、ステップＳ６０において、属性付与部３ｇは、対象のブロックの視差算出点の投票数が所定の閾値未満であると判定した場合（ステップＳ６０：Ｎｏ）、この対象のブロックに対して路面の属性を付与する（ステップＳ８０）。その後、ステップＳ９０の処理へ移行する。

ステップＳ７０及びステップＳ８０の処理の後、属性付与部３ｇは、ステップＳ５０にて視差算出点投票部３ｅの処理により視差算出点が投票された視差投票マップの全てのブロックについて、属性付与処理が終了したか否かを判定する（ステップＳ９０）。

ここで、ステップＳ９０において、属性付与部３ｇは、視差投票マップの全てのブロックについて、属性付与処理が終了していないと判定した場合（ステップＳ９０：Ｎｏ）、ステップＳ６０の処理に戻り、属性付与処理を終えたブロックの次のブロックを対象のブロックとして設定して、再度ステップＳ６０の判定結果に基づいてステップＳ７０の処理又はステップＳ８０の処理を行う。

一方、ステップＳ９０において、属性付与部３ｇは、視差投票マップの全てのブロックについて、属性付与処理が終了したと判定した場合（ステップＳ９０：Ｙｅｓ）、次のステップＳ１００の処理へ移行する。

そして、三次元位置算出部３ｈは、ステップＳ７０にて属性付与部３ｇの処理によって立体物の属性が付与されたブロックの横座標、投票されている視差の平均値、投票される視差点の画像縦方向のばらつきから、車両の存在する三次元実空間中で、どの位置にどの程度の高さの立体物が存在するかを算出する（ステップＳ１００）。その後、本処理を終了する。

なお、本実施形態において、ステップＳ１００の処理の後に、ＥＣＵ３は、ステップＳ８０にて属性付与部３ｇの処理によって路面の属性が付与されたブロックに対応する画像の画素領域に基づいて路面を検出してもよい。具体的には、ＥＣＵ３は、属性付与部３ｇの処理によって路面の属性が付与されたブロックに投票された視差算出点が示す画像の画素領域の画素位置情報を集計し、当該集計された画素位置情報に対応する画素領域については、画像中で路面が存在する領域であると判定することで、路面を検出する。

また、本実施形態において、ステップＳ１００の処理の後に、車両制御部３ｉは、立体物検出部３ｆの処理により検出された立体物を車両が回避するように車両挙動を制御する運転支援制御を行ってもよい。この場合、車両制御部３ｉは、例えば、車両運動量検出装置２から取得した運動情報（車両の車速、ヨーレート、加速度）、車両が走行可能な領域を示す各種情報、及び、回避対象となる立体物の位置などに基づいて、車両が立体物を回避可能な走行軌跡や走行速度等を演算する。そして、車両制御部３ｉは、この演算処理結果に基づいた制御信号をアクチュエータ４へ出力して、アクチュエータ４を作動させることで回避制御を実行する。車両制御部３ｉは、回避制御として、例えば、ＥＰＳ等のアクチュエータ４を介して車両の操舵輪の舵角を制御することで、車両が立体物を回避するように操舵支援を実行する。車両制御部３ｉは、立体物をより確実に回避できるように、回避制御として、操舵支援にブレーキ支援を組み合わせて実行してもよい。

以上説明したように、本実施形態の立体物検出装置によれば、立体物と路面とを良好に区別可能な状態を維持しつつ、高さの低い立体物についても立体物として検出され易くなるようにすることができる。これにより、高さの低い立体物の検出精度を向上させることができ、従来技術よりも、より好適に立体物を検出できる。

１ ステレオカメラ撮像部
１ａ 右カメラ
１ｂ 左カメラ
２ 車両運動量検出装置
２ａ 車速センサ
２ｂ ヨーレートセンサ
２ｃ 加速度センサ
３ ＥＣＵ
３ａ 輝度画像取得部
３ｂ 視差値算出部
３ｃ 近似直線生成部
３ｄ 投票重み算出部
３ｅ 視差算出点投票部
３ｆ 立体物検出部
３ｇ 属性付与部
３ｈ 三次元位置算出部
３ｉ 車両制御部
４ アクチュエータ

Claims (1)

1. ステレオカメラ撮像部と、
   前記ステレオカメラ撮像部によって取得された画像に基づいて、当該画像を構成する所定の画素領域ごとに視差値を算出する視差値算出部と、
   前記画像を縦方向に前記画素領域を含むように複数分割した所定の縦列領域を抽出し、当該縦列領域ごとに、前記画像の各画素領域の画素位置情報に含まれる縦座標を縦軸に投影し、且つ、当該縦座標に各々対応する前記視差値を横軸に投影した２次元平面を設定し、当該２次元平面上において、投影した前記縦座標及び前記視差値に基づいて直線近似を行うことで、投影した前記縦座標及び前記視差値からなる近似直線を生成する近似直線生成部と、
   前記２次元平面上において生成された前記近似直線について、当該近似直線の傾きと長さから投票による立体物判定に寄与する重みを算出する投票重み算出部と、
   前記視差値と前記画像の各画素領域の画素位置情報に含まれる横座標とによって定められたブロックを複数配列した視差投票マップを設定し、当該視差投票マップの各々のブロックに対して、視差算出点を、前記投票重み算出部で算出した前記重みを反映して投票する視差算出点投票部と、
   前記視差投票マップにおいて、前記視差算出点の投票数が所定の閾値以上のブロックの情報に基づいて立体物を検出する立体物検出部と、
   を備えることを特徴とする立体物検出装置。

Images