JP6072508B2 - 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両 - Google Patents

Description

本発明は、路面をステレオカメラで撮像した複数の画像データから路面の段差を検出する路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両に関する。

最近では、自動車に搭載したカメラ等により車外の対象風景を撮像し、この撮像した画像を画像処理して自動車から対象物までの距離を求め、前方の車両やガードレールなどとの衝突の危険を予測して、車両にブレーキをかけるなどの制御を行う方法が実用化されている。

このような画像による距離計測技術は、単眼視像からカメラ位置との関係を用いて対象物までの距離を推定する技術と、複数のカメラにより撮像したステレオ画像から、三角測量の原理で対象物までの距離を求める技術とに大別される。このうち、ステレオ画像から三角測量の原理で距離を求める技術は、左右の画像における同一物体の位置の相対的なずれから距離を求めるので、正確な距離を求めることができる。

例えば、特許文献１は、複数のカメラにより入力された画像を蓄積する画像蓄積部と、道路面上に存在する複数の白線を抽出する特徴抽出部と、抽出された白線から道路面上の任意の点の各画像への投影位置の間に成り立つ関係式を求めるパラメータ計算部と、関係式を用いて道路面からの高さを有する物体を検出する検出部から構成される障害物検出装置を開示している。

特許文献１の障害物検出装置によれば、道路面の傾斜の変化がある状況でも、２本の白線の動きから道路面を認識して、道路面上に存在する障害物を高速・高精度で検出することができる。

特開２００１−７６１２８号公報

しかしながら、特許文献１の障害物検出装置は、車線のような白線を抽出して道路面を認識するため、例えば、シニアカーや電動車椅子等のように、車線の無い路面を走行する車両に適用した場合は、路面を正しく認識できず、障害物を検出することが困難となる問題があった。

また、特許文献１の障害物検出装置のように、障害物までの距離を三角測量の視差により測定する場合、図１２に示すように、路面上の立体物と路面の凹部を一緒に撮像した画像では、立体物は正面が写るので左右の画像で同じ形状となり視差を求められるが、路面と平行な凸部の上面や凹部の底面などは、画像の奥行き方向で歪みが生じて視差を求めることが難しくなるため、立体物と同様の測定方法では凸部の上面や凹部の底面までの距離を正確に測定することができないという問題があった。

本発明は、このような課題に鑑みてなされたものであり、路面と平行な凹部などの段差を正確に検出することができる路面段差検出方法を提供する。

上記課題を解決するため、本発明の路面段差検出方法は、路面をステレオ撮影した少なくとも第１の画像と第２の画像とをＸＹ平面座標に投影し、特定のＹ軸方向で画像の行データ毎に画像が路面位置にある場合の視差を算出し、第２の画像をＹ軸毎に視差をずらして補正した第３の画像を生成し、第１の画像と第３の画像を段差の検出領域毎に比較して路面からの高さを検出することを特徴とする。

また、複数の検出領域の高さから、近傍する検出領域の間で高さの高低差を求めて、高低差が閾値以上であれば検出領域間に段差があると判定することを特徴とする。

また、複数の検出領域の高さから、近傍する検出領域の間で高さの高低差を求めて、複数の検出領域間で高低差が連続して変化する場合に検出領域間に傾斜があると判定することを特徴とする。

本発明の路面段差検出装置は、路面の少なくとも第１の画像と第２の画像をステレオ撮影するステレオカメラと、ステレオ撮影した第１の画像と第２の画像とをＸＹ平面座標に投影し、特定のＹ軸方向で前記画像の行データ毎に画像が路面位置にある場合の視差を算出し、第２の画像をＹ軸毎に視差をずらして補正した第３の画像を生成し、第１の画像と第３の画像を段差の検出領域毎に比較して路面からの高さを検出する高さ検出部とを備えることを特徴とする。

また、本発明の車両は、上記の路面段差検出装置を備えたことを特徴とする。

本発明によると、ステレオカメラで撮像した画像を用いて、画像中の路面の各領域から段差を容易に検出することができる。

路面段差検出装置の構成図である。 ステレオカメラの配置図である。 スレテオカメラで撮像した画像である。 ステレオ画像の補正方法を示す図である。 演算部における高さ検出処理のフローチャートである。 距離算出方法を示す説明図である。 視差算出方法を示す説明図である。 視差算出方法を示す説明図である。 路面高さ算出方法示す説明図である。 路面高さ算出結果の一例である。 路面段差検出装置を備えた車両であるシニアカーである。 ステレオ画像の歪みを示す図である。

本発明の実施の一形態について、図面を用いて説明する。

図１は、本発明の路面段差検出装置１の構成を表す。本発明の路面段差検出装置１は、ステレオ画像を撮像する２つのカメラ１１、１２と、ステレオ画像を演算するための演算部２０とを備える。また、演算部２０は、ステレオ画像の段差を検出したい領域の高さを算出する高さ検出部３０と、検出領域毎の高さから検出領域間の段差の有無を判断する段差検出部４０とから構成されている。さらに、必要に応じて段差の有無を操作者へ通知するための音声スピーカや表示装置などの出力装置５０を備える。

図２（ａ）は、ステレオカメラの配置を示す上面図であり、図２（ｂ）は、ステレオカメラの取り付け位置を示す側面図である。２つのカメラ１１、１２は同一仕様であり、図２（ａ）に示すように所定の水平画角を有し、例えば、シニアカーや電動車椅子の車両の前方部において、左右に所定の間隔ｇを隔てて設置される。また、図２（ｂ）に示すように、カメラ１１、１２は、路面から所定の高さｈｃに設置され、所定の垂直画角と俯角を有し、レンズの光軸が路面側を撮像するように下向きに固定されている。

カメラ１１、１２の水平画角と垂直画角は、大きすぎると撮像される路面の段差が小さくなって段差の検出精度が低下し、逆に小さすぎると段差の検出範囲が狭くなるため、使用条件に合わせて適切に設定する必要がある。また、俯角は、路面の写る割合が多くなるように設定することが好ましい。カメラ１１、１２の取り付け高さｈｃは、小さな段差から大きな段差まで検出可能な範囲を広げるため、なるべく高い位置に設置することが好ましい。

カメラ１１、１２の仕様と配置は、例えば、３５ｍｍ判用レンズに相当する水平画角と垂直画角を有し、取り付け間隔ｇが１５〜２５ｃｍ、取り付け高さｈｃが６０〜８０ｃｍであり、１０〜２５°の俯角で固定されている。本実施形態の以降の説明において、水平画角と垂直画角の半分の角度をそれぞれθ１、θ２とし、俯角をθ３とする。また、図２に示すように、カメラ１１、１２を左右に設置した実施形態について説明するが、上下や斜め方向に設置することも可能であり、上下や斜めに設置する場合であっても基本的な検出方法は同じである。

図３は、ステレオカメラ各々２枚の画像であり、歩道を含む路面が撮像されている。図３（ａ）は左側のカメラ１１で撮像した第１の画像であり、図３（ｂ）は右側のカメラ１２で撮像した第２の画像である。また、図３（ｃ）は、第１の画像と第２の画像を重ねて、歩道と路面の境界線だけを抽出したものである。図３（ｃ）に示すように、左の画像と右の画像において境界線がずれた位置に撮像されている。

この左右方向のずれ量が視差であり、本発明の路面段差検出装置は、このような視差ｖ１を抽出して路面からの段差の高さや低さを検出するものであるが、図１１に示したように、路面に平行な凹部の底面等は立体物と異なって歪んで撮像されているため、このひずみを補正した第３の画像を用いて路面からの高さを検出するものである。

図４は、画像の歪みの補正を説明するための図であり、（ａ）は第１の画像、（ｂ）は第２の画像、（ｃ）は補正後の第３の画像を示している。図４に示すように、本発明の路面段差検出方法は、ステレオカメラで路面を異なる方向から見た第１の画像と第２の画像を撮影した後、第１の画像と第２の画像において、図４の破線に示すように、同じＹ座標における画素値を集めた行データ同士を比較し、行データ中の対象物が路面にあると仮定したときの視差ｖ１をＹ軸方向の座標値とカメラ情報から算出する。Ｙ軸全ての視差ｖ１を算出した後、図４（ｃ）に示すように、第２の画像でＹ軸方向にそれぞれの視差ｖ１ずつ補正した第３の画像を生成する。そして、補正した第３の画像と第１の画像を検出領域毎に比較し、第３の画像と第１の画像とのずれ量ｖ２により検出領域の路面からの高さを検出する。

図５は、本発明の路面段差検出装置１の演算部２０における高さ検出処理のフローチャートである。演算部２０は、まず、ステップ１からステップ３の処理により、行データ毎に視差ｖ１を求める。

視差ｖ１を求めるには、まず、カメラから画像の焦点面までの距離ｄ１を算出する必要がある。図６は、距離の算出方法を示す説明図である。図６（ａ）は、第１の画像を、座標の中心（０、０）を原点Ｐとする縦が±ｗピクセル、横が±ｈピクセルである座標空間１３に変換し、行データのある座標点（Ｘ、Ｙ）を座標空間１３に示したものである。また、図６（ｂ）は、カメラ１１、１２の焦点面Ａ１とカメラの位置情報を示した側面図である。

ステップ１では、座標空間１３において、段差を検出する任意の検出領域の座標点（Ｘ、Ｙ）を含む行データを選択する。座標空間１３は、図６（ｂ）に示すカメラ１１の光軸に垂直な面である焦点面に相当する。カメラ１１、１２のレンズの歪みがない場合、焦点面上にあるものは全て同じ視差になるため、座標空間１３にある座標点（Ｘ、Ｙ）と原点Ｐも同じ視差となる。

ステップ２では、座標点（Ｘ、Ｙ）が路面にあると仮定したときのカメラから焦点面Ａ１の原点Ｐまでの距離ｄ１を求める。ここで座標点（Ｘ、Ｙ）を基点として距離ｄ１を算出すると複雑になるので、焦点面にある座標点が全て同じ視差となることを利用して、座標点（Ｘ、Ｙ）と同じ焦点面Ａ１にある座標点Ｑ（０、Ｙ）を基点にして、焦点面Ａ１の原点Ｐまでの距離ｄ１を算出する。

図７は、視差の算出方法を示す説明図である。図７（ａ）は、カメラ１１の側面図であり、カメラ１１から座標点Ｑを見たときの下向きの角度θｙを示す。カメラ１１の垂直画角の半分をθ２とすると、図６（ａ）の座標点Ｑの高さがＹであるから、θｙは下記の式１で求めることができる。

θｙ＝ａｒｃｔａｎ（ｔａｎθ２×Ｙ／ｈ) （式１）
また、図６(ｂ)のように、カメラの取り付け高さをｈｃとして、カメラが俯角θ３で下向きに取付けられている場合、カメラ１１から座標点Ｑまでの距離ｄ１´は、
ｄ１´＝ｈｃ／ｓｉｎ（θ３＋θｙ） （式２）
より求めることができる。

したがって、カメラ１１から焦点面Ａ１の原点Ｐまでの距離ｄ１は、
ｄ１＝ｄ１´×ｃｏｓ（θｙ） （式３）
より求めることができる。

次に、ステップ３では、焦点面Ａ１に路面があるとしたきの第１の画像と第２の画像との視差ｖ１を求める。歪みのないレンズの場合、焦点面Ａ１上にある点は全て同じ視差になると考えられるので、上記（式３）で求めた距離d１を使って視差ｖ１を求めればよい。なお、距離d１は、レンズの歪みなどによって、他の値を用いたり、補正が必要となる場合もある。

図７（ｂ）は、左右のカメラ１１、１２の上面図である。図７（ｂ）のように、左のカメラ１１の焦点面Ａ１に位置する原点Ｐは、右のカメラ１２では中央から角度θｘの方向に見える。このθｘは、左右のカメラ間隔をｇとすると、以下の式で求められる。

θｘ＝ａｒｃｔａｎ（ｇ／ｄ１） （式４）
このとき、原点Pは、左側の第１の画像では図８（ａ）のように原点（０、０）の座標に見え、右側の第２の画像では図８（ｂ）のように、視差のピクセル数をｖ１としたとき、（−ｖ１、０）の地点に見える。ｖ１は、図６（ａ）のように、カメラの水平画角の半分をθ１としたとき、以下の式で求められる。

ｖ１＝ｗ・ｔａｎθｘ／ｔａｎθ１ （式５）
視差のピクセル数ｖ１は点Pと点（Ｘ、Ｙ）で同一であるので、右画像では（Ｘｒ、Ｙ）の位置に見えることになる。
ここで、
Ｘｒ＝Ｘ−ｖ１ （式６）
である。

次に、ステップ４では、行データ毎に路面があるとしたきの第１の画像と第２の画像との視差ｖ１を求めた後、第２の画像を図４（ｃ）に示すように補正する。補正方法は、第２の画像のそれぞれの行データをＹ座標に応じた視差ｖ１ピクセルずつＸ座標方向に移動させる。視差ｖ１が小数の場合は近傍の２点で補完する。例えば、ｖ１が５．５の場合、左から５ピクセル目と６ピクセル目の合計の半分を０ピクセル目の位置に書き込むことで補正を行う。

第２の画像をＹ座標全体にわたって行データを視差ｖ１で補正することにより、図４（ｃ）に示す第３の画像が得られる。これにより、補正後の第３の画像の対象物は、第１の画像と同じ形状となる。

ステップ５では、第１の画像の（Ｘ、Ｙ）の座標に写っている対象物が路面と同じ高さにあるかどうかを判断する。ここでは、第１の画像の（Ｘ、Ｙ）を中心とする検出領域と第３の画像の（Ｘ、Ｙ）を中心とする比較領域を比較し、対象物が検出領域と比較領域
の同一の位置に写っているかで判断することができる。

同一物体かどうかの確認方法は様々な方法があるが、例えば、左右画像の対象点の周辺数ピクセル分の輝度を取り出して比較することができる。両者がカメラのノイズなどの誤差要因の範囲内で一致すれば、その地点は路面と同じ高さであると判断することができる。もし、両者が一致せず、左右どちらかにずれていると判断される場合には、そのずれ量に応じて、路面より高い位置か、低い位置にあると判断することができる。

例えば、左側の第１の画像の（Ｘ、Ｙ）の位置にある物体が、右側の第２の画像で（Ｘｒ−ｖ２、Ｙ）の座標にあると判断された場合、物体までの実際の距離をｄ２とすると、（式４）及び（式５）より、
ｖ１＝（ｗ×ｇ）／（ｄ１×ｔａｎθ１）
ｖ１＋ｖ２＝（ｗ×ｇ）／（ｄ２×ｔａｎθ１）
ｖ１を消すと、
ｄ２＝（ｄ×ｗ×ｇ）／（ｗ×ｇ＋ｖ２×ｔａｎθ１) （式７）
図９に示すように、路面にある物体の高さｈｓは、
ｈｓ＝ｈｃ×（ｄ１−ｄ２)／ｄ１ （式８）
となり、これにより路面の段差の高さｈｓがわかる。すなわち、物体の視差ｖ２が正（路面の視差ｖ１よりも大きい）の場合は、図９（ａ）のように物体までの距離ｄ２が路面までの距離ｄ１より小さくなり、ｈｓが正の値となって路面より高いと判断できる。逆にｖ２が負（路面の視差ｖ１よりも小さい）の場合は、図９（ｂ）のように物体までの距離ｄ２が路面までの距離ｄ１より大きくなり、ｈｓは負の値となって、路面より低いと判断できる。このようにして、第１の画像中の座標点（Ｘ、Ｙ）の路面からの高低差がわかる。

ステップ６では、上記手順を適切な間隔をもって他の座標点でも繰り返し、画像中の必要な範囲で路面からの高さの検出を完了したら終了する。

図５に示したフローチャートの詳細は以上であり、これらの処理は図１に示した演算部２０で処理される。具体的にはＰＣやマイコン上でソフトウェアとして実現してもよいし、ＦＰＧＡやＡＳＩＣを用いてハードウェアとして実現してもよい。部分的にハードウェアで残りをソフトウェアで処理する構成も可能である。

図１０は、図３のステレオ画像に対して、上記の方法を適用した結果の一例である。検出領域毎の高さに応じて諧調表示されており、路面と同じ高さの領域がグレーで、路面より低い領域が黒く表示されている。

次に、演算部２０の段差検出部４０を説明する。図１０のような高さ検出部３０の検出結果において、上下・左右に隣り合う検出領域間で路面からの高さを比較し、例えば、閾値を５ｃｍとして、それ以上の高低差があれば段差であると判断する。段差と判断する高低差の閾値は、例えば、シニアカーや車椅子が落ちても安全性を確保できるように設定されている。一例として、図１０の検出結果では、段差と判断した境界を破線部で示している。

また、隣り合う検出領域の高低差が小さく路面であると想定される場合、検出領域間の距離と高低差とから、路面の傾斜角度を求めることも可能である。これにより、路面が上り坂や下り坂、または左右へ傾斜している場合には、安全性を確保できる傾斜か判断することができる。

図１１は、本発明の路面段差検出装置１を備えた車両の一例として、シニアカー６０の適用例を示す。路面段差検出装置１は、シニアカー６０のハンドル６１の前方に路面から高さｈｃで備え付けられている。路面段差検出装置１は、シニアカー６０の運転者に段差検出結果を報知するため、スピーカ３１や表示装置３２などの出力装置３０を備えている。路面段差検出装置１により段差が検出された場合、スピーカ５３からブザー音や音声案内を出力したり、表示装置５４に文字や図形を表示するなどして、路面に段差の存在を知らせることにより、シニアカー６０の落輪や転倒などの危険を回避することができる。

また、本発明の段差検出装置１は、シニアカー６０の前方だけでなく、後方に備え付けてもよい。これにより、視界の悪い後退時にも落輪などの危険回避を図ることができる。また、本発明の段差検出装置１の用途は、シニアカー６０に限定されるものではなく、路面の段差を検出することが必要される車両、例えば、車椅子からフォークリフトに至る様々な車両で好適に用いることが可能である。

例えば、車椅子では、本発明の段差検出装置１を前後や左右に備えることにより、その場で方向転換するような場合であっても、車椅子周辺の段差で落輪したり転倒したりする危険を防止することができる。また、フォークリフトでは、荷物運搬中に前方の視界が塞がれることがあっても、路面に置かれた背の低い荷物を段差として検出し、衝突を回避することが可能である。

１１、１２ カメラ
２０ 演算部
３０ 高さ検出部
４０ 段差検出
５０ 出力装置

Claims (5)

1. 路面をステレオ撮影した少なくとも第１の画像と第２の画像とをＸＹ平面座標に投影し、
   特定のＹ軸方向で前記画像の行データ毎に画像が路面位置にある場合の視差を算出し、
   前記第２の画像をＹ軸毎に前記視差をずらして補正した第３の画像を生成し、
   前記第１の画像と前記第３の画像を段差の検出領域毎に比較して前記路面からの高さを検出する
   ことを特徴とする路面段差検出方法。
2. 複数の前記検出領域の高さから、近傍する前記検出領域の間で前記高さの高低差を求めて、
   前記高低差が閾値以上であれば前記検出領域間に段差があると判定することを特徴とする請求項１に記載の路面段差検出方法。
3. 複数の前記検出領域の高さから、近傍する前記検出領域の間で前記高さの高低差を求めて、
   複数の前記検出領域間で前記高低差が連続して変化する場合に前記検出領域間に傾斜があると判定することを特徴とする請求項１に記載の路面段差検出方法。
4. 路面の少なくとも第１の画像と第２の画像をステレオ撮影するステレオカメラと、
   ステレオ撮影した第１の画像と第２の画像とをＸＹ平面座標に投影し、特定のＹ軸方向で前記画像の行データ毎に画像が路面位置にある場合の視差を算出し、前記第２の画像をＹ軸毎に前記視差をずらして補正した第３の画像を生成し、前記第１の画像と前記第３の画像を段差の検出領域毎に比較して前記路面からの高さを検出する高さ検出部と
   を備えることを特徴とする路面段差検出装置。
5. 請求項４に記載の路面段差検出装置を備えたことを特徴とする車両。