JP6287683B2 - 道路曲率検出装置 - Google Patents

Description

本発明は、道路曲率検出装置に関する。

従来、車両の前方に存在するカーブ路の曲率を取得する装置が知られている（例えば、特許文献１）。特許文献１に記載の装置では、カーブ路に沿って設置されたガードレールを一対のイメージセンサにより撮像して一対の画像を取得し、一方の画像中にガードレールを含む複数のウインドウを設定する。次いで、他方の画像から当該複数のウインドウ内の画像と最も整合する領域をそれぞれ探索し、当該領域内の画像と当該ウインドウ内の画像とのずれから車両からガードレールまでの距離をウインドウ毎に算出する。そして、このウインドウに対応する位置毎の車両からガードレールまでの距離に基づいて曲路の曲率を算出している。

特開平４−２６２４９８号公報

上記のように、特許文献１に記載の装置では、一方の画像内のウインドウの画像領域と最も整合する領域を他方の画像から探索する（マッチングさせる）必要がある。しかし、ガードレールには特徴形状が少ないので、探索精度（マッチング精度）を確保することが難しい。このため、特許文献１に記載の装置では、道路の曲率を精度よく算出することが困難なことがある。

このため、当技術分野においては、道路の曲率を精度よく算出することが求められている。

本発明の一側面に係る道路曲率検出装置では、車両の前方を撮像する撮像部と、撮像部によって撮像された画像から、車両の前方のカーブ路の路側物に対して形成され、カーブ路に沿って並ぶと共に、互いに同一形状且つ同一の大きさである第１のカーブマーカー及び第２のカーブマーカーを抽出する抽出部と、撮像部によって撮像された画像から、画像の消失点を探索する消失点探索部と、画像内における消失点から第１のカーブマーカーまでの画素間距離、画像内における消失点から第２のカーブマーカーまでの画素間距離、及び画像内における第１のカーブマーカーに対する第２のカーブマーカーの形状変化率に基づいて、道路の曲率を算出する曲率算出部と、を備える。

本発明の一側面によれば、道路の曲率を精度よく算出することができる。

一実施形態に係る道路曲率検出装置の機能構成を示すブロック図である。 一実施形態に係る道路曲率検出装置の動作を示すフローチャートである。 撮像部によって撮像された画像の例である。 （ａ）は図３に示す画像からエッジ成分を抽出した例であり、（ｂ）はエッジ抽出の重み付けについて説明する図である。 撮像部によって撮像された画像の別の例である。 各記号の対応関係を模式的に示す図である。 カーブマーカーの方位方向及び角度方向について説明する図である。 各記号の対応関係を模式的に示す図である。

以下、図面を参照して種々の実施形態について詳細に説明する。なお、各図面において同一又は相当する部分に対しては同一の符号を附すこととする。

図１は、一実施形態に係る道路曲率検出装置の機能構成を示すブロック図である。図１に示す道路曲率検出装置１は、車両に搭載され、車両前方の道路（カーブ路）の曲率を検出する装置である。

道路曲率検出装置１は、撮像部１２、車速センサ１４、道路曲率検出ＥＣＵ１６、及び車両制御ＥＣＵ２４を備えている。撮像部１２は、車両に搭載され、車両の前方を撮像する装置である。撮像部１２は、例えばＣ−ＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charged Coupled Device）などの撮像素子を主要部品として構成されるカメラである。撮像部１２は、ステレオカメラであってもよい。撮像部１２は、撮像した画像を道路曲率検出ＥＣＵ１６に出力する。

車速センサ１４は、車両の車速を検出する装置である。車速センサ１４は、例えば車両の車輪に設けられ、車輪の回転速度を検出する車輪速センサであり得る。車速センサ１４は、検出された車両の速度に関する情報を道路曲率検出ＥＣＵ１６に出力する。

道路曲率検出ＥＣＵ１６は、道路曲率検出装置１を統括的に制御する電子制御用のコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）などを備えて構成されている。道路曲率検出ＥＣＵ１６は、カーブ路の路側物に所定間隔で形成された複数のカーブマーカーを利用して、カーブ路の曲率を検出する。路側物とは、道路に沿って道路の側方に設けられた構造物であり、側壁、ガードレール、所定間隔で配置された道路標識等が例示される。カーブマーカーは、例えば、カーブ路に沿って並んで設置することにより、運転者にカーブの曲がり具合等を認識しやすくするものである。複数のカーブマーカーは、互いに同一形状且つ同一の大きさである。本実施形態において、カーブマーカーは少なくとも二つ並んで設けられていればよい。

道路曲率検出ＥＣＵ１６は、消失点探索部１８、抽出部２０及び曲率算出部２２を備えている。消失点探索部１８は、撮像部１２によって撮像された画像から消失点を探索する機能要素である。消失点については、後述する。抽出部２０は、撮像部１２によって撮像された画像から、複数のカーブマーカーのうち、第１のカーブマーカー及び第２のカーブマーカーを抽出する。曲率算出部２２は、第１のカーブマーカーに対する第２のカーブマーカーの画像内での縮小率に基づいて、道路の曲率を算出する。道路曲率検出ＥＣＵ１６は、検出した道路の曲率に関する情報を車両制御ＥＣＵ２４に出力する。

車両制御ＥＣＵ２４は、車両の各種制御を行う電子制御用のコンピュータである。この車両制御ＥＣＵ２４は、道路曲率検出ＥＣＵ１６から取得したカーブ路の曲率に関する情報に基づいて運転支援を実行する。例えば、車両制御ＥＣＵ２４は、道路曲率検出ＥＣＵ１６から取得した道路の曲率に基づいて車両の目標速度を設定し、当該目標速度になるように車両を制御する。

次に、図２を参照して、道路曲率検出装置１の動作について説明しつつ、道路曲率検出方法の一実施形態について説明する。

まず、工程Ｓ１においては、撮像部１２によって車両の前方が撮像される。次いで、工程Ｓ２においては、撮像部１２から車両前方の画像が取得され、消失点探索部１８によって当該画像内の消失点が探索される。消失点とは、撮像された被写体のエッジ成分が互いに交わる交点座標である。ここでは、撮像部１２によって図３に示すような車両前方の画像が撮像された例について説明する。この場合、消失点探索部１８は、撮像部１２から画像を取得すると、当該画像から直線とみなすことができる領域を抽出する。具体的に、消失点探索部１８は、車両から２０ｍ以内の路面、及び、車両の側方において高さ１．５ｍまでの路側物が写る範囲の領域を設定し、当該領域を除く領域にマスクＭを重畳させた画像を生成する。ここで、マスクＭは、輝度値が一定である画像領域である。

次いで、消失点探索部１８は、マスクＭを重畳させた画像から、横方向（幅方向）及び縦方向（高さ方向）のエッジ成分を抽出する。これにより、図４（ａ）に示すように、マスクＭが重畳された画像から、車両の近傍位置に対応する領域エッジ成分が抽出される。具体的に、図４（ａ）では、道路の中央線、路肩線、路側物等のエッジ成分が抽出されている。上記のように、画像の直線とみなし得る範囲の領域を除いた領域にマスクＭを重畳ことにより、消失点抽出の精度を向上することが可能となる。

なお、消失点探索部１８は、図４（ｂ）に示すように、エッジ抽出処理を行う際、画像の横方向中心に近づくにつれて、横方向のエッジ抽出の重み付けを大きくし、画像の横方向中心から離れるにつれて縦方向のエッジ抽出の重み付けを大きくしてもよい。例えばエッジ抽出の閾値を小さくすることにより、エッジ抽出の重み付けを大きくすることができる。次いで、消失点探索部１８は、中央線、車道外側線、路側物等のエッジ成分の延長線が交わる点の画像内の位置（座標）を消失点Ｄｉとして取得する（図３参照）。

次いで、工程Ｓ３においては、路側物に設けられた複数のカーブマーカーのうち、第１のカーブマーカーが抽出される。図５に示すように、道路上のカーブ区間には、カーブの視認性を向上するために、略矢印形状の複数のカーブマーカーＣＭが設けられている場合がある。これらのカーブマーカーＣＭは、道路のカーブに沿って所定間隔で設けられており、互いに同一形状を有している。以下では、路側に設けられた側壁に対して描かれたカーブマーカーＣＭをカーブマーカーとして抽出する例について説明する。工程Ｓ３においては、道路曲率検出ＥＣＵ１６の抽出部２０は、例えば、画像の消失点Ｄｉから最も遠いカーブマーカー、すなわち、車両に直近のカーブマーカーＣＭ１を第１のカーブマーカーとして抽出する。

次いで、工程Ｓ４においては、車両とカーブマーカーＣＭ１との車両幅方向の距離Ｙが算出される。この距離Ｙは、車両の走行に伴って変化するカーブマーカーＣＭ１の見え方の変化に基づいて算出される。具体的に、距離Ｙは、例えば下記の式（１）により算出される。

式（１）においてΔＸは、時刻ｔから時刻（ｔ＋Δｔ）までの間に車両が進行した距離であり、δは撮像部１２の焦点距離である。ΔＸは、車速センサ１４から出力される車両の速度と時間差Δｔとに基づいて算出することができる。また、時刻ｔにおける車両位置をＸとし、時刻（ｔ＋Δｔ）における車両位置をＸ’とした場合に、ｙ１は位置Ｘにおいて撮像した画像内の消失点ＤｉからカーブマーカーＣＭ１までの画素間距離を表しており、ｙ２は位置Ｘ’において撮像した画像内の消失点ＤｉからカーブマーカーＣＭ１までの画素間距離を表している。図６は、Ｘ、Ｘ’、ΔＸ、ｙ１、ｙ２の対応関係を模式的に示す図である。図６において、Ｏは撮像部１２の中心位置を示している。なお、車両とカーブマーカーＣＭ１との車両幅方向の距離Ｙは、ステレオカメラを利用して測定してもよく、レーザレーダ等の測距器を利用して測定してもよい。

次いで、工程Ｓ５においては、第１のカーブマーカーとは異なる第２のカーブマーカーを抽出すると共に、第１のカーブマーカーに対する第２のカーブマーカーの画像内での縮小率（形状変化率）が算出される。形状変化率とは、画像内において、第１のカーブマーカーの形状を基準とした第２のカーブマーカーの形状の変化率（拡大率・縮小率）である。以下では、カーブマーカーＣＭ１を第１のカーブマーカーとし、カーブマーカーＣＭ１の消失点Ｄｉ側に隣り合うカーブマーカーＣＭ２を第２のカーブマーカーとして抽出する例について説明する（図５参照）。また、形状変化率を縮小率として説明する。

カーブマーカーＣＭ２は、カーブマーカーＣＭ１よりも車両から離れた位置に設けられているので、撮像部１２によって撮像された画像内では、カーブマーカーＣＭ２はカーブマーカーＣＭ１よりも小さく表示される。すなわち、カーブマーカーＣＭ２は、カーブマーカーＣＭ１に対して縮小表示される。この原理を利用して、工程Ｓ５では、抽出部２０がカーブマーカーＣＭ１に対応する画像を方位方向及び角度方向に縮小させながら、縮小されたカーブマーカーＣＭ１に類似する被写体を、カーブマーカーＣＭ１から消失点Ｄｉに向かう方向に沿って探索する。ここで、図７に示すように、カーブマーカーＣＭの方位方向とはカーブマーカーＣＭから消失点Ｄｉに向かう方向（すなわち、車両の進行方向）として定義され、カーブマーカーＣＭの角度方向とは方位方向に垂直な方向（すなわち、車両の高さ方向）として定義される。抽出部２０は、縮小されたカーブマーカーＣＭ１に類似する被写体を発見した場合には、その被写体をカーブマーカーＣＭ２として抽出し、発見した際の方位方向及び角度方向の縮小率をカーブマーカーＣＭ２に対応付けて記憶する。

なお、カーブマーカーＣＭ１に対するカーブマーカーＣＭ２の縮小率は、上述の方法とは異なる方法で算出されてもよい。例えば、消失点ＤｉからカーブマーカーＣＭ１までの画素間距離Ｄ１と、消失点ＤｉからカーブマーカーＣＭ２までの画素間距離Ｄ２との比に基づいて、カーブマーカーＣＭ１に対するカーブマーカーＣＭ２の角度方向の縮小率を算出してもよい。また、車両の進行方向に対するカーブマーカーＣＭ１の傾き（角度）と車両の進行方向に対するカーブマーカーＣＭ２の傾き（角度）とに基づいて、カーブマーカーＣＭ１に対するカーブマーカーＣＭ２の方位方向の縮小率を算出してもよい。なお、カーブマーカーＣＭ１とカーブマーカーＣＭ２との位置が逆の場合には、形状変化率として拡大率が算出される。

次いで、工程Ｓ６においては、曲率算出部２２によって、工程Ｓ５で取得されたカーブマーカーＣＭ１に対するカーブマーカーＣＭ２の画像内での縮小率に基づいて、道路の曲率が算出される。以下では、図８に示すように、撮像部１２の中心位置をＯ、カーブマーカーＣＭ１の車両近傍側端部をＲ１、カーブマーカーＣＭ１の車両遠方側端部をＳ１、カーブマーカーＣＭ２の車両近傍側端部をＲ２、カーブマーカーＣＭ２の車両遠方側端部をＳ２として説明する。

工程Ｓ６では、下記式（２）、（３）、（４）により、それぞれカーブマーカーＣＭ１の方位方向に沿った幅Ｌ（すなわち、カーブマーカーＣＭ１の車両近傍側端部Ｒ１と車両遠方側端部Ｓ１との間の距離、及び、カーブマーカーＣＭ２の車両近傍側端部Ｒ２と車両遠方側端部Ｓ２との間の距離）、撮像部１２の中心位置ＯとカーブマーカーＣＭ１の車両近傍側端部Ｒ１との間の距離Ｄ_０、撮像部１２の中心位置ＯとカーブマーカーＣＭ２の車両近傍側端部Ｒ２との間の距離Ｄを算出する。なお、式（２）〜（４）において、ａ_０は画像内のカーブマーカーＣＭ１の角度方向（高さ方向）に沿った幅を示し、ｂ_０は画像内のカーブマーカーＣＭ１の方位方向（車両進行方向）に沿った幅を示している。また、ａは画像内のカーブマーカーＣＭ２の角度方向（高さ方向）に沿った幅を示し、ｙ_０は消失点ＤｉからカーブマーカーＣＭ１までの画素間距離を示している。なお、下記式（４）に示すａ_０／ａはカーブマーカーＣＭ１に対するカーブマーカーＣＭ２の角度方向の縮小率の逆数である。すなわち、距離ＤはカーブマーカーＣＭ１に対するカーブマーカーＣＭ２の角度方向の縮小率に基づいて算出されているといえる。

次いで、曲率算出部２２は、下記式（５）、（６）、（７）により、角度ψ_１、φ_１、θ_１を算出する。角度ψ_１は、撮像部１２の中心位置Ｏ及び車両遠方側端部Ｓ１を結ぶ直線と、車両の進行方向に沿った直線Ｃとがなす角度である。角度φ_１は、撮像部１２の中心位置Ｏ及び車両近傍側端部Ｒ１を結ぶ直線と、撮像部１２の中心位置Ｏ及び車両遠方側端部Ｓ１を結ぶ直線がなす角度である。角度θ_１は、車両近傍側端部Ｒ１及び車両遠方側端部Ｓ１を結ぶ直線と、撮像部１２の中心位置Ｏ及び車両遠方側端部Ｓ１を結ぶ直線とがなす角度である。

更に、曲率算出部２２は、下記式（８）、（９）、（１０）により、角度ψ_２、φ_２、θ_２を算出する。角度ψ_２は、撮像部１２の中心位置Ｏ及び車両遠方側端部Ｓ２を結ぶ直線と、車両の進行方向に沿った直線Ｃとがなす角度である。角度φ_２は、撮像部１２の中心位置Ｏ及び車両近傍側端部Ｒ２を結ぶ直線と、撮像部１２の中心位置Ｏ及び車両遠方側端部Ｓ２を結ぶ直線がなす角度である。角度θ_２は、車両近傍側端部Ｒ２及び車両遠方側端部Ｓ２を結ぶ直線と、撮像部１２の中心位置Ｏ及び車両遠方側端部Ｓ２とを結ぶ直線とがなす角度である。なお、式（８）〜（１０）において、ｂは画像内のカーブマーカーＣＭ２の方位方向（車両進行方向）に沿った幅を示し、ｙは消失点ＤｉからカーブマーカーＣＭ２までの画素間距離を示している。

次いで、曲率算出部２２は、下記式（１１）、（１２）により、カーブマーカーＣＭ１の車両近傍側端部Ｒ１の座標（ｐ_１，ｑ_１）、及び、カーブマーカーＣＭ２の車両近傍側端部Ｒ２の座標（ｐ_２，ｑ_２）を算出する。これらの座標は、撮像部１２の中心位置Ｏを原点とし、車幅方向及び車両の進行方向を座標軸とする直交座標系における車両近傍側端部Ｒ１及び車両近傍側端部Ｒ２の位置を示している。

次いで、曲率算出部２２は、曲路の曲率中心ＣＣの座標（ｐ_０，ｑ_０）を算出する。座標（ｐ_０，ｑ_０）は、車両近傍側端部Ｒ１を起点とするカーブマーカーＣＭ１に対して垂直な直線と、車両近傍側端部Ｒ２を起点とするカーブマーカーＣＭ２に対して垂直な直線との交点を算出することにより得られる。具体的に、曲率算出部２２は、下記式（１３）により、曲率中心ＣＣの座標（ｐ_０，ｑ_０）を算出する。なお、式（１３）のΘ_１はθ_１＋ψ_１を示し、Θ_２はθ_２＋ψ_２を示している。

次いで、曲率算出部２２は、下記の式（１４）により、曲路の曲率半径Ｒを算出する。また、下記の式（１５）により、曲路の曲率ｋを算出する。

図２に戻り、工程Ｓ７においては、車両制御ＥＣＵ２４によって道路に曲率に応じた運転支援が実行される。例えば、車両制御ＥＣＵ２４は、工程Ｓ６において算出された道路の曲率ｋに基づいて車両の目標速度を設定し、当該目標速度になるように車両を制御する。工程Ｓ７において、運転支援が実行されると、一連の道路曲率の検出が終了する。

以上説明したように、一実施形態に係る道路曲率検出装置１は、第１のカーブマーカーに対する第２のカーブマーカーの画像内での縮小率に基づいて、カーブ路の曲率を算出する。この道路曲率検出装置１では、単一の画像内の複数のカーブマーカーからカーブ路の曲率を検出しているので、一対の画像間で整合する領域を探索する従来技術に比べて、曲率の検出精度を向上することが可能となる。また、単眼カメラに比べて車両に搭載するための制約が大きなステレオカメラを搭載することなく、カーブ路の曲率を検出することができる。更に、上記実施形態では、カーブ路の側方に立設する路側物に描かれたカーブマーカーＣＭを抽出している。路側物に描かれたカーブマーカーＣＭ２は、遠方からでも容易に認識することが可能であるため、カーブ路から離れた位置からでも当該曲路の曲率を算出することが可能である。また、路側物に描かれたカーブマーカーは、道路上に描かれた場合と比べて他の車両に遮蔽されにくいので、曲率の検知率を向上することが可能となる。

以上、一実施形態の道路曲率検出装置について説明してきたが、上述した実施形態に限定されることなく種々の変形態様を構成可能である。例えば、曲率算出部２２は、第１のカーブマーカーと第２のカーブマーカーとの縮小率に基づいて曲率を算出する限り、任意の曲率算出手順を採用することが可能である。具体的に、曲率算出部２２は、下記式（１６）、（１７）により曲路の曲率半径Ｒ_Ａ、Ｒ_Ｂを算出し、曲率半径Ｒ_Ａ、Ｒ_Ｂの平均を曲路の曲率半径として得てもよい。或いは、η_１及びη_２がπ／４以上である場合には、下記式（１７）を用いて曲路の曲率半径を算出し、η_１又はη_２がπ／４未満の場合には下記式（１６）を用いて曲路の曲率半径を算出してもよい。これにより、曲路半径の算出精度を向上することができる。ここで、η_１はθ_１−ψ_１であり、η₂はθ₂−ψ₂である。

また、上記実施形態では、路側物に描かれたカーブマーカーＣＭを用いたが、カーブマーカは必ずしも路側物に描かれている必要はなく、例えば上述の略矢印形状を有する構造物が路側物に取り付けられたものであってもよい。

１…道路曲率検出装置、１２…撮像部、１４…車速センサ、１６…道路曲率検出ＥＣＵ、１８…消失点探索部、２０…抽出部、２２…曲率算出部、２４…車両制御ＥＣＵ、ＣＭ…カーブマーカー、Ｄｉ…消失点。

Claims (1)

1. 車両の前方を撮像する撮像部と、
   前記撮像部によって撮像された画像から、前記車両の前方のカーブ路の路側物に対して形成され、前記カーブ路に沿って並ぶと共に、互いに同一形状且つ同一の大きさである第１のカーブマーカー及び第２のカーブマーカーを抽出する抽出部と、
   前記撮像部によって撮像された画像から、前記画像の消失点を探索する消失点探索部と、
   前記画像内における前記消失点から前記第１のカーブマーカーまでの画素間距離、前記画像内における前記消失点から前記第２のカーブマーカーまでの画素間距離、前記画像内における前記第１のカーブマーカーに対する前記第２のカーブマーカーの形状変化率、前記車両と前記第１のカーブマーカーとの間の前記車両の幅方向に沿った距離、前記画像内における前記第１のカーブマーカー及び前記第２のカーブマーカーの前記車両の進行方向に沿った幅、及び、前記撮像部の焦点距離に基づいて、前記カーブ路の曲率を算出する曲率算出部と、
   を備える、道路曲率検出装置。

Images