JPH09325026A - 前方道路の勾配検出方法及び勾配角検出方法 - Google Patents

Abstract

(57)【要約】 【課題】 前方の道路の勾配角を検出することができる
前方道路の勾配検出方法及び勾配角検出方法を提供する
ことにある。 【解決手段】 自車両の進行方向に並列に配置されて進
行方向前方の道路を２箇所から撮像し、撮像された画像
データを記憶し、記憶された一方の画像データから路面
上の白線部分を検出し、当該白線部分を含む一方のウイ
ンドウ領域に対応する他方のウインドウ領域を記憶され
た画像データから検索し、当該白線部分を含む２枚のウ
インドウ領域の座標値と、焦点距離及び位置関係とに基
づいて、撮像位置から当該白線部分までの距離を求め、
求められた当該白線部分までの距離と、画像上の当該白
線部分のＹ座標と、焦点距離とに基づいて、当該白線部
分から撮像位置の光軸までの高さを求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、前方の道路の勾配
又は勾配角を検出するための前方道路の勾配検出方法及
び勾配角検出方法に関する。

【０００２】

【従来の技術】従来、この種の道路形状及び自車両位置
の計測装置としては、例えば特開平７−２７５４１号公
報記載のものが知られている。このものは、道路の３次
元形状に対応するデータを含む地図情報を記憶している
ので、現在の車両位置データに基づいて記憶されている
地図情報を参照し、３次元道路モデルを求め、入力画像
とのずれからグローバルかつローカルな自車両位置を同
時推定するように構成され、正確な道路形状及び自車両
位置の計測を行えるといった利点を有するものである。

【０００３】また、例えば特開平７−１９８３４９号公
報記載のものが知られている。このものは、１次元カメ
ラの撮像データを順次に記憶し、記憶された過去複数枚
の撮像データに基づいて白線位置を検出し、この白線位
置と車両姿勢挙動とに基づいて道路曲率、ヨー角、偏位
を求めるように構成され、１次元カメラを用いて２次元
カメラを用いた場合と同様に道路形状及び自車両姿勢を
計測できるといった利点を有するものである。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
道路形状及び自車両位置の計測装置にあっては、両者と
も高速道路のように２本以上の白線が、常にある一定の
間隔で引かれた道路でなければ勾配を検出することがで
きないといった問題があった。また、車載用の勾配計測
装置として、ジャイロコンパスを利用してこの装置を搭
載している車両の真下の路面の勾配角を計測することは
できる反面、車両より前方の路面の勾配を求めることが
できないといった問題があった。

【０００５】本発明は上記に鑑みてなされたもので、そ
の目的は、前方の道路の勾配又は勾配角を検出すること
ができる前方道路の勾配検出方法及び勾配角検出方法を
提供することにある。

【０００６】

【課題を解決するための手段】請求項１記載の発明は、
上記課題を解決するため、自車両の進行方向に並列に配
置されて進行方向前方の道路を２箇所から撮像し、撮像
された画像データを記憶し、記憶された一方の画像デー
タから路面上の白線部分を検出し、当該白線部分を含む
一方のウインドウ領域に対応する他方のウインドウ領域
を記憶された画像データから検索し、当該白線部分を含
む２枚のウインドウ領域の座標値と、焦点距離及び位置
関係とに基づいて、撮像位置から当該白線部分までの距
離を求め、求められた当該白線部分までの距離と、画像
上の当該白線部分のＹ座標と、焦点距離とに基づいて、
当該白線部分から撮像位置の光軸までの高さを求めるこ
とを要旨とする。

【０００７】請求項２記載の発明は、上記課題を解決す
るため、自車両の進行方向に並列に配置されて進行方向
前方の道路を２箇所から撮像し、撮像された画像データ
を記憶し、記憶された一方の画像データから路面上の白
線部分を検出し、当該白線部分を含む一方のウインドウ
領域に対応する他方のウインドウ領域を記憶された画像
データから検索し、当該白線部分を含む２枚のウインド
ウ領域の座標値と、焦点距離及び位置関係とに基づい
て、撮像位置から当該白線部分までの距離を求め、撮像
位置から白線部分までの距離と、該距離の前回値との距
離差と、当該処理を行う間隔時間とに基づいて、撮像位
置の光軸に対する前方の道路の勾配角を求め、自車両の
傾き角を検出し、求められた勾配角と自車両の傾き角と
に基づいて、前方の道路の絶対勾配角を求めることを要
旨とする。

【０００８】請求項３記載の発明は、上記課題を解決す
るため、自車両の進行方向に並列に配置されて進行方向
前方の道路面を２カ所から撮像し、撮像された画像デー
タを記憶し、記憶された一方の画像データから前方の平
坦な道路面を、画面の最下部から上方に一定間隔で位置
制御してウインドウ領域を連続的に切り出し、切り出さ
れたウインドウ領域の画像に基づいて最も類似度の高い
ウインドウ領域を有する他方の画像を記憶された画像デ
ータから検索し、２枚の画像間の互いの類似度の高いウ
インドウ領域の座標と、焦点距離及び位置関係に基づい
て、切り出されたウインドウ領域内に撮像されている部
分から撮像位置までの距離を求め、ウインドウ領域毎に
撮像されている当該部分までの距離を記憶し、記憶され
た当該部分までの距離に基づいて画像最下部のウインド
ウ領域から上方に向けて求めた距離の連続性を判断し、
当該連続性に基づいて切り出したウインドウ領域に前方
の道路の路面が撮像されているかを判断し、距離が連続
的なウインドウ領域での当該部分までの距離と、該ウイ
ンドウ領域の画像上の路面から垂直方向の座標と、焦点
距離とに基づいて、ウインドウ領域内に撮像されている
路面上の当該部分から撮像位置の光軸までの高さを求め
ることを要旨とする。

【０００９】請求項４記載の発明は、上記課題を解決す
るため、自車両の進行方向に並列に配置されて進行方向
前方の道路面を２カ所から撮像し、撮像された画像デー
タを記憶し、記憶された一方の画像データから前方の平
坦な道路面を、画面の最下部から上方に一定間隔で位置
制御してウインドウ領域を連続的に切り出し、切り出さ
れたウインドウ領域の画像に基づいて最も類似度の高い
ウインドウ領域を有する他方の画像を記憶された画像デ
ータから検索し、２枚の画像間の互いの類似度の高いウ
インドウ領域の座標と、焦点距離及び位置関係に基づい
て、切り出されたウインドウ領域内に撮像されている部
分から撮像位置までの距離を求め、ウインドウ領域毎に
撮像されている当該部分までの距離を記憶し、記憶され
た当該部分までの距離に基づいて画像最下部のウインド
ウ領域から上方に向けて求めた距離の連続性を判断し、
当該連続性に基づいて切り出したウインドウ領域に前方
の道路の路面が撮像されているかを判断し、路面が撮像
されていると判断されたウインドウ領域のうち、任意の
２つのウインドウ領域に撮像されている部分までの距離
と、当該部分から光軸までの高さと、該ウインドウ領域
の画像上の座標とに基づいて、光軸に対する前方の道路
勾配角を求め、自車両の傾き角を検出し、前方の道路勾
配角と自車両の傾きとに基づいて、前方の道路の絶対勾
配角を求めることを要旨とする。

【００１０】

【発明の効果】請求項１記載の発明によれば、前方路面
上の１地点ｐまでの距離を求め、その距離と１地点ｐが
撮像されている画像上の位置より、カメラの光軸と１地
点ｐとの高低差を求めるようにしたので、２本の白線の
間隔が一定でない道路上でも、前方の道路の勾配を求め
ることができるようになる。

【００１１】また、請求項２によれば、画像上の同じ位
置に映っているある１地点までの距離を一定時間毎に求
め、その距離の変化量と、自車両の速度と、処理間隔の
時間とに基づいて、前方道路の光軸に対する勾配角を求
めるようにしたので、２本の白線の間隔が一定でない道
路でも、前方道路の光軸に対する勾配角を求めることで
きるようになる。さらに、ジャイロ等の自車両の傾き角
を計測する機器を搭載しておくことで、画像処理により
求めた光軸に対する勾配角とジャイロより計測した自車
両の傾き角より、前方の道路の平坦な道に対する勾配角
を求めることができるようになる。

【００１２】また、請求項３記載の発明は、１組のステ
レオ画像内の連続的に切った複数領域において、複数地
点までの距離の連続性を求めて路面検出を行い、路面が
撮像されている領域部分の画像から、請求項１記載の方
法を用いて前方の道路の勾配を求めるので、白線の有無
に関係なく、例えば林道のような白線のない道路におい
ても、前方の道路の勾配を求めることができるようにな
る。

【００１３】また、請求項４記載の発明では、１組のス
テレオ画像内において、請求項３記載の方法を用いて前
方の道路の路面部分が撮像されている領域を判断し、連
続的に切った複数領域に渡って求めた複数地点までの距
離と、請求項１記載の方法を用いて求めたその地点の高
さに基づいて、前方の道路の光軸に対する勾配角を求め
ているので、林道のような白線のない道路においても、
前方の道路の光軸に対する勾配を求めることができるよ
うになる。また、請求項３記載の発明と同様に、自車両
の傾き角を計測する機器を搭載しておくことで、前方の
道路の平坦な道に対する勾配角を求めることもできるよ
うになる。また、請求項２記載の方法とは異なり、自車
両の速度がわからない場合でも前方の道路の勾配角を求
めることができる。

【００１４】さらに、本発明には次のような効果があ
る。

【００１５】本発明によれば、車両の真下の路面の勾配
角を計測するためのジャイロとは異なり、これから走行
するべき前方道路の勾配角を、その勾配のある道路に入
る事前に検知することができるので、例えば、駆動制御
装置に適応して、坂道に入る前に予めシフトダウンする
機構などに利用することができる。特に、この処理で
は、前方道路の坂の有無だけではなく、平坦な道路に対
する勾配の角度も求めることができるので、その勾配角
に応じて段階的にシフトダウン制御を行うこともできる
ようになる。このようなシフトダウン制御は、林道等の
ように坂道が多く白線の引かれていない道路で利用する
ことができる。また、道路上の白線の有無に関係なく前
方道路の勾配角を求めることができるので、このような
山道の勾配角の検出としても利用することができる。

【００１６】また、路面であるか否かの判断を白線検出
のみに頼っていないので、例えば、白線のある道路にお
ては、白線検出と路面の連続性との２面から路面の検出
の判断を行うようにするので、処理をより確実に行うこ
ともできる。

【００１７】さらに、距離の連続性に基づいて前方路面
の障害物の有無も検知できるので、一つの装置に適応し
て前方の道路の勾配角検出と障害物検出とを同時に行う
ことができる装置を提供することもできる。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。まず、図１〜図３を用いて本発明
に係る前方道路の勾配検出方法及び勾配角検出方法の動
作原理を説明する。図１は、２本の光軸が同一平面上に
乗り、かつ、２枚の撮像面のＸ軸が同一ライン上に乗る
ように配置したカメラ面において、点ｐが二つのカメラ
Ａ，Ｂの撮像面に投影される様子を示した図である。

【００１９】ここで、図１に示した３個の座標系はそれ
ぞれ、カメラＡ，Ｂの画像座標系（ＸA −ＹA 座標系、
ＸB −ＹB 座標系）と、カメラ座標系（Ｘ−Ｙ−Ｚ座標
系）である。カメラ座標系は、カメラＡ，Ｂのレンズ中
心間を結ぶ線分の中点を原点とし、Ｘ軸を撮像面のＸA
軸およびＸB 軸、Ｙ軸を撮像面のＹA 軸およびＹB 軸、
Ｚ軸をカメラＡ，Ｂの光軸と平行となるように定義した
ものである。また、画像座標系は、カメラＡ，Ｂから入
力される画像の左上端を原点とし、水平方向右向きにＸ
A 軸（ＸB 軸）、垂直方向下向きにＹA 軸（ＹB 軸）と
なるように定義したものである。なお、図１右下に画像
上における画像座標系の位置および向きを図示する。

【００２０】図中に示す点ａ，ｂは、カメラ座標におけ
る（ｘa ，ｙa ，−Ｆ），（ｘb ，ｙb ，−Ｆ）に投影
され、これらの点は、画像座標系では（ｘA ，ｙA ），
（ｘB ，ｙB ）と表されることを示している。また、図
２は、図１をＹ軸方向から見たときの図であり、ステレ
オ画像処理での検出対象位置までの距離算出の原理を説
明する図である。図３は、図１をＸ軸方向から見たとき
の図であり、１台のカメラの撮像面上の点とその点まで
の距離との関係を説明する図である。

【００２１】まず、図２及び図３を用いて、カメラから
点ｐまでの距離（Ｚ軸方向の距離）と点ｐから光軸まで
の高低差ｈ（Ｙ軸方向の距離）の求め方を説明する。図
２に示すように、２台のカメラレンズ中心間の距離（眼
間距離）Ｄと、２台のカメラの焦点距離Ｆと、カメラ座
標系における点ａ，点ｂのＸ座標、ｘa ，ｘb との間に
は、

【数１】 の関係がある。

【００２２】ここで、図１に示すように、光軸が平行に
なるように並べられた２台のカメラ（Ａ，Ｂ）におい
て、２台のカメラで同じ対象物（点Ｐ）を撮像した場合
に、その対象物が撮像される位置の差｜ｘa −ｘb｜を
視差と呼ぶことにする。この視差の値がわかると、眼間
距離Ｄ，焦点距離Ｆより比例計算から、カメラから点Ｐ
までの距離Ｚを求めることができる。即ち、点ｐから２
台のカメラレンズ中心を結ぶ線分までの距離ｚは、数２
から求めることができる。

【００２３】

【数２】 また、図３に示すように、例えばカメラが前方の平坦な
道を撮像している場合には、平坦な道路上にある点ｐま
での距離ｚ、カメラ座標系における点ａ，点ｂの座標ｙ
a （点ａと点ｂのＹ座標は同じ）、点ｐからカメラの光
軸までの高さＨは、

【数３】 の関係がある。

【００２４】しかし、前方の道路が平坦ではない場合、
同じｙ座標の位置に路面上の点ｐ′が撮像されるため、
ステレオ画像処理においては、数２により求められる距
離は、ｚ′となる。この値を用いて点ｐ′からカメラの
光軸までの高さｈを求めると、

【数４】 となる。

【００２５】本発明は、この原理を用いて前方の道路の
勾配又は勾配角を検出するための前方道路の勾配検出方
法及び勾配角検出方法を提供するものである。まず、ス
テレオ画像処理により、前方の路面上の点ｐ′からカメ
ラまでの距離ｚ′を算出し、次に、ステレオ画像処理で
求めた距離ｚ′を用いて、数４により点ｐ′から光軸ま
での高さｈを求め、“ｈ”とカメラのレンズ中心から路
面までの距離“Ｈ”の差から前方の道路の勾配角θを求
めるものである。

【００２６】（第１及び第２の実施の形態）第１及び第
２の実施の形態においては、路面上の白線を用いて前方
の道路の勾配角を求める場合について説明する。図４
は、本発明の第１の実施の形態に係る前方道路勾配検出
方法が適応される装置のシステム構成を示す図である。
図４に示すように、前方道路勾配検出装置は、自車両の
前方を撮像する２台のカメラ部１，２と、その２台のカ
メラ部の撮像面のＸ軸が同一ライン上に乗るようにカメ
ラ部１，２を取付ける治具Ｊと、２台のカメラ部１，２
が撮像した映像信号をディジタル画像として一時的に記
憶する画像メモリ部３，４と、画像メモリ部３，４のう
ちのどちらか一方に一時記憶された画像から路面上の白
線の一部分を検出する白線検出部５と、検出した白線の
一部分が画像メモリ部に記憶されている画像領域と対応
する領域をもう一方の画像メモリ部から検索するマッチ
ング部６と、２枚の画像間の対応する画像領域の座標値
と２台のカメラ部１，２の焦点距離と２台のカメラ部
１，２の位置関係に基づいてカメラ部１，２から検出し
た白線の一部分までの距離を求める距離算出部７と、求
めた白線までの距離と、その白線の一部分が撮像されて
いる画像上Ｙ軸方向の座標と、カメラ部１，２の焦点距
離とに基づいて距離を認識した白線の一部分とカメラ部
１，２の光軸までの高さを求める高さ算出部８とから構
成されている。

【００２７】次に、図５は、本発明の第２の実施の形態
に係る勾配角検出方法が適応される装置のシステム構成
を示す図である。図５に示すように、前方道路勾配角検
出装置の特徴は、図４に示す構成に加えて、距離算出部
７で求めた距離を記憶する距離格納部９と、自車両の速
度を計測する自車速度検出部１０と、自車両の傾き角を
計測するジャイロ部１１と、白線を検出する画像領域の
画像上の垂直方向の位置を固定とし、ある一定時間毎に
その領域内に撮像されている部分までの距離を求め、求
めた距離と１回前に求めた距離と、その処理を行う間隔
時間とに基づいて光軸に対する前方の道路の勾配角を求
める勾配角算出部１２と、求めた勾配角と自車両の傾き
角とに基づいて平坦な道路に対する前方の道路の勾配角
を求める勾配角算出部１３とから構成されている。

【００２８】次に、図６に示すフローチャートを用いて
前方の道路の勾配角を求める場合の動作を説明する。ま
ず、ステップＳ１０では、図７に示すように、カメラ部
１，２で前方の道路を撮像し、撮像されたステレオ画像
を画像メモリ部３に一時記憶する。次に、ステップＳ２
０では、白線検出部５が白線を検出する。図８に示すよ
うに、画像メモリ部３又は４に記憶されたステレオ画像
のうちどちらか一方の画像を用いて、画像内の白線が撮
像される部分（イ）にウインドウ領域を切り、このウイ
ンドウ領域（イ）内を微分する。この微分画像を用い
て、プラスエッジからなる直線（直線Ｌ）とマイナスエ
ッジからなる直線（直線Ｍ）をそれぞれ一本ずつ検出
し、それぞれの直線式を求める。この直線式は、例えば
直線を認識対象としたＨｏｕｇｈ変換により求めること
ができる。

【００２９】このような方法で決めたウインドウ領域
（イ）内で検出した２本の直線が、所定のしきい値以上
のエッジからなり、かつ、ほぼ互いに平行であった場
合、道路上の白線とみなす。この直線検出を行うときに
用いるウインドウ領域の位置、即ち、白線が撮像される
位置は、取付けたカメラ部１，２の高さｈと焦点距離Ｆ
から計算することができる。

【００３０】ここで、図９を用いてこのウインドウ位置
の求め方を説明する。路面から高さＨの位置に取付けら
れた焦点距離Ｆのカメラ部１，２で、前方の平坦な道路
を撮像すると、前方ｚの位置にある白線が、撮像面の中
心からＹ軸方向に、Ｈ・Ｆ／ｚの位置に撮像される。ま
た、Ｘ軸方向の位置は、図９に示すように、カメラ部
１，２の光軸から白線までの距離ｗがわかっている場
合、撮像面の中心からＸ軸方向に、Ｗ・Ｆ／ｚの位置に
撮像されると計算できる。ただし、車線変更中や前方の
白線上に障害物がある場合は、このような方法で位置を
決めたウインドウ内に白線が撮像されないので、図９に
示す方法で白線が検出される位置の目安を付け、この位
置を基準としてウインドウ位置をずらしながら、同様の
処理を行い、前記の条件を満たす直線を見つける。ま
た、連続性画像処理の場合では、前の画像の処理で求め
られた白線の位置を、次の画像のウインドウ位置の目安
とすることもできる。

【００３１】次に、図１０を用いて検出した部分（ウイ
ンドウ内に撮像されている白線の一部）までの距離の算
出方法を説明する。ステップＳ３０では、２枚の画像間
のマッチング処理を行う。まず、画像Ａ内の白線が検出
されたウインドウ内の画像をテンプレートとして、これ
と最も類似度の高い画像が存在する位置を、もう一方の
画像Ｂより求める。ここで、例えば正規化相関法を用い
て類似度を求める。図１０に示すように、画像Ａより切
り取ったテンプレートの各画素の輝度値をＡｉｊ、画像
Ｂより切り取った画像Ｂの輝度値をＢｉｊとすると、テ
ンプレートと画像Ｂから切り取った画像の類似度は数５
より算出することができる。

【００３２】

【数５】 数５に示す類似度の値が高い程、類似度も高くなる。画
像Ｂから位置をずらしながらテンプレートと同じ大きさ
の画像を切り取り、数５を用いてテンプレートと画像Ｂ
から切り出した画像との類似度を算出し、最も類似度の
高い画像が存在する位置を図１０に示すように探す。こ
のような方法で求めた２枚の画像間での最も類似度の高
い位置を、同じ対象物が撮像されている位置とみなす。
通常、この操作を画像のマッチングという。ここでは、
画像Ａのテンプレートと画像Ｂから切り取った画像の始
点のｘ座標をマッチング位置ｘA ，ｘB とし、画像Ａお
よび画像Ｂ内で互いに同じ対象物が撮像されている位置
とする。即ち、この位置は図１に示す画像上の座標ｘA
、ｘB に相当する。ただし、この値は画像Ａ、画像Ｂ
の画像座標系から見た位置であるので、数２に代入でき
る値にするためには、この値をカメラ座標系から見た値
に変換する必要がある。

【００３３】この変換を行うために、まず、単位を合わ
せる。これは、座標ｘA 、ｘB 単位が“画素”で表され
ているが、数２内の眼間距離Ｄや焦点距離Ｆは、単位が
距離を表す単位として、例えば“ｍｍ”などで表されて
いるためである。単位を合わせるためには、カメラ部
１，２の撮像画面上の１画素の大きさが何ｍｍに相当す
るかを求めればよい。これは、次のような方法で求める
ことができる。図１１に示すように、焦点距離Ｆのカメ
ラを用いて、そのカメラからｚｍｍ離れた位置に、１辺
がＷｍｍの正方形をカメラの撮像面と平行となるように
置いて撮像する。このとき、画像上に撮像されている正
方形の大きさが何画素であるか確認できれば、撮像面上
の１画素の大きさは数６より求めることができる。

【００３４】

【数６】 画像上の正方形の大きさは、上記の白線検出と同じ要領
で、プラスエッジとマイナスエッジからなる互いに平行
な２本の直線を検出し、それらの直線間の距離を調べる
ことで求められる。例えば、カメラからｚ＝１０００ｍ
ｍ離れた位置に一辺がＷ＝５０ｍｍの正方形を置き、焦
点距離Ｆ＝２０ｍｍでのカメラで撮像したときに、正方
形がｘ＝１０画素の大きさに撮像されれば、１画素の大
きさは、

【数７】 となる。

【００３５】例えば、１画素の大きさがｅｍｍ、画面座
標系の原点から光軸を含みＹ軸に平行な面までの距離を
ｄｍｍ（ｄの位置は図１に図示）とすると、カメラ座標
系から見たマッチング位置のＸ軸方向の座標は、

【数８】 であるので、上式より数２は数９のように変形できる。

【数９】 つまり、マッチング処理で求めた座標、ｘA ，ｘB を数
９に代入することで、距離ｚを求めることができる。

【００３６】まず、ステップＳ４０では、視差検出処理
を行って｜ｘA −ｘB｜を求める。図１０に示す画像Ａ
から、白線上のある位置が撮像されている部分を抜き出
してこの位置を点Ｐとする。次に、この点Ｐが撮像され
ている画像Ａ上から切り抜いた点Ｐを有する画像と同様
の（非常に似た）画像を画像Ｂ上の同一ｙ軸上の位置か
ら検出する。具体的には、画像Ａからある大きさの画像
を切り抜き、それと同一の大きさの画像を画像Ｂ上の同
一ｙ軸上の位置から切り出し、それらの画像の正規化相
関（類似度）を数５に基づいて求める。即ち、画像Ｂか
ら切り抜く位置を１画像ずつｘ軸方向にずらしながら、
各位置における類似度を求め、最も類似度の高い位置を
点Ｐが撮像されている位置とする。その結果、視差｜ｘ
A −ｘB｜を求めることができる。

【００３７】次に、ステップＳ５０では、座標、ｘA ，
ｘB を数９に代入して距離ｚを算出する。次に、ステッ
プＳ６０では、勾配角算出部１２が勾配を算出する動作
について説明する。まず、ステレオ画像処理を行うとき
に用いたウインドウ領域のＹ座標値ｙＡ（単位：画素）
を前述の方法で単位ｍｍに変換した値ｙａ（単位：ｍ
ｍ）を求める。この値とステレオ画像処理で求めた距離
ｚを数４に代入することで、カメラ部１，２の光軸と認
識対象位置との高低差ｈを求める。路面からのカメラの
高さＨを予め求めておけば、図２に示すように、それら
の高さの差Ｈ−ｈにより前方の坂道の有無を検出するこ
とができる。また、この方法を用いて、処理を周期Ｔ秒
毎に連続的に行い、その都度求められる距離と高さを距
離格納部９に保存しておくことで、その値に基づいて前
方の道路の勾配角θを求めることもできる。

【００３８】図１２〜図１６はこの方法を用いての勾配
角θの求め方を説明するための図である。図１２に示す
ように、画像上に切るウインドウ位置のＹ座標を固定と
しておくと、前方が平坦な道であれば、そのウインドウ
領域内に撮像されている路面までの距離および高さは常
に一定値で求められる。しかしながら、前方の道路に勾
配がある場合にはその値が変化する。前方の道路の勾配
角θは、それらの変化量とそのときに走行した距離に基
づいて求めることができる。

【００３９】例えば、車速ｖｍｍ／秒で走行する車両上
で画像処理をＴ秒毎に行っている場合に、ｎ回目に求め
た距離がｚn 、高さがｈ＝ｈn 、ｎ＋１回目に求めたに
求めた距離がｚn-1 、高さがｈ＝ｈn-1 であれば、自車
両から見た前方の勾配角θは、数１０より求めることが
できる。

【数１０】 ただし、ここでは、上り坂のときの勾配角θを正とす
る。ウインドウ領域内に路面が撮像されている場合に
は、この式は、図１４に示すように、前方が下り坂のと
きにも適用することができる。また、数１０に示すｈn
、ｈn-1 は距離Ｚn 、Ｚn-1 を数４に代入することで
求めることができる。ここで、数１０に数４を代入する
と、数１１を得ることができる。

【００４０】

【数１１】 即ち、数１１より、時間Ｔ毎に、Ｙ軸方向の座標がｙa
の位置のウインドウ領域に撮像される位置の距離ｚn と
その直前に求めた距離ｚn-1 との差“ｚn-1 −ｚn ”を
求めることで、図１３，図１４に示すような場合にも、
前方の路面の勾配角θを求めることができる。また、こ
の方法で求められる勾配角θはカメラ部１，２の光軸に
対する角度であるが、ジャイロ部１１等の自車両の傾き
角を計測する機器を搭載することで、平坦な路面に対す
る前方道路の勾配角θ′を求めることもできる。この角
は、画像処理により得られた角度θに、ジャイロ部１１
により得られる自車両の傾き角αを加算することにより
求めることができる。

【００４１】

【数１２】 この方法を用いると、図１５のような叙々に勾配がきつ
くなる道路での前方の勾配角や、図１６に示すように坂
道の終点も検出することができる。

【００４２】このように、前方路面上のある１地点ｐま
での距離を求め、その距離とその１地点ｐが撮像されて
いる画像上の位置より、カメラの光軸と１地点ｐとの高
低差を求めるようにしたので、２本の白線の間隔が一定
でない道路上でも、前方の道路の勾配を求めることがで
きるようになる。

【００４３】また、画像上の同じ位置に映っている、あ
る１地点までの距離を、一定時間毎に求め、その距離の
変化量と、自車両の速度と、処理間隔の時間とに基づい
て、前方道路の光軸に対する勾配角を求めるようにした
ので、２本の白線の間隔が一定でない道路でも、前方道
路の光軸に対する勾配角を求めることができるようにな
る。さらに、ジャイロ等の自車両の傾き角を計測する機
器を搭載しておくことで、画像処理により求めた光軸に
対する勾配角とジャイロより計測した自車両の傾き角よ
り、前方の道路の平坦な道に対する勾配角を求めること
ができるようになる。

【００４４】（第３及び第４の実施の形態）第３及び第
４の実施の形態においては、白線のない道路でも前方の
道路の勾配角を求める場合について説明する。図１７
は、本発明の第３の実施の形態に係る前方道路の勾配検
出方法が適応される装置のシステム構成を示す図であ
る。図３に示すように、前方道路勾配検出装置は、画像
の最下部に前方の道路の路面が撮像されるように配置し
た２台のカメラ部１，２と、その２台のカメラ部の撮像
面のＸ軸が同一ライン上に乗るようにカメラ部１，２を
取付ける治具Ｊと、２台のカメラ部１，２が撮像した映
像信号をディジタル画像として一時的に記憶する画像メ
モリ部３，４と、どちらか一方のカメラ部１，２が撮像
した画像上において、前方の平坦な道路の路面がある一
定間隔で撮像される位置の画像領域を、画面の最下部か
ら上方に向けて連続的に切り出す切り出し位置制御部１
４と、その切り出した領域の画像と最も類似度の高い部
分をもう一方の画像から求めるマッチング部６と、その
切り出した全ての領域において、２枚の画像間の互いに
類似度の高い領域の座標と、２台のカメラ部１，２の焦
点距離と、２台のカメラ部１，２の位置関係とに基づい
て切り出した領域内に撮像されている部分からカメラ部
１，２までの距離を求める距離算出部７と、領域毎に撮
像されている部分までの距離を一時的に保持する距離格
納部１５と、その距離格納部１５に保持された内容に基
づいて画像最下部の領域から上方に向けて求めた距離の
連続性を判断する連続性判断部１６と、その連続性に基
づいて切り出した領域に前方の道路の路面が撮像されて
いるか否かを判断する道路領域検出部１７と、距離が連
続的な部分の領域を用いて、そこで求めた距離とその領
域の画像上の路面から垂直方向の座標とカメラ部１，２
の焦点距離とに基づいてその領域内に撮像されている路
面上の一部分からカメラ部１，２の光軸までの高さを求
める高さ算出部８とから構成されている。

【００４５】図１８は、本発明の第４の実施の形態に係
る勾配角検出方法が適応される装置のシステム構成を示
す図である。図１８に示すように、前方道路勾配角検出
装置の特徴は、図１７に示す構成に加えて、自車両の傾
き角を計測するジャイロ部１１と、路面が撮像されてい
ると判断された画像領域のうちの任意の二つの領域に撮
像されている部分までの距離と、その部分から光軸まで
の高さと、その領域の画像上の座標とに基づいて光軸に
対する前方の道路勾配角を求める勾配角算出部１８と、
その角度と自車両の傾き角とに基づいて平坦な道路に対
する前方の道路の勾配角を求める勾配角算出部１３とか
ら構成されている。

【００４６】次に、図１９に示すフローチャートを用い
て前方の道路の勾配を求める場合の動作を説明する。ま
ず、図１に示すように、２台のカメラ部１，２を配置と
した上で、撮像された画像の最下部に道路面が映るよう
にする。ステップＳ１１０では、カメラ部１，２で撮像
されたステレオ画像を画像メモリ部３，４に一時記憶す
る。次に、ステップＳ１２０では、切り出し位置制御部
１４は、このように配置したステレオカメラで撮像され
る画像を用いて、図２０に示すように、例えば画像Ａの
最下部から上方に向けて、前方の平坦な道路の路面上
が、ある一定間隔で連続的に撮像される位置にウインド
ウ領域ｉを設定し、その最下部においてｉ＝０と設定す
る。

【００４７】次に、ステップＳ１３０では、マッチング
部６は、ウインドウ領域ｉ毎にステップＳ３０と同様の
ステレオ画像処理を行う。なお、このステレオ画像処理
は領域０、領域１、領域２…の順で下から上に向けて順
に行うこととする。次に、ステップＳ１４０では、マッ
チング部６で視差検出処理を行って視差｜ｘA −ｘB｜
を求める。次に、ステップＳ１５０では、このステレオ
画像処理により求めた座標、ｘA，ｘB を数９に代入す
ることで、距離ｚを求めることができる。即ち、距離算
出部７は、ウインドウ領域ｉ内に撮像されている部分ま
での距離ｚを求める。

【００４８】ここで、ステップＳ１６０では、各ウイン
ドウ領域毎に撮像されている部分を以下のように定義す
る。即ち、ウインドウ領域０に撮像されている部分を点
ｐ０、ウインドウ領域１を点ｐ１、ウインドウ領域２を
点ｐ２…とする。また、それぞれのウインドウ領域毎に
求めた各点までの距離をｚ０、ｚ１、ｚ２…とし、各ウ
インドウ領域の画像上の位置とそのウインドウ領域を用
いて求めたウインドウ領域内に撮像されている部分まで
の距離ｚ０、ｚ１、ｚ２…を距離格納部１５に格納す
る。

【００４９】次に、ステップＳ１７０では、ウインドウ
領域の番号ｉに１を加算する。次に、ステップＳ１８０
では、このウインドウ領域の番号ｉが所定値Ｍ未満か否
かを判断する。ここで、ウインドウ領域の番号ｉが所定
値Ｍ未満の場合にはステップＳ１３０に戻ってマッチン
グ処理を継続する一方、そうではない場合にはステップ
Ｓ１９０に進む。次に、ステップＳ１９０では、連続性
判断部１６は、ウインドウ領域毎の距離の連続性を距離
格納部１５で格納した距離値に基づいて求める。次に、
白線がない道路でも、このように連続性を見ることで撮
像対象が路面であるか否かを判断することができる。

【００５０】道路領域検出部１７は、この連続性に基づ
いて切り出したウインドウ領域に前方の道路の路面が撮
像されているかを検出する。即ち、道路領域数ｊが０の
場合には、道路の路面が撮像されていないと判断してス
テップＳ１１０に戻る。一方、道路領域数ｊが少なくと
も１以上の場合には、道路の路面が撮像されていると判
断してステップＳ２００に進む。このとき求めた距離
は、図２１に示すように、前（下）のウインドウ領域ｉ
で求めた距離との差は、前方が上り坂である場合は、 ｚ１−ｚ０＞ｚ２−ｚ１＞ｚ３−ｚ２＞ｚ４−ｚ３ のように、叙々に小さくなる。

【００５１】一方、下り坂の場合は、 ｚ１−ｚ０＜ｚ２−ｚ１＜ｚ３−ｚ２＜ｚ４−ｚ３ のように、逆に叙々に大きくなる。しかし、図２２に示
すように、ウインドウ領域内に撮像されている部分が路
面外になり、例えば木等が映った場合には距離が急激に
変化する。

【００５２】このような場合には、ｚ１−ｚ０、ｚ２−
ｚ１は連続的に変化する。しかしながら、ウインドウ領
域３に木がある場合には、ｚ３−ｚ２が急に小さい値と
なるので、連続性判断部１６は急激に距離が変化したと
きには、ウインドウ内の画像は路面外であるとみなすこ
ととする。ステップＳ２００では、このような方法で路
面が撮像されているウインドウ領域を選択し、このウイ
ンドウ領域の画像を用いて、前述と同じように、２枚の
画像のマッチング処理を行ってウインドウ領域内に撮像
されている路面上の位置までの距離を求め、その位置の
光軸に対する高さを求めることで、前方の路面勾配を求
める。また、白線のない道路の処理においても、時間的
に一定間隔Ｔで連続処理を行っており、かつ、自車速が
わかっている場合では、路面が撮像されている複数ウイ
ンドウ領域のうち、Ｙ座標が同じ位置に切られたウイン
ドウ領域で求めた距離を用いれば、数１１、数１２より
前方道路の勾配を求めることもできる。

【００５３】また、この処理では、図２１に示すよう
に、１回に撮像したステレオ画像内の複数のウインドウ
領域に渡って距離認識を行っているので、ウインドウ領
域毎に求めた距離（ｚ１、ｚ２、…、ｚｎ）と、その位
置の光軸までの高さ（ｈ１、ｈ２、…、ｈｎ）に基づい
て、数１１から前方の勾配を求めることもできる。この
方法を用いると、自車両の速度のわからない場合や時間
的に連続処理を行わない場合でも前方の勾配を求めるこ
とができる。

【数１３】 また、この方法で求められる勾配角θはカメラの光軸に
対する角度であるが、平坦な路面対する角度も前述と同
じように、ジャイロ部１１で計測した自車両の傾き角α
を用いて数１２により求めることができる。

【図面の簡単な説明】

【図１】点ｐが二つのカメラＡ，Ｂの撮像面に投影され
る様子を示した図である。

【図２】図１をＹ軸方向から見たときの図である。

【図３】図１をＸ軸方向から見たときの図である。

【図４】本発明の第１の実施の形態に係る前方道路勾配
検出方法が適応される装置のシステム構成を示す図であ
る。

【図５】本発明の第２の実施の形態に係る前方道路勾配
角検出方法が適応される装置のシステム構成を示す図で
ある。

【図６】前方の道路の勾配角を求める場合の動作を説明
するためのフローチャートである。

【図７】前方の道路を撮像したステレオ画像例を示す図
である。

【図８】白線検出の方法を説明するための図である。

【図９】白線が撮像される位置の求め方を説明するため
の図である。

【図１０】２枚の画像のマッチング方法を説明するため
の図である。

【図１１】１画素の大きさの求め方を説明するための図
である。

【図１２】周期Ｔ毎に求めた距離を用いて平坦な道路を
検出する原理を説明するための図である。

【図１３】周期Ｔ毎に求めた距離を用いて前方の上り坂
の勾配角を求める原理を説明するための図である。

【図１４】周期Ｔ毎に求めた距離を用いて前方の下り坂
の勾配角を求める原理を説明するための図である。

【図１５】自車両が傾いている場合に、周期Ｔ毎に求め
た距離を用いて前方の上り坂の勾配角を求める原理を説
明するための図である。

【図１６】自車両が傾いている場合に、周期Ｔ毎に求め
た距離を用いて前方の下り坂の勾配角を求める原理を説
明するための図である。

【図１７】本発明の第３の実施の形態に係る前方道路勾
配検出方法が適応される装置のシステム構成を示す図で
ある。

【図１８】本発明の第４の実施の形態に係る前方道路勾
配角検出方法が適応される装置のシステム構成を示す図
である。

【図１９】前方の道路の勾配を求める場合の動作を説明
するためのフローチャートである。

【図２０】ウインドウ領域ｉの切り方を説明するための
図である。

【図２１】ウインドウ領域ｉ毎に求められる距離と前方
の道路の勾配の関係を説明するための図である。

【図２２】ウインドウ領域ｉが路面がはずれたときの様
子を表した図である

【符号の説明】

１，２ カメラ部 ３，４ 画像メモリ部 ５ 白線検出部 ６ マッチング部 ７ 距離算出部 ８ 高さ算出部 ９ 距離格納部 １０ 自車速度検出部 １１ ジャイロ部 １２，１３，１８ 勾配角算出部 １５ 距離格納部 １６ 連続性判断部 １７ 道路領域検出部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 自車両の進行方向に並列に配置されて進
   行方向前方の道路を２箇所から撮像し、 撮像された画像データを記憶し、 記憶された一方の画像データから路面上の白線部分を検
   出し、 当該白線部分を含む一方のウインドウ領域に対応する他
   方のウインドウ領域を記憶された画像データから検索
   し、 当該白線部分を含む２枚のウインドウ領域の座標値と、
   焦点距離及び位置関係とに基づいて、撮像位置から当該
   白線部分までの距離を求め、 求められた当該白線部分までの距離と、画像上の当該白
   線部分のＹ座標と、焦点距離とに基づいて、当該白線部
   分から撮像位置の光軸までの高さを求めることを特徴と
   する前方道路の勾配検出方法。
2. 【請求項２】 自車両の進行方向に並列に配置されて進
   行方向前方の道路を２箇所から撮像し、 撮像された画像データを記憶し、 記憶された一方の画像データから路面上の白線部分を検
   出し、 当該白線部分を含む一方のウインドウ領域に対応する他
   方のウインドウ領域を記憶された画像データから検索
   し、 当該白線部分を含む２枚のウインドウ領域の座標値と、
   焦点距離及び位置関係とに基づいて、撮像位置から当該
   白線部分までの距離を求め、 撮像位置から白線部分までの距離と、該距離の前回値と
   の距離差と、当該処理を行う間隔時間とに基づいて、撮
   像位置の光軸に対する前方の道路の勾配角を求め、 自車両の傾き角を検出し、 求められた勾配角と自車両の傾き角とに基づいて、前方
   の道路の絶対勾配角を求めることを特徴とする前方道路
   の勾配角検出方法。
3. 【請求項３】 自車両の進行方向に並列に配置されて進
   行方向前方の道路面を２カ所から撮像し、 撮像された画像データを記憶し、 記憶された一方の画像データから前方の平坦な道路面
   を、画面の最下部から上方に一定間隔で位置制御してウ
   インドウ領域を連続的に切り出し、 切り出されたウインドウ領域の画像に基づいて最も類似
   度の高いウインドウ領域を有する他方の画像を記憶され
   た画像データから検索し、 ２枚の画像間の互いの類似度の高いウインドウ領域の座
   標と、焦点距離及び位置関係に基づいて、切り出された
   ウインドウ領域内に撮像されている部分から撮像位置ま
   での距離を求め、 ウインドウ領域毎に撮像されている当該部分までの距離
   を記憶し、 記憶された当該部分までの距離に基づいて画像最下部の
   ウインドウ領域から上方に向けて求めた距離の連続性を
   判断し、 当該連続性に基づいて切り出したウインドウ領域に前方
   の道路の路面が撮像されているかを判断し、 距離が連続的なウインドウ領域での当該部分までの距離
   と、該ウインドウ領域の画像上の路面から垂直方向の座
   標と、焦点距離とに基づいて、ウインドウ領域内に撮像
   されている路面上の当該部分から撮像位置の光軸までの
   高さを求めることを特徴とする前方道路の勾配検出方
   法。
4. 【請求項４】 自車両の進行方向に並列に配置されて進
   行方向前方の道路面を２カ所から撮像し、 撮像された画像データを記憶し、 記憶された一方の画像データから前方の平坦な道路面
   を、画面の最下部から上方に一定間隔で位置制御してウ
   インドウ領域を連続的に切り出し、 切り出されたウインドウ領域の画像に基づいて最も類似
   度の高いウインドウ領域を有する他方の画像を記憶され
   た画像データから検索し、 ２枚の画像間の互いの類似度の高いウインドウ領域の座
   標と、焦点距離及び位置関係に基づいて、切り出された
   ウインドウ領域内に撮像されている部分から撮像位置ま
   での距離を求め、 ウインドウ領域毎に撮像されている当該部分までの距離
   を記憶し、 記憶された当該部分までの距離に基づいて画像最下部の
   ウインドウ領域から上方に向けて求めた距離の連続性を
   判断し、 当該連続性に基づいて切り出したウインドウ領域に前方
   の道路の路面が撮像されているかを判断し、 路面が撮像されていると判断されたウインドウ領域のう
   ち、任意の２つのウインドウ領域に撮像されている部分
   までの距離と、当該部分から光軸までの高さと、該ウイ
   ンドウ領域の画像上の座標とに基づいて、光軸に対する
   前方の道路勾配角を求め、 自車両の傾き角を検出し、 前方の道路勾配角と自車両の傾きとに基づいて、前方の
   道路の絶対勾配角を求めることを特徴とする前方道路の
   勾配角検出方法。