JP3301995B2 - ステレオ式車外監視装置 - Google Patents
ステレオ式車外監視装置Info
- Publication number
- JP3301995B2 JP3301995B2 JP21637399A JP21637399A JP3301995B2 JP 3301995 B2 JP3301995 B2 JP 3301995B2 JP 21637399 A JP21637399 A JP 21637399A JP 21637399 A JP21637399 A JP 21637399A JP 3301995 B2 JP3301995 B2 JP 3301995B2
- Authority
- JP
- Japan
- Prior art keywords
- distance data
- vehicle
- area
- data
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
- Road Repair (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、走行している道路
の路面状況を検出するステレオ式車外監視装置に関す
る。
の路面状況を検出するステレオ式車外監視装置に関す
る。
【０００２】
【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た一対の車載カメラ（ステレオカメラ）を用いた車外監
視装置が注目されている。この監視装置は、カメラによ
り撮像された一対の画像に基づいて、走行環境（例え
ば、車外の対象物と自車輌との間の距離等）を認識す
る。そして、必要に応じてドライバーに注意を喚起した
り、シフトダウンによる減速等の車輌制御を行うもので
ある。走行環境の具体的な認識手法としては、まず、画
像対に映し出された同一対象物の位置的なずれ（視差）
をステレオマッチング法により求める。そして、算出さ
れた視差から三角測量の原理を用いて、道路の三次元的
な形状（直線またはカーブ曲率）や先行車との車間距離
などを特定することができる。
た一対の車載カメラ（ステレオカメラ）を用いた車外監
視装置が注目されている。この監視装置は、カメラによ
り撮像された一対の画像に基づいて、走行環境（例え
ば、車外の対象物と自車輌との間の距離等）を認識す
る。そして、必要に応じてドライバーに注意を喚起した
り、シフトダウンによる減速等の車輌制御を行うもので
ある。走行環境の具体的な認識手法としては、まず、画
像対に映し出された同一対象物の位置的なずれ（視差）
をステレオマッチング法により求める。そして、算出さ
れた視差から三角測量の原理を用いて、道路の三次元的
な形状（直線またはカーブ曲率）や先行車との車間距離
などを特定することができる。
【０００３】このようなステレオ式車外監視装置を実用
化するにあたっては、装置の安全動作を保証するため
に、路面状態や道路形状を的確に検出することが重要で
ある。ここで、一例として図３に示したような撮像画像
について考える。この画像は、最もポピュラーかつ理想
的な走行環境である乾いた舗装路を走行している状況
で、自車輌前方の景色を撮像した画像である。このよう
な状況を撮像した画像対から得られる距離データの出力
特性として、路面に相当する画像領域内には距離データ
が余り存在しないという傾向がある。通常、舗装路の輝
度は路面全体に渡ってほぼ均一である。したがって、路
面に記された白線を除く路面部分では、輝度エッジ（水
平方向で隣接した画素間における輝度の急激な変化）が
生じにくい。そして、距離データ（有効距離データ）は
輝度エッジが生じている箇所において出力されるため、
通常、距離データは、白線以外の路面部分では出力され
にくいという傾向がある。
化するにあたっては、装置の安全動作を保証するため
に、路面状態や道路形状を的確に検出することが重要で
ある。ここで、一例として図３に示したような撮像画像
について考える。この画像は、最もポピュラーかつ理想
的な走行環境である乾いた舗装路を走行している状況
で、自車輌前方の景色を撮像した画像である。このよう
な状況を撮像した画像対から得られる距離データの出力
特性として、路面に相当する画像領域内には距離データ
が余り存在しないという傾向がある。通常、舗装路の輝
度は路面全体に渡ってほぼ均一である。したがって、路
面に記された白線を除く路面部分では、輝度エッジ（水
平方向で隣接した画素間における輝度の急激な変化）が
生じにくい。そして、距離データ（有効距離データ）は
輝度エッジが生じている箇所において出力されるため、
通常、距離データは、白線以外の路面部分では出力され
にくいという傾向がある。
【０００４】一方、図４は、先行車のタイヤによる圧雪
でわだち状に雪が存在する積雪路面（わだち雪）を走行
している状況で、図３と同一景色を撮像した画像であ
る。わだち雪が存在するような路面状況では、白線に起
因した輝度エッジ以外にわだち雪に起因した輝度エッジ
も多数存在する。その結果、乾いた舗装路を走行してい
る状況と異なり、路面部分に多数の距離データが算出さ
れる。また、砂利道を走行している状況もわだち雪と同
様の特性があり、路面の砂利の凹凸で輝度エッジが存在
するため、路面部分に多数の距離データが算出される。
でわだち状に雪が存在する積雪路面（わだち雪）を走行
している状況で、図３と同一景色を撮像した画像であ
る。わだち雪が存在するような路面状況では、白線に起
因した輝度エッジ以外にわだち雪に起因した輝度エッジ
も多数存在する。その結果、乾いた舗装路を走行してい
る状況と異なり、路面部分に多数の距離データが算出さ
れる。また、砂利道を走行している状況もわだち雪と同
様の特性があり、路面の砂利の凹凸で輝度エッジが存在
するため、路面部分に多数の距離データが算出される。
【０００５】わだち状の積雪路面や砂利道のように、路
面部分に多数の距離データが算出されてしまうような路
面状況では、監視制御を的確に行うことが困難になる場
合がある。なぜなら、路面部分に出力された多数の距離
データのうち、どれが道路認識に必要となる白線に関す
る距離データなのかを特定することが困難だからであ
る。また、これらの路面状況は、乾いた舗装路と比べ
て、路面の摩擦係数μが著しく低下している。したがっ
て、摩擦係数μが低い路面状況で減速等を行う場合、車
輌がスリップしてしまわないように、通常制御時よりも
緩やかに車輌制動を行う必要がある。
面部分に多数の距離データが算出されてしまうような路
面状況では、監視制御を的確に行うことが困難になる場
合がある。なぜなら、路面部分に出力された多数の距離
データのうち、どれが道路認識に必要となる白線に関す
る距離データなのかを特定することが困難だからであ
る。また、これらの路面状況は、乾いた舗装路と比べ
て、路面の摩擦係数μが著しく低下している。したがっ
て、摩擦係数μが低い路面状況で減速等を行う場合、車
輌がスリップしてしまわないように、通常制御時よりも
緩やかに車輌制動を行う必要がある。
【０００６】。ステレオ式車外監視装置の安全性を高い
次元で確保するという観点でいえば、上述したような路
面状況を的確に検出することが重要である。それととも
に、検出された路面の状況に応じてフェールセーフを含
めた適切な制御を行うことも重要である。なお、本明細
書でいう「フェールセーフ」とは、通常制御と異なる監
視制御を行うという広い概念である。したがって、通常
の監視制御を一時的に中断することはもとより、通常制
御時よりも緩やかな制動力を生じさせるような制御もこ
こでいう「フェールセーフ」の概念に含まれる。
次元で確保するという観点でいえば、上述したような路
面状況を的確に検出することが重要である。それととも
に、検出された路面の状況に応じてフェールセーフを含
めた適切な制御を行うことも重要である。なお、本明細
書でいう「フェールセーフ」とは、通常制御と異なる監
視制御を行うという広い概念である。したがって、通常
の監視制御を一時的に中断することはもとより、通常制
御時よりも緩やかな制動力を生じさせるような制御もこ
こでいう「フェールセーフ」の概念に含まれる。
【０００７】
【発明が解決しようとする課題】このように、ステレオ
式車外監視装置においては、路面の状況を的確に検出す
るための手法が確立されておらず、監視装置の安全性を
高い次元で確保するための課題が残されていた。
式車外監視装置においては、路面の状況を的確に検出す
るための手法が確立されておらず、監視装置の安全性を
高い次元で確保するための課題が残されていた。
【０００８】そこで、本発明の目的は、走行路の路面状
況を撮像画像から精度よく検出することができるステレ
オ式車外監視装置を提供することである。
況を撮像画像から精度よく検出することができるステレ
オ式車外監視装置を提供することである。
【０００９】また、本発明の別の目的は、走行路の路面
状況に必要に応じて適切な制御を行い得るステレオ式車
外監視装置を提供することである。
状況に必要に応じて適切な制御を行い得るステレオ式車
外監視装置を提供することである。
【００１０】
【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載された発明は、ステレオカメラによ
り自車両の前方の景色を撮像して得た画像データ対に映
し出された対象物の視差に基づいて当該対象物の距離デ
ータを算出し、前記画像データと前記距離データとに基
づいて走行環境を認識するステレオ式車外監視装置にお
いて、撮像画像における道路が存在すると予測される領
域に距離データ監視領域を設定して該距離データ監視領
域に存在する距離データの数をカウントし、該距離デー
タの数が予め設定された判定しきい値よりも大きいと
き、前記認識のフェールと判定するフェール判定手段を
備え、前記フェール判定手段は、前記距離データ監視領
域を、前記予測走行線を基準として車長方向に所定長を
有すると共に車幅方向に所定幅を有し、且つ前記予測走
行線を基準として車高方向に所定幅を有する領域を、前
記距離データ監視領域として設定することをたことを特
徴とする。すなわち、請求項１に記載された発明は、撮
像画像における道路が存在すると予測される領域に距離
データ監視領域を設定して該距離データ監視領域に存在
する距離データの数をカウントし、該距離データの数が
予め設定された判定しきい値よりも大きいとき、前記認
識のフェールと判定することで、わだち状の積雪路面や
砂利道のように、路面部分に多数の距離データが算出さ
れてしまい監視制御を的確に行うことが困難な路面状況
の場合は、これを確実に判定し、監視装置の安全性を高
い次元で確保する。それとともに、距離データ監視領域
を設定するに際して、画像データと距離データとから道
路形状を認識し、該認識された道路の形状から自車両の
走行経路を予測した予測走行線を算出する。そして、予
測走行線を基準として車長方向に所定長を有すると共に
車幅方向に所定幅を有し、且つ前記予測走行線を基準と
して車高方向に所定幅を有する領域を、距離データ監視
領域として設定するので、確実に距離データ監視領域内
に走行時の路面を捉えることができ、判定精度を向上す
ることができる。
め、請求項１に記載された発明は、ステレオカメラによ
り自車両の前方の景色を撮像して得た画像データ対に映
し出された対象物の視差に基づいて当該対象物の距離デ
ータを算出し、前記画像データと前記距離データとに基
づいて走行環境を認識するステレオ式車外監視装置にお
いて、撮像画像における道路が存在すると予測される領
域に距離データ監視領域を設定して該距離データ監視領
域に存在する距離データの数をカウントし、該距離デー
タの数が予め設定された判定しきい値よりも大きいと
き、前記認識のフェールと判定するフェール判定手段を
備え、前記フェール判定手段は、前記距離データ監視領
域を、前記予測走行線を基準として車長方向に所定長を
有すると共に車幅方向に所定幅を有し、且つ前記予測走
行線を基準として車高方向に所定幅を有する領域を、前
記距離データ監視領域として設定することをたことを特
徴とする。すなわち、請求項１に記載された発明は、撮
像画像における道路が存在すると予測される領域に距離
データ監視領域を設定して該距離データ監視領域に存在
する距離データの数をカウントし、該距離データの数が
予め設定された判定しきい値よりも大きいとき、前記認
識のフェールと判定することで、わだち状の積雪路面や
砂利道のように、路面部分に多数の距離データが算出さ
れてしまい監視制御を的確に行うことが困難な路面状況
の場合は、これを確実に判定し、監視装置の安全性を高
い次元で確保する。それとともに、距離データ監視領域
を設定するに際して、画像データと距離データとから道
路形状を認識し、該認識された道路の形状から自車両の
走行経路を予測した予測走行線を算出する。そして、予
測走行線を基準として車長方向に所定長を有すると共に
車幅方向に所定幅を有し、且つ前記予測走行線を基準と
して車高方向に所定幅を有する領域を、距離データ監視
領域として設定するので、確実に距離データ監視領域内
に走行時の路面を捉えることができ、判定精度を向上す
ることができる。
【００１１】
【００１２】請求項２に記載された発明は、請求項１に
記載された発明において、前記フェール判定手段は、前
記距離データ監視領域において車高方向であって車高ゼ
ロを含む所定幅をドライデータ領域として設定し、ドラ
イデータ領域における距離データの数をカウントし、該
距離データの数が前記判定しきい値よりも大きいとき、
前記走行環境認識のフェールと判定することを特徴とす
る。すなわち、請求項２に記載された発明は、フェール
を判定するに際して、前記距離データ監視領域において
車高方向であって車高ゼロを含む所定幅をドライデータ
領域として設定し、ドライデータ領域における距離デー
タの数をカウントする。そして、距離データの数が判定
しきい値よりも大きいとき、前記走行環境認識のフェー
ルと判定するので、距離データ領域中において確実に路
面を捕捉し、路面の状況に起因して算出された距離デー
タの数を的確にカウントすることができて、更なる判定
精度の向上を図ることができる。
記載された発明において、前記フェール判定手段は、前
記距離データ監視領域において車高方向であって車高ゼ
ロを含む所定幅をドライデータ領域として設定し、ドラ
イデータ領域における距離データの数をカウントし、該
距離データの数が前記判定しきい値よりも大きいとき、
前記走行環境認識のフェールと判定することを特徴とす
る。すなわち、請求項２に記載された発明は、フェール
を判定するに際して、前記距離データ監視領域において
車高方向であって車高ゼロを含む所定幅をドライデータ
領域として設定し、ドライデータ領域における距離デー
タの数をカウントする。そして、距離データの数が判定
しきい値よりも大きいとき、前記走行環境認識のフェー
ルと判定するので、距離データ領域中において確実に路
面を捕捉し、路面の状況に起因して算出された距離デー
タの数を的確にカウントすることができて、更なる判定
精度の向上を図ることができる。
【００１３】請求項３に記載された発明は、請求項１ま
たは２に記載された発明において、前記フェール判定手
段は、撮像画像における道路が映し出される領域に画像
データ監視領域を設定して該画像データ監視領域内の輝
度エッジ数をしきい値と比較し、輝度エッジ数がしきい
値以上のときには、前記判定しきい値を輝度エッジ数が
しきい値未満のときに採用される判定しきい値よりも小
さい値に設定することを特徴とする。すなわち、請求項
３に記載された発明は、フェールを判定するに際して、
撮像画像における道路が映し出される領域に画像データ
監視領域を設定して該画像データ監視領域内の輝度エッ
ジ数をしきい値と比較する。そして、輝度エッジ数がし
きい値以上のときには、前記判定しきい値を輝度エッジ
数がしきい値未満のときに採用される判定しきい値より
も小さい値に設定するので、画像データ監視領域内の輝
度エッジ数がしきい値以上で舗装路の白線が画像データ
監視領域内に映し出されているとき、判定しきい値を輝
度エッジ数がしきい値未満のときに採用される判定しき
い値よりも小さい値に設定して距離データ数と比較する
ことで、このとき距離データの数が判定しきい値以上で
あれば本来の路面状況ではありえない数の距離データが
算出されており以上であると判断することができ、この
場合においても走行環境認識のフェールと判定し、監視
装置の安全性を高い次元で確保することができる。
たは２に記載された発明において、前記フェール判定手
段は、撮像画像における道路が映し出される領域に画像
データ監視領域を設定して該画像データ監視領域内の輝
度エッジ数をしきい値と比較し、輝度エッジ数がしきい
値以上のときには、前記判定しきい値を輝度エッジ数が
しきい値未満のときに採用される判定しきい値よりも小
さい値に設定することを特徴とする。すなわち、請求項
３に記載された発明は、フェールを判定するに際して、
撮像画像における道路が映し出される領域に画像データ
監視領域を設定して該画像データ監視領域内の輝度エッ
ジ数をしきい値と比較する。そして、輝度エッジ数がし
きい値以上のときには、前記判定しきい値を輝度エッジ
数がしきい値未満のときに採用される判定しきい値より
も小さい値に設定するので、画像データ監視領域内の輝
度エッジ数がしきい値以上で舗装路の白線が画像データ
監視領域内に映し出されているとき、判定しきい値を輝
度エッジ数がしきい値未満のときに採用される判定しき
い値よりも小さい値に設定して距離データ数と比較する
ことで、このとき距離データの数が判定しきい値以上で
あれば本来の路面状況ではありえない数の距離データが
算出されており以上であると判断することができ、この
場合においても走行環境認識のフェールと判定し、監視
装置の安全性を高い次元で確保することができる。
【００１４】請求項４に記載された発明は、請求項１か
ら３のいずれか記載の発明において、前記フェール判定
手段により前記走行環境認識のフェールと判定されたと
き、車両をフェールセーフ制御する処理手段を更に備え
たことを特徴とする。すなわち、請求項４に記載された
発明は、前記フェール判定手段により前記走行環境認識
のフェールと判定されたとき、車両をフェールセーフ制
御するので、走行環境認識のフェール時は車両を安全側
に制御することができ、更なる安全性の向上を図ること
ができる。
ら３のいずれか記載の発明において、前記フェール判定
手段により前記走行環境認識のフェールと判定されたと
き、車両をフェールセーフ制御する処理手段を更に備え
たことを特徴とする。すなわち、請求項４に記載された
発明は、前記フェール判定手段により前記走行環境認識
のフェールと判定されたとき、車両をフェールセーフ制
御するので、走行環境認識のフェール時は車両を安全側
に制御することができ、更なる安全性の向上を図ること
ができる。
【００１５】
【発明の実施の形態】図１は、本実施例にかかる車外監
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔でルームミラーの近傍に取り
付けられており、車輌前方の風景を撮像する。メインカ
メラ１は、ステレオ処理を行う際に必要な基準画像（右
画像）を撮像し、サブカメラ２は、この処理における比
較画像（左画像）を撮像する。互いの同期している状態
において、ステレオカメラ１，２から出力された各アナ
ログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝
度階調（例えば、２５６階調のグレースケール）のデジ
タル画像に変換される。デジタル化された画像は、画像
補正部５において、輝度の補正や画像の幾何学的な変換
等が行われる。通常、一対のカメラ１，２の取り付け位
置は、程度の差こそあれ誤差があるため、それに起因し
たずれが左右の画像に存在している。このずれを補正す
るために、アフィン変換等を用いて、画像の回転や平行
移動等の幾何学的な変換が行われる。このようにして補
正された基準画像および比較画像は、元画像メモリ８に
格納される。
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔でルームミラーの近傍に取り
付けられており、車輌前方の風景を撮像する。メインカ
メラ１は、ステレオ処理を行う際に必要な基準画像（右
画像）を撮像し、サブカメラ２は、この処理における比
較画像（左画像）を撮像する。互いの同期している状態
において、ステレオカメラ１，２から出力された各アナ
ログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝
度階調（例えば、２５６階調のグレースケール）のデジ
タル画像に変換される。デジタル化された画像は、画像
補正部５において、輝度の補正や画像の幾何学的な変換
等が行われる。通常、一対のカメラ１，２の取り付け位
置は、程度の差こそあれ誤差があるため、それに起因し
たずれが左右の画像に存在している。このずれを補正す
るために、アフィン変換等を用いて、画像の回転や平行
移動等の幾何学的な変換が行われる。このようにして補
正された基準画像および比較画像は、元画像メモリ８に
格納される。
【００１６】一方、ステレオ画像処理部６は、画像補正
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車輌から対象物まで
の距離を含む）を算出する。この距離は、４×４画素の
画素ブロック単位（対象物）で算出され、左右画像にお
ける同一対象物の位置に関する相対的なずれ（視差）か
ら、三角測量の原理に基づき算出することができる。こ
のようにして算出された画像の距離データは、距離デー
タメモリ７に格納される。
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車輌から対象物まで
の距離を含む）を算出する。この距離は、４×４画素の
画素ブロック単位（対象物）で算出され、左右画像にお
ける同一対象物の位置に関する相対的なずれ（視差）か
ら、三角測量の原理に基づき算出することができる。こ
のようにして算出された画像の距離データは、距離デー
タメモリ７に格納される。
【００１７】マイクロ・コンピューター９は、元画像メ
モリ８および距離データメモリ７に格納された各情報、
並びにナビゲーション情報や各種センサ情報（図示せ
ず）に基づき、白線検出を含めた車輌前方の道路形状
（直線やカーブ形状）を認識する（道路認識部１０）。
また、それらに基づいて、車輌前方の立体物（走行車）
等も認識する（立体物認識部１１）。そして、処理部１
３は、これらの認識部１０，１１からの情報から警報や
車輌制御が必要と判定された場合、モニタやスピーカー
等の警報装置１９によりドライバーに対して注意を促し
たり、あるいは、必要に応じて、各種制御部１４〜１８
を制御する。例えば、ＡＴ（自動変速機）制御部１４に
対して、シフトダウンを実行する旨を指示する。また、
エンジン制御部１８に対してエンジン出力を低下する旨
を指示してもよい。その他にも、アンチロックブレーキ
システム（ＡＢＳ）制御部１５、トラクションコントロ
ールシステム（ＴＣＳ）制御部１６、或いは各車輪のト
ルク配分や回転数を制御する車輌挙動制御部１７に対し
て、適切な車輌制御を指示することも可能である。
モリ８および距離データメモリ７に格納された各情報、
並びにナビゲーション情報や各種センサ情報（図示せ
ず）に基づき、白線検出を含めた車輌前方の道路形状
（直線やカーブ形状）を認識する（道路認識部１０）。
また、それらに基づいて、車輌前方の立体物（走行車）
等も認識する（立体物認識部１１）。そして、処理部１
３は、これらの認識部１０，１１からの情報から警報や
車輌制御が必要と判定された場合、モニタやスピーカー
等の警報装置１９によりドライバーに対して注意を促し
たり、あるいは、必要に応じて、各種制御部１４〜１８
を制御する。例えば、ＡＴ（自動変速機）制御部１４に
対して、シフトダウンを実行する旨を指示する。また、
エンジン制御部１８に対してエンジン出力を低下する旨
を指示してもよい。その他にも、アンチロックブレーキ
システム（ＡＢＳ）制御部１５、トラクションコントロ
ールシステム（ＴＣＳ）制御部１６、或いは各車輪のト
ルク配分や回転数を制御する車輌挙動制御部１７に対し
て、適切な車輌制御を指示することも可能である。
【００１８】さらに、フェール判定部１２は、元画像メ
モリ８に記憶された画像データと、距離データメモリ７
に記憶された距離データと、道路認識部１０で算出され
た予測走行線Ｌとに基づいて、後述するルーチンにした
がってフェール判定を行う。フェール判定部１２からフ
ェールセーフが指示された場合、処理部１３はフェール
セーフを実行する。これにより、例えば、道路等の誤認
識にともなう装置の誤動作を防ぐために、上述した車輌
制御等が一時的に中断される。また、通常制御時よりも
緩やかな車輌制動力が生じるように、上記の制御部１４
〜１８の各種制動パラメータを変更する。
モリ８に記憶された画像データと、距離データメモリ７
に記憶された距離データと、道路認識部１０で算出され
た予測走行線Ｌとに基づいて、後述するルーチンにした
がってフェール判定を行う。フェール判定部１２からフ
ェールセーフが指示された場合、処理部１３はフェール
セーフを実行する。これにより、例えば、道路等の誤認
識にともなう装置の誤動作を防ぐために、上述した車輌
制御等が一時的に中断される。また、通常制御時よりも
緩やかな車輌制動力が生じるように、上記の制御部１４
〜１８の各種制動パラメータを変更する。
【００１９】図２は、本実施例にかかるフェールの判定
ルーチンを示したフローチャートである。このフローチ
ャートは、所定の制御周期ごとに繰り返し実行される。
このルーチンにより、現在の走行環境がフェール条件に
合致すると判断された場合、フェール判定部１２は処理
部１３に対して、フェールセーフを実行する旨指示す
る。
ルーチンを示したフローチャートである。このフローチ
ャートは、所定の制御周期ごとに繰り返し実行される。
このルーチンにより、現在の走行環境がフェール条件に
合致すると判断された場合、フェール判定部１２は処理
部１３に対して、フェールセーフを実行する旨指示す
る。
【００２０】まず、ステップ１において、フェール判定
部１２は、元画像メモリ８に記憶された画像データと、
距離データメモリ７に記憶された距離データと、道路認
識部１０にて算出された予測走行線Ｌとを読み込む。予
測走行線Ｌは、自車輌が進むべき走行経路を予測したラ
インであり、検出された白線（路面に記された中央線、
走行線あるいは路肩線等）を基本として、舵角やヨーレ
ート、或いは必要に応じてナビゲーション情報も考慮し
て算出される。予測走行線Ｌは、図８に示したように認
識された道路形状から算出される。以下、予測走行線Ｌ
の導出方法を概略的に説明する。
部１２は、元画像メモリ８に記憶された画像データと、
距離データメモリ７に記憶された距離データと、道路認
識部１０にて算出された予測走行線Ｌとを読み込む。予
測走行線Ｌは、自車輌が進むべき走行経路を予測したラ
インであり、検出された白線（路面に記された中央線、
走行線あるいは路肩線等）を基本として、舵角やヨーレ
ート、或いは必要に応じてナビゲーション情報も考慮し
て算出される。予測走行線Ｌは、図８に示したように認
識された道路形状から算出される。以下、予測走行線Ｌ
の導出方法を概略的に説明する。
【００２１】まず、撮像画像対に映し出されたある対象
物（例えば道路や先行車）の視差ｄが算出されると、下
式に基づいて、その対象物までの距離Ｚを算出すること
ができる。ここで、ｒは、ステレオカメラ１，２間の取
り付け間隔、ｆはステレオカメラ１，２の焦点距離であ
る。
物（例えば道路や先行車）の視差ｄが算出されると、下
式に基づいて、その対象物までの距離Ｚを算出すること
ができる。ここで、ｒは、ステレオカメラ１，２間の取
り付け間隔、ｆはステレオカメラ１，２の焦点距離であ
る。
【００２２】
【数１】Ｚ＝（ｒ・ｆ）／ｄ
【００２３】撮像画像の二次元座標（ｉ，ｊ）は、図３
または図４に示したように、撮像画像の左下隅を原点と
して、水平方向をｉ座標軸、垂直方向をｊ座標軸とする
（単位は画素）。一方、自車輌を基準に設定された実空
間の三次元座標（Ｘ，Ｙ，Ｚ）は、ステレオカメラ１，
２の中央真下の道路面を原点として、車幅方向をＸ軸、
車高方向をＹ軸、車長方向をＺ軸とする。したがって、
走行路が水平ならば、ＸＺ平面（Ｙ＝０）は路面と一致
する。撮像画像に映し出された対象物の距離データ
（ｉ，ｊ，Ｚ）が特定されると、下式の座標変換式に基
づき、その三次元位置（Ｘ，Ｙ，Ｚ）も一意に特定する
ことができる。ここで、同式におけるＣＨは、ステレオ
カメラ１，２の取り付けた高さ（定数）、ｒはステレオ
カメラ１，２の取り付け間隔（定数）、ＰＷは１画素当
たりの視野角（定数）、そして、ＩＶ、ＪＶは車輌の真
正面における無限遠点の画像上のｉまたはｊ座標の値
（定数）である。
または図４に示したように、撮像画像の左下隅を原点と
して、水平方向をｉ座標軸、垂直方向をｊ座標軸とする
（単位は画素）。一方、自車輌を基準に設定された実空
間の三次元座標（Ｘ，Ｙ，Ｚ）は、ステレオカメラ１，
２の中央真下の道路面を原点として、車幅方向をＸ軸、
車高方向をＹ軸、車長方向をＺ軸とする。したがって、
走行路が水平ならば、ＸＺ平面（Ｙ＝０）は路面と一致
する。撮像画像に映し出された対象物の距離データ
（ｉ，ｊ，Ｚ）が特定されると、下式の座標変換式に基
づき、その三次元位置（Ｘ，Ｙ，Ｚ）も一意に特定する
ことができる。ここで、同式におけるＣＨは、ステレオ
カメラ１，２の取り付けた高さ（定数）、ｒはステレオ
カメラ１，２の取り付け間隔（定数）、ＰＷは１画素当
たりの視野角（定数）、そして、ＩＶ、ＪＶは車輌の真
正面における無限遠点の画像上のｉまたはｊ座標の値
（定数）である。
【００２４】
【数２】 Ｘ ＝ ｒ／２ ＋ Ｚ・ＰＷ・（ｉ−ＩＶ） Ｙ ＝ ＣＨ − Ｚ・ＰＷ・（ｊ−ＪＶ）
【００２５】なお、実空間の三次元座標（Ｘ、Ｙ、Ｚ）
から撮像画像の二次元位置（ｉ，ｊ）への変換式は下式
のようになる。
から撮像画像の二次元位置（ｉ，ｊ）への変換式は下式
のようになる。
【００２６】
【数３】 ｉ ＝ （Ｘ−ｒ／２）／（Ｚ・ＰＷ）＋ＩＶ ｊ ＝ （ＣＨ−Ｙ）／（Ｚ・ＰＷ） ＋ＪＶ
【００２７】道路認識部１０は、道路と先行車とが重な
って映し出されている場合、先行車や白線の位置情報
（高さＹ）を利用して白線だけを分離して抽出すること
で、「道路形状の認識」を行う。三次元空間において白
線は路面位置にあり（理想的な状態ではＹ＝０）、先行
車などの立体物は路面よりも高い位置にある（理想的な
状態ではＹ＞０）。したがって、路面の高さ、すなわち
Ｙ座標の値が特定できれば、白線と立体物とを区別する
ことができる。ここで、「道路形状の認識」とは、道路
形状を表現した関数（道路モデル）の各パラメータを、
実際の道路形状と合致するように設定することである。
本実施例における道路モデルは、認識範囲（例えばカメ
ラ位置から車輌前方８４ｍ先まで）の走行路における左
右の白線（サイドライン）を、所定区間ごとに三次元の
直線式で近似し、これを折れ線状に連結することにより
表現される。図８の例では、認識範囲を所定の距離（Ｚ
１〜Ｚ７）ごとに７つの区間に分けて、それぞれの区間
において、下式で近似された直線式のパラメータａ，
ｂ，ｃ，ｄがサイドライン毎に導出される。そして、左
右のサイドラインで挟まれた領域が走行路（路面）に相
当する。なお、この道路モデルは、車幅方向（Ｘ方向）
のみならず、車高方向（Ｙ方向）の直線式をも有してい
るため、道路の勾配や凹凸といった上下方向における道
路形状も表現している。
って映し出されている場合、先行車や白線の位置情報
（高さＹ）を利用して白線だけを分離して抽出すること
で、「道路形状の認識」を行う。三次元空間において白
線は路面位置にあり（理想的な状態ではＹ＝０）、先行
車などの立体物は路面よりも高い位置にある（理想的な
状態ではＹ＞０）。したがって、路面の高さ、すなわち
Ｙ座標の値が特定できれば、白線と立体物とを区別する
ことができる。ここで、「道路形状の認識」とは、道路
形状を表現した関数（道路モデル）の各パラメータを、
実際の道路形状と合致するように設定することである。
本実施例における道路モデルは、認識範囲（例えばカメ
ラ位置から車輌前方８４ｍ先まで）の走行路における左
右の白線（サイドライン）を、所定区間ごとに三次元の
直線式で近似し、これを折れ線状に連結することにより
表現される。図８の例では、認識範囲を所定の距離（Ｚ
１〜Ｚ７）ごとに７つの区間に分けて、それぞれの区間
において、下式で近似された直線式のパラメータａ，
ｂ，ｃ，ｄがサイドライン毎に導出される。そして、左
右のサイドラインで挟まれた領域が走行路（路面）に相
当する。なお、この道路モデルは、車幅方向（Ｘ方向）
のみならず、車高方向（Ｙ方向）の直線式をも有してい
るため、道路の勾配や凹凸といった上下方向における道
路形状も表現している。
【００２８】
【数４】 （左サイドライン） Ｘ ＝ ａL・Ｚ ＋ ｂL Ｙ ＝ ｃL・Ｚ ＋ ｄL （右サイドライン） Ｘ ＝ ａR・Ｚ ＋ ｂR Ｙ ＝ ｃR・Ｚ ＋ ｄR
【００２９】このようにして算出された左右のサイドラ
インから予測走行線Ｌを算出することができる。予測走
行線Ｌは、走行路の中央線、すなわち、数式４により近
似された左右のサイドラインの中間線として求めること
ができる。このようにして算出された予測走行線Ｌがフ
ェール判定部１２に出力される。
インから予測走行線Ｌを算出することができる。予測走
行線Ｌは、走行路の中央線、すなわち、数式４により近
似された左右のサイドラインの中間線として求めること
ができる。このようにして算出された予測走行線Ｌがフ
ェール判定部１２に出力される。
【００３０】ステップ１に続き、ステップ２からステッ
プ５において、画像データ監視領域Ｒ１における輝度エ
ッジの数Ｎ１がカウントされる。図５は、撮像画像中に
設定された画像データ監視領域Ｒ１を説明するための図
である。２００×５１２画素のサイズを有する撮像画像
のうち、図示したように画像下側において水平方向に延
在する横長矩形領域を画像データ監視領域Ｒ１とする。
路面の輝度変化に関する状態は、この監視領域Ｒ１に基
づいて判断される。そのため、監視領域Ｒ１は、撮像さ
れた画像のうち道路が映し出される領域を含むように設
定される必要がある。その際、撮像画像のなるべく下側
に監視領域Ｒ１を設定することが好ましい。通常、自車
輌は、先行車とある程度の車間距離をおいて走行してい
るため、先行車は二次元平面である撮像画像の比較的上
側に映し出される傾向がある。したがって、撮像画像の
なるべく下側に監視領域Ｒ１を設定すれば、先行車によ
って路面がマスクされてしまう状況を避けることがで
き、路面状態を正確にモニタリングすることができる。
また、監視領域Ｒ１は、図３に示したように、走行車線
の中央線や走行車線、或いは路肩線といった走行路の両
端部（すなわちエッジ）よりも外側の状況を含む程度に
水平方向に延在させている。なお、上記エッジが撮像画
像の左右に振れるような走行状況（例えばカーブ走行時
等）を見越して、その分だけ監視領域Ｒの水平長を長め
に設定しておく。
プ５において、画像データ監視領域Ｒ１における輝度エ
ッジの数Ｎ１がカウントされる。図５は、撮像画像中に
設定された画像データ監視領域Ｒ１を説明するための図
である。２００×５１２画素のサイズを有する撮像画像
のうち、図示したように画像下側において水平方向に延
在する横長矩形領域を画像データ監視領域Ｒ１とする。
路面の輝度変化に関する状態は、この監視領域Ｒ１に基
づいて判断される。そのため、監視領域Ｒ１は、撮像さ
れた画像のうち道路が映し出される領域を含むように設
定される必要がある。その際、撮像画像のなるべく下側
に監視領域Ｒ１を設定することが好ましい。通常、自車
輌は、先行車とある程度の車間距離をおいて走行してい
るため、先行車は二次元平面である撮像画像の比較的上
側に映し出される傾向がある。したがって、撮像画像の
なるべく下側に監視領域Ｒ１を設定すれば、先行車によ
って路面がマスクされてしまう状況を避けることがで
き、路面状態を正確にモニタリングすることができる。
また、監視領域Ｒ１は、図３に示したように、走行車線
の中央線や走行車線、或いは路肩線といった走行路の両
端部（すなわちエッジ）よりも外側の状況を含む程度に
水平方向に延在させている。なお、上記エッジが撮像画
像の左右に振れるような走行状況（例えばカーブ走行時
等）を見越して、その分だけ監視領域Ｒの水平長を長め
に設定しておく。
【００３１】このように設定された画像データ監視領域
Ｒ１内に存在するある対象画素Ｔに関して、画像の水平
方向（横方向）の輝度変化量Δχが算出される。図６
は、画像データ監視領域Ｒ１における水平方向の輝度エ
ッジを判定する方法を説明するための図である。まず、
監視領域Ｒ１内に存在するある対象画素Ｔに関して、輝
度変化量Δχを算出する。輝度変化量Δχは、対象画素
Ｔの左側で近接した２画素（画素ブロック）の輝度和と
右側で近接した２画素（画素ブロック）の輝度和との差
（絶対値）である。この算出手法では、左右の画素ブロ
ックを比較単位として輝度変化を見ているため、対象画
素Ｔに関する水平方向のエッジ状態を的確に反映した値
を求めることができる。
Ｒ１内に存在するある対象画素Ｔに関して、画像の水平
方向（横方向）の輝度変化量Δχが算出される。図６
は、画像データ監視領域Ｒ１における水平方向の輝度エ
ッジを判定する方法を説明するための図である。まず、
監視領域Ｒ１内に存在するある対象画素Ｔに関して、輝
度変化量Δχを算出する。輝度変化量Δχは、対象画素
Ｔの左側で近接した２画素（画素ブロック）の輝度和と
右側で近接した２画素（画素ブロック）の輝度和との差
（絶対値）である。この算出手法では、左右の画素ブロ
ックを比較単位として輝度変化を見ているため、対象画
素Ｔに関する水平方向のエッジ状態を的確に反映した値
を求めることができる。
【００３２】つぎに、ステップ２において算出された輝
度変化量Δχが所定のしきい値Δχth（例えば日中では
３０）よりも大きいか否か、すなわち、対象画素部で輝
度エッジが生じているか否かが判断される（ステップ
３）。この輝度エッジの有無を判定するしきい値Δχth
の値に関して、輝度変化が生じにくくなる夜間等では、
エッジ判定基準を緩和するために日中よりも小さな値
（例えば２０）を用いる。このステップで肯定判定され
た場合、すなわち対象画素Ｔで輝度エッジが生じている
場合は、輝度エッジ数Ｎ１に１をインクリメントして
（ステップ４）、ステップ５に進む。一方、ステップ３
で否定判定された場合は、ステップ４を経ることなくス
テップ５へ進む。そして、ステップ５において、監視領
域Ｒ１内のすべての画素Ｔに関して輝度変化量Δχが算
出されたか否かが判断される。このステップで否定判定
された場合は、ステップ２へ戻り、すべての画素が探索
されるまで同様の手順が繰り返し実行される。その結
果、監視領域Ｒ１内に存在するすべての画素を対象に輝
度エッジの有無が判断され、監視領域Ｒ１における輝度
エッジの個数Ｎ１が算出される。これにより、監視領域
Ｒ１全体における水平方向の輝度変化の状態を評価する
ことができる。
度変化量Δχが所定のしきい値Δχth（例えば日中では
３０）よりも大きいか否か、すなわち、対象画素部で輝
度エッジが生じているか否かが判断される（ステップ
３）。この輝度エッジの有無を判定するしきい値Δχth
の値に関して、輝度変化が生じにくくなる夜間等では、
エッジ判定基準を緩和するために日中よりも小さな値
（例えば２０）を用いる。このステップで肯定判定され
た場合、すなわち対象画素Ｔで輝度エッジが生じている
場合は、輝度エッジ数Ｎ１に１をインクリメントして
（ステップ４）、ステップ５に進む。一方、ステップ３
で否定判定された場合は、ステップ４を経ることなくス
テップ５へ進む。そして、ステップ５において、監視領
域Ｒ１内のすべての画素Ｔに関して輝度変化量Δχが算
出されたか否かが判断される。このステップで否定判定
された場合は、ステップ２へ戻り、すべての画素が探索
されるまで同様の手順が繰り返し実行される。その結
果、監視領域Ｒ１内に存在するすべての画素を対象に輝
度エッジの有無が判断され、監視領域Ｒ１における輝度
エッジの個数Ｎ１が算出される。これにより、監視領域
Ｒ１全体における水平方向の輝度変化の状態を評価する
ことができる。
【００３３】ステップ５に続くステップ６以降は、距離
データの出力数を評価する手順である。まず、ステップ
６において、距離データの出力数をカウントする対象範
囲を距離データ監視領域Ｒ２として設定する。図７は、
距離データ監視領域Ｒ２を説明するための図である。こ
の監視領域Ｒ２は、演算量の増加を抑えるために、道路
認識部１０で算出された予測走行線Ｌ（ステップ１）を
基準として、自車輌の前方（車長方向）４０ｍ、左右の
幅（車幅方向）をそれぞれ２ｍとして設定される。な
お、図７は、予測走行線ＬをＺ方向に直線状に延在して
図示しているが、カーブにおいて予測走行線ＬはＸ方向
への変位量をもつ。
データの出力数を評価する手順である。まず、ステップ
６において、距離データの出力数をカウントする対象範
囲を距離データ監視領域Ｒ２として設定する。図７は、
距離データ監視領域Ｒ２を説明するための図である。こ
の監視領域Ｒ２は、演算量の増加を抑えるために、道路
認識部１０で算出された予測走行線Ｌ（ステップ１）を
基準として、自車輌の前方（車長方向）４０ｍ、左右の
幅（車幅方向）をそれぞれ２ｍとして設定される。な
お、図７は、予測走行線ＬをＺ方向に直線状に延在して
図示しているが、カーブにおいて予測走行線ＬはＸ方向
への変位量をもつ。
【００３４】つぎに、ステップ７において、距離データ
監視領域Ｒ２中のドライデータ領域における距離データ
の出力数（以下ドライデータ数ＤＲＹという）がカウン
トされる。ドライデータ数ＤＲＹとは、路面の輝度変化
により生じた距離データの数である。図９は、距離デー
タ監視領域Ｒ２内における距離データの分布を説明する
ための図である。なお、同図は、予測走行線Ｌの車高方
向（Ｙ方向）の変位をＺ軸上に正規化して図示してい
る。上述した数式２の変換式から、距離データ（ｉ，
ｊ，Ｚ）は、実空間の三次元座標（Ｘ、Ｙ、Ｚ）に変換
でき、両者は一対一の関係にある。そこで、距離データ
をその高さ（Ｙ値）に基づいて以下の３つに分類するこ
とができる。
監視領域Ｒ２中のドライデータ領域における距離データ
の出力数（以下ドライデータ数ＤＲＹという）がカウン
トされる。ドライデータ数ＤＲＹとは、路面の輝度変化
により生じた距離データの数である。図９は、距離デー
タ監視領域Ｒ２内における距離データの分布を説明する
ための図である。なお、同図は、予測走行線Ｌの車高方
向（Ｙ方向）の変位をＺ軸上に正規化して図示してい
る。上述した数式２の変換式から、距離データ（ｉ，
ｊ，Ｚ）は、実空間の三次元座標（Ｘ、Ｙ、Ｚ）に変換
でき、両者は一対一の関係にある。そこで、距離データ
をその高さ（Ｙ値）に基づいて以下の３つに分類するこ
とができる。
【００３５】（１）立体物データ領域 立体物データは、先行車などの立体物に起因して算出さ
れた距離データである。理想的な状態では、立体物まで
の距離を示す距離データを、数式２で変換するとＹ＞０
（すなわち路面より上側）となる。しかしながら、実際
の走行環境では、自車輌のピッチングや走行路の起伏に
より、白線等の距離データがＹ＞０となることがある。
そこで、このような点を考慮して、立体物データが出力
される立体物データ領域をＹ＞０．３ｍとして設定す
る。
れた距離データである。理想的な状態では、立体物まで
の距離を示す距離データを、数式２で変換するとＹ＞０
（すなわち路面より上側）となる。しかしながら、実際
の走行環境では、自車輌のピッチングや走行路の起伏に
より、白線等の距離データがＹ＞０となることがある。
そこで、このような点を考慮して、立体物データが出力
される立体物データ領域をＹ＞０．３ｍとして設定す
る。
【００３６】（２）ドライデータ領域 ドライデータは、走行路の路面（白線、路面のわだち、
砂利等）に起因して算出された距離データである。理想
的な状態では、白線等の距離データを数式２で変換する
とＹ＝０（すなわち路面）となる。しかしながら、上述
したように実際の走行環境では、ピッチング等の影響に
より、そのような距離データが高さ方向に正や負の値を
有することがあるので、−０．４ｍ≦Ｙ≦０．３ｍの領
域をドライデータ領域として設定する（図９においてド
ライデータ領域をハッチングで図示）。
砂利等）に起因して算出された距離データである。理想
的な状態では、白線等の距離データを数式２で変換する
とＹ＝０（すなわち路面）となる。しかしながら、上述
したように実際の走行環境では、ピッチング等の影響に
より、そのような距離データが高さ方向に正や負の値を
有することがあるので、−０．４ｍ≦Ｙ≦０．３ｍの領
域をドライデータ領域として設定する（図９においてド
ライデータ領域をハッチングで図示）。
【００３７】（３）ウエットデータ領域 雨等により濡れた路面では立体物が路面に写り込むこと
があり、それに起因して算出された距離データがウエッ
トデータである。この偽りの距離データは理想的な状態
ではＹ＜０となるが、実際の走行環境を考慮して、Ｙ＜
−０．４ｍの領域をウエットデータ領域として設定す
る。
があり、それに起因して算出された距離データがウエッ
トデータである。この偽りの距離データは理想的な状態
ではＹ＜０となるが、実際の走行環境を考慮して、Ｙ＜
−０．４ｍの領域をウエットデータ領域として設定す
る。
【００３８】したがって、ステップ７で算出されるドラ
イデータ数ＤＲＹは、予測走行線Ｌを基準（原点）とし
て、車高、車幅、車長方向に関してそれぞれ以下の条件
を満たす範囲内における距離データの個数として算出さ
れる。
イデータ数ＤＲＹは、予測走行線Ｌを基準（原点）とし
て、車高、車幅、車長方向に関してそれぞれ以下の条件
を満たす範囲内における距離データの個数として算出さ
れる。
【００３９】（ドライデータの条件） 車幅方向幅： −２ ≦ Ｘ ≦ ２ 車高方向幅：−0.4 ≦ Ｙ ≦ 0.3 車長方向長： ０ ≦ Ｚ ≦ ４０
【００４０】なお、ノイズ的な距離データをカウント対
象から除くために、距離データ監視領域Ｒ２内の有効距
離データだけをカウント対象とすることが好ましい。有
効距離データは、画像の水平方向の輝度エッジを所定数
以上有する画素ブロックに関する距離データである。図
１０は、距離データの算出単位である画素ブロックに関
する水平方向の輝度エッジの算出手法を説明するための
図である。距離データは、４×４の画素ブロック単位で
算出される。この画素ブロックにおいて、まず、水平方
向に隣接した画素対の輝度変化量（絶対値）ΔＰを算出
する。ただし、一番左側の画素列（Ｐ11，Ｐ12，Ｐ13，
Ｐ14）に関しては、１つ左側に隣接した画素ブロックの
一番右側の画素列から輝度変化量ΔＰを算出する。した
がって、１つの画素ブロックに関して１６個の輝度変化
量ΔＰが算出される。つぎに、これらの１６個の輝度変
化量ΔＰのうち、所定のしきい値（これをＤＣＤＸ値と
呼ぶ）以上のものの数をカウントする。このＤＣＤＸ値
は、３から７の範囲において適切に設定される。そし
て、このＤＣＤＸ値以上の輝度変化量ΔＰの数が４つ以
上の画素ブロックを有効ブロックとし、その有効ブロッ
クに関する距離データを有効距離データとする。路面状
況の評価は、距離データ監視領域Ｒ２内に存在するすべ
ての距離データに基づいて行うのではなく、水平方向の
輝度変化量が大きな画素ブロックに関する距離データ
（有効距離データ）のみを用いている。これにより、ノ
イズ的な距離データを除外できるため、路面状況の評価
に関する精度を向上させることができる。
象から除くために、距離データ監視領域Ｒ２内の有効距
離データだけをカウント対象とすることが好ましい。有
効距離データは、画像の水平方向の輝度エッジを所定数
以上有する画素ブロックに関する距離データである。図
１０は、距離データの算出単位である画素ブロックに関
する水平方向の輝度エッジの算出手法を説明するための
図である。距離データは、４×４の画素ブロック単位で
算出される。この画素ブロックにおいて、まず、水平方
向に隣接した画素対の輝度変化量（絶対値）ΔＰを算出
する。ただし、一番左側の画素列（Ｐ11，Ｐ12，Ｐ13，
Ｐ14）に関しては、１つ左側に隣接した画素ブロックの
一番右側の画素列から輝度変化量ΔＰを算出する。した
がって、１つの画素ブロックに関して１６個の輝度変化
量ΔＰが算出される。つぎに、これらの１６個の輝度変
化量ΔＰのうち、所定のしきい値（これをＤＣＤＸ値と
呼ぶ）以上のものの数をカウントする。このＤＣＤＸ値
は、３から７の範囲において適切に設定される。そし
て、このＤＣＤＸ値以上の輝度変化量ΔＰの数が４つ以
上の画素ブロックを有効ブロックとし、その有効ブロッ
クに関する距離データを有効距離データとする。路面状
況の評価は、距離データ監視領域Ｒ２内に存在するすべ
ての距離データに基づいて行うのではなく、水平方向の
輝度変化量が大きな画素ブロックに関する距離データ
（有効距離データ）のみを用いている。これにより、ノ
イズ的な距離データを除外できるため、路面状況の評価
に関する精度を向上させることができる。
【００４１】ステップ７に続くステップ８において、ス
テップ４で算出された画像データ監視領域Ｒ１の輝度エ
ッジ数Ｎ１が所定値（例えば２４）以上であるか否かが
判断される。このステップでの判断を設けた理由は、後
のステップ９やステップ１１におけるドライデータ数Ｄ
ＲＹの大きさ判定に関して、輝度エッジ数Ｎ１に応じて
異なる判定しきい値を適用するためである。
テップ４で算出された画像データ監視領域Ｒ１の輝度エ
ッジ数Ｎ１が所定値（例えば２４）以上であるか否かが
判断される。このステップでの判断を設けた理由は、後
のステップ９やステップ１１におけるドライデータ数Ｄ
ＲＹの大きさ判定に関して、輝度エッジ数Ｎ１に応じて
異なる判定しきい値を適用するためである。
【００４２】ステップ８で肯定判定された場合はステッ
プ９に進み、ステップ７で算出されたドライデータ数Ｄ
ＲＹが所定の判定値（例えば４００）以上であるか否か
が判断される。例えば、白線のある舗装路を走行してい
る走行環境では、大きな輝度変化を有する白線が画像デ
ータ監視領域Ｒ１に映し出されるため、輝度エッジ数Ｎ
１は通常２４個以上になる。この場合、白線に起因して
算出された距離データ監視領域Ｒ２内のドライデータ数
ＤＲＹは、それほど多くならないという特性がある（実
験した結果５０〜２００位）。そこで、通常の状態では
それを越えることのないような判定しきい値（例えば４
００）を設定し、それとドライデータ数ＤＲＹとを比較
すれば、路面に関する距離データが適切に出力されてい
るか否かを判定することができる（ステップ９）。すな
わち、このステップで否定判定された場合は、ステップ
１２に進み、正常な状態であるとしてフェールフラグＮ
Ｇを０にセットし、リターンへ進む。一方、ステップ９
で肯定判定された場合、本来の路面状況ではあり得ない
数の距離データが算出されており異常であると判断し
て、フェールフラグＮＧを１にセットする（ステップ１
０）。このようなケースとしては、例えばノイズが制御
装置中の信号に乗ってしまった場合などが想定される。
プ９に進み、ステップ７で算出されたドライデータ数Ｄ
ＲＹが所定の判定値（例えば４００）以上であるか否か
が判断される。例えば、白線のある舗装路を走行してい
る走行環境では、大きな輝度変化を有する白線が画像デ
ータ監視領域Ｒ１に映し出されるため、輝度エッジ数Ｎ
１は通常２４個以上になる。この場合、白線に起因して
算出された距離データ監視領域Ｒ２内のドライデータ数
ＤＲＹは、それほど多くならないという特性がある（実
験した結果５０〜２００位）。そこで、通常の状態では
それを越えることのないような判定しきい値（例えば４
００）を設定し、それとドライデータ数ＤＲＹとを比較
すれば、路面に関する距離データが適切に出力されてい
るか否かを判定することができる（ステップ９）。すな
わち、このステップで否定判定された場合は、ステップ
１２に進み、正常な状態であるとしてフェールフラグＮ
Ｇを０にセットし、リターンへ進む。一方、ステップ９
で肯定判定された場合、本来の路面状況ではあり得ない
数の距離データが算出されており異常であると判断し
て、フェールフラグＮＧを１にセットする（ステップ１
０）。このようなケースとしては、例えばノイズが制御
装置中の信号に乗ってしまった場合などが想定される。
【００４３】一方、ステップ８で否定判定された場合は
ステップ１１に進み、ステップ７で算出されたドライデ
ータ数ＤＲＹが所定の判定値（例えば７００）以上であ
るか否かが判断される（ステップ１１）。例えば、わだ
ち雪が存在するような路面状況では、大きな輝度変化を
有する白線が雪でマスクされてしまう。わだちのエッジ
部で輝度変化は生じるものの、白線ほどその変化量は大
きくない（すなわち輝度変化量Δχがしきい値Δχthを
越えにくい）。そのため、通常、輝度エッジ数Ｎ１は２
４個を越えにくい。同様に、砂利道では、白線自体が存
在しないことが多く、また、砂利の凹凸による輝度変化
は比較的小さいので、通常、輝度エッジ数Ｎ１が２４個
を越えることはない。しかしながら、これらの場合、わ
だちや砂利に起因して距離データ監視領域Ｒ２に、多数
のドライデータが存在するという特性がある。そこで、
わだち雪や砂利といった状況でのみ、それを越えるよう
な判定しきい値（例えば７００）を設定し、それとドラ
イデータ数ＤＲＹとを比較すれば、わだち雪や砂利道を
検出することができる（ステップ１１）。すなわち、こ
のステップで否定判定された場合（例えば、白線のない
舗装路のような通常の路面状況が該当）、正常な状況で
あると判断して、ステップ１２に進み、フェールフラグ
ＮＧを０にセットする。これに対して、ステップ１１で
肯定判定された場合、わだち状の積雪路面や砂利道のよ
うにフェールセーフすべき状況であると判断して、フェ
ールフラグＮＧを１にセットする（ステップ１０）。
ステップ１１に進み、ステップ７で算出されたドライデ
ータ数ＤＲＹが所定の判定値（例えば７００）以上であ
るか否かが判断される（ステップ１１）。例えば、わだ
ち雪が存在するような路面状況では、大きな輝度変化を
有する白線が雪でマスクされてしまう。わだちのエッジ
部で輝度変化は生じるものの、白線ほどその変化量は大
きくない（すなわち輝度変化量Δχがしきい値Δχthを
越えにくい）。そのため、通常、輝度エッジ数Ｎ１は２
４個を越えにくい。同様に、砂利道では、白線自体が存
在しないことが多く、また、砂利の凹凸による輝度変化
は比較的小さいので、通常、輝度エッジ数Ｎ１が２４個
を越えることはない。しかしながら、これらの場合、わ
だちや砂利に起因して距離データ監視領域Ｒ２に、多数
のドライデータが存在するという特性がある。そこで、
わだち雪や砂利といった状況でのみ、それを越えるよう
な判定しきい値（例えば７００）を設定し、それとドラ
イデータ数ＤＲＹとを比較すれば、わだち雪や砂利道を
検出することができる（ステップ１１）。すなわち、こ
のステップで否定判定された場合（例えば、白線のない
舗装路のような通常の路面状況が該当）、正常な状況で
あると判断して、ステップ１２に進み、フェールフラグ
ＮＧを０にセットする。これに対して、ステップ１１で
肯定判定された場合、わだち状の積雪路面や砂利道のよ
うにフェールセーフすべき状況であると判断して、フェ
ールフラグＮＧを１にセットする（ステップ１０）。
【００４４】フェール判定部１２によりフェールセーフ
が指示された場合、処理部１３はフェールセーフを実行
する。フェールセーフとして、例えば、通常の監視制御
を一時的に中断してもよい。また、クルーズコントロー
ルがセットされている場合に、それを止めるような制御
を行うようにしてもよい。さらに、通常制御時よりも緩
やかな制動力を発揮するような車輌制御を行ってもよ
い。
が指示された場合、処理部１３はフェールセーフを実行
する。フェールセーフとして、例えば、通常の監視制御
を一時的に中断してもよい。また、クルーズコントロー
ルがセットされている場合に、それを止めるような制御
を行うようにしてもよい。さらに、通常制御時よりも緩
やかな制動力を発揮するような車輌制御を行ってもよ
い。
【００４５】以上の説明からわかるように、本実施例に
かかるステレオ式車外監視装置は、道路が存在するであ
ろうと予測される撮像画像の所定領域に距離データ監視
領域Ｒ２を設定し、この監視領域Ｒ２内に存在する距離
データに関して、高さ方向の分布を評価している。すな
わち、距離データから三次元空間における高さ（Ｙ方向
の値）を算出し、路面状況に起因した距離データ（有効
距離データ）の出力数をカウントしている。わだち状の
積雪路面や砂利道では、白線がある通常の舗装路等と比
べて、多数の距離データが路面位置の近傍に算出される
という特性がある。このような特性に鑑み、監視領域Ｒ
２内にドライデータが多数存在する場合、わだち状の積
雪路面等であると推定している。
かかるステレオ式車外監視装置は、道路が存在するであ
ろうと予測される撮像画像の所定領域に距離データ監視
領域Ｒ２を設定し、この監視領域Ｒ２内に存在する距離
データに関して、高さ方向の分布を評価している。すな
わち、距離データから三次元空間における高さ（Ｙ方向
の値）を算出し、路面状況に起因した距離データ（有効
距離データ）の出力数をカウントしている。わだち状の
積雪路面や砂利道では、白線がある通常の舗装路等と比
べて、多数の距離データが路面位置の近傍に算出される
という特性がある。このような特性に鑑み、監視領域Ｒ
２内にドライデータが多数存在する場合、わだち状の積
雪路面等であると推定している。
【００４６】また、路面の輝度エッジをモニタリングす
るために、二次元的な平面である撮像画像において、路
面が映し出される特定領域を画像データ監視領域Ｒ１と
して設定している。そして、この監視領域Ｒ１の輝度エ
ッジ数を評価している。わだち状の積雪路面や砂利道で
は、白線がある通常の舗装路等と比べて、輝度エッジ数
が少なくなるという特性がある。このような特性に鑑
み、ドライデータ数を評価する判定しきい値を輝度エッ
ジの数に応じて変えている。これにより、路面状況を一
層精度よく検出することが可能となる。なお、発明者が
実際に走行テストを繰り返した結果、以上の判定手順で
良好な判定結果を得られることが確認できた。
るために、二次元的な平面である撮像画像において、路
面が映し出される特定領域を画像データ監視領域Ｒ１と
して設定している。そして、この監視領域Ｒ１の輝度エ
ッジ数を評価している。わだち状の積雪路面や砂利道で
は、白線がある通常の舗装路等と比べて、輝度エッジ数
が少なくなるという特性がある。このような特性に鑑
み、ドライデータ数を評価する判定しきい値を輝度エッ
ジの数に応じて変えている。これにより、路面状況を一
層精度よく検出することが可能となる。なお、発明者が
実際に走行テストを繰り返した結果、以上の判定手順で
良好な判定結果を得られることが確認できた。
【００４７】さらに、このような検出結果を生かした制
御（フェールセーフを含む）を行えば、車外監視装置の
安全性を一層高い次元で確保することが可能となる。ま
た、本実施例は、少ない演算量でフェール判定を行うこ
とができるという効果もある。
御（フェールセーフを含む）を行えば、車外監視装置の
安全性を一層高い次元で確保することが可能となる。ま
た、本実施例は、少ない演算量でフェール判定を行うこ
とができるという効果もある。
【００４８】なお、車外監視の信頼性および制御の安定
性の双方を確保する観点でいえば、ステップ９またはス
テップ１１においてドライデータ数ＤＲＹが判定しきい
値以上になるような状況が複数の制御周期に渡って継続
した場合に（例えば１０秒相当）、フェールフラグＮＧ
を１にセットすることが好ましい。同様の観点から、ド
ライデータ数ＤＲＹが判定しきい値未満になるような状
況が複数の制御周期に渡って継続したならば（例えば６
０秒相当）、フェールフラグＮＧを０にセットする。
性の双方を確保する観点でいえば、ステップ９またはス
テップ１１においてドライデータ数ＤＲＹが判定しきい
値以上になるような状況が複数の制御周期に渡って継続
した場合に（例えば１０秒相当）、フェールフラグＮＧ
を１にセットすることが好ましい。同様の観点から、ド
ライデータ数ＤＲＹが判定しきい値未満になるような状
況が複数の制御周期に渡って継続したならば（例えば６
０秒相当）、フェールフラグＮＧを０にセットする。
【００４９】また、フェール状況の検出精度を向上させ
るために、上記のフェール判定ルーチンは走行状況に応
じて実行するようにしてもよい。例えば、自車輌と先行
車との車間距離が１３ｍ以上、車速が２０km/h以上、か
つ、舵角±２３°以下の場合のみフェール判定を実行す
る。先行車との車間距離が短い場合、ドライデータの大
半が先行車によってマスクされてしまうため、路面状況
を精度よく検出することが困難となる。また、特に、各
フレーム毎にウェットデータ率ＲＴを算出し、所定のフ
レーム間隔でその評価を行う手法を用いた場合におい
て、車速が低いとフェール判定精度が低下してしまう可
能性がある。車速が低い場合は自車輌の移動量の少ない
ので、局所的な路面しか監視対象にならない。この局所
的な路面が、偶然、フェール状況に合致してしまうよう
な未想定の状態である場合、適切でないフェール判定が
なされてしまうおそれがある。車速が高いことをフェー
ル判定の実行条件とすれば、このような路面が局所的に
存在したとしても、誤ってフェールと判定してしまうこ
とを回避できる。さらに、舵角を考慮した理由は、カメ
ラの視野に入る景色のパターンをある程度限定すること
で、判定精度を向上させるためである。
るために、上記のフェール判定ルーチンは走行状況に応
じて実行するようにしてもよい。例えば、自車輌と先行
車との車間距離が１３ｍ以上、車速が２０km/h以上、か
つ、舵角±２３°以下の場合のみフェール判定を実行す
る。先行車との車間距離が短い場合、ドライデータの大
半が先行車によってマスクされてしまうため、路面状況
を精度よく検出することが困難となる。また、特に、各
フレーム毎にウェットデータ率ＲＴを算出し、所定のフ
レーム間隔でその評価を行う手法を用いた場合におい
て、車速が低いとフェール判定精度が低下してしまう可
能性がある。車速が低い場合は自車輌の移動量の少ない
ので、局所的な路面しか監視対象にならない。この局所
的な路面が、偶然、フェール状況に合致してしまうよう
な未想定の状態である場合、適切でないフェール判定が
なされてしまうおそれがある。車速が高いことをフェー
ル判定の実行条件とすれば、このような路面が局所的に
存在したとしても、誤ってフェールと判定してしまうこ
とを回避できる。さらに、舵角を考慮した理由は、カメ
ラの視野に入る景色のパターンをある程度限定すること
で、判定精度を向上させるためである。
【００５０】さらに、撮像画像に基づく路面状況の判定
結果にくわえて、外気温センサから得られる外気温度を
考慮すれば、雪の有無を一層正確に推定することが可能
となる。
結果にくわえて、外気温センサから得られる外気温度を
考慮すれば、雪の有無を一層正確に推定することが可能
となる。
【００５１】
【発明の効果】以上説明したように本発明によれば、ス
テレオカメラにより自車両の前方の景色を撮像して得た
画像データ対に映し出された対象物の視差に基づいて当
該対象物の距離データを算出し、画像データと距離デー
タとに基づいて走行環境を認識するに際し、撮像画像に
おける道路が存在すると予測される領域に距離データ監
視領域を設定して該距離データ監視領域に存在する距離
データの数をカウントする。そして、該距離データの数
が予め設定された判定しきい値よりも大きいとき、前記
認識のフェールと判定するので、道路の状況を確実に検
出して、わだち状の積雪路面や砂利道のように、路面部
分に多数の距離データが算出されてしまい監視制御を的
確に行うことが困難な路面状況の場合は、これを確実に
判定することができ、監視装置の安全性を高い次元で確
保することができる。
テレオカメラにより自車両の前方の景色を撮像して得た
画像データ対に映し出された対象物の視差に基づいて当
該対象物の距離データを算出し、画像データと距離デー
タとに基づいて走行環境を認識するに際し、撮像画像に
おける道路が存在すると予測される領域に距離データ監
視領域を設定して該距離データ監視領域に存在する距離
データの数をカウントする。そして、該距離データの数
が予め設定された判定しきい値よりも大きいとき、前記
認識のフェールと判定するので、道路の状況を確実に検
出して、わだち状の積雪路面や砂利道のように、路面部
分に多数の距離データが算出されてしまい監視制御を的
確に行うことが困難な路面状況の場合は、これを確実に
判定することができ、監視装置の安全性を高い次元で確
保することができる。
【図１】実施例にかかる車外監視装置のブロック図
【図２】実施例にかかるフェール判定ルーチンを示した
フローチャート
フローチャート
【図３】道路にわだち雪が存在しない走行状況を撮像し
た画像の一例を示した図
た画像の一例を示した図
【図４】わだち雪が存在する走行状況を撮像した画像の
一例を示した図
一例を示した図
【図５】画像領域中に設定された画像データ監視領域を
説明するための図
説明するための図
【図６】画像データ監視領域の水平方向の輝度エッジ判
定方法を説明するための図
定方法を説明するための図
【図７】距離データ監視領域を説明するための図
【図８】予測走行線を説明するための図
【図９】距離データ監視領域の距離データの分布を説明
するための図
するための図
【図１０】距離データの算出単位である画素ブロックに
関する水平方向の輝度エッジの算出手法を説明するため
の図
関する水平方向の輝度エッジの算出手法を説明するため
の図
１ メインカメラ、 ２ サブカメラ、３，
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイクロ・コンピュータ
ー、１０ 道路認識部、 １１ 立体物認識
部、１２ フェール判定部、 １３ 処理部、１
４ ＡＴ制御部、 １５ ＡＢＳ制御部、１
６ ＴＣＳ制御部、 １７ 車輌挙動制御、１
８ エンジン制御部、 １９ 警報装置
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイクロ・コンピュータ
ー、１０ 道路認識部、 １１ 立体物認識
部、１２ フェール判定部、 １３ 処理部、１
４ ＡＴ制御部、 １５ ＡＢＳ制御部、１
６ ＴＣＳ制御部、 １７ 車輌挙動制御、１
８ エンジン制御部、 １９ 警報装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０１Ｂ 11/00 Ｇ０１Ｂ 11/00 Ｈ 11/24 Ｇ０１Ｃ 3/06 Ｖ 11/245 Ｇ０８Ｂ 21/00 Ｅ Ｇ０１Ｃ 3/06 Ｕ Ｇ０８Ｂ 21/00 Ｇ０８Ｇ 1/16 Ｃ Ｈ０４Ｎ 7/18 Ｊ Ｇ０８Ｇ 1/16 Ｇ０１Ｂ 11/24 Ｎ Ｈ０４Ｎ 7/18 Ｋ (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 B60R 1/00 - 1/12 B60R 21/00 - 21/34 G01B 11/00 - 11/30 G01C 3/00 - 3/32 G08G 1/00 - 9/02 H04N 7/18 E01C 23/01 G08B 21/00
Claims (4)
- 【請求項１】ステレオカメラにより自車両の前方の景色
を撮像して得た画像データ対に映し出された対象物の視
差に基づいて当該対象物の距離データを算出し、前記画
像データと前記距離データとに基づいて走行環境を認識
するステレオ式車外監視装置において、 撮像画像における道路が存在すると予測される領域に距
離データ監視領域を設定して該距離データ監視領域に存
在する距離データの数をカウントし、該距離データの数
が予め設定された判定しきい値よりも大きいとき、前記
認識のフェールと判定するフェール判定手段と、 前記画像データと前記距離データとから道路形状を認識
し、該認識された道路の形状から自車両の走行経路を予
測した予測走行線を算出する認識手段とを備え、 前記フェール判定手段は、前記距離データ監視領域を、
前記予測走行線を基準として車長方向に所定長を有する
と共に車幅方向に所定幅を有し、且つ前記予測走行線を
基準として車高方向に所定幅を有する領域を、前記距離
データ監視領域として設定することを特徴とするステレ
オ式車外監視装置。 - 【請求項２】前記フェール判定手段は、前記距離データ
監視領域において車高方向であって車高ゼロを含む所定
幅をドライデータ領域として設定し、ドライデータ領域
における距離データの数をカウントし、該距離データの
数が前記判定しきい値よりも大きいとき、前記走行環境
認識のフェールと判定することを特徴とする請求項１に
記載されたステレオ式車外監視装置。 - 【請求項３】前記フェール判定手段は、撮像画像におけ
る道路が映し出される領域に画像データ監視領域を設定
して該画像データ監視領域内の輝度エッジ数をしきい値
と比較し、輝度エッジ数がしきい値以上のときには、前
記判定しきい値を輝度エッジ数がしきい値未満のときに
採用される判定しきい値よりも小さい値に設定すること
を特徴とする請求項１または２に記載されたステレオ式
車外監視装置。 - 【請求項４】前記フェール判定手段により前記走行環境
認識のフェールと判定されたとき、車両をフェールセー
フ制御する処理手段を更に備えたことを特徴とする請求
項１から３のいずれかに記載されたステレオ式車外監視
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21637399A JP3301995B2 (ja) | 1999-07-30 | 1999-07-30 | ステレオ式車外監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21637399A JP3301995B2 (ja) | 1999-07-30 | 1999-07-30 | ステレオ式車外監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001043495A JP2001043495A (ja) | 2001-02-16 |
| JP3301995B2 true JP3301995B2 (ja) | 2002-07-15 |
Family
ID=16687566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21637399A Expired - Fee Related JP3301995B2 (ja) | 1999-07-30 | 1999-07-30 | ステレオ式車外監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3301995B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3462467B2 (ja) | 2000-11-14 | 2003-11-05 | 富士重工業株式会社 | 車外監視装置 |
| US7941005B2 (en) | 2008-11-28 | 2011-05-10 | Kabushiki Kaisha Toshiba | Information processing apparatus and resolution enhancement processing control program |
| US7945120B2 (en) | 2008-06-30 | 2011-05-17 | Kabushiki Kaisha Toshiba | Apparatus for enhancing resolution using edge detection |
| CN102733295A (zh) * | 2012-07-09 | 2012-10-17 | 中公高科养护科技股份有限公司 | 基于里程桩号校准检测桩号的方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002267441A (ja) * | 2001-03-07 | 2002-09-18 | Fuji Heavy Ind Ltd | ステレオマッチング方法および監視装置 |
| JP4150218B2 (ja) * | 2002-06-25 | 2008-09-17 | 富士重工業株式会社 | 地形認識装置および地形認識方法 |
| JP4930046B2 (ja) * | 2006-12-26 | 2012-05-09 | 日産自動車株式会社 | 路面判別方法および路面判別装置 |
| JP5034809B2 (ja) * | 2007-09-18 | 2012-09-26 | マツダ株式会社 | 車両用路面状態推定装置 |
| JP2012066785A (ja) | 2010-09-27 | 2012-04-05 | Fuji Heavy Ind Ltd | 車両の統合制御装置 |
| JP6111732B2 (ja) * | 2013-02-22 | 2017-04-12 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理システム、画像処理プログラム及び移動装置 |
| JP6178632B2 (ja) * | 2013-06-10 | 2017-08-09 | 株式会社Ｓｕｂａｒｕ | エンジンのサージ制御装置 |
| JP6091379B2 (ja) * | 2013-08-23 | 2017-03-08 | 三菱電機株式会社 | 情報処理装置および情報処理方法 |
| CN106683101B (zh) * | 2016-12-30 | 2019-12-31 | 英华达（上海）科技有限公司 | 路面检测方法及手持式电子装置 |
| JP6539304B2 (ja) * | 2017-06-06 | 2019-07-03 | 株式会社Ｓｕｂａｒｕ | 車両の走行制御装置 |
| JP6891082B2 (ja) * | 2017-09-25 | 2021-06-18 | 日立Astemo株式会社 | 物体距離検出装置 |
| CN110541341B (zh) * | 2019-09-04 | 2021-10-22 | 山西省交通科技研发有限公司 | 一种基于稳定视觉的公路结构病害检测装置及方法 |
| JP7342807B2 (ja) * | 2020-06-30 | 2023-09-12 | トヨタ自動車株式会社 | 走行予定経路設定装置及び走行予定経路設定方法 |
-
1999
- 1999-07-30 JP JP21637399A patent/JP3301995B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3462467B2 (ja) | 2000-11-14 | 2003-11-05 | 富士重工業株式会社 | 車外監視装置 |
| US7945120B2 (en) | 2008-06-30 | 2011-05-17 | Kabushiki Kaisha Toshiba | Apparatus for enhancing resolution using edge detection |
| US7941005B2 (en) | 2008-11-28 | 2011-05-10 | Kabushiki Kaisha Toshiba | Information processing apparatus and resolution enhancement processing control program |
| CN102733295A (zh) * | 2012-07-09 | 2012-10-17 | 中公高科养护科技股份有限公司 | 基于里程桩号校准检测桩号的方法 |
| CN102733295B (zh) * | 2012-07-09 | 2015-01-21 | 中公高科养护科技股份有限公司 | 基于里程桩号校准检测桩号的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001043495A (ja) | 2001-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3301995B2 (ja) | ステレオ式車外監視装置 | |
| JP3352655B2 (ja) | 車線認識装置 | |
| US9704404B2 (en) | Lane detection apparatus and operating method for the same | |
| JP4714104B2 (ja) | 物体傾き検出装置 | |
| US6734787B2 (en) | Apparatus and method of recognizing vehicle travelling behind | |
| JP6416293B2 (ja) | 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車 | |
| US10956757B2 (en) | Image processing device, outside recognition device | |
| US9643617B2 (en) | Friction coefficient estimation from camera and wheel speed data | |
| JP4962581B2 (ja) | 区画線検出装置 | |
| TWI401175B (zh) | Dual vision front vehicle safety warning device and method thereof | |
| CN110386065B (zh) | 车辆盲区的监控方法、装置、计算机设备及存储介质 | |
| JP6787157B2 (ja) | 車両制御装置 | |
| JP6697522B2 (ja) | 区画線認識装置 | |
| JP2021510227A (ja) | 衝突前アラートを提供するためのマルチスペクトルシステム | |
| JP2001160137A (ja) | 監視システムの距離補正装置、および監視システムの消失点補正装置 | |
| JP3092105B1 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3312729B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| CN102275558B (zh) | 双视觉前车安全警示装置及其方法 | |
| JP2002022439A (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP5457224B2 (ja) | 路面状態検出装置 | |
| JP2005157670A (ja) | 白線検出装置 | |
| JP3235831B2 (ja) | ステレオ式車外監視装置 | |
| JP2002160598A (ja) | 車外監視装置 | |
| KR20130125644A (ko) | 레이더 센서를 이용한 주행 경로 생성 가능한 차선 유지 보조 시스템 및 주행 경로 생성 방법 | |
| JP3272701B2 (ja) | 車外監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020115 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020412 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090426 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090426 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100426 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110426 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120426 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130426 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130426 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140426 Year of fee payment: 12 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |