JP3235831B2 - ステレオ式車外監視装置 - Google Patents
ステレオ式車外監視装置Info
- Publication number
- JP3235831B2 JP3235831B2 JP21671399A JP21671399A JP3235831B2 JP 3235831 B2 JP3235831 B2 JP 3235831B2 JP 21671399 A JP21671399 A JP 21671399A JP 21671399 A JP21671399 A JP 21671399A JP 3235831 B2 JP3235831 B2 JP 3235831B2
- Authority
- JP
- Japan
- Prior art keywords
- distance data
- data
- road
- vehicle
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、走行路の路面状
況、特に濡れた路面を撮像画像対から検出するステレオ
式車外監視装置に関する。
況、特に濡れた路面を撮像画像対から検出するステレオ
式車外監視装置に関する。
【０００２】
【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た一対の車載カメラ（ステレオカメラ）を用いたステレ
オ式車外監視装置が注目されている。この監視装置は、
車載カメラにより撮像された一対の画像に基づいて、走
行環境（例えば、車外の対象物と自車輌との間の距離
等）を認識する。そして、必要に応じてドライバーに注
意を喚起したり、シフトダウンによる減速等の車輌制御
を行う。走行環境の認識手法としては、まず、撮像され
た画像対における同一対象物の位置的なずれ（視差）を
ステレオマッチング法により求める。そして、算出され
た視差から三角測量の原理を用いて、走行路の道路形状
（直線またはカーブの状態）や先行車との車間距離など
を特定することができる。
た一対の車載カメラ（ステレオカメラ）を用いたステレ
オ式車外監視装置が注目されている。この監視装置は、
車載カメラにより撮像された一対の画像に基づいて、走
行環境（例えば、車外の対象物と自車輌との間の距離
等）を認識する。そして、必要に応じてドライバーに注
意を喚起したり、シフトダウンによる減速等の車輌制御
を行う。走行環境の認識手法としては、まず、撮像され
た画像対における同一対象物の位置的なずれ（視差）を
ステレオマッチング法により求める。そして、算出され
た視差から三角測量の原理を用いて、走行路の道路形状
（直線またはカーブの状態）や先行車との車間距離など
を特定することができる。
【０００３】このような車外監視装置を実用化するにあ
たっては、装置の安全動作を保証するために、走行路の
路面状況や道路形状を的確に検出することが重要であ
る。検出すべき路面状況には様々なものがあるが、その
一つとして、降雨等により路面が濡れている状況が挙げ
られる。路面が濡れていると、路面が乾いている場合と
比べて路面の摩擦係数μが著しく低下する。したがっ
て、路面の摩擦係数μが低い状況でシフトダウン等の制
動力を発揮しようとする場合、車輌がスリップしてしま
わないように、通常制御時よりも緩やかな制動を行う必
要がある。
たっては、装置の安全動作を保証するために、走行路の
路面状況や道路形状を的確に検出することが重要であ
る。検出すべき路面状況には様々なものがあるが、その
一つとして、降雨等により路面が濡れている状況が挙げ
られる。路面が濡れていると、路面が乾いている場合と
比べて路面の摩擦係数μが著しく低下する。したがっ
て、路面の摩擦係数μが低い状況でシフトダウン等の制
動力を発揮しようとする場合、車輌がスリップしてしま
わないように、通常制御時よりも緩やかな制動を行う必
要がある。
【０００４】。ステレオ式車外監視装置の安全性を高い
次元で確保するという観点で言えば、濡れた路面を的確
に検出することが重要である。それとともに、路面の状
況に応じてフェールセーフを含めた適切な制御を行うこ
とも重要である。なお、本明細書でいう「フェールセー
フ」とは、通常制御と異なる監視制御を行うという広い
概念である。したがって、通常の監視制御を一時的に中
断することはもとより、通常制御時よりも緩やかな制動
力で車輌制御を行うような制御も、ここでいう「フェー
ルセーフ」の概念に含まれる。
次元で確保するという観点で言えば、濡れた路面を的確
に検出することが重要である。それとともに、路面の状
況に応じてフェールセーフを含めた適切な制御を行うこ
とも重要である。なお、本明細書でいう「フェールセー
フ」とは、通常制御と異なる監視制御を行うという広い
概念である。したがって、通常の監視制御を一時的に中
断することはもとより、通常制御時よりも緩やかな制動
力で車輌制御を行うような制御も、ここでいう「フェー
ルセーフ」の概念に含まれる。
【０００５】
【発明が解決しようとする課題】このように、従来の車
外監視装置においては、路面の状況を的確に検出するた
めの手法が確立されておらず、装置の安全性を高い次元
で確保するための課題が残されていた。
外監視装置においては、路面の状況を的確に検出するた
めの手法が確立されておらず、装置の安全性を高い次元
で確保するための課題が残されていた。
【０００６】そこで、本発明の目的は、路面の状況を撮
像画像から精度よく検出することができるステレオ式車
外監視装置を提供することである。
像画像から精度よく検出することができるステレオ式車
外監視装置を提供することである。
【０００７】また、本発明の別の目的は、路面の状況に
必要に応じて適切な制御を行い得るステレオ式車外監視
装置を提供することである。
必要に応じて適切な制御を行い得るステレオ式車外監視
装置を提供することである。
【０００８】
【課題を解決するための手段】かかる課題を解決するた
めに、本発明は、撮像された画像対から道路の路面状況
を検出するステレオ式車外監視装置において、車外の景
色を撮像することにより、一対の画像データを得るステ
レオ撮像手段と、画像データ対における対象物の視差に
基づいて、当該対象物の距離データを算出する距離算出
手段と、画像データと距離データとに基づいて、道路の
三次元的な形状を認識する認識手段と、認識手段により
認識された道路領域内に距離データ監視領域を設定する
設定手段と、距離データ監視領域内に存在する距離デー
タのうち、認識手段により認識された道路の路面位置よ
りも下側に存在する距離データの数をウェットデータ数
として算出すると共に、当該ウェットデータ数に基づい
て路面状況を検出する検出手段とを有するステレオ式車
外監視装置を提供する。
めに、本発明は、撮像された画像対から道路の路面状況
を検出するステレオ式車外監視装置において、車外の景
色を撮像することにより、一対の画像データを得るステ
レオ撮像手段と、画像データ対における対象物の視差に
基づいて、当該対象物の距離データを算出する距離算出
手段と、画像データと距離データとに基づいて、道路の
三次元的な形状を認識する認識手段と、認識手段により
認識された道路領域内に距離データ監視領域を設定する
設定手段と、距離データ監視領域内に存在する距離デー
タのうち、認識手段により認識された道路の路面位置よ
りも下側に存在する距離データの数をウェットデータ数
として算出すると共に、当該ウェットデータ数に基づい
て路面状況を検出する検出手段とを有するステレオ式車
外監視装置を提供する。
【０００９】ここで、認識手段は、道路の三次元的な形
状から自車輌が進むべき走行経路を予測した予測走行線
を算出することが好ましい。この場合、設定手段は、予
測走行線を基準として、車幅方向における範囲と車長方
向における範囲とを規定することにより、距離データ監
視領域を設定する。
状から自車輌が進むべき走行経路を予測した予測走行線
を算出することが好ましい。この場合、設定手段は、予
測走行線を基準として、車幅方向における範囲と車長方
向における範囲とを規定することにより、距離データ監
視領域を設定する。
【００１０】また、検出手段は、距離データ監視領域内
に存在する距離データのうち、認識手段により認識され
た道路の路面位置に存在する距離データの数をドライデ
ータ数として算出すると共に、ドライデータ数とウェッ
トデータ数との比を、判定しきい値と比較することによ
り、路面が濡れているか否かを判定することが好まし
い。
に存在する距離データのうち、認識手段により認識され
た道路の路面位置に存在する距離データの数をドライデ
ータ数として算出すると共に、ドライデータ数とウェッ
トデータ数との比を、判定しきい値と比較することによ
り、路面が濡れているか否かを判定することが好まし
い。
【００１１】さらに、検出手段は、上記の判定結果に基
づいて、車輌制御に関する制御パラメータを変更しても
よい。
づいて、車輌制御に関する制御パラメータを変更しても
よい。
【００１２】
【発明の実施の形態】図１は、本実施例にかかる車外監
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔で、ルームミラーの近傍に取
り付けられており、車輌前方の景色を撮像する。メイン
カメラ１は、ステレオ処理を行う際に必要な基準画像
（右画像）を撮像し、サブカメラ２は、この処理におけ
る比較画像（左画像）を撮像する。互いの同期している
状態において、カメラ１，２から出力された各アナログ
画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階
調（例えば、２５６階調のグレースケール）のデジタル
画像に変換される。デジタル化された画像は、画像補正
部５において、輝度の補正や画像の幾何学的な変換等が
行われる。通常、一対のカメラ１，２の取付位置は、程
度の差こそあれ誤差があるため、それに起因したずれが
左右の画像に存在している。このずれを補正するため
に、アフィン変換等を用いて、画像の回転や平行移動等
の幾何学的な変換が行われる。このようにして補正され
た基準画像および比較画像は、元画像メモリ８に格納さ
れる。
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔で、ルームミラーの近傍に取
り付けられており、車輌前方の景色を撮像する。メイン
カメラ１は、ステレオ処理を行う際に必要な基準画像
（右画像）を撮像し、サブカメラ２は、この処理におけ
る比較画像（左画像）を撮像する。互いの同期している
状態において、カメラ１，２から出力された各アナログ
画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階
調（例えば、２５６階調のグレースケール）のデジタル
画像に変換される。デジタル化された画像は、画像補正
部５において、輝度の補正や画像の幾何学的な変換等が
行われる。通常、一対のカメラ１，２の取付位置は、程
度の差こそあれ誤差があるため、それに起因したずれが
左右の画像に存在している。このずれを補正するため
に、アフィン変換等を用いて、画像の回転や平行移動等
の幾何学的な変換が行われる。このようにして補正され
た基準画像および比較画像は、元画像メモリ８に格納さ
れる。
【００１３】一方、ステレオ画像処理部６は、画像補正
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車輌から対象物まで
の距離を含む）を算出する。この距離は、４×４画素の
画素ブロック単位で算出され、左右画像における同一対
象物（画素ブロック）の位置に関する相対的なずれか
ら、三角測量の原理に基づき算出することができる。こ
のようにして算出された画像の距離情報は、距離データ
メモリ７に格納される。
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車輌から対象物まで
の距離を含む）を算出する。この距離は、４×４画素の
画素ブロック単位で算出され、左右画像における同一対
象物（画素ブロック）の位置に関する相対的なずれか
ら、三角測量の原理に基づき算出することができる。こ
のようにして算出された画像の距離情報は、距離データ
メモリ７に格納される。
【００１４】マイクロコンピュータ９は、元画像メモリ
８および距離データメモリ７に格納された各情報に基づ
き、白線検出を含めた車輌前方の道路形状（直線やカー
ブ曲率）を認識する（道路認識部１０）。また、車輌前
方の立体物（走行車）等も認識する（立体物認識部１
１）。処理部１３は、これらの認識部１０，１１からの
情報から警報が必要と判定された場合、モニタやスピー
カー等の警報装置１９によりドライバーに注意を促した
り、或いは、必要に応じて、各種制御部１４〜１８を制
御する。例えば、ＡＴ（自動変速機）制御部１４に対し
て、シフトダウンを実行すべき旨を指示する。また、エ
ンジン制御部１８に対してエンジン出力を低下すべき旨
を指示してもよい。その他にも、アンチロックブレーキ
システム（ＡＢＳ）制御部１５、トラクションコントロ
ールシステム（ＴＣＳ）制御部１６、或いは、各車輪の
トルク配分や回転数を制御する車輌挙動制御部１７に対
して、適切な車輌制御を指示することも可能である。
８および距離データメモリ７に格納された各情報に基づ
き、白線検出を含めた車輌前方の道路形状（直線やカー
ブ曲率）を認識する（道路認識部１０）。また、車輌前
方の立体物（走行車）等も認識する（立体物認識部１
１）。処理部１３は、これらの認識部１０，１１からの
情報から警報が必要と判定された場合、モニタやスピー
カー等の警報装置１９によりドライバーに注意を促した
り、或いは、必要に応じて、各種制御部１４〜１８を制
御する。例えば、ＡＴ（自動変速機）制御部１４に対し
て、シフトダウンを実行すべき旨を指示する。また、エ
ンジン制御部１８に対してエンジン出力を低下すべき旨
を指示してもよい。その他にも、アンチロックブレーキ
システム（ＡＢＳ）制御部１５、トラクションコントロ
ールシステム（ＴＣＳ）制御部１６、或いは、各車輪の
トルク配分や回転数を制御する車輌挙動制御部１７に対
して、適切な車輌制御を指示することも可能である。
【００１５】さらに、フェール判定部１２は、元画像メ
モリ８に記憶された画像データ、距離データメモリ７に
記憶された距離データ、および道路認識部１０で算出さ
れた予測走行線Ｌに基づいて、後述するルーチンに従っ
てフェール判定を行う。フェール判定部１２からフェー
ルセーフが指示された場合、処理部１３はフェールセー
フを実行する。これにより、例えば、道路等の誤認識に
ともなう装置の誤動作を防ぐために、上述した車輌制御
等が一時的に中断される。また、通常制御時よりも緩や
かな車輌制動力が生じるように、上記の制御部１４〜１
８の各種制動パラメータを変更する。
モリ８に記憶された画像データ、距離データメモリ７に
記憶された距離データ、および道路認識部１０で算出さ
れた予測走行線Ｌに基づいて、後述するルーチンに従っ
てフェール判定を行う。フェール判定部１２からフェー
ルセーフが指示された場合、処理部１３はフェールセー
フを実行する。これにより、例えば、道路等の誤認識に
ともなう装置の誤動作を防ぐために、上述した車輌制御
等が一時的に中断される。また、通常制御時よりも緩や
かな車輌制動力が生じるように、上記の制御部１４〜１
８の各種制動パラメータを変更する。
【００１６】図２は、本実施例にかかるフェールの判定
ルーチンを示したフローチャートである。このフローチ
ャートは、所定の制御周期ごとに繰り返し実行される。
このルーチンにより、現在の走行環境がフェール条件に
合致すると判断された場合、フェール判定部１２は処理
部１３に対して、フェールセーフの実行を指示する。
ルーチンを示したフローチャートである。このフローチ
ャートは、所定の制御周期ごとに繰り返し実行される。
このルーチンにより、現在の走行環境がフェール条件に
合致すると判断された場合、フェール判定部１２は処理
部１３に対して、フェールセーフの実行を指示する。
【００１７】まず、ステップ１において、フェール判定
部１２は、元画像メモリ８に記憶された画像データと、
距離データメモリ７に記憶された距離データと、道路認
識部１０にて算出された予測走行線Ｌとを読み込む。予
測走行線Ｌは、自車輌が進むべき走行経路を予測したラ
インであり、検出された白線に基づいて算出される。予
測走行線Ｌは、図３に示したように、認識された道路形
状から算出される。すなわち、ステレオカメラ１，２に
より得られた画像対に映し出されたある対象物（例えば
道路や先行車）の視差ｄが算出されると、下式に基づい
て、その対象物までの距離Ｚを算出することができる。
ここで、ｒは、ステレオカメラ１，２間の取り付け間
隔、ｆはステレオカメラ１，２の焦点距離である。
部１２は、元画像メモリ８に記憶された画像データと、
距離データメモリ７に記憶された距離データと、道路認
識部１０にて算出された予測走行線Ｌとを読み込む。予
測走行線Ｌは、自車輌が進むべき走行経路を予測したラ
インであり、検出された白線に基づいて算出される。予
測走行線Ｌは、図３に示したように、認識された道路形
状から算出される。すなわち、ステレオカメラ１，２に
より得られた画像対に映し出されたある対象物（例えば
道路や先行車）の視差ｄが算出されると、下式に基づい
て、その対象物までの距離Ｚを算出することができる。
ここで、ｒは、ステレオカメラ１，２間の取り付け間
隔、ｆはステレオカメラ１，２の焦点距離である。
【００１８】
【数１】Ｚ＝（ｒ・ｆ）／ｄ
【００１９】また、撮像画像の座標系は、撮像画像の左
下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ
座標軸とする（単位は画素）。一方、自車輌の位置を基
準に設定された実空間の座標系は、ステレオカメラ１，
２の中央真下の道路面を原点として、車幅方向をＸ軸
（右方向を正）、車高方向をＹ軸（上方向を正）、車長
方向をＺ軸（前方向を正）とする。したがって、走行路
が水平ならば、ＸＺ平面（Ｙ＝０）は路面と一致する。
撮像画像に映し出された対象物の距離データ（ｉ，ｊ，
Ｚ）が特定されると、下式の座標変換式に従って、その
三次元位置（Ｘ，Ｙ，Ｚ）も一意に特定することができ
る。ここで、同式におけＣＨはステレオカメラ１，２の
取り付けた高さ（定数）、ｒはステレオカメラ１，２の
取り付け間隔（定数）、ＰＷは１画素当たりの視野角
（定数）、そして、ＩＶ、ＪＶは車輌の真正面における
無限遠点の画像上のｉまたはｊ座標の値（定数）であ
る。
下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ
座標軸とする（単位は画素）。一方、自車輌の位置を基
準に設定された実空間の座標系は、ステレオカメラ１，
２の中央真下の道路面を原点として、車幅方向をＸ軸
（右方向を正）、車高方向をＹ軸（上方向を正）、車長
方向をＺ軸（前方向を正）とする。したがって、走行路
が水平ならば、ＸＺ平面（Ｙ＝０）は路面と一致する。
撮像画像に映し出された対象物の距離データ（ｉ，ｊ，
Ｚ）が特定されると、下式の座標変換式に従って、その
三次元位置（Ｘ，Ｙ，Ｚ）も一意に特定することができ
る。ここで、同式におけＣＨはステレオカメラ１，２の
取り付けた高さ（定数）、ｒはステレオカメラ１，２の
取り付け間隔（定数）、ＰＷは１画素当たりの視野角
（定数）、そして、ＩＶ、ＪＶは車輌の真正面における
無限遠点の画像上のｉまたはｊ座標の値（定数）であ
る。
【００２０】
【数２】Ｘ ＝ ｒ／２ ＋ Ｚ・ＰＷ・（ｉ−ＩＶ） Ｙ ＝ ＣＨ − Ｚ・ＰＷ・（ｊ−ＪＶ）
【００２１】なお、実空間の三次元座標（Ｘ、Ｙ、Ｘ）
から撮像画像の二次元座標（ｉ，ｊ）への変換式は下式
のようになる。
から撮像画像の二次元座標（ｉ，ｊ）への変換式は下式
のようになる。
【００２２】
【数３】ｉ ＝ （Ｘ−ｒ／２）／（Ｚ・ＰＷ）＋ＩＶ ｊ ＝ （ＣＨ−Ｙ）／（Ｚ・ＰＷ） ＋ＪＶ
【００２３】道路認識部１０は、道路と先行車とが重な
って映し出されている場合、先行車や白線の位置情報
（高さＹ）を利用して白線だけを分離して抽出すること
で、「道路形状の認識」を行う。三次元空間において白
線は路面位置にあり（理想的な状態ではＹ＝０）、先行
車などの立体物は路面よりも高い位置にある（理想的な
状態ではＹ＞０）。したがって、路面の高さ、すなわち
Ｙ座標の値が特定できれば、白線と立体物とを区別する
ことができる。ここで、「道路形状の認識」とは、道路
形状を表現した関数（道路モデル）の各パラメータを、
三次元的な道路形状と合致するように設定することであ
る。本実施例における道路モデルは、認識範囲（例えば
カメラ位置から車輌前方８４ｍ先まで）の走行路におけ
る左右の白線（サイドライン）を、所定区間ごとに三次
元の直線式で近似し、これを折れ線状に連結することに
より表現される。図３の例では、認識範囲を所定の距離
（Ｚ１〜Ｚ７）ごとに７つの区間に分けて、それぞれの
区間において、下式で近似された直線式のパラメータ
ａ，ｂ，ｃ，ｄが走行路のサイドライン毎に導出され
る。そして、左右のサイドラインで挟まれた領域が走行
路ということになる。なお、この道路モデルは、水平方
向（Ｘ方向）のみならず、垂直方向（Ｙ方向）の直線式
をも有しているため、道路の勾配や起伏といった上下方
向の道路形状も表現している。
って映し出されている場合、先行車や白線の位置情報
（高さＹ）を利用して白線だけを分離して抽出すること
で、「道路形状の認識」を行う。三次元空間において白
線は路面位置にあり（理想的な状態ではＹ＝０）、先行
車などの立体物は路面よりも高い位置にある（理想的な
状態ではＹ＞０）。したがって、路面の高さ、すなわち
Ｙ座標の値が特定できれば、白線と立体物とを区別する
ことができる。ここで、「道路形状の認識」とは、道路
形状を表現した関数（道路モデル）の各パラメータを、
三次元的な道路形状と合致するように設定することであ
る。本実施例における道路モデルは、認識範囲（例えば
カメラ位置から車輌前方８４ｍ先まで）の走行路におけ
る左右の白線（サイドライン）を、所定区間ごとに三次
元の直線式で近似し、これを折れ線状に連結することに
より表現される。図３の例では、認識範囲を所定の距離
（Ｚ１〜Ｚ７）ごとに７つの区間に分けて、それぞれの
区間において、下式で近似された直線式のパラメータ
ａ，ｂ，ｃ，ｄが走行路のサイドライン毎に導出され
る。そして、左右のサイドラインで挟まれた領域が走行
路ということになる。なお、この道路モデルは、水平方
向（Ｘ方向）のみならず、垂直方向（Ｙ方向）の直線式
をも有しているため、道路の勾配や起伏といった上下方
向の道路形状も表現している。
【００２４】
【数４】（左サイドライン） Ｘ ＝ ａL・Ｚ ＋ ｂL Ｙ ＝ ｃL・Ｚ ＋ ｄL （右サイドライン） Ｘ ＝ ａR・Ｚ ＋ ｂR Ｙ ＝ ｃR・Ｚ ＋ ｄR
【００２５】このようにして算出された左右のサイドラ
インから予測走行線Ｌを算出することができる。予測走
行線Ｌは、走行路の中央線、すなわち、上記の数式４に
より近似された左右のサイドラインの中間線として求め
ることができる。このようにして算出された予測走行線
Ｌがフェール判定部１２に出力される。
インから予測走行線Ｌを算出することができる。予測走
行線Ｌは、走行路の中央線、すなわち、上記の数式４に
より近似された左右のサイドラインの中間線として求め
ることができる。このようにして算出された予測走行線
Ｌがフェール判定部１２に出力される。
【００２６】ステップ１に続くステップ２において、距
離データ監視領域Ｒが設定される。この監視領域Ｒは、
距離データの出力数をカウントする対象範囲である。図
４は、距離データ監視領域Ｒを説明するための図であ
る。この監視領域Ｒは、演算量の増加を抑えるために、
ステップ１で読み込まれた予測走行線Ｌを基準として、
自車輌の前方向に４０ｍ（０≦Ｚ≦４０）、左右の幅を
それぞれ２ｍ（−２≦Ｘ≦２）として設定される。な
お、図４には、Ｚ方向に直線的に延在した予測走行線Ｌ
が図示されているが、カーブにおいて、予測走行線Ｌは
Ｘ方向への変位量をもつ。
離データ監視領域Ｒが設定される。この監視領域Ｒは、
距離データの出力数をカウントする対象範囲である。図
４は、距離データ監視領域Ｒを説明するための図であ
る。この監視領域Ｒは、演算量の増加を抑えるために、
ステップ１で読み込まれた予測走行線Ｌを基準として、
自車輌の前方向に４０ｍ（０≦Ｚ≦４０）、左右の幅を
それぞれ２ｍ（−２≦Ｘ≦２）として設定される。な
お、図４には、Ｚ方向に直線的に延在した予測走行線Ｌ
が図示されているが、カーブにおいて、予測走行線Ｌは
Ｘ方向への変位量をもつ。
【００２７】次に、ステップ３において、距離データ監
視領域Ｒ内に存在する距離データから有効距離データが
特定される。有効距離データとは、画像の水平方向（横
方向）の輝度エッジを所定数以上有する画素ブロックに
関する距離データをいう。図６は、距離データの算出単
位である画素ブロックに関する横方向の輝度エッジの算
出手法を説明するための図である。上述したように、距
離データは、４×４の画素ブロック単位で１つ算出され
る。この画素ブロックにおいて、まず、横方向に隣接し
た画素対の輝度変化量（絶対値）ΔＰを算出する。ただ
し、一番左側の画素列（Ｐ11，Ｐ12，Ｐ13，Ｐ14）に関
しては、左側に隣接した画素ブロックにおける一番右側
の画素列とから輝度変化量ΔＰを算出する。したがっ
て、１つの画素ブロックに関して１６個の輝度変化量Δ
Ｐが算出される。次に、これらの１６個の輝度変化量Δ
Ｐのうち、所定のしきい値（以下、ＤＣＤＸしきい値と
いう）以上のものの数をカウントする。このＤＣＤＸし
きい値は、３から７の範囲において適切に設定された値
である。そして、このＤＣＤＸしきい値以上の輝度変化
量ΔＰの数が４つ以上の画素ブロックに関する距離デー
タを有効距離データとする。路面状況の評価は、監視領
域Ｒ内に存在するすべての距離データに基づいて行うの
ではなく、横方向の輝度変化に関して特徴を有する画素
ブロックに係る有効距離データのみを対象としている。
これにより、路面の凹凸等に起因して算出されたノイズ
的な距離データを除外できるため、路面状況の評価に関
する精度を向上させることができる。
視領域Ｒ内に存在する距離データから有効距離データが
特定される。有効距離データとは、画像の水平方向（横
方向）の輝度エッジを所定数以上有する画素ブロックに
関する距離データをいう。図６は、距離データの算出単
位である画素ブロックに関する横方向の輝度エッジの算
出手法を説明するための図である。上述したように、距
離データは、４×４の画素ブロック単位で１つ算出され
る。この画素ブロックにおいて、まず、横方向に隣接し
た画素対の輝度変化量（絶対値）ΔＰを算出する。ただ
し、一番左側の画素列（Ｐ11，Ｐ12，Ｐ13，Ｐ14）に関
しては、左側に隣接した画素ブロックにおける一番右側
の画素列とから輝度変化量ΔＰを算出する。したがっ
て、１つの画素ブロックに関して１６個の輝度変化量Δ
Ｐが算出される。次に、これらの１６個の輝度変化量Δ
Ｐのうち、所定のしきい値（以下、ＤＣＤＸしきい値と
いう）以上のものの数をカウントする。このＤＣＤＸし
きい値は、３から７の範囲において適切に設定された値
である。そして、このＤＣＤＸしきい値以上の輝度変化
量ΔＰの数が４つ以上の画素ブロックに関する距離デー
タを有効距離データとする。路面状況の評価は、監視領
域Ｒ内に存在するすべての距離データに基づいて行うの
ではなく、横方向の輝度変化に関して特徴を有する画素
ブロックに係る有効距離データのみを対象としている。
これにより、路面の凹凸等に起因して算出されたノイズ
的な距離データを除外できるため、路面状況の評価に関
する精度を向上させることができる。
【００２８】それに続くステップ４，５において、上記
のステップ３で算出された距離データ監視領域Ｒ内の有
効距離データから、ドライデータ数ＤＲＹおよびウェッ
トデータ数ＷＥＴがそれぞれカウントされる。図５は、
距離データ監視領域Ｒ内における距離データの分布を説
明するための図である。なお、同図は、予測走行線Ｌの
高さ方向（Ｙ方向）の変位をＺ軸上に正規化して図示し
ている。上述した数式２の変換式から、距離データ
（ｉ，ｊ，Ｚ）は、実空間の三次元座標（Ｘ、Ｙ、Ｚ）
に変換でき、両者は一対一の関係にある。そこで、距離
データをその高さ（Ｙの値）に基づいて以下の３つに分
類する。
のステップ３で算出された距離データ監視領域Ｒ内の有
効距離データから、ドライデータ数ＤＲＹおよびウェッ
トデータ数ＷＥＴがそれぞれカウントされる。図５は、
距離データ監視領域Ｒ内における距離データの分布を説
明するための図である。なお、同図は、予測走行線Ｌの
高さ方向（Ｙ方向）の変位をＺ軸上に正規化して図示し
ている。上述した数式２の変換式から、距離データ
（ｉ，ｊ，Ｚ）は、実空間の三次元座標（Ｘ、Ｙ、Ｚ）
に変換でき、両者は一対一の関係にある。そこで、距離
データをその高さ（Ｙの値）に基づいて以下の３つに分
類する。
【００２９】（１）立体物データ 立体物データは、先行車などの立体物に起因して算出さ
れた距離データである。理想的な状態では、立体物に関
する距離データを上記の数式２で変換するとＹ＞０（す
なわち路面より上側）となる。しかしながら、実際の走
行環境では、自車輌のピッチングや路面の起伏により、
白線等の距離データ（理想的にはＹ＝０）がＹ＞０とな
ることがある。そこで、このような点を考慮して、Ｙ＞
０．３（単位はｍ）の距離データを立体物データとして
いる。
れた距離データである。理想的な状態では、立体物に関
する距離データを上記の数式２で変換するとＹ＞０（す
なわち路面より上側）となる。しかしながら、実際の走
行環境では、自車輌のピッチングや路面の起伏により、
白線等の距離データ（理想的にはＹ＝０）がＹ＞０とな
ることがある。そこで、このような点を考慮して、Ｙ＞
０．３（単位はｍ）の距離データを立体物データとして
いる。
【００３０】（２）ドライデータ ドライデータは、走行路の路面（白線、路面のわだち、
砂利等）に起因して算出された距離データである。理想
的な状態では、白線等に関する距離データを数式２で変
換するとＹ＝０（すなわち路面）となる。しかしなが
ら、上述したように実際の走行環境では、そのような距
離データが高さ方向に正や負の値を有することがあるの
で、−０．４≦Ｙ≦０．３の距離データをドライデータ
としている。
砂利等）に起因して算出された距離データである。理想
的な状態では、白線等に関する距離データを数式２で変
換するとＹ＝０（すなわち路面）となる。しかしなが
ら、上述したように実際の走行環境では、そのような距
離データが高さ方向に正や負の値を有することがあるの
で、−０．４≦Ｙ≦０．３の距離データをドライデータ
としている。
【００３１】（３）ウエットデータ 雨等により濡れた路面では、立体物が路面に映り込むこ
とがあるため、それに起因した距離データが算出され
る。映り込みにより生じたこの偽りの距離データは、理
想的な状態ではＹ＜０となるが、実際の走行環境を考慮
して、Ｙ＜−０．４の距離データをウエットデータとし
ている。
とがあるため、それに起因した距離データが算出され
る。映り込みにより生じたこの偽りの距離データは、理
想的な状態ではＹ＜０となるが、実際の走行環境を考慮
して、Ｙ＜−０．４の距離データをウエットデータとし
ている。
【００３２】したがって、ステップ４で算出されるドラ
イデータ数ＤＲＹは、予測走行線Ｌを基準とした場合
に、以下の条件を満たす有効距離データの個数である。
イデータ数ＤＲＹは、予測走行線Ｌを基準とした場合
に、以下の条件を満たす有効距離データの個数である。
【００３３】（ドライデータの条件） −２ ≦ Ｘ ≦ ２ −0.4 ≦ Ｙ ≦ 0.3 ０ ≦ Ｚ ≦ ４０
【００３４】また、ステップ５で算出されるウエットデ
ータ数ＷＥＴは、予測走行線Ｌを基準とした場合に、以
下の条件を満たす有効距離データの個数である。
ータ数ＷＥＴは、予測走行線Ｌを基準とした場合に、以
下の条件を満たす有効距離データの個数である。
【００３５】（ウェットデータの条件） −２ ≦ Ｘ ≦ ２ Ｙ ≦ -0.4 ０ ≦ Ｚ ≦ ４０
【００３６】そして、ステップ４，５で算出されたドラ
イデータ数ＤＲＹおよびウエットデータ数ＷＥＴから、
下式にしたがって、ウエットデータ率ＲＴが算出される
（ステップ６）。ウエットデータ率ＲＴは、立体物が路
面へ映り込む程度を示しており、濡れた路面に映り込む
立体物が多くなるほど、ウエットデータ率ＲＴが高くな
る。
イデータ数ＤＲＹおよびウエットデータ数ＷＥＴから、
下式にしたがって、ウエットデータ率ＲＴが算出される
（ステップ６）。ウエットデータ率ＲＴは、立体物が路
面へ映り込む程度を示しており、濡れた路面に映り込む
立体物が多くなるほど、ウエットデータ率ＲＴが高くな
る。
【００３７】
【数５】ＲＴ＝ＷＥＴ／ＤＲＹ
【００３８】そして、ステップ６において算出されたウ
エットデータ率ＲＴが、適切に設定された判定しきい値
ＲＴthよりも大きいか否かが判定される（ステップ
７）。ステップ７で肯定判定された場合、すなわち、路
面に立体物が多く映り込んでいる場合は、濡れた路面で
あると判断して、フェールフラグＮＧが１にセットされ
る（ステップ８）。フェールフラグＮＧが１にセットさ
れている期間において、フェール判定部１２は、処理部
１３に対してフェールセーフの実行を指示する。これに
より、通常の監視制御が中止され、フェールセーフとし
て、例えば通常制御時よりも緩やかな制動力を発揮する
ように、車輌制御に関する各種制御パラメータが変更さ
れる。また、ワイパーが作動している場合においては、
降雨であると判断して、それを考慮した車両制御（例え
ば、より緩やかな制動力の設定等）を行ってもよい。一
方、ステップ７で否定判定された場合、すなわち、路面
に映り込む立体物が少ない場合は、乾いた路面であると
判断して、フェールフラグＮＧが０にセットされる（ス
テップ９）。フェールフラグＮＧが０にセットされてい
る期間においては、通常の監視制御が継続される。
エットデータ率ＲＴが、適切に設定された判定しきい値
ＲＴthよりも大きいか否かが判定される（ステップ
７）。ステップ７で肯定判定された場合、すなわち、路
面に立体物が多く映り込んでいる場合は、濡れた路面で
あると判断して、フェールフラグＮＧが１にセットされ
る（ステップ８）。フェールフラグＮＧが１にセットさ
れている期間において、フェール判定部１２は、処理部
１３に対してフェールセーフの実行を指示する。これに
より、通常の監視制御が中止され、フェールセーフとし
て、例えば通常制御時よりも緩やかな制動力を発揮する
ように、車輌制御に関する各種制御パラメータが変更さ
れる。また、ワイパーが作動している場合においては、
降雨であると判断して、それを考慮した車両制御（例え
ば、より緩やかな制動力の設定等）を行ってもよい。一
方、ステップ７で否定判定された場合、すなわち、路面
に映り込む立体物が少ない場合は、乾いた路面であると
判断して、フェールフラグＮＧが０にセットされる（ス
テップ９）。フェールフラグＮＧが０にセットされてい
る期間においては、通常の監視制御が継続される。
【００３９】以上の説明から明らかなように、本実施例
にかかるステレオ式車外監視装置は、道路が存在するで
あろうと予測される自車輌の前方に距離データ監視領域
Ｒを設定し、この監視領域Ｒ内に存在する距離データに
関して、高さ方向の分布を評価している。すなわち、算
出された距離データに関する三次元空間における高さ
（Ｙ方向の値）を求め、立体物が路面に映り込んでいる
ことに起因した距離データ数をウエットデータ数として
カウントしている。濡れた路面では、ドライな路面と比
べて、多数の距離データが路面位置より下に算出される
という特性がある。このような特性に鑑み、距離データ
監視領域Ｒ内にウェットデータが多数存在する場合、ウ
ェットな路面状況にあると判断している。これにより、
車外監視の信頼性および制御の安全性を高い次元で確保
することができる。発明者が実際に走行テストを繰り返
した結果、以上の判定手順で良好な判定結果を得られる
ことが確認できた。
にかかるステレオ式車外監視装置は、道路が存在するで
あろうと予測される自車輌の前方に距離データ監視領域
Ｒを設定し、この監視領域Ｒ内に存在する距離データに
関して、高さ方向の分布を評価している。すなわち、算
出された距離データに関する三次元空間における高さ
（Ｙ方向の値）を求め、立体物が路面に映り込んでいる
ことに起因した距離データ数をウエットデータ数として
カウントしている。濡れた路面では、ドライな路面と比
べて、多数の距離データが路面位置より下に算出される
という特性がある。このような特性に鑑み、距離データ
監視領域Ｒ内にウェットデータが多数存在する場合、ウ
ェットな路面状況にあると判断している。これにより、
車外監視の信頼性および制御の安全性を高い次元で確保
することができる。発明者が実際に走行テストを繰り返
した結果、以上の判定手順で良好な判定結果を得られる
ことが確認できた。
【００４０】なお、車外監視の信頼性および制御の安定
性の双方を確保する観点でいえば、ウエットデータ率Ｒ
Ｔが判定しきい値ＲＴthより大きくなる状況が複数の制
御周期に渡って継続した場合に（例えば１０秒相当）、
フェールフラグＮＧを１にセットすることが好ましい。
同様の観点から、ウエットデータ率ＲＴが判定しきい値
ＲＴth以下になる状況が複数の制御周期に渡って継続し
たならば（例えば２０秒相当）、フェールフラグＮＧを
０にセットする。
性の双方を確保する観点でいえば、ウエットデータ率Ｒ
Ｔが判定しきい値ＲＴthより大きくなる状況が複数の制
御周期に渡って継続した場合に（例えば１０秒相当）、
フェールフラグＮＧを１にセットすることが好ましい。
同様の観点から、ウエットデータ率ＲＴが判定しきい値
ＲＴth以下になる状況が複数の制御周期に渡って継続し
たならば（例えば２０秒相当）、フェールフラグＮＧを
０にセットする。
【００４１】また、フェール状況の検出精度を向上させ
るために、上記のフェール判定ルーチンは走行状況に応
じて実行するようにしてもよい。例えば、自車輌と先行
車との車間距離が１３ｍ以上、車速が２０km/h以上、か
つ、舵角±２３°以下の場合のみフェール判定を実行す
る。先行車との車間距離が短い場合、ウェットな路面へ
の映り込みが生じていたとしても、その大半が先行車に
よってマスクされてしまうため、そのような状況を精度
よく検出することが困難となる。また、特に、各フレー
ム毎にウェットデータ率ＲＴを算出し、所定のフレーム
間隔でその評価を行う手法を用いた場合において、車速
が低いとフェール判定精度が低下してしまう可能性があ
る。車速が低い場合は自車輌の移動量の少ないので、局
所的な路面しか監視対象にならない。この局所的な路面
が、偶然、フェール状況に合致してしまうような未想定
の状態である場合、適切でないフェール判定がなされて
しまうおそれがある。車速が高いことをフェール判定の
実行条件とすれば、このような路面が局所的に存在した
としても、誤ってフェールと判定してしまうことを回避
できる。さらに、舵角を考慮した理由は、カメラの視野
に入る景色のパターンをある程度限定することで、判定
精度を向上させるためである。
るために、上記のフェール判定ルーチンは走行状況に応
じて実行するようにしてもよい。例えば、自車輌と先行
車との車間距離が１３ｍ以上、車速が２０km/h以上、か
つ、舵角±２３°以下の場合のみフェール判定を実行す
る。先行車との車間距離が短い場合、ウェットな路面へ
の映り込みが生じていたとしても、その大半が先行車に
よってマスクされてしまうため、そのような状況を精度
よく検出することが困難となる。また、特に、各フレー
ム毎にウェットデータ率ＲＴを算出し、所定のフレーム
間隔でその評価を行う手法を用いた場合において、車速
が低いとフェール判定精度が低下してしまう可能性があ
る。車速が低い場合は自車輌の移動量の少ないので、局
所的な路面しか監視対象にならない。この局所的な路面
が、偶然、フェール状況に合致してしまうような未想定
の状態である場合、適切でないフェール判定がなされて
しまうおそれがある。車速が高いことをフェール判定の
実行条件とすれば、このような路面が局所的に存在した
としても、誤ってフェールと判定してしまうことを回避
できる。さらに、舵角を考慮した理由は、カメラの視野
に入る景色のパターンをある程度限定することで、判定
精度を向上させるためである。
【００４２】さらに、路面状況を判断するための距離デ
ータは、横方向の輝度エッジが大きい画素ブロックに関
する距離データのみを対象としている。そのため、ノイ
ズ等に起因して算出された誤った距離データを除外する
ことができ、濡れた路面状況を一層精度よく検出するこ
とが可能となる。
ータは、横方向の輝度エッジが大きい画素ブロックに関
する距離データのみを対象としている。そのため、ノイ
ズ等に起因して算出された誤った距離データを除外する
ことができ、濡れた路面状況を一層精度よく検出するこ
とが可能となる。
【００４３】なお、上記の実施例はドライデータ数とウ
エットデータ数との比に基づいて、路面の状況を判断し
ている。しかしながら、本発明は、これに限定されるも
のではなく、ウェットデータ数に基づいて路面状況を判
定する手法について、広く適用することができる。例え
ば、ドライデータ数をカウントすることなく、ウエット
データ数を所定のしきい値と比較するような手法を用い
てもよい。
エットデータ数との比に基づいて、路面の状況を判断し
ている。しかしながら、本発明は、これに限定されるも
のではなく、ウェットデータ数に基づいて路面状況を判
定する手法について、広く適用することができる。例え
ば、ドライデータ数をカウントすることなく、ウエット
データ数を所定のしきい値と比較するような手法を用い
てもよい。
【００４４】
【発明の効果】このように、本発明では、距離データ監
視領域内に存在する距離データのうち、路面位置よりも
下側に存在する距離データの数（ウェットデータ数）に
基づいて、路面が濡れているか否かを判定している。こ
れにより、路面の状況を撮像画像から精度よく検出する
ことができ、路面状況に応じて適切な車輌制御を行うこ
とが可能となる。その結果、車外監視装置の安全性をよ
り高い次元で確保することが可能となる。
視領域内に存在する距離データのうち、路面位置よりも
下側に存在する距離データの数（ウェットデータ数）に
基づいて、路面が濡れているか否かを判定している。こ
れにより、路面の状況を撮像画像から精度よく検出する
ことができ、路面状況に応じて適切な車輌制御を行うこ
とが可能となる。その結果、車外監視装置の安全性をよ
り高い次元で確保することが可能となる。
【図１】実施例にかかる車外監視装置のブロック図
【図２】実施例にかかるフェール判定ルーチンを示した
フローチャート
フローチャート
【図３】予測走行線を説明するための図
【図４】距離データ監視領域を説明するための図
【図５】距離データ監視領域の距離データの分布を説明
するための図
するための図
【図６】横方向の輝度エッジの算出手法を説明するため
の図
の図
１ メインカメラ、 ２ サブカメラ、３，
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイクロコンピュータ、
１０ 道路認識部、 １１ 立体物認識部、
１２ フェール判定部、 １３ 処理部、１４
ＡＴ制御部、 １５ ＡＢＳ制御部、１６
ＴＣＳ制御部、 １７ 車輌挙動制御、１８
エンジン制御部、 １９ 警報装置
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイクロコンピュータ、
１０ 道路認識部、 １１ 立体物認識部、
１２ フェール判定部、 １３ 処理部、１４
ＡＴ制御部、 １５ ＡＢＳ制御部、１６
ＴＣＳ制御部、 １７ 車輌挙動制御、１８
エンジン制御部、 １９ 警報装置
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平10−143659（ＪＰ，Ａ) 特開 平10−141954（ＪＰ，Ａ) 特開 平５−216534（ＪＰ，Ａ) 特開 平11−59355（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G08G 1/00 - 9/02 B60R 1/00 - 1/12 B60R 21/00 - 21/34 B60K 25/00 - 28/16 G05D 1/00 - 1/12 H04N 7/18 G01B 11/00 - 11/30 G01C 3/00 - 3/32
Claims (4)
- 【請求項１】撮像された画像対から道路の路面状況を検
出するステレオ式車外監視装置において、 車外の景色を撮像することにより、一対の画像データを
得るステレオ撮像手段と、 前記画像データ対における対象物の視差に基づいて、当
該対象物の距離データを算出する距離算出手段と、 前記画像データと前記距離データとに基づいて、道路の
三次元的な形状を認識する認識手段と、 前記認識手段により認識された道路領域内に距離データ
監視領域を設定する設定手段と、 前記距離データ監視領域内に存在する前記距離データの
うち、前記認識手段により認識された道路の路面位置よ
りも下側に存在する前記距離データの数をウェットデー
タ数として算出すると共に、当該ウェットデータ数に基
づいて路面状況を検出する検出手段とを有することを特
徴とするステレオ式車外監視装置。 - 【請求項２】前記認識手段は、道路の三次元的な形状か
ら自車輌が進むべき走行経路を予測した予測走行線を算
出し、 前記設定手段は、前記予測走行線を基準として、車幅方
向における範囲と車長方向における範囲とを規定するこ
とにより、前記距離データ監視領域を設定することを特
徴とする請求項１に記載されたステレオ式車外監視装
置。 - 【請求項３】前記検出手段は、前記距離データ監視領域
内に存在する前記距離データのうち、前記認識手段によ
り認識された道路の路面位置に存在する前記距離データ
の数をドライデータ数として算出すると共に、 前記ドライデータ数と前記ウェットデータ数との比を、
判定しきい値と比較することにより、路面が濡れている
か否かを判定することを特徴とする請求項１に記載され
たステレオ式車外監視装置。 - 【請求項４】前記検出手段は、前記判定結果に基づい
て、車輌制御に関する制御パラメータを変更することを
特徴とする請求項３に記載されたステレオ式車外監視装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21671399A JP3235831B2 (ja) | 1999-07-30 | 1999-07-30 | ステレオ式車外監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21671399A JP3235831B2 (ja) | 1999-07-30 | 1999-07-30 | ステレオ式車外監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001041741A JP2001041741A (ja) | 2001-02-16 |
| JP3235831B2 true JP3235831B2 (ja) | 2001-12-04 |
Family
ID=16692763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21671399A Expired - Lifetime JP3235831B2 (ja) | 1999-07-30 | 1999-07-30 | ステレオ式車外監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3235831B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3462467B2 (ja) | 2000-11-14 | 2003-11-05 | 富士重工業株式会社 | 車外監視装置 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4150218B2 (ja) * | 2002-06-25 | 2008-09-17 | 富士重工業株式会社 | 地形認識装置および地形認識方法 |
| JP4882324B2 (ja) * | 2005-09-20 | 2012-02-22 | トヨタ自動車株式会社 | 車両用画像処理装置 |
| JP5034809B2 (ja) * | 2007-09-18 | 2012-09-26 | マツダ株式会社 | 車両用路面状態推定装置 |
| JP5104175B2 (ja) * | 2007-10-02 | 2012-12-19 | 株式会社ジェイテクト | 車両制御装置 |
| JP5304804B2 (ja) * | 2011-01-12 | 2013-10-02 | 株式会社デンソー | 境界検出装置、および境界検出プログラム |
| JP5893601B2 (ja) | 2013-10-31 | 2016-03-23 | 富士重工業株式会社 | 車両制御システム |
| JP6657034B2 (ja) * | 2015-07-29 | 2020-03-04 | ヤマハ発動機株式会社 | 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両 |
| JP6941070B2 (ja) | 2018-02-28 | 2021-09-29 | 日立Astemo株式会社 | ステレオカメラ装置 |
| JP6626523B2 (ja) * | 2018-03-28 | 2019-12-25 | 株式会社Ｓｕｂａｒｕ | 車両の制御装置及び車両の制御方法 |
-
1999
- 1999-07-30 JP JP21671399A patent/JP3235831B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3462467B2 (ja) | 2000-11-14 | 2003-11-05 | 富士重工業株式会社 | 車外監視装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001041741A (ja) | 2001-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3352655B2 (ja) | 車線認識装置 | |
| JP4714104B2 (ja) | 物体傾き検出装置 | |
| US7619668B2 (en) | Abnormality detecting apparatus for imaging apparatus | |
| US7580548B2 (en) | Abnormality detecting apparatus for imaging apparatus | |
| JP3766909B2 (ja) | 走行環境認識方法および装置 | |
| US9704404B2 (en) | Lane detection apparatus and operating method for the same | |
| JP4763250B2 (ja) | 物体検出装置 | |
| US6734787B2 (en) | Apparatus and method of recognizing vehicle travelling behind | |
| JP4956374B2 (ja) | 物体検出装置および接触回避システム | |
| JP3301995B2 (ja) | ステレオ式車外監視装置 | |
| JP2001160137A (ja) | 監視システムの距離補正装置、および監視システムの消失点補正装置 | |
| US20090190827A1 (en) | Environment recognition system | |
| JP2002096702A (ja) | 車間距離推定装置 | |
| JP2007003287A (ja) | Ｇｐｓロストの予測方法、ｇｐｓロストの予測装置及び車両用走行制御装置 | |
| TW201144115A (en) | Dual vision front vehicle safety alarm device and method thereof | |
| JP3312729B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3092105B1 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3235831B2 (ja) | ステレオ式車外監視装置 | |
| KR20060021922A (ko) | 두 개의 카메라를 이용한 장애물 감지 기술 및 장치 | |
| JPH06229759A (ja) | 画像を用いた前方車両の距離速度推定装置 | |
| JP4695566B2 (ja) | 車線逸脱判定装置および車線逸脱回避システム | |
| JP4719996B2 (ja) | 物体検知装置 | |
| JP6044084B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
| JP3402075B2 (ja) | 車両用車線認識装置 | |
| JP3272701B2 (ja) | 車外監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010913 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3235831 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080928 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080928 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090928 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090928 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 12 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |