JP3092105B1 - フェールセーフ機能を有する車外監視装置 - Google Patents

Abstract

【要約】 【課題】 距離データの信頼性が低下していると判断さ
れた場合にフェールセーフを行うことによって、車外監
視装置の安全性を高い次元で確保すること。 【解決手段】 車外の状況をモニタリングし、かつ、フ
ェールセーフ機能を有する車外監視装置において、モニ
タリング範囲内に存在する対象物までの距離を距離デー
タとして算出するステレオ画像処理部６と、フェール判
定部１２とを有する。このフェール判定部１２は、モニ
タリング範囲の一部の領域であり、かつ、当該領域内に
存在する対象物までの距離に関して特定の傾向を有する
ような領域を監視領域として設定すると共に、当該監視
領域内における距離データのばらつきを検出し、このば
らつきの状態が、フェールとして判定したい距離データ
のばらつき特性を有する場合に、フェールと判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、モニタリング範囲
内に存在する対象物によって算出された距離データを参
照して車外監視を行う装置のフェールセーフ機能に係
り、特に、算出された距離データの信頼性が低下してい
る場合に、フェールセーフを実行する車外監視装置に関
する。

【０００２】

【従来の技術】近年、ステレオカメラやレーザ等のセン
サを用いて自車輌の前方の情報（プレビュー情報）を取
得し、この情報に基づいて車輌制御を行う車外監視装置
が注目されている。例えば、ステレオ式車外監視装置に
おいては、まず、撮像された画像対における同一対象物
の位置的なずれ（視差）を算出する。この算出された視
差から三角測量の原理を用いて、その対象物までの距離
を特定する。そして、画像認識技術を併用することによ
り、先行車等との車間距離や道路形状（直線またはカー
ブ曲率）などを認識している。

【０００３】プレビュー情報に基づく車外監視装置を実
用化するにあたっては、装置の安全動作を保証するため
に、フェールセーフ機能を設ける必要がある。この類の
装置で検出すべきフェールの一つとして、モニタリング
すべき範囲内において算出された距離データの信頼性が
低下している状況が挙げられる。このような状況は、例
えば、降雨またはウインドウガラスの汚れ・曇り等の外
乱的な要因、ノイズの影響、或いは監視装置自体の故障
等により生じることがある。また、ステレオカメラの場
合、衝撃によりカメラ対の取付位置がずれてしまった場
合において生じることもある。車外監視装置の安全性を
高い次元で確保するという観点でいえば、算出された距
離データの信頼性が低下しているような状況では、監視
を一時的に中断させるフェールセーフを行う必要があ
る。

【０００４】

【発明が解決しようとする課題】しかしながら、車外監
視装置を実用化するにあたって不可欠なフェールセーフ
機能は未だ確立されておらず、監視装置の安全性を高い
次元で確保するための課題が残されていた。また、フェ
ール状況の検出は車外監視と並行してリアルタイムで行
う必要がある。したがって、それに要する演算量はでき
るだけ少ないことが好ましい。

【０００５】そこで、本発明の目的は、距離データの信
頼性が低下していると判断された場合にフェールセーフ
を行うことによって、車外監視装置の安全性を高い次元
で確保することである。

【０００６】

【課題を解決するための手段】かかる課題を解決するた
めに、本発明は、車外の状況をモニタリングし、かつ、
フェールセーフ機能を有する車外監視装置において、モ
ニタリング範囲内に存在する対象物までの距離を距離デ
ータとして算出する算出手段と、モニタリング範囲の一
部の領域であり、かつ、当該領域内に存在する対象物ま
での距離に関して特定の傾向を有するような領域を監視
領域として設定すると共に、当該監視領域内における距
離データのばらつきを検出する検出手段と、監視領域に
おける距離データのばらつきの状態が、フェールとして
判定したい距離データのばらつき特性を有する場合に、
フェールと判定する判定手段とを有するフェール機能を
有する車外監視装置を提供する。

【０００７】ここで、上記の監視領域は、走行路の路面
を含む領域に設定された第１の監視領域であってもよ
い。この第１の監視領域は、水平方向の長さの方が垂直
方向の長さよりも大きい横長矩形領域であることが好ま
しい。この場合、検出手段は、第１の監視領域内におけ
る距離データの全体的なばらつきを検出する。第１の監
視領域内において検出された距離データは路面に起因し
たものであり、正常な状態では、距離データの全体的な
ばらつきは小さくなる傾向がある。そこで、判定手段
は、第１の監視領域における距離データの全体的なばら
つきが大きい場合にフェールと判定する。

【０００８】一方、監視領域は、先行車が存在する場合
に、当該先行車を含む領域に設定された第２の監視領域
と、水平方向において第２の監視領域の外側に設定され
た第３の監視領域であってもよい。この場合、検出領域
は、第２の監視領域の垂直方向における距離データのば
らつきを検出すると共に、第３の監視領域の水平方向に
おける距離データのばらつきを検出する。正常な状態で
は、第２または第３の監視領域のいずれか一方に関する
距離データのばらつきが大きくなることはあっても、双
方のばらつきが大きくなるような状況はほとんど生じな
い傾向がある。そこで、判定手段は、第２の監視領域の
垂直方向における距離データのばらつきが大きく、か
つ、第３の監視領域の水平方向における距離データのば
らつきが大きい場合に、フェールと判定する。

【０００９】ここで、第２の監視領域は、垂直方向の長
さの方が水平方向の長さよりも大きい複数の縦長矩形領
域で構成されていることが好ましく、第３の監視領域
は、水平方向の長さの方が垂直方向の長さよりも大きい
複数の横長矩形領域で構成されていることが好ましい。
この場合、検出手段は、縦長矩形領域内における距離デ
ータの全体的なばらつきを縦長矩形領域毎に求め、当該
縦長矩形領域毎のばらつきの平均を求めることにより、
第２の監視領域の垂直方向における距離データのばらつ
きを検出する。また、検出手段は、横長矩形領域内にお
ける距離データの全体的なばらつきを横長矩形領域毎に
求め、当該横長矩形領域毎のばらつきの平均を求めるこ
とにより、第３の監視領域の水平方向における距離デー
タのばらつきを検出する。これにより、比較的少ない演
算量で、各監視領域の距離データのばらつきを的確に把
握することができる。

【００１０】また、上述したような構成において、車外
の景色を撮像することにより、一対の画像を得るステレ
オ撮像手段をさらに設けてもよい。この場合、算出手段
は、撮像された画像対から距離データを算出する。

【００１１】さらに、算出手段は、ステレオ撮像手段に
より得られた一対の画像に基づいて、所定数の画素で構
成された画素ブロック毎に距離データとして算出するこ
とが好ましい。この場合、検出手段は、有効距離データ
に基づき、距離データのばらつきを検出する。ここで、
有効距離データは、画像の水平方向における輝度変化が
大きな輝度エッジを所定数以上有する画素ブロックに関
する距離データである。これにより、ノイズ的な距離デ
ータの影響を低減し、一層的確なフェール判定を行うこ
とができる。

【００１２】

【発明の実施の形態】図１は、本実施例にかかる車外監
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔で、ルームミラーの近傍に取
り付けられており、自車輌の前方の景色を撮像する。メ
インカメラ１は、ステレオ処理を行う際に必要となる基
準画像（右画像）を撮像し、サブカメラ２は、この処理
における比較画像（左画像）を撮像する。互いのカメラ
１，２が同期している状態において、カメラ１，２から
出力された各アナログ画像は、Ａ／Ｄコンバータ３，４
により、所定の輝度階調（例えば、２５６階調のグレー
スケール）のデジタル画像に変換される。デジタル化さ
れた画像は、画像補正部５において、輝度の補正や画像
の幾何学的な変換等が行われる。通常、一対のカメラ
１，２の取付位置は、程度の差こそあれ誤差があるた
め、それに起因したずれが左右の画像に存在している。
このずれを補正するために、アフィン変換等を用いて、
画像の回転や平行移動等の幾何学的な変換が行われる。
このようにして補正された基準画像および比較画像は、
元画像メモリ８に格納される。

【００１３】一方、ステレオ画像処理部６は、画像補正
部５により補正された基準画像と比較画像とに基づい
て、画像中の同一対象物の三次元位置（自車輌から対象
物までの距離を含む）を距離データとして算出する。距
離データは、４×４画素の画素ブロック単位で算出さ
れ、左右画像における同一対象物（画素ブロック）の位
置に関する相対的なずれ、すなわち視差から三角測量の
原理に基づき算出することができる。このようにして算
出された画像の距離データは、距離データメモリ７に格
納される。

【００１４】マイクロコンピュータ９は、元画像メモリ
８および距離データメモリ７に格納された各情報に基づ
き、白線検出を含めた車輌前方の道路形状（直線やカー
ブ形状）を認識する（道路認識部１０）。また、車輌前
方の立体物（走行車）等をも認識する（立体物認識部１
１）。そして、処理部１３は、これらの認識部１０，１
１からの情報から警報が必要と判定された場合、モニタ
やスピーカー等の警報装置１９によりドライバーに対し
て注意を促したり、或いは、必要に応じて、各種制御部
１４〜１８を制御する。例えば、ＡＴ（自動変速機）制
御部１４に対して、シフトダウンを実行する旨を指示す
る。また、エンジン制御部１８に対してエンジン出力を
低下する旨を指示してもよい。その他にも、アンチロッ
クブレーキシステム（ＡＢＳ）制御部１５、トラクショ
ンコントロールシステム（ＴＣＳ）制御部１６、或い
は、各車輪のトルク配分や回転数を制御する車輌挙動制
御部１７に対して、適切な車輌制御を指示することも可
能である。

【００１５】さらに、フェール判定部１２は、距離デー
タメモリ７に記憶された距離データに基づいて、後述す
るルーチンに従ってフェール判定を行う。フェール判定
部１２からフェールセーフが指示された場合、処理部１
３はフェールセーフを実行する。これにより、例えば、
道路等の誤認識にともなう装置の誤動作を防ぐために、
上述した車輌制御等が一時的に中断される。

【００１６】（第１の実施例）図２は、路面の距離デー
タに関するフェール判定ルーチンを示したフローチャー
トである。このフローチャートは、所定の制御周期ごと
に繰り返し実行される。このルーチンにより、算出され
た距離データの信頼性が低下していると判断された場
合、フェール判定部１２は処理部１３に対して、フェー
ルセーフの実行を指示する。

【００１７】まず、ステップ１において、フェール判定
部１２は距離データを読み込む。距離データは、ステレ
オ画像処理部６において算出され、撮像画像ごとに距離
データメモリ７に記憶される。ここで、距離データの算
出手法について概略的に説明する。図８および図９は、
同一の車外景色をステレオカメラ１，２により撮像して
得られた基準画像および比較画像の一例であり、基準画
像（モニタリング範囲）に映し出された対象物が本監視
装置でモニタリングすべき対象となる。撮像画像の座標
系は、撮像画像の左下隅を原点として、水平方向をｉ座
標軸、垂直方向をｊ座標軸とする（単位は画素）。基準
画像のサイズは、水平方向が５１２画素、垂直方向が２
００画素である。自車輌の前方に存在する対象物に関し
て、自車輌（正確にはステレオカメラの位置）からこの
対象物までの距離Ｚは、基準画像および比較画像中に映
し出された当該対象物の視差（水平方向の位置的なずれ
量）から算出することができる。例えば、図９において
記号Ａで示した先行車に関して、撮像画像対における視
差がｄとすると、先行車までの距離Ｚは、下式に基づい
て算出される。ここで、ｒは、ステレオカメラ１，２間
の取り付け間隔、ｆはステレオカメラ１，２の焦点距離
である。

【００１８】

【数１】Ｚ＝（ｒ・ｆ）／ｄ

【００１９】距離Ｚ（または視差ｄ）は、上述したよう
に４×４画素の画素ブロック単位で算出される。すなわ
ち、まず、基準画像中のある画素ブロック（対象ブロッ
ク）と同一の輝度パターンを有する比較画像中の画素ブ
ロックを、対象ブロックと位置的に対応した水平線上を
探索することにより特定する（ステレオマッチング）。
そして、基準画像における対象ブロックの水平位置（ｉ
座標値）と、比較画像におけるマッチングの取れた画素
ブロックの水平位置（ｉ座標値）との差が視差ｄに相当
する。上記の手法により、すべての画素ブロック（対象
物）に関する視差ｄを求める。そして、各画素ブロック
の距離Ｚを二次元平面である撮像画像上の位置（ｉ，
ｊ）に対応づけて、距離データとして距離データメモリ
７に記憶する。なお、上記の数式１に示したように、視
差ｄと距離Ｚとは一対一の関係にあるから、距離データ
として距離Ｚまたは視差ｄのどちらを用いてもよいが、
ここでは、距離データを（ｉ，ｊ、Ｚ）の形式とする。

【００２０】図１０は、このようにして得られた距離デ
ータをｉ−ｊ平面上に示したものである。なお、距離デ
ータは、画素ブロック単位で算出されるが、認識部１
０，１１において実際にそれが適用されるのは、水平方
向において輝度エッジを有するエッジ部（同図において
黒点で示した部分）である。図１０は、距離データの出
力状態をエッジ部に対応づけて二次元的に示している。

【００２１】ステップ１に続くステップ２において、図
３に示したような画像の下側領域において垂直方向長が
短く、かつ、水平方向長がそれよりも長い横長矩形領域
が、第１の監視領域Ｒ１として設定される。なお、図３
は、監視領域Ｒ１の設定位置を画素ブロック単位で示し
たものであるから、各座標値を４倍すれば画素単位での
座標となる。図８の撮像画像からもわかるように、第１
の監視領域Ｒ１には、通常、走行路の路面が映し出され
るので、この領域内の各画素ブロックについて算出され
た距離データは、路面状況に起因したものである。この
監視領域Ｒ１には７８（３９×２）個の画素ブロックが
存在するため、基本的には、それと同数の距離データが
算出される。本実施例において信頼性を検証すべき対象
は、路面状況に起因して算出されたこれらの距離データ
である。

【００２２】なお、図３に示した第１の監視領域Ｒ１の
設定位置は一例であって、走行時に路面が通常映し出さ
れるような画像領域であれば、任意の領域をこの監視領
域Ｒ１として設定することができる。その際、図８にお
いて記号Ｒ１で示したように、なるべく撮像画像の下側
領域（または領域Ｒ１の一部）に、第１の監視領域Ｒ１
を設定することが好ましい。通常、自車輌は、先行車と
ある程度の車間距離をおいて走行しているため、先行車
は二次元平面である撮像画像の比較的上側に映し出され
る傾向がある。したがって、撮像画像のなるべく下側に
第１の監視領域Ｒ１を設定すれば、先行車によって路面
がマスクされてしまう状況を避けることができ、路面状
態を正確にモニタリングすることができる。

【００２３】そして、ステップ３において、第１の監視
領域Ｒ１内の距離データのうち、有効距離データが特定
される。ここで、有効距離データは、画像の横方向（水
平方向）において輝度エッジ（しきい値以上の輝度変化
量を有する隣接画素対）を所定数（例えば４）以上有す
る画素ブロックに関する距離データである。図７は、距
離データの算出単位である画素ブロックに関する横方向
の輝度エッジの算出手法を説明するための図である。上
述したように、距離データの算出単位である４×４の画
素ブロックにおいて、横方向における隣接画素対の輝度
変化量（絶対値）ΔＰを算出する。ただし、一番左側の
画素列（Ｐ₁₁，Ｐ₁₂，Ｐ₁₃，Ｐ₁₄）に関しては、左側に
隣接した画素ブロックの一番右側の画素列から輝度変化
量ΔＰを算出する。したがって、１つの画素ブロックに
関して１６個の輝度変化量ΔＰが算出される。つぎに、
これらの１６個の輝度変化量ΔＰのうち、所定のしきい
値（以下、ＤＣＤＸしきい値という）以上のものの数を
カウントする。このＤＣＤＸしきい値は、３から７の範
囲において適切に設定された値である。そして、このＤ
ＣＤＸしきい値以上の輝度変化量ΔＰの数が４つ以上の
画素ブロックに関する距離データを有効距離データとす
る。路面状況の評価は、監視領域Ｒ１内に存在する距離
データのすべてを対象とするのではなく、有効距離デー
タのみに基づいて行われる。横方向の輝度変化に特徴が
ある画素ブロックに関する距離データを評価対象とする
ことで、ノイズ的な距離データを除外できるため、算出
された距離データの信頼性に関する判定精度を向上させ
ることができる。

【００２４】ステップ３に続くステップ４において、第
１の監視領域Ｒ１における有効距離データの全体的なば
らつきの状態を評価するために、分散値ＶＡＲ１が下式
に基づいて算出される。

【００２５】

【数２】 ＶＡＲ１²＝｛（Ｚ1−Ｚ_ave）²＋（Ｚ2−Ｚ_ave）²＋ ・・・ ＋（Ｚn−Ｚ_ave） ² ｝／ｎ＝Σ（Ｚi²）／ｎ−（ΣＺi／ｎ）² ｎ ：第１の監視領域Ｒ１内の有効距離データの数 Ｚi：ｉ番目の有効距離データの値 Ｚ_ave：第１の監視領域Ｒ１内の有効距離データの平均
値

【００２６】この分散値ＶＡＲ１、すなわち路面に起因
して算出された有効距離データに関する全体的なばらつ
きには、路面状況または外的要因によって以下のような
特性を有する傾向がある。

【００２７】（１）ドライな舗装路（正常な路面状況） アスファルトのような舗装路で、かつ路面が乾いている
ケースは、車外監視における理想的な走行状況である。
このような走行環境下において、第１の監視領域Ｒ１に
は、少数の距離データが算出される傾向がある。これ
は、中央線や路肩線といった白線等のみに起因した距離
データが算出されるからである。ただし、上述したよう
に、第１の監視領域Ｒ１の垂直方向長は比較的短いた
め、この領域内には比較的短い距離レンジの白線等が映
し出される。したがって、白線に起因した距離データ
は、ほぼ同じような値を有する。また、白線等を除いた
路面領域（その領域が大半である）はほぼ一面一様であ
るため、その部分では距離データが算出されにくい。以
上の理由により、乾いた舗装路を走行しているケースに
おいて、第１の監視領域Ｒ１における有効距離データの
ばらつきはあまり大きくはならない。

【００２８】（２）砂利道（正常な路面状況） 砂利道を走行しているケースでは、上記（１）のケース
と違い、多数の距離データが出力される傾向がある。し
かしながら、第１の監視領域Ｒ１の垂直方向長は短いの
で、比較的短い距離レンジ内の砂利しか映し出されな
い。そのため、監視領域Ｒ１内の距離データは、ほぼ同
じような値をとる傾向がある。したがって、砂利道を走
行しているケースでは、第１の監視領域Ｒ１における有
効距離データのばらつきはあまり大きくはならない。走
行路の路面にわだち状に雪が積雪しているような状況も
砂利道と同様の傾向を有する。

【００２９】（３）路面反射が生じているウェットな走
行路（異常な路面状況） 降雨時等において、周囲の立体物（先行車や建物等）が
路面に映り込んでいるようなケースでは、映り込んでい
る立体物の影響で誤った距離データが算出されることが
ある。その結果、本来の路面状況に起因して生じる距離
データ以外にも、映り込んだ立体物の距離データも加わ
るため、第１の監視領域Ｒ１における有効距離データの
ばらつきが大きくなる傾向がある。このような状況は、
正常な車外監視を行うことが容易ではない場合が多いの
で、フェールとして検出すべき状況であるといえる。

【００３０】（４）外的要因による距離データ異常 例えば、カメラ信号のようなシステムの内部信号が、電
気的なノイズの影響を受けた場合、算出された距離デー
タにもノイズが乗る。その結果、個々の距離データがば
らつくため、第１の監視領域Ｒ１における有効距離デー
タのばらつきが大きくなる。このような状況では、正常
な車外監視を行うことが困難である。同様の現象は、衝
撃によるステレオカメラの取り付け位置のずれ、或い
は、ウインドガラスやカメラレンズの曇り・汚れになど
に起因して生じることがある。

【００３１】以上のような状況ごとの特性からわかるよ
うに、フェールとして検出すべき上記（３）,（４）の
ケースでは、第１の監視領域Ｒ１における有効距離デー
タの全体的なばらつきが大きくなる傾向がある。したが
って、このような観点を踏まえて適切に設定された判定
しきい値ＶＡＲ１thを基準に、ステップ４で算出された
分散値ＶＡＲ１の大きさを評価すれば（ステップ５）、
ケース（３），（４）を検出することができる。なお、
この判定しきい値ＶＡＲ１thの値は、昼と夜とで変える
ように設定してもよく、また、自車輌の車速に応じて変
えるようにしてもよい。

【００３２】ステップ５で肯定判定された場合、つまり
第１の監視領域Ｒ１の有効距離データのばらつきが大き
い場合は、算出された距離データの信頼性が低いものと
判断して、フェールフラグＮＧが１にセットされる（ス
テップ６）。フェールフラグＮＧが１にセットされてい
る期間において、フェール判定部１２は処理部１３に対
してフェールセーフの実行を指示する。これにより、通
常の監視制御が中止され、フェールセーフが実行され
る。一方、ステップ５で否定判定された場合、すなわ
ち、第１の監視領域Ｒ１の有効距離データのばらつきが
小さい場合は、算出された距離データは信頼し得るもの
と判断して、フェールフラグＮＧが０にセットされる
（ステップ７）。フェールフラグＮＧが０にセットされ
ている間は、通常の監視制御が継続される。

【００３３】このように、本実施例におけるフェール判
定手法は、撮像画像のうち、路面が映し出される領域に
第１の監視領域Ｒ１を設定している。この監視領域Ｒ１
内の距離データは、通常の路面状況であればばらつきは
比較的少なく、フェールとすべき状況（路面状況または
ノイズ等の外的要因）では、ばらつきが大きくなるとい
う特性がある。そこで、その監視領域Ｒ１全体における
距離データの全体的なばらつきの状態を検証すれば、路
面に起因して算出された距離データの信頼性を判定する
ことが可能となる。そして、この判定結果に応じてフェ
ールセーフを行うことにより、車外監視装置の安全性を
より高い次元で確保することが可能となる。発明者が実
際に走行テストを繰り返した結果、以上の判定手順で良
好な判定結果を得られることが確認できた。

【００３４】なお、車外監視の信頼性および制御の安定
性の双方を確保する観点でいえば、分散値ＶＡＲ１が判
定しきい値ＶＡＲ１thよりも大きくなる状況が複数の制
御周期に渡って継続した場合に（例えば１０秒相当）、
フェールフラグＮＧを１にセットするようにしてもよ
い。同様の観点から、分散値ＶＡＲ１が判定しきい値Ｖ
ＡＲ１th以下になる状況が複数の制御周期に渡って継続
したならば（例えば２０秒相当）、フェールフラグＮＧ
を０にセットする。

【００３５】なお、図２に示したフローチャートにおい
ては、一の制御周期において算出された１つの分散値Ｖ
ＥＲ１に基づき、１フレーム毎に距離データのばらつき
を評価している。しかしながら、制御の安定性を確保す
るという観点でいえば、複数フレーム（例えば５フレー
ム）分の分散値ＶＡＲ１をストアし、複数の分散値ＶＡ
Ｒ１に基づいて、所定のフレーム間隔で距離データのば
らつきを評価することが好ましい。なお、この点につい
ては、以下に述べる第２の実施例についても同様であ
る。

【００３６】（第２の実施例）図４は、立体物の距離デ
ータに関するフェール判定ルーチンを示したフローチャ
ートである。このフローチャートは、所定の制御周期ご
とに繰り返し実行される。このルーチンにより、算出さ
れた距離データの信頼性が低下していると判断された場
合、フェール判定部１２は処理部１３に対して、フェー
ルセーフの実行を指示する。

【００３７】まず、ステップ１１において、フェール判
定部１２は、距離データを読み込む。つぎに、図５に示
したように（画素ブロック単位で座標表示）、一例とし
て１６個の縦長矩形領域で構成された第２の監視領域Ｒ
２が、画像の中央領域に設定される（ステップ１２）。
個々の矩形領域は、水平長が短く、かつ、それよりも垂
直長が長く設定されていて、１１個（１×１１）の画素
ブロックを有している。図８に示した撮像画像からもわ
かるように、先行車等の立体物が前方に存在する場合、
この先行車は第２の監視領域Ｒ２内に映し出される傾向
がある。先行車等は、地面（道路面）に対してほぼ垂直
に立っていることが多いので、その垂直面が第２の監視
領域Ｒ２に映し出される。垂直面ではほぼ等距離が算出
されるため、正常な状態においては、一の縦長矩形領域
には、ほぼ同一の距離を有する距離データが多く算出さ
れる傾向がある。本実施例において信頼性を検証すべき
対象は、撮像画像に映し出された立体物に起因して算出
されたこれらの距離データである。

【００３８】なお、図５に示した第２の監視領域Ｒ２の
設定位置や縦長矩形領域の大きさや間隔は一例であっ
て、通常の走行環境で先行車等の立体物が映し出される
ような画像領域であれば、監視領域Ｒ２は任意に設定し
てよい。その際、図８において記号Ｒ２で示したよう
に、なるべく先行車を映し出しやすい画像領域内に、第
２の監視領域Ｒ２を設定することが好ましい。

【００３９】ステップ１２に続くステップ１３におい
て、第２の監視領域Ｒ２内の距離データのうち、第１の
実施例で述べたような手法にしたがって、有効距離デー
タが特定される。

【００４０】そして、ステップ１４において、第２の監
視領域Ｒ２に関する垂直方向の距離データのばらつきを
検証するために、１６個の縦長矩形領域に基づいて、距
離データの垂直方向分散値ＶＡＲ２が算出される。具体
的には、第２の監視領域Ｒ２の全体的ばらつきを精度よ
く検証でき、かつ、それに伴う演算量を極力減らす観点
から、以下のような算出手法により分散値ＶＡＲ２を求
めている。

【００４１】まず、第２の監視領域Ｒ２を構成する各縦
長矩形領域に関する距離データのばらつきを調べるため
に、上述した数式２に従って有効距離データの分散値ｖ
ａｒ２_iが矩形領域毎に算出される（１≦ｉ≦１６）。
つぎに、１６個の分散値ｖａｒ２_iから、大きな誤差を
含んでいる可能性の高い最大値を除いたものの平均を求
め、その平均値をＶＡＲ２とする。このようにして算出
された分散値ＶＡＲ２、すなわち、第２の監視領域Ｒ２
の垂直方向における距離のばらつきは、映し出された景
色によって、以下のような特性を有する傾向がある。

【００４２】（５）近くの立体物が多数映し出されてい
る場合（正常な状況） これは、先行車や市街地の建物といった立体物が映し出
されている状況である。この状況において、縦長矩形領
域に映し出される立体物は、通常、路面に対して垂直に
立っており、かつ、矩形領域に占める立体物の割合は大
きくなる。したがって、この矩形領域における有効距離
データのばらつきはあまり大きくならない傾向がある。

【００４３】（６）近くの立体物があまり映し出されて
いない場合（正常な状況） 先行車や市街地の建物といった立体物等があまり存在し
ない状況では、縦長矩形領域には白線を含む路面や遠く
の景色が混在して映し出される。したがって、その矩形
領域に関する有効距離データのばらつきが大きくなる傾
向がある。

【００４４】（７）外的要因による距離データ異常 上述したように、ステレオカメラの取付位置がずれてい
たり、カメラレンズが汚れている場合、さらにはシステ
ムの内部信号にノイズが乗ってしまった場合等において
は、縦長矩形領域における有効距離データのばらつきが
大きくなる傾向がある。

【００４５】以上のような状況ごとの特性からわかるよ
うに、距離データが正常に出力されている上記（５）の
ケースは、第２の監視領域Ｒ２における有効距離データ
のばらつきが小さくなる傾向がある。したがって、この
ような観点を踏まえて適切に設定された判定しきい値Ｖ
ＡＲ２thを基準に、ステップ１４で算出された分散値Ｖ
ＡＲ２の大きさを評価すれば（ステップ１５）、ケース
（５）を他のケース（６）,（７）と区別することがで
きる。すなわち、ステップ１５で否定判定された場合、
つまり第２の監視領域Ｒ２の有効距離データのばらつき
が小さい場合は、算出された距離データは信頼し得るも
のと判断して、フェールフラグＮＧが０にセットされる
（ステップ２１）。なお、この判定しきい値ＶＡＲ２th
の値は、昼と夜とで変えるように設定してもよく、ま
た、自車輌の車速に応じて変えるようにしてもよい。

【００４６】これに対して、正常なケース（６）および
異常なケース（７）はどちらも分散値ＶＡＲ２が判定し
きい値ＶＡＲ２thを越えるため、ステップ１５における
判定だけで両者を区別することができない。そこで、距
離データのばらつきをさらに検証すべく、ステップ１６
以降の手順が実行される。

【００４７】まず、ステップ１６において、図６に示し
たように（画素ブロック単位で座標表示）、画像の水平
方向において第２の監視領域Ｒ２の外側に、第３の監視
領域Ｒ３(L)，Ｒ３(R)がそれぞれ設定される。それぞれ
の監視領域Ｒ３(L)，Ｒ３(R)は、一例として４個の横長
矩形領域（水平長が長く、それよりも垂直長が短い）で
構成されており、各横長矩形領域は、３０個（３０×
１）個の画素ブロックを有している。図８の撮像画像か
らもわかるように、第３の監視領域Ｒ３には、通常、先
行車や走行路脇の木々のように距離の異なる立体物が映
し出される。したがって、正常な状態では、同一の横長
矩形領域内では、異なる距離データが算出される傾向が
ある（詳細については後述する）。

【００４８】なお、図６に示した第３の監視領域Ｒ３の
設定位置や横長矩形領域の大きさ・間隔は一例であっ
て、通常の走行環境において主に道路脇の立体物が映し
出されるような画像領域であれば、監視領域Ｒ３は任意
に設定してよい。その際、図８において記号Ｒ３で示し
たように、なるべく道路脇の立体物を映し出しやすい画
像領域内に、第３の監視領域Ｒ３を設定することが好ま
しい。

【００４９】ステップ１６に続くステップ１７におい
て、第３の監視領域Ｒ３内の距離データのうち有効距離
データが、上述した手法によって特定される。

【００５０】ステップ１７に続くステップ１８におい
て、第３の監視領域Ｒ３を構成する横長矩形領域に基づ
いて、距離データの水平方向分散値ＶＡＲ３が算出され
る。第３の監視領域Ｒ３の水平方向のばらつきを精度よ
く検証でき、かつ、それに伴う演算量を極力減らす観点
から、以下のような算出手法により分散値ＶＡＲ３を求
めている。

【００５１】まず、左側の第３の監視領域Ｒ３(L)を構
成する各横長矩形領域に関する距離データのばらつきを
調べるために、上述した数式２にしたがい有効距離デー
タの分散値ｖａｒ３(L)_iが矩形領域毎に算出される（１
≦ｉ≦４）。つぎに、４個の分散値ｖａｒ３(L)_iから、
大きな誤差を含んでいる可能性の高い最大値を除いたも
のの平均を求め、その値をＶＡＲ３(L)とする。同様
に、右側の第３の監視領域Ｒ３(R)を構成する各横長矩
形領域に関する距離データのばらつきを調べるために、
上述した数式２にしたがい有効距離データの分散値ｖａ
ｒ３(R)_iが矩形領域毎に算出される（１≦ｉ≦４）。つ
ぎに、４個の分散値ｖａｒ３(R)_iから、大きな誤差を含
んでいる可能性の高い最大値を除いたものの平均を求
め、その値をＶＡＲ３(R)とする。このようにして算出
された２つの分散値ＶＡＲ３(L)，ＶＡＲ３(R)のうち値
が小さい方を、第３の監視領域Ｒ３の水平方向における
全体的な輝度のばらつきを示す分散値ＶＡＲ３として採
用する。第３の監視領域Ｒ３の水平方向における全体的
な輝度のばらつきは、映し出された景色により、以下の
ような特性を有する傾向がある。

【００５２】（８）近くの立体物が多数映し出されてい
る場合（正常な状況） 市街地の建物といった多数立体物が映し出されている状
況では、横長矩形領域に距離の異なる複数の立体物が映
し出されるため、有効距離データのばらつきが大きくな
る傾向がある。

【００５３】（９）近くの立体物があまり映し出されて
いない場合（正常な状況） この状況では、主として遠方の景色が映し出されるた
め、有効距離データのばらつきはあまり大きくならない
傾向がある。

【００５４】（１０）外的要因による距離データ異常 ステレオカメラの取付位置のずれやカメラレンズの汚れ
等が生じると、有効距離データのばらつきが大きくなる
傾向がある。

【００５５】以上の説明からわかるように、外的要因に
より算出された距離データに異常が生じている場合、第
３の監視領域Ｒ３における有効距離データのばらつきが
大きくなる傾向がある（上記のケース（１０））。ま
た、この状況は、上述したケース（７）にも該当する。
すなわち、第３の監視領域Ｒ３の有効距離データのばら
つきが大きく、かつ、第２の監視領域Ｒ２のそれも大き
くなるのは、外的要因により距離データに異常が生じて
いる場合のみ生じる現象であることがわかる。換言する
と、通常の状況では、第２または第３の監視領域Ｒ２，
Ｒ３のどちらか一方の有効距離データのばらつきが大き
くなることはあっても、両方が大きくなることはほとん
ど生じないという特性がある。

【００５６】したがって、このような特性を踏まえて適
切に設定された判定しきい値ＶＡＲ３thを基準に、ステ
ップ１８で算出された分散値ＶＡＲ３の大きさを評価す
れば（ステップ１９）、ステップ１５の判断では区別で
きなかったケース（６）と（７）とを区別することがで
きる。すなわち、ステップ１８で算出された分散値ＶＡ
Ｒ３が所定の判定しきい値ＶＡＲ３thよりも大きいか否
かを判断すればよい（ステップ１９）。なお、この判定
しきい値ＶＡＲ３thの値は、昼と夜とで変えるように設
定してもよく、また、自車輌の車速に応じて変えるよう
にすることが好ましい。

【００５７】ステップ１９において否定判定された場
合、つまり第３の監視領域Ｒ３の有効距離データのばら
つきが小さい場合は、算出された距離データは信頼し得
るものと判断して、フェールフラグＮＧが０にセットさ
れる（ステップ２１）。フェールフラグＮＧが０にセッ
トされている期間においては、通常の監視制御が継続さ
れる。一方、ステップ１９で肯定判定された場合は、フ
ェールと判断して、フェールフラグＮＧを１はセットさ
れる（ステップ２１）。フェールフラグＮＧが１にセッ
トされている期間において、フェール判定部１２は、処
理部１３に対してフェールセーフの実行を指示する。こ
れにより、通常の監視制御が中止され、フェールセーフ
が実行される。

【００５８】このように、本実施例におけるフェール判
定手法は、撮像画像のうち、立体物が映し出される領域
に第２の監視領域Ｒ２および第３の監視領域Ｒ３を設定
している。第２の監視領域Ｒ２は、走行車等が存在し得
る比較的中央の画像領域に設けられ、第３の監視領域Ｒ
３は、走行路の両側の立体物が存在し得る比較的両サイ
ドの画像領域に設けられる。外的要因により異常な距離
データが算出された場合、第２の監視領域Ｒ２の垂直方
向に関する距離のばらつきが大きくなり、かつ、第３の
監視領域Ｒ３の水平方向に関する距離のばらつきも大き
くなるという特性がある。これに対して、正常な状態で
は、双方の距離のばらつきが大きくなることはほとんど
ない。そこで、これらの監視領域Ｒ２，Ｒ３における距
離データのばらつきの程度を検証すれば、正常な状況と
フェールとすべき状況とを精度よく区別することが可能
となる。その結果、異常な状況に的確に応答したフェー
ルセーフを行えるため、車外監視装置の安全性をより高
い次元で確保することが可能となる。発明者が実際に走
行テストを繰り返した結果、以上の判定手順で良好な判
定結果を得られることが確認できた。

【００５９】なお、車外監視の信頼性および制御の安定
性の双方を確保する観点でいえば、ステップ１９におい
て肯定判定される状況が複数の制御周期に渡って継続し
た場合に（例えば５秒相当）、フェールフラグＮＧを１
にセットするようにしてもよい。同様の観点から、ステ
ップ１５またはステップ１９において否定判定される状
況が複数の制御周期に渡って継続したならば（例えば２
０秒相当）、フェールフラグＮＧを０にセットする。

【００６０】上記の実施例はステレオカメラを用いた車
外監視装置を例に説明した。しかしながら、本発明は、
ステレオカメラ以外の技術（例えばレーザ波、ミリ波
等）を用いて対象物までの距離を求めるような監視装置
に対しても、広く適用することが可能である。走行状況
を監視する場合、センサはある程度決まった景色をモニ
タリングしているため、例えば図８に示したように、モ
ニタリング範囲内に存在する対象物はある程度特定され
る。したがって、モニタリング範囲内の所定領域内にお
ける距離データも、上述したように特定の傾向を有して
いる。本発明は、このような知得に基づくものであり、
ステレオカメラ以外のセンサを用いてそれを実現するこ
とも当然に可能である。

【００６１】

【発明の効果】このように、本発明によれば、算出され
た距離データの信頼性が低下しているような状況を的確
に検出することができる。また、それに的確に応答して
フェールセーフを行うことができるため、車外監視装置
の安全性をより高い次元で確保することが可能となる。

【図面の簡単な説明】

【図１】実施例にかかる車外監視装置のブロック図

【図２】路面の距離データに関するフェール判定ルーチ
ンを示したフローチャート

【図３】第１の監視領域を説明するための図

【図４】立体物の距離データに関するフェール判定ルー
チンを示したフローチャート

【図５】第２の監視領域に設定された複数の縦長矩形領
域を説明するための図

【図６】第３の監視領域を設定された複数の横長矩形領
域を説明するための図

【図７】横方向の輝度エッジの算出手法を説明するため
の図

【図８】基準画像の一例を示した図

【図９】比較画像の一例を示した図

【図１０】距離画像の一例を示した図

【符号の説明】

１ メインカメラ、 ２ サブカメラ、 ３，４ Ａ／Ｄコンバータ、 ５ 画像補正部、 ６ ステレオ画像処理部、 ７ 距離データメモ
リ、 ８ 元画像メモリ、 ９ マイクロコンピュ
ータ、 １０ 道路認識部、 １１ 立体物認識部、 １２ フェール判定部、 １３ 処理部、 １４ ＡＴ制御部、 １５ ＡＢＳ制御部、 １６ ＴＣＳ制御部、 １７ 車輌挙動制御、 １８ エンジン制御部、 １９ 警報装置

フロントページの続き (56)参考文献 特開 平６−266825（ＪＰ，Ａ) 特開 平８−16999（ＪＰ，Ａ) 特開 平９−161060（ＪＰ，Ａ) 特開 平９−210676（ＪＰ，Ａ) 特開 平10−47955（ＪＰ，Ａ) 特開 平10−171966（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08G 1/00 - 1/16 B60R 21/00 624 G01B 11/00 G06T 7/00

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】車外の状況をモニタリングし、かつ、フェ
   ールセーフ機能を有する車外監視装置において、 モニタリング範囲内に存在する対象物までの距離を距離
   データとして算出する算出手段と、 前記モニタリング範囲の一部の領域であり、かつ、当該
   領域内に存在する対象物までの距離に関して特定の傾向
   を有するような領域を監視領域として設定すると共に、
   当該監視領域内における距離データのばらつきを検出す
   る検出手段と、前記監視領域における前記距離データの
   ばらつきの状態が、フェールとして判定したい距離デー
   タのばらつき特性を有する場合に、フェールと判定する
   判定手段とを有することを特徴とするフェール機能を有
   する車外監視装置。
2. 【請求項２】前記監視領域は、走行路の路面を含む領域
   に設定された第１の監視領域であり、 前記検出手段は、前記第１の監視領域内における距離デ
   ータの全体的なばらつきを検出し、 前記判定手段は、前記第１の監視領域における距離デー
   タの全体的なばらつきが大きい場合に、フェールと判定
   することを特徴とする請求項１に記載されたフェールセ
   ーフ機能を有する車外監視装置。
3. 【請求項３】前記第１の監視領域は、水平方向の長さの
   方が垂直方向の長さよりも大きい横長矩形領域であるこ
   とを特徴とする請求項２に記載されたフェールセーフ機
   能を有する車外監視装置。
4. 【請求項４】前記監視領域は、先行車が存在する場合
   に、当該先行車を含む領域に設定された第２の監視領域
   と、水平方向において前記第２の監視領域の外側に設定
   された第３の監視領域であって、 前記検出手段は、前記第２の監視領域の垂直方向におけ
   る距離データのばらつきを検出すると共に、前記第３の
   監視領域の水平方向における距離データのばらつきを検
   出し、 前記判定手段は、前記第２の監視領域の垂直方向におけ
   る距離データのばらつきが大きく、かつ、前記第３の監
   視領域の水平方向における距離データのばらつきが大き
   い場合に、フェールと判定することを特徴とする請求項
   １に記載されたフェールセーフ機能を有する車外監視装
   置。
5. 【請求項５】前記第２の監視領域は、垂直方向の長さの
   方が水平方向の長さよりも大きい複数の縦長矩形領域で
   構成されており、 前記第３の監視領域は、水平方向の長さの方が垂直方向
   の長さよりも大きい複数の横長矩形領域で構成されてお
   り、 前記検出手段は、前記縦長矩形領域内における距離デー
   タの全体的なばらつきを前記縦長矩形領域毎に求め、当
   該縦長矩形領域毎のばらつきの平均を求めることによ
   り、前記第２の監視領域の垂直方向における距離データ
   のばらつきを検出し、かつ、 前記検出手段は、前記横長矩形領域内における距離デー
   タの全体的なばらつきを前記横長矩形領域毎に求め、当
   該横長矩形領域毎のばらつきの平均を求めることによ
   り、前記第３の監視領域の水平方向における距離データ
   のばらつきを検出することを特徴とする請求項４に記載
   されたフェールセーフ機能を有する車外監視装置。
6. 【請求項６】車外の景色を撮像することにより、一対の
   画像を得るステレオ撮像手段をさらに有し、 前記算出手段は、前記画像対から距離データを算出する
   ことを特徴とする請求項１から５のいずれかに記載され
   たフェールセーフ機能を有する車外監視装置。
7. 【請求項７】前記算出手段は、前記ステレオ撮像手段に
   より得られた一対の画像に基づいて、所定数の画素で構
   成された画素ブロック毎に距離データとして算出し、 前記検出手段は、有効距離データに基づき、距離データ
   のばらつきを検出し、 前記有効距離データは、画像の水平方向における輝度変
   化が大きな輝度エッジを所定数以上有する前記画素ブロ
   ックに関する距離データであることを特徴とする請求項
   ６に記載されたステレオ式車外監視装置。