JP3272696B2 - フェールセーフ機能を有する車外監視装置 - Google Patents
フェールセーフ機能を有する車外監視装置Info
- Publication number
- JP3272696B2 JP3272696B2 JP21691599A JP21691599A JP3272696B2 JP 3272696 B2 JP3272696 B2 JP 3272696B2 JP 21691599 A JP21691599 A JP 21691599A JP 21691599 A JP21691599 A JP 21691599A JP 3272696 B2 JP3272696 B2 JP 3272696B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- vehicle
- sum
- backlight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、弱逆光等の光の影
響により、撮像された画像に異常が生じた場合に、フェ
ールセーフを行う車外監視装置に関する。
響により、撮像された画像に異常が生じた場合に、フェ
ールセーフを行う車外監視装置に関する。
【０００２】
【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た車載カメラを用いた車外監視装置が注目されている。
この装置は、車載カメラにより撮像された画像に基づい
て、走行環境（例えば、車外の対象物と自車輌との間の
距離等）を認識し、必要に応じて、ドライバーに注意を
喚起したり、シフトダウン等の車輌制御を行うものであ
る。例えば、ステレオ法による距離計測技術を用いて走
行環境の認識を行う場合、一対の撮像画像におけるある
対象物の位置的な差（視差）を求め、三角測量の原理を
用いて、その対象物までの距離（距離情報）を得ること
ができる。
た車載カメラを用いた車外監視装置が注目されている。
この装置は、車載カメラにより撮像された画像に基づい
て、走行環境（例えば、車外の対象物と自車輌との間の
距離等）を認識し、必要に応じて、ドライバーに注意を
喚起したり、シフトダウン等の車輌制御を行うものであ
る。例えば、ステレオ法による距離計測技術を用いて走
行環境の認識を行う場合、一対の撮像画像におけるある
対象物の位置的な差（視差）を求め、三角測量の原理を
用いて、その対象物までの距離（距離情報）を得ること
ができる。
【０００３】このような車外監視装置を実用化するにあ
たっては、装置の安全動作を保証するために、フェール
セーフ機能を設ける必要がある。この類の装置で検出す
べきフェールの一つとして、太陽から車載カメラに直接
弱い光が射し込み、画像認識ができない状況（弱逆光状
況）が挙げられる。ここで、図７に示したような車輌前
方の撮像画像について考える。弱逆光状況が生じると、
図８に示したように、リング状の輝度飽和領域（以下、
これを逆光円という）が、画像の一部（同図左側）に発
生する。このような逆光円が画像中に生じると、その画
像領域およびその付近における画素の輝度値が飽和レベ
ルに達してしまうため、正しい画像情報を得ることがで
きなくなってしまう。その結果、その領域内に立体物が
存在していたとしても、それが逆光円によりマスクされ
てしまうため、立体物を正しく認識することが困難にな
る。さらに、逆光円のエッジは、水平方向の隣接画素間
の輝度変化が大きいので、そのエッジ部において誤った
距離情報が算出されてしまうことがある。図９は、図７
のような画像を有するステレオ画像（基準画像と比較画
像）から得られる距離情報を示した図である。同図にお
いて、黒点で示した部分は、画像の水平方向において互
いに隣接した画素間の輝度変化が大きい部分であり、こ
の部分が距離情報（奥行き）を有している。逆光円が発
生したエリア内は、大半の画素の輝度が飽和レベルに達
しているため、本来算出されるべき距離データが算出さ
れない。また、逆光円のエッジでは、水平方向の輝度変
化が大きいため、誤った距離データが算出されてしま
う。車外監視装置の安全性を高い次元で確保するという
観点でいえば、弱逆光により正しい距離画像が得られな
いような状況では、監視制御を一時的に中断させるフェ
ールセーフ機能を働かせる必要がある。
たっては、装置の安全動作を保証するために、フェール
セーフ機能を設ける必要がある。この類の装置で検出す
べきフェールの一つとして、太陽から車載カメラに直接
弱い光が射し込み、画像認識ができない状況（弱逆光状
況）が挙げられる。ここで、図７に示したような車輌前
方の撮像画像について考える。弱逆光状況が生じると、
図８に示したように、リング状の輝度飽和領域（以下、
これを逆光円という）が、画像の一部（同図左側）に発
生する。このような逆光円が画像中に生じると、その画
像領域およびその付近における画素の輝度値が飽和レベ
ルに達してしまうため、正しい画像情報を得ることがで
きなくなってしまう。その結果、その領域内に立体物が
存在していたとしても、それが逆光円によりマスクされ
てしまうため、立体物を正しく認識することが困難にな
る。さらに、逆光円のエッジは、水平方向の隣接画素間
の輝度変化が大きいので、そのエッジ部において誤った
距離情報が算出されてしまうことがある。図９は、図７
のような画像を有するステレオ画像（基準画像と比較画
像）から得られる距離情報を示した図である。同図にお
いて、黒点で示した部分は、画像の水平方向において互
いに隣接した画素間の輝度変化が大きい部分であり、こ
の部分が距離情報（奥行き）を有している。逆光円が発
生したエリア内は、大半の画素の輝度が飽和レベルに達
しているため、本来算出されるべき距離データが算出さ
れない。また、逆光円のエッジでは、水平方向の輝度変
化が大きいため、誤った距離データが算出されてしま
う。車外監視装置の安全性を高い次元で確保するという
観点でいえば、弱逆光により正しい距離画像が得られな
いような状況では、監視制御を一時的に中断させるフェ
ールセーフ機能を働かせる必要がある。
【０００４】
【発明が解決しようとする課題】このように、従来、車
外監視装置の実用化において不可欠なフェールセーフ機
能が確立されておらず、装置の安全性を高い次元で確保
するための課題が残されていた。
外監視装置の実用化において不可欠なフェールセーフ機
能が確立されておらず、装置の安全性を高い次元で確保
するための課題が残されていた。
【０００５】そこで、本発明の目的は、弱逆光等の光の
影響により、撮像された画像に異常が生じた場合に、そ
のような画像異常を正確に検出することにより、確実な
フェールセーフを行い得る車外監視装置を提供すること
である。
影響により、撮像された画像に異常が生じた場合に、そ
のような画像異常を正確に検出することにより、確実な
フェールセーフを行い得る車外監視装置を提供すること
である。
【０００６】
【課題を解決するための手段】請求項１記載の発明は、
車外の景色を撮像手段により撮像した画像がフェールと
判定された場合にフェールセーフを行う車外監視装置に
おいて、前記撮像手段により得られた撮像画像を複数個
に分割することにより前記画像の垂直方向に延在する監
視領域を複数設定すると共に各監視領域の中央部分にマ
スク領域を設定して、前記監視領域のそれぞれについて
当該監視領域の全体的な輝度の大きさを算出すると共
に、前記マスク領域を除いた上側領域内の画素の輝度飽
和率と下側領域内の画素の輝度飽和率とを算出する算出
手段と、前記監視領域の位置と前記輝度の大きさとの関
係から得られる前記撮像画像の水平方向における輝度分
布特性が、フェールとして判定したい異常画像の水平方
向に現れる輝度分布の特徴を有し、且つ、前記上側領域
内の画素の輝度飽和率が前記下側領域内の画素の輝度飽
和率よりも大きい場合に、フェールと判定する判定手段
とを有することを特徴とする。
車外の景色を撮像手段により撮像した画像がフェールと
判定された場合にフェールセーフを行う車外監視装置に
おいて、前記撮像手段により得られた撮像画像を複数個
に分割することにより前記画像の垂直方向に延在する監
視領域を複数設定すると共に各監視領域の中央部分にマ
スク領域を設定して、前記監視領域のそれぞれについて
当該監視領域の全体的な輝度の大きさを算出すると共
に、前記マスク領域を除いた上側領域内の画素の輝度飽
和率と下側領域内の画素の輝度飽和率とを算出する算出
手段と、前記監視領域の位置と前記輝度の大きさとの関
係から得られる前記撮像画像の水平方向における輝度分
布特性が、フェールとして判定したい異常画像の水平方
向に現れる輝度分布の特徴を有し、且つ、前記上側領域
内の画素の輝度飽和率が前記下側領域内の画素の輝度飽
和率よりも大きい場合に、フェールと判定する判定手段
とを有することを特徴とする。
【０００７】請求項２記載の発明は、車外の景色を複数
のカメラで構成されたステレオカメラにより撮像した画
像がフェールと判定された場合にフェールセーフを行う
車外監視装置において、前記ステレオカメラにより得ら
れた撮像画像の水平方向における輝度分布特性を算出す
る算出手段と、前記算出手段により算出された輝度分布
特性が、フェールとして判定したい異常画像の水平方向
に現れる輝度分布の特徴を有し、且つ、前記カメラの一
方の撮像画像における前記輝度分布特性のピーク位置
と、前記カメラの他方の撮像画像における前記輝度分布
特性のピーク位置との差が、しきい値以内の場合に、フ
ェールと判定する判定手段とを有することを特徴とす
る。
のカメラで構成されたステレオカメラにより撮像した画
像がフェールと判定された場合にフェールセーフを行う
車外監視装置において、前記ステレオカメラにより得ら
れた撮像画像の水平方向における輝度分布特性を算出す
る算出手段と、前記算出手段により算出された輝度分布
特性が、フェールとして判定したい異常画像の水平方向
に現れる輝度分布の特徴を有し、且つ、前記カメラの一
方の撮像画像における前記輝度分布特性のピーク位置
と、前記カメラの他方の撮像画像における前記輝度分布
特性のピーク位置との差が、しきい値以内の場合に、フ
ェールと判定する判定手段とを有することを特徴とす
る。
【０００８】ここで、異常画像の典型的な例としては、
光学的な影響、特に、弱逆光状況により、画像中に逆光
円が存在するような画像が挙げられる。逆光円が存在す
る画像の水平方向における輝度分布の特徴（逆光特性）
としては、以下のものが挙げられる。
光学的な影響、特に、弱逆光状況により、画像中に逆光
円が存在するような画像が挙げられる。逆光円が存在す
る画像の水平方向における輝度分布の特徴（逆光特性）
としては、以下のものが挙げられる。
【０００９】（１）輝度分散特性のばらつき 弱逆光状況時の画像における輝度分散特性は、それが発
生していない正常な画像と比べて、ばらつきが大きくな
る傾向がある。このような特性に着目して、判定部は、
撮像画像に関する輝度分散特性の分散値が所定の判定値
よりも大きい場合に、フェールと判定する。また、判定
部は、撮像された画像に関して、その輝度分散特性の最
大値と最小値との差が所定の判定値よりも大きい場合
に、フェールと判定するようにしてもよい。
生していない正常な画像と比べて、ばらつきが大きくな
る傾向がある。このような特性に着目して、判定部は、
撮像画像に関する輝度分散特性の分散値が所定の判定値
よりも大きい場合に、フェールと判定する。また、判定
部は、撮像された画像に関して、その輝度分散特性の最
大値と最小値との差が所定の判定値よりも大きい場合
に、フェールと判定するようにしてもよい。
【００１０】（２）輝度分散特性のピーク近傍の変化 弱逆光状況時の画像における輝度分散特性のピーク近傍
では、それが発生していない正常な画像と比べて、輝度
和がなだらかに変化する傾向がある。このような特徴に
鑑み、判定部は、撮像画像における輝度分散特性のピー
ク近傍の二次微分値の和が、所定の判定値よりも小さい
場合に、フェールと判定する。
では、それが発生していない正常な画像と比べて、輝度
和がなだらかに変化する傾向がある。このような特徴に
鑑み、判定部は、撮像画像における輝度分散特性のピー
ク近傍の二次微分値の和が、所定の判定値よりも小さい
場合に、フェールと判定する。
【００１１】（３）輝度分散特性のピーク値 弱逆光状況時の画像における輝度分散特性のピークは、
それが発生していない正常な画像と比べて、大きくなる
傾向がある。このような特徴から、判定部は、撮像画像
における輝度分散特性のピーク値が、所定の判定値より
も大きい場合に、フェールと判定する。
それが発生していない正常な画像と比べて、大きくなる
傾向がある。このような特徴から、判定部は、撮像画像
における輝度分散特性のピーク値が、所定の判定値より
も大きい場合に、フェールと判定する。
【００１２】（４）監視領域の上側領域と下側領域との
輝度和の相違 それぞれの監視領域の中間部分にマスク領域を設定す
る。算出手段は、このマスク領域を除いた上側領域の輝
度和と下側領域の輝度和とをそれぞれ算出する。判定手
段は、上側領域の方が下側領域よりも輝度和が所定の判
定値よりも大きい場合に、フェールと判定する。
輝度和の相違 それぞれの監視領域の中間部分にマスク領域を設定す
る。算出手段は、このマスク領域を除いた上側領域の輝
度和と下側領域の輝度和とをそれぞれ算出する。判定手
段は、上側領域の方が下側領域よりも輝度和が所定の判
定値よりも大きい場合に、フェールと判定する。
【００１３】（５）ステレオカメラの視差 さらに、撮像手段として、複数のカメラで構成されたス
テレオカメラを用いて、弱逆光状況において画像に生じ
る逆光円の距離を算出すると、その距離は無限遠とな
る。したがって、一対のステレオ画像における逆光円の
位置は、理論上は同一となる。このような特徴に鑑み、
判定部は、カメラの一方の撮像画像における輝度和のピ
ーク位置と、カメラの他方の撮像画像における輝度和の
ピーク位置との差が、所定のしきい値以内の場合に、フ
ェールと判定する。
テレオカメラを用いて、弱逆光状況において画像に生じ
る逆光円の距離を算出すると、その距離は無限遠とな
る。したがって、一対のステレオ画像における逆光円の
位置は、理論上は同一となる。このような特徴に鑑み、
判定部は、カメラの一方の撮像画像における輝度和のピ
ーク位置と、カメラの他方の撮像画像における輝度和の
ピーク位置との差が、所定のしきい値以内の場合に、フ
ェールと判定する。
【００１４】以上のような各特徴に考慮して、上記
（１）から（５）を適宜組み合わせることにより、弱逆
光状況の検出精度を一層向上させることができる。
（１）から（５）を適宜組み合わせることにより、弱逆
光状況の検出精度を一層向上させることができる。
【００１５】
【発明の実施の形態】図１は、本実施例にかかる車外監
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔で取り付けられており、車輌
前方の景色を撮像する。メインカメラ１は、ステレオ処
理を行う際に必要な基準画像（右画像）を撮像し、サブ
カメラ２は、この処理における比較画像（左画像）を撮
像する。互いの同期している状態において、カメラ１，
２から出力された各アナログ画像は、Ａ／Ｄコンバータ
３，４により、所定の輝度階調（例えば、２５６階調の
グレースケール）のデジタル画像に変換される。デジタ
ル化された画像は、画像補正部５において、輝度の補正
や画像の幾何学的な変換等が行われる。通常、一対のカ
メラ１，２の取付位置は、程度の差こそあれ誤差がある
ため、それに起因したずれが左右の画像に存在してい
る。このずれを補正するために、アフィン変換等を用い
て、画像の回転や平行移動等の幾何学的な変換が行われ
る。このようにして補正された基準画像および比較画像
は、元画像メモリ８に格納される。
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔で取り付けられており、車輌
前方の景色を撮像する。メインカメラ１は、ステレオ処
理を行う際に必要な基準画像（右画像）を撮像し、サブ
カメラ２は、この処理における比較画像（左画像）を撮
像する。互いの同期している状態において、カメラ１，
２から出力された各アナログ画像は、Ａ／Ｄコンバータ
３，４により、所定の輝度階調（例えば、２５６階調の
グレースケール）のデジタル画像に変換される。デジタ
ル化された画像は、画像補正部５において、輝度の補正
や画像の幾何学的な変換等が行われる。通常、一対のカ
メラ１，２の取付位置は、程度の差こそあれ誤差がある
ため、それに起因したずれが左右の画像に存在してい
る。このずれを補正するために、アフィン変換等を用い
て、画像の回転や平行移動等の幾何学的な変換が行われ
る。このようにして補正された基準画像および比較画像
は、元画像メモリ８に格納される。
【００１６】一方、ステレオ画像処理部６は、画像補正
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車輌から対象物まで
の距離を含む）を算出する。この距離は、左右画像にお
ける同一対象物の位置に関する相対的なずれから、三角
測量の原理に基づき算出することができる。このように
して算出された画像の距離情報は、距離データメモリ７
に格納される。
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車輌から対象物まで
の距離を含む）を算出する。この距離は、左右画像にお
ける同一対象物の位置に関する相対的なずれから、三角
測量の原理に基づき算出することができる。このように
して算出された画像の距離情報は、距離データメモリ７
に格納される。
【００１７】マイコン９は、元画像メモリ８および距離
データメモリ７に格納された各情報に基づき、車輌前方
の道路状態等を認識したり（道路認識部１０）、車輌前
方の立体物（走行車）等を認識する（立体物認識部１
１）。そして、処理部１３は、これらの認識部１０，１
１からの情報から警報が必要と判定された場合、モニタ
やスピーカー等の警報装置１９によりドライバーに対し
て注意を促したり、或いは、必要に応じて、各種制御部
１４〜１８を制御する。例えば、ＡＴ（自動変速機）制
御部１４に対して、シフトダウンを実行する旨を指示す
る。また、エンジン制御部１８に対してエンジン出力を
低下する旨指示してもよい。その他にも、アンチロック
ブレーキシステム（ＡＢＳ）制御部１５、トラクション
コントロールシステム（ＴＣＳ）制御部１６、或いは、
各車輪のトルク配分や回転数を制御する車輌挙動制御部
１７に対して、適切な車輌制御を指示することも可能で
ある。
データメモリ７に格納された各情報に基づき、車輌前方
の道路状態等を認識したり（道路認識部１０）、車輌前
方の立体物（走行車）等を認識する（立体物認識部１
１）。そして、処理部１３は、これらの認識部１０，１
１からの情報から警報が必要と判定された場合、モニタ
やスピーカー等の警報装置１９によりドライバーに対し
て注意を促したり、或いは、必要に応じて、各種制御部
１４〜１８を制御する。例えば、ＡＴ（自動変速機）制
御部１４に対して、シフトダウンを実行する旨を指示す
る。また、エンジン制御部１８に対してエンジン出力を
低下する旨指示してもよい。その他にも、アンチロック
ブレーキシステム（ＡＢＳ）制御部１５、トラクション
コントロールシステム（ＴＣＳ）制御部１６、或いは、
各車輪のトルク配分や回転数を制御する車輌挙動制御部
１７に対して、適切な車輌制御を指示することも可能で
ある。
【００１８】さらに、フェール判定部１２は、元画像メ
モリ８に記憶された元画像情報と距離データメモリ７に
記憶された距離情報とに基づいて、後述するルーチンに
したがいフェール判定を行う。フェールと判定されてい
る期間、すなわち、後述するフェール判定ルーチンによ
りフェールフラグＮＧが１にセットされている期間は、
道路や立体物の誤認識にともなう装置の誤動作等を防ぐ
ために、上述した車輌制御等が一時的に中断される。
モリ８に記憶された元画像情報と距離データメモリ７に
記憶された距離情報とに基づいて、後述するルーチンに
したがいフェール判定を行う。フェールと判定されてい
る期間、すなわち、後述するフェール判定ルーチンによ
りフェールフラグＮＧが１にセットされている期間は、
道路や立体物の誤認識にともなう装置の誤動作等を防ぐ
ために、上述した車輌制御等が一時的に中断される。
【００１９】図２は、弱逆光によるフェールの判定手順
を説明するためのフローチャートである。このルーチン
は、フェール判定部１２において、所定の制御周期（例
えば１００ｍｓ）ごとに繰り返し実行される。以下、ス
テレオカメラのうちの一方のカメラで撮像された一つの
画像について説明するが、他方のカメラで撮像された画
像についても同様の判定が行われる。また、このフェー
ル判定は、シャッタースピードが比較的小さい状況（昼
間または車外が明るい状況）であることを前提としてい
る。そして、いずれか一方の画像に関して、フェールフ
ラグＮＧが１にセットされた場合、処理部１３は、本車
外監視装置のフェールセーフを実行する。
を説明するためのフローチャートである。このルーチン
は、フェール判定部１２において、所定の制御周期（例
えば１００ｍｓ）ごとに繰り返し実行される。以下、ス
テレオカメラのうちの一方のカメラで撮像された一つの
画像について説明するが、他方のカメラで撮像された画
像についても同様の判定が行われる。また、このフェー
ル判定は、シャッタースピードが比較的小さい状況（昼
間または車外が明るい状況）であることを前提としてい
る。そして、いずれか一方の画像に関して、フェールフ
ラグＮＧが１にセットされた場合、処理部１３は、本車
外監視装置のフェールセーフを実行する。
【００２０】まず、フェール判定部１２は、元画像メモ
リ８中に格納された元画像の輝度値に基づいて、画像領
域中に設定された各監視領域の輝度和Ａを算出する（ス
テップ１）。弱逆光状況による逆光円が画像領域中に発
生しているか否かは、各監視領域における全体的な輝度
の分布特性に基づいて判断される。ここで、監視領域
は、画像領域において、図３のように設定される。２０
０×５１２画素のサイズを有する画像領域を、水平方向
に１６画素ずつ分割して、それぞれが２００×１６画素
のサイズを有する長方形状（画像の垂直方向に延在）の
監視領域Ｎi（１≦ｉ≦32）を設定する。そして、各監
視領域Ｎiの中間部をマスク領域（同図においてハッチ
ングで示した領域）とする。これらのマスク領域内の画
素の輝度値は、フェール判定においては考慮されない。
したがって、フェール判定は、マスク領域を除いた画像
上下領域内の画素の輝度値に基づいて行われる。マスク
領域を設けた第１の理由は、弱逆光状況の検出精度を向
上させるためである。輝度が非常に大きな立体物（例え
ば白い外装の車）または先行車からの反射光が存在して
も、画像の中間部をマスクしてしまえば、立体物の影響
で監視領域の輝度が大きくなってしまうのを避けること
ができる。また、マスク領域を演算対象から外すこと
で、フェール判定に要する演算量を減らすことができ
る。
リ８中に格納された元画像の輝度値に基づいて、画像領
域中に設定された各監視領域の輝度和Ａを算出する（ス
テップ１）。弱逆光状況による逆光円が画像領域中に発
生しているか否かは、各監視領域における全体的な輝度
の分布特性に基づいて判断される。ここで、監視領域
は、画像領域において、図３のように設定される。２０
０×５１２画素のサイズを有する画像領域を、水平方向
に１６画素ずつ分割して、それぞれが２００×１６画素
のサイズを有する長方形状（画像の垂直方向に延在）の
監視領域Ｎi（１≦ｉ≦32）を設定する。そして、各監
視領域Ｎiの中間部をマスク領域（同図においてハッチ
ングで示した領域）とする。これらのマスク領域内の画
素の輝度値は、フェール判定においては考慮されない。
したがって、フェール判定は、マスク領域を除いた画像
上下領域内の画素の輝度値に基づいて行われる。マスク
領域を設けた第１の理由は、弱逆光状況の検出精度を向
上させるためである。輝度が非常に大きな立体物（例え
ば白い外装の車）または先行車からの反射光が存在して
も、画像の中間部をマスクしてしまえば、立体物の影響
で監視領域の輝度が大きくなってしまうのを避けること
ができる。また、マスク領域を演算対象から外すこと
で、フェール判定に要する演算量を減らすことができ
る。
【００２１】このようにして設定された監視領域Ｎごと
に輝度和Ａが算出される。ある監視領域Ｎiにおける輝
度和Ａiは、その領域内において均一に分散するような
複数の画素をサンプルとして抽出し、それらの輝度値を
加算した値（またはそれらの平均値）として算出するこ
とができる。例えば、水平／垂直方向ともに４画素ごと
にサンプルを抽出してもよい。監視領域内において均一
に分散するようなサンプルを用いれば、その監視領域内
の輝度状態の特徴が適切に反映された輝度和Ａを、少な
い演算量で算出することができる。演算量を考慮しない
のであれば、監視領域内に含まれるすべての画素の輝度
値を加算することにより、輝度値Ａを算出することも当
然可能である。
に輝度和Ａが算出される。ある監視領域Ｎiにおける輝
度和Ａiは、その領域内において均一に分散するような
複数の画素をサンプルとして抽出し、それらの輝度値を
加算した値（またはそれらの平均値）として算出するこ
とができる。例えば、水平／垂直方向ともに４画素ごと
にサンプルを抽出してもよい。監視領域内において均一
に分散するようなサンプルを用いれば、その監視領域内
の輝度状態の特徴が適切に反映された輝度和Ａを、少な
い演算量で算出することができる。演算量を考慮しない
のであれば、監視領域内に含まれるすべての画素の輝度
値を加算することにより、輝度値Ａを算出することも当
然可能である。
【００２２】つぎに、ステップ２において、ステップ１
において算出された輝度和Ａに関して、その分布特性を
求め、所定の判定しきい値Ａthを超える輝度和ピークＡ
peakがあるか否かが探索される。輝度和ピークとしての
必要条件は、輝度和Ａが判定しきい値Ａth以上の極大値
であることである。ここで、逆光円と輝度和Ａの分布特
性との関係を、図４と図５とに基づいて説明する。図５
は、図７に示した画像（正常画像）における輝度和Ａの
特性を示した図である。また、図４は、図８に示したよ
うに逆光円が生じた画像（異常画像）における輝度和Ａ
の特性を示した図である。これらの特性は、画像の水平
方向における輝度分布の特性であるといってもよい。こ
れらの輝度分布特性からわかるように、逆光円が生じた
異常画像の特徴の一つとして、逆光円が存在する監視領
域の輝度和Ａが、通常画像と比べて、非常に大きくなる
ことが挙げられる。そこで、輝度の大きな逆光円が生じ
ている場合に、輝度和Ａがそれを越えるような適切な値
を、判定しきい値Ａthとして設定しておく。その結果、
このステップで否定判定された場合（例えば図５の分布
特性の場合）は、その画像は正常画像であると判断し
て、フェールフラグＮＧは０にセットされる（ステップ
１０）。フェールフラグＮＧが０である期間は、通常の
監視制御を継続して行われる。
において算出された輝度和Ａに関して、その分布特性を
求め、所定の判定しきい値Ａthを超える輝度和ピークＡ
peakがあるか否かが探索される。輝度和ピークとしての
必要条件は、輝度和Ａが判定しきい値Ａth以上の極大値
であることである。ここで、逆光円と輝度和Ａの分布特
性との関係を、図４と図５とに基づいて説明する。図５
は、図７に示した画像（正常画像）における輝度和Ａの
特性を示した図である。また、図４は、図８に示したよ
うに逆光円が生じた画像（異常画像）における輝度和Ａ
の特性を示した図である。これらの特性は、画像の水平
方向における輝度分布の特性であるといってもよい。こ
れらの輝度分布特性からわかるように、逆光円が生じた
異常画像の特徴の一つとして、逆光円が存在する監視領
域の輝度和Ａが、通常画像と比べて、非常に大きくなる
ことが挙げられる。そこで、輝度の大きな逆光円が生じ
ている場合に、輝度和Ａがそれを越えるような適切な値
を、判定しきい値Ａthとして設定しておく。その結果、
このステップで否定判定された場合（例えば図５の分布
特性の場合）は、その画像は正常画像であると判断し
て、フェールフラグＮＧは０にセットされる（ステップ
１０）。フェールフラグＮＧが０である期間は、通常の
監視制御を継続して行われる。
【００２３】ステップ２において肯定判断された場合
（例えば図４の分布特性の場合）は、画像中に逆光円が
存在する可能性があると判断して、それをさらに検証す
るためにステップ３に進む。このステップにおいて、上
述したピーク値Ａpeakの近傍の二次微分値の和ＳＵＭ
（以下、微分和という）が算出される。図６は、微分和
ＳＵＭの算出方法を説明するための図である。まず、輝
度和がピークとなる監視領域ｎ1の輝度和Ａpeakと、こ
の領域ｎ1よりも一つ左側の監視領域（ｎ1−１）の輝度
和Ａとの差ΔＡ2を求める。次に、監視領域（ｎ1−１）
の輝度和Ａと、この領域（ｎ1−１）よりも一つ左側の
監視領域（ｎ1−２）の輝度和Ａとの差ΔＡ1を求める。
これと同様に、監視領域ｎ1の右側についても差ΔＡ3，
ΔＡ4を求める。これら４つの値（絶対値）を加算する
ことにより、微分和ＳＵＭが算出される。このようにし
て算出された微分和ＳＵＭより、ピーク付近の変化のな
だらかさを評価することができる。すなわち、正常画像
におけるピーク特性としては、判定しきい値Ａthを越え
るようなピーク近傍が存在したとしても、その近傍にお
ける輝度和Ａは急激に変化する（すなわちピークが急峻
になる）傾向がある（図５参照）。したがって、正常画
像であれば、微分和ＳＵＭは比較的大きな値となる。こ
れに対して、異常画面では、逆光円の位置になだらかな
ピークを有し、裾広な特性となる。したがって、ピーク
近傍における輝度和Ａの変化が比較的小さくなるため、
微分和ＳＵＭは、比較的小さな値となる。
（例えば図４の分布特性の場合）は、画像中に逆光円が
存在する可能性があると判断して、それをさらに検証す
るためにステップ３に進む。このステップにおいて、上
述したピーク値Ａpeakの近傍の二次微分値の和ＳＵＭ
（以下、微分和という）が算出される。図６は、微分和
ＳＵＭの算出方法を説明するための図である。まず、輝
度和がピークとなる監視領域ｎ1の輝度和Ａpeakと、こ
の領域ｎ1よりも一つ左側の監視領域（ｎ1−１）の輝度
和Ａとの差ΔＡ2を求める。次に、監視領域（ｎ1−１）
の輝度和Ａと、この領域（ｎ1−１）よりも一つ左側の
監視領域（ｎ1−２）の輝度和Ａとの差ΔＡ1を求める。
これと同様に、監視領域ｎ1の右側についても差ΔＡ3，
ΔＡ4を求める。これら４つの値（絶対値）を加算する
ことにより、微分和ＳＵＭが算出される。このようにし
て算出された微分和ＳＵＭより、ピーク付近の変化のな
だらかさを評価することができる。すなわち、正常画像
におけるピーク特性としては、判定しきい値Ａthを越え
るようなピーク近傍が存在したとしても、その近傍にお
ける輝度和Ａは急激に変化する（すなわちピークが急峻
になる）傾向がある（図５参照）。したがって、正常画
像であれば、微分和ＳＵＭは比較的大きな値となる。こ
れに対して、異常画面では、逆光円の位置になだらかな
ピークを有し、裾広な特性となる。したがって、ピーク
近傍における輝度和Ａの変化が比較的小さくなるため、
微分和ＳＵＭは、比較的小さな値となる。
【００２４】そこで、ピーク近傍における輝度和Ａの変
化が滑らかか否かを区別し得る適切な判定しきい値ＳＵ
Ｍthを設定しておけば、ステップ３で算出された微分和
ＳＵＭの値から、ピークのなだらかさを評価することが
できる（ステップ４）。このステップで否定判定された
場合、すなわち、微分和ＳＵＭがしきい値ＳＵＭth以上
である場合には、ピークが急峻であり、そのピークは逆
光円によるものではないと判断して、フェールフラグＮ
Ｇは０にセットされる（ステップ１０）。逆に、微分和
ＳＵＭがしきい値ＳＵＭthよりも小さい場合には、ピー
クがなだらかで、逆光円が存在する可能性があるとし
て、輝度の分布特性をさらに詳しく調べるためにステッ
プ５に進む。なお、分布特性中に上述したピークが複数
存在するような場合は、ピーク毎に微分和ＳＵＭを算出
する。そして、判定しきい値ＳＵＭthよりも大きな微分
和ＳＵＭが一つでも存在すれば、逆光円が存在する可能
性があるとして、ステップ５以降の手順が実行される。
化が滑らかか否かを区別し得る適切な判定しきい値ＳＵ
Ｍthを設定しておけば、ステップ３で算出された微分和
ＳＵＭの値から、ピークのなだらかさを評価することが
できる（ステップ４）。このステップで否定判定された
場合、すなわち、微分和ＳＵＭがしきい値ＳＵＭth以上
である場合には、ピークが急峻であり、そのピークは逆
光円によるものではないと判断して、フェールフラグＮ
Ｇは０にセットされる（ステップ１０）。逆に、微分和
ＳＵＭがしきい値ＳＵＭthよりも小さい場合には、ピー
クがなだらかで、逆光円が存在する可能性があるとし
て、輝度の分布特性をさらに詳しく調べるためにステッ
プ５に進む。なお、分布特性中に上述したピークが複数
存在するような場合は、ピーク毎に微分和ＳＵＭを算出
する。そして、判定しきい値ＳＵＭthよりも大きな微分
和ＳＵＭが一つでも存在すれば、逆光円が存在する可能
性があるとして、ステップ５以降の手順が実行される。
【００２５】ステップ５以降の手順において、逆光円の
有無をさらに検討するために、輝度和Ａのばらつきの程
度を示す、撮像画像の輝度分布特性の分散値ＶＡＲが下
式に基づいて算出される（ステップ５）。
有無をさらに検討するために、輝度和Ａのばらつきの程
度を示す、撮像画像の輝度分布特性の分散値ＶＡＲが下
式に基づいて算出される（ステップ５）。
【数１】ＶＡＲ2＝｛（Ａ1−Ａave）2＋（Ａ2−Ａave）
2＋ ・・・ ＋（Ａn−Ａave）2｝／ｎ＝Σ（Ａi2）／ｎ−
（ΣＡi／ｎ）2 ｎ：監視領域の数（＝３２） Ａave：輝度和の平均値
2＋ ・・・ ＋（Ａn−Ａave）2｝／ｎ＝Σ（Ａi2）／ｎ−
（ΣＡi／ｎ）2 ｎ：監視領域の数（＝３２） Ａave：輝度和の平均値
【００２６】正常画像は、輝度和Ａのばらつきが比較的
少ない傾向にあるため、分散値ＶＡＲも小さくなる（図
５参照）。これに対して、逆光円が存在する異常画像で
は、そのばらつきが大きくなる傾向にあるため、分散値
ＶＡＲも大きくなる。そこで、輝度和Ａが逆光円の影響
によりばらついているか否かを判断し得る適切なしきい
値ＶＡＲthを設定しておけば、ステップ５で算出された
分散値ＶＡＲの値から、画像の異常を判断することがで
きる（ステップ６）。このステップで否定判定された場
合、すなわち、分散値ＶＡＲが判定しきい値ＶＡＲth以
下である場合には、逆光円は存在しないものと判断し
て、ステップ４の場合と同様に、ステップ１０において
フェールフラグＮＧを０にセットする。一方、ステップ
６において肯定判定された場合は、画像の水平方向の輝
度分散が大きく、逆光円が画像中に存在する可能性があ
るため、ステップ７へ進む。
少ない傾向にあるため、分散値ＶＡＲも小さくなる（図
５参照）。これに対して、逆光円が存在する異常画像で
は、そのばらつきが大きくなる傾向にあるため、分散値
ＶＡＲも大きくなる。そこで、輝度和Ａが逆光円の影響
によりばらついているか否かを判断し得る適切なしきい
値ＶＡＲthを設定しておけば、ステップ５で算出された
分散値ＶＡＲの値から、画像の異常を判断することがで
きる（ステップ６）。このステップで否定判定された場
合、すなわち、分散値ＶＡＲが判定しきい値ＶＡＲth以
下である場合には、逆光円は存在しないものと判断し
て、ステップ４の場合と同様に、ステップ１０において
フェールフラグＮＧを０にセットする。一方、ステップ
６において肯定判定された場合は、画像の水平方向の輝
度分散が大きく、逆光円が画像中に存在する可能性があ
るため、ステップ７へ進む。
【００２７】上述したステップを経てステップ７に到達
したということは、画像中に逆光円が存在する可能性が
かなり高いことを意味している。上述したようにフェー
ルセーフは、車外監視を一時的に中断するものであるか
ら、不必要なフェールセーフの作動を避けるために、逆
光円の存在を正確に検証しておくことが好ましい。そこ
で、ステップ７およびステップ８の判断が実行される。
まず、ステップ７では、輝度分布特性における最大値Ａ
max（図４および図５における監視領域ｎ1の輝度和Ａ）
とＡmin（監視領域ｎ2の輝度和Ａ）との差が、判定値と
してのしきい値ΔＡthよりも大きいか否かが判断され
る。これにより、車輌前方の全体が比較的明るい場合に
撮像され得る正常画像を異常画像と判断してしまうこと
を防ぐことができる。さらに、ステップ８において、左
右の画像、すなわち基準画像のピーク位置ｎ1と比較画
像におけるピーク位置ｎ1とがほぼ同位置にあるか否か
が判断される。ステレオ方式を用いた場合、逆光円の距
離は無限遠として現れる。それゆえに、逆光円が発生し
ている場合には、両画像におけるピーク位置の水平方向
のずれ（視差）は、理論的には０となる。逆に、輝度の
非常に高い立体物の存在によりピークが発生している場
合には、自車輌から立体物までの距離に応じた視差が発
生する。そこで、適切なしきい値を設け、左右の画像か
ら算出されたピーク位置のずれ量としきい値との差が小
さい場合のみ、逆光円が発生しているものと判断する。
したということは、画像中に逆光円が存在する可能性が
かなり高いことを意味している。上述したようにフェー
ルセーフは、車外監視を一時的に中断するものであるか
ら、不必要なフェールセーフの作動を避けるために、逆
光円の存在を正確に検証しておくことが好ましい。そこ
で、ステップ７およびステップ８の判断が実行される。
まず、ステップ７では、輝度分布特性における最大値Ａ
max（図４および図５における監視領域ｎ1の輝度和Ａ）
とＡmin（監視領域ｎ2の輝度和Ａ）との差が、判定値と
してのしきい値ΔＡthよりも大きいか否かが判断され
る。これにより、車輌前方の全体が比較的明るい場合に
撮像され得る正常画像を異常画像と判断してしまうこと
を防ぐことができる。さらに、ステップ８において、左
右の画像、すなわち基準画像のピーク位置ｎ1と比較画
像におけるピーク位置ｎ1とがほぼ同位置にあるか否か
が判断される。ステレオ方式を用いた場合、逆光円の距
離は無限遠として現れる。それゆえに、逆光円が発生し
ている場合には、両画像におけるピーク位置の水平方向
のずれ（視差）は、理論的には０となる。逆に、輝度の
非常に高い立体物の存在によりピークが発生している場
合には、自車輌から立体物までの距離に応じた視差が発
生する。そこで、適切なしきい値を設け、左右の画像か
ら算出されたピーク位置のずれ量としきい値との差が小
さい場合のみ、逆光円が発生しているものと判断する。
【００２８】上述したステップ２，４，６，７，８にお
いてすべて肯定判断された場合に、フェールフラグＮＧ
が１にセットされ、フェールセーフが行われ、通常の車
外監視が一時的に停止される。
いてすべて肯定判断された場合に、フェールフラグＮＧ
が１にセットされ、フェールセーフが行われ、通常の車
外監視が一時的に停止される。
【００２９】なお、車外監視の信頼性および制御の安定
性の双方を確保する観点でいえば、ＮＧフラグの切り換
えは、上述した正常／異常の判断がそれぞれ所定のサイ
クル分だけ継続した場合に行うことが好ましい。例え
ば、フェールフラグＮＧを０から１にセットする場合、
異常（フェール）判断が５サイクル（0.5秒相当）継続
した場合に変更する。また、フェールフラグＮＧを１か
ら０にセットする場合、正常判断が２０サイクル（2.0
秒）に渡って継続した場合に変更する。
性の双方を確保する観点でいえば、ＮＧフラグの切り換
えは、上述した正常／異常の判断がそれぞれ所定のサイ
クル分だけ継続した場合に行うことが好ましい。例え
ば、フェールフラグＮＧを０から１にセットする場合、
異常（フェール）判断が５サイクル（0.5秒相当）継続
した場合に変更する。また、フェールフラグＮＧを１か
ら０にセットする場合、正常判断が２０サイクル（2.0
秒）に渡って継続した場合に変更する。
【００３０】このように、本実施例における弱逆光検出
手法は、画像を分割することにより、画像の垂直方向に
延在する長方形状の監視領域を複数設定し、各監視領域
の輝度和の特性、すなわち、撮像画像の水平方向（横方
向）の輝度分布特性を求めている。弱逆光により逆光円
が画像中に発生すると、画像の横方向において、輝度が
比較的緩やかに変化するようなグラデーションが生じる
（図４参照）。そのような知得に基づいて、逆光円によ
り生じた横方向の変化パターンのうち特徴的な条件（分
布特性）として抽出し、それを検出対象となっている撮
像画像の輝度分布特性と比較することにより、逆光円の
有無を判断している。逆光円の有無を判断するのに有効
な分布特性をまとめると、以下の事項が挙げられる。
手法は、画像を分割することにより、画像の垂直方向に
延在する長方形状の監視領域を複数設定し、各監視領域
の輝度和の特性、すなわち、撮像画像の水平方向（横方
向）の輝度分布特性を求めている。弱逆光により逆光円
が画像中に発生すると、画像の横方向において、輝度が
比較的緩やかに変化するようなグラデーションが生じる
（図４参照）。そのような知得に基づいて、逆光円によ
り生じた横方向の変化パターンのうち特徴的な条件（分
布特性）として抽出し、それを検出対象となっている撮
像画像の輝度分布特性と比較することにより、逆光円の
有無を判断している。逆光円の有無を判断するのに有効
な分布特性をまとめると、以下の事項が挙げられる。
【００３１】（１）輝度和Ａの分散が大きい （２）輝度和Ａのピークが大きい （３）輝度和Ａのピーク近傍の変化がなだらかである
【００３２】基本的には、上記（１）〜（３）の事項を
検証すれば、異常画像か否かを判断することが可能であ
る。ただし、一つの事項だけで判断しようとすると、誤
った判断が生じる可能性があるので、これらを組み合わ
せて用いることが好ましい。また、弱逆光状況の検出精
度をさらに高めるために、以下の事項も参酌することが
好ましい。
検証すれば、異常画像か否かを判断することが可能であ
る。ただし、一つの事項だけで判断しようとすると、誤
った判断が生じる可能性があるので、これらを組み合わ
せて用いることが好ましい。また、弱逆光状況の検出精
度をさらに高めるために、以下の事項も参酌することが
好ましい。
【００３３】 （４）輝度和Ａの最大値と最小値との差が大きい （５）ステレオ方式において基準画像と比較画像とにお
けるピーク位置がほぼ同じである
けるピーク位置がほぼ同じである
【００３４】なお、（１）〜（４）自体はステレオカメ
ラ固有の事項ではない。したがって、これらを適宜組み
合わせて弱逆光状況を検出しようとする限り、単眼カメ
ラ等による車外監視装置に適用することができるのは当
然である。
ラ固有の事項ではない。したがって、これらを適宜組み
合わせて弱逆光状況を検出しようとする限り、単眼カメ
ラ等による車外監視装置に適用することができるのは当
然である。
【００３５】さらに、図２のフローチャートでは判断事
項とはしていないが、以下の事項を参照することも有効
である。
項とはしていないが、以下の事項を参照することも有効
である。
【００３６】（６）監視領域の上側エリア（マスク領域
の上側部分）における平均輝度値（または輝度飽和率）
の方が、下側エリア（マスク領域の下側部分）よりも平
均輝度値（または輝度飽和率）が大きい
の上側部分）における平均輝度値（または輝度飽和率）
の方が、下側エリア（マスク領域の下側部分）よりも平
均輝度値（または輝度飽和率）が大きい
【００３７】ここで、輝度飽和率とは、所定領域内にお
ける画素全体における、飽和レベル（例えば、輝度値２
５６階調において２４０以上）に達した画素が占める割
合をいう。
ける画素全体における、飽和レベル（例えば、輝度値２
５６階調において２４０以上）に達した画素が占める割
合をいう。
【００３８】以上の説明から明らかなように、本発明の
主たる特徴は、画像の横方向の輝度分布特性を、フェー
ルとして判定すべき異常画像（例えば、逆光円が存在す
るような画像）の水平方向に現れる輝度分布の特徴とし
て予め設定された逆光特性と比較することにより、異常
画像であるか否かを検出する点にある。上述した実施例
のように、異常画像の特徴を示すような判定条件（判定
値との大小関係）を設定する手法は、演算量を低減する
観点では最も好ましい手法ではある。しかしながら、本
発明はそれに限定されるものではなく、他の手法にも適
用することができるのは当然である。例えば、弱逆光に
おける輝度分散特性のパターンをテンプレートとして複
数用意しておき、撮像画像がいずれかのパターンにマッ
チした場合に、逆光円が画像中に存在するものと判断し
て、フェールセーフを行うようにしてもよい。
主たる特徴は、画像の横方向の輝度分布特性を、フェー
ルとして判定すべき異常画像（例えば、逆光円が存在す
るような画像）の水平方向に現れる輝度分布の特徴とし
て予め設定された逆光特性と比較することにより、異常
画像であるか否かを検出する点にある。上述した実施例
のように、異常画像の特徴を示すような判定条件（判定
値との大小関係）を設定する手法は、演算量を低減する
観点では最も好ましい手法ではある。しかしながら、本
発明はそれに限定されるものではなく、他の手法にも適
用することができるのは当然である。例えば、弱逆光に
おける輝度分散特性のパターンをテンプレートとして複
数用意しておき、撮像画像がいずれかのパターンにマッ
チした場合に、逆光円が画像中に存在するものと判断し
て、フェールセーフを行うようにしてもよい。
【００３９】なお、本実施例では、フェールとすべき異
常画像として、弱逆光状況により逆光円が画像の一部に
存在するような画像を例に説明した。逆光円が存在する
ような画像は、本発明にかかる手法により、最も精度よ
く検出し得る典型例ではある。しかしながら、本発明
は、それ以外の光学的な影響を受けた画像（例えば、ス
ミアの発生等）に適用することも可能である。
常画像として、弱逆光状況により逆光円が画像の一部に
存在するような画像を例に説明した。逆光円が存在する
ような画像は、本発明にかかる手法により、最も精度よ
く検出し得る典型例ではある。しかしながら、本発明
は、それ以外の光学的な影響を受けた画像（例えば、ス
ミアの発生等）に適用することも可能である。
【００４０】
【発明の効果】このように、本発明では、光学的な影響
などによって、撮像された画像に異常が生じた場合であ
っても、そのような画像異常を正確に検出することがで
きる。したがって、撮像された画像にそのような異常が
生じたとしても、それに的確に応答してフェールセーフ
を行えるため、車外監視装置の安全性をより高い次元で
確保することが可能となる。
などによって、撮像された画像に異常が生じた場合であ
っても、そのような画像異常を正確に検出することがで
きる。したがって、撮像された画像にそのような異常が
生じたとしても、それに的確に応答してフェールセーフ
を行えるため、車外監視装置の安全性をより高い次元で
確保することが可能となる。
【図１】実施例にかかる車外監視装置のブロック図
【図２】弱逆光によるフェールの判定手順を説明するた
めのフローチャート
めのフローチャート
【図３】画像領域中に設定された監視領域を説明するた
めの図
めの図
【図４】逆光円が生じた異常画像における輝度和Ａの特
性を示した図
性を示した図
【図５】正常画像における輝度和Ａの特性を示した図
【図６】二次微分値の和ＳＵＭの算出方法を説明するた
めの図
めの図
【図７】正常な画像の一例を示した図
【図８】逆光円が発生した異常画像の一例を示した図
【図９】逆光円により誤った距離情報を含む距離画像を
示した図
示した図
１ メインカメラ、 ２ サブカメラ、３，
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイコン、１０ 道路認
識部、 １１ 立体物認識部、１２ フェー
ル判定部、 １３ 処理部、１４ ＡＴ制御部、
１５ ＡＢＳ制御部、１６ ＴＣＳ制御
部、 １７ トルクバランス制御部、１８ エ
ンジン制御部、 １９ 警報装置
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイコン、１０ 道路認
識部、 １１ 立体物認識部、１２ フェー
ル判定部、 １３ 処理部、１４ ＡＴ制御部、
１５ ＡＢＳ制御部、１６ ＴＣＳ制御
部、 １７ トルクバランス制御部、１８ エ
ンジン制御部、 １９ 警報装置
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G01B 11/00 - 11/30 G08G 1/00 - 9/02 B60R 1/00 - 1/12 B60R 21/00 - 21/34 B60K 25/00 - 28/16 G05D 1/00 - 1/12 H04N 7/18
Claims (2)
- 【請求項１】車外の景色を撮像手段により撮像した画像
がフェールと判定された場合にフェールセーフを行う車
外監視装置において、 前記撮像手段により得られた撮像画像を複数個に分割す
ることにより前記画像の垂直方向に延在する監視領域を
複数設定すると共に各監視領域の中央部分にマスク領域
を設定して、前記監視領域のそれぞれについて当該監視
領域の全体的な輝度の大きさを算出すると共に、前記マ
スク領域を除いた上側領域内の画素の輝度飽和率と下側
領域内の画素の輝度飽和率とを算出する算出手段と、前記監視領域の位置と前記輝度の大きさとの関係から得
られる前記撮像画像の水平方向における輝度分布特性
が、 フェールとして判定したい異常画像の水平方向に現
れる輝度分布の特徴を有し、且つ、前記上側領域内の画
素の輝度飽和率が前記下側領域内の画素の輝度飽和率よ
りも大きい場合に、フェールと判定する判定手段とを有
することを特徴とするフェール機能を有する車外監視装
置。 - 【請求項２】車外の景色を複数のカメラで構成されたス
テレオカメラにより撮像した画像がフェールと判定され
た場合にフェールセーフを行う車外監視装置において、前記ステレオカメラにより得られた撮像画像の水平方向
における輝度分布特性を算出する算出手段と、 前記算出手段により算出された 輝度分布特性が、フェー
ルとして判定したい異常画像の水平方向に現れる輝度分
布の特徴を有し、且つ、前記カメラの一方の撮像画像に
おける前記輝度分布特性のピーク位置と、前記カメラの
他方の撮像画像における前記輝度分布特性のピーク位置
との差が、しきい値以内の場合に、フェールと判定する
判定手段とを有することを特徴とするフェール機能を有
する車外監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21691599A JP3272696B2 (ja) | 1999-07-30 | 1999-07-30 | フェールセーフ機能を有する車外監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21691599A JP3272696B2 (ja) | 1999-07-30 | 1999-07-30 | フェールセーフ機能を有する車外監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001043377A JP2001043377A (ja) | 2001-02-16 |
| JP3272696B2 true JP3272696B2 (ja) | 2002-04-08 |
Family
ID=16695924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21691599A Expired - Fee Related JP3272696B2 (ja) | 1999-07-30 | 1999-07-30 | フェールセーフ機能を有する車外監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3272696B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3462467B2 (ja) | 2000-11-14 | 2003-11-05 | 富士重工業株式会社 | 車外監視装置 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4794764B2 (ja) * | 2001-07-17 | 2011-10-19 | 富士重工業株式会社 | 車外監視装置 |
| JP3901573B2 (ja) | 2002-04-25 | 2007-04-04 | 富士通テン株式会社 | 画像認識システムにおける異常の診断装置 |
| JP4876080B2 (ja) | 2008-01-25 | 2012-02-15 | 富士重工業株式会社 | 環境認識装置 |
| JP4956452B2 (ja) | 2008-01-25 | 2012-06-20 | 富士重工業株式会社 | 車両用環境認識装置 |
| JP5073548B2 (ja) | 2008-03-27 | 2012-11-14 | 富士重工業株式会社 | 車両用環境認識装置および先行車追従制御システム |
| JP5011186B2 (ja) * | 2008-03-27 | 2012-08-29 | 富士重工業株式会社 | 運転支援装置および運転支援システム |
| JP6139088B2 (ja) * | 2012-10-02 | 2017-05-31 | 株式会社東芝 | 車両検知装置 |
| JP2016019009A (ja) * | 2014-07-04 | 2016-02-01 | 日立オートモティブシステムズ株式会社 | 情報処理装置 |
-
1999
- 1999-07-30 JP JP21691599A patent/JP3272696B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3462467B2 (ja) | 2000-11-14 | 2003-11-05 | 富士重工業株式会社 | 車外監視装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001043377A (ja) | 2001-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6310546B1 (en) | Stereo type vehicle monitoring apparatus with a fail-safe function | |
| US6658150B2 (en) | Image recognition system | |
| JP3312729B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP4374211B2 (ja) | レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置 | |
| US8041079B2 (en) | Apparatus and method for detecting obstacle through stereovision | |
| US9424462B2 (en) | Object detection device and object detection method | |
| US9704404B2 (en) | Lane detection apparatus and operating method for the same | |
| US20090190827A1 (en) | Environment recognition system | |
| JP2002022439A (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3092105B1 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3272696B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP2001091247A (ja) | 距離データの検査方法およびその検査装置 | |
| JP3301995B2 (ja) | ステレオ式車外監視装置 | |
| US6697146B2 (en) | Range finder for finding range by image realization | |
| JP4925498B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3272694B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| US9928430B2 (en) | Dynamic stixel estimation using a single moving camera | |
| JP5240517B2 (ja) | 車載カメラの校正装置 | |
| JP3235831B2 (ja) | ステレオ式車外監視装置 | |
| JP3344627B2 (ja) | ステレオ式車外監視装置 | |
| JP6204844B2 (ja) | 車両のステレオカメラシステム | |
| JP3649327B2 (ja) | フェールセーフ機能を有するステレオ式車外監視装置 | |
| JP7460282B2 (ja) | 障害物検出装置、障害物検出方法および障害物検出プログラム | |
| JP3349077B2 (ja) | 画像処理システム | |
| JP4794764B2 (ja) | 車外監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020115 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140125 Year of fee payment: 12 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |