JP3272694B2 - フェールセーフ機能を有する車外監視装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、強逆光等の光学的
な影響によって、撮像された画像に異常が生じた場合
に、フェールセーフを行う車外監視装置に関する。

【０００２】

【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た車載カメラを用いた車外監視装置が注目されている。
この装置は、車載カメラにより撮像された画像に基づい
て、走行環境（例えば、車外の対象物と自車輌との間の
距離等）を認識し、必要に応じて、ドライバーに注意を
喚起したり、シフトダウン等の車輌制御を行うものであ
る。例えば、ステレオカメラ方式による距離計測技術を
用いて走行環境の認識を行う場合、撮像された画像対に
おける同一物の位置的な差（視差）を求め、三角測量の
原理を用いて、対象物までの距離（距離情報）を得るこ
とができる。

【０００３】このような車外監視装置を実用化するにあ
たっては、装置の安全動作を保証するために、フェール
セーフ機能を設ける必要がある。この類の装置で検出す
べきフェールの一つとして、太陽から車載カメラに強い
光が射し込み、画像認識ができない状況（強逆光状況）
が挙げられる。ここで、図８に示したような車両前方の
撮像画像について考える。強逆光状況が生じると、図６
に示したように、画像の一部に強いスミア（すなわちＣ
ＣＤの電荷転送方向である縦方向に生じた明るい筋）が
発生する。画像中にスミアが生じると、そのエリアにお
ける画素の輝度値が飽和レベルに達してしまうため、正
しい画像情報を得ることができなくなってしまう。その
結果、その領域内に立体物が存在していたとしても、そ
れがスミアによりマスクされた状態になってしまうた
め、立体物を正しく認識することが困難になる。

【０００４】さらに、スミアのエッジ部では、水平方向
の隣接画素間の輝度変化が大きいので、そのエッジ部に
おいて誤った距離情報が算出されてしまうことがある。
図７は、図８のような画像を有するステレオ画像（基準
画像と比較画像）から得られる距離画像を示した図であ
る。同図において、黒点で示した部分は、画像の横方向
において互いに隣接した画素間の輝度変化が大きい部分
であり、この部分が距離情報（奥行き）を有している。
スミアの内部は、大半の画素の輝度が飽和レベルに達し
ているため、本来算出されるべき距離データが算出され
ない。また、スミアのエッジでは、水平方向輝度変化が
大きいため、誤った距離データが算出されてしまう。車
外監視装置の安全性を高い次元で確保するという観点で
いえば、強逆光により正しい距離画像が得られないよう
な状況では、監視を一時的に中断させるフェールセーフ
機能を働かせる必要がある。

【０００５】

【発明が解決しようとする課題】このように、従来、車
外監視装置の実用化において不可欠なフェールセーフ機
能が確立されておらず、装置の安全性を高い次元で確保
するための課題が残されていた。また、フェール検出
は、車外監視と平行してリアルタイムで行う必要がある
ので、それに要する演算量はできるだけ少ないことが好
ましい。

【０００６】そこで、本発明の目的は、強逆光等の光学
的な影響により、撮像された画像に異常が生じた場合
に、比較的少ない演算量で、そのような画像異常を正確
に検出することにより、確実なフェールセーフを行い得
る車外監視装置を提供することである。

【０００７】

【課題を解決するための手段】請求項１記載の発明は、
車外の景色を撮像手段により撮像した画像がフェールと
判定された場合にフェールセーフを行う車外監視装置に
おいて、前記画像の上側領域の一部に第1の監視領域を
設定すると共に前記画像の下側領域の一部に第２の監視
領域を設定して、各監視領域内における画素の輝度飽和
率をそれぞれ求め、前記第１の監視領域における前記輝
度飽和率が第１の所定値以上であり、且つ、前記第２の
監視領域における前記輝度飽和率が第２の所定値以上の
場合に、フェールと判定するフェール判定手段を備えた
ことを特徴とする。

【０００８】その際、請求項２記載の発明のように、前
記第１の所定値の方が前記第２の所定値よりも大きいこ
と望ましい。

【０００９】請求項３記載の発明は、車外の景色を撮像
手段により撮像した画像がフェールと判定された場合に
フェールセーフを行う車外監視装置において、前記画像
の上側領域の一部に第1の監視領域を設定すると共に前
記画像の下側領域の一部に第２の監視領域を設定して、
各監視領域内における画素の輝度飽和数をそれぞれ求
め、前記第１の監視領域における前記輝度飽和数が第１
のしきい値以上であり、且つ、前記第２の監視領域にお
ける前記輝度飽和数が第２のしきい値以上の場合に、フ
ェールと判定するフェール判定手段を備えたことを特徴
とする。

【００１０】ここで、請求項４記載の発明のように、前
記第１のしきい値の方が前記第２のしきい値よりも大き
いことが望ましい。

【００１１】

【００１２】

【発明の実施の形態】図１は、本実施例にかかる車外監
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車両の車
幅方向において所定の間隔で取り付けられており、車両
前方の風景を撮像する。メインカメラ１は、ステレオ処
理を行う際に必要な基準画像（右画像）を撮像し、サブ
カメラ２は、この処理における比較画像（左画像）を撮
像する。互いの同期している状態において、カメラ１，
２から出力された各アナログ画像は、Ａ／Ｄコンバータ
３，４により、所定の輝度階調（例えば、２５６階調の
グレースケール）のデジタル画像に変換される。デジタ
ル化された画像は、画像補正部５において、輝度の補正
や画像の幾何学的な変換等が行われる。通常、一対のカ
メラ１，２の取付位置は、程度の差こそあれ誤差がある
ため、それに起因したずれが左右の画像に存在してい
る。このずれを補正するために、アフィン変換等を用い
て、画像の回転や平行移動等の幾何学的な変換が行われ
る。このようにして補正された基準画像および比較画像
は、元画像メモリ８に格納される。

【００１３】一方、ステレオ画像処理部６は、画像補正
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車両から対象物まで
の距離を含む）を算出する。この距離は、左右画像にお
ける同一対象物の位置に関する相対的なずれから、三角
測量の原理に基づき算出することができる。このように
して算出された画像の距離情報は、距離データメモリ７
に格納される。

【００１４】マイコン９は、元画像メモリ８および距離
データメモリ７に格納された各情報に基づき、車両前方
の道路状態等を認識したり（道路認識部１０）、車両前
方の立体物（走行車）等を認識する（立体物認識部１
１）。そして、処理部１３は、これらの認識部１０，１
１からの情報から警報が必要と判定された場合、モニタ
やスピーカー等の警報装置１９によりドライバーに対し
て注意を促したり、或いは、必要に応じて、各種制御部
１４〜１８を制御する。例えば、ＡＴ（自動変速機）制
御部１４に対して、シフトダウンを実行する旨を指示す
る。また、エンジン制御部１８に対してエンジン出力を
低下する旨指示してもよい。その他にも、アンチロック
ブレーキシステム（ＡＢＳ）制御部１５、トラクション
コントロールシステム（ＴＣＳ）制御部１６、或いは、
各車輪のトルク配分や回転数を制御する車輌挙動制御部
１７に対して、適切な車輌制御を指示することも可能で
ある。

【００１５】さらに、フェール判定部１２は、元画像メ
モリ８に記憶された元画像情報に基づいて、後述するル
ーチンに従ってフェール判定を行う。フェールと判定さ
れている期間、すなわち、後述するフェール判定ルーチ
ンによりフェールフラグＮＧが１にセットされている期
間は、道路や立体物の誤認識にともなう装置の誤動作等
を防ぐために、上述した車輌制御等が一時的に中断され
る。

【００１６】図２は、強逆光によるフェールの判定ルー
チンを示したフローチャートである。このフローチャー
トは、所定の制御周期（例えば１００ｍｓ）ごとに繰り
返し実行される。このルーチンにより、フェールフラグ
ＮＧが１にセットされた場合、フェール判定部１２は、
処理部１３に対してその旨を指示し、処理部１３は本車
外監視装置のフェールセーフを実行する。

【００１７】まず、フェール判定部１２は、元画像メモ
リ８中に格納された基準画像中の複数の所定領域、すな
わち、第１の監視領域Ｒ１および第２の監視領域Ｒ２に
おける各画素の輝度値を抽出する（ステップ１）。強逆
光によるスミアが発生しているか否かは、監視領域Ｒ
１，Ｒ２内の各画素の輝度に基づいて判断される。図３
は、基準画像中に設定された監視領域Ｒ１，Ｒ２を説明
するための図である。第１の監視領域Ｒ１は、画像の上
側領域に設定され、第２の監視領域Ｒ２は、画像の下側
領域に設定される。監視領域Ｒ１，Ｒ２以外の画像領域
はマスクされているため、このマスク領域は強逆光検出
の判断対象とはならない。なお、監視領域Ｒ１，Ｒ２の
設定位置に関する留意点については後述する。

【００１８】ステップ１に続くステップ２において、第
１の監視領域Ｒ１における輝度飽和数ｎ1が算出され
る。輝度飽和数ｎ1は、第１の監視領域Ｒ１中の画素の
うち、輝度値が所定値（例えば２４０）以上の画素の数
である。次に、ステップ３において、輝度飽和数ｎ1が
しきい値Ｎ１以上であるか否か、換言すると、画像中に
スミアが生じている可能性があるか否かが判断される。
第１の監視領域Ｒ１における輝度飽和数ｎ1がしきい値
Ｎ１に満たない場合は、画像にスミアが発生していない
と判断される。この場合は、ステップ４に進み、フェー
ルフラグＮＧを０に設定して、今回の制御周期を終了す
る。なお、第１の監視領域Ｒ１における画素の輝度飽和
数ｎ１の代わりに、この領域における輝度飽和率（第１
の監視領域Ｒ１中の画素数に対して輝度飽和数ｎ１が占
める割合）を用いて、スミアの有無を判定してもよい。
第１の監視領域Ｒ１中の画素数は一定であるから、輝度
飽和数ｎ１を求めることは、第１の監視領域Ｒ１の輝度
飽和率を求めることと等価である（後述する第１の監視
領域Ｒ２の輝度飽和数ｎ２についても同様）。

【００１９】一方、ステップ３において肯定判断された
場合、画像中にスミアが発生している可能性があるもの
として、第２の監視領域Ｒ２の輝度の状態を調べる。ま
ず、ステップ２と同様の手法により、第２の監視領域Ｒ
２における輝度飽和数ｎ2を算出する。そして、ステッ
プ６において、輝度飽和数ｎ2がしきい値Ｎ2以上である
か否かが判断される。しきい値Ｎ2はＮ1と同じ値に設定
されている。しかしながら、第１の監視領域Ｒ１は空を
含むことが多く、輝度が大きくなりやすいので、第１の
しきい値Ｎ１の方を第２のしきい値Ｎ２よりも大きな値
に設定してもよい。

【００２０】ステップ６で肯定判断された場合、すなわ
ち、第１および第２の監視領域Ｒ１，Ｒ２の双方の輝度
飽和数がしきい値を越えている場合のみ、強逆光による
スミアが画像に発生しているものと判断して、フェール
フラグＮＧを１にセットする（ステップ７）。一方、ス
テップ６において否定判定された場合、フェールフラグ
ＮＧは０に設定される（ステップ４）。

【００２１】なお、実際の制御においては、制御の安定
性を確保するために、ＮＧフラグの切り換えは所定のサ
イクル分だけ継続した場合に行うようにしてもよい。例
えば、フェールフラグＮＧを０から１にセットする場
合、ステップ３およびステップ６における肯定判定が５
サイクル（0.5秒）継続した場合に変更する。また、フ
ェールフラグＮＧを１から０にセットする場合、ステッ
プ３またはステップ６における否定判定が２０サイクル
（2.0秒）継続した場合に変更する。

【００２２】図６のようにスミアが画像の縦方向に生じ
ている場合、第１の監視領域Ｒ１の輝度飽和数ｎ1およ
び第２の監視領域Ｒ２の輝度飽和数ｎ2は共に増大す
る。したがって、しきい値Ｎ１，Ｎ２を適切に設定して
おけば、画像全体を参照しなくても（監視領域Ｒ１，Ｒ
２だけで）スミアを検出することができる。

【００２３】このように、画像の部分的な情報に基づい
てスミアの発生の有無を判断しようとする場合、スミア
による異常画像と、大きな輝度の領域が部分的に存在す
る正常画像とを正確に区別できることが重要である。本
実施例では、この点を考慮して、このように、第１の監
視領域Ｒ１と第２の監視領域Ｒ２とで別々に輝度の飽和
状態を判断し、双方が飽和している場合のみスミアが発
生していると判断している。

【００２４】例えば、晴天時を考えた場合、カメラの露
出によっては、撮像画像中の空に対応する領域の輝度が
飽和してしまうことがあり得る。このような状況では、
第１の監視領域Ｒ１に関する輝度飽和数ｎ1がしきい値
Ｎ１を越えてしまうかもしれない。しかしながら、画像
の下側に設定された第２の監視領域Ｒ２の輝度飽和数ｎ
2が大きくなることはないので、このような正常画像を
誤って異常と判断してしまうことはない。次に、自車輌
の前方に輝度の大きな立体物（例えば、白い外装の車）
が存在する場合を考える。この場合、その立体物が比較
的遠方に存在する場合、遠方に相当する第１の監視領域
Ｒ１の輝度飽和数ｎ1が大きくなって、しきい値Ｎ１を
越えてしまうかもしれない。しかしながら、第２の監視
領域Ｒ２は、自車輌の近傍に相当するので、輝度飽和数
ｎ2が大きくなることはない。したがって、このような
正常画像を誤って異常と判断してしまうことはない。逆
に、自車輌の近傍に輝度の大きな立体物が存在する場
合、輝度飽和数ｎ2は大きくなるものの、輝度飽和数ｎ1
はその影響を受けない。つまり、通常の状況では、輝度
の大きな立体物があったとしても、画像上部の監視領域
または画像下部の監視領域のいずれか一方に収まり、双
方の監視領域においてスミアと同様の面積を占めること
はないので、スミアが生じた状況と明確に区別すること
ができる。

【００２５】このように、車外監視装置が撮像する実際
の状況を検討すると、上述したようなスミア検出手法
で、十分な精度を確保することができる。さらに、本実
施例のように画像の一部分に基づいてスミアを検出する
手法は、画像全体を検出対象とした場合と比べて、必要
な演算量が少なくて済むという効果がある。時々刻々と
変化する車外の景色をリアルタイムで認識しなければな
らない車外監視装置では、画像処理における演算量は膨
大になる。演算量が少なくてすむ本実施例の手法を用い
れば、画像処理速度の低下を招くことなく、リアルタイ
ムでフェール判定を行うことが可能となる。

【００２６】なお、監視領域Ｒ１，Ｒ２の設定位置に関
しては、スミア検出の精度と演算量の低減とを両立させ
るために、さらに、以下の点を考慮することが好まし
い。

【００２７】（１）第１の監視領域Ｒ１と第２の監視領
域Ｒ２とは離して設定する。図３に示したように、第１
の監視領域Ｒ１と第２の監視領域Ｒ２との間には、マス
ク領域（不感帯）を介在させておく。これにより、白い
車等が前方に存在する場合、それが監視領域Ｒ１，Ｒ２
の双方に渡って位置するような状況を生じにくくするこ
とができる。したがって、このような立体物の誤認識を
防止でき、スミアの検出精度を高めることができる。ま
た、監視領域を小さく設定できるため、演算量を減らす
ことができる。

【００２８】（２）第１の監視領域Ｒ１の上部はマスク
領域を存在させておく。図６に示したように、通常、こ
の領域は空に相当することが多く、輝度が大きくなって
しまうことがある。したがって、この部分を含まないよ
うに第１の監視領域Ｒ１を設定すれば、スミア検出の誤
認識を効果的に抑制することができ、演算量も少なくで
きる。

【００２９】（３）第２の監視領域Ｒ２よりも第１の監
視領域Ｒ１の方を小さな領域に設定する。車外監視装置
においては、自車輌の前方のうち特に進行方向の情報が
重要である。したがって、左右の端部の領域は、演算量
の低減の観点から無視しても構わない。また、重要な情
報は、二次元平面上では台形領域（図３の一点破線Ｌ
１、Ｌ２で挟まれた領域内の画像情報である。そこで、
この領域内に収まる範囲で、第１の監視領域Ｒ１の横幅
を、第２の監視領域Ｒ２のそれよりも小さく設定してお
く。これにより、フェール検出に要する演算量を一層少
なくすることができる。なお、このような観点から、監
視領域を図５に示したような台形状、或いは平行四辺形
状に設定してもよい。

【００３０】（４）監視領域内の一部の画素を判定対象
とする。例えば、図４に示したように、監視領域におけ
る横方向の画素列を所定の間隔でピックアップする。そ
して、その上下の横方向の画素列に関しては、一画素分
だけオフセットしてピックアップしていく。そして、ピ
ックアップされた画素の輝度値のみを判断対象として、
スミア判断を行う。なお、監視領域においてなるべく均
一に分散した状態になるように、画素をピックアップす
ることが好ましい。

【００３１】本実施例では、スミアの有無を監視領域内
の輝度飽和数に基づいて判断している。この手法は、で
きるだけ少ない演算量でフェール判定を行うことができ
るという優れたメリットがある。しかしながら、本発明
は、この手法に限定されるものではなく、例えば、以下
のような手法に基づいて判断してもよい。

【００３２】（１）エッジの輝度差に基づくスミアの検
出 画像の水平方向に関して、エッジの内外の輝度差を求め
る。そして、この輝度差が所定値以上で、かつ、そのエ
ッジが画像の縦方向に形成されている場合に、スミアが
生じているものと判断する。

【００３３】（２）テンプレートマッチングによるスミ
アの検出 スミアが生じた画像パターンをテンプレートとして複数
用意しておく。そして、撮像された画像が、いずれかの
テンプレートンにマッチした場合に、スミアが存在する
ものと判断して、フェールセーフを行うようにしてもよ
い。

【００３４】なお、本実施例では、フェールとすべき異
常画像として、強逆光状況によりスミアが画像の一部に
存在するような画像を例に説明した。スミアが存在する
ような画像は、本発明にかかる手法により、最も精度よ
く検出し得る一例ではあるが、本発明は、それ以外の光
学的な影響を受けた画像に適用することも可能である。

【００３５】また、本実施例では、ステレオカメラのフ
ェール判定を説明しているが、本発明はこれに限定され
ず、単眼カメラを用いた場合にも適用することができる
のは当然である。

【００３６】

【発明の効果】このように、本発明により、強逆光等の
光の影響により撮像された画像に異常が生じた場合であ
っても、そのような画像異常を正確に、かつ、比較的少
ない演算量で検出することができる。したがって、撮像
された画像にそのような異常が生じたとしても、それに
的確に応答してフェールセーフを行えるため、車外監視
装置の安全性をより高い次元で確保することが可能とな
る。

【図面の簡単な説明】

【図１】実施例にかかる車外監視装置のブロック図

【図２】強逆光によるフェールの判定ルーチンを示した
フローチャート

【図３】画像領域中に設定された監視領域を説明するた
めの図

【図４】監視領域における輝度飽和数（輝度飽和率）の
算出方法を説明するための図

【図５】監視領域の他の設定手法を説明するための図

【図６】強逆光状態によりスミアが発生した画像を示し
た図

【図７】スミアにより誤った距離情報を含む距離画像を
示した図

【図８】正常な画像の一例を示した図

【符号の説明】

１ メインカメラ、 ２ サブカメラ、３，
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離画像メモリ、８ 元画
像メモリ、 ９ マイコン、１０ 道路認識
部、 １１ 立体物認識部、１２ フェール
判定部、 １３ 処理部、１４ ＡＴ制御部、
１５ ＡＢＳ制御部、１６ ＴＣＳ制御部、
１７ 車輌挙動制御、１８ エンジン制御
部、 １９ 警報装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｅ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G08G 1/00 - 9/02 B60R 1/00 - 1/12 B60R 21/00 - 21/34 B60K 25/00 - 28/16 G05D 1/00 - 1/12 H04N 7/18 H04N 5/235 - 5/243 G01B 11/00 - 11/30

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】車外の景色を撮像手段により撮像した画像
   がフェールと判定された場合にフェールセーフを行う車
   外監視装置において、前記画像の上側領域の一部に第1の監視領域を設定する
   と共に前記画像の下側領域の一部に第２の監視領域を設
   定して、各監視領域内における画素の輝度飽和率をそれ
   ぞれ求め、前記第１の監視領域における前記輝度飽和率
   が第１の所定値以上であり、且つ、前記第２の監視領域
   における前記輝度飽和率が第２の所定値以上の場合に、
   フェールと判定するフェール判定手段を備えた ことを特
   徴とするフェールセーフ機能を有する車外監視装置。
2. 【請求項２】前記第１の所定値の方が前記第２の所定値
   よりも大きいことを特徴とする請求項１記載のフェール
   セーフ機能を有する車外監視装置。
3. 【請求項３】車外の景色を撮像手段により撮像した画像
   がフェールと判定された場合にフェールセーフを行う車
   外監視装置において、 前記画像の上側領域の一部に第1の監視領域を設定する
   と共に前記画像の下側領域の一部に第２の監視領域を設
   定して、各監視領域内における画素の輝度飽和数をそれ
   ぞれ求め、前記第１の監視領域における前記輝度飽和数
   が第１のしきい値以上であり、且つ、前記第２の監視領
   域における前記輝度飽和数が第２のしきい値以上の場合
   に、フェールと判定するフェール判定手段を備えたこと
   を特徴とする フェールセーフ機能を有する車外監視装
   置。
4. 【請求項４】前記第１のしきい値の方が前記第２のしき
   い値よりも大きいことを特徴とする請求項３記載のフェ
   ールセーフ機能を有する車外監視装置。