JP4914233B2 - 車外監視装置 - Google Patents

Description

本発明は、車外監視装置に係り、特に、自車両の周囲を撮像するカメラの露光量等を調整可能な車外監視装置に関する。

近年、乗用車等の車両の周囲に存在する立体物をＣＣＤ（Charge Coupled Device）カメラ等で撮像した画像の画像解析等により検出する技術の開発が進められている（例えば特許文献１等参照）。これらの技術は、例えば検出した立体物との衝突の可能性を判断し、警報を鳴らしてドライバの注意を喚起したり衝突を回避するように自動操舵や自動制動制御等を行う車両の安全走行のための技術等に応用される。

このような立体物の検出では、先行車両やそのテールランプ、対向車両、道路上の歩行者や道路わきに停車している停車車両等の障害物等を的確に検出することが重要となる。また、カメラで撮像した画像中からそれらの立体物を検出するためには、カメラの露光調整等を適切に行って立体物を検出し得る画像が撮像されなければならない。

ＣＣＤカメラ等のカメラは、通常、このような適切な露光調整等を自動的に行う機能を有している。また、夜間走行時や、トンネル内走行時或いはトンネルへの進入、退出時などのように、カメラの撮像範囲内が暗くなったり明暗が大きく変化するような場合に、カメラの露光調整を行う装置が提案されている（特許文献２、３参照）。
特開平７−２２５８９２号公報 特開平７−８１４５９号公報 特開２００５−１４８３０８号公報

ところで、前記のようなＣＣＤカメラ等が通常有している機能や、特許文献２、３に記載された装置の機能によれば、カメラの撮像範囲内や画像中に設定したエリア内の明るさ等に応じて適切に露光調整を行うことが可能となり、このような調整は適宜行われる。しかしながら、例えばカメラで先行車両を検出し、検出した情報に基づいて先行車両に追随するように自動制御を行っているような場合、夜間の走行時やトンネル内を走行中に先行車両の右側（北米等では左側）に対向車両が現れて、そのヘッドライトの光が自車両のカメラに入光することがある。

このような場合、前記のようにカメラの露光調整が適切に行われていても、撮像画像中で対向車両のヘッドライトの光が白く大きく広がって先行車両の右側が撮像されず、先行車両を検出できなくなり、或いは検出誤差が大きく現れてしまう場合がある。また、先行車両をそのテールランプ等の位置情報に基づいて検出する場合もあるが、例えば後述する図１２に示すように画像上でテールランプの光と対向車両のヘッドライドの光とが一体的な高輝度領域として撮像されてしまい、先行車両のテールランプを的確に検出できなくなる場合もある。

さらに、例えば特許文献１に記載の装置のように、２台のカメラでステレオ撮像してステレオマッチング等により自車両の周囲の立体物までの距離を算出して立体物を検出する装置が開発されているが、そのような装置では、図１４に斜線を付して示すように、自車両ＭＣの右側のカメラには撮像されるが、左側のカメラには先行車両Ｖahの陰になって見えない領域が生じる。

そして、その領域に対向車両Ｖoncが存在する場合、図１５に示すように、対向車両Ｖoncのヘッドライトの光Ｌheadは、右側のカメラには撮像されるが左側のカメラには撮像されない。そのため、左側のカメラの撮像画像よりも右側のカメラの撮像画像の方がヘッドライトの光Ｌheadを中心に全体的に輝度が高くなり、２つの撮像画像の輝度の相関に基づくステレオマッチングを的確に行うことができなくなる場合がある。

また、この２つの撮像画像に基づいてステレオマッチングを行うと、対向車両Ｖoncのヘッドライトの光Ｌheadの影響で、先行車両Ｖahの右側部分や先行車両Ｖahの右側のテールランプの部分でステレオマッチングを的確に行うことができなくなり、それに基づいて検出された自車両ＭＣから先行車両Ｖahまでの距離に大きな検出誤差を生じてしまう場合がある。

本発明は、このような事情に鑑みてなされたものであり、撮像手段の撮像画像中に対向車両のヘッドライトのような強い光を放つ光源が撮像された場合に的確に撮像手段の露光調整を行って強い光の影響を低減、排除することが可能な車外監視装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
車外監視装置において、
自車両の周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像中から所定の対象物を検出する対象物検出手段と、
前記画像上の前記対象物の端部を基準に前記対象物の側方に所定の監視領域を設定する監視領域設定手段と、
前記監視領域内で光源の存在を判定する判定手段と、
前記判定手段により前記光源の存在が判定された場合に、前記撮像手段の露光量と前記撮像手段から出力される画素の輝度の少なくとも一方を調整する調整手段とを備え、
前記判定手段により前記光源が存在しないと判定された場合には、前記対象物の横幅が検出されて更新され、
前記監視領域設定手段は、前記判定手段により前記光源が存在すると判定された場合に、前記対象物において、前記光源が存在する側と反対側に検出される前記対象物の端部位置から前記記憶された前記対象物の横幅分だけ離れた位置を基準に前記監視領域を設定することを特徴とする。

第２の発明は、第１の発明の車外監視装置において、前記判定手段は、前記監視領域内において輝度が所定の閾値を超える画素が所定個数以上検出された場合に前記光源が存在すると判定することを特徴とする。

第３の発明は、第１または第２の発明の車外監視装置において、前記判定手段は、前記監視領域内において輝度が所定の閾値を超える画素を検出し、検出された前記画素のうち、互いに隣接する前記画素をまとめた画素領域の画素数を計算し、算出された前記画素数が所定の閾値を超える場合に前記光源が存在すると判定することを特徴とする。

第４の発明は、第１から第３のいずれかの発明の車外監視装置において、前記調整手段は、前記光源が存在すると判定された場合に、以後のサンプリング周期で前記光源が存在しないと判定されるまで、または調整量が予め設定された限界量に達するまで、前記撮像手段の露光量と前記撮像手段から出力される画素の輝度の少なくとも一方を段階的に調整することを特徴とする。

第５の発明は、第１から第４のいずれかの発明の車外監視装置において、
前記対象物検出手段により検出された前記対象物までの実空間上の距離を前記画像から算出する距離検出手段を備え、
前記距離検出手段は、前記光源が存在すると判定された場合には、前記光源が存在する側の前記対象物の位置情報を除いた前記対象物の位置情報を用いて前記距離を算出することを特徴とする。

第６の発明は、第１から第５のいずれかの発明の車外監視装置において、
前記対象物検出手段は、サンプリング周期間での前記対象物の実空間上での位置変化に基づいて自車両から見て前記対象物の横方向の移動速度を検出し、
前記光源が存在すると判定された場合には、前記対象物の前記光源が存在する側の前記対象物の位置情報を除いた前記対象物の位置情報を用いて前記横方向の移動速度を算出することを特徴とする。

第１の発明によれば、強い光を放つ光源が撮像される対象物の側方の適切な位置に光源の監視領域を設けて光源の有無を監視する。そのため、光源が存在する場合に撮像手段の露光量や撮像手段から出力される画素の輝度を調整するなどして、光源の影響を的確に低減し排除することが可能となる。

また、監視領域中の高輝度の画素数を計数するなどして光源の存在を判定し、監視領域内に光源が存在しない間は対象物の横幅を検出して更新し、監視領域内に光源が存在すると判定した場合には、対象物の光源が存在する側とは反対側の端部からその横幅分だけ離れた位置に監視領域を設定することで、監視領域を適切な位置に設定して、光源の有無を確実に監視することが可能となる。

第２の発明によれば、監視領域内において高輝度の画素が所定個数以上検出された場合に光源が存在すると判定することで、監視領域内に光源が存在するか否かを容易かつ明確に判定することが可能となり、前記第１の発明の効果がより的確に発揮される。

第３の発明によれば、監視領域内において高輝度の画素を検出し、互いに隣接する高輝度の画素をまとめて画素領域として画素領域の画素数を計算し、その画素数が所定個数以上である場合に光源が存在すると判定することで、監視領域内の高輝度画素が光源を撮像した画素であると特定して光源の存在を判定することが可能となり、光源の有無を確実かつ容易に判定することが可能となるため、前記各発明の効果がより的確かつ確実に発揮される。

第４の発明によれば、撮像手段が通常有する露光調整機能に加えてそれとは別に本発明の車外監視装置により強制的に行われる露光調整のレベルを徐々に段階的に調整することで、強制的な露光調整のレベルを一気に上げて例えば先行車両のテールランプや対向車両のヘッドライト等の光源以外の部分が撮像画像中で判別できなくなり、対象物自体が検出できなくなってしまう事態を避けることが可能となり、本発明による強制的な露光調整を適切に行うことが可能となる。

そのため、前記各発明の効果がより的確かつ確実に発揮され、前述したような例えば先行車両のテールランプの検出や、基準画像と比較画像とに対するステレオマッチングを的確に行うことが可能となり、対象物や光源の検出を的確に行うことが可能となる。

第５の発明によれば、対象物の光源が存在する側の位置情報を除いた対象物の位置情報を用いて対象物までの距離を算出することで、対象物までの距離を光源の影響を受けることなく正確に算出することが可能となり、前記各発明の効果がより的確に発揮されるとともに、対象物までの距離やそれに基づく対象物や光源の検出に対する信頼性を向上させることが可能となる。

第６の発明によれば、前記各発明の効果に加え、対象物の光源が存在する側の位置情報を除いた対象物の位置情報を用いて横方向の移動速度を算出することで、対象物の横方向の移動速度を光源の影響を受けることなく正確に算出することが可能となる。

以下、本発明に係る車外監視装置の実施の形態について、図面を参照して説明する。

なお、本実施形態では、自車両の周囲を撮像する撮像手段として２台のカメラを用いてステレオ撮像を行う形態が示されるが、撮像手段を例えば単数のカメラ等で構成することも可能である。また、先行車両検出手段は、撮像された画像中から先行車両を検出できるものであればよく、本実施形態の構成に限定されない。

本実施形態に係る車外監視装置１は、図１に示すように、主に撮像手段２や変換手段３、画像処理手段６等で構成される位置情報収集手段９と、対象物検出手段１１等を含むコンピュータ１０とで構成されている。

なお、位置情報収集手段９の構成は本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され例えばルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラであり、所定のサンプリング周期で自車両の周囲の道路を含む風景を撮像して一対の画像を出力するように構成されている。

前述したように、本実施形態では撮像手段２として２台のＣＣＤカメラが備えられており、ＣＣＤカメラに通常備えられる機能として、最適な露光を得るための露光調整が自動的に行われるようになっている。ここで、本実施形態における露光調整には、少なくともシャッタ時間調整やアンプゲイン切り替え、ＬＵＴ（Look Up Table）の選択やそれによる輝度値変換などが含まれ、それらが総合的に調整されるようになっている。

なお、本実施形態で用いられるＣＣＤカメラはアイリスを備えないためアイリス絞り調整については述べなかったが、撮像手段２がアイリス等の露光調整を行うための他の機能を備える場合には、それらも含めて総合的に最適な露光を得るための自動的な露光調整が行われる。

本実施形態では、撮像手段２の一対のカメラのうち、運転者に近い側のカメラがメインカメラ２ａとされ、例えば図２に示すような基準画像Ｔを撮像するようになっている。また、サブカメラ２ｂでは基準画像Ｔと対照される比較画像が撮像される。

メインカメラ２ａとサブカメラ２ｂから出力された画像データは、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われ、画像データメモリ５に格納されると同時にコンピュータ１０に送信されるようになっている。

画像処理手段６のイメージプロセッサ７では、基準画像Ｔと比較画像の各画像データにステレオマッチング処理やフィルタリング処理を施して実空間上の距離に対応する視差ｄｐを算出するようになっている。以下、視差ｄｐが割り当てられた画像を距離画像という。このようにして算出された視差ｄｐの情報すなわち距離画像は、画像処理手段６の距離データメモリ８に格納されるようになっている。

なお、視差ｄｐ、距離画像上の点（ｉ，ｊ）と、前記一対のカメラ２ａ、２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向をＸ軸方向、車高方向をＹ軸方向、車長方向をＺ軸方向とした場合の実空間上の点（Ｘ，Ｙ，Ｚ）とは、下記（１）〜（３）式で表される座標変換により一意に対応づけられる。なお、下記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）

本実施形態では、以上の撮像手段２からイメージプロセッサ７や距離データメモリ８を含む画像処理手段６までで、自車両前方の所定領域内に存在する立体物までの自車両からの距離Ｚすなわち前記（３）式により距離Ｚと一意に対応づけられる視差ｄｐを測定する位置情報収集手段９が構成されており、位置情報収集手段９が本発明において自車両と先行車両との距離Ｚを算出する距離検出手段に相当する。

なお、距離検出手段は自車両と先行車両との距離Ｚを算出、測定できるものであればよく、本実施形態の他にも、例えば自車両前方にレーザ光や赤外線等を照射してその反射光の情報に基づいて立体物までの距離Ｚを測定するレーダ装置等で構成することも可能であり、検出の手法は特定の手法に限定されない。

コンピュータ１０は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されて構成されている。また、コンピュータ１０には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。

コンピュータ１０は、図１に示すように、対象物検出手段１１と、監視領域設定手段１２と、判定手段１３と、調整手段１４とを備えており、さらに図示しないメモリを備えている。また、コンピュータ１０の各手段には、センサ類Ｑから必要なデータが入力されるようになっている。

対象物検出手段１１は、本実施形態では、本願出願人により先に提出された前述したように特開平１０−２８３４６１号公報等に記載された車外監視装置等をベースに構成されている。対象物検出手段１１では、最初に立体物検出処理が行われるが、それについてはそれらの公報に詳述されており詳細な説明はそれらの公報に委ねる。以下、簡単にその構成について説明する。

本実施形態では、対象物検出手段１１で検出する所定の対象物として先行車両を検出する場合について述べるが、所定の対象物はこれに限定されない。対象物検出手段１１は、基準画像Ｔ中から立体物を検出する立体物検出処理を行い、自車両の挙動に基づいて自車両が今後走行する軌跡（以下、走行軌跡という）を推定する走行軌跡推定処理を行い、最後に検出した立体物の中から走行軌跡に基づいて先行車両を検出する対象物検出処理を行うようになっている。

立体物検出処理では、対象物検出手段１１は、立体物の位置情報すなわち視差ｄｐに基づいて互いに隣接する位置情報をそれぞれグループにまとめ、各グループ内の視差ｄｐを自車両の車幅方向に略平行なサブグループと自車両の進行方向に略平行なサブグループとに分類して立体物を検出するようになっている。

具体的には、対象物検出手段１１は、距離データメモリ８から前述した距離画像を読み出して、距離画像を所定の画素幅で垂直方向に延びる短冊状の区分に分割する。そして、短冊状の各区分に属する各視差ｄｐを前記（３）式に従ってそれぞれ距離Ｚに変換し、各距離Ｚのうち道路面より上方に存在すると位置付けられる距離に関してヒストグラムを作成して、度数が最大の区間までの距離をその短冊状の区分における立体物までの距離とする。これを全区分について行うようになっている。以下、各区分を代表する距離を距離Ｚという。

例えば、図２に示した基準画像Ｔから作成された距離画像に対して前記距離Ｚの算出を行い、算出された各区分ごとの距離Ｚを実空間上にプロットすると、図３に示すように自車両前方の立体物の自車両ＭＣに面した部分に対応する部分に多少バラツキを持って各点としてプロットされる。

対象物検出手段１１は、このようにプロットされる各点を図４に示すように近接する各点の距離や方向性に基づいて互いに隣接する各点をそれぞれグループＧ１〜Ｇ７にまとめ、図５に示すようにそれぞれのグループ内の各点が自車両ＭＣの車幅方向すなわちＸ軸方向に略平行に並ぶサブグループには“物体”Ｏ１〜Ｏ３とラベルし、各点が自車両ＭＣの進行方向すなわちＺ軸方向に略平行に並ぶサブグループには“側壁”Ｓ１〜Ｓ４とラベルして分類する。また、同一の立体物の“物体”と“側壁”の交点をコーナー点Ｃとしてラベルするようになっている。

対象物検出手段１１は、このようにして、［物体Ｏ１、コーナー点Ｃ、側壁Ｓ１］、［側壁Ｓ２］、［物体Ｏ２］、［物体Ｏ３］、［側壁Ｓ３］、［側壁Ｓ４］をそれぞれ立体物として検出するようになっている。また、対象物検出手段１１は、図６に示すように、基準画像Ｔ上の立体物を矩形状の枠線で包囲するようにして検出するようになっている。

対象物検出手段１１は、このようにして検出した立体物の情報や各サブグループの端点の座標や基準画像Ｔにおける各枠線の頂点の座標等をそれぞれメモリに保存し、必要に応じて出力するようになっている。

続いて、対象物検出手段１１は、走行軌跡推定処理では、自車両の挙動に基づいて自車両の走行軌跡を推定するようになっている。具体的には、対象物検出手段１１は、センサ類Ｑである車速センサやヨーレートセンサ、舵角センサから入力される自車両の挙動すなわち自車両の車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等に基づいて自車両の旋回曲率Ｃuaを算出し、図７の実空間上に示すように、算出した旋回曲率Ｃuaに基づいて自車両ＭＣの走行軌跡Ｌestを算出して推定するようになっている。

旋回曲率Ｃuaは、例えば車速Ｖとヨーレートγとを用いて、
Ｃua＝γ／Ｖ …（４）
に従って算出することができる。また、例えば車速Ｖと舵角δとを用いて、
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（５）
Ｃua＝１／Ｒｅ …（６）
に従って算出することができる。ここで、Ｒｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。

また、本実施形態では、対象物検出手段１１は、図７に示すように走行軌跡Ｌestを中心とする自車両の車幅分の領域を自車両の進行路Ｒestとして把握するようになっている。対象物検出手段１１は、このようにして推定した自車両ＭＣの走行軌跡Ｌestおよび進行路Ｒestの情報をメモリに保存し、必要に応じて出力するようになっている。

続いて、対象物検出手段１１は、対象物検出処理として、本実施形態では、検出した前記立体物の中から走行軌跡Ｌestに基づいて先行車両を検出するようになっている。

本実施形態では、対象物検出手段１１は、自車両に最も近接する立体物を先行車両として検出するようになっており、走行軌跡推定処理で把握した自車両の進行路Ｒest上に存在する立体物の中で自車両に最も近接する立体物すなわち上記の例では物体Ｏ２を先行車両として検出するようになっている。

対象物検出手段１１は、さらに、前回検出された先行車両の情報をメモリから読み出し、前回検出した先行車両と今回検出した自車両に最も近接する立体物との位置関係や移動速度等に基づいて前回の先行車両と今回検出した立体物とが同一の立体物である確率をそれぞれ算出し、算出された確率が予め設定された閾値以上であれば今回検出した立体物を先行車両とラベル付けして先行車両を検出し、先行車両の情報を今回検出した立体物の情報で更新してメモリに継続登録することで、先行車両の情報を更新しながらそれを追跡するようになっている。

対象物検出手段１１は、このように先行車両の情報をメモリに保存しながら追跡するとともに、その情報を必要に応じて出力するようになっている。

また、対象物検出手段１１は、図４に示したようにグループＧ１〜Ｇ７のうち先行車両Ｏ２に対応するグループＧ４の両端のプロット間の距離を算出して、今回検出された先行車両Ｏ２の車幅Ｗとしてメモリに一時的に保存するようになっている。なお、図６に示した先行車両Ｏ２を示す矩形状の枠線の横幅を先行車両Ｏ２の車幅Ｗとして算出するように構成することも可能である。

監視領域設定手段１２以下の各手段では、以上のようにして対象物検出手段１１により基準画像Ｔ中に検出された先行車両の対向車線側である右側（北米等では左側）に対向車両を監視するための監視領域を設定し、監視領域内に対向車両が検出された場合には、前述した撮像手段２に対して自動的に行われている通常の露光調整に加えて、いわば強制的に露光調整を行い、撮像手段２から出力される基準画像Ｔと比較画像の各画素の輝度を低下させたり増加させたりする調整が行われるようになっている。

また、この強制的な露光調整では、各画素の輝度を一気に低下させると対象物検出手段１１における立体物検出処理が行われ難くなるので、本実施形態では、出力される各画素の輝度が各サンプリング周期で徐々に低下するように、強制的な露光調整のレベルが各サンプリング周期で段階的に引き上げられるようになっている。

以下、監視領域設定手段１２以下の各手段で行われる処理を、図８に示すフローチャートに従って説明する。

監視領域設定手段１２は、図９に示すように基準画像Ｔ上に検出された対象物すなわち本実施形態では枠線Ｆｒで包囲された先行車両Ｖahの右側端部を基準に先行車両Ｖahの側方に所定の監視領域ＷＲoncを設定するようになっている。なお、対象物である先行車両については、前述した対象物検出手段１１で検出された先行車両Ｏ２を含めて一般的に先行車両Ｖahと表す。

また、本実施形態では、監視領域設定手段１２は、夜間走行時やトンネル内走行時など対向車両がヘッドライトを点灯させるような状況にある場合に前記監視領域の設定を行うようになっている。対向車両がヘッドライトを点灯させるような状況にあるか否かの判定は、監視領域設定手段１２自身が行ってもよく、別の手段で行ってもよい。また、その判定は、例えば前述したＣＣＤカメラの自動調整の状態を監視し、シャッタ時間調整やアンプゲイン切り替え等の状態に基づいて行われる。

監視領域設定手段１２は、まず、自車両の走行状態が夜間走行時やトンネル内走行時であると判定し或いはそのような判定情報を入手すると、光源検出フラグＦａが０か否かを判定する（ステップＳ１）。

光源検出フラグＦａとは、監視領域内に対向車両のヘッドライトのような光源が検出されている場合には１、検出されていない場合には０が設定される。監視領域内に光源が検出されている場合（Ｆａ＝１）には、本実施形態のコンピュータ１０の後述する調整手段１４により前述した通常の露光調整に加えてそれとは別の強制的な露光調整が作動していて、その強制的な露光調整のレベルが増加しているか前回のサンプリング周期におけるレベルが維持される状態にある。また、監視領域内に光源が検出されていない場合（Ｆａ＝０）には、強制的な露光調整のレベルが減少しているか０である。初期状態においては、光源検出フラグＦａは０に設定される。

また、後述する強制調整作動フラグＦｂは、この強制的な露光調整がコンピュータ１０により行われていれば１、それ以外の場合には０の値に設定される。すなわち、図１０に示すように、監視領域内に光源が検出され、強制的な露光調整のレベルが増加し或いは同じレベルが維持されている状態では、少なくとも強制的な露光調整は行われているから、光源検出フラグＦａが１である場合には強制調整作動フラグＦｂは必ず１になっている。

光源検出フラグＦａが０の場合（ステップＳ１：ＹＥＳ）、監視領域ＷＲonc内には対向車両のヘッドライト等の光源は検出されておらず、先行車両Ｖahは、対象物検出手段１１でその右端まで正常に検出されているから、監視領域設定手段１２は、基準画像中の先行車両Ｖahの位置を示す先行車両領域を図９に示した先行車両Ｖahを包囲する枠線Ｆｒで示される領域として特定する。

そして、監視領域設定手段１２は、先行車両Ｖahを示す枠線Ｆｒの右端線Ｒlimのさらに右側外側で基準画像上での無限遠点の横側に右端線Ｒlimに接するように所定の画素領域の監視領域ＷＲoncを設定するようになっている（ステップＳ３）。

一方、光源検出フラグＦａが１の場合（ステップＳ１：ＮＯ）、監視領域ＷＲonc内に対向車両のヘッドライト等の光源が検出されており、対象物検出手段１１での立体物検出処理で、自車両から先行車両Ｖahの右端部までの距離が対向車両のヘッドライトの影響で正常に検出されているとは限らない。

そのため、監視領域設定手段１２は、後述するように更新されてメモリに記憶されている先行車両Ｖahの車幅car_widthを読み出して、対象物検出手段１１で検出された先行車両Ｖahの左端から車幅car_width分離れた位置を右端（北米等では左右が逆になる）とする図９に示した枠線Ｆｒと同様の枠線を作成し、基準画像中の先行車両Ｖahの位置を示す先行車両領域をその枠線で示される領域として特定するようになっている（ステップＳ４）。

次に、判定手段１３では監視領域ＷＲonc内に光源が存在するか否かが判定される。本実施形態では、判定手段１３は、まず、例えば０〜２５５の２５６階調の輝度階調で高輝度の２５０の輝度に予め設定された閾値br_th1以上の輝度を有する画素数を計数する（ステップＳ５）。この場合、輝度の判定を行う画素を監視領域ＷＲonc内の全画素とするか例えば数画素おきとするか等は予め適宜設定される。

なお、監視領域ＷＲonc内の閾値br_th1以上の高輝度の画素が撮像誤差等で高輝度に撮像されたものではなく、対向車両のヘッドライト等の光源が撮像された画素であることをより確実に検出するために、例えば、予め設定された閾値br_th1以上の輝度を有する画素のうち、図１１に示すように、互いに隣接する画素をまとめた画素領域Ｒ１、Ｒ２の画素数を計数するように構成してもよい。さらには、互いに隣接する画素をまとめた画素領域が形成する形状が光源を撮像したと考えられる形状である画素領域の画素数のみを計数するように構成してもよい。

続いて、判定手段１３は、強制調整作動フラグＦｂが０であり（ステップＳ６：ＹＥＳ）、計数された画素数が予め設定された閾値count_th未満であれば（ステップＳ７：ＮＯ）、監視領域ＷＲonc内には対向車両のヘッドライト等の光源が検出されていないと判定する。そのため、この場合は前述した強制的な露光調整は行われない。

そして、この場合、先行車両Ｖahは対象物検出手段１１でその右端まで正常に検出されているから、判定手段１３は、対象物の横幅である先行車両Ｖahの車幅car_widthを更新してメモリに記憶するようになっている（ステップＳ８）。

本実施形態では、先行車両Ｖahの車幅car_widthは対象物検出手段１１で今回検出されてメモリに一時的に保存されている先行車両Ｖahの車幅Ｗを用いて下記（７）式で表される時定数フィルタにより平滑化されて算出されるようになっている。
car_width←car_width×０．９＋Ｗ×０．１ …（７）

なお、上記（７）式中の矢印はメモリ中の値が右辺の値で更新されることを意味し、具体的には右辺の計算がなされて上書き保存されるという意味である。以下の式中の矢印も同様の意味で用いられる。また、平滑化は、例えばカルマンフィルタや移動平均フィルタ等の他の平滑化フィルタを用いて行ってもよい。

また、判定手段１３は、強制調整作動フラグＦｂが０であっても（ステップＳ６：ＹＥＳ）、計数された画素数が前記閾値count_th以上であれば（ステップＳ７：ＹＥＳ）、監視領域ＷＲonc内には対向車両のヘッドライト等の光源が検出されたと判定する。この場合、先行車両Ｖahは対象物検出手段１１でその右端まで正常に検出されているとは限らないから先行車両Ｖahの車幅car_widthの更新は行わない。

そして、判定手段１３は、調整手段１４に前述した強制的な露光調整を行うべく強制的な露光調整のレベルを増加させるように増加信号を出すようになっている。

調整手段１４は、判定手段１３からの増加信号や後述する減少信号に応じて、撮像手段２の露光量と撮像手段２から出力される画素の輝度の少なくとも一方を調整する信号を撮像手段２に出力するようになっている。

判定手段１３から強制的な露光調整のレベルを増加させる増加信号が出力されると、調整手段１４から図１０に示したように強制的な露光調整のレベルを所定の調整量だけ増加させるように撮像手段２に対して信号が出力され、撮像手段２から出力される基準画像や比較画像の各画素の輝度が全体的に低下する。そして、各画素の輝度が低下しすぎると、基準画像や比較画像には先行車両のテールランプや対向車両のヘッドライト等の光源のみが撮像され、他にはほとんど何も撮像されて状態になってしまうので、図１０に示したように加算された調整量には所定の限界量が設定される。

逆に、判定手段１３から強制的な露光調整のレベルを減少させる減少信号が出力されると、調整手段１４から強制的な露光調整のレベルを所定の調整量だけ減少させるように撮像手段２に対して信号が出力され、撮像手段２から出力される基準画像や比較画像の各画素の輝度が全体的に増加する。

調整手段１４は、判定手段１３から増加信号が送信されてくると、それに応じて撮像手段２に強制的な露光調整のレベルを所定の調整量だけ増加させ（ステップＳ９）、監視領域ＷＲonc内に対向車両のヘッドライト等の光源が検出されたと判定されたから光源検出フラグＦａを１に設定し（ステップＳ１０）、また、強制的な露光調整が行われているから強制調整作動フラグＦｂを１に設定する（ステップＳ１１）。

一方、監視領域ＷＲonc内で対向車両のヘッドライト等の光源が検出されたと判定され強制的な露光調整が開始されて強制調整作動フラグＦｂが１に設定された状態では、判定手段１３は、前記ステップＳ６の判定で、強制調整作動フラグＦｂが０ではないと判定する（ステップＳ６：ＮＯ）。

そして、強制的な露光調整のレベルをさらに増加させるか、現在のレベルを維持するか、減少させるかが判断される。

判定手段１３は、まず、ステップＳ５で計数された監視領域ＷＲonc内の高輝度の画素数が前記閾値count_th以上であるか否かを判定し（ステップＳ１２）、画素数が前記閾値count_th以上であると判定すると（ステップＳ１２：ＹＥＳ）、監視領域ＷＲonc内には対向車両のヘッドライト等の光源が検出されていると判定し、調整量が限界量に達していなければ調整手段１４に強制的な露光調整のレベルを所定の調整量だけ増加させる（ステップＳ１３）。

判定手段１３は、ステップＳ５で計数された監視領域ＷＲonc内の高輝度の画素数が前記閾値count_th未満であると判定しても（ステップＳ１２：ＮＯ）、計数された画素数が０でなければ（ステップＳ１４：ＮＯ）、監視領域ＷＲonc内には対向車両のヘッドライト等の光源が検出されているという判定を維持して、強制的な露光調整のレベルを増加させずに現在のレベルを維持させる（ステップＳ１５）。

判定手段１３は、ステップＳ５で計数された監視領域ＷＲonc内の高輝度の画素数が０であると判定すると（ステップＳ１４：ＹＥＳ）、監視領域ＷＲonc内には対向車両のヘッドライト等の光源が検出されていないと判定して、調整手段１４に強制的な露光調整のレベルを所定の調整量だけ減少させる（ステップＳ１６）。

そして、監視領域ＷＲonc内には対向車両のヘッドライト等の光源が検出されていないから、光源検出フラグＦａを０に設定し（ステップＳ１７）、強制的な露光調整のレベルを減少させてもまだＣＣＤカメラの通常の機能の露光調整のレベルまでなっていなければ（ステップＳ１８：ＮＯ）、強制調整作動フラグＦｂを１のままとし、強制的な露光調整のレベルを減少させてＣＣＤカメラの通常の機能の露光調整のレベルにまでなれば（ステップＳ１８：ＹＥＳ）、強制的な露光調整は行われていないとして強制調整作動フラグＦｂを０に設定する（ステップＳ１９）。

次に、本実施形態に係る車外監視装置１の作用について説明する。

前述したように、本実施形態の撮像手段２である２台のＣＣＤカメラ２ａ、２ｂは互いに同期を取られ、ＣＣＤカメラに通常備えられる機能として最適な露光を得るために少なくともシャッタ時間調整やアンプゲイン切り替え、ＬＵＴ（Look Up Table）の選択やそれによる輝度値変換等の露光調整が自動的に行われるようになっている。

自車両が夜間走行中であったりトンネル内を走行中であるなど、ヘッドライトを点灯させるような状況で走行していることが感知されると、コンピュータ１０の監視領域設定手段１２により、図９に示したように基準画像Ｔ上に検出された先行車両Ｖahを包囲する枠線Ｆｒの右側に監視領域ＷＲoncが設定される。それにより、撮像手段２に対して前述した通常の露光調整に加えてそれとは別の本実施形態に係る強制的な露光調整が作動可能状態すなわちスタンバイ状態となる。

監視領域ＷＲoncが設定されて強制的な露光調整がスタンバイ状態とされても、監視領域ＷＲonc内に対向車両のヘッドライト等の光源が検出されない限り、強制的な露光調整は作動せず、撮像手段２は通常の露光調整に従ってその露光量や撮像手段２から出力される画素の輝度等が調整される。

しかし、図１２に示すように、監視領域ＷＲonc内で閾値br_th1以上の輝度を有する画素数が閾値count_th以上計数されると、光源検出フラグＦａと強制調整作動フラグＦｂとがともに１に設定され、強制的な露光調整が作動する。

強制的な露光調整では、図１０に示したようにサンプリング周期ごとにそのレベルが段階的にしかし急速に増加される。そのため、図１２のように基準画像上で広がり先行車両Ｖahのテールランプの光Ｌtailと一体的に撮像されていた対向車両Ｖoncのヘッドライトの光Ｌheadが監視領域ＷＲonc内でその画素数が閾値count_th未満になるまで強制的に露光調整が行われ、その結果、図１３に示すように、基準画像上で先行車両Ｖahのテールランプの光Ｌtailと対向車両Ｖoncのヘッドライトの光Ｌheadとが分離される。

このように強制的な露光調整が行われても、図１３のように監視領域ＷＲonc内に光源が存在し、監視領域ＷＲonc内での高輝度の画素数が閾値count_th未満であっても（図８のステップＳ１２：ＮＯ）画素数が０でないうちは（ステップＳ１４：ＮＯ）、強制的な露光調整のレベルが維持される。

そして、監視領域ＷＲonc内に光源が存在しなくなり、監視領域ＷＲonc内での高輝度の画素数が０になると（ステップＳ１４：ＹＥＳ）、強制的な露光調整のレベルを所定量だけ減少させて（ステップＳ１６）、光源検出フラグＦａを０に設定する（ステップＳ１７）。そして、露光調整レベルが通常の露光調整による露光調整レベルまで達すると（ステップＳ１８：ＹＥＳ）、強制調整作動フラグＦｂを０に設定して（ステップＳ１９）、ルーチンを抜ける。これにより、強制的な露光調整の露光レベルは、通常の露光調整による露光調整レベルに達するまで、図１０に示すように段階的に減少するとともに、最終的に強制的な露光調整が作動しなくなって撮像手段２に対する露光調整が通常の露光調整に戻る。

以上のように、ＣＣＤカメラ等の撮像手段２の通常の露光調整では対向車両Ｖoncのヘッドライトのような強い光を放つ光源が先行車両Ｖah等の対象物の直近に撮像されると、対象物の光源に近い側がその強い光の影響で的確に撮像できなくなり、例えば図１２に示したように先行車両Ｖahのテールランプの光Ｌtailと対向車両Ｖoncのヘッドライトの光Ｌheadが撮像画像中で一体的に撮像されてしまうため、先行車両Ｖahのテールランプを的確に検出できなくなったり、先行車両Ｖahの右側すなわち対向車両Ｖonc側が的確に撮像できなくなったりしてしまう。

また、そのような基準画像と、対向車両Ｖoncが撮像されていない比較画像とを対比してステレオマッチングを行っても的確に対比することができず、自車両から先行車両Ｖahまでの距離に大きな検出誤差を生じてしまう。

しかし、本実施形態に係る車外監視装置１によれば、対向車両Ｖoncが撮像される先行車両Ｖahの右端側等の適切な位置に光源の監視領域ＷＲoncを設けて、光源の有無を監視する。そのため、光源が存在する場合に撮像手段２の露光量や撮像手段２から出力される画素の輝度を調整するなどして、光源の影響を的確に低減し、排除することが可能となる。

また、監視領域ＷＲonc中の高輝度の画素数を計数するなどして光源の存在を判定し、監視領域ＷＲonc内に光源が存在しない間は対象物の横幅を検出して更新し、監視領域ＷＲonc内に光源が存在すると判定した場合には、対象物の光源が存在する側とは反対側の端部からその横幅分だけ離れた位置に監視領域ＷＲoncを設定することで、監視領域ＷＲoncを適切な位置に設定して、光源の有無を確実に監視することが可能となる。

さらに、撮像手段２の露光量や撮像手段２から出力される画素の輝度を調整する際に、段階的に調整し、監視領域ＷＲonc内の高輝度の画素数が閾値count_th未満になった時点でそれ以上強制的な露光調整のレベルを上げないことで、一気にレベルを上げてテールランプやヘッドライト等の光源以外の部分が撮像画像中で判別できなくなってしまう事態を避けることが可能となり、強制的な露光調整を適切に行うことが可能となる。

そのため、前述したような先行車両Ｖahのテールランプの検出や、基準画像と比較画像とに対するステレオマッチングを的確に行うことが可能となる。

なお、本実施形態では、前述したように距離検出手段である位置情報収集手段９により視差ｄｐの情報が収集され、それに基づいて対象物検出手段１１で対象物までの距離Ｚが算出されて対象物が検出されるが、図１５に示したように、対象物の側方に強い光を放つ光源が基準画像に撮像されて、比較画像には撮像されないと、対象物の光源側の視差ｄｐやそれに基づく距離Ｚの情報の信頼性が低下する。

そこで、判定手段１３により監視領域ＷＲonc内に光源が存在すると判定され、光源検出フラグＦａが１に設定されている間或いは強制調整作動フラグＦｂが１に設定されている間は、対象物検出手段１１での対象物までの距離Ｚの算出の際、図３や図４に示したように実空間上にプロットされる対象物までの距離Ｚの情報のうち、対象物の光源が存在する側とは反対側の端部の情報、例えば、対象物である先行車両Ｖahの距離Ｚの情報のうち左半分の情報のみを用いて対象物までの距離Ｚを算出するように構成することも可能である。

このように構成すれば、対象物までの距離Ｚを光源の影響を受けることなく正確に算出することが可能となる。

また、実空間上にプロットされる対象物までの距離Ｚの情報のサンプリング周期間での位置変化に基づいて、自車両から見た場合の対象物の横方向の移動速度を検出することができるが、この場合も、監視領域ＷＲonc内に光源が存在すると判定された場合には、対象物の光源が存在する側と反対側の端部の位置情報のみを用いて横方向の移動速度を算出するように構成することができる。

このように構成すれば、対象物の横方向の移動速度を、光源の影響を受けることなく正確に算出することが可能となる。

本実施形態に係る車外監視装置の構成を示すブロック図である。 基準画像の一例を示す図である。 区分ごとの距離を実空間上にプロットした各点を表す図である。 図３の各点をグループ化した場合の各グループを表す図である。 図４の各グループを分類して形成された各サブグループを表す図である。 矩形状の枠線で示される基準画像上の立体物を示す図である。 自車両の走行軌跡と進行路を説明する図である。 監視領域設定手段以下の各手段で行われる処理の手順を示すフローチャートである。 対象物の側方に設定される監視領域を表す図である。 強制的な露光調整のレベルの推移を示すグラフである。 監視領域内の高輝度の画素および隣接する高輝度の画素をまとめた画素領域を説明する図である。 一体的に撮像された対向車両のヘッドライトの光と先行車両のテールランプの光を表す図である。 分離されて撮像された対向車両のヘッドライトの光と先行車両のテールランプの光を表す図である。 ２台のカメラのうち一方のカメラでは撮像され他方のカメラでは撮像されない領域を表す図である。 図１４の状態で撮像された２つの撮像画像を表す図である。

符号の説明

１ 車外監視装置
２、２ａ、２ｂ 撮像手段
９ 距離検出手段（位置情報収集手段）
１１ 対象物検出手段
１２ 監視領域設定手段
１３ 判定手段
１４ 調整手段
br_th1 閾値
car_width 対象物の横幅（先行車両の車幅）
count_th 閾値
ＭＣ 自車両
ｐ１ij 輝度
Ｒ１、Ｒ２ 画素領域
Ｔ 画像（基準画像）
Ｖah 対象物（先行車両）
ＷＲonc 監視領域
Ｚ 距離

Claims (6)

1. 自車両の周囲を撮像する撮像手段と、
   前記撮像手段により撮像された画像中から所定の対象物を検出する対象物検出手段と、
   前記画像上の前記対象物の端部を基準に前記対象物の側方に所定の監視領域を設定する監視領域設定手段と、
   前記監視領域内で光源の存在を判定する判定手段と、
   前記判定手段により前記光源の存在が判定された場合に、前記撮像手段の露光量と前記撮像手段から出力される画素の輝度の少なくとも一方を調整する調整手段とを備え、
   前記判定手段により前記光源が存在しないと判定された場合には、前記対象物の横幅が検出されて更新され、
   前記監視領域設定手段は、前記判定手段により前記光源が存在すると判定された場合に、前記対象物において、前記光源が存在する側と反対側に検出される前記対象物の端部位置から前記記憶された前記対象物の横幅分だけ離れた位置を基準に前記監視領域を設定することを特徴とする車外監視装置。
2. 前記判定手段は、前記監視領域内において輝度が所定の閾値を超える画素が所定個数以上検出された場合に前記光源が存在すると判定することを特徴とする請求項１に記載の車外監視装置。
3. 前記判定手段は、前記監視領域内において輝度が所定の閾値を超える画素を検出し、検出された前記画素のうち、互いに隣接する前記画素をまとめた画素領域の画素数を計算し、算出された前記画素数が所定の閾値を超える場合に前記光源が存在すると判定することを特徴とする請求項１または請求項２に記載の車外監視装置。
4. 前記調整手段は、前記光源が存在すると判定された場合に、以後のサンプリング周期で前記光源が存在しないと判定されるまで、または調整量が予め設定された限界量に達するまで、前記撮像手段の露光量と前記撮像手段から出力される画素の輝度の少なくとも一方を段階的に調整することを特徴とする請求項１から請求項３のいずれか一項に記載の車外監視装置。
5. 前記対象物検出手段により検出された前記対象物までの実空間上の距離を前記画像から算出する距離検出手段を備え、
   前記距離検出手段は、前記光源が存在すると判定された場合には、前記光源が存在する側の前記対象物の位置情報を除いた前記対象物の位置情報を用いて前記距離を算出することを特徴とする請求項１から請求項４のいずれか一項に記載の車外監視装置。
6. 前記対象物検出手段は、サンプリング周期間での前記対象物の実空間上での位置変化に基づいて自車両から見て前記対象物の横方向の移動速度を検出し、
   前記光源が存在すると判定された場合には、前記対象物の前記光源が存在する側の前記対象物の位置情報を除いた前記対象物の位置情報を用いて前記横方向の移動速度を算出することを特徴とする請求項１から請求項５のいずれか一項に記載の車外監視装置。

Images