JP3911983B2

JP3911983B2 - 後方監視装置

Info

Publication number: JP3911983B2
Application number: JP2000297268A
Authority: JP
Inventors: 智弘山村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2000-09-28
Filing date: 2000-09-28
Publication date: 2007-05-09
Anticipated expiration: 2020-09-28
Also published as: JP2002104113A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばカメラで自車両後方の画像を撮像し、その画像から、自車両後方の他車両を検出し、場合によっては危険を判定したり、警告を発したりする車両用の後方監視装置に関するものである。
【０００２】
【従来の技術】
このような後方監視装置としては、例えば特開２０００−２０６８６号公報に記載されるものがある。この後方監視装置は、自車両の後部に、後側方に向けてビデオカメラを取付け、その自車両の走行中に得られた撮像画像の各点が全体として収束するような無限遠点又は消失点（一般にＦＯＥ：Focus of Expansionと呼ばれる）を求めると共に、前記撮像画像中に他車両の画像として認識された画像の特徴点を抽出し、その特徴点の時間的な移動を移動ベクトル、即ちオプティカルフローとして求め、このオプティカルフローが前記無限遠点又は消失点から発散する方向に向かっているか、或いは無限遠点又は消失点に収束する方向に向かっているかに応じて、隣接車線を走行中の他車両或いは後続の他車両の、自車両に対して接近してくる相対速度或いは相対距離或いは相対的位置関係を算出するものである。そして、それらの他車両の危険性を判定し、危険性有りと判定された場合には警告を発するように構成されている。
【０００３】
【発明が解決しようとする課題】
ところで、前述のような後方監視装置で他車両を検出し、危険性有りと判定したときに警告を発する構成では、自車両に接近してくる他車両が、自車両と同じ車線を走行しているのか、隣接車線を走行しているのかに応じて、警告の仕方が異なる。例えば、隣接車線を走行している接近他車両に対しては、自車両が、その車線に車線変更をしようとしている場合にのみ警告が必要であるが、それ以外は警告不要である。これを達成するためには、接近他車両の走行車線を正しく検出する必要があり、従って走行車線を区分するレーンマーカ（白線）の形状を検出する必要が生じる。このため、従来の後方監視装置では、レーンマーカの画像とその他の道路や背景などの画像との輝度差を利用して、それらの間の境界、即ちエッジを求め、これによりレーンマーカの形状を検出している。
【０００４】
しかしながら、このレーンマーカの検出処理は、撮像画像の広い範囲に及び、しかも検出されるエッジ画像には、画面内の他車両や物体のエッジ成分も含まれているため、レーンマーカのみを正確に検出するために複雑な認識処理が必要となり、演算処理所要時間が長くなってしまう。しかも、後方監視装置としては、前述したオプティカルフローによる他車両検出処理も行われなければならず、この演算処理も複雑であるため、トータルで必要な演算処理所要時間が膨大なものとなり、警告装置として使用するには適さない内容となってしまうという問題がある。
【０００５】
処理内容を簡素化するために、前記レーンマーカ検出処理を行わず、画像内の予め設定された領域を各車線領域として、他車両検出処理のみを行う構成も考えられるが、そのようにすると、例えばカーブ路を走行している場合には、想定される車線領域と実際の車線領域とにずれが生じ、他車両の正しい走行車線検出ができず、前述したような正確な警告処理ができない。
【０００６】
本発明は、これらの諸問題を解決すべく開発されたものであり、自車両の過去の挙動から、自車両後方の道路の状態を推定することにより、複雑な演算処理を行うことなく、自車両後方の他車両の走行車線を検出することが可能な後方監視装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明のうち請求項１に係る後方監視装置は、自車両の後方の画像を撮像する撮像手段と、過去の自車両の挙動から自車両後方の道路の状態を推定する後方道路状態推定手段と、前記撮像手段で撮像された画像内に、前記後方道路状態推定手段で推定された自車両後方の道路状態に応じた所定の領域を設定し、その所定の領域内で他車両を検出する他車両検出手段とを備え、前記後方道路状態推定手段は、前記過去の自車両の挙動として、旋回状態検出量と自車速とを用いて自車両後方の道路の状態を推定すると共に自車両後方の道路の消失点を算出し、前記他車両検出手段は、前記後方道路状態推定手段で算出された自車両後方の道路の消失点と前記撮像手段で撮像された自車両後方の画像上の予め設定され且つ自車両走行車線領域及び自車両走行車線の右側隣接車線領域及び自車両走行車線の左側隣接車線領域を抽出するための所定点とを結んで前記所定の領域を設定することを特徴とするものである。
【０００８】
また、本発明のうち請求項２に係る後方監視装置は、前記請求項１の発明において、前記撮像手段で撮像された画像のうち、自車両近傍に所定のレーンマーカ検出領域を設定し、そのレーンマーカ検出領域でレーンマーカの位置を検出する自車両近傍レーンマーカ検出手段を備え、前記後方道路状態推定手段は、前記自車両近傍レーンマーカ検出手段で検出されたレーンマーカの位置を用いて、自車両後方の道路の状態を推定することを特徴とするものである。
【０００９】
また、本発明のうち請求項３に係る後方監視装置は、前記請求項１又は２の発明において、前記後方道路状態推定手段は、前記自車両近傍レーンマーカ検出手段で検出された過去所定時間のレーンマーカの位置の記録を用いて、自車両後方の道路の状態を推定することを特徴とするものである。
また、本発明のうち請求項４に係る後方監視装置は、前記請求項１乃至３の発明において、自車両後方の道路勾配を検出する後方道路勾配検出手段を備え、前記後方道路状態推定手段は、前記後方道路勾配検出手段で検出された自車両後方の道路勾配を用いて、自車両後方の道路の状態を推定することを特徴とするものである。
【００１０】
また、本発明のうち請求項５に係る後方監視装置は、前記請求項１乃至４の発明において、前記後方道路状態推定手段は、所定の周波数以上の自車両挙動変化を除去する高周波数域遮断フィルタを備えたことを特徴とするものである。
また、本発明のうち請求項６に係る後方監視装置は、前記請求項１乃至５の発明において、前記後方道路状態推定手段は、所定の周波数域の自車両挙動変化を除去する所定周波数域遮断フィルタを備えたことを特徴とするものである。
【００１１】
【発明の効果】
而して、本発明のうち請求項１に係る候補監視装置によれば、過去の自車両の挙動から自車両後方の道路の状態を推定し、算出された自車両後方の道路の消失点と撮像された自車両後方の画像上の予め設定された所定点とを結んで、撮像された自車両後方画像内に、推定された自車両後方の道路状態に応じた所定の領域を設定し、その所定の領域内で他車両を検出する構成としたため、撮像画像の広い範囲に亘ってレーンマーカを検出することなく、走行車線の凡その形状と、他車両が走行している走行車線とを検出することが可能となり、演算処理の所要時間を短縮することができる。
【００１２】
また、過去の自車両の挙動として、旋回状態検出量と自車速とを用いる構成としたため、例えば旋回状態検出量として操舵角、ヨーレート、横加速度等を適用すれば、容易且つ安価に自車両挙動を検出することができ、これらから容易に自車両後方の道路状態を推定することができる。
【００１３】
また、本発明のうち請求項２に係る後方監視装置によれば、撮像された画像のうち、自車両近傍に所定のレーンマーカ検出領域を設定し、そのレーンマーカ検出領域でレーンマーカの位置を検出し、そのレーンマーカの位置を用いて、自車両後方の道路の状態を推定する構成としたため、自車両後方の道路状態と各走行車線の形状とを正確に検出することができ、その分だけ他車両が走行している走行車線を正確に検出することが可能となる。
【００１４】
また、本発明のうち請求項３に係る後方監視装置装置によれば、検出された過去所定時間のレーンマーカの位置の記録を用いて、自車両後方の道路の状態を推定する構成としたため、自車両後方の道路状態と各走行車線の形状とをより一層正確に検出することができ、その分だけ他車両が走行している走行車線をより一層正確に検出することが可能となる。
【００１５】
また、本発明のうち請求項４に係る後方監視装置によれば、自車両後方の道路勾配を検出し、その自車両後方の道路勾配を用いて、自車両後方の道路の状態を推定する構成としたため、自車両後方の道路状態を正確に検出することができ、その分だけ各走行車線の形状と他車両が走行している走行車線とを正確に検出することが可能となる。
【００１６】
また、本発明のうち請求項５に係る後方監視装置によれば、高周波数域遮断フィルタで所定の周波数以上の自車両挙動変化を除去する構成としたため、修正舵等による微小な車両挙動変化成分を除去して、自車両後方の道路状態を安定して推定することができ、その分だけ他車両が走行している走行車線を正確に検出することが可能となる。
【００１７】
また、本発明のうち請求項６に係る後方監視装置によれば、所定周波数域遮断フィルタで所定の周波数域の自車両挙動変化を除去する構成としたため、車線変更で生じる自車両挙動変化の周波数域を、この所定周波数遮断フィルタで除去するようにすれば、自車両の車線変更に伴う誤差の影響を除去して自車両後方の道路状態を安定して推定することができ、その分だけ他車両が走行している走行車線を正確に検出することが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明の後方監視装置を利用した警報装置の概略構成ブロック図である。この後方監視装置１は、ステアリングホイールに取付けられた操舵角センサ２で検出される操舵角θと、車速センサ３で検出される車速Ｖとから自車両の挙動を推定する車両挙動推定部１ａを備えている。また、この後方監視装置１は、車両後部に取付けられたＣＣＤカメラなどの車両後方カメラ４で撮像される自車両後方画像を読込み、合わせて前記車両挙動推定部１ａからの自車両挙動を記憶して、自車両後方の道路状態を推定し、その自車両後方の道路状態から他車両とその走行車線とを検出する他車両検出部１ｂを備えている。また、この後方監視装置１は、車両に設けられているターンシグナル装置５の作動状態を読込み、合わせて前記他車両検出部１ｂで検出された他車両とその走行車線とから危険性を判定し、危険性有りと判定される場合に、車両に設けられた警報装置６を駆動する警報発生部１ｃを備えている。
【００１９】
前記後方監視装置１は、マイクロコンピュータなどの演算処理装置を備えており、前記車両挙動推定部１ａや、他車両検出部１ｂや、警報発生部１ｃは演算処理によって構成されている。図２は、この後方監視装置１の演算処理装置内で行われる演算処理のフローチャートであり、その演算処理装置内で所定のサンプリング時間（この場合は１００msec. ）毎にタイマ割込処理される。なお、このフローチャートでは、特に通信のためのステップを設けていないが、例えばフローチャート中で得られた情報は随時記憶装置に記憶されるし、必要な情報は随時記憶装置から読出される。また、各装置間も相互通信を行っており、必要な情報は、主として制御を司っている装置から常時読み込まれ、送られてきた情報は、随時記憶装置に記憶される。
【００２０】
この演算処理のステップＳ１では、同ステップ内で行われる個別の演算処理に従って、前記車両後方カメラ４で撮像した自車両後方の全画面情報を読込み、ディジタルフィールドなどからなる配列に入力する。本実施形態では、例えば図３に示すように、全画像の右下隅部を原点とし、右上方に向けて、縦座標（垂直座標）をｘ座標、横座標（水平座標）をｙ座標として、各画素毎に色合い、明度、輝度等の情報を記憶する。
【００２１】
次にステップＳ２に移行して、前記操舵角センサ２で検出された操舵角θを読込む。
次にステップＳ３に移行して、同ステップ内で行われる個別の演算処理に従って、前記ステップＳ２で読込んだ操舵角θの平滑化処理を行う。この操舵角θの平滑化は、微小な修正舵の影響を除去するためのものであり、そうした修正舵は比較的高周波数域の操作となるので、所定の周波数域以上の操舵角変化を除去するローパスフィルタを用いればよい。除去される周波数域は、凡そ２Ｈｚ以上である。
【００２２】
次にステップＳ４に移行して、前記車速センサ３で検出された自車速Ｖを読込む。
次にステップＳ５に移行して、同ステップ内で行われる個別の演算処理に従って、前記平滑化されて記憶されている操舵角データ及び記憶されている自車速データを用いて、自車両の後方の道路の消失点（無限遠点）を推定する。具体的には、以下のようにして消失点の推定を行う。即ち、この後方監視装置１の記憶装置には、過去所定時間（ｎ×ΔＴ）における平滑化された操舵角θ_k（ｋ＝０，１，…，ｎ）及び自車速Ｖ_k（ｋ＝０，１，…，ｎ）が記憶されている。つまり、記憶装置には、過去前記所定サンプリング時間ΔＴ毎にｎ個のデータが蓄積されており、ここではｋ回前の記憶されたデータがθ_k、Ｖ_kであることを示す。そして、図４に示すように、自車両の後方にＸ軸、側方にＹ軸を設定し、下記１〜３式に従って、前記記憶されている操舵角θ_k、自車速Ｖ_kから自車両が走行した後方道路の状態（形状）を推定する。
【００２３】
【数１】

【００２４】
ここで、Ｋは操舵角θに対するヨー角の比を示す所定値であり、ｍは０からｎまでの整数である。
前記１〜３式によって、前記図４の（Ｘ，Ｙ）座標における、自車両の走行した道路状態を推定することが可能となる。前記１式、２式で算出される座標値（Ｘ_m，Ｙ_m）は、即ち自車両が走行してきた軌跡を示す。次に、前記１式で、Ｘ座標値が所定値（例えば２００ｍ）を越えるようなｍを求め、１，２式から、消失点座標（Ｘ_VP，Ｙ_VP）を算出する。次に、この座標値を下記４〜６式によって画像平面に逆透視変換し、図３に示す画像平面内での消失点ＶＰの位置（ｘ_VP，ｙ_VP）を算出する。
【００２５】
ｘ＝Ｘ・ｆ／Ｌ ……… (4)
ｙ＝Ｙ・ｆ／Ｌ ……… (5)
Ｌ＝（Ｘ²＋Ｙ²）^1/2 ……… (6)
ここで、ｆは車両後方カメラ４の焦点距離である。
次にステップＳ６に移行して、同ステップ内で行われる個別の演算処理に従って、次回以後の処理のために、操舵角データ、自車速データをメモリする。
【００２６】
次にステップＳ７に移行して、同ステップ内で行われる個別の演算処理に従って、後方道路の領域抽出を行う。即ち、図３に示すように、前記ステップＳ５で算出した消失点ＶＰに対し、予め画像内で設定されているＡ〜Ｄの各点を結び、そのうちのＢ点と消失点ＶＰとを結ぶ線分と、Ｃ点と消失点ＶＰとを結ぶ線分とで囲まれる三角形の領域を自車両走行車線領域とし、同様にＡ点と消失点ＶＰとを結ぶ線分と、Ｂ点と消失点ＶＰとを結ぶ線分とで囲まれる領域を自車両が走行している車線の右側隣接車線領域とし、同様にＣ点と消失点ＶＰとを結ぶ線分と、Ｄ点と消失点ＶＰとを結ぶ線分とで囲まれる領域を自車両が走行している車線の左側隣接車線領域とする。このようにして設定される車線領域は、レーンマーカを検出していないので、完全に実際の車線領域と一致しているわけではないが、車線の幅は或る程度決まっており、車両後方カメラ４で撮像される画像内の各レーンマーカの位置も或る程度決まっていることから、それらのレーンマーカが写り込むであろう点Ａ〜Ｄと消失点ＶＰとを結べば、凡そ各車線領域を抽出することができる。
【００２７】
次にステップＳ８に移行して、同ステップ内で行われる個別の演算処理に従って、前記ステップＳ７で抽出した各車線領域毎にオプティカルフローの検出を行う。このオプティカルフローの検出は、例えば図５に示すように、各車占領域を例えば５画素四方の微小領域に分割し、前回の後方画像における各微小領域が、今回の後方画像内でどの方向に移動しているかを検出するものである。
【００２８】
次にステップＳ９に移行して、同ステップ内で行われる個別の演算処理に従って、他車両の位置と相対速度を検出する。具体的には、前記図５に示すように、前記ステップＳ８で検出したオプティカルフローのうち、画像内で下方に移動するオプティカルフローは、即ち自車両に接近する物体、この場合は他車両になるので、その位置を求め、更にその位置から透視逆変換をかけることによって他車両までの距離Ｌが求まり、更にそのオプティカルフローの長さから他車両の相対速度Ｖｒを求めることができる。図５の場合は、前記点Ａ、点Ｂ、消失点ＶＰで囲まれる右側隣接車線に画像下方へのオプティカルフロー（Ｆ部）を検出し、これが接近する他車両となる。
【００２９】
次にステップＳ１０に移行して、同ステップ内で行われる個別の演算処理に従って、運転者によるターンシグナル操作の状況を読込む。具体的には、ターンシグナルスイッチが何れの方向に操作されているかによって、運転者の車線変更の意思を検出する。
次にステップＳ１１に移行して、同ステップ内で行われる個別の演算処理に従って、接近車両があるか否かの判定を行い、接近車両がある場合にはステップＳ１２に移行し、そうでない場合にはメインプログラムに復帰する。具体的には、前記ステップＳ９で検出した他車両の位置と相対速度に合わせて、前記ステップＳ１０で読込んだターンシグナル操作状況から、例えば前記図５で検出した右側隣接車線のＦ部の他車両に対し、運転者が右側の車線に車線変更しようとし、更に当該他車両が十分に速いか又は近いかを判定して、接近車両有りの判定を行う。接近状態の判定には、前記他車両までの距離Ｌを相対速度Ｖｒで除した余裕時間Ｔｐが予め設定した所定時間（例えば３秒）以下であるか否かの判定を用いてもよい。
【００３０】
前記ステップＳ１２では、同ステップ内で行われる個別の演算処理に従って、前記警報装置６に対し、所定の警報発令処理を行ってからメインプログラムに復帰する。
この演算処理では、前述のようにして、複雑なレーンマーカ検出を行うことなく、車線の凡その形状と、他車両の走行車線位置を検出することができるため、演算処理所要時間を短縮することができる。また、旋回状態検出量として操舵角θを用い、この操舵角θと自車速Ｖとから容易且つ安価に自車両挙動を検出することができ、これらから容易に自車両後方の道路状態を推定することができる。また、ローパスフィルタによって修正舵等による微小な車両挙動変化成分を除去することにより、自車両後方の道路状態を安定して推定することができ、その分だけ他車両が走行している走行車線を正確に検出することが可能となる。なお、前記車線領域の抽出では、例えば道路形状をｘ、ｙの多項式等で簡単に近似するようにすれば、より一層精度の高い車線領域抽出が可能となる。
【００３１】
以上より、前記車両後方カメラ４及び図２の演算処理のステップＳ１が本発明の撮像手段を構成し、以下同様に、操舵角センサ２、車速センサ３及び図２の演算処理のステップＳ２〜ステップＳ６が後方道路状態推定手段を構成し、図２の演算処理のステップＳ７〜ステップＳ９が他車両検出手段を構成し、図２の演算処理のステップＳ３が高周波数域遮断フィルタを構成している。
【００３２】
次に、本発明の後方監視装置の第２実施形態について、図６〜図９を用いて説明する。この後方監視装置の概略構成を示す図６は、前記第１実施形態の図１と類似しており、同等の構成要素には同等の符号を付してある。この実施形態では、前記他車両検出部１ｂと車両後方カメラ４との間に近傍白線（レーンマーカ）検出部１ｄが付加されている。この近傍白線検出部１ｄは、自車両の極近傍のレーンマーカを検出し、より正確に車線形状を検出するためのものである。
【００３３】
この後方監視装置１も、実際には演算処理装置が行う演算処理によって構成されている。図７は、その演算処理のフローチャートである。この演算処理には、前記第１実施形態の図２の演算処理と同等のステップも多数存在するが、新たに付加されたステップを理解し易くするために、全てのステップの説明を行う。
この演算処理も、所定のサンプリング時間（この場合は１００msec. ）毎にタイマ割込処理される。なお、このフローチャートでは、特に通信のためのステップを設けていないが、例えばフローチャート中で得られた情報は随時記憶装置に記憶されるし、必要な情報は随時記憶装置から読出される。また、各装置間も相互通信を行っており、必要な情報は、主として制御を司っている装置から常時読み込まれ、送られてきた情報は、随時記憶装置に記憶される。
【００３４】
この演算処理のステップＳ２１では、前記第１実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、前記車両後方カメラ４で撮像した自車両後方の全画面情報を読込み、ディジタルフィールドなどからなる配列に入力する。
次にステップＳ２２に移行して、前記第１実施形態と同様に、前記操舵角センサ２で検出された操舵角θを読込む。
【００３５】
次にステップＳ２３に移行して、前記第１実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、前記ステップＳ２２で読込んだ操舵角θの平滑化処理を行う。
次にステップＳ２４に移行して、同ステップ内で行われる個別の演算処理に従って、前記ステップＳ２３で平滑化された操舵角から車線変更成分を除去する。この操舵角車線変更成分除去処理は、車線変更に伴う操舵角変化を除去するものであり、凡そ０．５〜２Ｈｚ程度の操舵角変化を、バンドパスフィルタによって除去する。
【００３６】
次にステップＳ２５に移行して、前記第１実施形態と同様に、前記車速センサ３で検出された自車速Ｖを読込む。
次にステップＳ２６に移行して、同ステップ内で行われる個別の演算処理に従って、前記平滑化されて記憶されている操舵角データ及び記憶されている自車速データを用いて、自車両の後方の道路の形状（状態）を推定する。具体的には、前記第１実施形態で説明した１〜３式に従って、自車両が走行してきた軌跡を表す座標値（Ｘ_m，Ｙ_m）を求め、夫々に前記第１実施形態で説明した４〜６式による逆透視変換を行って、画像上の道路形状座標値（ｘ_m，ｙ_m）を算出する（図９参照）。
【００３７】
次にステップＳ２７に移行して、前記第１実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、次回以後の処理のために、操舵角データ、自車速データをメモリする。
次にステップＳ２８に移行して、同ステップ内で行われる個別の演算処理に従って、自車両近傍の白線（レーンマーカ）検出を行う。具体的には、図８に示すように、自車両後方画像の下端部、つまり自車両に最も近い部分にレーンマーカ検出領域Ｇを設定し、この領域Ｇ内でのみ、輝度の高い点を左右一つずつ検出する（図中のＢ’点、Ｃ’点）。一般に、白線のレーンマーカ画像は輝度が高く、容易に検出することができる。なお、破線のレーンマーカが途切れている部分では、レーンマーカを検出することができない。その場合には、前回検出したレーンマーカ位置を流用する。
【００３８】
次にステップＳ２９に移行して、同ステップ内で行われる個別の演算処理に従って、後方道路の領域抽出を行う。この実施形態でも、前記第１実施形態と同じ画像座標を用いているので、前記ステップＳ２８で検出したレーンマーカ点、Ｂ’点、Ｃ’点のｙ座標値ｙＢ’、ｙＣ’を用い、隣接車線の仮想レーンマーカ点Ａ’点、Ｄ’点のｙ座標値ｙＡ’、ｙＤ’を下記７式、８式から求める。
【００３９】
ｙＡ’＝ｙＢ’−（ｙＣ’−ｙＢ’） ……… (7)
ｙＤ’＝ｙＣ’＋（ｙＣ’−ｙＢ’） ……… (8)
次に、図９に示すように、前記ステップＳ２６で算出した画像上の道路形状座標値（ｘ_m，ｙ_m）を用いて、前記Ａ’点〜Ｄ’点の夫々を通るレーンマーカ座標値（ｘＡ’_m，ｙＡ’_m）〜（ｘＤ’_m，ｙＤ’_m）を下記９〜１３式に従って設定する。なお、ｘ₀、ｙ₀、ｘ_n、ｙ_nは、夫々、ｍが０又はｎのときのｘ座標値、ｙ座標値を示している。
【００４０】
ｘＡ’_m＝ｘＢ’_m＝ｘＣ’_m＝ｘＤ’_m＝ｘ_m ……… (9)
ｙＡ’_m＝ｙ_m＋（ｙＡ’−ｙ₀）・（ｘ_m−ｘ_n）／（ｘ₀−ｘ_n）………(10)
ｙＢ’_m＝ｙ_m＋（ｙＢ’−ｙ₀）・（ｘ_m−ｘ_n）／（ｘ₀−ｘ_n）………(11)
ｙＣ’_m＝ｙ_m＋（ｙＣ’−ｙ₀）・（ｘ_m−ｘ_n）／（ｘ₀−ｘ_n）………(12)
ｙＤ’_m＝ｙ_m＋（ｙＤ’−ｙ₀）・（ｘ_m−ｘ_n）／（ｘ₀−ｘ_n）………(13)
次にステップＳ３０に移行して、同ステップ内で行われる個別の演算処理に従って、前記ステップＳ２９で抽出した各車線領域毎にオプティカルフローの検出を行う。このオプティカルフローの検出そのものは、前記第１実施形態のそれと同等である。
【００４１】
次にステップＳ３１に移行して、前記第１実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、他車両の位置と相対速度を検出する。
次にステップＳ３２に移行して、前記第１実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、運転者によるターンシグナル操作の状況を読込む。
【００４２】
次にステップＳ３３に移行して、前記第１実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、接近車両があるか否かの判定を行い、接近車両がある場合にはステップＳ３４に移行し、そうでない場合にはメインプログラムに復帰する。
前記ステップＳ３４では、前記第１実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、前記警報装置６に対し、所定の警報発令処理を行ってからメインプログラムに復帰する。
【００４３】
この演算処理では、前述のようにして、複雑なレーンマーカ検出を行うことなく、車線の凡その形状と、他車両の走行車線位置を検出することができるため、演算処理所要時間を短縮することができる。また、旋回状態検出量として操舵角θを用い、この操舵角θと自車速Ｖとから容易且つ安価に自車両挙動を検出することができ、これらから容易に自車両後方の道路状態を推定することができる。また、後方画像内自車両近傍にレーンマーカ検出領域を設定し、そのレーンマーカ検出領域でレーンマーカの位置を検出し、そのレーンマーカの位置を用いて、自車両後方の車線の形状を推定する構成としたため、自車両後方の各走行車線の形状と正確に検出することができ、その分だけ他車両が走行している走行車線を正確に検出することが可能となる。また、ローパスフィルタによって修正舵等による微小な車両挙動変化成分を除去することにより、自車両後方の道路状態を安定して推定することができ、その分だけ他車両が走行している走行車線を正確に検出することが可能となる。また、バンドパスフィルタで車線変更で生じる自車両挙動変化の周波数域を除去するようにしたため、自車両の車線変更に伴う誤差の影響を除去して自車両後方の道路状態を安定して推定することができ、その分だけ他車両が走行している走行車線を正確に検出することが可能となる。
【００４４】
以上より、前記車両後方カメラ４及び図７の演算処理のステップＳ２１が本発明の撮像手段を構成し、以下同様に、操舵角センサ２、車速センサ３及び図７の演算処理のステップＳ２２〜ステップＳ２７が後方道路状態推定手段を構成し、図７の演算処理のステップＳ２８が自車両近傍レーンマーカ検出手段を構成し、図７の演算処理のステップＳ２９〜ステップＳ３１が他車両検出手段を構成し、図７の演算処理のステップＳ２３が高周波数域遮断フィルタを構成し、図７の演算処理のステップＳ２４が所定周波数域遮断フィルタを構成している。
【００４５】
次に、本発明の後方監視装置の第３実施形態について、図１０〜図１２を用いて説明する。この後方監視装置の概略構成を示す図１０は、前記第２実施形態の図６と類似しており、同等の構成要素には同等の符号を付してある。この実施形態では、前記車両挙動推定部１ａへの入力に、道路の勾配を検出する勾配センサ７が付加されている。この勾配センサ７としては、例えば特開平９−１３３６９９号公報や特開平７−１７２１２８号公報に記載されるものが適用可能である。
【００４６】
この後方監視装置１も、実際には演算処理装置が行う演算処理によって構成されている。図１１は、その演算処理のフローチャートである。この演算処理には、前記第１実施形態の図２や第２実施形態の図７の演算処理と同等のステップも多数存在するが、新たに付加されたステップを理解し易くするために、全てのステップの説明を行う。
【００４７】
この演算処理も、所定のサンプリング時間（この場合は１００msec. ）毎にタイマ割込処理される。なお、このフローチャートでは、特に通信のためのステップを設けていないが、例えばフローチャート中で得られた情報は随時記憶装置に記憶されるし、必要な情報は随時記憶装置から読出される。また、各装置間も相互通信を行っており、必要な情報は、主として制御を司っている装置から常時読み込まれ、送られてきた情報は、随時記憶装置に記憶される。
【００４８】
この演算処理のステップＳ４１では、前記第１、第２実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、前記車両後方カメラ４で撮像した自車両後方の全画面情報を読込み、ディジタルフィールドなどからなる配列に入力する。
次にステップＳ４２に移行して、前記第１、第２実施形態と同様に、前記操舵角センサ２で検出された操舵角θを読込む。
【００４９】
次にステップＳ４３に移行して、前記第１、第２実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、前記ステップＳ４２で読込んだ操舵角θの平滑化処理を行う。
次にステップＳ４４に移行して、前記第２実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、前記ステップＳ４３で平滑化された操舵角から車線変更成分を除去する。
【００５０】
次にステップＳ４５に移行して、前記第１、第２実施形態と同様に、前記車速センサ３で検出された自車速Ｖを読込む。
次にステップＳ４６に移行して、前記勾配センサ７で検出された道路勾配αを読込む。
次にステップＳ４７に移行して、同ステップ内で行われる個別の演算処理に従って、前記平滑化されて記憶されている操舵角データ及び記憶されている自車速データ及び記憶されている道路勾配データを用いて、自車両の後方の道路の形状（状態）を三次元的に推定する。具体的には、前記第１実施形態で説明した図４のＸ軸、Ｙ軸に加えて、鉛直方向にＺ軸を設定し、前記第１実施形態で説明した１〜３式に加えて、下記１４式に従って、自車両が走行してきた軌跡を表す座標値（Ｘ_m，Ｙ_m，Ｚ_m）を求め、夫々に前記第１実施形態で説明した４〜６式に加えて、下記１５式による逆透視変換を行って、画像上の道路形状座標値（ｘ_m，ｙ_m，ｚ_m）を算出する。
【００５１】
【数２】

【００５２】
ｚ＝Ｚ・ｆ／Ｌ ………(15)
次にステップＳ４８に移行して、同ステップ内で行われる個別の演算処理に従って、次回以後の処理のために、操舵角データ、自車速データ、道路勾配データをメモリする。
次にステップＳ４９に移行して、前記第２実施形態と同様にして、同ステップ内で行われる個別の演算処理に従って、自車両近傍の白線（レーンマーカ）検出を行う。
【００５３】
次にステップＳ５０に移行して、前記ステップＳ４９で検出したレーンマーカの位置、即ち前記Ｂ’点、Ｃ’点のｙ座標値ｙＢ’₀、ｙＣ’₀をメモリする。次にステップＳ５１に移行して、同ステップ内で行われる個別の演算処理に従って、後方道路の領域抽出を行う。この実施形態でも、前記第１実施形態と同じ画像座標を用いているので、前記ステップＳ４９で検出したレーンマーカ点、Ｂ’点、Ｃ’点の最新のｙ座標値ｙＢ’₀、ｙＣ’₀を用い、隣接車線の仮想レーンマーカ点Ａ’点、Ｄ’点のｙ座標値ｙＡ’₀、ｙＤ’₀を下記１６式、１７式から求める。
【００５４】
ｙＡ’₀＝ｙＢ’₀−（ｙＣ’₀−ｙＢ’₀） ………(16)
ｙＤ’₀＝ｙＣ’₀＋（ｙＣ’₀−ｙＢ’₀） ………(17)
次に、図１２に示すように、前記ステップＳ４７で算出した画像上の道路形状座標値（ｘ_m，ｙ_m，ｚ_m）を用いて、前記Ａ’点〜Ｄ’点の夫々を通るレーンマーカ座標値（ｘＡ’_m，ｙＡ’_m，ｚＡ’_m）〜（ｘＤ’_m，ｙＤ’_m，ｚＤ’_m）を下記１８〜２３式に従って設定する。
【００５５】
ｘＡ’_m＝ｘＢ’_m＝ｘＣ’_m＝ｘＤ’_m＝ｘ_m ………(18)
ｙＡ’_m＝ｙ_m＋（ｙＡ’₀−ｙ₀）・（ｘ_m−ｘ_n）／（ｘ₀−ｘ_n）………(19)
ｙＢ’_m＝ｙ_m＋（ｙＢ’₀−ｙ₀）・（ｘ_m−ｘ_n）／（ｘ₀−ｘ_n）………(20)
ｙＣ’_m＝ｙ_m＋（ｙＣ’₀−ｙ₀）・（ｘ_m−ｘ_n）／（ｘ₀−ｘ_n）………(21)
ｙＤ’_m＝ｙ_m＋（ｙＤ’₀−ｙ₀）・（ｘ_m−ｘ_n）／（ｘ₀−ｘ_n）………(22)
ｚＡ’_m＝ｚＢ’_m＝ｚＣ’_m＝ｚＤ’_m＝ｚ_m ………(23)
次にステップＳ５２に移行して、同ステップ内で行われる個別の演算処理に従って、前記ステップＳ５１で抽出した各車線領域毎にオプティカルフローの検出を行う。このオプティカルフローの検出そのものは、前記第１実施形態のそれと同等である。
【００５６】
次にステップＳ５３に移行して、前記第１、第２実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、他車両の位置と相対速度を検出する。次にステップＳ５４に移行して、前記第１、第２実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、運転者によるターンシグナル操作の状況を読込む。
【００５７】
次にステップＳ５５に移行して、前記第１、第２実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、接近車両があるか否かの判定を行い、接近車両がある場合にはステップＳ５６に移行し、そうでない場合にはメインプログラムに復帰する。
前記ステップＳ５６では、前記第１、第２実施形態と同様に、同ステップ内で行われる個別の演算処理に従って、前記警報装置６に対し、所定の警報発令処理を行ってからメインプログラムに復帰する。
【００５８】
この演算処理では、前述のようにして、複雑なレーンマーカ検出を行うことなく、車線の凡その形状と、他車両の走行車線位置を検出することができるため、演算処理所要時間を短縮することができる。また、旋回状態検出量として操舵角θを用い、この操舵角θと自車速Ｖとから容易且つ安価に自車両挙動を検出することができ、これらから容易に自車両後方の道路状態を推定することができる。また、後方画像内自車両近傍にレーンマーカ検出領域を設定し、そのレーンマーカ検出領域でレーンマーカの位置を検出し、そのレーンマーカの位置を用いて、自車両後方の車線の形状を推定する構成としたため、自車両後方の各走行車線の形状を正確に検出することができ、その分だけ他車両が走行している走行車線を正確に検出することが可能となる。また、検出された過去所定時間のレーンマーカの位置の記録を用いて、自車両後方の道路の状態を推定する構成としたため、自車両後方の各走行車線の形状をより一層正確に検出することができ、その分だけ他車両が走行している走行車線をより一層正確に検出することが可能となる。また、検出した道路勾配をを用いて、自車両後方の道路の状態を推定する構成としたため、自車両後方の道路状態を正確に検出することができ、その分だけ各走行車線の形状と他車両が走行している走行車線とを正確に検出することが可能となる。また、ローパスフィルタによって修正舵等による微小な車両挙動変化成分を除去することにより、自車両後方の道路状態を安定して推定することができ、その分だけ他車両が走行している走行車線を正確に検出することが可能となる。また、バンドパスフィルタで車線変更で生じる自車両挙動変化の周波数域を除去するようにしたため、自車両の車線変更に伴う誤差の影響を除去して自車両後方の道路状態を安定して推定することができ、その分だけ他車両が走行している走行車線を正確に検出することが可能となる。
【００５９】
以上より、前記車両後方カメラ４及び図１１の演算処理のステップＳ４１が本発明の撮像手段を構成し、以下同様に、前記勾配センサ７及び図１１の演算処理のステップＳ４６が道路勾配検出手段を構成し、操舵角センサ２、車速センサ３及び図１１の演算処理のステップＳ４２〜ステップＳ４８が後方道路状態推定手段を構成し、図１１の演算処理のステップＳ４９、ステップＳ５０が自車両近傍レーンマーカ検出手段を構成し、図１１の演算処理のステップＳ５１〜ステップＳ５３が他車両検出手段を構成し、図１１の演算処理のステップＳ４３が高周波数域遮断フィルタを構成し、図１１の演算処理のステップＳ４４が所定周波数域遮断フィルタを構成している。
【００６０】
なお、前記各実施形態では、旋回状態検出手段として操舵角センサを用いたが、これに代えて、或いは加えて、自車両のヨーレートを検出するヨーレートセンサや、自車両の横加速度を検出する横加速度センサを用いてもよい。
また、道路勾配を検出する手段として勾配センサを用いたが、これに代えて、例えばエンジン出力を推定するスロットル開度と車体の加減速度を検出する前後加速度センサとを組合せて道路勾配を検出することも可能である。
【００６１】
また、前記各実施形態では、夫々の演算処理装置にマイクロコンピュータを用いたが、これに代えて各種の論理回路を用いることも可能である。
【図面の簡単な説明】
【図１】本発明の後方監視装置の第１実施形態を示すシステム構成図である。
【図２】図１の後方監視装置で行われる演算処理のフローチャートである。
【図３】図２の演算処理の説明図である。
【図４】図２の演算処理の説明図である。
【図５】図２の演算処理の説明図である。
【図６】本発明の後方監視装置の第２実施形態を示すシステム構成図である。
【図７】図６の後方監視装置で行われる演算処理のフローチャートである。
【図８】図７の演算処理の説明図である。
【図９】図７の演算処理の説明図である。
【図１０】本発明の後方監視装置の第３実施形態を示すシステム構成図である。
【図１１】図１０の後方監視装置で行われる演算処理のフローチャートである。
【図１２】図１１の演算処理の説明図である。
【符号の説明】
１は後方監視装置
２は操舵角センサ
３は車速センサ
４は車両後方カメラ
５はターンシグナル装置
６は警報装置
７は勾配センサ

Claims

自車両の後方の画像を撮像する撮像手段と、過去の自車両の挙動から自車両後方の道路の状態を推定する後方道路状態推定手段と、前記撮像手段で撮像された画像内に、前記後方道路状態推定手段で推定された自車両後方の道路状態に応じた所定の領域を設定し、その所定の領域内で他車両を検出する他車両検出手段とを備え、前記後方道路状態推定手段は、前記過去の自車両の挙動として、旋回状態検出量と自車速とを用いて自車両後方の道路の状態を推定すると共に自車両後方の道路の消失点を算出し、前記他車両検出手段は、前記後方道路状態推定手段で算出された自車両後方の道路の消失点と前記撮像手段で撮像された自車両後方の画像上の予め設定され且つ自車両走行車線領域及び自車両走行車線の右側隣接車線領域及び自車両走行車線の左側隣接車線領域を抽出するための所定点とを結んで前記所定の領域を設定することを特徴とする後方監視装置。
前記撮像手段で撮像された画像のうち、自車両近傍に所定のレーンマーカ検出領域を設定し、そのレーンマーカ検出領域でレーンマーカの位置を検出する自車両近傍レーンマーカ検出手段を備え、前記後方道路状態推定手段は、前記自車両近傍レーンマーカ検出手段で検出されたレーンマーカの位置を用いて、自車両後方の道路の状態を推定することを特徴とする請求項１に記載の後方監視装置。
前記後方道路状態推定手段は、前記自車両近傍レーンマーカ検出手段で検出された過去所定時間のレーンマーカの位置の記録を用いて、自車両後方の道路の状態を推定することを特徴とする請求項１又は２に記載の後方監視装置。
自車両後方の道路勾配を検出する後方道路勾配検出手段を備え、前記後方道路状態推定手段は、前記後方道路勾配検出手段で検出された自車両後方の道路勾配を用いて、自車両後方の道路の状態を推定することを特徴とする請求項１乃至３の何れか一項に記載の後方監視装置。
前記後方道路状態推定手段は、所定の周波数以上の自車両挙動変化を除去する高周波数域遮断フィルタを備えたことを特徴とする請求項１乃至４の何れか一項に記載の後方監視装置。
前記後方道路状態推定手段は、所定の周波数域の自車両挙動変化を除去する所定周波数域遮断フィルタを備えたことを特徴とする１乃至５の何れか一項に記載の後方監視装置。