JP3822417B2

JP3822417B2 - Vehicle periphery monitoring device

Info

Publication number: JP3822417B2
Application number: JP2000160835A
Authority: JP
Inventors: 浩史山渕
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2000-05-30
Filing date: 2000-05-30
Publication date: 2006-09-20
Anticipated expiration: 2020-05-30
Also published as: JP2001334896A

Description

【０００１】
【発明の属する技術分野】
この発明は、レーダと撮像手段とを用いた車両周辺監視装置に関するもので、例えば隣車線の後方から側方にいたる範囲において追い越し接近車両あるいは併走車両等の有無を検出するものである。
【０００２】
【従来の技術】
従来、この種の監視装置は、車両に搭載され車両周辺監視装置あるいは車間距離制御装置などに広く用いることが提案されている。車両周辺監視装置に搭載される監視装置は、例えば特開昭５４−４５０４０号公報にみられるように、車両のフェンダーミラーおよびフェンダー部にレーダ装置を搭載した例がある。
【０００３】
【発明が解決しようとする課題】
しかし、従来のこの種の電波レーダ装置では、空間に放射されるビームの拡がり角度が比較的大きくなり、このことが監視対象車両の方向を検出する精度を低下させている。例えば、監視対象車両が隣車線にあるのかあるいは隣々車線にあるのかを正確に認識できない問題がある。
【０００４】
また、比較的大型の監視対象車両に対しては、隣々車線にこの車両がある場合であっても、電磁波が反射し受信できる信号強度が比較的大きいために、近接していない距離にあるものを検出してしまう。このことは、実際には車線変更ができ、警報の報知が不要な状況にあるにもかかわらず、この監視対象車両が隣車線にあると誤った判断を行い誤警報を報知してしまうことになる。さらに比較的遠距離の監視対象車両の危険度を判定するためには、できるだけ遠距離で、かつ瞬時に危険度を判定することが望ましい。
【０００５】
これらのことは、隣々車線を走行し接近してくる監視対象車両に対しては、車両の種類に関係なく確実に警報の対象から除外するために、監視対象車両が比較的遠距離にある場合から併走状態の至近距離に至るまでの比較的広い範囲において監視対象車両のある車線を認識する必要があることを示している。
【０００６】
【課題を解決するための手段】
この発明に係る車両周辺監視装置は、電波を発生する電波発振手段と、この電波発振手段により発生した電波をビーム成形して監視対象車両に向けて放射する送信アンテナと、監視対象車両からの反射電波を受信する受信アンテナと、受信電波を処理して監視対象車両との距離、相対速度等を検出する電波計測手段とからなるレーダ装置を車両に搭載し、また、上記電波ビームを含む視野を有する撮像カメラと、この撮像カメラからの映像信号を処理して監視対象車両の位置、例えば監視対象車両が隣車線にあるのか隣々車線にあるのかを認識する画像処理手段とからなる撮像手段を同じく車両に搭載し、上記電波計測手段の出力と上記画像処理手段の出力とから自車両と監視対象車両との位置関係を演算手段で求めると共に、上記画像処理手段は、車両側からの信号や情報たとえばステアリング角センサやヨーレートセンサあるいはナビゲーションシステムからの道路形状情報などに応じて、サーチラインを道路の曲率に沿う複数の曲線として設定し、これらの曲線上の撮像画素に相当するデータをフレーム毎にメモリ（ＲＡＭ）に記録するとともに、この映像信号のデータの強度と連続性および次のフレームの同様のデータの変化量とを計数処理して、監視対象車両が隣車線あるいは隣々車線にあるか、さらに接近あるいは離反するかどうかを判断するようにしたものである。
【０００８】
また、送信アンテナおよび撮像カメラを車両のドアミラー近傍に設置したものである。
【０００９】
また、演算手段は、電波計測手段が一定距離以内の監視対象車両を検出し、かつ画像処理手段が、この監視対象車両の位置を隣車線の範囲にあると判断した場合、警報を発する判定を行うようにしたものである。
【００１０】
また、演算手段は、電波計測手段が一定距離以上の遠距離にある監視対象車両を検出し、かつ画像処理手段が、この監視対象車両の位置を隣車線の範囲にあると判断した場合、電波計測手段が測定した監視対象車両の距離と相対速度を参照して警報を発する判定を行うようにしたものである。
【００１１】
また、画像処理手段は、直交座標上に複数の直線をサーチラインとして設定し、これらの直線上の各撮像画素毎の輝度をデジタル信号に変換後、フレーム毎にメモリ（ＲＡＭ）にデータとして記録するとともに、この映像信号のデータの輝度と画素間の輝度の連続性および次のフレームにおける同様のデータとの変化量を計数処理して、監視対象車両が隣車線あるいは隣々車線にあるか、さらに接近あるいは離反するかどうかを判断するようにしたものである。
【００１３】
また、送信アンテナと撮影カメラをドアミラー外郭ケース内に設置し、上記ドアミラーの反射面には、電磁波を透過させるとともに、撮像を可能にする程度の可視光を透過させるものを用いたものである。
【００１４】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１に係る車両周辺監視装置の回路構成を示すブロック図であり、例えば車のドアミラー部に設置され、自車両の走行する車線（自車線）の隣車線を走行する車両等を検出するものである。図において、１は装置の各構成要素に電源を供給する電源回路、２は電磁波の発信と受信を行うＲＦ回路、３は電磁波を放射する送信アンテナ、４は物体からの再帰反射した電磁波を受信する受信アンテナ、９は電波計測回路で、上記１乃至４および９でレーダ装置を構成している。
【００１５】
一方、５は撮影レンズ、６はＣＣＤ撮像素子、７は映像信号をデジタル信号に変換する映像信号処理回路、１０は画像処理回路で、上記５乃至７および１０で撮像手段を構成している。
【００１６】
８は演算手段である演算装置で、電波計測回路９と画像処理回路１０の出力信号を受けて演算処理を行い、その演算結果をもとに警報手段であるＬＥＤ１１および１２を駆動するか否かの判断を行う。１１と１２は演算装置８による危険、安全状況判定結果を運転者に伝達するＬＥＤ（Light Emitting Diode、発光ダイオード）である。演算装置８は本監視装置から出力される情報の他に、図示しない車両側のもつ情報、例えば車両のステアリング角センサやヨーレートセンサあるいはナビゲーションシステムからの道路形状情報などを参照して警報の判断を行う。
【００１７】
図２は本実施の形態の外観図である。図において、２０はドアミラー外殻ケース、２１は鏡（ミラー）、２２は車体とドアミラーを固定する支持体、２３はドアミラーの格納動作における回転軸である。
【００１８】
図３は図２のＸ−Ｘ線における断面形状を示すもので、２１ａは可視光線の一部分を反射（透過）させる光学特性と電磁波を透過させる物理特性を兼ね備えた光学薄膜で、鏡（ミラー）２１の表面に形成されている。３１は電源、演算、電波計測、映像信号処理の各回路が一体構成された基板である。３は送信アンテナ、４は受信アンテナ、３４は送信アンテナ３と受信アンテナ４を基板３１に連結固定する支持体である。３７は、鏡２１の後ろに設けられたレンズ５およびＣＣＤ６を基板３１に支持固定する鏡筒である。このように、アンテナ３、４、および撮像用のレンズ５、ＣＣＤ６はドアミラー外殻ケース２０の中に納められている。
【００１９】
図４はこの発明の車両周辺監視装置を車両に搭載した場合の位置関係と検出範囲を示す図であり、４０は自車両、４１は隣接車両である。通常ドアミラーによる水平方向の目視可能な視野角範囲は標準的な値で２５度である。一方、運転者である人間の視野角は一般的にはおよそ１８０度の範囲であることが知られている。これらのことから通常運転者の視界とドアミラーによる視界の双方の監視範囲に入らない領域である死角（斜線を施した範囲）が幾何的に存在する。この範囲では、自車両４０から比較的至近距離にある車両４１が隣車線の範囲内に存在するにもかかわらず完全に死角の領域内にあることを示している。通常、車線変更時にはドアミラーで後方を確認後、さらに目視による側方を確認するようにしているのは、上記斜線部の死角の領域内の車両の有無を確認するためである。
【００２０】
この発明の車両周辺監視装置の送信アンテナ３は、少なくとも上記死角領域に電波を照射するような指向性を持たせるように設計し、死角領域を監視するために適正な放射パターンを有する。この指向性は平面パッチアレーアンテナを構成する個々のパッチアンテナの取付角度、構成数量、相互の間隔寸法、供給する電力と位相を設計パラメータとすることで放射パターンの適正、最適化を行っている。
【００２１】
図５はこの発明の実施の形態における、監視対象車両の危険度を判定する演算手段の内容をフローチャートで示すものである。この演算内容を図６乃至図８を用いて以下に説明する。
【００２２】
図６において、４０は自車両、４１は監視対象車両、４２は自車両ドアミラー部に搭載された本装置の位置を示す。４３は自車線と隣車線の間隔Ｌ、４４は横方向の車体の間隔Ｌｂ、４５はレーダが検出する理想的な検出距離Ｒｒ、４６は実際にレーダが検出する距離Ｒｄ、４７は車間距離Ｒｂ、４８はアンテナと監視対象車両間の距離Ｒａである。
【００２３】
図６は比較的近距離に監視対象車両４１が存在する場合を示すもので、このとき４４の車体間隔Ｌｂが幾何的に発生するために、レーダが実際に検出する距離Ｒｄ４６を図示したものである。
【００２４】
図７に示すとおり、自車両４０と監視対象車両４１が比較的近距離に接近した場合、図１の１乃至４および９で構成されたレーダ装置は、監視対象車両４１の後輪付近の部位を検出し、理想的な検出距離Ｒｒ４５の値は示さない。これは前述の幾何的な車体間隔Ｌｂ４４と、送信アンテナ３から放射する電磁波のビームが、自車両４０の側方から後方にかけての、隣車線の領域に広がるような、比較的広い範囲に電磁波を放射する成形ビームを形成しているために発生するもので、放射する電力の密度が比較的高い、後方に向きをもつビームの照射部位からの反射波のレベルが、監視対象車両４１の最前部位からの電磁波の反射レベルより高くなるからである。
【００２５】
このような検出状態であっても安全に状況を報知するために、図５のフローチャートを用いて、演算処理における電波計測回路９の動作内容を説明する。レーダ装置によって監視対象車両の有無を判断するステップ５０において、実際に検出された距離データが確認されると、次に実際の検出距離Ｒｄ４６と、設定距離Ｒｓを比較するステップ５１に入る。設定距離Ｒｓとは、監視対象車両４１が比較的遠距離にある場合の実際の検出距離が、ほぼ理想的な検出距離Ｒｒ４５と同等の値を示すことに着目し、そこから監視対象車両４１が接近する過程で、理想的な検出距離Ｒｒ４５を検出できなくなり、レーダ装置が監視対象車両の側面部位までの距離Ｒｄ４６を検出し始める限界の両車両の位置関係のときの距離である。実際には設定距離Ｒｓは実験により測定し、５ｍと設定している。
【００２６】
つまり、ステージ５１において検出距離Ｒｄ４６と設定距離Ｒｓの値を比較し、検出距離Ｒｄ４６の値が設定距離Ｒｓの値より小さい場合は、常に監視対象車両が至近距離にあると判断する。
【００２７】
次にステージ５２に進む。ステージ５２は撮像手段に係る処理であり、図１におけるレンズ５およびＣＣＤ６からなるカメラで得られた映像信号を画像処理回路１０で画像処理し、検出対象車４１が隣車線にあるのか隣々車線にあるのかを判断する。そして隣車線にあると判断した場合は、次のステップ５３に進み警報手段を駆動し、ＬＥＤ１１、１２を動作させる。ここでの画像処理回路１０による画像処理の内容については後で詳細に説明する。
【００２８】
一方、検出距離Ｒｄ４６の値が設定距離Ｒｓの値より大きい場合、つまり、自車両４０と監視対象車両４１とが遠く離れている場合は、図８に示すとおり、レーダ装置による検出距離は理想的な検出距離Ｒｒ４５と等しくなる。また、比較的遠距離に監視対象車両４１が存在する場合は、理想的な検出距離Ｒｒ４５と、アンテナ−監視対象車両間の距離Ｒａ４８はほぼ等しいと近似できる。
【００２９】
ここではステージ５１で、検出距離Ｒｄ４６の値が設定距離Ｒｓの値より大きいと判定した場合に、次のステージ５４に進み、検出された距離の監視対象車両４１の相対速度Ｖｒの値をレーダ装置の電波計測回路９が読み込む。
【００３０】
監視対象車両４１が自車両４０に対し、追い越し車線を接近中に、自車両４０が追い越し車線に車線変更をした場合、車間距離はＲｂ４７となり、この距離と安全車間距離を比較することで演算装置８が危険状況の判定を行う。すなわち、ステージ５５において、安全判定をおこなうアルゴリズムは、
（Ｒａ−ｘ）＜Ｖｒ²／２ａ
の数式で表される。ここで、Ｒａは送信アンテナ３と監視対象車両４１間の距離Ｒａ４８、ｘは送信アンテナ３と自車両後端部までの距離、Ｖｒは自車両と監視対象車両との相対速度、ａは車両の加速度（制動減速度）である。つまり監視対象車両４１がフルブレーキをかけて相対速度が０になるまでの距離がＶｒ²／２ａであるので、これを安全距離とし、これと実際の検出距離Ｒｄ４６から自車両後端までの距離ｘを引いた距離とを比較し安全を判定する。
【００３１】
ステージ５５で、安全距離に対して実際の距離が短いと判定した場合は、ステージ５２へと進み、前記同様画像処理回路１０による画像処理が行われて、監視対象車両が隣車線にある場合に警報がＯＮされる。
【００３２】
次にステージ５２における画像処理の内容について図９乃至図１１により説明する。図９は自車両の右ドアミラー部に搭載されたＣＣＤカメラで撮像された後側方の道路の画像の１フレームを示したものである。この図において、４０は自車両、４１ａは隣車線にある監視対象車両、４１ｂ、４１ｃ、４１ｄは隣々車線にある監視対象車両、６３は自車線と隣車線の間の白線、６４は隣車線と隣々車線の間の白線、６５、６６、６７はサーチラインで、このライン上に相当するＣＣＤ画素（撮像画素）の輝度を評価することが画像処理の内容となる。
【００３３】
図１０において、上記サーチラインの設定について説明する。７０は直線道路の映像の消失点、７０ａは曲線道路の場合の映像の消失点で、ｘ座標値ｘ（Ｒ）は道路の曲率Ｒの関数として変化する。曲率Ｒは自車両のステアリング角センサやヨーレートセンサあるいはナビゲーションシステムが出力する信号をもとに設定する入力変数である。いづれも消失点をサーチラインの起点としている。
【００３４】
次にサーチラインの終点の座標は（ｘ１、ｙ１）と（０、ｙ２）と（０、ｙ３）であるが、これらはＣＣＤの寸法と、収差のないカメラレンズの焦点距離と、カメラ光軸の向き（エレベーション、アジマスの２軸）と、この光軸の道路面からの高さと、道路が平面であることを条件に、幾何的に求められる定数として設定する。
【００３５】
さらにサーチラインの中間の座標は、ｘ座標値を関数として２次の曲線の方程式からｙ座標値を算出する。例えば、サーチラインをｙ＝ａｘ²＋ｂｘ＋ｃの２次曲線一般式で表す場合に、下記の連立方程式からａ、ｂ、ｃの定数を導出している。
ｙ０＝ａ・ｘ（Ｒ）²＋ｂ・ｘ（Ｒ）＋Ｃ
ｙｎ＝ａ・ｘｎ²＋ｂ・ｘｎ＋Ｃ
２ａ・ｘｎ＋ｂ＝（ｙ０−ｙｎ）／（ｘ０−ｘｎ）
ｎ＝１．２．３…
【００３６】
これはサーチラインの終点の座標における微分係数が、道路が直線の場合の勾配に等しくなるとともに、サーチラインの起点と終点の座標と交差する２次の曲線を導出するもので、実際の曲線道路の見かけの曲線に近似させるものである。これらの方法によって算出されたサーチラインのｙ座標はメモリに記録される。
【００３７】
次に図１１に示すように、カメラから送出された映像信号の１フレーム分の映像信号の中から、上記サーチライン上の位置に相当するＣＣＤ画素に相当する映像信号８０の輝度をデジタル信号に変換し、メモリ８１に記憶させる。
【００３８】
ここでメモリ８１に記憶されたサーチライン上の輝度のレベルと、別途設定したスレッショールドレベル８２とを比較し、このスレッショールドレベルより高い輝度レベルが検出されるときに、設定したサーチライン上に車両等の障害物があると判断する。
【００３９】
また、検出された車両等の障害物が、隣車線にあるかあるいは隣々車線にあるかの判断は、図１２に示すとおり、車両等の障害物が隣々車線にのみある場合は、隣々車線の中央付近に設定したサーチライン６７の線上の輝度のレベルのみに変化が生じ、車線の境界付近および隣車線の中央付近に設定したサーチライン６５と６６の線上の輝度は変化しない。このことに着目し、監視対象車両のある車線を認識することができる。ここでは車線を跨り走行する車両、つまりサーライン６６に輝度の変化が検出された場合は、隣車線に車両があると判断する。
【００４０】
一方で実際の道路面には車線を区切る白線以外に、文字や記号が白線同様の材料で敷設されている。また道路周囲の構造物も多数存在するうえに、昼間の太陽光線の影響で影が路面に発生する。これらが上記サーチライン上にある場合は、当然輝度が変化するために実際には障害物がない場合でも、誤って障害物があると判断することになり、誤検出の原因となる。
【００４１】
この発明はこのような事態に遭遇した場合においては、接近物体のみを検出するように図１３から図１５に示すような対策を行っている。まず、図１３において、上記サーチライン上の映像信号をデジタル信号に変換後、メモリ８１に記憶された輝度のレベル８０に対し、映像信号の次に取り込まれるフレームの輝度信号１００も同様にデジタル変換した後、前記双方のフレームの輝度強度８０と１００の差１０１を求める。この結果を監視対象物体の移動量としてメモリ１０２に格納する。
【００４２】
次に、図１４において、同様に上記サーチライン上の映像信号をデジタル信号に変換後、メモリ８１に記憶した輝度のレベル８０に対し、この輝度レベルの変化量を評価するために、輝度レベルの変化量の微分係数１１０を求める。微分係数はメモリの隣のドットに格納されている輝度のレベルとの差分としており、結果はメモリ１１１に格納される。
【００４３】
さらに、上記メモリ１０２に格納した検出物体の移動量と、上記メモリ１１１に輝度レベルの差分として格納した双方のレベルの積を求める。つまり監視対象物体の移動量が大きく、同時に背景とのコントラストが大きい場合は、より大きな移動量として、強調された計数値が与えられ、監視対象物体の接近あるいは離反がより明確に判断できる。
【００４４】
また、移動の方向を判別する方法を図１５乃至図１８を用いて説明する。図１５において、１２０は前回のフレームで取り込んだサーチライン上の映像信号を輝度レベルとしてデジタル信号に変換後メモリに格納したもの、さらに１２１は今回のフレームで取り込んだ同様の輝度レベルの状態を示している。ここで前回と今回のサーチライン上の輝度の変化が、移動量が負の値、同時に微分係数が正の値を示すときは、検出対象物体は右方向に移動していると判断する。以下同様にして図１６と図１７では左方向、図１８は右方向に移動していると判断することができる。上記の組み合わせを図１９にまとめて示す。
【００４５】
【発明の効果】
以上のように、この発明の車両周辺監視装置によれば、監視対象車両の検出から、この監視対象車両の位置の判定さらに衝突の可能性を、比較的近距離から比較的遠距離の全域にわたり瞬時に行うことができる。
【００４６】
また、車線変更時等の際に、ドアミラーの死角となる領域を、定常に監視することができ、車両進行方向以外の周辺への危険予知、安全確保に対する注意力、集中力を状況に応じて的確に喚起することができる。
【００４７】
また、レーダ用アンテナおよび撮像カメラをドアミラー内部に装備することにより、車両のデザインに影響を与えることなく装置を組み込むことができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１に係る車両周辺監視装置の回路構成を示すブロック図である。
【図２】この発明の実施の形態１に係る車両周辺監視装置の正面外観を示す図である。
【図３】図２のＸ−Ｘ線に沿う断面図である。
【図４】実施の形態１の動作を説明するための、ドアミラーの死角とこの発明の検出範囲を示す図である。
【図５】実施の形態１の演算手段のフローチャートである。
【図６】実施の形態１の動作を説明するための、自車両と監視対象車両の相対位置を示す平面図である。
【図７】実施の形態１の動作を説明するための、自車両と監視対象車両の相対位置を示す側面図である。
【図８】実施の形態１の動作を説明するための、自車両と監視対象車両が比較的遠距離の相対位置を示す平面図である。
【図９】実施の形態１の撮影手段で取り込んだ映像信号を画像で表した図である。
【図１０】実施の形態１の映像信号処理手段で設定するサーチラインを示す図である。
【図１１】実施の形態１のサーチライン上の映像信号を示す図である。
【図１２】実施の形態１の車線の認識を説明する図である。
【図１３】実施の形態１の検出物体の移動量を説明する図である。
【図１４】実施の形態１の検出物体の輝度強度の変化量を説明する図である。
【図１５】実施の形態１の検出物体の移動方向を判断する内容を説明する図である。
【図１６】実施の形態１の検出物体の移動方向を判断する内容を説明する図である。
【図１７】実施の形態１の検出物体の移動方向を判断する内容を説明する図である。
【図１８】実施の形態１の検出物体の移動方向を判断する内容を説明する図である。
【図１９】実施の形態１の検出物体の移動方向を判断する条件をまとめた図である。
【符号の説明】
１電源回路、２ＲＦ回路、
３送信アンテナ、４受信アンテナ、
５レンズ、６ＣＣＤ、
７映像信号処理回路、８演算装置、
９電波計測回路、１０画像処理回路、
１１ＬＥＤ、１２ＬＥＤ、
２０ドアミラー外殻ケース、２１鏡（ミラー）、
２１ａ光学薄膜（反射膜）、２２ドアミラー支持体、
２３ドアミラー格納時の回転軸、３１基盤、
３４アンテナ支持体、３７鏡筒、
４０自車両、４１監視対象車両、
４１ａ隣車線の監視対象車両、４１ｂ隣々斜線の監視対象車両、
６３自車線−隣車線間の白線、６４隣車線−隣々車線間の白線、
６５隣車線のサーチライン、
６６隣車線−隣々車線間のサーチライン、
６７隣々車線のサーチライン、８０サーチライン上の輝度、
８１メモリ、８２スレッショールドレベル、
１００次のフレームでの輝度、
１０１前後フレーム間での輝度の差信号、
１０２メモリ、１１０微分係数（輝度レベルの勾配）、
１１１メモリ、１２０前回フレームでの輝度レベル、
１２１今回のフレームでの輝度レベル。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle periphery superintendent MiSo location using the radar and the image pickup means, for example, and detects the presence or absence of such overtaking approaching vehicle or the adjacent parallel vehicle in a range extending from the rear of the adjacent lane on the side.
[0002]
[Prior art]
Conventionally, this type of monitoring device has been proposed to be widely used in a vehicle periphery monitoring device or an inter-vehicle distance control device mounted on a vehicle. As a monitoring device mounted on a vehicle periphery monitoring device, there is an example in which a radar device is mounted on a fender mirror and a fender portion of a vehicle, as disclosed in, for example, Japanese Patent Laid-Open No. 54-45040.
[0003]
[Problems to be solved by the invention]
However, in this type of conventional radio wave radar apparatus, the divergence angle of the beam radiated into the space is relatively large, which reduces the accuracy of detecting the direction of the monitored vehicle. For example, there is a problem that it is impossible to accurately recognize whether the monitoring target vehicle is in the adjacent lane or the adjacent lane.
[0004]
In addition, for a relatively large vehicle to be monitored, even if this vehicle is adjacent to the lane, the signal intensity that can be reflected and received by the electromagnetic wave is relatively large, so that the vehicle is not close to each other. Detect things. This means that even though the lane change is actually possible and the alarm notification is unnecessary, the erroneous determination is made that the monitored vehicle is in the adjacent lane and the false alarm is notified. Become. Further, in order to determine the risk level of a relatively long-distance monitoring target vehicle, it is desirable to determine the risk level as far as possible and instantaneously.
[0005]
These are because the monitored vehicle is relatively far away in order to reliably exclude it from the alarm target regardless of the type of the monitored vehicle that travels in the adjacent lane and approaches. This indicates that it is necessary to recognize the lane where the monitoring target vehicle is located in a relatively wide range from the case to the close range of the parallel running state.
[0006]
[Means for Solving the Problems]
The vehicle periphery monitoring device according to the present invention includes a radio wave oscillating means for generating radio waves, a transmission antenna for beam-forming the radio waves generated by the radio wave oscillating means and radiating it toward the monitored vehicle, and a reflection from the monitored vehicle. A radar device comprising a receiving antenna that receives radio waves and radio wave measuring means that processes the received radio waves and detects the distance, relative speed, etc. of the monitored vehicle is mounted on the vehicle, and has a field of view including the radio beam. And an image processing unit that processes an image signal from the image capturing camera and recognizes a position of the monitoring target vehicle, for example, whether the monitoring target vehicle is in the adjacent lane or the adjacent lane. Also mounted in a vehicle, the positional relationship between the own vehicle and the monitored vehicle is obtained by the calculation means from the output of the radio wave measurement means and the output of the image processing means, and the image processing The stage sets the search line as a plurality of curves along the curvature of the road according to signals and information from the vehicle side, such as the steering angle sensor, the yaw rate sensor, or the road shape information from the navigation system. The data corresponding to the imaging pixels is recorded in a memory (RAM) for each frame, and the intensity and continuity of the video signal data and the amount of change in the same data in the next frame are counted and processed. Is in the next lane or next to the next lane, and whether it is approaching or leaving further.
[0008]
Further, the transmission antenna and the imaging camera are installed in the vicinity of the vehicle door mirror.
[0009]
In addition, the calculating means detects that the radio wave measuring means detects a monitoring target vehicle within a certain distance, and the image processing means determines to issue an alarm when the position of the monitoring target vehicle is determined to be in the adjacent lane range. It is what I do.
[0010]
In addition, when the radio wave measuring unit detects a monitored vehicle at a long distance of a certain distance or more and the image processing unit determines that the position of the monitored vehicle is in the range of the adjacent lane, A determination is made to issue an alarm with reference to the distance and relative speed of the monitored vehicle measured by the measuring means.
[0011]
Further, the image processing means sets a plurality of straight lines as search lines on the orthogonal coordinates, converts the luminance of each imaging pixel on these straight lines into a digital signal, and records it as data in a memory (RAM) for each frame. In addition, the amount of change between the luminance of the video signal data and the luminance continuity between the pixels and the same data in the next frame is counted, and whether the monitored vehicle is in the adjacent lane or the adjacent lane, in which further so as to determine whether to approach or away.
[0013]
In addition, a transmission antenna and a photographing camera are installed in a door mirror outer case, and a reflection surface of the door mirror is used that transmits electromagnetic waves and visible light that allows imaging.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a circuit configuration of a vehicle periphery monitoring apparatus according to Embodiment 1 of the present invention. For example, the vehicle lane (own lane) adjacent to a lane (own lane) on which the own vehicle travels is installed in a door mirror section of the vehicle. It detects a traveling vehicle or the like. In the figure, 1 is a power supply circuit that supplies power to each component of the apparatus, 2 is an RF circuit that transmits and receives electromagnetic waves, 3 is a transmission antenna that radiates electromagnetic waves, and 4 receives electromagnetic waves retroreflected from an object. The receiving antenna 9 is a radio wave measuring circuit, and the above 1 to 4 and 9 constitute a radar device.
[0015]
On the other hand, 5 is a photographing lens, 6 is a CCD image sensor, 7 is a video signal processing circuit for converting a video signal into a digital signal, 10 is an image processing circuit, and 5 to 7 and 10 above constitute imaging means.
[0016]
An arithmetic unit 8 is an arithmetic unit that receives the output signals of the radio wave measuring circuit 9 and the image processing circuit 10 and performs arithmetic processing. Based on the calculation result, whether or not the LEDs 11 and 12 that are alarming units are driven is determined. Make a decision. Reference numerals 11 and 12 denote LEDs (Light Emitting Diodes) that transmit the danger / safety situation determination result to the driver. In addition to the information output from the monitoring device, the arithmetic unit 8 determines the warning by referring to information on the vehicle side (not shown) such as the vehicle steering angle sensor, yaw rate sensor, or road shape information from the navigation system. Do.
[0017]
FIG. 2 is an external view of the present embodiment. In the figure, 20 is a door mirror outer case, 21 is a mirror, 22 is a support for fixing the vehicle body and the door mirror, and 23 is a rotating shaft in the door mirror retracting operation.
[0018]
FIG. 3 shows a cross-sectional shape taken along the line XX of FIG. 2. Reference numeral 21a denotes an optical thin film having both an optical characteristic for reflecting (transmitting) a part of visible light and a physical characteristic for transmitting an electromagnetic wave. 21 is formed on the surface. Reference numeral 31 denotes a substrate on which power supply, calculation, radio wave measurement, and video signal processing circuits are integrally configured. Reference numeral 3 is a transmission antenna, 4 is a reception antenna, and 34 is a support for connecting and fixing the transmission antenna 3 and the reception antenna 4 to the substrate 31. Reference numeral 37 denotes a lens barrel that supports and fixes the lens 5 and the CCD 6 provided behind the mirror 21 to the substrate 31. Thus, the antennas 3 and 4, the imaging lens 5, and the CCD 6 are housed in the door mirror outer case 20.
[0019]
FIG. 4 is a diagram showing a positional relationship and a detection range when the vehicle periphery monitoring device of the present invention is mounted on a vehicle, where 40 is a host vehicle and 41 is an adjacent vehicle. The viewing angle range that can be viewed in the horizontal direction by a normal door mirror is a standard value of 25 degrees. On the other hand, it is known that the viewing angle of a human driver is generally in the range of about 180 degrees. For these reasons, there is geometrically a blind spot (a hatched area) that does not fall within the monitoring range of both the driver's field of view and the field of view of the door mirror. In this range, it is indicated that the vehicle 41 that is relatively close to the host vehicle 40 is completely within the blind spot area even though the vehicle 41 exists in the adjacent lane range. Usually, when the lane is changed, the rear side is confirmed by the door mirror, and then the side is visually confirmed in order to confirm the presence or absence of the vehicle in the blind spot area of the hatched portion.
[0020]
The transmitting antenna 3 of the vehicle periphery monitoring device according to the present invention is designed to have a directivity that irradiates radio waves to at least the blind spot area, and has an appropriate radiation pattern for monitoring the blind spot area. This directivity optimizes and optimizes the radiation pattern by using the design parameters such as the mounting angle of each patch antenna that constitutes the planar patch array antenna, the number of components, the mutual spacing, the supplied power and phase. .
[0021]
FIG. 5 is a flowchart showing the contents of the calculation means for determining the degree of danger of the monitored vehicle in the embodiment of the present invention. The contents of this calculation will be described below with reference to FIGS.
[0022]
In FIG. 6, reference numeral 40 denotes the host vehicle, 41 denotes a monitoring target vehicle, and 42 denotes the position of the apparatus mounted on the host vehicle door mirror. 43 is an interval L between the own lane and the adjacent lane, 44 is an interval Lb between the vehicle bodies in the horizontal direction, 45 is an ideal detection distance Rr detected by the radar, 46 is a distance Rd actually detected by the radar, and 47 is an inter-vehicle distance Rb. , 48 is a distance Ra between the antenna and the monitoring target vehicle.
[0023]
FIG. 6 shows a case where the monitored vehicle 41 exists at a relatively short distance, and the distance Rd46 actually detected by the radar is illustrated because the vehicle body distance Lb of 44 is geometrically generated at this time. is there.
[0024]
As shown in FIG. 7, when the host vehicle 40 and the monitoring target vehicle 41 approach a relatively short distance, the radar device configured by 1 to 4 and 9 in FIG. The ideal detection distance Rr45 is not shown. This is because the electromagnetic wave beam radiated from the above-mentioned geometric vehicle body distance Lb44 and the electromagnetic wave radiated from the transmitting antenna 3 spreads in a relatively wide range such that it spreads from the side of the host vehicle 40 to the rear side of the adjacent lane. The level of the reflected wave from the irradiated portion of the beam having a relatively high density, which is generated because the radiating shaped beam is formed and the radiating power density is relatively high, is the foremost portion of the monitoring target vehicle 41. It is because it becomes higher than the reflection level of the electromagnetic wave from.
[0025]
In order to notify the situation safely even in such a detection state, the operation content of the radio wave measurement circuit 9 in the arithmetic processing will be described using the flowchart of FIG. If the actually detected distance data is confirmed in step 50 for determining the presence or absence of the monitoring target vehicle by the radar apparatus, then step 51 for comparing the actual detection distance Rd46 and the set distance Rs is entered. The set distance Rs means that the actual detection distance when the monitoring target vehicle 41 is relatively far shows a value equivalent to the almost ideal detection distance Rr45. In the approaching process, the ideal detection distance Rr45 cannot be detected, and this is the distance when the radar apparatus has a positional relationship between the two vehicles at the limit where the radar device starts to detect the distance Rd46 to the side surface portion of the monitored vehicle. Actually, the set distance Rs is experimentally measured and set to 5 m.
[0026]
That is, the value of the detection distance Rd46 and the set distance Rs is compared in the stage 51, and when the value of the detection distance Rd46 is smaller than the value of the set distance Rs, it is always determined that the monitored vehicle is at the close distance.
[0027]
Next, the process proceeds to stage 52. Stage 52 is a process according to the imaging means, and image processing by the image processing circuit 10 a video signal obtained by a camera comprising a lens 5 and CCD6 in FIG. 1, the one second adjacent vehicle detection target vehicle 41 is in the adjacent lane Determine if it is on the line. If it is determined that the vehicle is in the adjacent lane, the process proceeds to the next step 53 to drive the alarm means and operate the LEDs 11 and 12. The details of the image processing by the image processing circuit 10 will be described later in detail.
[0028]
On the other hand, when the value of the detection distance Rd46 is larger than the value of the set distance Rs, that is, when the own vehicle 40 and the monitoring target vehicle 41 are far apart, the detection distance by the radar device is ideal as shown in FIG. It becomes equal to a large detection distance Rr45. Further, when the monitoring target vehicle 41 exists at a relatively long distance, it can be approximated that the ideal detection distance Rr45 and the distance Ra48 between the antenna and the monitoring target vehicle are substantially equal.
[0029]
Here, in the stage 51, when it is determined that the value of the detection distance Rd46 is larger than the value of the set distance Rs, the process proceeds to the next stage 54, and the value of the relative speed Vr of the monitored vehicle 41 of the detected distance is detected by the radar device. The radio wave measuring circuit 9 reads.
[0030]
When the monitored vehicle 41 is approaching the overtaking lane with respect to the own vehicle 40 and the own vehicle 40 changes the lane to the overtaking lane, the inter-vehicle distance becomes Rb47, and the arithmetic unit is configured by comparing this distance with the safe inter-vehicle distance. 8 determines the dangerous situation. That is, in stage 55, the algorithm for performing the safety determination is
(Ra-x) <Vr ² / 2a
It is expressed by the following formula. Here, Ra is a distance Ra48 between the transmission antenna 3 and the monitored vehicle 41, x is a distance from the transmission antenna 3 to the rear end of the own vehicle, Vr is a relative speed between the own vehicle and the monitored vehicle, and a is a vehicle Acceleration (braking deceleration). That is, since the distance until the monitored vehicle 41 is fully braked and the relative speed becomes 0 is Vr ² / 2a, this is the safe distance, and the distance from the actual detection distance Rd46 to the rear end of the host vehicle. The safety is judged by comparing with the distance obtained by subtracting x.
[0031]
If it is determined at stage 55 that the actual distance is shorter than the safe distance, the process proceeds to stage 52, where image processing by the image processing circuit 10 is performed as described above, and the monitored vehicle is in the adjacent lane. The alarm is turned on.
[0032]
Next, the contents of the image processing in the stage 52 will be described with reference to FIGS. FIG. 9 shows one frame of the image of the road on the rear side imaged by the CCD camera mounted on the right door mirror part of the own vehicle. In this figure, 40 is the own vehicle, 41a is the monitored vehicle in the adjacent lane, 41b, 41c and 41d are the monitored vehicles in the adjacent lane, 63 is the white line between the own lane and the adjacent lane, and 64 is the adjacent lane. The white lines 65, 66, and 67 between the adjacent lanes are search lines, and the content of the image processing is to evaluate the luminance of the CCD pixels (imaging pixels) corresponding to the search lines.
[0033]
The setting of the search line will be described with reference to FIG. 70 is a vanishing point of the image of the straight road, 70a is a vanishing point of the image of the curved road, and the x coordinate value x (R) changes as a function of the curvature R of the road. The curvature R is an input variable that is set based on a signal output from the steering angle sensor, yaw rate sensor, or navigation system of the host vehicle. In both cases, the vanishing point is the starting point of the search line.
[0034]
Next, the coordinates of the end point of the search line are (x1, y1), (0, y2), and (0, y3). These are the dimensions of the CCD, the focal length of the camera lens without aberration, and the camera optical axis. Is set as a geometrically determined constant on the condition that the direction of (elevation, two axes of azimuth), the height of the optical axis from the road surface, and the road is a plane.
[0035]
Further, for the coordinates in the middle of the search line, the y coordinate value is calculated from the quadratic curve equation using the x coordinate value as a function. For example, when the search line is expressed by a general formula of a quadratic curve of y = ax ² + bx + c, constants a, b, and c are derived from the following simultaneous equations.
y0 = a · x (R) ² + b · x (R) + C
yn = a · xn ² + b · xn + C
2a · xn + b = (y0−yn) / (x0−xn)
n = 1.2.3 ...
[0036]
This is because the differential coefficient at the coordinates of the end point of the search line is equal to the gradient when the road is a straight line, and a quadratic curve intersecting the coordinates of the start and end points of the search line is derived. It approximates the apparent curve. The y coordinate of the search line calculated by these methods is recorded in the memory.
[0037]
Next, as shown in FIG. 11, the luminance of the video signal 80 corresponding to the CCD pixel corresponding to the position on the search line is converted into a digital signal from the video signal for one frame of the video signal sent from the camera. The data is converted and stored in the memory 81.
[0038]
Here, the brightness level on the search line stored in the memory 81 is compared with a threshold level 82 set separately, and when a brightness level higher than this threshold level is detected, the set search line is set. Judge that there are obstacles such as vehicles on the top.
[0039]
In addition, as shown in FIG. 12, when the obstacle such as the detected vehicle is in the adjacent lane or in the adjacent lane, as shown in FIG. Only the brightness level on the search line 67 set near the center of the lane changes, and the brightness on the search lines 65 and 66 set near the boundary of the lane and near the center of the adjacent lane does not change. By paying attention to this, it is possible to recognize the lane where the monitoring target vehicle is located. Here, if a change in luminance is detected in a vehicle traveling across the lane, that is, the surline 66, it is determined that there is a vehicle in the adjacent lane.
[0040]
On the other hand, on the actual road surface, characters and symbols are laid out with the same material as the white line, in addition to the white line separating the lanes. In addition, there are many structures around the road, and shadows appear on the road surface due to the effects of daytime sunlight. If these are on the search line, the luminance will naturally change, so that even if there are no obstacles, it will be erroneously determined that there are obstacles, causing false detection.
[0041]
In the case of encountering such a situation, the present invention takes measures as shown in FIGS. 13 to 15 so as to detect only an approaching object. First, in FIG. 13, after the video signal on the search line is converted to a digital signal, the luminance signal 100 of the frame that is captured next to the video signal is similarly digitally converted with respect to the luminance level 80 stored in the memory 81. After that, the difference 101 between the luminance intensities 80 and 100 of both the frames is obtained. This result is stored in the memory 102 as the movement amount of the monitoring target object.
[0042]
Next, in FIG. 14, the video signal on the search line is similarly converted into a digital signal, and then the luminance level of the luminance level 80 stored in the memory 81 is evaluated in order to evaluate the amount of change in the luminance level. A differential coefficient 110 of the change amount is obtained. The differential coefficient is a difference from the luminance level stored in the dot adjacent to the memory, and the result is stored in the memory 111.
[0043]
Further, the product of the amount of movement of the detected object stored in the memory 102 and the level of both stored in the memory 111 as a difference in luminance level is obtained. That is, when the amount of movement of the monitoring target object is large and the contrast with the background is large at the same time, an emphasized count value is given as a larger movement amount, and the approach or separation of the monitoring target object can be determined more clearly.
[0044]
A method for determining the direction of movement will be described with reference to FIGS. In FIG. 15, reference numeral 120 denotes a video signal on the search line captured in the previous frame, which is converted into a digital signal as a luminance level and stored in the memory, and 121 indicates a state of the same luminance level captured in the current frame. ing. Here, when the change in luminance on the previous and current search lines indicates that the movement amount is a negative value and at the same time the differential coefficient is a positive value, it is determined that the detection target object is moving in the right direction. Similarly, it can be determined that FIGS. 16 and 17 are moving leftward and FIG. 18 is moving rightward. The above combinations are shown together in FIG.
[0045]
【The invention's effect】
As described above, according to the vehicle periphery superintendent MiSo location of the present invention, the detection of the monitored vehicle, the possibility of determining more collision position of the monitoring target vehicle, relatively long range from a relatively short distance It can be done instantaneously over the entire area.
[0046]
In addition, when changing lanes, the area that becomes the blind spot of the door mirror can be monitored constantly, predicting danger to surroundings other than the vehicle traveling direction, attention to safety, and concentration depending on the situation Can be aroused accurately.
[0047]
In addition, by installing the radar antenna and the imaging camera inside the door mirror, the apparatus can be incorporated without affecting the design of the vehicle.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a circuit configuration of a vehicle periphery monitoring device according to Embodiment 1 of the present invention.
FIG. 2 is a diagram showing a front appearance of the vehicle periphery monitoring apparatus according to Embodiment 1 of the present invention.
3 is a cross-sectional view taken along line XX of FIG.
FIG. 4 is a diagram showing a blind spot of a door mirror and a detection range of the present invention for explaining the operation of the first embodiment.
FIG. 5 is a flowchart of calculation means according to the first embodiment.
6 is a plan view showing the relative positions of the host vehicle and the monitoring target vehicle for explaining the operation of the first embodiment. FIG.
FIG. 7 is a side view showing the relative positions of the host vehicle and the monitoring target vehicle for explaining the operation of the first embodiment.
FIG. 8 is a plan view showing relative positions of the host vehicle and the monitoring target vehicle at a relatively long distance for explaining the operation of the first embodiment.
FIG. 9 is a diagram illustrating an image of a video signal captured by the photographing unit according to the first embodiment.
FIG. 10 is a diagram showing search lines set by the video signal processing means of the first embodiment.
FIG. 11 is a diagram showing a video signal on a search line according to the first embodiment.
FIG. 12 is a diagram illustrating lane recognition according to the first embodiment.
FIG. 13 is a diagram illustrating the amount of movement of the detection object according to the first embodiment.
FIG. 14 is a diagram for explaining the amount of change in luminance intensity of the detection object according to the first embodiment.
FIG. 15 is a diagram for explaining the contents for determining the moving direction of the detected object in the first embodiment;
FIG. 16 is a diagram for explaining the contents for determining the moving direction of the detected object in the first embodiment;
FIG. 17 is a diagram for explaining the contents for determining the moving direction of the detected object in the first embodiment;
FIG. 18 is a diagram for explaining the contents for determining the moving direction of the detected object according to the first embodiment;
FIG. 19 is a table summarizing conditions for determining the moving direction of the detected object in the first embodiment.
[Explanation of symbols]
1 power circuit, 2 RF circuit,
3 transmit antenna, 4 receive antenna,
5 lens, 6 CCD,
7 video signal processing circuit, 8 arithmetic unit,
9 Radio measurement circuit, 10 Image processing circuit,
11 LED, 12 LED,
20 Door mirror outer case, 21 Mirror,
21a Optical thin film (reflection film), 22 Door mirror support,
23 Rotating shaft when door mirror is retracted, 31 Base,
34 antenna support, 37 lens barrel,
40 own vehicle, 41 monitored vehicle,
41a Vehicle to be monitored in the adjacent lane, 41b Vehicle to be monitored in the adjacent diagonal line,
63 White line between own lane and adjacent lane, 64 White line between adjacent lane and adjacent lane,
65 Next lane search line,
66 Search line between next lane and next lane,
67 Next lane search line, 80 brightness on search line,
81 memory, 82 threshold level,
100 brightness in the next frame,
101 Difference signal of luminance between frames before and after,
102 memory, 110 differential coefficient (gradient of brightness level),
111 memory, 120 brightness level in previous frame,
121 Brightness level at the current frame.

Claims

Radio wave generation means for generating radio waves, a transmission antenna for beam-forming the radio waves generated by the radio wave oscillation means and radiating it toward the monitored vehicle, a reception antenna for receiving reflected radio waves from the monitored vehicle, and a received radio wave A radar device comprising a radio wave measuring means for detecting the distance, relative speed, etc. of the vehicle to be monitored, and an imaging camera having a field of view including the radio wave beam, and from the imaging camera An image pickup means comprising image processing means for processing a video signal and recognizing the position of the monitored vehicle, for example, whether the monitored vehicle is in the adjacent lane or the adjacent lane is mounted on the vehicle, and the radio wave measuring means with obtaining at the output of the output of the image processing means the vehicle and calculating means a positional relationship between a monitored vehicle, the image processing means, it was signals and information from the vehicle side For example, the search line is set as a plurality of curves along the curvature of the road according to the road shape information from the steering angle sensor, the yaw rate sensor, or the navigation system, and data corresponding to the imaging pixels on these curves is set for each frame. Whether the vehicle to be monitored is in the next lane or the next lane by recording in the memory (RAM) and counting the intensity and continuity of the data of the video signal and the amount of change in the same data in the next frame. Further , the vehicle periphery monitoring device characterized in that it is determined whether or not the vehicle is approaching or moving away .

The vehicle periphery monitoring device according to claim 1, characterized in that the transmitting antenna being set and the imaging camera to a door mirror near the vehicle.

The calculation means performs a determination to issue an alarm when the radio wave measurement means detects a monitoring target vehicle within a certain distance and the image processing means determines that the position of the monitoring target vehicle is within the range of the adjacent lane. The vehicle periphery monitoring device according to claim 1 or 2 , wherein the vehicle periphery monitoring device is configured.

When the radio wave measuring unit detects a monitoring target vehicle at a long distance of a certain distance or more and the image processing unit determines that the position of the monitoring target vehicle is in the range of the adjacent lane, the calculation unit There vehicle periphery monitoring device according to claim 1 or claim 2, wherein in that to perform the determination for issuing an alarm by referring to distance and relative velocity of the monitoring target vehicle measured.

The image processing means sets a plurality of straight lines as search lines on the Cartesian coordinates, converts the luminance for each imaging pixel on these straight lines into a digital signal, and records it as data in a memory (RAM) for each frame. The video signal data brightness and the continuity of brightness between pixels and the amount of change between the same data in the next frame are counted, and the monitored vehicle is in the next lane or the next lane or closer. or the vehicle surroundings monitoring apparatus according to any one of claims 1 to claim 4, characterized in that so as to determine whether away.

A transmitting antenna and a photographing camera are installed in a door mirror outer case, and a reflective surface of the door mirror is used that transmits electromagnetic waves and transmits visible light to the extent that enables imaging. vehicle environment monitoring apparatus according to any one claim of claim 1 through claim 5.