JP3886376B2 - 車両周辺監視システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車両周辺監視システムに係り、特に、車両を所望の位置に移動させようとするときの利便性や安全性を向上するための車両周辺監視システムと、このシステムを実現するために有効な車両移動状態検出装置に関するものである。
【０００２】
【従来の技術】
従来、後方カメラで車両の後方を撮影し、ダッシュボードに備え付けたモニターに後方カメラにより撮影した画像をそのままリアルタイムに表示することで、バックで駐車しようとするときの利便性を向上する様にした後方監視システムが知られている。
【０００３】
また、特開平１０−２１１８４９号公報に記載の後方監視システムでは、後方カメラで撮影した車両の後方の画像を、上空から見た平面図（鳥瞰画像）に変換し、これをモニターに表示すると共に、このモニターに自車両を表示する様にしている。
【０００４】
この特開平１０−２１１８４９号公報に記載の後方監視システムによれば、自車両と後方の状態とを鳥瞰画像でモニター表示するので、自車両と駐車枠との位置関係が分かり易くなるという効果が発揮される。
【０００５】
【発明が解決しようとする課題】
しかし、これら従来技術では、後方カメラの視野外の状況は表示できないので、依然として、バックで駐車枠に入れようとするときの利便性の向上は十分でない。
【０００６】
そこで、本発明は、車両に搭載した監視カメラの視野外の状況をもモニター表示できる様にすることを第１の目的とする。
【０００７】
また、これまでの車両周辺監視システムは、車庫入れ等のバックの場合だけを重視して開発され、実用化されてきているが、最近の車両においては、前方視野を向上させるために、ボンネットの先端が低くなったスタイルのものが多くなっている。このため、狭い場所を前進してすり抜けようとしたり、あるいは車両を駐車場に前進で駐車しようとするときに、特に、右ハンドルの車両では、左前方の状況が十分に把握できず、駐車場の壁面、隣の車両、あるいは電柱の様な道路上の構造物等に接触して車両を傷つけてしまいそうになったり、実際に傷つけてしまうといったことを経験することがある。
【０００８】
そこで、本発明は、車両の前方の周辺状況について正しい情報をユーザーに提供できる様にすることを第２の目的とする。
【０００９】
さらに、車庫入れの際には、切り返し操作を伴うことがある。その様な場合、従来の監視システムでは、後進しているときはバックモニターを見て後方の障害物や駐車枠の位置を確認できるが、切り返しのために前進するときは、モニターから目を離し、フロントガラスを通して前方を見るといったことを繰り返すことになる。特に、前方に障害物がある様な場合、前述した様に、右ハンドル車の左前コーナー部は視界が悪いため、切り返し操作がやり難い場合があるといった問題が生じる。
【００１０】
そこで、本発明は、車両の前方、後方共に、自車両と周辺状況との位置的関係を死角を極力少なくして正しい情報をユーザーに提供できる様にすることを第３の目的とする。
【００１１】
【課題を解決するための手段及び発明の効果】
上記第１の目的を達成しようとしてなされた請求項１の車両周辺監視システムは、撮影手段が撮影した車両後方画像を、鳥瞰変換手段で鳥瞰画像に変換し、この鳥瞰画像を鳥瞰画像記憶手段に記憶する。また、車両移動状態取得手段が取得した車両の移動状態に基づいて、画像回転・移動手段が、鳥瞰画像記憶手段に記憶しておいた過去の鳥瞰画像を回転移動又は平行移動する。ここで、車両が旋回している場合は回転移動を実行し、車両が直線移動をしている場合は平行移動を実行する。そして、合成鳥瞰画像生成手段が、こうして回転・移動された過去の鳥瞰画像と、撮影手段によって撮影されている現在の車両後方画像を鳥瞰変換手段によって鳥瞰変換した現在の鳥瞰画像とを合成して合成鳥瞰画像を生成する。ここでは、例えば、現在の鳥瞰画像が前面となる様に、過去の鳥瞰画像の上にオーバーレイする様にしておくとよい。最後に、表示制御手段が、この合成鳥瞰画像を、車両の位置との関係が分かる様に表示手段に表示する。車両の位置との関係が分かる様に表示する方法としては、例えば、表示手段の所定位置に車両の平面図に想到する画像を最前面となる様に表示し、この車両の後端側に基準線を設定し、合成鳥瞰画像中の現在の鳥瞰画像がこの基準線から後方へ向かって表示される様に合成鳥瞰画像の表示位置を決定する様にすればよい。
【００１２】
この結果、請求項１の車両周辺監視システムによれば、表示手段には、現在の鳥瞰画像だけでなく、過去の鳥瞰画像が車両との位置関係が分かる様に表示されるので、撮影手段の視野外の状況をもモニター表示することができ、ドライバーに対して、車両と周辺の状況とをより的確に判断させることができる。従って、請求項１の車両周辺監視システムによれば、バックで駐車する様な場合における利便性・操作性が向上するという効果が発揮される。
【００１３】
また、第２の目的を達成するためになされた請求項２の車両周辺監視システムは、車両の前部に撮影手段を設置したものである。そして、この撮影手段が撮影した車両前方画像を、鳥瞰変換手段が鳥瞰画像に変換する。この鳥瞰画像は、鳥瞰画像記憶手段に記憶される。また、車両移動状態取得手段が、車両の移動状態を取得する。そして、この車両移動状態取得手段が取得した車両の移動状態に基づいて、画像回転・移動手段が、鳥瞰画像記憶手段に記憶しておいた過去の鳥瞰画像を回転移動又は平行移動する。ここで、車両が旋回している場合は回転移動を実行し、車両が直線移動をしている場合は平行移動を実行する。そして、合成鳥瞰画像生成手段が、こうして回転・移動された過去の鳥瞰画像と、撮影手段によって撮影されている現在の車両後方画像を鳥瞰変換手段によって鳥瞰変換した現在の鳥瞰画像とを合成して合成鳥瞰画像を生成する。ここでは、例えば、現在の鳥瞰画像が前面となる様に、過去の鳥瞰画像の上にオーバーレイする様にしておくとよい。最後に、表示制御手段が、この合成鳥瞰画像を、車両の位置との関係が分かる様に表示手段に表示する。車両の位置との関係が分かる様に表示する方法としては、例えば、表示手段の所定位置に車両の平面図に想到する画像を最前面となる様に表示し、この車両の前端側に所定の基準線を設定し、合成鳥瞰画像中の現在の鳥瞰画像がこの基準線から前方へ向かって表示される様に合成鳥瞰画像の表示位置を決定する様にすればよい。
【００１４】
この結果、請求項２の車両周辺監視システムによれば、車両の前方の状況を車両の前端角部の周辺についてもモニター表示することが可能になる。よって、例えば、狭い場所を前進してすり抜けようとしたり、あるいは車両を駐車場に前進で駐車しようとするときに、特に、右ハンドルの車両で死角となり易い左前方の状況が十分に把握でき、駐車場の壁面、隣の車両、あるいは電柱の様な道路上の構造物等に接触してしまうのを有効に防止することができる。
【００１５】
また、第３の目的を達成するためになされた請求項３の車両周辺監視システムは、車両の前部及び後部にそれぞれ撮影手段を備えたものである。そして、シフトレンジ検出手段によって、シフトレンジが後進レンジであることを検出したときは後方撮影手段を使用し、前進レンジであることを検出したときは前方撮影手段を使用する。従って、切り返し操作を行いながら駐車しようといったときには、Ｒレンジにシフトチェンジすると表示手段には後方撮影手段からの画像が、Ｄレンジにシフトチェンジすると表示手段には前方撮影手段からの画像が表示され、視線を大きく変更しなくても、特に、駐車の際の最終的な駐車位置調整をスムーズに実行することが可能になるといった効果が発揮される。
【００１６】
また、請求項３の車両周辺監視システムによれば、上述の作用に加えて、以下の様な作用が発揮される。後方撮影手段が撮影した後方画像は、鳥瞰変換手段によって鳥瞰画像に変換され、さらに、この鳥瞰変換した後方画像は、鳥瞰画像記憶手段に記憶される。そして、車両移動状態取得手段によって取得した車両の移動状態に基づいて、鳥瞰画像記憶手段に記憶しておいた過去の鳥瞰画像を回転移動又は平行移動する。そして、合成鳥瞰画像生成手段が、この回転・移動された過去の鳥瞰画像と、現在の鳥瞰画像とを合成して合成鳥瞰画像を生成する。この合成鳥瞰画像が表示手段に表示されることになる。また、シフトレンジが切り替わると、今度は、前方撮影手段による撮影に切り替わり、前方撮影手段によって撮影した画像に基づき、上述と同様の処理が実行される。
【００１７】
この結果、この請求項３の車両周辺監視システムによれば、切り返しで前進するときは、表示手段には前方の様子が、前進し始めからの履歴を反映した形で表示手段に表示される。従って、前方の障害物等と自車両との位置関係を的確に判断しながら車両を前進させることができる。この際、車両の左前コーナー部の様に、右ハンドル車では見えにくい領域の状況も正しく伝達することができる。同様に、切り返しで後進するときは、表示手段には後方の様子が、後進し始めからの履歴を反映した形で表示手段に表示される。従って、後方の障害物等と自車両との位置関係を的確に判断しながら車両を後進させることができる。そして、この様に、表示手段に的確な周辺状況を表示できる結果として、切り返し操作の最終局面では、一々、視線を表示手段からフロントガラスへと移動させなくても、ハンドル操作することが可能となり、操作性が大幅に向上するという効果が発揮される。
【００１８】
なお、ここで、請求項４の車両周辺監視システムは、請求項１〜請求項３のいずれか記載の車両周辺監視システムにおいて、前記鳥瞰画像記憶手段に記憶されている過去の鳥瞰画像を、前記合成鳥瞰画像生成手段が生成した合成鳥瞰画像に基づいて更新する過去画像更新手段を備えていることを特徴とする。
【００１９】
この請求項４の車両周辺監視システムによれば、過去画像更新手段を備えている結果、鳥瞰画像記憶手段には、過去画像が更新されつつ蓄積されていき、車両が後進又は前進を開始した後、徐々に車両の周辺状況をより広範囲に表示可能となり、車両の後方又は前方だけでなく、車両の側方の周辺状況をもドライバーに伝達することができる。また、過去画像を更新することで、画像回転・移動手段による回転・移動後の過去の鳥瞰画像は、現在の鳥瞰画像と正しくつなぎ合わせることができる。
【００２０】
ところで、これら第１〜第３の目的を達成するにことができた場合に、さらに、以下の問題が存在する。
【００２１】
まず第１に、車両の周辺の状況を表示するために過去の画像を用いるため、ユーザーに現時刻の車両の周辺の状況を完全に提供できているわけではないという問題がある。
【００２２】
例えば、モニターだけを注視して車の車庫入れ等を行っていると、過去の画像を表示している領域に他の車両が侵入してきても当該他の車両の画像は表示されないため、不用意にハンドル操作をすると、接触事故を引き起こす危険がある。従って、本出願人等は、これまでに開発をしたシステムを実用化する上では、当然ながら、モニターにだけ頼って運転をしない様に、特に、車両の側方領域については必ず目視による確認をする必要がある点を操作マニュアル等に明記し、ユーザーの注意を喚起することを予定している。しかし、ユーザーが、慣れによって、目視確認をしないままで車両の切り返し操作等をすることが全くないとはいえない。
【００２３】
そこで、本発明は、ユーザーが操作マニュアルの指示に従った運転を忠実に実行しない様なときにも、特に、移動物体との間での接触事故を防止することを第４の目的とする。
【００２４】
かかる第４の目的を達成するためになされた請求項５の車両周辺監視システムは、請求項１〜請求項４のいずれか記載の車両周辺監視システムにおいて、前記合成鳥瞰画像生成手段が生成した合成鳥瞰画像に対して、過去の鳥瞰画像に対応する部分と現在の鳥瞰画像に対応する部分とを区別するための画像処理を施す画像処理手段を備え、前記表示制御手段は、該画像処理手段によって画像処理された後の合成鳥瞰画像を前記表示手段に表示する様に構成されていることを特徴とする。
【００２５】
この請求項５の車両周辺監視システムによれば、画像処理手段が、合成鳥瞰画像生成手段が生成した合成鳥瞰画像に対して、過去の鳥瞰画像に対応する部分と現在の鳥瞰画像に対応する部分とを区別するための画像処理を施す。画像処理の例をあげると、例えば、過去の鳥瞰画像のみが表示される部分にはフィルター処理によって現在の鳥瞰画像と色彩的に区別が付くようにすることができる。また、過去の鳥瞰画像と現在の鳥瞰画像との境界線を明示する様にすることもできる。さらに、過去の鳥瞰画像のみが表示される部分は階調を落とすなどの画像処理を施すことによって、階調の差で現在の鳥瞰画像と視覚的に区別が付くようにすることもできる。その他、過去の鳥瞰画像と現在の鳥瞰画像とが区別できる様な状態とするための種々の画像処理技術を適用することができる。
【００２６】
また、同じく第４の目的を達成するためになされた請求項６の車両周辺監視システムは、請求項１〜請求項５のいずれか記載の車両周辺監視システムにおいて、前記表示手段に表示される合成鳥瞰画像中の過去の鳥瞰画像を表示している部分に、ドライバーの注意を促すための所定の情報を表示させるための注意情報表示手段を備えていることを特徴とする。
【００２７】
この請求項６の車両周辺監視システムによれば、注意情報表示手段が、表示手段に表示される合成鳥瞰画像中の過去の鳥瞰画像を表示している部分に、ドライバーの注意を促すための所定の情報、例えば、コーションマークや、アニメーション化によって人物や車両が過去の鳥瞰画像の表示領域に出入りする様な動画表示や、ドライバーの黙視確認を促すようなメッセージを表示する。この結果、ドライバーは、モニター内のどの部分については、最終的には目視確認が必要であるということを容易に判断することができ、安全性を向上することができる。なお、視覚的に注意を促すだけでなく、音声によって注意を促す様にすることもできる。従って、第４の目的を達成するための手段として、請求項７の車両周辺監視システムの様に、請求項１〜請求項６のいずれか記載の車両周辺監視システムにおいて、前記表示手段に表示される合成鳥瞰画像中の過去の鳥瞰画像を表示している部分は、目視確認が必要であることをドライバーに通知する通知手段を備えておく様にすることもできる。
【００２８】
また、上述の様に、車庫入れ等においては、単純にバックするだけでなく、切り返し操作の様に、前進と後進とを繰り返す場合がある。例えば、ユーザーがシフトレンジをＲレンジに切り替えたときに、それまでに前進していた時の画像履歴が残ってしまうと、この前進時の画像履歴をカメラの視野外の領域の画像として合成してしまうことになり、正しい合成画像が得られなくなるという問題もある。逆に、Ｒレンジから前進用シフトレンジに切り替えたときにも同様の問題が生じる。
【００２９】
そこで、本発明は、車両を前進させるときも後進させるときも、常に、車両の周辺状況を正しく反映した合成画像を表示できる様にすることを第５の目的とする。
【００３０】
かかる第５の目的を達成するためになされた請求項８の車両周辺監視システムは、請求項１〜請求項７のいずれか記載の車両周辺監視システムにおいて、車両のシフトレンジの切り替わりを検出するシフトレンジ切り替わり検出手段と、該シフトレンジ切り替わり検出手段によってシフトレンジが切り替わったことが検出されたときは、前記鳥瞰画像記憶手段に記憶されている過去の鳥瞰画像を消去する過去画像消去手段とを備えていることを特徴とする。
【００３１】
この請求項８の車両周辺監視システムによれば、シフトレンジ切り替わり検出手段によってシフトレンジが切り替わったことが検出されたときは、過去画像消去手段が作動して、鳥瞰画像記憶手段に記憶されている過去の鳥瞰画像を消去する。この結果、切り返しによって車両が複雑な動きをした場合には、前進時であれば後進時に得られた過去の画像が、逆に後進時であれば前進時に得られた過去の画像がモニター表示されることがなく、車両の周辺状況を正しく反映した画像情報をドライバーに提供することができる。
【００３２】
ここで、請求項９の車両周辺監視システムは、前記車両移動状態取得手段は、ハンドル角とヨーレイトから旋回時の車両の回転移動量を算出する回転移動量算出手段を備えていることを特徴とする。
【００３３】
この請求項９の車両周辺監視システムによれば、回転移動量算出手段が、ハンドル角とヨーレイトから旋回時の車両の回転移動量を算出し、この回転移動量に基づいて、画像回転・移動手段が、過去の鳥瞰画像を回転移動させる。この場合、車両がバック中の場合は、後輪車軸上に回転中心があるものと推定することができるので、ハンドル角から回転半径を算出してやれば回転中心が判明する。そして、ヨーレイトから回転角を算出する。回転中心と回転角とが求められれば、回転中心に対して車両がどの方向へどれだけ回転移動したかを数学的に算出することができる。こうして回転移動量が算出できれば、後は、過去の鳥瞰画像を構成する各画素を、この回転移動量に基づいて、実際の回転方向とは逆方向に座標変換してやる。そして、これに、現在の鳥瞰画像をオーバーレイすれば、車両の後輪車軸をＸ方向の基準線とし、車両の中心線をＹ方向の基準線とする座標系についての、合成鳥瞰画像を生成することができる。なお、前進の場合も同様の手法で容易に合成鳥瞰画像を生成することができる。
【００３４】
ところで、回転を伴わない移動状態では、車速に基づいて車両の直線移動量を算出し、この直線移動量分だけ過去の鳥瞰画像を移動方向とは逆方向に移動させ、これに現在の鳥瞰画像をオーバーレイしてやれば、容易に合成鳥瞰画像を生成することができる。
【００３５】
これを実現しているのが請求項１０の車両周辺監視システムであり、請求項１〜請求項９のいずれか記載の車両周辺監視システムにおいて、前記車両移動状態取得手段は、車速又は車速を算出し得る所定の情報から旋回を伴わない場合の車両の直線移動量を算出する直線移動量算出手段を備えていることを特徴とする。
【００３６】
ところで、車両を駐車しようとする様なときは、車両は極低速で移動する状態になっている。こうした極低速での車速は、通常の車速センサの検出信号を使用したのでは、精度が良くない場合があるという問題がある。あるいは、センサによっては所定速度以下の場合は車速の検出が不可能なものもある。
【００３７】
そこで、本発明は、低速走行時の車速又は車両の移動量を高精度で検出することができる様にすることを第６の目的とする。
【００３８】
この第６の目的を達成するためになされた請求項１１の車両周辺監視システムは、請求項１〜請求項１０のいずれか記載の車両周辺監視システムにおいて、前記車両移動状態取得手段は、過去の鳥瞰画像と現在の鳥瞰画像とを比較することによって車両の直線移動量を算出する直線移動量算出手段を備えていることを特徴とする。
【００３９】
同じく第６の目的を達成するためになされた請求項１２の車両周辺監視システムは、請求項１〜請求項１１のいずれか記載の車両周辺監視システムにおいて、前記車両移動状態取得手段は、ソナーによって検出される何らかの目標物と車両との距離の変化に基づいて車両の直線移動量を算出する直線移動量算出手段を備えていることを特徴とする。
【００４０】
【００４１】
【００４２】
【００４３】
【００４４】
【００４５】
【００４６】
【００４７】
【００４８】
【００４９】
【００５０】
【発明の実施の形態】
次に、本発明の実施の形態を図面と共に説明する。図１は、本実施の形態の車両周辺監視システム１の概略構成を表すブロック図である。図示の様に、画像入力手段である前方カメラ１１及び後方カメラ１３と、これらのカメラ１１，１３で撮影された画像を鳥瞰画像に変換するための画像処理を実行する鳥瞰変換回路１５，１７と、これら鳥瞰変換回路１５，１７によって変換された後の画像を一時的に記憶する一時記憶メモリ２１，２３と、制御処理の中枢を司るＣＰＵ２５と、このＣＰＵ２５で所定の演算処理を実行した結果としての画像を記憶する履歴画像記憶メモリ２７と、この履歴画像記憶メモリ２７や一時記憶メモリ２１，２３に記憶されている画像を合成して得られる表示用画像を記憶する表示用画像メモリ２９と、表示用画像メモリ２９に記憶されている画像を読み出して表示するモニター３１と、ＣＰＵ２５に対してユーザーのハンドル操作に関する情報を入力するためのハンドル角信号入力回路４１と、同じくＣＰＵ２５に対して車速に関する情報を入力するための車速信号入力回路４３と、車両の旋回状況に関する情報をＣＰＵ２５に入力するためのヨーレイト信号入力回路４５と、車両の移動方向に存在する障害物を検出してその有無や障害物と車両との距離等の情報をＣＰＵ２５に入力するための超音波センサ信号入力回路４７と、シフトポジション信号入力回路４９とを備えている。
【００５１】
なお、鳥瞰変換回路１５，１７、一時記憶メモリ２１，２３、ＣＰＵ２５、履歴画像記憶メモリ２７、表示用画像メモリ２９、ハンドル角信号入力回路４１、車速信号入力回路４３、ヨーレイト信号入力回路４５、超音波センサ信号入力回路４７及びシフトポジション信号入力回路４９は、その全体または一部を一体化して一つのＬＳＩで構成してもよい。さらに、鳥瞰変換回路１５，１７については、専用の画像処理回路を備える代わりに、ＣＰＵ２５に対してカメラ１１，１３で撮影した画像を入力し、これを演算処理によってソフトウェア的に鳥瞰画像に変換するといった手法で実現することもできる。
【００５２】
前方カメラ１１は、図２に示す様に、例えば、車両のフロントグリルの中央辺りに設置され、車両の前方の画像を撮影することができる様になっている。また、後方カメラ１３は、例えば、車両のラッゲージルームの後壁の中央辺りに設置され、車両の後方の画像を撮影することができる様になっている。
【００５３】
ここで、前方カメラ１１及び後方カメラ１３は、それぞれ車両の幅方向に位置をずらして複数個設置しておく様にしても構わない。但し、前方及び／又は後方に複数個のカメラを設置した場合には、本実施の形態のシステムを実現するための画像処理の際に、各カメラ毎に撮影範囲がずれている画像同士を調整して前方の画像及び後方の画像を決定する必要があるので、視野が広くなってより多くの情報が得られる反面、画像処理のための演算処理回路やプログラムが複雑になるといった問題もあり、コスト的な側面等も考慮して実用化する必要がある。
【００５４】
また、前方カメラ１１で撮影した画像は、前方画像用の鳥瞰変換回路１５に入力され、画像処理を施されて前方鳥瞰画像とされて一時記憶メモリ２１に記憶される。撮影開始時には、この前方鳥瞰画像は、さらに、履歴画像メモリ２７内の前方履歴画像記憶領域にも記憶される。この前方履歴画像記憶領域に記憶されている画像は、次の演算タイミングにおいて、ＣＰＵ２５によって読み出され、ハンドル角信号入力回路４１，車速信号入力回路４３，ヨーレイト信号入力回路４５及び超音波センサ信号入力回路４７を介してＣＰＵ２５に入力される各種の情報を用いて回転や移動といった幾何学的な画像処理を施される。この幾何学的な画像処理後の履歴画像には、さらに、この演算タイミングにおいて前方カメラ１１で撮影され、鳥瞰変換回路１５で鳥瞰変換されて一時記憶メモリ２１に上書きされている最新の前方鳥瞰画像をオーバーレイする様にして合成鳥瞰画像とされて、再び、履歴画像記憶メモリ２７内に上書きされる。
【００５５】
同様に、後方カメラ１３で撮影した画像は、後方画像用の鳥瞰変換回路１７に入力され、画像処理を施されて後方鳥瞰画像とされて一時記憶メモリ２３に記憶される。撮影開始時には、この後方鳥瞰画像は、さらに、履歴画像メモリ２７内の後方履歴画像記憶領域にも記憶される。この後方履歴画像記憶領域に記憶されている画像は、次の演算タイミングにおいて、ＣＰＵ２５によって読み出され、ハンドル角信号入力回路４１，車速信号入力回路４３，ヨーレイト信号入力回路４５及び超音波センサ信号入力回路４７を介してＣＰＵ２５に入力される各種の情報を用いて回転や移動といった幾何学的な画像処理を施される。この幾何学的な画像処理後の履歴画像には、さらに、この演算タイミングにおいて後方カメラ１３で撮影され、鳥瞰変換回路１７で鳥瞰変換されて一時記憶メモリ２３に上書きされている最新の後方鳥瞰画像をオーバーレイする様にして合成鳥瞰画像とされて、再び、履歴画像記憶メモリ２７内に上書きされる。
【００５６】
なお、ＣＰＵ２５によって所定の演算処理を施されて最終的にモニター３１に表示すべき画像は、表示用画像メモリ２９に記憶される。モニター３１は、運転席から見易い位置（例えば、ダッシュボードの中央）に配置されており、カーナビゲーション装置のディスプレイを兼用させることもできる。
【００５７】
次に、本実施の形態の車両周辺監視システム１が実行する制御処理の内容を説明する。ここでは、後方カメラ１３によって撮影される車両後方の画像について、本発明の第１，第２の目的を達成するためにどの様な処理が実行され、モニター３１にどの様な画像が表示されるかを説明する。
【００５８】
後方カメラ１３で撮影した画像は、鳥瞰変換回路１７において画像処理されて上空から見た鳥瞰画像に変換される。
【００５９】
鳥瞰変換は、次の様にして実行される。なお、前提条件として、後方カメラ１３はオートフォーカス機能を有する。従って、後方カメラ１３で撮影した画像は、その画像中心に焦点距離が合致したものとなっている。この焦点距離は、オートフォーカス機能に基づいてレンズを原点位置からどれだけ移動させたかという情報に基づいて、距離を表す数値情報として取得することができる。また、後方カメラ１３は、その取り付け高さ及び取り付け角度が予め分かっている。さらに、本実施の形態では、地面は平面であることを計算上の前提条件としている。これらの情報及び条件により、後方カメラ１３で撮影した画像を画素単位に分解したときの車両後端を基準線とする各画素までの距離及び幅方向位置を算出することができる。こうして各画素の鳥瞰変換後の位置座標が算出できたら、この位置座標に従って、各画素を配置し直す。これにより、後方カメラ１３で撮影した画像を、上空から見た平面画像に鳥瞰変換することができる。
【００６０】
ここで、この鳥瞰変換を実行することで、画像的には、画素と画素の間に隙間ができたり、重なったりする場合が想定されるが、バックで車庫入れするときなどにあっては、モニター３１に表示される画像が多少間引きされた様な画像であったとして、鳥瞰変換された画像となっている方が、後方カメラ１３で撮影した生の画像を見ながら車庫入れを実行する場合よりも、操作性がよく、本発明の目的を達成する上では、何ら問題はない。
【００６１】
なお、鳥瞰変換についてより詳しい計算式などを知りたければ、特開平１０−２１１８４９号公報に詳しく説明されているのでこれを参照されたい。
【００６２】
こうして得られた鳥瞰画像は、後方カメラ１３で撮影した生の画像と共に一時記憶メモリ２３に記憶される。一方、ＣＰＵ２５は、ハンドル角信号入力回路４１から入力されるハンドル角信号、車速信号入力回路４３から入力される車速信号、ヨーレイト信号入力回路４５から入力されるヨーレイト信号、及び超音波センサ信号入力回路４７から入力される超音波センサ信号に基づいて、車両の動き（車両の回転中心位置及び回転角）を算出する。
【００６３】
そして、ＣＰＵ２５は、この車両の動きに基づいて、履歴画像記憶メモリ２７から前回の演算タイミングにおいて後方カメラ１３で撮影した画像から得られた鳥瞰画像を読み出して回転・移動させ、その結果に対して、今回の演算タイミングにおいて一時記憶メモリ２３に記憶された最新の鳥瞰画像をオーバーレイして合成画像を得た後、この合成画像を履歴画像記憶メモリ２７に記憶する。なお、車両が後方へ移動することにより、履歴画像記憶メモリ２７から読み出されて回転・移動をされた画像に最新の鳥瞰画像をオーバーレイすることで、後方カメラ１３が現在撮影している範囲よりも広い範囲の画像を形成することができ、後方カメラ１３では撮影することができない車両の側方の画像をも情報として提供可能になる。
【００６４】
この状態を図で説明する。図３に示す様に、カーブしている部分を車両がバックでゆっくりと後退している状態であるとする。すると、従来の技術では、図４（Ａ），（Ｂ）の様に、車両の現在位置から後方カメラ１３で撮影した範囲の鳥瞰画像だけしか表示されない。これに対し、本実施の形態によれば、過去の鳥瞰画像を車両の動きに合わせて回転・移動させたものに、演算時点での現在の鳥瞰画像をオーバーレイして合成鳥瞰画像としたものをモニター３１に表示するので、図３で示した様な走行をしている車両においては、ちょうどカーブの部分を通過しようとしているときは、図４（Ｃ）の様に、後方カメラ１３の死角の部分についても画像表示することができる。
【００６５】
ＣＰＵ２５はまた、この合成画像を表示用画像メモリ２９にも記憶する。すると、モニター３１は、この表示用画像メモリ２９内に記憶されている合成画像を読み出し、これを表示する。
【００６６】
この結果、モニター３１には、現在後方カメラ１３で撮影している範囲に加えて、モニター３１に表示し得る限り、過去の情報をも表示することができる。しかも、この過去の情報に関しては、車両の動きに合わせて回転・移動が施されているので、モニター３１には、まさに、上空から車両の付近を見た状態の画像が、後方カメラ１３の死角の部分も含めて表示されることになる（図４（Ｃ）参照）。
【００６７】
次に、履歴画像を回転・移動させる画像処理のより具体的な内容について説明する。
【００６８】
ＣＰＵ２５は、ハンドル角信号入力回路４１から入力されるハンドル角センサ信号より、自車両の回転半径を算出する。ハンドル角θｈと回転半径ＸＣ（ｍ）は、変換係数Ｋを用いて（式１）より算出することができる。
【００６９】
【式１】
ＸＣ（ｍ）＝Ｌ（ｍ）／ｔａｎ（Ｋ・θｈ）−Ｗ（ｍ）／２
ただし、Ｌ（ｍ）はホイールベース、Ｗ（ｍ）は車幅。
【００７０】
車両の回転角θＣとしては、ヨーレイト信号入力回路４５を介して入力されるヨーレイトセンサ信号を利用することができる。また、車両の回転中心は、後輪車軸上（カメラからの距離ＹＣ（ｍ）上）にあるとすることができる（図５参照）。
【００７１】
次に、回転中心位置、回転角及び直線移動量を用いて、履歴画像記憶メモリ２７内の後方画像記憶領域に記憶されている後方鳥瞰画像を回転・移動させる。
【００７２】
回転変換は、次式の様な基本的な数学式に基づいて行われる。
【００７３】
【式２】
ＸＡ＝ＸＢ・ｃｏｓθＣ＋ＹＢ・ｓｉｎθＣ
ＹＡ＝ＹＢ・ｃｏｓθＣ−ＸＢ・ｓｉｎθＣ
ただし、（ＸＡ，ＹＡ）：移動前の座標、（ＸＢ，ＹＢ）：移動後の座標。
【００７４】
この式２の関係から、得られる移動後の座標に基づいて、履歴画像記憶メモリ２７内の後方画像記憶領域に記憶されている後方鳥瞰画像を回転・移動させる。なお、車両が旋回していない場合には、下記の式３によって移動後の座標を算出することができる。
【００７５】
【式３】
ＸＡ＝ＸＢ
ＹＡ＝ＹＢ＋Ｖ
ただし、Ｖは直線移動量。
【００７６】
この式３による変換を実行するのは、回転半径ＸＣ＜３０、またはヨーレイトセンサ信号が０のときとしている。なお、直線移動量Ｖは、車速信号と演算インターバルと、車両が前進なのか後進なのかといった移動方向とから算出することができる。車両の移動方向は、シフトレンジが前進なのか後進なのかを判別すればよい。なお、車速信号入力回路４３からの車速信号が極低速（例えば、５ｋｍ／ｈ以下）である場合、通常使用されている車速センサでは、その信頼性が劣るとされている。そこで、本実施の形態では、直線移動量Ｖを、次の様にして画像処理で算出している。
【００７７】
前回の演算時刻Ｔにおける鳥瞰画像中で、最も輝度が高い画素（最高輝度ピクセル）を抽出する。一例として、図６に示す様に、最高輝度ピクセルが画像の中央で抽出されたとする。なお、最高輝度ピクセルは、ピクセル毎の輝度を算出して差分をとることによって容易に抽出することができる。次に、今回の演算時刻Ｔ＋１における鳥瞰画像からも最高輝度ピクセルを抽出する。この時刻Ｔから時刻Ｔ＋１までの間に、車両が直線的に移動することにより、図６に示す様に、画像中の最高輝度ピクセルの画像の後端側エッジからの距離が変化する。この距離の差△Ｙ＝直線移動量Ｖとなる。なお、Ｖの符号は、この場合、（−）となる。また、最高輝度ピクセルは、図７に示す様に、鳥瞰画像内を所定の大きさのいくつかのエリアに分割し、各エリア毎に抽出する様にしておき、これら複数個の最高輝度ピクセル同士の時刻Ｔにおける位置関係と、時刻Ｔ＋１における位置関係とを比較することによって直線移動量Ｖを算出する様にしておくと、算出結果に対する信頼性が高まる。本実施の形態によれば、こうして直線移動量Ｖが画像データから算出できる結果、極低速における車速を容易に算出することができる。
【００７８】
また、この他の方法としては、図８に示す様に、時刻Ｔにおける鳥瞰画像内の各ピクセルの明るさの程度を数値として抽出し、それぞれを各ピクセルの属性としてＣＰＵ２５の内部メモリに記憶する。同様に、時刻Ｔ＋１における鳥瞰画像内の各ピクセルの明るさの程度を数値として抽出し、それぞれを各ピクセルの属性としてＣＰＵ２５の内部メモリに記憶する。そして、明るさの一致するピクセル同士の位置関係を算出することにより、時刻Ｔから時刻Ｔ＋１までの間の車両の直線移動量Ｖを算出することもできる。図示の例では、時刻Ｔにおける鳥瞰画像中の後端側エッジ部分の３列分のピクセルの明るさと、時刻Ｔ＋１における鳥瞰画像中の後端側エッジから距離△Ｙだけ離れた位置から３列分のピクセルの明るさとが一致している。従って、この場合は、距離△Ｙが直線移動量Ｖとして算出される。なお、Ｖの符号は、この場合、（−）となる。
【００７９】
後進中であることが分かっていれば、時刻Ｔにおける鳥瞰画像中の後端側エッジ部分の所定の大きさの画像領域内にあるピクセルの明るさや色彩といった画像的な特徴情報を数値データとして抽出し、時刻Ｔ＋１における鳥瞰画像について、その後端側エッジから直線的に微小距離△ｙだけ離れた位置を後端として所定の大きさの画像領域内にあるピクセルの明るさや色彩といった画像的な特徴情報を抽出し、両者の一致度を判定し、両者が一致していなければ、時刻Ｔ＋１における鳥瞰画像について、その後端側エッジから２△ｙだけ離れた位置を後端とする所定の大きさの画像領域内にあるピクセルから同様の画像的な特徴情報を抽出し、これを時刻Ｔの鳥瞰画像から抽出した特徴情報との一致度を判定し、両者の一致度が所定条件を満たすまで、以下、ｎを３，４，・・・と変化させて同様の演算処理を実行し、所定の一致度が得られたときのｎ△ｙを直線移動量Ｖとするといった演算処理を実行することもできる。なお、この場合は、時刻Ｔ＋２においては、時刻Ｔ＋１において算出した直線移動量Ｖ＝ｎ△ｙとほぼ同じ量の移動になっているとの推定を行い、演算開始条件を選定する様にして演算時間を短縮する様にしておくとなお望ましい。
【００８０】
次に、本実施の形態においてＣＰＵ２５が実行するメインの制御処理について図９，図１０のフローチャートに基づいて説明する。なお、この制御処理では、鳥瞰変換回路１５，１７において実行するとして説明してきた鳥瞰変換は、ＣＰＵ２５がソフトウェア的に実行するものとしている。
【００８１】
本処理においては、車速信号入力回路４３から車速センサで検出した車速信号を入力し（Ｓ１０）、この値が１０ｋｍ／ｈ以下か否かを判定する（Ｓ２０）。車速が１０Ｋｍ／ｈ以下になるまでは、Ｓ１０，Ｓ２０の処理が繰り返し実行される。一方、車速が１０Ｋｍ／ｈ以下になると、続いて、シフトレンジがＲレンジか否かを判定する（Ｓ３０）。このシフトレンジがＲレンジか否かについては、シフトポジションスイッチからの入力信号を利用すれば容易に判定できる。
【００８２】
シフトレンジがＲレンジであると判定された場合は（Ｓ３０：ＹＥＳ）、さらに、ＤレンジからＲレンジに切り替わった直後であるか否かを判定する（Ｓ４０）。ＤレンジからＲレンジに切り替わった直後であれば（Ｓ４０：ＹＥＳ）、履歴画像記憶メモリ２７をリセットする（Ｓ５０）。また、シフトレンジがＲレンジではないと判断された場合は（Ｓ３０：ＮＯ）、さらに、ＲレンジからＤレンジに切り替わった直後であるか否かを判定する（Ｓ４５）。ＲレンジからＤレンジに切り替わった直後であれば（Ｓ４５：ＹＥＳ）、履歴画像記憶メモリ２７をリセットする（Ｓ５５）。
【００８３】
次に、後方カメラ１３を作動させ（Ｓ６０）、この後方カメラ１３で撮影した画像を入力する（Ｓ７０）。続いて、ハンドル角信号入力回路４１を介して、ハンドル角センサの検出したハンドル角信号を入力する（Ｓ８０）。また、ヨーレイト信号入力回路４５を介して、ヨーレイトセンサの検出したヨーレイト信号を入力する（Ｓ９０）。さらに、超音波センサ信号入力回路４７を介して、超音波センサ信号を入力する（Ｓ１００）。なお、この超音波センサ信号は、超音波を利用したバックソナーを有する車両では、このバックソナーによる検出データを用いることができる。
【００８４】
こうして必要な情報を入力し終えたら、次に、Ｓ７０で入力した画像を、既に述べた様な変換方法を用いて、鳥瞰画像に変換する（Ｓ１１０）。そして、この結果を、一時記憶メモリ２３に記憶する（Ｓ１２０）。
【００８５】
そして、今回の処理が初回の処理か否かを判定する（Ｓ１３０）。この判定は、フラグ等を用いることによって容易に実現することができる。具体的には、車速が１０Ｋｍ／ｈ以下ではないときには初回判定フラグを０にリセットしてＳ１０へ戻る用にしておき、初回判定フラグが０のときは初回であると判定する様にしておけばよい。そして、Ｓ１３０でＹＥＳと判定されたときは、この初回判定フラグを１にセットし、以下、車速が１０Ｋｍ／ｈ以下ではなくなるまでこの初回判定フラグをリセットしない様にしておけばよい。
【００８６】
初回の処理であると判定された場合は（Ｓ１３０：ＹＥＳ）、履歴画像記憶メモリ２７をリセットし（Ｓ１４０）、一時記憶メモリ２３に記憶されている鳥瞰画像を履歴画像記憶メモリ２７に転送する（Ｓ１５０）。そして、再びＳ１０に戻る。
【００８７】
一方、初回ではないと判定された場合は（Ｓ１３０：ＮＯ）、ハンドル角が０°か否かを判定する（Ｓ１６０）。ハンドル角が０°ではないと判定された場合は（Ｓ１６０：ＹＥＳ）、ハンドル角及びヨーレイトから、既に述べた様な演算式等を用いて車両の回転中心と回転角とを算出する（Ｓ１７０）。そして、この算出結果に基づいて、履歴画像記憶メモリ２７に記憶されている鳥瞰画像を回転移動させる（Ｓ１８０）。次に、この回転移動の結果に、一時記憶メモリ２３に記憶されている最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる様にオーバーレイして合成鳥瞰画像を作成する（Ｓ１９０）。そして、この合成鳥瞰画像を履歴画像記憶メモリ２７に上書きして記憶し直す（Ｓ２００）。
【００８８】
次に、モニター３１による表示エリア内の過去画像表示部に該当する部分がカラーフィルタをかけた状態となる様に、Ｓ１９０で作成した合成鳥瞰画像を画像処理する（Ｓ２１０）。そして、この結果を表示用画像記憶メモリ２９に転送する（Ｓ２２０）。最後に、この表示用画像記憶メモリ２９から読み出したフィルタ処理後の合成鳥瞰画像に対して、さらに、車両表示用画像を最前面にオーバーレイした上でモニター３１に表示する（Ｓ２３０）。なお、車両表示用画像は、本システムが搭載された車両を上空から見た状態の鳥瞰画像となっており、予め、ＥＥＰＲＯＭなどに記憶してある。
【００８９】
次に、ハンドル角が０°ではない場合の処理について説明する。ハンドル角が０°でない場合には（Ｓ１６０：ＮＯ）、超音波センサ信号から判明する障害物までの距離（超音波センサ距離）が１．５ｍ以下か否かを判定する（Ｓ２４０）。超音波センサ距離が１．５ｍ以下であると判定された場合は（Ｓ２４０：ＹＥＳ）、超音波センサ距離の変化状態に基づいて相対速度を算出する（Ｓ２５０）。一方、超音波センサ距離が１．５ｍ以下ではないと判定された場合は（Ｓ２４０：ＮＯ）、履歴画像記憶メモリ２７に記憶している過去画像と、一時記憶メモリ２３に記憶している現在画像とを用いて、前述した様な明るさや色彩といった画素の画像的な特徴情報を利用した所定の演算処理によって車両の動きを表す動きベクトルを算出する（Ｓ２６０）。次に、この動きベクトル又は相対速度に基づいて、画像の移動量を決定する（Ｓ２７０）。そして、式３で示した様に画像の平行移動を実行し（Ｓ２８０）、以下、この平行移動の結果に、一時記憶メモリ２３に記憶されている最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる様にオーバーレイして合成鳥瞰画像を作成する（Ｓ２９０）。そして、以下、回転移動を行った後と同様の処理を実行して、最終的にモニター３１に合成鳥瞰画像を表示する（Ｓ２００〜Ｓ２３０）。
【００９０】
以上の様な処理を実行した結果として、モニター３１には、図１１に示すような画像が表示される。図示の様に、モニター３１内には、画面の上端中心を車両の先端とする様に、車両図形５０が表示される。また、この車両図形５０の後方及び側方には、合成鳥瞰画像６０が表示される。この合成鳥瞰画像は、さらに、現在、後方カメラ１３で撮影している画像を鳥瞰変換した画像を表示しているリアル画像表示部６１と、このリアル画像表示部６１以外の過去画像表示部６３とになっている。そして、過去画像表示部６３の部分については、例えば、グレーフィルターをかけた状態とし、リアル画像表示部６１には、フルカラー表示による鳥瞰画像が表示されることになる。
【００９１】
この結果、本実施の形態によれば、現在の画像だけでなく、過去の画像を反映した鳥瞰画像が表示され、これにより、ドライバーは、バックで車両を駐車しようとするときの車両と障害物や駐車枠などとの位置関係が非常に分かり易くなり、操作性が大幅に向上する。
【００９２】
また、モニター３１には、現在、実際に後方カメラ１３で撮影している画像と、過去の画像とが容易に区別できる様に、過去画像についてはグレーフィルターがかかった状態で表示されている。従って、ドライバーは、モニター３１に表示された鳥瞰画像の内、他の車両が侵入している様なおそれがある部分がどこの範囲かを理解することができる。この結果、他の車両が侵入しているか否かなどの状況変化の目視確認を怠らない様に、ドライバーの注意を促すことができる。
【００９３】
さらに、車庫入れ等においては、単純にバックするだけでなく、切り返し操作の様に、前進と後進とを繰り返す場合があるが、本実施の形態によれば、シフトレンジが切り替わったタイミングで、一旦、履歴画像記憶メモリ２７をリセットするので、ドライバーがシフトレンジをＤレンジからＲレンジに切り替えたときには、それまでに前進していた時の画像履歴が残ってしまうことがなく、誤った情報をドライバーに与えるといった問題を解決することができる。同様に、切り返しで前進し直す様な場合にも、ＲレンジからＤレンジに切り替わったタイミングで、一旦、履歴画像記憶メモリ２７をリセットするので、ドライバーがシフトレンジをＲレンジからＤレンジに切り替えたときには、それまでに後進していた時の画像履歴が残ってしまうことがなく、こちらも、誤った情報をドライバーに与えるといった問題を解決することができる。
【００９４】
例えば、この様な条件でメモリリセットを実行しない場合には、図１２に楕円で囲んだ部分の様に、後進時に、その前の切り返し操作における前進時の画像が残ってしまって周辺状況を正しく把握できなくなるおそれがある。これに対して、本実施の形態では、上述の様な条件でメモリのリセットを実行するので、図１３に示す様に、後進時には、前進時の画像が残ることがなく、誤った情報をドライバーに伝達することがない。
【００９５】
加えて、本実施の形態によれば、画像処理又は超音波センサ信号に基づいて極低速で移動する車両の速度を算出することができるので、低速域での精度が十分でない車速センサを採用した車両であっても、信頼性の高い車両周辺画像を提供することができる。
【００９６】
次に、本実施の形態の周辺監視システム１において、前進で駐車しようとする場合のオプションの制御処理について説明する。このオプションの制御処理は、モニター３１に供えさせておいたカメラ切換スイッチを操作するといった所定の条件が成立すると実行される様にしておくことができる。
【００９７】
このオプションの制御処理は、図１４，図１５のフローチャートに示す様に構成されており、バックで駐車しようとしている場合と同様に、車速信号入力回路４３から車速センサで検出した車速信号を入力し（Ｓ４１０）、この値が１０ｋｍ／ｈ以下か否かを判定する（Ｓ４２０）。車速が１０Ｋｍ／ｈ以下になるまでは、Ｓ４１０，Ｓ４２０の処理が繰り返し実行される。一方、車速が１０Ｋｍ／ｈ以下になると、続いて、シフトレンジがＤレンジか否かを判定する（Ｓ４３０）。
【００９８】
シフトレンジがＤレンジであると判定された場合は（Ｓ４３０：ＹＥＳ）、さらに、ＲレンジからＤレンジに切り替わった直後であるか否かを判定する（Ｓ４４０）。ＲレンジからＤレンジに切り替わった直後であれば（Ｓ４４０：ＹＥＳ）、履歴画像記憶メモリ２７をリセットする（Ｓ４５０）。また、シフトレンジがＤレンジではないと判断された場合は（Ｓ４３０：ＮＯ）、さらに、ＤレンジからＲレンジに切り替わった直後であるか否かを判定する（Ｓ４４５）。ＤレンジからＲレンジに切り替わった直後であれば（Ｓ４４５：ＹＥＳ）、履歴画像記憶メモリ２７をリセットする（Ｓ４５５）。
【００９９】
次に、前方カメラ１１を作動させ（Ｓ４６０）、この前方カメラ１１で撮影した画像を入力する（Ｓ４７０）。続いて、ハンドル角信号入力回路４１を介して、ハンドル角センサの検出したハンドル角信号を入力する（Ｓ４８０）。また、ヨーレイト信号入力回路４５を介して、ヨーレイトセンサの検出したヨーレイト信号を入力する（Ｓ４９０）。さらに、超音波センサ信号入力回路４７を介して、超音波センサ信号を入力する（Ｓ５００）。なお、この超音波センサ信号は、超音波を利用した車間距離維持や衝突防止のための前方ソナーを有する車両では、この前方ソナーによる検出データを用いることができる。
【０１００】
こうして必要な情報を入力し終えたら、次に、Ｓ４７０で入力した画像を、既に述べた様な変換方法を用いて、鳥瞰画像に変換する（Ｓ５１０）。そして、この結果を、一時記憶メモリ２１に記憶する（Ｓ５２０）。
【０１０１】
そして、今回の処理が初回の処理か否かを判定する（Ｓ５３０）。初回の処理であると判定された場合は（Ｓ５３０：ＹＥＳ）、履歴画像記憶メモリ２７をリセットし（Ｓ５４０）、一時記憶メモリ２１に記憶されている鳥瞰画像を履歴画像記憶メモリ２７に転送する（Ｓ５５０）。そして、再びＳ４１０に戻る。
【０１０２】
一方、初回ではないと判定された場合は（Ｓ５３０：ＮＯ）、ハンドル角が０°か否かを判定する（Ｓ５６０）。ハンドル角が０°ではないと判定された場合は（Ｓ５６０：ＹＥＳ）、ハンドル角及びヨーレイトから、既に述べた様な演算式等を用いて車両の回転中心と回転角とを算出する（Ｓ５７０）。そして、この算出結果に基づいて、履歴画像記憶メモリ２７に記憶されている鳥瞰画像を回転移動させる（Ｓ５８０）。次に、この回転移動の結果に、一時記憶メモリ２１に記憶されている最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる様にオーバーレイして合成鳥瞰画像を作成する（Ｓ５９０）。そして、この合成鳥瞰画像を履歴画像記憶メモリ２７に上書きして記憶し直す（Ｓ６００）。
【０１０３】
次に、モニター３１による表示エリア内の過去画像表示部に該当する部分がカラーフィルタをかけた状態となる様に、Ｓ５９０で作成した合成鳥瞰画像を画像処理する（Ｓ６１０）。そして、この結果を表示用画像記憶メモリ２９に転送する（Ｓ６２０）。最後に、この表示用顔図記憶メモリ２９から読み出したフィルタ処理後の合成鳥瞰画像に対して、さらに、車両表示用画像を最前面にオーバーレイした上でモニター３１に表示する（Ｓ６３０）。
【０１０４】
一方、ハンドル角が０°でない場合には（Ｓ５６０：ＮＯ）、超音波センサ距離が１．５ｍ以下か否かを判定する（Ｓ６４０）。超音波センサ距離が１．５ｍ以下であると判定された場合は（Ｓ６４０：ＹＥＳ）、超音波センサ距離の変化状態に基づいて相対速度を算出する（Ｓ６５０）。一方、超音波センサ距離が１．５ｍ以下ではないと判定された場合は（Ｓ６４０：ＮＯ）、履歴画像記憶メモリ２７に記憶している過去画像と、一時記憶メモリ２１に記憶している現在画像とを用いて、前述した様な明るさや色彩といった画素の画像的な特徴情報を利用した所定の演算処理によって車両の動きを表す動きベクトルを算出する（Ｓ６６０）。次に、この動きベクトル又は相対速度に基づいて、画像の移動量を決定する（Ｓ６７０）。そして、式３で示した様に画像の平行移動を実行し（Ｓ６８０）、以下、この平行移動の結果に、一時記憶メモリ２１に記憶されている最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる様にオーバーレイして合成鳥瞰画像を作成する（Ｓ６９０）。そして、以下、回転移動を行った後と同様の処理を実行して、最終的にモニター３１に合成鳥瞰画像を表示する（Ｓ６００〜Ｓ６３０）。
【０１０５】
以上の様な処理を実行した結果として、モニター３１には、図１６に示すような画像が表示される。図示の様に、モニター３１内には、画面の下端中心を車両の後端中心とする様に、車両図形５０が表示される。また、この車両図形５０の前方及び側方には、合成鳥瞰画像６０が表示される。この合成鳥瞰画像６０は、さらに、現在、後方カメラ１３で撮影している画像を鳥瞰変換した画像を表示しているリアル画像表示部６１と、このリアル画像表示部６１以外の過去画像表示部６３とになっている。そして、過去画像表示部６３の部分については、例えば、グレーフィルターをかけた状態とし、リアル画像表示部６１には、フルカラー表示による鳥瞰画像が表示されることになる。
【０１０６】
この結果、本実施の形態によれば、前進駐車の際にも、バック駐車の場合と同様に、より多くの情報をドライバーに提供することができ、車両を前進で駐車しようとするときの車両と障害物や駐車枠などとの位置関係が非常に分かり易くなり、操作性が大幅に向上する。
【０１０７】
また、バック駐車の場合と同様に、実際に前方カメラ１１で撮影している画像と、過去の画像とが容易に区別でき、ドライバーは、モニター３１に表示された鳥瞰画像の内、他の車両が侵入している様なおそれがある部分がどこの範囲かを理解することができる。この結果、他の車両が侵入しているか否かなどの状況変化の目視確認を怠らない様に、ドライバーの注意を促すことができる。
【０１０８】
さらに、前進駐車においても、ドライバーが切り返し操作した様な場合に、誤った情報をドライバーに与えるといった問題を解決することができる。
【０１０９】
加えて、低速域での精度が十分でない車速センサを採用した車両であっても、信頼性の高い車両周辺画像を提供することができる。
【０１１０】
次に、第２の実施の形態について説明する。この第２の実施の形態の周辺監視システムは、上述した実施の形態のものとハード構成は同じであって、以下に説明する制御処理の内容に特徴を有するものである。
【０１１１】
この第２の実施の形態の制御処理は、図１７，図１８のフローチャートに示す様に構成されており、まず、車速信号入力回路４３から車速センサで検出した車速信号を入力し（Ｓ７１０）、この値が１０ｋｍ／ｈ以下か否かを判定する（Ｓ７２０）。車速が１０Ｋｍ／ｈ以下になるまでは、Ｓ４１０，Ｓ４２０の処理が繰り返し実行される。一方、車速が１０Ｋｍ／ｈ以下になると、続いて、シフトレンジがＲレンジか否かを判定する（Ｓ７３０）。
【０１１２】
シフトレンジがＲレンジであると判定された場合は（Ｓ７３０：ＹＥＳ）、さらに、ＤレンジからＲレンジに切り替わった直後であるか否かを判定する（Ｓ７４０）。ＲレンジからＤレンジに切り替わった直後であれば（Ｓ７４０：ＹＥＳ）、履歴画像記憶メモリ２７をリセットすると共に（Ｓ７５０）、後方カメラ１３を作動させる（Ｓ７６０）。また、シフトレンジがＲレンジではないと判断された場合は（Ｓ７３０：ＮＯ）、さらに、ＲレンジからＤレンジに切り替わった直後であるか否かを判定する（Ｓ７４５）。ＲレンジからＤレンジに切り替わった直後であれば（Ｓ７４５：ＹＥＳ）、履歴画像記憶メモリ２７をリセットすると共に（Ｓ７５５）、前方カメラ１１を作動させる（Ｓ７６５）。
【０１１３】
次に、前方カメラ１１（又は後方カメラ１３）で撮影した画像を入力する（Ｓ７７０）。続いて、ハンドル角信号入力回路４１を介して、ハンドル角センサの検出したハンドル角信号を入力する（Ｓ７８０）。また、ヨーレイト信号入力回路４５を介して、ヨーレイトセンサの検出したヨーレイト信号を入力する（Ｓ７９０）。さらに、超音波センサ信号入力回路４７を介して、超音波センサ信号を入力する（Ｓ８００）。
【０１１４】
こうして必要な情報を入力し終えたら、次に、Ｓ７７０で入力した画像を、既に述べた様な変換方法を用いて、鳥瞰画像に変換する（Ｓ８１０）。そして、この結果を、一時記憶メモリ２１（又は一時記憶メモリ２３）に記憶する（Ｓ８２０）。
【０１１５】
そして、今回の処理が初回の処理か否かを判定する（Ｓ８３０）。初回の処理であると判定された場合は（Ｓ８３０：ＹＥＳ）、履歴画像記憶メモリ２７をリセットし（Ｓ８４０）、一時記憶メモリ２１（又は一時記憶メモリ２３）に記憶されている鳥瞰画像を履歴画像記憶メモリ２７に転送する（Ｓ８５０）。そして、再びＳ７１０に戻る。
【０１１６】
一方、初回ではないと判定された場合は（Ｓ８３０：ＮＯ）、ハンドル角が０°か否かを判定する（Ｓ８６０）。ハンドル角が０°ではないと判定された場合は（Ｓ８６０：ＹＥＳ）、ハンドル角及びヨーレイトから、既に述べた様な演算式等を用いて車両の回転中心と回転角とを算出する（Ｓ８７０）。そして、この算出結果に基づいて、履歴画像記憶メモリ２７に記憶されている鳥瞰画像を回転移動させる（Ｓ８８０）。次に、この回転移動の結果に、一時記憶メモリ２１（又は一時記憶メモリ２３）に記憶されている最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる様にオーバーレイして合成鳥瞰画像を作成する（Ｓ８９０）。そして、この合成鳥瞰画像を履歴画像記憶メモリ２７に上書きして記憶し直す（Ｓ９００）。
【０１１７】
次に、モニター３１による表示エリア内の過去画像表示部に該当する部分がカラーフィルタをかけた状態となる様に、Ｓ８９０で作成した合成鳥瞰画像を画像処理する（Ｓ９１０）。そして、この結果を表示用画像記憶メモリ２９に転送する（Ｓ９２０）。最後に、この表示用顔図記憶メモリ２９から読み出したフィルタ処理後の合成鳥瞰画像に対して、さらに、車両表示用画像を最前面にオーバーレイした上でモニター３１に表示する（Ｓ９３０）。
【０１１８】
一方、ハンドル角が０°でない場合には（Ｓ８６０：ＮＯ）、超音波センサ距離が１．５ｍ以下か否かを判定する（Ｓ９４０）。超音波センサ距離が１．５ｍ以下であると判定された場合は（Ｓ９４０：ＹＥＳ）、超音波センサ距離の変化状態に基づいて相対速度を算出する（Ｓ９５０）。一方、超音波センサ距離が１．５ｍ以下ではないと判定された場合は（Ｓ９４０：ＮＯ）、履歴画像記憶メモリ２７に記憶している過去画像と、一時記憶メモリ２１に記憶している現在画像とを用いて、前述した様な明るさや色彩といった画素の画像的な特徴情報を利用した所定の演算処理によって車両の動きを表す動きベクトルを算出する（Ｓ９６０）。次に、この動きベクトル又は相対速度に基づいて、画像の移動量を決定する（Ｓ９７０）。そして、式３で示した様に画像の平行移動を実行し（Ｓ９８０）、以下、この平行移動の結果に、一時記憶メモリ２１に記憶されている最新の鳥瞰画像を、この最新の鳥瞰画像が前面となる様にオーバーレイして合成鳥瞰画像を作成する（Ｓ９９０）。そして、以下、回転移動を行った後と同様の処理を実行して、最終的にモニター３１に合成鳥瞰画像を表示する（Ｓ９００〜Ｓ９３０）。
【０１１９】
以上の様な処理を実行した結果、モニター３１には、シフトレンジがＲレンジのときには図１９（Ａ）に示すような画像が表示される。図示の様に、Ｒレンジとときは、モニター３１内には、画面の上端中心を車両の前端中心とする様に、車両図形５０が表示される。また、この車両図形５０の後方及び側方には、合成鳥瞰画像６０が表示される。この合成鳥瞰画像６０は、さらに、現在、後方カメラ１３で撮影している画像を鳥瞰変換した画像を表示しているリアル画像表示部６１と、このリアル画像表示部６１以外の過去画像表示部６３とになっている。そして、過去画像表示部６３の部分については、例えば、グレーフィルターをかけた状態とし、リアル画像表示部６１には、フルカラー表示による鳥瞰画像が表示されることになる。一方、シフトレンジがＤレンジのときは、図１９（Ｂ）に示す様に、モニター３１内には、画面の下端中心を車両の後端中心とする様に、車両図形５０が表示される。また、この車両図形５０の前方及び側方には、合成鳥瞰画像６０が表示される。この合成鳥瞰画像６０は、さらに、現在、前方カメラ１１で撮影している画像を鳥瞰変換した画像を表示しているリアル画像表示部６１と、このリアル画像表示部６１以外の過去画像表示部６３とになっている。そして、過去画像表示部６３の部分については、例えば、グレーフィルターをかけた状態とし、リアル画像表示部６１には、フルカラー表示による鳥瞰画像が表示されることになる。
【０１２０】
この結果、本実施の形態によれば、駐車の際に、切り返し操作を行って後進から前進に切り替えると、モニター３１には前方カメラ１１により撮影された画像に基づいて作成された合成鳥瞰画像が自車両との位置関係が分かる様に表示される。また、後進の場合は、後方カメラ１３によって撮影された画像から生成された合成鳥瞰画像がモニター３１に表示される。従って、切り返し操作を繰り返しながら駐車しようとする場合に、ドライバーは、モニター３１によって進行方向を中心とした車両の周辺の状況を確認することができる。しかも、このモニター３１には、前進時には前進中の過去の履歴を含めた合成鳥瞰画像が表示され、更新時には後進中の過去の履歴を含めた合成鳥瞰画像が表示されるので、ドライバーは、切り返し操作の、特に最終局面では、モニター３１を見ながら思った位置に正確に車両を駐車することができるという効果が発揮される。
【０１２１】
また、第１の実施の形態のメインの制御処理及びオプションの制御処理の場合と同様に、実際に前方カメラ１１又は後方カメラ１３で撮影している現在の画像と、過去の画像とが容易に区別でき、ドライバーは、モニター３１に表示された鳥瞰画像の内、他の車両が侵入している様なおそれがある部分がどこの範囲かを理解することができる。この結果、他の車両が侵入しているか否かなどの状況変化の目視確認を怠らない様に、ドライバーの注意を促すことができる。
【０１２２】
以上、本発明の実施の形態について説明したが、本発明はこの実施の形態に限られるものではなく、その要旨を逸脱しない範囲内においてさらに種々の形態を採用することができることはもちろんである。
【０１２３】
例えば、図２０に示す様に、単純に境界線８１を重ね書きして表示する様にしてもよい。また、図２１に点線で示した様に、過去画像表示部については、画像の階調を落とす様にしてもよい。さらに、図２２に示す様に、過去画像表示部には、注意マーク８３やコメント８５を重ね書きする様にしてもよい。これらの変形は、前方カメラ１１により撮影した画像についてもいえることである。なお、フィルター処理、境界線表示、階調処理、注意マークの重ね書きは、これらを組み合わせる様にしてもよいし、さらに、モニター３１に過去画像が表示されているときには、音声で、「側方については、目視確認をお願いします。」といったメッセージを一定間隔で流す様にしてもよい。
【０１２４】
また、図２３に示す様に、境界線などを表示することなく、単純に合成鳥瞰画像をモニター表示する様にしたものも、本発明の第１の目的を達成したものであり、かかる簡単な構成とすることもできる。
【図面の簡単な説明】
【図１】 実施の形態としての車両周辺監視システムの構成を示すブロック図である。
【図２】 実施の形態としての車両周辺監視システムのカメラ等の配置例を示すブロック図である。
【図３】 実施の形態におけるモニター表示内容を説明するための前提条件を示す説明図である。
【図４】 図３に示した様な走行状態のときに、実施の形態においてモニター表示する内容を、従来技術による場合と比較して示した説明図である。
【図５】 実施の形態において鳥瞰画像の回転移動を行う場合の回転中心などの決定の仕方を示す説明図である。
【図６】 実施の形態において鳥瞰画像から車両の移動量を算出する方法を示す説明図である。
【図７】 実施の形態において鳥瞰画像から車両の移動量を算出する他の方法を示す説明図である。
【図８】 実施の形態において鳥瞰画像から車両の移動量を算出するさらに他の方法を示す説明図である。
【図９】 実施の形態においてソフトウェア的に実行するメインの制御処理の内容を示すフローチャートである。
【図１０】 実施の形態においてソフトウェア的に実行するメインの制御処理の内容を示すフローチャートである。
【図１１】 実施の形態におけるモニター表示状況を示す説明図である。
【図１２】 実施の形態で解決しようとしている新たな問題を示す説明図である。
【図１３】 実施の形態において、図１２に示した新たな問題を解決した状態においてモニターに表示される鳥瞰画像の様子を示す説明図である。
【図１４】 実施の形態においてソフトウェア的に実行するオプションの制御処理の内容を示すフローチャートである。
【図１５】 実施の形態においてソフトウェア的に実行するオプションの制御処理の内容を示すフローチャートである。
【図１６】 実施の形態におけるモニター表示状況を示す説明図である。
【図１７】 第２の実施の形態においてソフトウェア的に実行するオプションの制御処理の内容を示すフローチャートである。
【図１８】 第２の実施の形態においてソフトウェア的に実行するオプションの制御処理の内容を示すフローチャートである。
【図１９】 第２の実施の形態におけるモニター表示状況を示す説明図である。
【図２０】 本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【図２１】 本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【図２２】 本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【図２３】 本発明の目的を達成する上で実施可能なその他の例でのモニター表示の内容を示す説明図である。
【符号の説明】
１・・・車両周辺監視システム
１１・・・前方カメラ
１３・・・後方カメラ
１５・・・鳥瞰変換回路
１７・・・鳥瞰変換回路
２１・・・一時記憶メモリ
２３・・・一時記憶メモリ
２５・・・ＣＰＵ
２７・・・履歴画像記憶メモリ
２９・・・表示用画像メモリ
３１・・・モニター
４１・・・ハンドル角信号入力回路
４３・・・車速信号入力回路
４５・・・ヨーレイト信号入力回路
４７・・・超音波センサ信号入力回路
４９・・・シフトポジション信号入力回路
５０・・・車両図形
６０・・・合成鳥瞰画像
６１・・・リアル画像表示部
６３・・・過去画像表示部
８１・・・境界線
８３・・・注意マーク
８５・・・コメント

Claims (12)

1. 車両の後部に設置された撮影手段と、
   該撮影手段が撮影した車両後方画像を、鳥瞰画像に変換する鳥瞰変換手段と、
   該鳥瞰変換手段によって変換された鳥瞰画像を表示する表示手段と
   を備える車両周辺監視システムにおいて、
   前記鳥瞰変換手段によって変換された鳥瞰画像を記憶する鳥瞰画像記憶手段と、
   車両の移動状態を取得する車両移動状態取得手段と、
   該車両移動状態取得手段が取得した車両の移動状態に基づいて、前記鳥瞰画像記憶手段に記憶しておいた過去の鳥瞰画像を回転移動又は平行移動する画像回転・移動手段と、
   該画像回転・移動手段によって回転・移動された過去の鳥瞰画像と、前記撮影手段によって撮影されている現在の車両後方画像を前記鳥瞰変換手段によって鳥瞰変換した現在の鳥瞰画像と、を合成して合成鳥瞰画像を生成する合成鳥瞰画像生成手段と、
   該合成鳥瞰画像生成手段が生成した合成鳥瞰画像を、車両の位置との関係が分かる様に車両図形とともに前記表示手段に表示する表示制御手段と
   を備えていることを特徴とする車両周辺監視システム。
2. 車両の前部に設置された撮影手段と、
   該撮影手段が撮影した車両前方画像を、鳥瞰画像に変換する鳥瞰変換手段と、
   該鳥瞰変換手段によって変換された鳥瞰画像を表示する表示手段と、
   前記鳥瞰変換手段によって変換された鳥瞰画像を記憶する鳥瞰画像記憶手段と、
   車両の移動状態を取得する車両移動状態取得手段と、
   該車両移動状態取得手段が取得した車両の移動状態に基づいて、前記鳥瞰画像記憶手段に記憶しておいた過去の鳥瞰画像を回転・移動する画像回転・移動手段と、
   該画像回転・移動手段によって回転・移動された過去の鳥瞰画像と、前記撮影手段によって撮影されている現在の車両後方画像を前記鳥瞰変換手段によって鳥瞰変換した現在の鳥瞰画像と、を合成して合成鳥瞰画像を生成する合成鳥瞰画像生成手段と、
   該合成鳥瞰画像生成手段が生成した合成鳥瞰画像を、車両の位置との関係が分かる様に車両図形とともに前記表示手段に表示する表示制御手段と
   を備えていることを特徴とする車両周辺監視システム。
3. 車両の前部に設置された前方撮影手段と、
   車両の後部に設置された後方撮影手段と、
   シフトレンジを検出するシフトレンジ検出手段と、
   該シフトレンジ検出手段がシフトレンジが後進レンジであることを検出したときは前記後方撮影手段を使用し、前進レンジであることを検出したときは、前記前方撮影手段を使用する様に、撮影方向を切り替える撮影方向切替手段と、
   前記前方撮影手段及び前記後方撮影手段の内、前記撮影方向切替手段によって使用されることとなった方の撮影手段が撮影した画像を、鳥瞰画像に変換する鳥瞰変換手段と、
   該鳥瞰変換手段によって変換された鳥瞰画像を記憶する鳥瞰画像記憶手段と、
   車両の移動状態を取得する車両移動状態取得手段と、
   該車両移動状態取得手段が取得した車両の移動状態に基づいて、前記鳥瞰画像記憶手段に記憶しておいた過去の鳥瞰画像を回転移動又は平行移動する画像回転・移動手段と、
   該画像回転・移動手段によって回転・移動された過去の鳥瞰画像と、前記撮影手段によって撮影されている現在の画像を前記鳥瞰変換手段によって鳥瞰変換した現在の鳥瞰画像と、を合成して合成鳥瞰画像を生成する合成鳥瞰画像生成手段と、
   該合成鳥瞰画像生成手段が生成した合成鳥瞰画像を、車両の位置との関係が分かる様に表示手段に表示する表示制御手段と、
   を備えていることを特徴とする車両周辺監視システム。
4. 請求項１〜請求項３のいずれか記載の車両周辺監視システムにおいて、
   前記鳥瞰画像記憶手段に記憶されている過去の鳥瞰画像を、前記合成鳥瞰画像生成手段が生成した合成鳥瞰画像に基づいて更新する過去画像更新手段を備えていること
   を特徴とする車両周辺監視システム。
5. 請求項１〜請求項４のいずれか記載の車両周辺監視システムにおいて、
   前記合成鳥瞰画像生成手段が生成した合成鳥瞰画像に対して、過去の鳥瞰画像に対応する部分と現在の鳥瞰画像に対応する部分とを区別するための画像処理を施す画像処理手段を備え、
   前記表示制御手段は、該画像処理手段によって画像処理された後の合成鳥瞰画像を前記表示手段に表示する様に構成されていること
   を特徴とする車両周辺監視システム。
6. 請求項１〜請求項５のいずれか記載の車両周辺監視システムにおいて、
   前記表示手段に表示される合成鳥瞰画像中の過去の鳥瞰画像を表示している部分に、ドライバーの注意を促すための所定の情報を表示させるための注意情報表示手段を備えていること
   を特徴とする車両周辺監視システム。
7. 請求項１〜請求項６いずれか記載の車両周辺監視システムにおいて、
   前記表示手段に表示される合成鳥瞰画像中の過去の鳥瞰画像を表示している部分は、目視確認が必要であることをドライバーに通知する通知手段を備えていること
   を特徴とする車両周辺監視システム。
8. 請求項１〜請求項７のいずれか記載の車両周辺監視システムにおいて、
   車両のシフトレンジの切り替わりを検出するシフトレンジ切り替わり検出手段と、
   該シフトレンジ切り替わり検出手段によってシフトレンジが切り替わったことが検出されたときは、前記鳥瞰画像記憶手段に記憶されている過去の鳥瞰画像を消去する過去画像消去手段と
   を備えていることを特徴とする車両周辺監視システム。
9. 請求項１〜請求項８のいずれか記載の車両周辺監視システムにおいて、
   前記車両移動状態取得手段は、ハンドル角とヨーレイトから旋回時の車両の回転移動量を算出する回転移動量算出手段を備えていること
   を特徴とする車両周辺監視システム。
10. 請求項１〜請求項９のいずれか記載の車両周辺監視システムにおいて、
    前記車両移動状態取得手段は、車速又は車速を算出し得る所定の情報から旋回を伴わない場合の車両の直線移動量を算出する直線移動量算出手段を備えていること
    を特徴とする車両周辺監視システム。
11. 請求項１〜請求項１０のいずれか記載の車両周辺監視システムにおいて、
    前記車両移動状態取得手段は、過去の鳥瞰画像と現在の鳥瞰画像とを比較することによって車両の直線移動量を算出する直線移動量算出手段を備えていること
    を特徴とする車両周辺監視システム。
12. 請求項１〜請求項１１のいずれか記載の車両周辺監視システムにおいて、
    前記車両移動状態取得手段は、ソナーによって検出される何らかの目標物と車両との距離の変化に基づいて車両の直線移動量を算出する直線移動量算出手段を備えていること
    を特徴とする車両周辺監視システム。

Images