JP4934308B2

JP4934308B2 - 運転支援システム

Info

Publication number: JP4934308B2
Application number: JP2005301989A
Authority: JP
Inventors: 長輝楊; 仁志本郷
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2005-10-17
Filing date: 2005-10-17
Publication date: 2012-05-16
Anticipated expiration: 2025-10-17
Also published as: EP1775952A2; CN1953553A; EP1775952A3; JP2007109166A; US20070085901A1

Description

この発明は、運転支援システムに関する。

自動車などの運転者にとって、バックするときには、死角が生じるため後方確認が難しくなる。そこで、運転者の死角となりやすい車両の後方を監視する車載カメラを装備し、その撮像画像をカーナビゲーション等の画面に表示するシステムが既に開発されている。

しかしながら、広範囲を映し出すために広角レンズを用いると映像にレンズ歪みが生じる。さらに、カメラから離れるほど通常のレンズより小さく映り、撮像画像からでは車両後方の距離やスペースを把握しにくくなる。

そこで、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換して、地面の上方から眺めたような鳥瞰図画像を生成して、表示するものがある。上方からの鳥瞰図を表示することによって、運転者は車両後方の距離やスペースを把握し易くなる。

また、駐車のための運転支援装置として、複数のカメラから得た映像を幾何変換によって全周鳥瞰図画像に変換して、モニタに表示させる装置が開発されている（特開平１１−７８６９２号公報参照）。この装置では、車両全周のシーンを上空から見た映像として運転者に提示することができるため、車両の周辺を３６０度死角なくカバーできるという長所がある。

しかしながら、鳥瞰図画像では、図１に示すように、高さのある物体２００は、カメラ１と物体２００とを結んだ延長線上へ像が変形するように地面上に投影される。図２に示すように、車両１００の前後左右それぞれにカメラ１Ｆ、１Ｂ、１Ｌ、１Ｒを取り付けた場合において、車両の左後端から左斜め後方に高さのある物体２００が存在すると、左側カメラ１Ｌによる物体投影像は２００Ｌとなり、後方カメラ１Ｂによる物体投影像は２００Ｂとなる。

両物体投影像２００Ｌ、２００Ｂは、左側カメラ１Ｌの撮像画像から得られた鳥瞰図画像と後方カメラ１Ｂの撮像画像から得られた鳥瞰図画像とが重なり合う重なり部に存在するものとする。そして、この重なり部を図３に示すように、車両の左後端から左斜め後方に延びる境界線Ｄによって左側カメラ領域ＳＬと後方カメラ領域ＳＢとに分けると、左側カメラ領域ＳＬに後方カメラ１Ｂによる物体投影像２００Ｂが存在し、後方カメラ領域ＳＢに左側カメラ１Ｌによる物体投影像２００Ｌが存在する。

この重なり部を合成する際に、左側カメラ領域ＳＬに対しては左側カメラ１Ｌの撮像画像から得られた鳥瞰図画像のみを採用し、後方カメラ領域ＳＢに対しては後方カメラ１Ｂの撮像画像から得られた鳥瞰図画像のみを採用するようにすると、合成後に得られる全周鳥瞰図画像において両物体投影像２００Ｌ、２００Ｂが消失してしまうという問題がある。

そこで、この問題を解決するために、上記重なり部を合成する際に、両鳥瞰図画像を平均化することが考えられる。しかしながら、このようにすると、合成後に得られる全周鳥瞰図画像において両物体投影像２００Ｌ、２００Ｂが存在するため物体２００が２重像として現われてしまう。また、両物体投影像２００Ｌ、２００Ｂは背景画像と平均化されるため、物体２００と背景の色によっては物体投影像２００Ｌ、２００Ｂが非常に見にくくなる。

また、後方カメラ１Ｂから得られた鳥瞰図画像とサイドカメラ１Ｌ、１Ｒから得られた鳥瞰図画像とを合成する際に、それらの重なり部においてはサイドカメラ１Ｌ、１Ｒから得られた鳥瞰図画像のみを採用してサイドカメラ優先の合成鳥瞰図画像を生成するとともに、それらの重なり部においては後方カメラ１Ｂから得られた鳥瞰図画像のみを採用して後方カメラ優先の合成鳥瞰図画像を生成し、これら２種類の合成鳥瞰図画像を左右に並べて表示する方法が開発されている（特許第３３７２９４４号公報参照）。

しかしながら、この方法では、運転者は２つの鳥瞰図画像を見比べて車両周辺の状況を把握しなければならず、逆に運転者の負担が増え安全性を損なうことにもなりかねない。
特開平１１−７８６９２号公報特許第３３７２９４４号公報

この発明は、高さのある物体が合成鳥瞰図画像上において消失してしまうという問題を解消でき、しかもその物体を認識しやすくすることができる運転支援システムを提供することを目的とする。

請求項１に記載の発明は、車両に搭載されかつ車両周辺を撮像する複数の撮像装置によって撮像された画像それぞれを鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、生成された合成鳥瞰図画像を表示器に表示させる運転支援システムにおいて、２つの鳥瞰図画像が重なり合う各重なり部を合成する際には、重なり部に対して２つの領域が交互に配置されるような境界線を設定し、重なり部のうち境界線により分けられた一方の領域においては一方の鳥瞰図画像を採用し、境界線により分けられた他方の領域においては他方の鳥瞰図画像を採用することにより、重なり部を合成する手段を備えていることを特徴とする。

請求項２に記載の発明は、車両に搭載されかつ車両周辺を撮像する複数の撮像装置によって撮像された画像それぞれを鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、生成された合成鳥瞰図画像を表示器に表示させる運転支援システムにおいて、２つの鳥瞰図画像が重なり合う各重なり部を合成する際には、重なり部に対して櫛歯状の境界線を設定し、重なり部のうち櫛歯状の境界線により分けられた一方の領域においては一方の鳥瞰図画像を採用し、櫛歯状の境界線により分けられた他方の領域においては他方の鳥瞰図画像を採用することにより、重なり部を合成する手段を備えていることを特徴とする。

請求項３に記載の発明は、車両に搭載されかつ車両周辺を撮像する複数の撮像装置によって撮像された画像それぞれを鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、生成された合成鳥瞰図画像を表示器に表示させる運転支援システムにおいて、各鳥瞰図画像を合成する際に、２つの鳥瞰図画像が重なり合う各重なり部においては、予め設定された一方の鳥瞰図画像のみを採用することにより得られる第１の合成鳥瞰図画像を生成するための第１の合成鳥瞰図画像生成手段、各鳥瞰図画像を合成する際に、２つの鳥瞰図画像が重なり合う各重なり部においては、予め設定された他方の鳥瞰図画像のみを採用することにより得られる第２の合成鳥瞰図画像を生成するための第２の合成鳥瞰図画像生成手段、ならびに第１の合成鳥瞰図画像生成手段と第２の合成鳥瞰図画像生成手段とを交互に切り換えることにより、第１の合成鳥瞰図画像と第２の合成鳥瞰図画像とを交互に切り換えて表示器に表示させる制御手段を備えていることを特徴とする。

この発明の請求項４に記載の発明は、車両に搭載されかつ車両周辺を撮像する複数の撮像装置によって撮像された画像それぞれを鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、生成された合成鳥瞰図画像を表示器に表示させる運転支援システムにおいて、各鳥瞰図画像を合成する際に、２つの鳥瞰図画像が重なり合う各重なり部においては、予め設定された一方の鳥瞰図画像のみを採用することにより得られる第１の合成鳥瞰図画像を生成するための第１の合成鳥瞰図画像生成手段、各鳥瞰図画像を合成する際に、２つの鳥瞰図画像が重なり合う各重なり部においては、予め設定された他方の鳥瞰図画像のみを採用することにより得られる第２の合成鳥瞰図画像を生成するための第２の合成鳥瞰図画像生成手段、２つの鳥瞰図画像が重なり合う各重なり部において、２つの鳥瞰図画像を比較することにより、高さのある物体が存在するか否かを判別する判別手段、判別手段によって少なくとも１つの重なり部において高さのある物体が存在すると判別されている場合には、第１の合成鳥瞰図画像生成手段と第２の合成鳥瞰図画像生成手段とを交互に切り換えることにより、第１の合成鳥瞰図画像と第２の合成鳥瞰図画像とを交互に切り換えて表示器に表示させる第１制御手段、ならびに判別手段によっていずれの重なり部においても、高さのある物体が存在しないと判別されている場合には、第１の合成鳥瞰図画像生成手段および第２の合成鳥瞰図画像生成手段のうち予め設定された一方の合成鳥瞰図画像生成手段により合成鳥瞰図画像を生成させて、表示器に表示させる第２制御手段を備えていることを特徴とする。

請求項５に記載の発明は、車両に搭載されかつ車両周辺を撮像する複数の撮像装置によって撮像された画像それぞれを鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、生成された合成鳥瞰図画像を表示器に表示させる運転支援システムにおいて、２つの鳥瞰図画像が重なり合う各重なり部において、２つの鳥瞰図画像のうち高さのある物体がより大きく現れている方の鳥瞰図画像を優先鳥瞰図画像として決定する優先鳥瞰図画像決定手段、各鳥瞰図画像を合成する際に、２つの鳥瞰図画像が重なり合う各重なり部においては、優先鳥瞰図画像決定手段によって決定された優先鳥瞰図画像のみを採用することにより、合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段、ならびに合成鳥瞰図画像生成手段によって生成された合成鳥瞰図画像を表示器に表示させる手段を備えていることを特徴とする。

請求項６に記載の発明は、請求項５に記載の発明において、優先鳥瞰図画像決定手段は、２つの鳥瞰図画像が重なり合う重なり部において、一方の鳥瞰図画像と他方の鳥瞰図画像との差分をとり、差分量が所定量より大きな領域を差分領域として決定する手段、および上記２つの鳥瞰図画像の差分領域内でのエッジ強度の積算値を算出し、エッジ強度の積算値が大きい方の鳥瞰図画像を優先鳥瞰図画像として決定する手段を備えていることを特徴とする。

請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、２つの鳥瞰図画像が重なり合う各重なり部において、２つの鳥瞰図画像を比較することにより、高さのある物体が存在するか否かを判別する判別手段、および判別手段によって少なくとも１つの重なり部において高さのある物体が存在すると判別されている場合には、合成鳥瞰図画像において上記高さのある物体像を明示するためのマークを表示させる手段を備えていることを特徴とする。

請求項８に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、２つの鳥瞰図画像が重なり合う各重なり部において、２つの鳥瞰図画像を比較することにより、高さのある物体が存在するか否かを判別する判別手段、および判別手段によって少なくとも１つの重なり部において高さのある物体が存在すると判別されている場合には、警告音を発生する手段を備えていることを特徴とする。

この発明によれば、高さのある物体が合成鳥瞰図画像上において消失してしまうという問題を解消でき、しかもその物体を認識しやすくすることができるようになる。

以下、図面を参照して、この発明の実施例について説明する。

〔１〕鳥瞰図画像の生成方法についての説明
まず、１台のカメラによって撮像された撮像画像から鳥瞰図画像を生成する方法について説明する。

図４に示すように、車両１００の後部に後方斜め下向きにカメラ１が配置されているものとする。水平面とカメラ１の光軸とのなす角は、図４にαで表される角度と、βで表される角度との２種類がある。αは、一般的には、見下ろし角または俯角αと呼ばれている。この明細書では、角度βを水平面に対するカメラ１の傾き角度θということにする。

図５は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系Ｘ_buＹ_buと、２次元地面座標系Ｘ_wＺ_wを含む世界座標系Ｘ_wＹ_wＺ_wとの関係を示している。

カメラ座標系ＸＹＺでは、カメラの光学中心を原点Ｏとして、光軸方向にＺ軸が、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系Ｘ_buＹ_buでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸ_bu軸が、撮像面Ｓの縦方向にＹ_buが取られている。

世界座標系Ｘ_wＹ_wＺ_wでは、カメラ座標系ＸＹＺの原点Ｏを通る垂線と地面との交点を原点Ｏ_wとし、地面と垂直な方向にＹ_w軸が、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸ_w軸が、Ｘ_w軸およびＹ_w軸に直交する方向にＺ_w軸がとられている。

世界座標系Ｘ_wＹ_wＺ_wとカメラ座標系ＸＹＺとの間の平行移動量は〔０，ｈ，０〕であり、Ｘ軸周りの回転量はθである。

したがって、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘ_wＹ_wＺ_wの座標（ｘ_w，ｙ_w，ｚ_w）との間の変換式は、次式（１）で表される。

また、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、カメラ１の焦点距離をｆとすると、次式（２）で表される。

上記式（１）、（２）から、撮像面Ｓの座標系Ｘ_buＹ_buの座標（ｘ_bu，ｙ_bu）と二次元地面座標系Ｘ_wＺ_wの座標（ｘ_w，ｚ_w）との間の変換式（３）が得られる。

また、二次元地面座標系Ｘ_wＺ_wから仮想カメラの鳥瞰図座標系Ｘ_auＹ_auへの投影は、平行投影によって行われる。カメラ１の焦点距離をｆとし、仮想カメラの高さ位置をＨとすると、二次元地面座標系Ｘ_wＺ_wの座標（ｘ_w，ｚ_w）と鳥瞰図座標系Ｘ_auＹ_auの座標（ｘ_au，ｙ_au）との間の変換式は、次式（４）で表される。仮想カメラの高さ位置Ｈは予め設定されている。

上記式（４）から、次式（５）が得られる。

得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。

上記式（６）から、入力画像Ｉの座標（ｘ_bu，ｙ_bu）を、鳥瞰図座標系Ｘ_auＹ_auの座標（ｘ_au，ｙ_au）に変換するための式（７）が得られる。

上記式（７）を用いて、入力画像Ｉを鳥瞰図画像に変換する。
〔２〕全周鳥瞰図画像の生成方法の基本的な考え方についての説明

図６、図７は、車両に設けられたカメラを示している。

車両の前部、後部、左側部および右側部それぞれに、カメラ（撮像装置）１Ｆ、１Ｂ、１Ｌ、１Ｒが設けられている。カメラ１Ｆは前方斜め下向きに配置され、カメラ１Ｂは後方斜め下向きに配置され、カメラ１Ｌは左方向斜め下向きに配置され、カメラ１Ｆは右方向斜め下向きに配置されている。

図８に示すように、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒで撮像された画像から鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒを生成する。次に、図９に示すように、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎に生成された鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒを、後方カメラ１Ｂに対する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ、１０Ｒを回転と平行移動により、後方カメラ１Ｂの鳥瞰図画像座標に変換する。この場合、図９に示すように、２つの鳥瞰図画像が重なる部分が生ずる。この重なり部において、両鳥瞰図画像をどのように合成するかが本実施例１の特徴である。

鳥瞰図画像１０Ｆと鳥瞰図画像１０Ｌとの重なり部２０_FLにおいて、左上頂点と右下頂点とを結ぶ線を一般的境界線Ｄ_FLとする。鳥瞰図画像１０Ｆと鳥瞰図画像１０Ｒとの重なり部２０_FRにおいて、右上頂点と左下頂点とを結ぶ線を一般的境界線Ｄ_FRとする。鳥瞰図画像１０Ｂと鳥瞰図画像１０Ｌとの重なり部２０_BLにおいて、右上頂点と左下頂点とを結ぶ線を一般的境界線Ｄ_BLとする。鳥瞰図画像１０Ｂと鳥瞰図画像１０Ｒとの重なり部２０_BRにおいて、左上頂点と右下頂点とを結ぶ線を一般的境界線Ｄ_BRとする。なお、実際には、重なり部は矩形とはならないので、通常は、重なり部を２分するような適当な境界線が一般的境界線とされている。

従来においては、２つの鳥瞰図画像が重なる重なり部においては、一般的境界線によって分けられた一方の領域においては一方の鳥瞰図画像を採用し、他方の領域においては他方の鳥瞰図画像を採用している。具体的には、例えば、鳥瞰図画像１０Ｂと鳥瞰図画像１０Ｌとの重なり部２０_BLにおいては、一般的境界線Ｄ_BLの上側の領域においては鳥瞰図画像１０Ｌを採用し、一般的境界線Ｄ_BLの下側の領域においては鳥瞰図画像１０Ｂを採用している。このため、高さのある物体が合成鳥瞰図画像上において消失してしまうという問題があった。

本実施例１では、各重なり部において、一般的境界線によって分けられた２つの領域それぞれにおいて、２つの異なる領域がスリット状に交互に現れるような櫛歯状の境界線を設ける。そして、櫛歯状の境界線によって分けられた一方の領域においては一方の鳥瞰図画像を採用し、他方の領域においては他方の鳥瞰図画像を採用している。

例えば図１０に示すように、鳥瞰図画像１０Ｂと鳥瞰図画像１０Ｌとの重なり部２０_BLにおいて、櫛歯が一般的境界線Ｄ_BLの方向に並んでおりかつ櫛歯がモニタ画面の垂直方向に平行となるような櫛歯状の境界線Ｄ’_BLを用いる。そして、当該重なり部２０_BL内の櫛歯状の境界線Ｄ’_BLの上側の領域ＳＬにおいては鳥瞰図画像１０Ｌを採用し、櫛歯状の境界線Ｄ’_BLの下側の領域ＳＢにおいては鳥瞰図画像１０Ｂを採用する。

このような合成方法を用いると、例えば、図２に示すように、車両の左後端から左斜め後方に高さのある物体２００が存在した場合、その物体２００は合成後の全周鳥瞰図画像上では図１１に示すように現れる。図１１において、Ｄ’_BLは櫛歯状の境界線を示し、２００Ｌは左側カメラ１Ｌの撮像画像から得られた物体２００の鳥瞰図画像を示し、２００Ｂは後方カメラ１Ｂの撮像画像から得られた物体２００の鳥瞰図画像を示している。図１１から分かるように、高さのある物体２００の投影像は消失せず、しかも物体像は背景と平均化されていないため、物体２００を明確に認識することできる。また、左側カメラ１Ｌの撮像画像から得られた物体像と後方カメラ１Ｂの撮像画像から得られた物体像とが交互に現れるため、これら２つの物体像が１つの物体像として認識されやすくなる。

なお、櫛歯状の境界線としては、図１２に示すように、櫛歯が一般的境界線の方向に並んでおりかつ櫛歯がモニタ画面の水平方向に平行となるような櫛歯状の境界線を用いてもよい。また、一般的境界線に対して櫛歯が直交するような櫛歯状の境界線を用いてもよい。さらに、一般的境界線に対して櫛歯が平行となるような櫛歯状の境界線を用いてもよい。

なお、櫛歯状の境界線における櫛歯の長さと間隔は、モニタの解像度や、二重像が映りにくくなるように調整することが好ましい。

〔３〕全周鳥瞰図画像の生成方法の具体的に手法についての説明

ところで、上記式（７）から、入力画像Ｉ（カメラの撮像画像に対してレンズ歪み補正が行なわれた画像）の各画素の座標に対応する鳥瞰図画像上の座標を予め求めることができる。

また、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒに対応する鳥瞰図画像上の座標の、全周鳥瞰図画像上の座標への変換は、所定の回転と所定の平行移動とによって行なわれる。つまり、各カメラの撮像画像の歪み補正後の入力画像Ｉを鳥瞰図画像に変換し、得られた鳥瞰図画像を全周鳥瞰図画像に変換するための変換パラメータは全て固定値となる。そこで、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒから得られた入力画像Ｉ（（レンズ歪み補正によって得られた画像）の各画素の座標に対応する全周鳥瞰図画像上の座標を予め求めることができる。

また、全周鳥瞰図画像において、２つの鳥瞰図画像が重なる領域および各重なり部において上述した櫛歯状の境界線によって分けられる領域も予め分かっているので、全周鳥瞰図画像上の各重なり部内の各座標において、２つの鳥瞰図画像のうち、いずれを採用するかも予め求めることができる。

そこで、この実施例では、全周鳥瞰図画像上の各座標毎に、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒから得られた入力画像Ｉ（レンズ歪み補正によって得られた画像）における各画素の画像のうち、どの画素の画像を割り当てるかを示す座標逆変換テーブルが予め用意されている。座標逆変換テーブルには、全周鳥瞰図画像上の各座標毎に、その座標に嵌め込むべき画像を指定するためのデータが記憶されている。全周鳥瞰図画像上の各座標に割り当てるべき画像を指定するためのデータは、カメラを指定するためのデータと、そのカメラから得られた入力画像Ｉ（レンズ歪み補正によって得られた画像）の画素位置を指定するためのデータ（座標データ）とから構成される。入力画像Ｉとして、レンズ歪みを考慮することで、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒによって撮像された画像をそのまま用いてもよい。

〔４〕運転支援システム構成の説明
図１３は、自動車に設けられた運転支援システムの電気的構成を示している。
運転支援システムは、４台のカメラ１Ｌ、１Ｒ、１Ｆ、１Ｂと、カメラ１Ｌ、１Ｒ、１Ｆ、１Ｂによって撮像された画像から全周鳥瞰図画像を生成するための画像処理ユニット２と、画像処理ユニット２によって生成された全周鳥瞰図画像を表示するモニタ（表示器）３とを備えている。画像処理ユニット２は、上述した座標逆変換テーブルを記憶したメモリを備えている。

カメラ１Ｌ、１Ｒ、１Ｆ、１Ｂとしては、例えばＣＣＤカメラが用いられる。画像処理ユニット２は、例えば、マイクロコンピュータから構成されている。モニタ３としては、例えば、ナビゲーションシステムのモニタが用いられる。

画像処理ユニット２は、カメラ１Ｌ、１Ｒ、１Ｆ、１Ｂによって撮像された画像と座標逆変換テーブルとを用いて、全周鳥瞰図画像を生成する。画像処理ユニット２によって生成された全周鳥瞰図画像は、モニタ３に表示される。

図１４は、画像処理ユニット２による処理手順を示している。

まず、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像を読み込む（ステップＳ１）。次に読み込んだ各撮像画像に対してレンズ歪み補正を行う（ステップＳ２）。以下、レンズ歪み補正によって得られた画像を入力画像Ｉと呼ぶことにする。

次に、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像から得られた入力画像Ｉと、座標逆変換テーブルとを用いて、全周鳥瞰図画像を生成する（ステップＳ３）。得られた全周鳥瞰図画像をモニタ３に表示させる（ステップＳ４）。そして、ステップＳ１に戻る。

実施例２においても、運転支援システムの電気的構成は実施例１と同じである。実施例２と実施例１とでは、画像処理ユニット２の処理内容が異なっている。

実施例２では、サイドカメラ優先の全周鳥瞰図画像と、前後カメラ優先の全周鳥瞰図画像とが交互にモニタに表示される。サイドカメラ優先の全周鳥瞰図画像とは、図９に示す全周鳥瞰図座標系において、２つの鳥瞰図画像が重なり合う各重なり部では、左右カメラの撮像画像から得られた鳥瞰図画像のみを採用することにより得られた全周鳥瞰図画像をいう。具体的には、図９の重なり部２０_FLおよび２０_BLにおいては左側カメラ１Ｌから得られた鳥瞰図画像１０Ｌのみを採用し、図９の重なり部２０_FRおよび２０_BRにおいては右側カメラ１Ｒから得られた鳥瞰図画像１０Ｒのみを採用することにより得られた全周鳥瞰図画像をいう。

前後カメラ優先の全周鳥瞰図画像とは、図９に示す全周鳥瞰図座標系において、２つの鳥瞰図画像が重なり合う各重なり部では、前後カメラの撮像画像によって得られた鳥瞰図画像のみを採用することにより得られた全周鳥瞰図画像をいう。具体的には、図９の重なり部２０_FLおよび２０_FRにおいては前方カメラ１Ｆから得られた鳥瞰図画像１０Ｆのみを採用し、図９の重なり部２０_BLおよび２０_BRにおいては後方カメラ１Ｂから得られた鳥瞰図画像１０Ｂのみを採用することにより得られた全周鳥瞰図画像をいう。

画像処理ユニット２は、座標逆変換テーブルとして、サイドカメラ優先の全周鳥瞰図画像を生成するための第１の座標逆変換テーブルと、前後カメラ優先の全周鳥瞰図画像を生成するための第２の座標逆変換テーブルとを備えている。

図１５は、画像処理ユニット２による処理手順を示している。

まず、フラグＦをリセット（Ｆ＝０）する（ステップＳ１１）。各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像を読み込む（ステップＳ１２）。次に読み込んだ各撮像画像に対してレンズ歪み補正を行う（ステップＳ１３）。以下、レンズ歪み補正によって得られた画像を入力画像Ｉと呼ぶことにする。

次に、フラグＦがセットされているか否かを判別する（ステップＳ１４）。フラグＦがリセットされている場合（Ｆ＝０）には、フラグＦをセット（Ｆ＝１）した後（ステップ１５）、入力画像Ｉと第１の座標逆変換テーブルとを用いて、サイドカメラ優先の全周鳥瞰図画像を生成する（ステップＳ１６）。得られたサイドカメラ優先の全周鳥瞰図画像をモニタ３に表示させる（ステップＳ１７）。そして、ステップＳ１２に戻る。

上記ステップＳ１４において、フラグＦがセットされている場合（Ｆ＝１）には、フラグＦをリセット（Ｆ＝０）した後（ステップ１８）、入力画像Ｉと第２の座標逆変換テーブルとを用いて、前後カメラ優先の全周鳥瞰図画像を生成する（ステップＳ１９）。得られた前後カメラ優先の全周鳥瞰図画像をモニタ３に表示させる（ステップＳ２０）。そして、ステップＳ１２に戻る。

上記実施例２では、サイドカメラ優先の全周鳥瞰図画像と、前後カメラ優先の全周鳥瞰図画像とが交互にモニタに表示されるので、例えば、図２に示すように、車両の左後端から左斜め後方に高さのある物体２００が存在した場合に、この高さのある物体２００の投影像は消失せずに表示される。また、この高さのある物体２００の投影像は、サイドカメラ優先の合成鳥瞰図画像と前後カメラ優先の合成鳥瞰図画像とではその向きが異なるため、それらの画像が切り換わるタイミングで物体２００の投影像が動いているように見える。このため、運転者は、その物体２００を認識しやすくなる。
図１５では、撮像画像の取込み間隔が比較的長い場合を想定しているが、撮像画像の取込み間隔が例えば１フレーム毎のように短い場合には、数フレーム毎に（例えば、１５フレーム毎に）、サイドカメラ優先の全周鳥瞰図画像と前後カメラ優先の全周鳥瞰図画像とを切り替えて表示するようにしてもよい。

座標逆変換テーブルとして、サイドカメラ優先の全周鳥瞰図画像を生成するための第１の座標逆変換テーブルと、前後カメラ優先の全周鳥瞰図画像を生成するための第２の座標逆変換テーブルとを設けているが、これらの２つの座標逆変換テーブルの代わりに１つの座標逆変換テーブルを用いることも可能である。この場合には、例えば、左側カメラ１Ｌから得られた鳥瞰図画像１０Ｌと後方カメラ１Ｂから得られた鳥瞰図画像１０Ｂとの重なり部内の各座標に対して、両方の鳥瞰図画像１０Ｌ、１０Ｂの対応する画素位置を示すデータ（カメラを指定するデータおよび座標データ）を記憶しておき、サイドカメラ優先の全周鳥瞰図画像を生成する際には鳥瞰図画像１０Ｌの対応する画素位置を示すデータを採用し、前後カメラ優先の全周鳥瞰図画像を生成する際には鳥瞰図画像１０Ｂの対応する画素位置を示すデータを採用するようにすればよい。

ところで、図２に示すように、車両の前後左右それぞれにカメラ１Ｆ、１Ｂ、１Ｌ、１Ｒを取り付けた場合において、車両の左後端から左斜め後方に高さのある物体２００が存在すると、左側カメラ１Ｌによる物体投影像は２００Ｌとなり、後方カメラ１Ｂによる物体投影像は２００Ｂとなる。

このため、図９に示す全周鳥瞰図画像座標系において、両物体投影像２００Ｌ、２００Ｂが、左側カメラ１Ｌの撮像画像から得られた鳥瞰図画像と後方カメラ１Ｂの撮像画像から得られた鳥瞰図画像との重なり部に存在した場合、それらの投影像２００Ｌ、２００Ｂは異なる位置に現れる。したがって、この重なり部で両鳥瞰図画像の差分を取ると、両物体投影像２００Ｌ、２００Ｂが差分値として検出される。

２つの鳥瞰図画像が重なり合う重なり部において、それぞれの鳥瞰図画像を濃淡画像に変換した後、両濃淡画像の差分をとると、高さのある物体（障害物）が存在する場合には、差分値の絶対値が所定の閾値以上である差分領域が抽出される。したがって、各重なり部毎に差分領域が抽出されるか否かによって、各重なり部に高さのある障害物が存在するか否かを判定することができる。

そこで、図９に示す全周鳥瞰図画像座標系において鳥瞰図画像が重なり合う各重なり部毎に高さのある物体（障害物）が存在するか否かを判別し、少なくとも１つの重なり部に障害物が存在する場合には、サイドカメラ優先の全周鳥瞰図画像と前後カメラ優先の全周鳥瞰図画像とを交互に生成して交互に表示させるようにし、いずれの重なり部にも障害物が存在しない場合には、サイドカメラ優先の全周鳥瞰図画像および前後カメラ優先の全周鳥瞰図画像とのうち予め定めた一方の全周鳥瞰図画像を生成して表示させるようにしてもよい。

なお、少なくとも１つの重なり部に障害物が存在する場合には、障害物が存在する重なり部のみについて、サイドカメラ優先の鳥瞰図画像と前後カメラ優先の鳥瞰図画像とを交互に生成して交互に表示させ、その他の重なり部については同じ種類の鳥瞰図画像を生成して表示させるようにしてもよい。

上記実施例２では、サイドカメラ優先の全周鳥瞰図画像と、前後カメラ優先の全周鳥瞰図画像とを交互にモニタに表示させているが、サイドカメラ優先の全周鳥瞰図画像と前後カメラ優先の全周鳥瞰図画像とを車両の移動状態に応じて、切り換えるようにしてもよい。

例えば、図２に示すように、車両の左後端から左斜め後方に高さのある物体２００が存在した場合において、車両が後方に直進すると、この物体２００は後方カメラ１Ｂの撮像領域から外れてしまう。そこで、このような場合には、サイドカメラ優先の全周鳥瞰図画像を生成して表示させる。一方、図２に示すように、車両の左後端から左斜め後方に高さのある物体２００が存在した場合において、左斜め後方に車両が曲がりながら後退した場合には、この物体２００は左側カメラ１Ｌの撮像領域から外れてしまう。そこで、このような場合には、前後カメラ優先の全周鳥瞰図画像を生成して表示させる。

実施例３においても、運転支援システムの電気的構成は実施例１と同様である。なお、車両の移動状態は、例えば、車両ギヤセンサ、ハンドルの操作方向、車速パルス等に基づいて判別される。

図１６は、画像処理ユニット２による処理手順を示している。

まず、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像を読み込む（ステップＳ３１）。次に読み込んだ各撮像画像に対してレンズ歪み補正を行う（ステップＳ３２）。以下、レンズ歪み補正によって得られた画像を入力画像Ｉと呼ぶことにする。

次に、車両の移動状態を判別する（ステップＳ３３）。具体的には、車両が前方または後方に直進している第１移動状態であるか、車両が斜め前方に曲がりながら前進しているかまたは車両が斜め後方に曲がりながら後退している第２移動状態であるかを判別する。

車両の移動状態が第１移動状態であると判別した場合には、入力画像Ｉと第１の座標逆変換テーブルとを用いて、サイドカメラ優先の全周鳥瞰図画像を生成する（ステップＳ３４）。得られたサイドカメラ優先の全周鳥瞰図画像をモニタ３に表示させる（ステップＳ３５）。そして、ステップＳ３１に戻る。

上記ステップＳ３３において、車両の移動状態が第２移動状態であると判別した場合には、入力画像Ｉと第２の座標逆変換テーブルとを用いて、前後カメラ優先の全周鳥瞰図画像を生成する（ステップＳ３６）。得られた前後カメラ優先の全周鳥瞰図画像をモニタ３に表示させる（ステップＳ３７）。そして、ステップＳ３１に戻る。

実施例３においても、実施例２で説明したように、第１の座標逆変換テーブルと第２の座標逆変換テーブルとの２つの座標逆変換テーブルの代わりに、１つの座標逆変換テーブルを用いることも可能である。

実施例４では、図９に示す全周鳥瞰図座標系において２つの鳥瞰図画像が重なり合う各重なり部毎に、いずれの鳥瞰図画像に障害物（高さのある物体）がより大きく現れているかを判別し、その重なり部を合成する際には、障害物がより大きく現れている方の鳥瞰図画像のみを採用するようにしている。

実施例４においても、運転支援システムの電気的構成は実施例１と同様である。画像処理ユニット２は、座標逆変換テーブルを備えている。座標逆変換テーブルとしては、１つの逆変換テーブルが用意されている。ただし、２つの鳥瞰図画像が重なり合う重なり部内の各座標に対しては、その２つの鳥瞰図画像の対応する画素位置を示す２種類のデータが記憶されている。

例えば、左側カメラ１Ｌから得られた鳥瞰図画像１０Ｌと後方カメラ１Ｂから得られた鳥瞰図画像１０Ｂとの重なり部内の各座標に対しては、両方の鳥瞰図画像１０Ｌ、１０Ｂの対応する画素位置を示すデータが記憶されている。この重なり部において、両鳥瞰図画像１０Ｌ、１０Ｂのうち、例えば、鳥瞰図画像１０Ｌの方に障害物がより大きく現れている場合には、その鳥瞰図画像１０Ｌの対応する画素位置を示すデータを選択する。

図１７は、画像処理ユニット２による処理手順を示している。

まず、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの撮像画像を読み込む（ステップＳ４１）。次に読み込んだ各撮像画像に対してレンズ歪み補正を行う（ステップＳ４２）。以下、レンズ歪み補正によって得られた画像を入力画像Ｉと呼ぶことにする。

次に、入力画像Ｉと座標逆変換テーブルとを用いて、各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒ毎に、全周鳥瞰図画像座標上での２つの鳥瞰図画像が重なる部分における鳥瞰図画像を生成する（ステップＳ４３）。

ステップＳ４３で得られた鳥瞰図画像に基づいて、２つの鳥瞰図画像が重なり合う各重なり部毎に、２つの鳥瞰図画像のうちのいずれを優先するかを判定する（ステップＳ４４）。つまり、各重なり部毎に、優先鳥瞰図画像を決定する。この処理の詳細については、後述する。

次に、ステップＳ４４の決定結果と入力画像Ｉと座標逆変換テーブルとを用いて、各重なり部においてステップＳ４４で優先すると判定された鳥瞰図画像のみを採用した全周鳥瞰図画像を生成する（ステップＳ４５）。得られた全周鳥瞰図画像をモニタ３に表示させる（ステップＳ４６）。そして、ステップＳ４１に戻る。

図１８は、上記ステップＳ４４の処理の詳細な手順を示している。

ここでは、左側カメラ１Ｌから得られた鳥瞰図画像１０Ｌと後方カメラ１Ｂから得られた鳥瞰図画像１０Ｂとの重なり部を例にとって説明する。重なり部の鳥瞰図画像のうち、左側カメラ１Ｌの撮像から得られた画像を３０Ｌ、後方カメラ１Ｂから得られた画像を３０Ｂで表すことする。

重なり部の鳥瞰図画像３０Ｌ、３０Ｂそれぞれを濃淡画像４０Ｌ、４０Ｂに変換する（ステップＳ５１）。図１９（ａ）は、濃淡画像４０Ｌ、４０Ｂの一例を示している。

両濃淡画像４０Ｌ、４０Ｂの差分領域を求める（ステップＳ５２）。具体的には、両濃淡画像４０Ｌ、４０Ｂの差分をとり、差分値の絶対値が所定の域値以上の領域を差分領域とする。濃淡画像４０Ｌ、４０Ｂが図１９（ａ）である場合には、差分領域は図１９（ｂ）に示すようになる。

各濃淡画像４０Ｌ、４０Ｂ毎に、ステップＳ５２に求めた差分領域内においてエッジ抽出処理を行なう（ステップＳ５３）。つまり、各濃淡画像４０Ｌ、４０Ｂ毎に、差分領域内の各画素に対してエッジ強度を算出する。次に、各濃淡画像４０Ｌ、４０Ｂ毎に、差分領域内のエッジ強度の総和を算出する（ステップＳ５４）。そして、エッジ強度の総和が大きい方の鳥瞰図画像を優先鳥瞰図画像と決定する（ステップＳ５５）。なお、エッジ強度の総和（積算値）の代わりに、検出されたエッジの数やエッジ部で囲まれた領域の面積を用いるようにしてもよい。

濃淡画像４０Ｌ、４０Ｂが図１９（ａ）である場合には、濃淡画像４０Ｌにおける差分領域内のエッジ部は図１９（ｃ）の左図のようになり、濃淡画像４０Ｂにおける差分領域内のエッジ部は図１９（ｃ）の右図のようになる。濃淡画像４０Ｌにおける差分領域内のエッジ部の領域は、濃淡画像４０Ｂにおける差分領域内のエッジ部の領域より大きくなるので、左側カメラ１Ｌから得られた鳥瞰図画像が優先鳥瞰図画像とされる。

上述したように、２つの鳥瞰図画像が重なり合う各重なり部毎に、差分領域が抽出されるか否かによって、その重なり部に高さのある物体（障害物）が存在するか否かを判定することができる。

上記実施例１、２、３、４において、各重なり部に障害物が存在するか否かを判別し、少なくとも１つの重なり部において障害物が存在すると判別した場合には、表示される全周鳥瞰図画像上において障害物を明示するためのマークを表示したり、警告音を発生させたりすることが好ましい。障害物を明示するためのマークとしては、例えば、障害物像を囲むようなマークが用いられる。

鳥瞰図画像においては、高さのある物体２００はカメラ１と物体２００とを結んだ延長線上へ像が変形するように地面上に投影されることを示す模式図である。車両の左後端から左斜め後方に高さのある物体２００が存在する場合に、左側カメラ１Ｌによる物体投影像２００Ｌと、後方カメラ１Ｂによる物体投影像２００Ｂとを示す模式図である。左側カメラ領域ＳＬに後方カメラ１Ｂによる物体投影像２００Ｂが存在し、後方カメラ領域ＳＢに左側カメラ１Ｌによる物体投影像２００Ｌが存在することを示す模式図である。車両１００の後部に設けられたカメラ１を示す模式図である。カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系Ｘ_buＹ_buと、２次元地面座標系Ｘ_wＺ_wを含む世界座標系Ｘ_wＹ_wＺ_wとの関係を示す模式図である。カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒの配置例を示す平面図である。図６の側面図である。各カメラ１Ｆ、１Ｂ、１Ｌ、１Ｒで撮像された画像から得られる鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒを示す模式図である。図８の後方カメラ１Ｂに対する鳥瞰図画像１０Ｂを基準として、他の３つの鳥瞰図画像１０Ｆ、１０Ｌ、１０Ｒを回転と平行移動により、後方カメラ１Ｂの鳥瞰図画像座標に変換することにより、４つの鳥瞰図画像１０Ｆ、１０Ｂ、１０Ｌ、１０Ｒが合成されることを示す模式図である。鳥瞰図画像１０Ｂと鳥瞰図画像１０Ｌとの重なり部において実施例１で用いられる櫛歯状の境界線Ｄ’_BLの一例を示す模式図である。合成後の重なり部の画像例を示す模式図である。鳥瞰図画像１０Ｂと鳥瞰図画像１０Ｌとの重なり部において実施例１で用いられる櫛歯状の境界線Ｄ’_BLの他の例を示す模式図である。自動車に設けられた運転支援システムの電気的構成を示すブロック図である。画像処理ユニット２による処理手順を示すフローチャートである。画像処理ユニット２による処理手順を示すフローチャートである。画像処理ユニット２による処理手順を示すフローチャートである。画像処理ユニット２による処理手順を示すフローチャートである。図１７のステップＳ４４の処理の詳細な手順を示を示すフローチャートである。図１８の処理を説明するための模式図である

符号の説明

１Ｆ、１Ｂ、１Ｌ、１Ｒカメラ
２画像処理ユニット
３モニタ

Claims

車両に搭載されかつ車両周辺を撮像する複数の撮像装置によって撮像された画像それぞれを鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、生成された合成鳥瞰図画像を表示器に表示させる運転支援システムにおいて、
２つの鳥瞰図画像が重なり合う各重なり部を合成する際には、重なり部に対して２つの領域が交互に配置されるような境界線を設定し、重なり部のうち境界線により分けられた一方の領域においては一方の鳥瞰図画像を採用し、境界線により分けられた他方の領域においては他方の鳥瞰図画像を採用することにより、重なり部を合成する手段を備えていることを特徴とする運転支援システム。
車両に搭載されかつ車両周辺を撮像する複数の撮像装置によって撮像された画像それぞれを鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、生成された合成鳥瞰図画像を表示器に表示させる運転支援システムにおいて、
２つの鳥瞰図画像が重なり合う各重なり部を合成する際には、重なり部に対して櫛歯状の境界線を設定し、重なり部のうち櫛歯状の境界線により分けられた一方の領域においては一方の鳥瞰図画像を採用し、櫛歯状の境界線により分けられた他方の領域においては他方の鳥瞰図画像を採用することにより、重なり部を合成する手段を備えていることを特徴とする運転支援システム。
車両に搭載されかつ車両周辺を撮像する複数の撮像装置によって撮像された画像それぞれを鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、生成された合成鳥瞰図画像を表示器に表示させる運転支援システムにおいて、
各鳥瞰図画像を合成する際に、２つの鳥瞰図画像が重なり合う各重なり部においては、予め設定された一方の鳥瞰図画像のみを採用することにより得られる第１の合成鳥瞰図画像を生成するための第１の合成鳥瞰図画像生成手段、
各鳥瞰図画像を合成する際に、２つの鳥瞰図画像が重なり合う各重なり部においては、予め設定された他方の鳥瞰図画像のみを採用することにより得られる第２の合成鳥瞰図画像を生成するための第２の合成鳥瞰図画像生成手段、ならびに
第１の合成鳥瞰図画像生成手段と第２の合成鳥瞰図画像生成手段とを交互に切り換えることにより、第１の合成鳥瞰図画像と第２の合成鳥瞰図画像とを交互に切り換えて表示器に表示させる制御手段、
を備えていることを特徴とする運転支援システム。
車両に搭載されかつ車両周辺を撮像する複数の撮像装置によって撮像された画像それぞれを鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、生成された合成鳥瞰図画像を表示器に表示させる運転支援システムにおいて、
各鳥瞰図画像を合成する際に、２つの鳥瞰図画像が重なり合う各重なり部においては、予め設定された一方の鳥瞰図画像のみを採用することにより得られる第１の合成鳥瞰図画像を生成するための第１の合成鳥瞰図画像生成手段、
各鳥瞰図画像を合成する際に、２つの鳥瞰図画像が重なり合う各重なり部においては、予め設定された他方の鳥瞰図画像のみを採用することにより得られる第２の合成鳥瞰図画像を生成するための第２の合成鳥瞰図画像生成手段、
２つの鳥瞰図画像が重なり合う各重なり部において、２つの鳥瞰図画像を比較することにより、高さのある物体が存在するか否かを判別する判別手段、
判別手段によって少なくとも１つの重なり部において高さのある物体が存在すると判別されている場合には、第１の合成鳥瞰図画像生成手段と第２の合成鳥瞰図画像生成手段とを交互に切り換えることにより、第１の合成鳥瞰図画像と第２の合成鳥瞰図画像とを交互に切り換えて表示器に表示させる第１制御手段、ならびに
判別手段によっていずれの重なり部においても、高さのある物体が存在しないと判別されている場合には、第１の合成鳥瞰図画像生成手段および第２の合成鳥瞰図画像生成手段のうち予め設定された一方の合成鳥瞰図画像生成手段により合成鳥瞰図画像を生成させて、表示器に表示させる第２制御手段、
を備えていることを特徴とする運転支援システム。
車両に搭載されかつ車両周辺を撮像する複数の撮像装置によって撮像された画像それぞれを鳥瞰図画像に変換し、得られた各鳥瞰図画像を合成して合成鳥瞰図画像を生成し、生成された合成鳥瞰図画像を表示器に表示させる運転支援システムにおいて、
２つの鳥瞰図画像が重なり合う各重なり部において、２つの鳥瞰図画像のうち高さのある物体がより大きく現れている方の鳥瞰図画像を優先鳥瞰図画像として決定する優先鳥瞰図画像決定手段、
各鳥瞰図画像を合成する際に、２つの鳥瞰図画像が重なり合う各重なり部においては、優先鳥瞰図画像決定手段によって決定された優先鳥瞰図画像のみを採用することにより、合成鳥瞰図画像を生成する合成鳥瞰図画像生成手段、ならびに
合成鳥瞰図画像生成手段によって生成された合成鳥瞰図画像を表示器に表示させる手段、
を備えていることを特徴とする運転支援システム。
優先鳥瞰図画像決定手段は、
２つの鳥瞰図画像が重なり合う重なり部において、一方の鳥瞰図画像と他方の鳥瞰図画像との差分をとり、差分量が所定量より大きな領域を差分領域として決定する手段、および
上記２つの鳥瞰図画像の差分領域内でのエッジ強度の積算値を算出し、エッジ強度の積算値が大きい方の鳥瞰図画像を優先鳥瞰図画像として決定する手段、
を備えていることを特徴とする請求項５に記載の運転支援システム。
２つの鳥瞰図画像が重なり合う各重なり部において、２つの鳥瞰図画像を比較することにより、高さのある物体が存在するか否かを判別する判別手段、および
判別手段によって少なくとも１つの重なり部において高さのある物体が存在すると判別されている場合には、合成鳥瞰図画像において上記高さのある物体像を明示するためのマークを表示させる手段、
を備えていることを特徴とする請求項１〜６のいずれか一項に記載の運転支援システム。
２つの鳥瞰図画像が重なり合う各重なり部において、２つの鳥瞰図画像を比較することにより、高さのある物体が存在するか否かを判別する判別手段、および
判別手段によって少なくとも１つの重なり部において高さのある物体が存在すると判別されている場合には、警告音を発生する手段、
を備えていることを特徴とする請求項１〜６のいずれか一項に記載の運転支援システム。