JP4081548B2 - 運転支援システム - Google Patents

Description

本発明は、ドライバに死角や視認困難な部分や走行障害となる部分の情報が瞬時に把握可能となるようにドライバの運転を支援する運転支援システムに関するものである。

近年、道路交通の様々な問題解決や効率化のために、ＩＴＳ（Intelligent Transport Systems：高度道路交通システム）に関する研究が盛んである。その中で、交通事故や渋滞などの本質的な解決に期待されるＡＶＣＳＳ（Advanced Vehicle Control and Safety Systems：先進車両制御安全システム）に関する自動運転や運転支援の研究も盛んに行われている。

ところで、自動車の運転においては、ドライバが運転席から直接見ることができない死角や見ることが困難な部分が存在し、ミラーによって間接的に補うことにも限界がある。また、周囲の交通状況に対しても、見通しの悪い交差点などにおいて、ドライバにとって運転を判断する視覚情報が得にくい状況が生じ、事故誘発の原因ともなっている。

そこで、カメラを利用し車内のモニタに車両周辺の映像を映すことによって、ドライバをサポートするシステムが、いくつか開発されている。例えば駐車時などにおける後方視界をサポートするバックモニタ、左折時や縦列時などの側方視界をサポートするサイドビューモニタ、見通しの悪い交差点における視界をサポートするブラインドコーナーモニタがある。また、車両に８台のカメラを設置し、車両上空からの仮想プランビュー画像を提供するAll Around Viewモニタシステムの研究もある（非特許文献１参照）。
紺野、高木：周辺監視システムの開発、自動車技術会春季学術講演会、20035144，No.9-03，pp.13-16(2003)

また、上記のバックモニタやサイドビューモニタでは、車両周囲の映像を提供するだけでなく、予測進路や車幅等の情報を合成して提供するシステムもある。

しかし、上記従来のドライバをサポートするシステムでは、車両と車両周辺物体とが画像で捕らえられていても、その距離感が分かりにくく、また視点位置が的確でなく、狭隘路、見通しの悪い交差点、駐車時などで即座に運転操作に反映できず、運転支援という面で必ずしも十分なものではなかった。

この発明は上記に鑑み提案されたもので、車両と車両周辺物体との距離感が即座に把握することができ、また視点位置も的確となり、狭隘路、見通しの悪い交差点、駐車時などで直ちに運転操作に反映させることができる運転支援システムを提供することを目的とする。

上記目的を達成するために、本発明の運転支援システムは、ドライバの運転を支援する運転支援システムにおいて、車両の最前中央部および両側部に設けられて運転席からの死角部分および自車両の一部の画像を含む車両周辺画像を撮像する複数の撮像手段と、前記撮像手段により撮像された車両周辺画像に対して、当該画像に映し込まれた自車両の一部の画像を直線としてドライバが自車両の位置関係を視認できる画像にする歪補正を行う画像処理と共に、ドライバにより指定された視点への変換を行う視点変換の画像処理を行う画像処理手段と、車両と車両周辺物体との間の距離を計測して自車両の周辺方位角と距離と対応づけた距離グラフの情報を取得する距離計測手段と、車両の運転状況を検出する各種センサからの運転状況情報に基づいて、車両の予測進路情報を作成する進路予測手段と、前記距離計測手段により取得された距離グラフの情報および進路予測手段により作成された予測進路情報の少なくとも一方を、画像処理手段により画像処理が行われた車両周辺画像に重畳合成して合成画像を生成する情報重畳手段と、前記情報重畳手段により生成された合成画像を表示する表示手段とを備えることを特徴としている。

また、本発明の運転支援システムにおいては、更に、画像処理手段が行う視点変換の視点位置をドライバの操作に応じて選択指示する視点選択手段を備えることを特徴としている。

また、本発明の運転支援システムにおいては、更に、予測進路情報、および車両と車両周辺物体との間の距離の情報に基づいて、ドライバに危険となる状況が発生するか否かの判定を行い、危険となる状況が発生する場合は警告を発する警告手段備えることを特徴としている。

また、この場合に、本発明の運転支援システムにおいて、各種センサは、少なくとも操舵角センサと速度センサであることを特徴としている。

この発明では、車両周辺の画像の歪補正および視点変換を行った上で、その画像に車両と車両周辺物体との間の距離情報や予測進路情報を重畳させるので、車両と車両周辺物体との距離を即座に把握することができ、また視点位置も的確となり、狭隘路、見通しの悪い交差点、駐車時などで直ちに運転操作に反映させることができる。したがって、ドライバに対してより的確なサポートを行うことができるようになる。

以下にこの発明の実施の形態を図面に基づいて詳細に説明する。

図１はこの発明の運転支援システムの構成を示すブロック図である。図において、この発明の運転支援システムは、ドライバの運転を支援するシステムであり、車両周辺を撮像する撮像手段１と、その撮像手段１からの画像の歪補正および視点変換を行う画像処理手段５と、車両と車両周辺物体との間の距離を計測する距離計測手段２と、車両の運転状況を検出する各種センサ３からの運転状況情報に基づいて、車両の予測進路を求める進路予測手段６と、その距離計測手段２からの距離情報および進路予測手段６からの予測進路情報の少なくとも一方を、画像処理手段５からの画像に重畳させる情報重畳手段７と、を備えている。そして、情報重畳手段７はその画像を車両内のモニタ１０１に映し出し、ドライバに表示する。

また、画像処理手段５に視点選択手段４が接続され、画像処理手段５が行う視点変換の視点位置をドライバの操作に応じて選択できるようになっている。

また、警告手段８を備え、情報重畳手段７で得られた予測進路情報、および車両と車両周辺物体との間の距離情報に基づいて、ドライバに危険となる状況が発生する否かの判定を行い、危険となる状況が発生する場合は、スピーカ１０２や操作指示表示部１０２を通して警告を発するようにしている。次に、より具体的な構成例を図２および図３を併用して説明する。

図２はこの発明の運転支援システムの具体的な構成例を示す図、図３は測定装置の車両搭載位置を示す図である。上記の画像処理手段５、進路予測手段６、情報重畳手段７および警告手段８は、例えば本発明に係るソフトウェアに従って動作するＣＰＵ（ＥＣＵ）を中心に構成され、図２の構成例では、ビジュアルナビゲーション用ＥＣＵ１００として図示されている。

また、この図２の構成例では、撮像手段１としてＣＣＤカメラ１１が用いられる。

距離計測手段２としては、レーザレンジファインダ（ＬＲＦ）２１が用いられ、必要に応じて超音波センサ２２が用いられる。距離計測手段２には、この他にレーザレーダ等が挙げられるが、それぞれに特徴があり、特性やコストの面を考慮して採用し、また、車両速度に応じて使い分けるようにしてもよい。

各種センサ３としては、ここでは操舵角センサ３１および速度センサ３２が用いられ、必要に応じて車両が回転する速度を検出するヨーセンサ３３が用いられる。また、車両位置を検出するＧＰＳ３４と、地図情報（マップデータ）を併用するようにしてもよい。この地図情報はハードディスク３５に格納される。

上記のＣＣＤカメラ１１、ＬＲＦ２１、超音波センサ２２、操舵角センサ３１、速度センサ３２、ヨーセンサ３３、ＧＰＳ３４、およびハードディスク３５は、ビジュアルナビゲーション用ＥＣＵ１００に接続され、インターフェイス（図示省略）を介して検出データや格納データをビジュアルナビゲーション用ＥＣＵ１００に出力する。ビジュアルナビゲーション用ＥＣＵ１００は、そのデータを基に、また視点選択手段４として接続されている画像選択スイッチ４１を用いてドライバが選択した視点位置に基づいて、各種演算処理を行い、その処理結果をモニタ１０１、スピーカ１０２、操作指示表示部１０３に出力する。なお、ドライバは画像選択スイッチ４１を用いて、ドライバの目の位置からの視点、車両の後方中央の位置から後方を見る視点、車両を上空から見る視点、車両の側方を見る視点等、任意の位置を視点として選択することができる。

操作指示表示部１０３は、最適な操作をドライバに提供するための表示部であり、４つのＬＥＤ１０３ａ，１０３ｂ，１０３ｃ，１０３ｄから構成されている。ビジュアルナビゲーション用ＥＣＵ１００が、車両の予測進路に対して右方向に操舵する必要があると判定した場合は、ＬＥＤ１０３ａが点灯し、その点灯は、要求操舵角が小さいときはＬＥＤ１０３ａの内側が点灯し、大きくなるにつれてよりＬＥＤ１０３ａの外側まで点灯するようになっている。また左方向に操舵する必要があると判定した場合は、ＬＥＤ１０３ｂが点灯し、速度を上げる必要があると判定したときはＬＥＤ１０３ｃが点灯し、速度を下げる必要があると判定したときはＬＥＤ１０３ｄが点灯するようになっている。

上記のＣＣＤカメラ１１には、水平画角１７０度の特殊レンズを使用した２５万画素の１／３カラーＣＣＤカメラが３台使用され、図３に示すように、車両１１０の最前部中央１箇所と側部２箇所の合計３箇所に取り付けられている。最前部中央のＣＣＤカメラ１１は、高さ約９０ｃｍ、仰角約４５度で設置し、側部の２台のＣＣＤカメラ１１，１１は、高さ約１．１ｍでサイドミラーの下部に、ほぼ真下を向けて設置した。

ＬＲＦ２１には、ＳＩＣＫ製ＬＭＳ２２１（スキャン角度：１８０度，分解能：０．５度，距離測定範囲：３０ｍ）を使用し、図３に示すように車両１１０の最前部中央に、計測平面の高さが約５０ｃｍの位置になるように設置した。

また、車両１１０が走行する道路には、図３に示すように、片側に２ｍの間隔を置いて配置した３個のカラーコーンＢ１，Ｂ２，Ｂ３を、両側に配列し障害物とした。

上記構成の運転支援システムにおいて、ビジュアルナビゲーション用ＥＣＵ１００は本発明に係る各種演算処理、画像処理を行い、その結果をモニタ１０１に出力するが、その処理内容について順に説明する。

先ず運転席から見た車両前方の様子は図４のようであり、この写真からもわかるように、ドライバからは２ｍ先のカラーコーンＢ１，Ｂ１は頭部だけ見えて設置面は見えておらず、死角となっている。また、その手前のカラーコーンＢ２，Ｂ２，Ｂ３，Ｂ３も当然ドライバには見えない。

図５には、３台のＣＣＤカメラ１１で撮像した直接の画像を示している。３枚の写真の内、上は前部中央、下左は左側部、下右は右側部のＣＣＤカメラ１１による画像である。この段階の写真は超広角レンズとなるため、画像に歪が生じていることがわかる。このままの画像においても、自車両が画像に映りこんでいることから、対象に対する位置関係は、ある程度は把握可能であるが、この画像を見てドライバが瞬時の対応を行うのは、困難である。

図６には、レンズによる歪を補正した画像を示している。３枚の写真の内、上は前部中央、下左は左側部、下右は右側部のＣＣＤカメラ１１による画像である。この画像では、前方画像である程度の距離感がわかり、また、左右の画像では、対象物との方向性が把握可能となっている。

図７には、さらに車両上空へ視点を移動した画像を示している。３枚の写真の内、左は前部中央、中央は左側部、右は右側部のＣＣＤカメラ１１による画像である。この車両上空の視点選択はドライバが画像選択スイッチ４１を用いて行う。補正した画像の領域が狭く、周囲の様子まで示していないが、距離感と方向性が良くわかる画像となっている。

図８には、ＬＲＦ２１で計測した結果の距離グラフを示す。車両前方の２つのカラーコーンＢ１，Ｂ１の位置がＰ１，Ｐ１として、また車両前方横に置かれた２つのカラーコーンＢ２，Ｂ２の位置がＰ２，Ｐ２として、それぞれ精度良く計測されていることがわかる。

さらに、図９には、図６の歪補正画像に対し、図８の座標変換を行った測距データと、予測進路（図中、白線の部分）の値を重畳して示している。また、同様に、図１０には、図７の上空から見た画像に対して、図８の測距データと予測進路の値を重畳して示している。どちらも対象物の位置関係を瞬時に把握することができる。視点位置はドライバの好みによって選択することができる。

上記の図６〜図１０の画面から分かるように、ドライバに死角や視認困難な部分や、走行障害となる部分の情報が瞬時に把握可能となる。

ビジュアルナビゲーション用ＥＣＵ１００は、この予測進路と現在の操舵角、速度に基づいて、また必要に応じてヨーセンサ３３、ＧＰＳ３４、ハードディスク３５の地図情報も用いて、推奨する操舵や速度を、操作指示表示部１０３、やスピーカ１０２、モニタ１０１等を介してドライバに提示し、車両と障害物との接触等を回避させる。

また、ビジュアルナビゲーション用ＥＣＵ１００は、車両の移動量を予測し、車両が移動後、内輪差、外輪差などで車両周辺物体を巻き込む危険性が生じる場合に対しても，注意喚起を行うことができる。

図１１は図２の構成例における処理の流れを示す図である。図に示すように、ビジュアルナビゲーション用ＥＣＵ１００は、複数位置のカメラ画像に対して歪補正を行い、また視点変換（透視変換）を行う。一方、ＬＲＦからの測距データに基づいて、近傍障害物のデータの蓄積を行い、また操舵角、速度、ヨーレートの測定データに基づいて、車両の移動量算出、進路推定を行う。そして、近傍障害物のデータおよび推定した進路とに従って、その交差部分の検出を行う。続いて、その視点変換、近傍障害物のデータ、交差部分データ等に基づいて、画像の重畳合成を行い、モニタに表示する。また交差部分データに基づいて、車両が障害物と交差する旨の注意勧告、警告をスピーカを介して行う。さらに、その場合の推奨する操舵、速度を算出し、操作指示表示部やモニタを介してドライバに指示する。

以上述べたように、この発明では、車両周辺の画像の歪補正および視点変換を行った上で、その画像に車両と車両周辺物体との間の距離情報や予測進路情報を重畳させるので、視点位置が明確となり、車両と車両周辺物体との距離や、ドライバの死角や視認困難な部分、走行障害となる部分を即座に把握することができるようになる。したがって、狭隘路、見通しの悪い交差点、駐車時などで直ちに運転操作に反映させることができ、ドライバに対してより的確なサポートを行うことができるようになる。

また、その場合、推奨する操舵や速度を算出し、ドライバに指示するようにしたので、さらに的確にドライバをサポートすることができるようになる。

なお、上記の説明では、ＣＣＤカメラやＬＲＦ等の台数、設置場所等を例示したが、これらの測定装置やセンサの台数や設置場所は限定されることなく、必要に応じて任意に変更することができる。

この発明の運転支援システムの構成を示すブロック図である。 この発明の運転支援システムの具体的な構成例を示す図である。 測定装置の車両搭載位置を示す図である。 運転席から見た車両前方の様子を示す図である。 ３台のＣＣＤカメラで撮像した直接の画像を示す図である。 レンズによる歪を補正した画像を示す図である。 車両上空へ視点を移動した画像を示す図である。 ＬＲＦで計測した結果の距離グラフを示す図である。 図６の歪補正画像に対し、図８の座標変換を行った測距データと、予測進路の値を重畳して示す図である。 図７の上空から見た画像に対して、図８の測距データと予測進路の値を重畳して示す図である。 図２の構成例における処理の流れを示す図である。

符号の説明

１ 撮像手段
２ 距離計測手段
３ 各種センサ
４ 視点選択手段
５ 画像処理手段
６ 進路予測手段
７ 情報重畳手段
８ 警告手段
１１ ＣＣＤカメラ
２１ レーザレンジファインダ（ＬＲＦ）
２２ 超音波センサ
３１ 操舵角センサ
３２ 速度センサ
３３ ヨーセンサ
３５ ハードディスク
４１ 画像選択スイッチ
１００ ビジュアルナビゲーション用ＥＣＵ
１０１ モニタ
１０２ スピーカ
１０３ 操作指示表示部
１１０ 車両
Ｂ１，Ｂ２，Ｂ３ カラーコーン

Claims (4)

1. ドライバの運転を支援する運転支援システムにおいて、
   車両の最前中央部および両側部に設けられて運転席からの死角部分および自車両の一部の画像を含む車両周辺画像を撮像する複数の撮像手段と、
   前記撮像手段により撮像された車両周辺画像に対して、当該画像に映し込まれた自車両の一部の画像を直線としてドライバが自車両の位置関係を視認できる画像にする歪補正を行う画像処理と共に、ドライバにより指定された視点への変換を行う視点変換の画像処理を行う画像処理手段と、
   車両と車両周辺物体との間の距離を計測して自車両の周辺方位角と距離と対応づけた距離グラフの情報を取得する距離計測手段と、
   車両の運転状況を検出する各種センサからの運転状況情報に基づいて、車両の予測進路情報を作成する進路予測手段と、
   前記距離計測手段により取得された距離グラフの情報および進路予測手段により作成された予測進路情報の少なくとも一方を、画像処理手段により画像処理が行われた車両周辺画像に重畳合成して合成画像を生成する情報重畳手段と、
   前記情報重畳手段により生成された合成画像を表示する表示手段と
   を備えることを特徴とする運転支援システム。
2. 請求項１に記載の運転支援システムにおいて、更に、
   前記画像処理手段が行う視点変換の視点位置をドライバの操作に応じて選択指示する視点選択手段
   を備えることを特徴とする運転支援システム。
3. 請求項１または２に記載の運転支援システムにおいて、更に、
   前記予測進路情報、および車両と車両周辺物体との間の距離の情報に基づいて、ドライバに危険となる状況が発生するか否かの判定を行い、危険となる状況が発生する場合は警告を発する警告手段
   を備えることを特徴とする運転支援システム。
4. 請求項１乃至３の何れかに記載の運転支援システムにおいて、
   前記各種センサは、少なくとも操舵角センサと速度センサである
   ことを特徴とする運転支援システム。