JP6274936B2 - 運転支援装置 - Google Patents

Description

この発明は、自車両に搭載された撮影手段の撮影画像を処理して自車両周辺の障害物を認識して表示手段に表示する技術に関する。

従来、駐車の際のバック走行や駐車場からの移動の際に、自車両に搭載された車載カメラなどの撮影手段の撮影画像を自車両の予想走行軌跡を重畳した状態で車内の液晶モニタ等の表示手段に表示することにより、自車両と障害物との衝突可能性を運転者に報知する運転支援装置が知られている（例えば特許文献１参照）。このような運転支援装置が備える撮影手段は、少ない数のカメラで自車両周辺のできるだけ広い範囲を撮影することができるように、広角（魚眼）カメラにより構成される場合が多い。この場合には、撮影画像の中央部と周辺部とで距離尺度が変化するため、特に、旋回時において、撮影画像の周辺部に含まれる障害物と自車両との距離感を掴むのが難しいという問題がある。

一方、自車両と障害物との距離感を掴みやすくするために、路面に仮想面を設定して撮影画像を射影変換することにより生成した俯瞰画像を表示手段に表示する技術も提案されている。表示手段に俯瞰画像が表示されることにより、運転者は自車両と障害物との距離を直観的に認識することができる。

特開２００５−１９３８４５号公報（段落０００９〜００２１、図５、要約書など）

撮影画像を俯瞰画像に変換することにより次のような問題が生じる。すなわち、俯瞰画像は、路面に設定された仮想面に撮影画像が射影されたものであるので、俯瞰画像においては高さを持つ障害物が変形して表示される。したがって、自車両と障害物との距離を把握するために、運転者が俯瞰画像中の変形した障害物のどこを見ればよいのかが分かりにくいという問題があった。

本発明は、俯瞰画像を見た運転者が自車両と障害物との距離を容易に把握することができる技術を提供することを目的とする。

上記した目的を達成するために、本発明の運転支援装置は、自車両に搭載され、前記自車両周辺を撮影する撮影手段と、前記撮影手段の撮影画像に含まれる障害物をパターンマッチングにより認識する認識手段と、前記撮影画像中における前記障害物の路面との境界である下端縁を検出する検出手段と、前記撮影画像を俯瞰画像に射影変換する変換手段と、前記俯瞰画像中の前記下端縁に相当する位置にマーキングを重畳表示した合成画像を生成する合成手段と、前記合成画像を表示する表示手段とを備えることを特徴としている（請求項１）。

また、前記検出手段は、前記撮影画像の左右方向において一定間隔ごとに複数の走査位置を設定し、前記各走査位置それぞれにおいて前記撮影画像を上下方向に走査し、前記障害物が存在する場合にはその下端点を前記下端縁として検出するとよい（請求項２）。

また、前記撮影手段は自車両の全周囲を撮影するものであるとよい（請求項３）。

請求項１に記載の発明によれば、自車両に搭載された撮影手段により撮影された自車両周辺の撮影画像に含まれる障害物がパターンマッチングにより認識手段により認識される。また、撮影画像中における障害物の路面との境界である下端縁が検出手段により検出されて、変換手段により撮影画像が俯瞰画像に射影変換される。そして、俯瞰画像中の障害物の下端縁に相当する位置にマーキングを重畳表示して合成手段により生成された合成画像が表示手段により表示される。したがって、表示手段により表示されている合成画像中の障害物の下端縁に相当する位置にマーキングが重畳表示されているので、合成画像中のマーキング部分に着目することにより、合成画像を見た運転者が自車両と障害物との距離を容易に把握することができる。

請求項２の発明によれば、撮影画像の左右方向において一定間隔ごとに複数の走査位置が設定される。そして、各走査位置それぞれにおいて撮影画像が上下方向に走査されて、障害物が存在する場合にはその下端点が障害物の下端縁として検出手段により検出される。したがって、予め設定された複数の走査位置においてのみ撮影画像が検出手段により走査されるので、撮影画像の全ての範囲（画素）が走査される場合と比較すると、処理速度の向上を図ることができる。

請求項３の発明によれば、撮影手段により自車両の全周囲が撮影されるので、運転者が自車両の全周囲に対して注意を払うことができる実用的な構成の運転支援装置を提供することができる。

本発明の運転支援装置の一実施形態のブロック図である。 図１の単眼カメラの構成の一例を示す図である。 撮影画像の一例を示す図である。 図３の撮影画像が射影変換された俯瞰画像が走行モニタに表示された状態を示す図である。 図１の動作説明用のフローチャートである。

本発明の一実施形態について、図１〜図５を参照して説明する。

図１は本発明の運転支援装置の一実施形態のブロック図、図２は図１の単眼カメラの構成の一例を示す図である。図３は図３の撮影画像が射影変換された俯瞰画像が走行モニタに表示された状態を示す図である、図４は図３の撮影画像が射影変換された俯瞰画像を示す図である。図５は図１の動作説明用のフローチャートである。

１．構成
図１に示す運転支援装置２は、自車両１に搭載されて自車両１の周辺を撮影する単眼カメラ３（本発明の「撮影手段」に相当）の撮影画像ＩＭＧを処理して自車両１周辺の障害物１０（例えば図３に示す他車両）を認識するものである。そして、運転支援装置２は、駐車場においてバック走行をする際や、縦列駐車を行うためにバック走行をする際、駐車状態から他の場所への移動を開始する際に、自車両１の周囲に駐車されている他車両や、縁石、ポール、電柱・電信柱、道路標識などの障害物１０を認識して走行モニタ６に表示することにより、障害物１０に自車両１が接触するのを防止する。

運転支援装置２は、単眼カメラ３と、単眼カメラ３による撮影画像ＩＭＧや種々のデータを記憶する記憶手段４と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ５と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ６（本発明の「表示手段」に相当）とを備えている。

単眼カメラ３は、この実施形態では自車両１の周囲を撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した撮影画像ＩＭＧの信号を出力する（図３参照）。また、この実施形態では、自車両１の全周囲を撮影することができるように、４個の単眼カメラが自車両１に搭載されている。また、この実施形態で、自車両１の周囲のできるだけ広い範囲を撮影することができるように、単眼カメラ３は、広角カメラまたは魚眼カメラにより形成されている。

また、各単眼カメラ３は例えば次のようにして自車両１に搭載される。すなわち、前方の撮影を行うための単眼カメラ３がフロントパネルに配置され、後方の撮影を行うための単眼カメラ３がリアパネルの上部位置に配置される。また、左方の撮影を行うための単眼カメラ３が左のサイドミラーに配置され、右方の撮影を行うための単眼カメラ３が右のサイドミラーに配置される。また、図２に示す後方を撮影するための単眼カメラ３を例に挙げて説明するように、各単眼カメラ３それぞれは、下方に適当な角度でつけて撮影することができるように自車両１に設けられている。

なお、以下の説明においては、駐車場においてバック走行する際に自車両１の後方に存在する他車両等の障害物１０に接触するのを防止するために、自車両１の後方を撮影する単眼カメラ３の撮影画像ＩＭＧを用いて行われる運転支援を例に挙げて説明を行う。また、以下の説明において図３の撮影画像ＩＭＧを用いて実行される運転支援は、同時に、前方および両側方を撮影する他の３個の単眼カメラ３それぞれの撮影画像ＩＭＧを用いて同様にして実行される。

したがって、この実施形態では、自車両１の後方に限らず、自車両１の全周囲の任意の位置に障害物１０が存在していても、運転支援装置２が運転者に対して適切に注意喚起することにより障害物１０への自車両１の接触を防止できるが、以下の説明ではその説明は省略する。なお、図３に示す後方の撮影画像ＩＭＧには、駐車の際にバック走行する自車両１の後方に存在する障害物１０（他車両）の後部部分と、路面Ｒに描画された白線Ｌとが含まれている。

記憶手段４は、単眼カメラ３から時々刻々と出力される撮影画像ＩＭＧの画像データや、各撮影画像ＩＭＧに対してＥＣＵ５により種々の処理が施されることにより得られた各種データを格納する。

ＥＣＵ５は、例えばイグニッションキーのオンにより、予め設定された運転支援のためのプログラムを実行することにより以下の各手段を備えている。

（１）取得手段５ａ
取得手段５ａは、各単眼カメラ３それぞれにより時々刻々と撮影されて記憶手段４に格納された撮影画像ＩＭＧの画像データを取得する。なお、図３は、自車両１の後部に配置された単眼カメラ３により撮影された自車両１の後方の撮影画像ＩＭＧを示している。また、各単眼カメラ３それぞれにより時系列に撮影された撮影画像ＩＭＧに関する種々のデータは記憶手段４に記憶される。

（２）認識手段５ｂ
認識手段５ｂは、各単眼カメラ３それぞれの撮影画像ＩＭＧに含まれる他の車両等の障害物１０をパターンマッチングにより認識する。なお、認識手段５ｂによるパターンマッチングにより撮影画像ＩＭＧ中の障害物１０を認識するための、他車両、縁石、ポール、電柱・電信柱、道路標識などのテンプレート画像は記憶手段４に記憶されている。図３に示す例では、自車両１の後方に他車両が存在し、自車両１の後方の撮影画像ＩＭＧに含まれる他車両の後部部分がパターンマッチングにより障害物１０として認識手段５ｂにより認識される。

（３）検出手段５ｃ
検出手段５ｃは、図３に示すように、認識手段５ｂにより認識された撮影画像ＩＭＧ中の障害物１０の路面Ｒとの境界である下端縁ＥＧを認識する。この実施形態では、認識手段５ｂはパターンマッチングにより撮影画像ＩＭＧ中の障害物１０を認識しているので、撮影画像ＩＭＧ中における障害物１０の輪郭位置（画素の座標）は既に特定されている。

したがって、検出手段５ｃは、例えば次のようにして撮影画像ＩＭＧ中における障害物１０の路面Ｒとの境界である下端縁を検出することができる。すなわち、図３の撮影画像ＩＭＧを左右方向における一端を開始位置として、走査位置Ｓを他端側に一画素ずつずらしながら撮影画像ＩＭＧを上下方向に走査し、各走査位置（上下方向に伸びる走査ライン）において障害物１０が存在する場合には、検出手段５ｃは、その下端点ＥＰを下端縁ＥＧとして検出することができる。

なお、この実施形態では、検出手段５ｃは、撮影画像ＩＭＧの左右方向において一定間隔（例えば図３のように撮影画像ＩＭＧを左右方向において１６分割する間隔）ごとに複数の走査位置Ｓを設定している。そして、検出手段５ｃは、各走査位置Ｓそれぞれにおいて撮影画像ＩＭＧを上下方向に走査し、走査ライン上に障害物１０が存在する場合にはその下端点ＥＰ（同図中の”●”で示された点）を下端縁ＥＰとして検出する。このようにすると、予め設定された複数の走査位置Ｓにおいてのみ撮影画像ＩＭＧが検出手段５ｃにより上下方向に走査されるので、撮影画像ＩＭＧの全ての範囲（画素）が走査される場合と比較すると、処理速度の向上を図ることができる。

（４）変換手段５ｄ
変換手段５ｄは、図２に示すように、路面Ｒに仮想面を設定し、各単眼カメラ３それぞれにより時々刻々と撮影された各時刻における撮影画像ＩＭＧを設定された仮想面に射影して、例えば図４の自車両１の後方部分に示すような上面視の俯瞰画像ｔＩＭＧに変換する。なお、図４の自車両１の後方部分に示す俯瞰画像ｔＩＭＧは、図３に示す自車両１の後方の撮影画像ＩＭＧが変換手段５ｄにより射影変換された画像である。そして、各単眼カメラ３それぞれにより時系列に撮影されて変換手段５ｄにより射影変換された俯瞰画像ｔＩＭＧに関する種々のデータは記憶手段４に記憶される。

（５）合成手段５ｅ
合成手段５ｅは、俯瞰画像ｔＩＭＧ中の障害物１０の下端縁ＥＧに相当する位置にマーキングＭを重畳表示した合成画像ｃＩＭＧを生成する。この実施形態では、合成手段５ｅは、検出手段５ｃにより検出された図３中の下端点ＥＰの俯瞰画像ｔＩＭＧ中での位置を算出する。そして、合成手段５ｅは、図４の自車両１の後方部分に示すように、俯瞰画像ｔＩＭＧ中の下端点ＥＰに相当する位置に”●”をプロットし、各”●”を直線で繋げることにより形成したマーキングＭを俯瞰画像ｔＩＭＧに重畳表示することにより合成画像ｃＩＭＧを生成している。

なお、マーキングＭは、図４に示す例に限らず、俯瞰画像ｔＩＭＧ中における障害物１０の下端縁ＥＧの位置を運転者に容易に認識させることができればどのような形状に形成されていてもよい。例えば、俯瞰画像ｔＩＭＧ中において障害物１０の下端縁ＥＧの位置を塗りつぶすことによりマーキングＭが形成されていてもよい。

（６）表示手段５ｆ
表示手段５ｆは、各単眼カメラ３により撮影された各撮影画像ＩＭＧ、各撮影画像ＩＭＧが変換手段５ｄにより射影変換されて形成された各俯瞰画像ｔＩＭＧ、合成手段５ｅにより生成された合成画像ｃＩＭＧを走行モニタ６に切換表示したり、各画像ＩＭＧ，ｔＩＭＧ，ｃＩＭＧのうちで運転者により選択された画像を走行モニタ６に同時表示する。

例えば、駐車の際のバック走行時に自車両１の後方に障害物１０が存在する場合に、表示手段５ｆは、図４に示すように走行モニタ６に各画像を表示する。すなわち、表示手段５ｆは、走行モニタ６の中央部分に自車両１を示す画像を表示し、各単眼カメラ３により撮影された前方および両側方の各撮影画像ＩＭＧそれぞれの各俯瞰画像ｔＩＭＧを、それぞれ、走行モニタ６中の自車両１の周囲の対応する位置に表示する。また、表示手段５ｆは、走行モニタ６中の自車両１の後方に相当する位置に合成画像ｃＩＭＧを表示する。

なお、図４に示す例では、自車両１の前方および両側方に障害物１０が存在しないため、走行モニタ６中の自車両１の前方および両側方に相当する位置には路面Ｒが表示されている。自車両１の後方と共に、自車両１の前方および両側方のいずれかの位置に障害物１０が存在している場合には、自車両１の後方部分と同様の合成画像ｃＩＭＧが合成手段５ｅより生成される。そして、生成された合成画像ｃＩＭＧが走行モニタ６中の対応する位置に表示手段５ｆにより表示される。

２．動作
次に、上記したように構成された運転支援装置２の動作について図５を参照して説明する。なお、この実施形態では、図４に示すように、駐車の際にバック走行している状態を例に挙げて説明する。

まず、自車両１のシフトレバーがバックポジションに設定されると、図４に示すように、自車両１の前方、後方、両側方それぞれの俯瞰画像ｔＩＭＧが走行モニタ６中の対応する位置に表示手段５ｆにより表示される。具体的には、取得手段５ａから各単眼カメラ３それぞれの撮影画像ＩＭＧが取得される（ステップＳ１）。次に、各撮影画像ＩＭＧ中に含まれる障害物１０が認識手段５ｂにより認識される（ステップＳ２）。

続いて、各撮影画像ＩＭＧそれぞれにおいて、画像中に障害物１０が含まれている場合には、撮影画像ＩＭＧ中における障害物１０と路面Ｒとの境界である下端縁ＥＧが検出手段５ｃにより検出される（ステップＳ３）。次に、各撮影画像ＩＭＧそれぞれが変換手段５ｄにより俯瞰画像ｔＩＭＧに射影変換される（ステップＳ４）。

続いて、各俯瞰画像ｔＩＭＧそれぞれにおいて、画像中に障害物１０が含まれている場合には、俯瞰画像ｔＩＭＧ中の障害物１０の下端縁ＥＧに相当する位置にマーキングＭが重畳表示された合成画像ｃＩＭＧが合成手段５ｅにより生成される（ステップＳ５）。そして、走行モニタ６中の自車両１の前方、後方、両側方それぞれの俯瞰画像ｔＩＭＧが走行モニタ６中の対応する位置に表示手段５ｆにより表示される（ステップＳ６）。

なお、自車両１周辺の障害物１０が存在する方向については、当該方向の俯瞰画像ｔＩＭＧに代えて障害物１０の下端縁ＥＧに相当する位置にマーキングＭが重畳表示された合成画像ｃＩＭＧが表示手段５ｆにより表示される。すなわち、この実施形態では、ＥＣＵ５がプログラムを実行することにより備える機能により、自車両１の周囲が撮影された俯瞰画像ｔＩＭＧまたは合成画像ｃＩＭＧが走行モニタ６に表示される運転支援が実行される。

以上のように、この実施形態によれば、自車両１に搭載された各単眼カメラ３により撮影された自車両１周辺の撮影画像ＩＭＧに含まれる障害物１０がパターンマッチングにより認識手段５ｂにより認識される。また、撮影画像ＩＭＧ中における障害物１０の路面Ｒとの境界である下端縁ＥＧが検出手段５ｃにより検出されて、変換手段５ｄにより撮影画像ＩＭＧが俯瞰画像ｔＩＭＧに射影変換される。

そして、俯瞰画像ｔＩＭＧ中の障害物１０の下端縁ＥＧに相当する位置にマーキングＭを重畳表示して合成手段５ｅにより生成された合成画像ｃＩＭＧが表示手段５ｆにより走行モニタ６に表示される。したがって、表示手段５ｆにより走行モニタ６に表示されている合成画像ｔＩＭＧ中の障害物１０の下端縁ＥＧに相当する位置にマーキングＭが重畳表示されているので、合成画像ｔＩＭＧ中のマーキングＭ部分に着目することにより、合成画像ｔＩＭＧを見た運転者が自車両１と障害物１０との距離を容易に把握することができる。

また、各単眼カメラ３により自車両１の全周囲が撮影されるので、運転者が自車両１の全周囲に対して注意を払うことができる実用的な構成の運転支援装置２を提供することができる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、バック走行の際の自車両１と障害物１０との接触防止を目的として、自車両１の後部にのみ単眼カメラ３が設けられていてもよい。

そして、種々の車両の運転支援に本発明を適用することができる。

１ 自車両
２ 運転支援装置
３ 単眼カメラ（撮影手段）
５ｂ 認識手段
５ｃ 検出手段
５ｄ 変換手段
５ｅ 合成手段
５ｆ 表示手段
６ 走行モニタ（表示手段）
１０ 障害物
ＥＧ 下端縁
ＥＰ 下端点
ＩＭＧ 撮影画像
ｃＩＭＧ 合成画像
ｔＩＭＧ 俯瞰画像
Ｍ マーキング
Ｒ 路面
Ｓ 走査位置

Claims (3)

1. 自車両に搭載され、前記自車両周辺を撮影する撮影手段と、
   前記撮影手段の撮影画像に含まれる障害物をパターンマッチングにより認識する認識手段と、
   前記撮影画像中における前記障害物の路面との境界である下端縁を検出する検出手段と、
   前記撮影画像を俯瞰画像に射影変換する変換手段と、
   前記俯瞰画像中の前記下端縁に相当する位置にマーキングを重畳表示した合成画像を生成する合成手段と、
   前記合成画像を表示する表示手段と
   を備えることを特徴とする運転支援装置。
2. 前記検出手段は、
   前記撮影画像の左右方向において一定間隔ごとに複数の走査位置を設定し、前記各走査位置それぞれにおいて前記撮影画像を上下方向に走査し、前記障害物が存在する場合にはその下端点を前記下端縁として検出する
   ことを特徴とする請求項１に記載の運転支援装置。
3. 前記撮影手段は自車両の全周囲を撮影するものであることを特徴とする請求項１または２に記載の運転支援装置。

Images