JP5556694B2 - 後方支援装置 - Google Patents

Description

本発明は自車両が後退時に後方の視界を支援する後方支援装置に関する。

従来、自車両の後方視界を立体的に支援するために、自車両の予想軌跡を立体的にカメラ画像に重畳したものが知られている（例えば特許文献１や特許文献２を参照）。

特開２００３−０６３３４０号公報（図１０） 特開２００４−２３５９８７号公報（図６）

しかし、従来の後方支援装置では、予想軌跡の立体感を出すために、予想軌跡線にさらに追加の線を重畳していたため、ユーザが表示画面を見づらく感じるという問題があった。例えば、特許文献１に示される立体予想軌跡は平面的な２つの予想軌跡線と互いの予想軌跡線の先端を結ぶ線とから構成されているため、ユーザは表示画面における進行経路領域内の状況を認識しづらい。一方、特許文献２に示される立体予想軌跡は、平面的な予想軌跡線に立体の高さ方向を示す線を追加するのみで構成され、立体の底面を示す線を含まないため、ユーザが感じる表示画面の見づらさは緩和されているものの、立体予想軌跡本来の目的である立体感が損なわれていた。

本発明は、従来の問題を解決するためになされたもので、立体予想軌跡の立体感と進行経路領域内の状況認識のしやすさを両立した後方支援装置を提供することを目的とする。

上記目的を達成するために本発明の後方支援装置の立体予想軌跡は、撮像画像の領域中、立体底面に相当する部分と立体側面のうち進行面に相当する部分を除いてマスクする透過性を有したマスク画像、および、立体の高さ方向に沿った断面から少なくとも底辺を除いた外周を示す外周画像からなり、マスク画像は立体予想軌跡の上面と左右側面を覆い、かつ、マスク画像には撮像画像の領域中、上辺、左辺、右辺が含まれることを特徴とする。

本発明の後方支援装置によれば、立体予想軌跡の立体感と進行経路領域内の状況認識のしやすさを両立することができるという効果を奏する。

本発明の実施形態における後方支援装置の構成を示すブロック図 同図１の要部である画像処理装置が重畳する立体予想軌跡をイメージで説明する図 同図１の要部である画像処理装置による視点変換をイメージで説明する図

以下、本発明の実施形態の後方支援装置について図面を参照しながら説明する。

図１は本発明の実施形態の後方支援装置の構成を示すブロック図である。

図１に示すように、後方支援装置１は、撮像装置２、入力装置３、車速度センサ４、舵角センサ５、ギア６、表示装置７とそれぞれ接続する。撮像装置２、入力装置３、車速度センサ４、舵角センサ５、ギア６、表示装置７は、後方支援装置１に含まれてもよい。例えば車両全体が後方支援装置１を意味すると解しても良い。

後方支援装置１は、揮発性メモリ８と、不揮発性メモリ９と、画像処理装置１０と、制御装置１１と、これらを互いに接続するバス１２とを有する。後方支援装置１は、入力装置３、車速度センサ４、舵角センサ５、ギア６からの入力信号に基づいて撮像装置２から入力された自車両周囲の撮像画像に立体予想軌跡を示す画像を所定時間毎に重畳し、この重畳画像を映像として表示装置７に出力する。

撮像装置２はカメラで構成される。撮像装置２は、自車両の後部に取り付けられる。例えばナンバプレートやトランク近傍に取り付けられる。なお、撮像装置２は複数のカメラで構成されてもよい。また、撮像装置２の取付位置は、自車両の後方を撮像できるのであればいずれの箇所であってもよい。撮像装置２は、所定時間毎に撮像した撮像画像を映像として後方支援装置１に入力する。

入力装置３は、例えばタッチパネルやリモコン、スイッチで構成される。入力装置３は、タッチパネルで構成される場合、表示装置７に設けてもよい。入力装置３は、ユーザによって操作され、ユーザの指示命令を示す入力信号を後方支援装置１に出力する。例えば、入力装置３は、後方支援ガイドの切り替え命令の信号を後方支援装置１に出力する。

車速度センサ４、舵角センサ５、ギア６は、それぞれ自車両の車速を示す車速度信号、ハンドルの切れ角を示す舵角信号、ギアの状態を示すギア信号を後方支援装置１に出力する。

表示装置７は、例えばナビゲーション装置やリアシートのディスプレイで構成される。表示装置７は、後方支援装置１から自車両後方の撮像画像に立体予想軌跡が重畳された重畳画像を入力されて、この重畳画像を映像として表示する。

揮発性メモリ８は、例えばビデオメモリやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成される。揮発性メモリ８は、撮像装置２と接続する。揮発性メモリ８は、撮像装置２から所定時間毎に入力された撮像画像によって得られる映像データを一時記憶する。揮発性メモリ８に記憶された映像データは、バス１２を介して画像処理装置１０に出力される。

不揮発性メモリ９は、例えばフラッシュメモリやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）で構成される。不揮発性メモリ９は、自車両の画像データ、自車両の予想軌跡表示に用いる画像データ等の各種画像データ等を記憶する。不揮発性メモリ９は、後方支援に用いる画像データとして、少なくとも、立体底面に相当する部分と立体側面のうち進行面に相当する部分を除いてマスクする透過性を有したマスク画像、および、立体の高さ方向に沿った断面から少なくとも底辺を除いた外周を示す外周画像を有する。不揮発性メモリ９に記憶された各種画像データは、画像処理装置１０に出力される。

画像処理装置１０は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で構成される。画像処理装置１０は、画像重畳部１０Ａを有し、表示装置７と揮発性メモリ８とに接続する。画像重畳部１０Ａは、揮発性メモリ８から取得した撮像画像に、不揮発性メモリ９から入力された後方支援に用いられる画像データを重畳した重畳画像を所定時間毎に作成する。画像処理装置１０は、この所定時間毎
に作成された合成画像を映像として表示装置７に出力する。

制御装置１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で構成される。制御装置１１は、入力装置３と、車速度センサ４と、舵角センサ５と、ギア６と接続する。制御装置１１は、入力装置３、車速度センサ４、舵角センサ５、ギア６から入力される信号に基づいて、画像処理装置１０の画像処理、揮発性メモリ８や不揮発性メモリ９から読み出すデータ、撮像装置２からの入力や表示装置７への出力等を制御する。

制御装置１１は、ギア６からバックギア信号を取得すると、表示装置７の表示を撮像装置２から取得した自車両の後方画像に切替える。そして、制御装置１１は、舵角センサ５から入力される舵角信号に基づいて、この舵角に対応した自車両の立体予想軌跡を不揮発性メモリ９から読み出し、画像重畳部１０Ａに撮像画像へのこの立体予想軌跡の重畳を命令する。表示装置７は、撮像画像にこの立体予想軌跡が重畳された重畳画像を表示する。

次に、画像処理装置１０が重畳する立体予想軌跡について説明する。

図２は、画像処理装置１０が重畳する立体予想軌跡をイメージで説明する図である。

図２に示すように、撮像装置２の撮影画像２０に、立体予想軌跡が重畳されている。この立体予想軌跡は、ユーザがハンドルを左に切って後進しているときに画像処理装置１０によって重畳される。ここで、立体予想軌跡は、高さ方向に沿った立体断面の外周のうち少なくとも底辺を除いた外周を示す第１〜第３の外周画像２１〜２３と、立体上面・左側面・右側面をそれぞれ示す第１〜第３のマスク画像２４〜２６とから構成される。

まず、第１〜第３の外周画像２１〜２３について説明する。

第１の外周画像２１、自車両から進行方向側に最も離れている。第３の外周画像２３は、最も自車両側に近い。第２の外周画像２２は第１の外周画像２１と第３の外周画像２３の中間に位置する。

第１の外周画像２１は、路面と実空間上で水平な直線を示す第１の水平線２１Ａと、路面と実空間上で垂直な直線を示す第１の左垂直線２１Ｂ、第１の右垂直線２１Ｃとから構成される。第２の外周画像２２は、路面と実空間上で水平な直線を示す第２の水平線２２Ａと、路面と実空間上で垂直な直線を示す第２の左垂直線２２Ｂ、第２の右垂直線２２Ｃとから構成される。第３の外周画像２３は、路面と実空間上で垂直な直線を示す第３の左垂直線２３Ｂ、第１の右垂直線２３Ｃとから構成される。

第１の水平線２１Ａと第２の水平線２２Ａの路面からの実空間上の高さは自車両の車高の高さを示す。なお、安全率として所定の安全率（例えば２００ｍｍ）を加えても良い。

第１〜第３の左垂直線２１Ｂ〜２３Ｂ、第１〜第３の右垂直線２１Ｃ〜２３Ｃの実空間上の位置は、それぞれ自車両の右側方端部の位置、左側方端部の位置を示す。なお、安全率として所定の安全率（例えば２００ｍｍ）を加えても良い。

第１の外周画像２１は、舵角センサ５の値がゼロの近傍のとき、常に第１の水平線２１Ａと第１の左垂直線２１Ｂと第１の右垂直線２１Ｃとが全て撮像画像に重畳される。これによって最終的な目標方向が欠落せずに表示装置７に表示される。

第２の外周画像２２では、第２の水平線２２Ａの右端と第２の右垂直線２２Ｃの上端と
が一部欠落して撮像画像に重畳されている。図２では舵角センサ５が左方向への第１の所定値以上の操舵を検知した場合の第２の外周画像２２の欠落状況が示されているが、舵角センサ５が所定値以下の舵角を検知した場合、第２の水平線２２Ａと第２の左垂直線２２Ｂと第２の右垂直線２２Ｃとが全て撮像画像に重畳される。舵角センサ５が右方向への第１の所定値以上の操舵を検知した場合、逆に第２の水平線２２Ａの左端と第２の左垂直線２２Ｂの上端とが一部欠落して撮像画像に重畳される。なお、図２において、舵角センサ５がこの第１の所定値より大きい第２の所定値以上の左方向への操舵を検知した場合、第２の水平線２２Ａの右端と第２の右垂直線２２Ｃの上端に加えてさらに第２の左垂直線２２Ｂの上端や第２の水平線２２Ａの左端が一部欠落して撮像画像に重畳される。舵角センサ５が第１の所定値より大きい第２の所定値以上の右方向への操舵を検知した場合も同様に、第２の水平線２２Ａの左右端、第２の左垂直線２２Ｂ、第２の右垂直線２２Ｃの上端が一部欠落して撮像画像に重畳される。

第３の外周画像２３では、第１の外周画像２１の第１の水平線２１Ａや第２の外周画像２２の第２の水平線２２Ａのような水平線の画像は常に撮像画像に重畳されない。図２に示すように、舵角センサ５が左方向への所定値以上の操舵を検知した場合、第３の左垂直線２３Ｂは第３の右垂直線２３Ｃよりも大きく欠落して撮像画像に重畳される。一方、舵角センサ５が右方向への所定値以上の操舵を検知した場合、第３の右垂直線２３Ｃが第３の左垂直線２３Ｂよりも大きく欠落して撮像画像に重畳される。

次に、立体予想軌跡の立体上面・左側面・右側面をそれぞれ示す第１〜第３のマスク画像２４〜２６について説明する。

第１〜第３のマスク画像２４〜２６は、透過性を有する同一の単色で構成される。第１のマスク画像２４と第２のマスク画像２５との境界、第２のマスク画像２５と第３のマスク画像２６との境界には、第１のスリット２７、第２のスリット２８がそれぞれ設けられている。この第１、第２のスリット２７、２８を設けることによって、立体予想軌跡の上面と側面の境界を認識しやすくすることができる。

撮像画像２０の撮像画像の領域中、第１〜第３のマスク画像２４〜２６がマスクする領域は、立体底面に相当する部分２９と立体側面のうち進行面に相当する部分３０を除いた領域で構成される。立体底面に相当する部分２９が２次元的に路面投影される従来の走行予想軌跡線で囲まれる領域に相当する。第１〜第３の左垂直線２１Ｂ〜２３Ｂをつないだ第２のマスク画像２５のエッジ２５Ａは、自車両左側方端部の舵角に応じた予想軌跡を示す。第１〜第３の右垂直線２１Ｃ〜２３Ｃをつないだ第３のマスク画像２６のエッジ２６Ａは、自車両右側方端部の舵角に応じた予想軌跡を示す。このエッジ２５Ａ、２６Ａによって、自車両の予想軌跡を示すために、従来のように自車両の進行経路上に線を重畳せずに済むため、自車両の進行経路を見やすくすることができる。また、路面上に非透過の実線や破線などを描画する必要がなくなり、この実線や破線で撮像画像を隠さずにすむため、撮像画像の視認性を維持することができる。また、立体側面のうち進行面に相当する部分３０は、第１の外周画像２１で囲まれる範囲の少なくとも一部で構成される。

撮像画像２０の撮像画像の領域中、第１のマスク画像２４がマスクする領域は、第１の水平線２１Ａ、第１のスリット２７、第２のスリット２８と撮像画像２０の外周（撮像画像２０の上辺）とで囲まれる領域で示される。また、撮像画像２０の撮像画像の領域中、第２のマスク画像２５がマスクする領域は、第１の左垂直線２１Ｂ、第１のスリット２７、エッジ２５Ｂと撮像画像２０の外周（撮像画像２０の左辺）とで囲まれる領域で示される。また、撮像画像２０の撮像画像の領域中、第３のマスク画像２６がマスクする領域は、第１の右垂直線２１Ｃ、第２のスリット２８、エッジ２６Ｂと撮像画像２０の外周（撮像画像２０の右辺）とで囲まれる領域で示される。なお、第１のスリット２７、第２のス
リット２８を設けずにマスク画像をひとつながりにしてもよい。

また、図２に示されるように、第１〜第３のマスク画像２４〜２６において自車両の進行方向側にそれぞれ第１〜第３のグラデーション部２４Ａ〜２６Ａを設けても良い。これにより、立体側面のうち進行面に相当する部分３０が進行方向であることがユーザにとって直感的に認識をしやすくさせることができる。

次に、画像処理装置１０が図２に示される表示映像を作成する際に行う視点変換について説明する。図２の撮像画像２０は、画像処理装置１０によって、揮発性メモリから取得した撮像画像が仮想視点変換されたものである。図３は、画像処理装置１０による視点変換をイメージで説明する図である。図３に示すように、画像処理装置１０は、取得した撮像画像を、仮想視点３１から見たときの画像に視点変換する。この仮想視点３１は、自車両の車高以下の位置に設定される。換言すると、図３に示すように、仮想視点３１は、ゼロ以上の値であるΔｈだけ自車両の車高以下の位置に設定される。このとき、仮想視点３１の画角３２内には、第１〜第３のマスク画像２４〜２６、第１〜第３の外周画像２１〜２３が全て含まれている。

図３の紙面に垂直な線を軸としたとき、仮想視点３１のとりうる角度範囲は、第１の外周画像２１の上端である第１の水平線２１Ａと画角３２の上限とが接するときの角度より大きく、第１〜第３のマスク画像２４〜２６の自車両方向上端３３と画角３２の上限とが接するときの角度以下に設定される。このとき、仮想視点３１の画角３２内には、少なくとも、第１〜第３のマスク画像２４〜２６の一部と、第１の外周画像２１の全てと、第２・第３の外周画像２２、２３の一部とが含まれている。

画像処理装置１０は、仮想視点３１を上記の角度範囲に設定して視点変換処理を行うことによって、図２に示すように、立体底面に相当する部分２９と立体側面のうち進行面に相当する部分３０を除いた領域を第１〜第３のマスク画像２４〜２６でマスクした表示映像を作成することができる。そして、画像処理装置１０が視点変換して立体予想軌跡を重畳した重畳画像において、少なくとも第１の外周画像２１は画面外に切れず、形状（コ字状）が保たれる。これによって、立体側面のうち進行面に相当する部分３０を表すことができる。

以上のように、画像重畳部１０Ａは、撮像画像２０の領域中、立体底面に相当する部分２９と立体側面のうち進行面に相当する部分３０を除いてマスクする透過性を有した第１〜第３のマスク画像２４〜２６、および、立体の高さ方向に沿った断面から少なくとも底辺を除いた外周を示す第１〜第３の外周画像２１〜２３を撮像画像２０に重畳することによって立体予想軌跡を構成している。画像重畳部１０Ａは、この立体予想軌跡を重畳した重畳画像を表示装置７に出力する。これにより、進行経路領域である立体底面に相当する部分２９と進行面に相当する部分３０に重畳画像をなくすことができる。例えば、エッジ２５Ｂ、２６Ｂに相当する部分や、立体底面に相当する部分２９と進行面に相当する部分３０との境界線を無くすことができる。一方で、立体予想軌跡の立体感・自車両の進行方向の案内を維持することができる。したがって、自車両の進行経路におけるユーザの視界・状況認識の維持と立体感を維持した後方案内との両立を図ることができる。

なお、本実施形態では、第１〜第３の外周画像２１〜２３が撮像画像２０に重畳されたが、少なくとも第１の外周画像２１と第２の外周画像２２が重畳されればよい。少なくとも外周画像が２つ重畳されることで、立体予想軌跡の奥行き感を表すことができる。

本発明の後方支援装置は、後方駐車時に自車両の予想軌跡を立体的に案内する点で有用
である。

１ 後方支援装置
２ 撮像装置
７ 表示装置
１０ 画像処理装置
１０Ａ 画像重畳部

Claims (6)

1. 入力された自車両後方の撮像画像を記憶する記憶手段と、
   この記憶手段に記憶された撮像画像に、舵角に応じた自車両が走行する立体予想軌跡を重畳し、この重畳画像を表示手段に出力する重畳手段とを備え、
   前記立体予想軌跡は、前記撮像画像の領域中、立体底面に相当する部分と立体側面のうち進行面に相当する部分を除いてマスクする透過性を有したマスク画像、および、立体の高さ方向に沿った断面から少なくとも底辺を除いた外周を示す外周画像からなり、前記マスク画像は前記立体予想軌跡の上面と左右側面を覆い、かつ、前記マスク画像には前記撮像画像の領域中、上辺、左辺、右辺が含まれることを特徴とする後方支援装置。
2. 前記マスク画像は一色で構成されたことを特徴とする請求項１に記載の後方支援装置。
3. 前記外周画像は、複数の外周画像で構成され、この複数の外周画像のうち少なくとも最も進行方向側を示す第１の外周画像はコ字状に構成されたことを特徴とする請求項１または２に記載の後方支援装置。
4. 前記マスク画像には、前記外周画像の端部を結ぶスリットが設けられていることを特徴とする請求項１ないし３のいずれかに記載の後方支援装置。
5. 自車両後方を撮像する前記記憶手段に撮像画像を出力する撮像手段と、前記重畳手段から出力された重畳画像を表示する表示手段をさらに備えたことを特徴とする請求項１ないし４のいずれかに記載の後方支援装置。
6. 舵角を検出する舵角検出手段をさらに備え、前記重畳手段は前記舵角検出手段が検出した舵角に応じて前記立体予想軌跡を重畳することを特徴とする請求項１ないし５のいずれかに記載の後方支援装置。