JP6466178B2 - 車両運転支援装置 - Google Patents

Description

本発明は、車両後方を撮像して車室内にて表示を行う車両運転支援装置に関する。

従来から、車両後方をカメラで撮像して車室内の画面に表示するようにした車両運転支援装置が知られている（例えば、特許文献１参照。）。この車両運転支援装置では、車両の前後左右にカメラが取り付けられており、車両が所定速度以上で走行中に左右のカメラで撮像された車両後方の画像が、車室内に設けられた表示装置に表示される。車両の運転者は、振り返ることなく、車両後方を走行する他の車両を確認することが可能となる。

特開２００７−２３７９６４号公報

ところで、上述した特許文献１に開示された車両運転支援装置のようにカメラで車両周辺を撮像してその画像を表示する場合に、複数のカメラの撮像範囲が隣接するように設定されていると、その境界付近を走行中の車両の画像が一部重複するおそれがある。特に、２つのカメラの画像が路面上で連続するように撮像範囲が設定されている場合には、路面よりも高い位置にある車両のフロントグリルを撮像すると、２つの画像を並べてもその内容が連続せずに、フロントグリルの一部が２つの画像のどちらにも含まれるようになる。

このような部分的な重複が含まれる画像は、不自然ではあるが、昼間に走行中に運転者が後続の車両の存在を認識する用途を考えると、大きな不都合はないと考えることもできる。しかし、夜間の場合には状況は異なり、２つのカメラの撮像範囲の境界近傍に後続車両の前照灯が位置するような場合に、この前照灯の画像が重複すると、運転者が後続車両の台数や位置を誤認識するという問題があった。例えば、通常は横並びの左右各１個、合計２個の前照灯に対応する高輝度の部分画像が撮像画像に含まれることを確認して後続車両の存在を認識することになるが、前照灯の画像が重複する場合には、その左右のいずれかにさらに１個の高輝度の部分画像が追加された撮像画像が表示されることになるため、別の１台の後続車両が近づいている場合や、二輪車が後続車両と併走している場合と勘違いするおそれがあり、それらの位置関係もよくわからなくなってしまう。

本発明は、このような点に鑑みて創作されたものであり、その目的は、撮像した画像を表示する際の誤認識を防止することができる車両運転支援装置を提供することにある。

上述した課題を解決するために、本発明の車両運転支援装置は、車両の後方に取り付けられた後方カメラと、車両の側方に取り付けられた側方カメラと、後方カメラで車両後方を撮像した第１の画像と、側方カメラで車両後方を撮像した第２の画像を並べて表示手段に表示する画像処理手段とを備え、画像処理手段は、第１の画像と第２の画像を並べたときに、隣接する領域において重複した部分画像が第１および第２の画像のそれぞれに含まれる場合に、第１および第２の画像のいずれか一方に含まれる部分画像を除去する。また、上述した部分画像は、車両の後方を走行する他の車両の前照灯である。特に、上述した部分画像は、夜間時に点灯している前照灯であることが望ましい。

後方カメラと側方カメラで車両後方を撮像し、得られた撮像画像を並べて表示する際に、これらの撮像画像の隣接する領域に同じ部分画像が重複して表示される場合には、これら重複した２つの部分画像の一方が除去されるため、表示された画像を見た利用者は、１台の車両を誤って２台の車両として認識することがなく、別の１台の後続車両が近づいている場合や二輪車が後続車両と併走している場合と勘違いするおそれがなく、撮像した画像を表示する際の誤認識を防止することが可能となる。

また、上述した後方カメラおよび側方カメラは、車両の後方を走行する他の車両の前照灯よりも高い位置に設置されていることが望ましい。これにより、後方車両の前照灯よりも高い位置にある画像を前照灯と分離することができ、前照灯以外の部分画像を前照灯として誤認識することを防止することができる。

また、上述した画像処理手段は、部分画像を所定の色で塗りつぶすことにより部分画像の除去を行うことが望ましい。また、塗りつぶしに用いられる所定の色は、部分画像の周囲の画像の色であることが望ましい。これにより、重複して表示された部分画像を目立たなくすることができる。

また、上述した画像処理手段は、第１および第２の画像の両方に含まれる部分画像について、その位置および形状に基づいて同一か否かを判定し、同一である旨の判定を行ったときに部分画像の除去を行うことが望ましい。これにより、第１および第２の画像のそれぞれに含まれる部分画像が重複したものであることを正確に判定することができる。

また、上述した画像処理手段は、第２の画像に含まれる部分画像を除去することが望ましい。後方カメラで撮像した画像を優先的に表示させることにより、後方カメラの撮像範囲に含まれる後方車両の全体を表示することが可能となり、部分画像除去後により自然な画像を得ることができる。

一実施形態の車両運転支援装置の構成を示す図である。 後方カメラ、右側方カメラ、左側方カメラの設置位置と撮像範囲を示す図である。 第１および第２の画像に同じ前照灯の画像が含まれる具体例をケースを示す図である。 図３に対応する第１および第２の画像を合成した画像を示す図である。 画像合成部によって作成された合成画像を示す図である。

以下、本発明を適用した一実施形態の車両運転支援装置について、図面を参照しながら説明する。図１は、一実施形態の車両運転支援装置の構成を示す図である。図１に示すように、本実施形態の車両運転支援装置１は、後方カメラ１０Ｂ、右側方カメラ１０Ｒ、左側方カメラ１０Ｌ、画像格納部１２Ｂ、１２Ｒ、１２Ｌ、画像処理部２０、表示装置３０を備えている。この車両運転支援装置１は、後方カメラ１０Ｂによって撮像された画像の左右に右側方カメラ１０Ｒで撮像した画像や左側方カメラ１０Ｌによって撮像された画像を並べて表示する。

後方カメラ１０Ｂ、右側方カメラ１０Ｒ、左側方カメラ１０Ｌのそれぞれは、自車両の後方を広角レンズ（望ましくは魚眼レンズ）を通して撮像する。これらの後方カメラ１０Ｂ、右側方カメラ１０Ｒ、左側方カメラ１０Ｌは、自車両の後方を走行する他の車両の前照灯の位置よりも高い位置に取り付けられている。

図２は、後方カメラ１０Ｂ、右側方カメラ１０Ｒ、左側方カメラ１０Ｌの設置位置と撮像範囲を示す図である。自車両１００の後部の例えばトランクドア周囲やナンバープレート上部に後方カメラ１０Ｂが設置されている。また、右側のドアミラーに右側方カメラ１０Ｒが、左側のドアミラーに左側方カメラ１０Ｌがそれぞれ設置されている。

後方カメラ１０Ｂは、１８０度の視野角を有する魚眼レンズを通して車両後方を撮像する。また、右側方カメラ１０Ｒと左側方カメラ１０Ｌのそれぞれは、車両の右側面あるいは左側面よりも外側の車両後方を撮像する。

１８０度の視野角を有する後方カメラ１０Ｂの撮像範囲は、右側方カメラ１０Ｒの撮像範囲や左側方カメラ１０Ｌの撮像範囲と部分的に重複するが、本実施形態では、後方カメラ１０Ｂの撮像によって得られた画像についてはこの重複部分は使用せず、右側方カメラ１０Ｒや左側方カメラ１０Ｌによって撮像された画像が用いられる。なお、隣接する画像の境界は、必ずしも図２に示すように右側面および左側面に沿った位置にする必要はなく、適宜変更するようにしてもよい。

後方カメラ１０Ｂによる撮像によって得られた画像は画像格納部１２Ｂに格納される。同様に、右側方カメラ１０Ｒによる撮像によって得られた画像は画像格納部１２Ｒに格納される。左側方カメラ１０Ｌによる撮像によって得られた画像は画像格納部１２Ｌに格納される。なお、本実施形態では、後方カメラ１０Ｂによって撮像された画像の左右に右側方カメラ１０Ｒで撮像した画像や左側方カメラ１０Ｌによって撮像された画像を並べて配置するため、撮像された画像の縮尺や視点位置を必要に応じて調整することが望ましい。例えば、魚眼レンズを通して撮像された後方カメラ１０Ｂの画像の歪みを除去するとともに縮尺を調整する画像変換部を画像格納部１２Ｂの後段に設ける場合が考えられる。同様の画像変換部は、画像格納部１２Ｒ、１２Ｌ側に設けてもよいし、画像格納部１２Ｂ、１２Ｒ、１２Ｌのそれぞれに設けてもよい。

画像処理部２０は、後方カメラ１０Ｂで車両後方を撮像した画像（第１の画像）と、右側方カメラ１０Ｒ、左側方カメラ１０Ｌで車両後方を撮像した画像（第２の画像）とを並べて表示装置３０に表示する。画像処理部２０が画像処理手段に対応する。具体的には、画像処理部２０は、第１の画像と第２の画像を並べたときに、隣接する領域において重複した部分画像が第１および第２の画像のそれぞれに含まれる場合に、第１および第２の画像のいずれか一方に含まれる部分画像を除去する。

このために、画像処理部２０は、右側重複判定部２２Ｒ、左側重複判定部２２Ｌ、右側重複除去部２４Ｒ、左側重複除去部２４Ｌ、画像合成部２６、表示処理部２８を備えている。

右側重複判定部２２Ｒは、後方カメラ１０Ｂによって撮像されて画像格納部１２Ｂに格納された画像（第１の画像）と、右側方カメラ１０Ｒによって撮像されて画像格納部１２Ｒに格納された画像（第２の画像）とに基づいて、これら２つの画像を並べて表示する際に、隣接する領域において重複した部分画像が存在するか否かを判定する。

同様に、左側重複判定部２２Ｌは、後方カメラ１０Ｂによって撮像されて画像格納部１２Ｂに格納された画像（第１の画像）と、左側方カメラ１０Ｌによって撮像されて画像格納部１２Ｌに格納された画像（第２の画像）とに基づいて、これら２つの画像を並べて表示する際に、隣接する領域において重複した部分画像が存在するか否かを判定する。

本実施形態では、重複の判定となる部分画像として、自車両の後方を走行する他の車両の前照灯、特に、夜間時に点灯している前照灯を想定している。したがって、右側重複判定部２２Ｒおよび左側重複判定部２２Ｌのそれぞれでは、同じ前照灯の画像が、第１の画像に含まれると同時に第２の画像にも含まれていないか否かを判定している。

図３は、第１および第２の画像に同じ前照灯の画像が含まれる具体例をケースを示す図である。また、図４は、図３に対応する第１および第２の画像を合成した画像を示す図である。図４に示す表示例では、表示対象として夜間時の前照灯画像に着目しており、この前照灯画像が明るいのに対し、車両２００のその他の部位や車両２００周囲の道路や背景が暗くなってほとんど見えない状態になる。街路灯などの明るさによっては見える場合もあるが、本実施形態では、前照灯画像に着目して重複のない表示を行うことを目的としているため、図４に示す例では、前照灯ＨＲ、ＨＬのみが含まれるように表示されている。

図３に示すケースでは、自車両１００の右寄りの後方を他の車両２００が走行し、車両２００の右側前照灯ＨＲが、右側方カメラ１０Ｒの撮像範囲内に進入しているような場合を考えるものとする。この場合に、右側方カメラ１０Ｒの撮像範囲に車両２００の右側前照灯ＨＲが含まれるため、図４に示すように、右側方カメラ１０Ｒの撮像によって得られた第２の画像３１０には、左側端部近傍に右側前照灯ＨＲの画像が含まれる。

また、後方カメラ１０Ｂの撮像によって得られた第１の画像３００には、後方カメラ１０Ｂの撮像範囲から外れる右側前照灯ＨＲの画像は含まれないはずであるが、路面よりも高い位置にある被写体が後方カメラ１０Ｂの撮像範囲に含まれるのか、右側方カメラ１０Ｒの撮像範囲に含まれるのかを正確に判定することは難しく、図３に示すケースのような場合には、後方カメラ１０Ｂの撮像によって得られた第１の画像３００の右側端部近傍に右側前照灯ＨＲの画像が含まれる場合も起こりうる（図４）。

右側重複判定部２２Ｒは、図４に示す第１の画像３００と第２の画像３１０に、同じ右側前照灯ＨＲの画像が含まれるか否かを判定する。なお、図３に示した車両２００の走行位置がさらに右側に寄って、図３に示す右側前照灯ＨＲの位置に左側前照灯ＨＬがきた場合には、第１の画像３００と第２の画像３１０に同じ左側前照灯ＨＬの画像が含まれるおそれがあるため、右側重複判定部２２Ｒは、第１の画像３００と第２の画像３１０に、同じ右側前照灯ＨＲの画像だけでなく、同じ左側前照灯ＨＬの画像が含まれるか否かも判定する。この第１の画像３００と第２の画像２１０に同じ右側前照灯ＨＲの画像や同じ左側前照灯ＨＬの画像が含まれるか否かの判定は、右側前照灯ＨＲあるいは左側前照灯ＨＬの候補となる部分画像の位置および形状に基づいて行われる。例えば、図４に示す場合には、高輝度（高輝度であることにより前照灯が点灯していると考えることができる）を有する部分画像（第１の画像３００に含まれる左側前照灯ＨＬおよび右側前照灯ＨＲのそれぞれに対応する部分画像と、第２の画像３１０に含まれる右側前照灯ＨＲに対応する部分画像）を抽出し、これらの部分画像がほぼ同じ大きさの円形形状を有し、第１の画像３００に含まれる右側前照灯ＨＲの部分画像と左側前照灯ＨＬの部分画像との間が所定の距離隔たっているとともに、第１の画像３００に含まれる右側前照灯ＨＲの部分画像と第２の画像３１０に含まれる右側前照灯ＨＲの部分画像との間の距離が近い場合に、右側前照灯ＨＲの部分画像が第１の画像３００と第２の画像３１０の両方に重複して含まれていると考えることができる。なお、前照灯ＨＲ、ＨＬよりも高い位置に後方カメラ１０Ｂ、右側方カメラ１０Ｒ、左側方カメラ１０Ｌのそれぞれが取り付けられているため、第１の画像３００および第２の画像３１０の中で所定の高さよりも下側に前照灯ＨＲ、ＨＬの画像が含まれるはずであり、それよりも高い位置にある高輝度の部分画像を判定対象から排除することができる。

右側重複画像除去部２４Ｒは、第１の画像３００と第２の画像３１０に同じ部分画像（右前照灯ＨＲあるいは左前照灯ＨＬの画像）が含まれていると右側重複判定部２２Ｒによって判定されたときに、重複した一方の部分画像を削除する。例えば、第２の画像３１０に含まれる部分画像を除去する。なお、第１の画像３００に左側前照灯ＨＬと右側前照灯ＨＲの両方の画像が含まれ、第２の画像３１０に右側前照灯ＨＲのみの画像が含まれる場合には第２の画像３１０に含まれる右側前照灯ＨＲの画像を削除し、第２の画像３１０に左側前照灯ＨＬと右側前照灯ＨＲの両方の画像が含まれ、第１の画像３００に左側前照灯ＨＬのみの画像が含まれる場合には第１の画像３００に含まれる左側前照灯ＨＬの画像を除去するようにしてもよい。

また、部分画像の除去は、この部分画像を所定の色で塗りつぶすことにより行われる。この所定の色は、暗い色（例えば黒や灰色など）を用いる場合の他、除去する部分画像の周囲の色を用いる場合が考えられる。これにより、夜間時の前照灯の重複した画像を目立たなくすることができる。

同様に、左側重複判定部２２Ｌは、第１の画像３００と第２の画像３１０に、同じ左側前照灯ＨＬの画像、あるいは、同じ右側前照灯ＨＲの画像が含まれるか否かを判定する。左側重複画像除去部２４Ｌは、第１の画像３００と第２の画像３１０に同じ部分画像（右前照灯ＨＲあるいは左前照灯ＨＬの画像）が含まれていると左側重複判定部２２Ｌによって判定されたときに、重複した一方の部分画像を削除する。

画像合成部２６は、画像格納部１２Ｂに格納された後方カメラ１０Ｂの画像（第１の画像３００）の右側に画像格納部１２Ｒに格納された右側方カメラ１０Ｒの画像（第２の画像３１０）を、左側に画像格納部１２Ｌに格納された左側方カメラ１０Ｌの画像（第２の画像３１０）を並べて配置するように画像合成を行う。上述した右側重複画像除去部２４Ｒあるいは左側重複画像除去部２４Ｌによる部分画像の除去は、この画像合成と同時あるいは前後して行われる。

図５は、画像合成部２６によって作成された合成画像を示す図である。この合成画像では、第１の画像３００の右側に配置された第２の画像３１０に含まれる右前照灯ＨＲの重複した部分画像が除去されている。

表示処理部２８は、画像合成部２６によって合成され、重複した部分画像が除去された後の画像を表示装置３０に表示する。表示装置３０は、例えば液晶表示装置（ＬＣＤ）を用いて構成されており、運転者が容易に目視可能な車室内位置、例えば、バックミラーの一部やメータパネル周りに設置されている。

このように、本実施形態の車両運転支援装置１では、後方カメラ１０Ｂ、右側方カメラ１０Ｒおよび左側方カメラ１０Ｌで自車両１００の後方を撮像し、得られた撮像画像を並べて表示する際に、これらの撮像画像の隣接する領域に同じ部分画像（具体的には、夜間時に点灯している前照灯）が重複して表示される場合には、これら重複した２つの部分画像の一方が除去されるため、表示された画像を見た利用者は、１台の車両を誤って２台の車両として認識することがなく、別の１台の後続車両が近づいている場合や二輪車が後続車両と併走している場合と勘違いするおそれがなく、撮像した画像を表示する際の誤認識を防止することが可能となる。

また、後方カメラ１０Ｂ、右側方カメラ１０Ｒ、左側方カメラ１０Ｌは、自車両１００の後方を走行する他の車両２００の前照灯ＨＲ、ＨＬよりも高い位置に設置されているため、他の車両２００の前照灯ＨＲ、ＨＬよりも高い位置にある画像をこれらの前照灯と分離、識別することが容易となり、前照灯以外の部分画像を前照灯として誤認識することを防止することができる。

また、部分画像を所定の色で塗りつぶすことにより、あるいは、部分画像の周囲の画像の色で塗りつぶすことにより、部分画像の除去を行っている。これにより、重複して表示された部分画像を目立たなくすることができる。

また、重複した部分画像が第１の画像３００と第２の画像３１０の両方に含まれるか否かを、部分画像の位置および形状に基づいて判定している。これにより、重複した部分画像の存在を正確に判定することができる。

また、重複した部分画像が存在する場合に、第２の画像３１０に含まれる部分画像を除去し、後方カメラ１０Ｂで撮像した画像を優先的に表示させることにより、後方カメラ１０Ｂの撮像範囲に含まれる後方車両の全体を表示することが可能となり、部分画像除去後により自然な画像を得ることができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、後方カメラ１０Ｂ、右側方カメラ１０Ｒ、左側方カメラ１０Ｌの取り付け位置よりも他の車両２００の前照灯の位置が低いものとしたが、他の車両２００の前照灯の位置の方が高い場合も処理（部分画像の除去）の対象に含めるようにしてもよい。例えば、バスやトラックなどの車両については高い位置に前照灯が取り付けられている場合があり、これらの前照灯の部分画像が重複した場合も同様に除去することができる。

また、上述した実施形態では、一例として前照灯の形状が円形である場合について説明したが、その他の形状であっても既知の形状であれば、その形状を記憶しておいて前照灯の部分画像を抽出する際に用いることができる。

上述したように、本発明によれば、後方カメラと側方カメラで車両後方を撮像し、得られた撮像画像を並べて表示する際に、これらの撮像画像の隣接する領域に同じ部分画像が重複して表示される場合には、これら重複した２つの部分画像の一方が除去されるため、表示された画像を見た利用者は、１台の車両を誤って２台の車両として認識することがなく、別の１台の後続車両が近づいている場合や二輪車が後続車両と併走している場合と勘違いするおそれがなく、撮像した画像を表示する際の誤認識を防止することが可能となる。

１ 車両運転支援装置
１０Ｂ 後方カメラ
１０Ｒ 右側方カメラ
１０Ｌ 左側方カメラ
１２Ｂ、１２Ｒ、１２Ｌ 画像格納部
２０ 画像処理部
２２Ｒ 右側重複判定部
２２Ｌ 左側重複判定部
２４Ｒ 右側重複画像除去部
２４Ｌ 左側重複画像除去部
２６ 画像合成部
２８ 表示処理部
３０ 表示装置

Claims (7)

1. 車両の後方に取り付けられた後方カメラと、
   車両の側方に取り付けられた側方カメラと、
   前記後方カメラで車両後方を撮像した第１の画像と、前記側方カメラで車両後方を撮像した第２の画像を並べて表示手段に表示する画像処理手段と、
   を備え、前記画像処理手段は、前記第１の画像と前記第２の画像を並べたときに、隣接する領域において重複した部分画像が前記第１および第２の画像のそれぞれに含まれる場合に、前記第１および第２の画像のいずれか一方に含まれる前記部分画像を除去し、
   前記部分画像は、車両の後方を走行する他の車両の前照灯であることを特徴とする車両運転支援装置。
2. 請求項１において、
   前記部分画像は、夜間時に点灯している前照灯であることを特徴とする車両運転支援装置。
3. 請求項１または２において、
   前記後方カメラおよび前記側方カメラは、車両の後方を走行する他の車両の前照灯よりも高い位置に設置されていることを特徴とする車両運転支援装置。
4. 請求項１〜３のいずれか一項において、
   前記画像処理手段は、前記部分画像を所定の色で塗りつぶすことにより前記部分画像の除去を行うことを特徴とする車両運転支援装置。
5. 請求項４において、
   塗りつぶしに用いられる前記所定の色は、前記部分画像の周囲の画像の色であることを特徴とする車両運転支援装置。
6. 請求項１〜５のいずれか一項において、
   前記画像処理手段は、前記第１および第２の画像の両方に含まれる前記部分画像について、その位置および形状に基づいて同一か否かを判定し、同一である旨の判定を行ったときに前記部分画像の除去を行うことを特徴とする車両運転支援装置。
7. 請求項１〜６のいずれか一項において、
   前記画像処理手段は、前記第２の画像に含まれる前記部分画像を除去することを特徴とする車両運転支援装置。

Images