JP5811804B2 - 車両用周辺監視装置 - Google Patents

Description

本発明は、車両用周辺監視装置に関する。

従来から、車両に搭載された複数のカメラの画像に基づいて合成画像を生成し、当該合成画像を車室内のディスプレイに表示する画像生成装置が知られている（例えば、特許文献１参照）。この特許文献１に記載の構成では、仮想視点から視た合成画像を含む表示用画像がディスプレイに表示される。この仮想視点は、車両の周辺の任意の視点位置に任意の視野方向に向けて設定される。

また、バックミラーに自車から撮像した映像を表示する技術が知られている（例えば、特許文献２参照）。

特開２０１０−２７４８１３号公報 特開昭６３−２７４２８６号公報

しかしながら、特許文献１に記載のような構成では、ディスプレイに表示される合成画像は、あくまで現時点の自車位置にて自車に搭載されるカメラにより現時点で撮像された画像を用いて生成されているので、自車後方を広範に表示できる合成画像を得ることが困難である。即ち、合成画像は、現時点の自車位置にあるカメラにより現時点で撮像された画像に基づいて生成されるので、車両後方の情報量が乏しくなる。

この点、車両の後方を向いたカメラ（バックカメラ）の後方画像を用いれば、車両後方の情報量を増大させることができるが、このような後方画像をそのまま表示すると、運転者の視線とは逆向きの視線の画像となり、運転者が車両後方を主体とした周辺の状況を直感的に瞬時に把握することが困難である。また、側方や斜後方視覚等の情報はカメラの画角的に表示困難である。また、特許文献１に記載の技術を適用して、後方画像を用いて、車両の後方位置から前方に向けた仮想視点からみた合成画像を生成する場合であっても、視点変換に伴う画像の歪等に起因して、合成画像が認識し難いもの（不自然な画像）になるか、或いは、結局、後方画像の利用範囲を小さくする必要が生じることが、予測される。

そこで、本発明は、運転者が車両後方を主体とした周辺の状況を直感的に把握できる自然な画像を出力することが可能な車両用周辺監視装置の提供を目的とする。

上記目的を達成するため、本発明の一局面によれば、処理装置を含み、
前記処理装置は、現時点の自車位置より所定距離後方に位置するカメラにより撮像した画像に基づいて、自車の前進走行中に、自車に搭載される表示装置に、自車後方から前方に自車を視た画像又は映像（以下、自車後方前向き画像という）を出力し、
前記カメラは、自車に搭載され、
前記現時点の自車位置より所定距離後方に位置するカメラにより前方を撮像した画像とは、自車が現時点の自車位置より所定距離後方の地点を通過したときに前記カメラにより撮像された過去画像であり、
前記自車後方前向き画像は、前記過去画像に、周辺移動体を表す周辺移動体表示を合成して生成され、
前記周辺移動体表示の合成位置は、現時点の周辺移動体と自車との相対位置関係に基づいて決定されることを特徴とする、車両用周辺監視装置が提供される。

本発明によれば、運転者が車両後方を主体とした周辺の状況を直感的に把握できる自然な画像を出力することが可能な車両用周辺監視装置が得られる。

一実施例による車両用周辺監視装置１の基本構成を示す図である。 自車後方前向き画像の一例を示す図である。 運転者に対して車両用周辺監視装置１により自車後方前向き画像が提供される様子を模式的に示す図である。 カメラの配置態様の説明図である。 好ましい一実施例による車両用周辺監視装置１の構成を示す図である。 自車と周辺移動体とが走行している状況を上面視（Ａ）と側面視（Ｂ）で概略的に示す図である。 合成された周辺移動体表示を含む前方環境画像の複数の例を示す図である。 移動体消去処理の一例を示す図である。 図５に示す車両用周辺監視装置１の処理装置１０により実行されてもよい主要処理の一例を示すフローチャートである。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、車両用周辺監視装置１の基本構成を示す図である。車両用周辺監視装置１は、車両に搭載される。車両用周辺監視装置１は、処理装置１０を含む。

処理装置１０は、ＣＰＵを含む演算処理装置により構成されてもよい。処理装置１０の機能は、任意のハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせにより実現されてもよい。例えば、処理装置１０の機能の任意の一部又は全部は、特定用途向けＡＳＩＣ（application‐specific integrated circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（digital signal processor）により実現されてもよい。また、処理装置１０は、複数の処理装置により実現されてもよい。

処理装置１０には、ディスプレイ２０が接続される。尚、処理装置１０とディスプレイ２０との接続は、有線であっても無線であってもよく、また、直接的な態様であっても間接的な態様であってもよい。また、処理装置１０の機能の一部又は全部がディスプレイ２０内の処理装置（図示せず）により実現されてもよい。

ディスプレイ２０は、液晶ディスプレイやＨＵＤ（ヘッドアップディスプレイ）のような任意の表示装置であってよい。ディスプレイ２０は、車室内の適切な位置（例えば、インストルメントパネルの中央部下側）に配置される。

処理装置１０には、車速を検出する車速センサ３０が接続される。尚、同様に、処理装置１０と車速センサ３０との接続は、有線であっても無線であってもよく、また、直接的な態様であっても間接的な態様であってもよい。

処理装置１０は、現時点の自車位置より所定距離Ｌ０後方に位置するカメラにより前方を撮像した画像に基づいて、自車の前進走行中に、自車後方から前方に自車を視た画像又は映像（以下、自車後方前向き画像という）をディスプレイ２０に出力する。

所定距離Ｌ０は、自車からその後方の視点までの距離に対応し、視点の相対位置に関するパラメータである。所定距離Ｌ０は、任意であり、固定値（例えば３０ｍ等）であってもよいし、可変値であってもよい。例えば、所定距離Ｌ０は、車両後方の監視すべき距離（可変距離又は固定距離）の最大値に対応してもよい。また、所定距離Ｌ０は、車速や、一般道路や高速道路等のような道路属性、法定速度等に応じて可変されてもよい。例えば、所定距離Ｌ０は、自車の車速が相対的に低速である場合は、相対的に高速である場合に比べて、短く設定されてもよい。

自車の前進走行中か否かは、車速センサ３０の出力に基づいて判定されてもよい。車速センサ３０の出力に加えて又は代えて、ＧＰＳ（Global Positioning System）に基づいて自車位置の変化やトランスミッションのアウトプットシャフトの回転状態等の情報が使用されてもよい。また、自車の前進走行中か否かは、シフトギアの位置（Ｄレンジや、Ｒレンジ等）の情報やアクセルペダルの操作量（スロットル開度）等を用いて判定されてもよい。尚、処理装置１０は、自車の前進走行中に加えて、車両停止時においても、同様の自車後方前向き画像をディスプレイ２０に出力してもよい。即ち、処理装置１０は、後退走行時においては、自車後方前向き画像をディスプレイ２０に出力しないこととしてよい。このような構成では、車速センサ３０からの情報は実質的に必須でなく、シフトギアの位置に関する情報が利用されてもよい。また、処理装置１０は、ユーザからの指示（例えばスイッチ操作）に応じて、自車後方前向き画像をディスプレイ２０に出力するモードと、ディスプレイ２０に他の情報（ＴＶやナビゲーションの地図表示等）を表示するモードを切り替えてもよい。

図２は、自車後方前向き画像の一例を示す図である。

自車後方前向き画像は、自車後方から前方に自車を視た画像又は映像であり、自車を表す自車表示７０を含む。

自車後方前向き画像の生成方法は、多種多様である。

例えば、カメラは、自車に搭載された前方カメラ（自車前方を前向きに撮像するカメラ）であってもよい。この場合、現時点の自車位置より所定距離Ｌ０後方に位置するカメラとは、現時点の自車位置より所定距離Ｌ０後方に車両が位置したときの前方カメラである。従って、現時点の自車位置より所定距離Ｌ０後方に車両が位置したときの前方カメラにより前方を撮像した画像は、現時点よりも前の画像（以下、「過去画像」とも称する）である。過去画像には、当然ながら自車は映っていない。従って、この場合、自車後方前向き画像は、過去画像に自車表示７０を合成（重畳）することにより生成される。過去画像における自車表示７０の合成位置及び大きさは、現時点の自車位置（例えばＧＰＳに基づく自車位置）と過去画像の撮像時点の自車位置との関係（所定距離Ｌ０及び横方向の位置関係）や前方カメラの光軸方向、過去画像の撮像時点の自車の向き等に基づいて決定されてもよい。合成される自車表示７０は、自車の車種が予め既知であるので、自車の背面視を表す態様で予め生成することができる。尚、過去画像における自車表示７０の大きさは、所定距離Ｌ０が固定値である場合は一定であってよいが、所定距離Ｌ０が可変値である場合は、それに応じて変化（縮小・拡大）されてもよい。また、過去画像における自車表示７０の向きについては、道路区画線方向（車線の方向）に沿った固定の向きであってもよいし、過去画像の取得時点の自車の向きと現時点の自車の向きとの間の関係を考慮して決定されてもよい。

また、カメラは、路側に設置された路側カメラであって、車両進行方向で前向きに撮像するカメラであってもよい。但し、前向きとは、水平面内である必要はなく、例えば斜め下方又は斜め上方の向きで車両進行方向前方を撮像していればよい。路側カメラは、例えば、道路の所定距離間隔に配置されてもよい。路側カメラは、路肩側に設置されてもよいし、標識等のような道路の真上に設置されてもよい。この場合、処理装置１０は、路側カメラからその撮像画像を通信（路車間通信）により取得してもよい。取得する撮像画像は、路側カメラに対して自車が所定距離Ｌ０前方に位置するときに路側カメラにより撮像された画像（即ち現時点の画像）であってもよい。この場合、取得する撮像画像には、自車が映っている（即ちリアルな自車表示７０を含んでいる）。或いは、取得する撮像画像は、路側カメラにより自車が捕捉されない位置関係であるときの画像（即ち過去画像）であってもよい。この場合、同様に、自車後方前向き画像は、現時点の自車位置と過去画像の撮像位置（路側カメラの位置）との関係等に基づいて、過去画像に自車表示７０を合成することにより生成される。

尚、カメラが路側カメラである場合は、所定距離Ｌ０を固定すると、自車後方前向き画像をシームレス（連続的に）出力することはできず、路側カメラの設置間隔に依存して、新たな路側カメラに対して自車が所定距離Ｌ０前方に位置する毎に、当該新たな路側カメラからの画像に基づいて、自車後方前向き画像が切り替わる（更新される）。他方、所定距離Ｌ０を任意（そのときの自車と路側カメラとの距離）とすると、自車の移動に伴い路側カメラを切り替えつつ路側カメラから連続的に画像を取得することによって、路側カメラにより自車が捕捉されている限り、自車後方前向き画像を連続的に出力することができる。また、路側カメラにより自車が捕捉されていない場合でも、過去画像に、自車位置の変化に応じた位置にて自車表示７０を合成することにより、自車後方前向き画像を連続的に出力することができる。

また、カメラは、自車の後方を走行する他車に搭載された前方カメラ（以下、他車カメラという）であってもよい。この場合、処理装置１０は、他車カメラからその撮像画像を通信（車車間通信）により取得してもよい。路側カメラの場合と同様、取得する撮像画像は、他車カメラに対して自車が所定距離Ｌ０前方に位置するときに他車カメラにより撮像された画像（即ち現時点の画像）であってもよい。この場合、取得する撮像画像には、自車が映っている（即ち自車表示７０を含んでいる）。或いは、取得する撮像画像は、他車カメラにより自車が捕捉されない位置関係であるときの画像（即ち過去画像）であってもよい。この場合、同様に、自車後方前向き画像は、現時点の自車位置と過去画像の撮像位置（他車カメラの位置）との関係等に基づいて、過去画像に自車表示７０を合成することにより生成される。

尚、カメラが他車カメラである場合は、所定距離Ｌ０を固定すると、自車後方前向き画像をシームレス（連続的に）出力することはできず、自車と他車との位置関係に依存して、自車後方所定距離Ｌ０に他車が来る不定期的なタイミングで、自車後方前向き画像が切り替わる（更新される）。他方、所定距離Ｌ０を任意（そのときの自車と他車カメラとの距離）とすると、他車カメラにより自車が捕捉されている限り、他車カメラから連続的に画像を取得することによって、自車後方前向き画像を連続的に出力することができる。また、他車カメラにより自車が捕捉されていない場合でも、過去画像に、自車位置の変化に応じた位置にて自車表示７０を合成することにより、自車後方前向き画像を連続的に出力することができる。

また、カメラは、プローブカーのような特定車両に搭載された前方カメラ（以下、プローブカーカメラという）であってもよい。プローブカーカメラで撮像された画像データは、地図データ（例えばナビゲーションの立体地図画像）やストリートビュー等の生成に利用される。このようなプローブカーカメラで撮像された画像データ又はそれに基づき作成されたデータに基づいて、自車後方前向き画像が生成されてもよい。この場合、プローブカーカメラで撮像された画像は、現時点より前に撮像された過去画像であり、自車が映っていない。従って、この場合、自車後方前向き画像は、過去画像に自車表示７０を合成することにより生成される。過去画像における自車表示７０の合成位置及び大きさは、現時点の自車位置と過去画像の撮像時点のプローブカーカメラ位置との関係やプローブカーカメラの光軸方向等に基づいて決定されてもよい。

また、自車後方前向き画像は、必ずしも実画像（映像）をベースとする画像である必要はなく、アニメーション化された画像（例えばナビゲーションの立体地図画像）であってもよい。この場合、自車後方前向き画像は、ひいては、例えば上述のプローブカーのような特定車両に搭載されたプローブカーカメラからの画像に基づいて生成されることになる。これは、アニメーション化された画像は、カメラで取得した実画像を元に生成されるためである。

図３は、運転者に対して車両用周辺監視装置１により自車後方前向き画像が提供される様子を模式的に示す図である。

図示の例では、ディスプレイ２０は、インストルメントパネルの中央部に設けられている。当然ながら、ディスプレイ２０は、運転者よりも前方の他の箇所（例えばインナミラーのような上方の位置）に設けられてもよい。自車の前進走行中、運転者がフロントウインドシールドを介して直接的に視認する自車前方の環境は、図３にて矢印Ｙ１で示すように、前方から後方へ向かう方向に流れる。この際、運転者がディスプレイ２０を介して視認する自車後方の環境も、図３にて矢印Ｙ２で示すように、前方から後方へ向かう方向に流れる。このように、自車の前進走行中、運転者がフロントウインドシールドを介して直接的に視認する自車前方の環境の流れる方向と、運転者がディスプレイ２０を介して視認する自車後方の環境の流れる方向とが実質的に一致する。尚、後方カメラからの後方画像をそのままディスプレイに表示したときの表示画像内における自車後方の環境の流れる方向は、運転者がフロントウインドシールドを介して直接的に視認する自車前方の環境の流れる方向に対して逆方向である。このような場合、自車前方の環境と後方の環境とで逆の動きとなり、運転者が直感的に周辺環境を把握し難いという問題がある。

このように車両用周辺監視装置１によれば、自車の前進走行中に、自車後方から前方に自車を視た画像又は映像（自車後方前向き画像）をディスプレイ２０に出力することによって、運転者がフロントウインドシールドを介して直接的に視認する自車前方の環境の流れる方向と、運転者がディスプレイ２０を介して視認する自車後方の環境の流れる方向とを実質的に一致させることができる。これにより、自車前方の環境と後方の環境とで同一方向の動きとなり、運転者が直感的に瞬時に周辺環境を把握することが容易となる。また、これにより、運転中の煩わしさ（ディストラクション）を大幅に低減することができ、安全性にも大きく寄与することができる。

また、ディスプレイ２０に出力される自車後方前向き画像は、現時点の自車位置より所定距離Ｌ０後方に位置するカメラにより前方を撮像した画像に基づいて生成される。現時点の自車位置より所定距離Ｌ０後方に位置するカメラにより前方を撮像した画像は、自車後方前向き画像を、より自然で視認しやすい態様で生成するのに好適である。自然な自車後方前向き画像は、上述の運転者による直感的な周辺環境の把握をより一層助ける。これは、特にカメラの視点（光軸方向）が、運転者の視点（正面を向いている状態）とそれぞれ略一致しているときに顕著である。従って、この観点からは、カメラは、運転者の視点に略対応する前方カメラであるのが有利である。

また、ディスプレイ２０に出力される自車後方前向き画像は、カメラにより前方を撮像した画像に基づいて生成されるので、例えば後方カメラの後方画像や側方カメラの側方画像を用いる場合等に必要となる座標変換処理（視点変換処理等）が不要となり、処理負荷を低減することができる。また、所定距離Ｌ０を適切に設定することで、現時点の自車位置後方の所望の距離内の情報を運転者に提供することができる。

図４は、カメラの配置態様の説明図である。ここでは、図４に示すように、カメラの高さ位置は、地面（道路）からの高さＨにより特定し、カメラの視線方向（光軸方向）は、鉛直方向に対してなす角度θにより特定する。角度θは、視線方向が鉛直方向に対して前方側にあるときを正とし、視線方向が鉛直方向に対して後方側にあるときを負とする。尚、水平面内のカメラの視線方向は、典型的には、正面前方であるが、真横方向でなければよい。

本実施例においては“前向きに撮像するカメラ（前方カメラや路側カメラ等）”が使用されるが、“前向きに撮像するカメラ”とは、好ましくは、角度θが略９０度となる態様で前方を撮像するカメラである。即ち、上述の如く、カメラの視点は、好ましくは、標準的な運転者の視点とそれぞれ略一致する。具体的には、カメラは、好ましくは、車両（自車や他車を含む）に搭載されたカメラである。これにより、運転者がディスプレイ２０を介して視認する自車後方の環境の流れる態様（流れる方向や速度）と、運転者がフロントウインドシールドを介して直接的に視認する自車前方の環境の流れる態様とを略一致させることができる。但し、例えば車両の上方から撮像する路側カメラの場合（即ち、高さＨが車両の高さよりも有意に高い場合）、“前向きに撮像するカメラ”は、角度θが９０度未満となる態様で、前方を撮像するカメラを含んでよい。

また、自車後方前向き画像は、カメラからの画像と同一の視点の画像であってもよいし、若しくは、カメラからの画像に対して視点変換された画像であってもよい。この場合も同様に、自車後方前向き画像は、好ましくは、標準的な運転者の視点で自車を後方から視た場合に略対応するように生成される。即ち、自車後方前向き画像は、略水平方向の視線方向に対応する画像である。これにより、運転者がディスプレイ２０を介して視認する自車後方の環境の流れる態様（流れる方向や速度）と、運転者がフロントウインドシールドを介して直接的に視認する自車前方の環境の流れる態様とを略一致させることができる。但し、自車の前進走行中に、自車後方前向き画像内で自車後方の環境が前方から後方へ向かう方向に流れさえすればよく（図３の矢印Ｙ２参照）、その際の流れる速度が、運転者がフロントウインドシールドを介して直接的に視認する自車前方の環境の流れる速度よりも有意に遅くてもよい（この場合、上記の効果は低減される）。即ち、自車後方前向き画像は、鳥瞰視又は後方視の画像（図４の角度θがゼロ又は負となる視線方向に対応する画像）でなければよい。

また、視点変換処理を行って自車後方前向き画像を生成する場合には、カメラは、必ずしも前向きに撮像するカメラである必要はなく、例えば車両の上方から撮像する路側カメラの場合、真下を向くカメラ（図４の角度θがゼロとなるカメラ）が使用されてもよいし、後方を向くカメラ（図４の角度θが負となるカメラ）が使用されてもよい。

次に、自車に搭載される前方カメラを使用した場合の好ましい実施例について、図５以降を参照して説明する。

図５は、好ましい一実施例による車両用周辺監視装置１の構成を示す図である。図５に示す車両用周辺監視装置１は、図１に示した基本構成と同様、処理装置１０を含む。処理装置１０には、ディスプレイ２０及び車速センサ３０に加えて、前方カメラ４０が接続される。尚、処理装置１０と前方カメラ４０との接続は、有線であっても無線であってもよく、また、直接的な態様であっても間接的な態様であってもよい。また、処理装置１０の機能の一部又は全部が前方カメラ４０内の処理装置により実現されてもよい。

前方カメラ４０は、ＣＣＤ（charge‐coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により車両前方風景を撮像して、前方環境画像を取得する。前方カメラ４０は、暗視等の目的で設けられる近赤外カメラであってもよいが、好ましくは、運転者が実際に見た状態に近い可視カラー画像を取得することができるカメラである。前方カメラ４０は、車両の任意の場所（例えば、車体の例えばバンパ付近のような車室外の場所を含む）に設けられてよいが、好ましくは、車室内に設けられる。前方カメラ４０は、例えば、フロントウインドシールドの上縁付近や下縁付近に設けられてよい。また、インナミラーを搭載する車両においては、前方カメラ４０は、インナミラーの裏側（車両前側の面）に取り付けられてもよい。前方カメラ４０は、専用のカメラであってもよいが、他の用途（例えばドライブレコーダ用、白線認識処理を伴うレーンキープアシスト制御用、歩行者検知用）で使用されるカメラであってもよい。前方カメラ４０は、車両走行中にリアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で処理装置１０に供給するものであってよい。尚、前方環境画像は、所定の処理（例えば座標変換処理等）を行った上で処理装置１０に供給されてもよい。

処理装置１０は、前方カメラ４０から供給される時系列の前方環境画像を所定のメモリ１１に記憶する。尚、前方環境画像は、最新の所定周期分の前方環境画像がメモリ１１にＦＩＦＯ（first‐in，first‐out）方式で記憶されてもよい。所定周期分は、現時点の自車位置より所定距離Ｌ０後方に自車位置が位置したときに前方カメラ４０により撮像された前方環境画像(過去画像)を読み出せるように決定されてもよい。

処理装置１０には、周辺レーダセンサ５０が接続される。尚、処理装置１０と周辺レーダセンサ５０との接続は、有線であっても無線であってもよく、また、直接的な態様であっても間接的な態様であってもよい。また、処理装置１０の機能の一部又は全部が周辺レーダセンサ５０内の処理装置により実現されてもよい。

周辺レーダセンサ５０は、電波（例えばミリ波）、光波（例えばレーザー）又は超音波を検出波として用いて、自車周辺における周辺移動体（典型的には、周辺車両）の存在及びその状態を検出する。周辺レーダセンサ５０は、周辺移動体と自車との相対位置関係を示す情報、例えば自車を基準とした周辺移動体の相対速度や相対距離、方位（横位置）を所定の周期で検出する。尚、周辺レーダセンサ５０がミリ波レーダセンサの場合、ミリ波レーダセンサは、例えば電子スキャン型のミリ波レーダであってよく、この場合、電波のドップラー周波数（周波数シフト）を用いて周辺移動体の相対速度が検出され、反射波の遅れ時間を用いて周辺移動体の相対距離が検出され、複数の受信アンテナ間での受信波の位相差に基づいて周辺移動体の方位が検出される。尚、周辺レーダセンサ５０は、自車周辺の周辺移動体との衝突予知を行うために使用されるプリクラッシュシステム用のレーダセンサやレーンチェンジアシスト制御用のレーダセンサと共用であってもよい。周辺レーダセンサ５０の検出データは、処理装置１０に所定の周期で送信される。

処理装置１０は、周辺レーダセンサ５０から得られる情報を用いて、周辺移動体に対する自車の相対関係（相対速度、距離、方位等）を検出し、この検出結果に基づいて、前方環境画像に、周辺移動体を表す表示（周辺移動体表示）を重畳（合成）することで、自車後方前向き画像を生成する。処理装置１０は、生成した自車後方前向き画像をディスプレイ２０に表示する。自車後方前向き画像は、メモリ１１から適当な過去画像を順次取り出して生成され、リアルタイムに更新・表示される。

ここで、自車後方前向き画像を生成するのに用いる前方環境画像は、メモリ１１に記憶された過去の前方環境画像（過去画像）である。即ち、自車後方前向き画像を生成するのに用いる前方環境画像は、上述の如く、現時点の自車位置より所定距離Ｌ０後方に位置するカメラにより前方を撮像した画像であり、自車に搭載される前方カメラ４０の場合、自車が現時点の自車位置より所定距離Ｌ０後方の地点を通過したときに前方カメラ４０により撮像された前方環境画像である。

図６は、自車と周辺移動体とが走行している状況を上面視（Ａ）と側面視（Ｂ）で概略的に示す図であり、自車後方前向き画像を生成するのに用いる前方環境画像の取得時点の前方カメラ４０の位置と、自車後方前向き画像に合成される周辺移動体の一例を示す図である。尚、図６において、符号１０１乃至１０３は、周辺レーダセンサ５０からの検出波を模式的に示し、符合１０４乃至１０７は、前方カメラ４０の撮像範囲（画角）の一例を模式的に示している。

図６においては、現時点の自車が実線で描かれ、現時点よりも前の自車（現時点の自車位置より所定距離Ｌ０後方に位置したときの自車）が点線で示されている。上述の如く、現時点の表示用の自車後方前向き画像を生成するのに用いる前方環境画像は、点線の自車位置（前方カメラ４０の位置）で得られた前方環境画像であり、メモリ１１から取り出される。例えば、現時点の車速ｖ（ｍ／ｓ）と所定距離Ｌ０（ｍ）から、現時点よりもＬ０／ｖ（ｓ）前に撮像された前方環境画像が使用される。尚、車速は一定でない場合があるので、平均値が使用されてもよい。また、この際、ＧＰＳに基づく自車位置情報の履歴が利用されてもよい。但し、上述の如く、所定距離Ｌ０は一定である必要はないので、メモリ１１から所定距離Ｌ０後方に対応する前方環境画像を厳密な精度で取り出す必要はない。従って、ある実施例では、現時点のフレーム周期から一定の所定フレーム周期前の前方環境画像が利用されてもよい。この場合、現時点のフレーム周期から所定フレーム周期前までの自車の走行距離が、所定距離Ｌ０に実質的に対応し、従って、所定距離Ｌ０は、その間の走行態様（特に車速）に応じて可変することになる。

図７は、合成された周辺移動体表示を含む前方環境画像の複数の例を示す図である。図７は、図６に示した状況に対応して生成される前方環境画像の複数の例を示す。図７においては、上述の自車表示７０が示されると共に、周辺移動体表示が符合７２により示されている。尚、図７に示す例では、前方環境画像の取得時点から現時点での車両の向きの変化が実質的に無い場合（即ち直進状態が維持されている場合）を想定して、自車表示７０は、図３に示した例と同様、前方消失点を覆う位置に描画されている。

前方環境画像における周辺移動体表示７２の合成位置及び大きさは、現時点の周辺移動体と自車との相対位置関係に基づいて決定され、その他、前方カメラ４０の光軸方向等が考慮されてもよい。即ち、処理装置１０は、周辺移動体と自車との相対位置関係に基づいて、前方カメラ４０の光軸方向等を考慮して予め決定された所定の変換式（実空間内の位置と前方環境画像内の各画素位置との間の関係式）を用いて、周辺移動体表示７２の合成位置（画素位置）を算出してもよい。また、自車表示７０と同様に、前方環境画像における周辺移動体表示７２の大きさは、現時点の周辺移動体の位置と、使用する前方環境画像の取得時点の自車位置との相対関係に基づいて、縮小・拡大されてもよい。また、前方環境画像における周辺移動体表示７２の向きについては、道路区画線方向又は自車進行方向に沿った固定の向きであってもよいし、周辺レーダセンサ５０から得られる情報に基づいて可変されてもよい。

合成される周辺移動体表示７２は、任意の表示であってよい。例えば、周辺移動体表示７２は、周辺移動体の属性（車種や大きさ、形状、色等）に応じて生成されてもよい。例えば、周辺移動体の属性は、車車間通信や路車間通信（インフラとの通信）を介して取得されてもよい。また、周辺移動体の大きさ、形状については、ある程度であるが、周辺レーダセンサ５０からの情報（周辺移動体の存在する範囲や反射する電波の量）に基づいて把握することができる。周辺移動体の属性が取得される場合には、例えば周辺移動体の属性毎に予め用意された周辺移動体表示７２が使用されてよい。周辺移動体表示７２は、例えば、図７（Ａ）に示すように、ＣＧ（Computer Graphics）によりアニメーション化して生成されてもよい。これにより、より現実感のある周辺移動体表示７２を出力することができる。また、周辺移動体表示７２が実際に前方カメラ４０により捕捉された像でないことを考慮して、周辺移動体表示７２は、図７（Ｂ）に示すように、アニメーションとワイヤフレームとの組み合わせにより生成されてもよい。これにより、より現実感のある周辺移動体表示７２を出力しつつ、運転者に、周辺移動体表示７２が示す周辺移動体が、仮想的な像であり、実際の像（現実の周辺移動体の像）でないこと、即ち現実の周辺移動体とは異なるものが描画されていることを知らせることができる。また、周辺移動体の属性は、必ずしも取得される必要はなく、この場合、周辺移動体表示７２は、例えば、図７（Ｃ）に示すように、ワイヤフレームのみで表現されてもよい。

このような合成された周辺移動体表示を含む前方環境画像をディスプレイ２０に表示することで、運転者は、自車に接近してくる他車（自動二輪車や二輪車を含む）の状況や、死角に入って見え難い位置の他車を容易に把握することができる。従って、究極的には、バックミラー（インナミラーやサイドミラー）を廃止することも可能である。但し、バックミラーと組み合わせで使用することも可能である。

ここで、自車後方前向き画像を生成するのに用いる前方環境画像は、上述の如く、過去画像であり、過去画像には、当然ながら、現時点で自車周辺に実際には存在しない周辺移動体の像が含まれている場合がある。従って、処理装置１０は、好ましくは、前方環境画像における移動体消去処理を行う。尚、移動体消去処理は、前方環境画像をメモリ１１に格納する前に、若しくは、メモリ１１から取り出して自車後方前向き画像を生成する際に、実行されてもよい。尚、移動体消去処理に必要な固定物と周辺移動体の判別は、ＭＰＥＧ（Moving Picture Experts Group）などの動画圧縮記録においては一般的な手法であり、これらの手法が利用されてもよい。また、このような移動体消去処理は、処理自体も非常に軽く、リアルタイムで実行することができる。

図８は、移動体消去処理の一例の説明図である。図８は、前方カメラ４０からの前方環境画像の一例を示す。図８には、理解のための都合上、前方消失点から放射状に延在する４つの線分（実際の像でない）１１０が示されている。また、この４つの線分１１０は、画像上の等距離間隔で線分１１２（一部省略）（実際の像でない）により分割されている。

前方環境画像の動画（連続した複数フレーム）において、一般的に、固定物又は自車の走行速度に対して十分低速である準固定物は、前方消失点から放射状に延在する線分１１０に沿って、その位置に応じた（前方カメラ４０からの位置）移動ベクトル（図８のＰ１参照）で動く。一方、走行する車両等のような周辺移動体は、前方消失点から放射状に延在する線分１１０に沿ったベクトルと、周辺移動体自身の移動ベクトルとを合成したベクトル（図８のＰ２参照）で動く。従って、前方環境画像の動画における動き（ベクトル）の相違点を利用して、周辺移動体と固定物（又は準固定物）とを容易に判別することができる。従って、処理装置１０は、移動体消去処理として、前方環境画像のフレーム間の比較を行い、固定物（又は準固定物）の画像範囲のみを残し、周辺移動体の像を消去すればよい。尚、周辺移動体の像が消去された領域には、他の時点で取得された前方環境画像の像（固定物の像）が組み込まれてもよい。

このような移動体消去処理を行うことにより、過去画像を使用して自車後方前向き画像を生成する場合であっても、生成される自車後方前向き画像に、現時点で自車周辺に実際には存在しない周辺移動体の像が含まれることが防止され、信頼性の高い自車後方前向き画像を運転者等に提供することができる。

図９は、図５に示す車両用周辺監視装置１の処理装置１０により実行されてもよい主要処理の一例を示すフローチャートである。図９に示す処理ルーチンは、例えば自車の前進走行中に所定周期毎（例えば、前方カメラ４０のフレーム周期毎）に繰り返し実行されてもよいし、イグニッションスイッチがオンである間（自車の停止時を含む）所定周期毎に繰り返し実行されてもよい。但し、後者の場合、自車後退時には実行されなくてよい。また、図９に示す各ステップの処理（特にステップ９０６乃至ステップ９１２の処理）は、必ずしも図９に示す順序で実行される必要はなく、順序が適宜変更されてもよいし、幾つかが同時（並列）に実行されてもよい。

ステップ９００では、今回周期で出力すべき自車後方前向き画像を生成する際の視点の位置が決定される。ここでは、特に、自車後方の所定距離Ｌ０の値が決定される。所定距離Ｌ０の値が固定値である場合は、ステップ９００は省略されてもよい。

ステップ９０２では、今回周期で出力すべき自車後方前向き画像を生成するために用いる過去画像の時刻が決定される。過去画像の時刻としては、現在の車速をｖとして、上述の如く、現時点の車速ｖ（ｍ／ｓ）と所定距離Ｌ０（ｍ）から、現時刻からＬ０／ｖ（ｓ）だけ過去の時刻が算出されてもよい。

ステップ９０４では、メモリ１１から、上記ステップ９０２で決定された過去の時刻に前方カメラ４０により撮像された前方環境画像（過去画像）が取り出される。

ステップ９０６では、上記ステップ９０４で取り出された前方環境画像に対して、移動体消去処理（図８参照）が実行される。尚、移動体消去処理が前方環境画像の取得時点（メモリ１１に記憶する前）に実行されている場合は、本ステップ９０６は省略される。

ステップ９０８では、上記ステップ９０４で取り出された前方環境画像に自車表示７０が合成される（図７参照）。尚、自車表示７０の合成位置は、上述の如く、上記ステップ９０４で取り出された前方環境画像における現時点の自車位置に対応する画素位置である。自車表示７０の大きさ（サイズ）は、上述の如く所定距離Ｌ０に応じて可変されてもよい。

ステップ９１０では、周辺レーダセンサ５０からの最新の検出データに基づいて、周辺移動体の有無、及び存在する場合には、その相対位置等が算出（把握）される。

ステップ９１２では、上記ステップ９１０の処理結果に基づいて、周辺移動体が存在する場合には、上記ステップ９０４で取り出された前方環境画像に、当該周辺移動体を表す周辺移動体表示７２（図７参照）が合成され、これにより、自車後方前向き画像が生成される。

ステップ９１４では、生成された自車後方前向き画像がディスプレイ２０に出力（表示）される。このようにして自車後方前向き画像がリアルタイムにディスプレイ２０に出力される。

尚、図４以降で説明した実施例は、過去画像として、自車に搭載される前方カメラ４０の過去画像を用いているが、図４以降で説明した実施例の説明は、他のカメラの過去画像（例えば、路側カメラの過去画像やプローブカーカメラの過去画像等）を用いる場合にも同様に適用することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、図４以降で説明した実施例では、周辺レーダセンサ５０が周辺移動体を検出するための手段として用いられているが、周辺移動体を検出する手段は、多種多様であり、任意の手段又はその組み合わせが使用されてもよい。例えば、路側施設（例えばサーバ）が周辺車両（周辺移動体）のＧＰＳに基づく現在位置情報を集約する場合、かかる路側施設から自車の周辺車両の位置情報が取得されてもよい（即ち、各車両が自身の位置情報を路側施設に送信し、路側施設が、自車を中心とした周辺車両の位置情報を送信してくるシステム）。この場合、路側施設は、周辺車両の属性（上述の周辺移動体表示７２の生成に利用できる属性）に関する情報を有してもよく、かかる情報についても自車が路側施設から取得してもよい。また、周辺移動体を検出する手段は、車両後方を撮像する後方カメラであってもよい。また、周辺移動体を検出する手段は、周辺車両と位置情報を通信する車車間通信装置であってもよい。

また、図４以降で説明した実施例では、周辺レーダセンサ５０としての後方レーダセンサにより主に車両後方の周辺移動体（後方移動体）が検出されて、周辺移動体表示７２として合成されているが、他の周辺移動体についても同様に検出されて、同様の周辺移動体表示として合成されてもよい。例えば、自車側方の移動体や自車前方の移動体についても、例えば側方レーダセンサや前方レーダセンサ等により検出し、この検出結果に基づいて、自車側方の移動体を表す表示を、前方環境画像（過去画像）に合成することで、自車後方前向き画像を生成してもよい。このように、自車後方前向き画像の画角内に現時点で存在する周辺移動体であれば、自車に対してどの位置に存在するかに関係なく、検出されて、その表示が前方環境画像（過去画像）に合成されてもよい。

１ 車両用周辺監視装置
１０ 処理装置
１１ メモリ
２０ ディスプレイ
３０ 車速センサ
４０ 前方カメラ
５０ 周辺レーダセンサ
７０ 自車表示
７２ 周辺移動体表示

Claims (8)

1. 処理装置を含み、
   前記処理装置は、現時点の自車位置より所定距離後方に位置するカメラにより撮像した画像に基づいて、自車の前進走行中に、自車に搭載される表示装置に、自車後方から前方に自車を視た画像又は映像（以下、自車後方前向き画像という）を出力し、
   前記カメラは、自車に搭載され、
   前記現時点の自車位置より所定距離後方に位置するカメラにより前方を撮像した画像とは、自車が現時点の自車位置より所定距離後方の地点を通過したときに前記カメラにより撮像された過去画像であり、
   前記自車後方前向き画像は、前記過去画像に、周辺移動体を表す周辺移動体表示を合成して生成され、
   前記周辺移動体表示の合成位置は、現時点の周辺移動体と自車との相対位置関係に基づいて決定されることを特徴とする、車両用周辺監視装置。
2. 前記自車後方前向き画像は、前記過去画像に、自車を表す自車表示を合成して生成される、請求項１に記載の車両用周辺監視装置。
3. 前記自車表示の合成位置は、現時点の自車位置に基づいて決定される、請求項２に記載の車両用周辺監視装置。
4. 前記自車後方前向き画像は、前記過去画像内の移動体の像を消去して生成される、請求項１〜３のうちのいずれか１項に記載の車両用周辺監視装置。
5. 前記所定距離は、可変距離である、請求項１〜４のうちのいずれか１項に記載の車両用周辺監視装置。
6. 前記処理装置は、リアルタイムに前記自車後方前向き画像を出力する、請求項１〜５のうちのいずれか１項に記載の車両用周辺監視装置。
7. 前記周辺移動体表示は、実際の像とは異なる態様で描画される、請求項１〜６のうちのいずれか１項に記載の車両用周辺監視装置。
8. 前記現時点の周辺移動体と自車との相対位置関係は、レーダセンサからの情報に基づく、請求項１〜７のうちのいずれか１項に記載の車両用周辺監視装置。

Images