JP3695319B2

JP3695319B2 - 車両周辺モニタ装置

Info

Publication number: JP3695319B2
Application number: JP2000365487A
Authority: JP
Inventors: 久志里中
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2000-11-30
Filing date: 2000-11-30
Publication date: 2005-09-14
Anticipated expiration: 2020-11-30
Also published as: JP2002166802A

Description

【０００１】
【発明の属する技術分野】
本発明は、運転者にとって死角となる車両周辺の画像情報を撮像装置を用いて取り込み、画像処理したうえで表示装置に表示することで運転者を支援する車両周辺モニタ装置に関する。
【０００２】
【従来の技術】
車両はその構造上、車体自体が運転者の視線を遮蔽し、死角を生ずることは避けられない。しかし、障害物の回避や通行者、他車との接触を避けるためには、こうした死角をできる限り低減することが好ましい。
【０００３】
死角を低減する方法としては、大型車両などにみられるアンダーミラーなどが知られている。さらに、広い死角範囲をカバーする手法として特開平11−334470号公報に開示されているように、車両本体に設置した撮像装置を用いて死角部分の画像を取得し、これを所定の画像処理を施したうえで車内の表示装置に表示する装置が知られている。こうした装置を用いることで死角部分を効果的に低減して駐車時等の安全性を高めることが可能となる。
【０００４】
また、複数の撮像装置を用いて車両周辺の画像情報を取得したうえで、それらを画像処理して同一視点から見た合成画像に変換する装置が知られている（WO00/07373号国際公開公報）。この装置によれば、運転者は車両周辺の情報を視覚的に容易に把握することができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、この装置では、複数の撮像装置から取得した画像情報をそれぞれ視点変換し、合成して合成画像を生成するため、複数の撮像装置で共通する撮像領域内に立体物があると、これが視点変換の際の誤差を生ぜしめ、合成した際に対象物がボケたり、消失してしまうことがある。こうした立体物が車両の進路近傍にあると車両の進行に伴って衝突、接触を起こすおそれがあることから、むしろ情報を表示する必要性は高い。
【０００６】
そこで本発明は、車両周辺の状況を運転者に確実に認知させることの可能な車両周辺モニタ装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る車両周辺モニタ装置は、(1)車両の複数の箇所にそれぞれ設置され、外界の画像情報を取り込む撮像装置と、(2)これら撮像装置によって取り込まれた画像を処理する制御装置と、(3)制御装置によって処理された画像を表示する表示装置とを備える車両周辺モニタ装置において、(4)車両周辺に存在する立体物を検出する立体物検出手段をさらに備え、制御装置は複数の撮像装置で取り込んだ画像を基にして所定の視点から車両周辺を見た合成画像を生成するものであって、撮像装置間で撮像範囲が重複する領域内においてこの立体物検出手段により検出された立体物の位置情報に基づいて合成画像の基となる撮像装置またはその組み合わせを特定して区分する境界領域を設定することを特徴とする。
【０００８】
本発明によれば、検出された立体物の位置情報に基づいて、各撮像装置で得られた画像のうち重複している領域を合成処理する際に合成画像の基となる撮像装置またはその組み合わせを特定して区分する境界領域を設定することで、最終的な表示画像中に立体物の存在とその位置を表示することが可能である。例えば、立体物の位置情報に基づいて前記立体物位置付近あるいは立体物から離れた位置で合成画像が不連続となるよう合成処理を行えばよい。立体物から離れた位置で合成画像が不連続となるような合成処理を行えば、立体物の画像を適切に表示することができ、運転者は立体物を容易に認識することができる。一方、立体物付近で合成画像が不連続となるような合成処理を行えば、運転者はこの不連続部分から立体物の位置を推定可能である。この合成処理には例えば視点変換とαブレンディング等を用いることができる。
【０００９】
本発明に係る車両周辺モニタ装置は、(1)〜(3)を備える車両周辺モニタ装置において、制御装置は複数の撮像装置で取り込んだ画像を基にして所定の視点から車両周辺を見た合成画像を生成するものであって、前記撮像装置間で撮像範囲が重複する領域内において合成画像の基となる撮像装置またはその組み合わせを特定して区分する境界領域を周期的に変更することを特徴とするものでもよい。
【００１０】
合成時の境界領域を周期的に変更することで、合成に伴う立体物の消失やボケ発生が周期中継続して起こることがなくなり、立体物の存在とその位置を運転者が容易に認識することが可能となる。
【００１１】
また、本発明に係る車両周辺モニタ装置は、(1)〜(3)を備える車両周辺モニタ装置において、(4')車両挙動から車両の進行方向を予測する進行方向予測手段をさらに備えており、制御装置はこれら複数の撮像装置で取り込んだ画像を基にして所定の視点から車両周辺を見た合成画像を生成するものであって、撮像装置間で撮像範囲が重複する領域内において進行方向予測手段により予測された進行方向に基づいて合成画像の基となる撮像装置またはその組み合わせを特定して区分する境界領域を設定することを特徴とするものでもよい。
【００１２】
進行方向に基づいて合成画像合成時の境界領域を設定することで、進行方向に存在する立体物の存在とその位置を優先して表示することができ、接触・衝突の可能性がある立体物を運転者に的確に認識させることができ、車両と死角内の立体物の接触、衝突を効果的に予防することができる。
【００１３】
あるいは、本発明に係る車両周辺モニタ装置は、(1)〜(3)を備える車両周辺モニタ装置において、(4")運転者が設定した目標移動位置から適切な車両の進路を設定する進路設定手段をさらに備えており、制御装置はこれら複数の撮像装置で取り込んだ画像を基にして所定の視点から車両周辺を見た合成画像を生成するものであって、撮像装置間で撮像範囲が重複する領域内において進路設定手段により設定された進路に基づいて合成画像の基となる撮像装置またはその組み合わせを特定して区分する境界領域を設定することを特徴とするものでもよい。
【００１４】
この場合は、先に運転者が進路を設定することで、目標進路上に存在する立体物の存在とその位置を優先して表示することができ、目標進路を進んだ場合に接触・衝突の可能性がある立体物を運転者に的確に認識させることができ、車両と死角内の立体物の接触、衝突を効果的に予防することができる。
【００１５】
ここで、制御装置は、予測手段により予測された進行方向あるいは進路設定手段により設定された進路方向が直進以外の場合には、予測した進行方向あるいは設定された目標進路方向側では車体進行方向あるいは目標進路方向から離れた位置に設定することが好ましい。このように設定すると、操舵しながら進行する際に巻き込みを起こす可能性のある立体物を的確に表示することが可能である。
【００１６】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１７】
図１は本発明に係る車両周辺モニタ装置の構成を示すブロック図である。この実施形態の車両周辺モニタ装置の制御装置は、全体の制御を行う運転支援ＥＣＵ１０と、画像信号を処理する画像処理ＥＣＵ１１からなる。画像処理ＥＣＵ１１には、車両の複数の箇所、例えば後述する４箇所、に取り付けられているカメラ２０ａ〜２０ｄそれぞれの画像信号が入力される。一方、運転支援ＥＣＵ１０には、運転席に設置されている入出力装置であるタッチパネル３１、表示装置３２、警報器３３が接続されるとともに、システムスイッチ４１、ステアリングセンサ４２、シフト位置センサ４３、各車輪の車輪速センサ４４ＦＲ、ＦＬ、ＲＲ、ＲＬ、クリアランスソナー４５の出力信号が入力される。
【００１８】
図２はカメラ２０ａ〜２０ｄの車両への搭載状態を説明する図であり、図３は各カメラ２０ａ〜２０ｄで撮像する領域（以下、撮像領域と称する。）を説明する図である。
【００１９】
本実施形態においては、カメラ２０ａ〜２０ｄは、それぞれ車両１の前部、左側面、後部、右側面にそれぞれ１台ずつ配置される広画角カメラである。ここでは、水平画角１７５度、垂直画角８９度のカメラを利用している。なお、カメラの配置は、１箇所に１台ずつに限られるものではなく、各箇所に水平画角９０度程度のカメラを２台ずつ組み合わせて配置してもよい。また、車両１の角部分に配置してもよく、角部分と前後および側方の略中央部の双方に配置してもよい。
【００２０】
図２に示されるようなカメラ配置を採用すると、それらの撮像領域を車両１の上から見ると、図３に示されるようになる。図３から明らかなように、車両１のごく近傍までの画像情報を取得するためには、各カメラ２０ａ〜２０ｄにはできるだけ水平画角の広いカメラを採用する必要がある。一方で、このように水平画角の広いカメラを用いると、隣り合うカメラ同士（例えば、前方カメラ２０ａと左側方カメラ２０ｄ同士）で重複する撮像領域が生ずる。後述する視点変換においては、この重複撮像領域の処理が問題となる。
【００２１】
本実施形態の車両周辺モニタ装置は、各カメラ２０ａ〜２０ｄによって取得した画像から、図３に示すようなあたかも車両１の上方から見ているかのような画像を生成し表示することで、運転者に車両近傍やその進路上にある障害物、レーン等を視覚情報として呈示する装置である。この視点変換処理は画像処理ＥＣＵ１１によって行われる。
【００２２】
本実施形態の具体的な動作を説明する前に、この視点変換の原理について図４を参照して簡単に説明する。図４において、実際のカメラの視点をｐ_c、変換先となる仮想視点をｐ_iとする。それぞれの焦点距離をｆ_c、ｆ_iとすると、それぞれの画像は、視点から焦点距離だけ離れた平面Ｐ_c、Ｐ_iで交わる点上に結像した投影画像である。例えば、各物体上の任意の点の平面投影Ｐ_c上に投影された画像ポイントは、その点と視点とを結んだ線と平面Ｐ_cの交点である。
【００２３】
ここで、カメラで取得した画像中の画像ポイントＸ_cを仮想画像面Ｐ_i上のＸ_iへと変換する場合について考える。このＸ_cに撮像されている物体が実際には地上平面Ｐ_w上に存在するとすると、その平面Ｐ_w上の位置Ｘ_wは、視点ｐ_cと平面Ｐ_c上の点Ｘ_cを結んだ線を延長して平面Ｐ_wと交差する点となる。そして、このＸ_wと仮想視点ｐ_iとを結ぶ線と仮想画面Ｐ_iとの交点が仮想画面Ｐ_i上へと画像ポイントＸ_cを変換した位置Ｘ_iである。
【００２４】
画像処理ＥＣＵ１１は、さらに、各カメラで取得した画像から視点変換により任意の視点、例えば、車両１の上方から車両の周囲を見た画像をそれぞれ生成し、これらとメモリ等に格納されている車両１のその位置から見た画像とを合成することで、あたかも車両１の上方から撮影したかのような画像を合成して表示装置３２へと表示するものである。
【００２５】
ここで、実際のカメラで取得した画像情報からは、実際の物体の画面の奥行き方向の位置を判別することはできない。したがって物体がＸ_wではなく、Ｘ_wと視点ｐ_cを結ぶ線上の例えばＸ_w’位置に存在している場合でも、投影画面Ｐ_c上では同じＸ_c上に位置することになる。このため、仮想画面Ｐ_i上では、本来ならＸ_i’位置に投影されるべき画像がＸ_wと同じＸ_iに投影されることになる。これが視点変換時に立体物がぼけたり、消失してしまう要因である。
【００２６】
例えば、図５に示されるように、車両１の右後方に障害物としてポール５が存在する場合を例に考える。右側方カメラ２０ｄで取得した画像から車両１の上方から見た画像へと視点変換を行うと図６（ａ）に示されるように、ポール５の画像は斜線の領域５Ａに示されるように本来のポール５の位置から斜め後ろに伸びている領域の画像として変換される。一方、後方カメラ２０ｃで取得した画像から車両１の上方から見た画像へと視点変換を行うと図６（ｂ）に示されるように、ポール５の画像は斜線の領域５Ｂに示されるように本来のポール５の位置から横方向へと斜めに伸びている領域の画像として変換される。
【００２７】
これらを重ね合わせて表示画像を生成する際の重複領域の処理方法として従来のように重複領域全体についていわゆるαブレンディングを用いた場合、図６（ｃ）に示されるように両カメラ２０ｃ、２０ｄの撮像領域の重複領域７内には、ポール５を変換した画像５Ａ、５Ｂがそれぞれ映し出されるとともに、輝度が半分になるため、いずれも薄く表示されることから、ぼやけた画像として表示されることになる。従来は、このため、運転者にとって立体物の認識が困難であるという欠点があった。
【００２８】
本実施形態においては表示画像中の立体物を運転者が認識しやすいような合成処理を行うことを特徴とする。以下、合成処理の異なる４つの処理手法についてそれぞれ説明する。
【００２９】
（第１の処理手法）
この第１の処理手法においては、クリアランスソナー４５を用いて、車両近傍にある立体物の位置を検出する。運転ＥＣＵ１０は、検出された立体物の位置情報を基にして最適な合成位置を設定し、画像処理ＥＣＵ１１に指示して画像合成を行う。
【００３０】
例えば、重複領域のうち検出した立体物を含む一部の領域のみでαブレンディングを実施し、重複するそれぞれの視点変換画像を用いて合成処理を行う。重複領域のその他の領域では立体物からみてその領域側のカメラで取得した画像から得られた視点変換画像のみを用いて合成を行う。
【００３１】
図７（ａ）は、図５に示される状態をこの第１の処理手法を用いて表示した場合の表示結果の一例を示す図である。この処理手法では立体物５の位置情報を基にして立体物から離れた位置に画像合成の境界７１を設定する。そして、境界７１より前方側の領域７ｄについては２０ｄで取得した画像を視点変換した結果を、境界７１より後方側の領域７ｃについてはカメラ２０ｃで取得した画像を視点変換した結果をそのまま表示する。この結果、表示画像中での立体物の消失やぼけが防止されるとともに、境界７１における領域７ｃ、７ｄの画像の不連続性から運転者は立体物の存在を容易に認識し得る。さらに、検出された位置情報を基にして表示画像中に立体物位置を合わせて表示すれば視認性が向上する。
【００３２】
図７（ｂ）は、第１の処理手法の変形手法による表示表示結果を示す図である。立体物を含む領域７１’では、カメラ２０ｃ、２０ｄのそれぞれで取得した画像を視点変換し、その結果をαブレンディングにより重ね合わせて表示する。一方、領域７１’を挟む領域７ｃ、７ｄについては、それぞれカメラ２０ｃ、２０ｄで取得した画像を視点変換した結果をそのまま表示する。この結果、立体物は地面に近い部分を除いて消失して表示されることになるが、７１’と７ｃ、７ｄの境界部分の不連続性から運転者は容易に立体物が５ｘ位置にあることを認識し得る。さらに、検出された位置情報を基にして立体物位置を合わせて表示すれば視認性が向上する。
【００３３】
（第２の処理手法）
この処理手法は、合成時の境界領域を周期的に切り替えることで、立体物の視認を容易にするものである。ここでは、境界領域の幅がなく、これを重複領域内で周期的に移動させる処理手法について説明するが、境界領域に重複領域の１／２以下の幅を持たせて境界領域内ではαブレンディング等による合成処理を行ってもよい。
【００３４】
図８は、この処理方法による表示画面の時間変化を表している。ある時点において、画像合成の境界位置７２が図８（ａ）に示されるように、後方カメラ２０ｃの画角の限界位置近くに位置しているとする。この状態では、境界位置７２より後方側の重複領域の大部分の領域７ｃではカメラ２０ｃで取得した画像から視点変換により得られた画像が用いられ、境界位置７２より前方側の領域７ｄでは、カメラ２０ｄで取得した画像から視点変換により得られた画像が用いられる。この場合、図５に示されるポール５は、領域７ｃ内で車両１に対して右側に延びる領域５ｃとして表示される。
【００３５】
境界位置７２をポイント７３を中心に回転移動させて後方へと移動させて、図８（ｂ）に示される位置に設定すると、境界位置７２より後方の領域７ｃでは、図８（ａ）と同様にポール５が車両１に対して右側に延びる領域５ｃとして表示される。しかし、その延長の境界位置７２より先の部分の領域７ｄではポール５の画像位置が本来異なるため、この境界位置７２で画像が分断され、その先では画像として消失したように表示される。
【００３６】
さらに境界位置７２をポイント７３を中心に回転移動させて後方へと移動させると、図８（ｃ）に示されるように今度は、前方の領域７ｄ部分では、ポール５が後方へ伸びる領域５ｄとして表示され、境界位置７２部分で画像が分断されて、その先の領域７ｃでは消失した形で表示される。
【００３７】
図８（ｄ）に示されるように境界位置７２を右側方カメラ２０ｄの画角の限界位置近くに位置させると、重複領域内ではほぼ領域７ｄのみが表示される結果、ポール５が後方へ伸びる領域５ｄとして表示されることになる。
【００３８】
これを繰り返すことで、地面上に描かれたライン等については、境界位置７２が移動してもその表示画像に変化が起こらないが、立体物、地面より高い位置に存在している物体については表示画像が境界位置７２の移動に応じて変化する。したがって、この変化によって運転者は立体物等を容易に認識することができる。
【００３９】
この境界位置７２の移動は、図８において、（ａ）→（ｂ）→（ｃ）→（ｄ）→（ａ）…の順で行っても、（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｃ）…のように行ってもよい。また、重複領域７２全体を走査するのではなく、境界位置として複数の箇所を設定し、これらを周期的に切り換えるようにしてもよい。
【００４０】
切り替え、走査のいずれの場合も元の境界位置に復帰するまでの１サイクルの時間は１〜数秒程度に設定することが好ましい。また、画像切替の１サイクルの時間を運転者が任意に設定できるようにしたり、車速に基づいて１サイクルの時間を可変とし、車速が早いほど１サイクルの時間が短くなるように自動調整してもよい。
【００４１】
（第３の処理手法）
この処理手法は、車両の進行方向を予測し、その予測進行方向に合わせて合成時の境界位置を設定するものである。図９は、この処理の制御のフローチャートを示している。
【００４２】
図９に示される制御は主として運転支援ＥＣＵ１０によって実行されるものであり、この制御ルーチンは車両のイグニッションキーがオンにされてからオフにされるまでの間、所定の間隔で繰り返し実行される。
【００４３】
図９に示されるようにまずステップＳ１では、ステアリングセンサ４２と車輪速センサ４４の出力値を読み取ることで操舵角、車速を読み込む。そしてステップＳ２では、これらの情報から車両の進行方向の予測を行う。ステップＳ３ではこうして予測した進行方向から適切な境界位置の設定を行う。ステップＳ４では、設定した境界位置に基づいて画像処理ＥＣＵ１１がカメラ２０ａ〜２０ｄで得られた画像の視点変換画像を合成処理し、ステップＳ５では得られた画像を表示装置３２に表示する。
【００４４】
図１０（ａ）（ｂ）は、こうして得られた画像の一例を示す図である。いずれも図５に示されるように車両１の右後方に立体物であるポール５が位置している状態から後退する場合であり、図１０（ａ）はポール５側へと右折しながら後退する場合を、図１０（ｂ）はポール５と反対側へと左折しながら後退する場合を示している。
【００４５】
図１０（ａ）に示されるように、ポール５側へと右折しながら後退する場合、車両の右側後部がポール５へ最も接近し、接触するおそれがある。まず、ステップＳ２においては各車輪の進路を予測する。この場合、重複領域７に最も入り込むのは右後輪ＲＲであり、その進路は図中８_RRで示すように予測される。運転者に対してこの右後輪ＲＲの進路８_RR上の障害物等を正確に表示することが望ましいから、進路上の画像情報を取得しているカメラ２０ｃ側の画像情報を表示するよう境界位置の設定を行う。すなわち、ステップＳ３では、境界位置７４をこの予測進路から最も離れた位置（カメラ２０ｄ側）に設定してステップＳ４で、図１０（ａ）に示されるような画像を合成する。
【００４６】
表示画像中では、立体物であるポール５は境界位置７４側で車両側方に延びる領域５ｃとして表示される。一方、右後輪ＲＲの進路８_RR上についてはカメラ２０ｃ側で得られた画像を元に生成した視点変換画像が表示されるので、進路８_RR上に障害物等がある場合もその位置情報を正確に表示することができ、運転者は障害物を回避するため適切な操舵を行うことができる。
【００４７】
逆に、図１０（ｂ）に示されるように、ポール５側と反対側へと左折しながら後退する場合、今度は車両の右側前部がポール５へ最も接近し、接触するおそれがある。まず、ステップＳ２においては同様に各車輪の進路を予測する。この場合、重複領域７に最も入り込むのは右前輪ＦＲであり、その進路は図中８_FRで示すように予測される。運転者に対してこの右前輪ＦＲの進路８_FR上の障害物等を正確に表示することが望ましいから、進路上の画像情報を取得しているカメラ２０ｄ側の画像情報を表示するよう境界位置の設定を行う。すなわち、ステップＳ３では、境界位置７４をこの予測進路から最も離れた位置（カメラ２０ｃ側）に設定してステップＳ４で、図１０（ｂ）に示されるような画像を合成する。
【００４８】
表示画像中では、立体物であるポール５は境界位置７４側で車両後方に延びる領域５ｄとして表示される。一方、右前輪ＦＲの進路８_FR上についてはカメラ２０ｄ側で得られた画像を元に生成した視点変換画像が表示されるので、進路８_FR上に障害物等がある場合もその位置情報を正確に表示することができ、運転者は障害物を回避するため適切な操舵を行うことができる。
【００４９】
このように車両１の予測進路に応じて境界位置を設定することにより、特に操舵を伴う場合に巻き込みを起こしやすい領域における死角を効果的に低減することが可能である。また、立体物の位置も視認しやすくなる。
【００５０】
ここでは、合成時の境界が幅を有しない例について説明してきたが、一定の幅を有する境界領域として設定し、境界領域内ではαブレンディング等の処理を行ってもよい。
【００５１】
（第４の処理手法）
この処理手法は、運転者が設定した車両の目標進路に合わせて合成時の境界位置を設定するものである。以下では、縦列駐車の支援を行う場合を例に説明する。図１１は縦列駐車を開始する前の駐車位置と車両との関係を説明する図であり、図１２は目標駐車位置の設定画面例を示す図である。
【００５２】
図１１に示されるように既に駐車されている車両１ａと１ｂとの間のスペース９内のスペース９ａに自車１を駐車させる場合について説明する。ここで、スペース９内のスペース９ａの前方の車両１ａとの間のスペース９ｂは、スペース９ａ内に車両１を駐車させるための駐車操作を行うためのスペースである。
【００５３】
運転者は車両１を駐車させたいスペース９ａの右前方に停車させた後、駐車スペース９ａの設定を行う。具体的には、タッチパネル３１を備える表示装置３２上で図１２に示されるように駐車目標位置を実際に表示させつつ、そこに駐車スペース９ａと前後車両１ａ、１ｂとの余裕や駐車操作に必要なスペース９ｂを含む全体のスペース９を画像処理ＥＣＵ１１により合成して表示させる。そして、運転者はタッチパネル３１上に表示されたカーソルキーを利用してこのスペース９を移動させることで目標駐車位置の設定を行う。この目標駐車位置９ａと現在の車両位置から運転支援ＥＣＵ１０は、図１３に示されるように駐車操作時の目標進路９０（ここでは車両重心の移動軌跡として示している）を設定する。
【００５４】
図１４は、合成処理の制御のフローチャートを示すものであり、この制御は主として運転支援ＥＣＵ１０によって実行され、目標駐車位置の設定が行われてから、実際に駐車操作が終了するまでの間（図１３に示される目標進路９０の端に到達するまでの間）、所定の間隔で繰り返し実行されるものである。
【００５５】
図１４に示されるようにまずステップＳ１１では、ステアリングセンサ４２と車輪速センサ４４、シフト位置センサ４３の出力値を読み取ることで操舵角、車速等を読み込む。そしてステップＳ１２では、これらの情報から車両１の位置、姿勢を演算する。ステップＳ１３では、予測した車両１の位置、姿勢が設定された目標進路９０上に位置しているか否かを判定する。目標進路９０からのずれが大きい場合には、ステップＳ１４へと移行して目標進路９０の再設定を行う。ずれが大きいため、切り返し等の運転操作が必要な場合には、表示装置３２に適切な運転操作を表示するとともに、警報器３３により運転者に注意を促す。
【００５６】
ステップＳ１３で目標進路９０とのずれが小さいと判定された場合やステップＳ１４で目標進路９０の再設定を行った後はステップＳ１５へと移行し、進路上の車両の位置、姿勢に応じて適切な境界位置の設定を行う。ステップＳ１６では、設定した境界位置に基づいて画像処理ＥＣＵ１１がカメラ２０ａ〜２０ｄで得られた画像の視点変換画像を合成処理し、ステップＳ１７では得られた画像を表示装置３２に表示する。
【００５７】
具体的に上記の縦列駐車時を例に説明すると、図１５に示されるように縦列駐車操作の開始当初、つまり車両重心位置が進路９０上のＡ点にある場合は、舵を左に切って後退する操作を行う必要がある。この場合には、車両の後方左側では、左側の画像情報を、後方右側では後方の画像情報が重要となるため、車両の後方左側における左側方カメラ２０ｂと後方カメラ２０ｃの重複領域では後方カメラ２０ｃで取得した画像が優先されるよう境界位置７５Ｌを側方側に設定する。一方、車両の後方右側における後方カメラ２０ｃと右側方カメラ２０ｄとの重複領域では右側方カメラ２０ｄで取得した画像が優先されるよう境界位置７５Ｒを後方側に設定する。
【００５８】
車両１がさらに後退して図１６に示されるように位置Ｂに到達したときには、舵を戻しさらに右に切って後退する操作を行う必要がある。この場合には、車両の後方左側では、後方の画像情報を、後方右側では側方の画像情報が重要となるため、車両の後方左側における左側方カメラ２０ｂと後方カメラ２０ｃの重複領域では左側方カメラ２０ｂで取得した画像が優先されるよう境界位置７５Ｌを後方側に設定する。一方、車両の後方右側における後方カメラ２０ｃと右側方カメラ２０ｄとの重複領域では後方カメラ２０ｃで取得した画像が優先されるよう境界位置７５Ｒを側方側に設定する。
【００５９】
車両１がさらに後退して図１７に示されるように位置Ｃに到達したときには、舵を戻しまっすぐ後退する操作を行う必要がある。この場合には、車両の後方左右とも側方の画像情報は重要ではないため、いずれの重複領域においても後方カメラ２０ｃで取得した画像が優先されるよう境界位置７５Ｌ、７５Ｒを側方側に設定する。
【００６０】
以上のように進路上の車両の位置および姿勢に応じて画像合成時の境界位置を設定することにより、特に操舵を伴う場合に巻き込みを起こしやすい領域における死角を効果的に低減することが可能である。また、立体物の位置も視認しやすくなる。
【００６１】
ここでは、合成時の境界が幅を有しない例について説明してきたが、一定の幅を有する境界領域として設定し、境界領域内ではαブレンディング等の処理を行ってもよい。また、ここでは、縦列駐車の場合を例に説明したが、例えば車庫入れ等の運転操作やクルーズコントロール等にも適用可能である。さらに、操舵を自動化し、駆動操作を運転者が行う自動操舵による駐車支援システムや操舵、駆動とも完全に自動化した自動駐車システムに対しても好適に適用可能である。
【００６２】
以上の４つの処理方法の２つ以上を組み合わせて運転操作に対応して切り替えて使用してもよい。また、以上の説明では、各カメラで取得した画像を同一の仮想視点から眺めた画像に変換する合成例を説明してきたが、いわゆるパノラマ画像や展開画像として変換してもよい。
【００６３】
【発明の効果】
以上説明したように本発明によれば、複数のカメラで取得した画像を基にして視点変換と画像合成によって車両周辺の状況を運転者にとって視認しやすく表示させる車両周辺モニタ装置において、立体物を検出して検出された位置に応じて、あるいは予測した進路や設定された目標進路に応じてカメラ間で撮像範囲が重複する領域内において合成画像の基となる撮像装置またはその組み合わせを特定して区分する境界位置を設定することで立体物の消失やぼけを防ぎ、かつ、重要な画像情報を効果的に運転者に提供することが可能となる。
【００６４】
あるいは本発明によれば、車両周辺モニタ装置において、合成時の境界位置を周期的に変更あるいは切り替えることで、運転者が立体物を視認しやすく、かつ、重要な画像情報を効果的に運転者に提供することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る車両周辺モニタ装置の構成を示すブロック図である。
【図２】カメラ２０ａ〜２０ｄの車両への搭載状態を説明する図である。
【図３】各カメラ２０ａ〜２０ｄで撮像する撮像領域を説明する図である。
【図４】視点変換の原理を説明する図である。
【図５】車両１と右後方に存在するポール５の関係を示す斜視図である。
【図６】従来の画像合成例を説明する図である。
【図７】第１の処理手法を用いて表示した場合の表示結果の一例を示す図である。
【図８】第２の処理手法を用いて表示した場合の表示結果の一例を示す図である。
【図９】第３の処理手法の制御のフローチャートである。
【図１０】第３の処理手法を用いて表示した場合の表示結果の一例を示す図である。
【図１１】縦列駐車を開始する前の駐車位置と車両の関係を説明する図である。
【図１２】目標駐車位置の設定画面例を示す図である。
【図１３】設定された目標進路を説明する図である。
【図１４】第４の処理方法の制御のフローチャートである。
【図１５】第４の処理方法を用いて表示した場合の表示結果の一例を示す図である。
【図１６】図１５の続きを示す図である。
【図１７】図１６の続きを示す図である。
【符号の説明】
１…車両、５…立体物（ポール）、１０…運転支援ＥＣＵ、１１…画像処理ＥＣＵ、２０…カメラ、３１…タッチパネル、３２…表示装置、

Claims

車両の複数の箇所にそれぞれ設置され、外界の画像情報を取り込む撮像装置と、前記撮像装置によって取り込まれた画像を処理する制御装置と、該制御装置によって処理された画像を表示する表示装置とを備える車両周辺モニタ装置において、
車両周辺に存在する立体物を検出する立体物検出手段をさらに備え、前記制御装置は前記複数の撮像装置で取り込んだ画像を基にして所定の視点から車両周辺を見た合成画像を生成するものであって、前記撮像装置間で撮像範囲が重複する領域内において前記立体物検出手段により検出された立体物の位置情報に基づいて合成画像の基となる撮像装置またはその組み合わせを特定して区分する境界領域を設定することを特徴とする車両周辺モニタ装置。
前記制御装置は、前記立体物の位置情報に基づいて前記立体物から離隔した位置で合成画像が不連続となるよう合成処理を行う請求項１記載の車両周辺モニタ装置。
前記制御装置は、前記立体物の位置情報に基づいて前記立体物位置付近で合成画像が不連続となるよう合成処理を行う請求項１記載の車両周辺モニタ装置。
車両の複数の箇所にそれぞれ設置され、外界の画像情報を取り込む撮像装置と、前記撮像装置によって取り込まれた画像を処理する制御装置と、該制御装置によって処理された画像を表示する表示装置とを備える車両周辺モニタ装置において、
前記制御装置は前記複数の撮像装置で取り込んだ画像を基にして所定の視点から車両周辺を見た合成画像を生成するものであって、前記撮像装置間で撮像範囲が重複する領域内において合成画像の基となる撮像装置またはその組み合わせを特定して区分する境界領域を周期的に変更することを特徴とする車両周辺モニタ装置。
車両の複数の箇所にそれぞれ設置され、外界の画像情報を取り込む撮像装置と、前記撮像装置によって取り込まれた画像を処理する制御装置と、該制御装置によって処理された画像を表示する表示装置とを備える車両周辺モニタ装置において、
車両挙動から車両の進行方向を予測する進行方向予測手段をさらに備えており、前記制御装置は前記複数の撮像装置で取り込んだ画像を基にして所定の視点から車両周辺を見た合成画像を生成するものであって、前記撮像装置間で撮像範囲が重複する領域内において前記予測手段により予測された進行方向に基づいて合成画像の基となる撮像装置またはその組み合わせを特定して区分する境界領域を設定することを特徴とする車両周辺モニタ装置。
車両の複数の箇所にそれぞれ設置され、外界の画像情報を取り込む撮像装置と、前記撮像装置によって取り込まれた画像を処理する制御装置と、該制御装置によって処理された画像を表示する表示装置とを備える車両周辺モニタ装置において、
運転者が設定した目標移動位置から適切な車両の目標進路を設定する進路設定手段をさらに備えており、前記制御装置は前記複数の撮像装置で取り込んだ画像を基にして所定の視点から車両周辺を見た合成画像を生成するものであって、前記撮像装置間で撮像範囲が重複する領域内において前記進路設定手段により設定された目標進路に基づいて合成画像の基となる撮像装置またはその組み合わせを特定して区分する境界領域を設定することを特徴とする車両周辺モニタ装置。
前記制御装置は、前記進行方向予測手段により予測された進行方向あるいは前記進路設定手段により設定された目標進路方向が直進以外の場合には、予測された進行方向あるいは設定された目標進路方向側では車体進行方向あるいは目標進路方向から離れた位置に前記合成画像合成時の境界領域を設定することを特徴とする請求項５または６のいずれかに記載の車両周辺モニタ装置。