WO2022044374A1 - 表示制御装置、車両及び表示制御方法 - Google Patents

Abstract

表示制御装置は、車両検出部と、画像処理部と、を備え、画像処理部は、車両の背景画像を生成し、所定の領域内に周辺車両が検出された場合、周辺車両を検出した位置に第２射影面を設定し、第２射影面に複数の撮影画像を射影する事によって、周辺車両画像を生成し、周辺車両画像を背景画像に重畳する。

Description

表示制御装置、車両及び表示制御方法

　本開示は、表示制御装置、車両及び表示制御方法に関する。

　特許文献１には、車両の右側、左側、後側のそれぞれに設置されたカメラで撮影された画像を合成して表示装置に表示する表示制御装置が開示されている。この種の従来技術では、射影面を後続車の位置に設定し、さらに、各カメラの視野範囲の境界を後続車の位置に合わせる事により、後続車が二重写りする事を回避出来る。

特開２０２０－０５２６７１号公報

　しかしながら、射影面を後続車の位置に設定した場合、後続車の位置よりも遠い位置の背景部分は二重写りする。背景部分の二重写りを回避するために、後続車の位置よりも遠い位置に射影面が設定されると、背景部分の二重写りは生じないものの、後続車が合成後の画像上から消失する恐れがある。このように従来技術では、複数のカメラで撮影された車両後方の画像を合成する上で改善の余地がある。

　本開示の非限定的な実施例は、後続車が合成後の画像上から消失する事を防止出来る表示制御装置、車両及び表示制御方法の提供に資する。

　本開示の一実施例に係る表示制御装置は、車両が搭載する複数の撮像装置で撮影された前記車両周辺の複数の撮影画像に基づき、前記車両周辺に存在する周辺車両を検出する車両検出部と、複数の前記撮影画像を合成する事によって、前記車両が搭載する表示部に表示される表示画像を生成する画像処理部と、を備え、前記画像処理部は、前記車両の後方に設定された第１射影面に複数の前記撮影画像を射影する事によって、前記車両の背景画像を生成し、所定の領域内に前記周辺車両が検出された場合、前記周辺車両を検出した位置に第２射影面を設定し、前記第２射影面に複数の前記撮影画像の少なくとも１つを射影する事によって、前記周辺車両の画像である周辺車両画像を生成し、前記周辺車両画像を前記背景画像に重畳する。

　本開示の一実施例に係る車両は、上記の表示制御装置を備える。

　本開示の一実施例に係る表示制御方法は、車両が搭載する複数の撮像装置で撮影された前記車両周辺の複数の撮影画像に基づき、前記車両周辺に存在する周辺車両を検出するステップと、前記車両の後方に設定された第１射影面に複数の前記撮影画像を射影する事によって、前記車両の背景画像を生成するステップと、所定の領域内に前記周辺車両が検出された場合、前記周辺車両を検出した位置に第２射影面を設定するステップと、前記第２射影面に複数の前記撮影画像の少なくとも１つを射影する事によって、前記周辺車両の画像である周辺車両画像を生成するステップと、前記周辺車両画像を前記背景画像に重畳するステップと、を含む。

　本開示の一実施例によれば、後続車が合成後の画像上から消失する事を防止出来る表示制御装置、車両及び表示制御方法を構築出来る。

　本開示の一実施例における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施の形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

本開示の実施の形態に係る車両１００の構成例を示す図 本開示の実施の形態に係る表示制御装置２００の構成例を示す図 表示部７に表示される合成画像の一例を示す図 射影変換と視点変換の関係を説明するための図 視点変換をした場合の視点変換画像の一例を示す図 ３つのカメラで撮影された画像を合成する事によって表示画像を作成するまでの流れを説明するための図 鳥観図の様に自車両を見下ろしたような仮想視点画像を生成するときの流れを説明するための図 表示画像上から後続車１１が消失する状態を説明するための図 表示画像上に１つの物体が二重写りする状態を説明するための図 本実施の形態に係る表示制御装置２００による衝立射影面１３Ａの設定方法について説明するための図 衝立射影面１３Ａが適用される領域（衝立射影適用領域１６）について説明するための図 衝立射影面１３Ａの高さについて説明するための図 衝立射影面１３Ａと射影面１０との境界部分のブレンディング処理について説明するための図 境界領域１７ａ、１７ｂを動的に制御する方法について説明するための図 後続車１１の位置に応じた境界領域の幅の制御について説明するための図 境界領域におけるブレンド比の制御について説明するための図 後続車１１の有無による仮想視点２０の位置の制御方法を説明するための図 自車両の車速に応じた仮想視点２０の位置の制御方法を説明するための図 射影面１０の傾きの制御方法について説明するための図 射影面１０の傾きの制御方法について説明するための図 射影面１０に路面を含める制御方法について説明するための図 射影面１０の下部に緩斜面１８を付加する制御方法について説明するための図 ボウル形状の射影面１０の一例を示す図 湾曲した円筒状の射影面１０及び衝立射影面１３Ａの一例を示す図

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付する事により重複説明を省略する。

　（実施の形態）
　図１は本開示の実施の形態に係る車両１００の構成例を示す図である。車両１００は、右カメラ１、左カメラ２、後方カメラ３、及び表示制御装置２００を備える。

　右カメラ１、左カメラ２、及び後方カメラ３のそれぞれは、ＣＣＤ（Charge Coupled Device）あるいは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備えた、車両１００の外部を撮像する撮像手段である。

　右カメラ１は、例えば車両１００の進行方向に対して右側に設置され、通常、右サイドミラーがある位置に右斜め後方、かつ、やや下向きに向けて設けられており、視野範囲１ａを撮影した画像（右画像）の内容を示す画像情報を表示制御装置２００に入力する。視野範囲１ａは、車両１００の右側後方（右斜め後方）の一定領域である。

　左カメラ２は、例えば車両１００の進行方向に対して左側に設置され、通常、左サイドミラーがある位置に左斜め後方、かつ、やや下向きに向けて設けられており、視野範囲２ａを撮影した画像（左画像）の内容を示す画像情報を表示制御装置２００に入力する。視野範囲２ａは、車両１００の左側後方（左斜め後方）の一定領域である。

　後方カメラ３は、例えば車両１００の進行方向に対して後ろ側に、やや下向きに設けられており、視野範囲３ａを撮影した画像（後方画像）の内容を示す画像情報を表示制御装置２００に入力する。視野範囲３ａは、車両１００の後方の一定領域である。

　表示制御装置２００は、右画像、左画像、及び後方画像のそれぞれから切り出された画像を表示部７に並べて表示する装置である。

　次に図２を参照して表示制御装置２００の構成例について説明する。図２は本開示の実施の形態に係る表示制御装置２００の構成例を示す図である。

　表示制御装置２００は、例えば１又は複数のＥＣＵ（Electronic Control Unit）などで構成され、表示部７における各種の表示制御処理を行う制御部である。

　表示制御装置２００には、右カメラ１、左カメラ２、後方カメラ３、操作部４、ナビケーション装置５、表示部７が接続され、車載ネットワークであるＣＡＮ（Controller Area Network）を介して、各種センサ８が接続される。

　操作部４は、車両１００の乗員の入力操作を受け付けるユーザインタフェイス（ウインカレバー、スイッチ類など）である。表示部７は、合成画像を表示する液晶ディスプレイなどである。各種センサ８は、例えば車速センサ、舵角センサ、ギア位置センサなどである。

　表示制御装置２００は、画像処理部６１、車両検出部６２、状況判定部６３、画像制御部６４、及びＣＡＮ通信部６５を備える。

　画像処理部６１は、右カメラ１、左カメラ２、及び後方カメラ３のそれぞれで撮影された画像を合成し、合成した画像を表示部７に表示させる。

　車両検出部６２は、右カメラ１、左カメラ２、及び後方カメラ３のそれぞれで撮影された画像に基づき、車両１００の後方に存在する後続車などを検出すると共に、後続車の位置を検出し、後続車の検出の有無と、後続車の位置を示す後続車情報を出力する。

　状況判定部６３は、車両検出部６２から出力された後続車情報や、操作部４で入力操作が行われた事を示す操作情報を入力し、これらの情報に基づき、表示部７における表示態様を決定する。

　画像制御部６４は、状況判定部６３が決定した表示態様に従って、画像の変換や合成のパラメータを制御する。画像処理部６１では、画像制御部６４で制御されたパラメータに従って、右カメラ１、左カメラ２、及び後方カメラ３のそれぞれで撮影された画像の合成が行われる。

　次に、図３～図９を参照して、本開示に係る実施の形態を創作するに至った背景や、撮影画像の合成を行うときの従来の問題点などを説明する。

　＜ブレンディング＞
　図３は表示部７に表示される合成画像の一例を示す図である。図３の左側には、右カメラ１、左カメラ２、及び後方カメラ３のそれぞれで撮影された画像を合成するイメージが示されている。図３の右側には、表示部７に表示される合成画像が示される。

　車両１００の後方の風景が３つのカメラで撮影されると、それぞれのカメラで撮影された画像は、異なる視点位置から撮影した画像になる。従って、これらのカメラで撮影された物体が同一であっても、視点位置の違いによって物体の像の形が異なるため、これらの画像が合成されると、その継ぎ目において画像が不連続になる場合や歪む場合がある。

　例えば、車両１００の後方から比較的離れた位置に設置されるフェンス６は、実空間上では車両１００の横幅方向と平行な方向へ直線状に伸びている。ところが、撮影された右画像と後方画像とが合成される際に、合成された画像の継ぎ目の位置においてフェンス６の像の高さが違っていると、フェンスの像が一直線にならないで歪んでしまう。

　この対策として、例えば後方画像を右画像と左画像とによって挟むようにして、１つの表示画像を作る時に、例えば右画像と後方画像との境界部分（継ぎ目部分）に境界領域を設け、左画像と後方画像との継ぎ目部分にも境界領域を設ける。そして、これらの境界領域において、２つの画像（右画像と後方画像、又は、左画像と後方画像）の画素値を混合する事によって、表示画像を形成する。これを一般に「ブレンディング」と呼ぶ。

　このブレンディングでは、隣接する２つの画像の一方から他方（例えば、図３の右画像から後方画像）に近づくほど、他方の画像に対する一方の画素値の混合比（ブレンド比）を下げる事によって、境界領域の不自然さを目立たなくする事が出来る。

　＜射影変換と視点変換＞
　図４は射影変換と視点変換の関係を説明するための図である。カメラによる撮影では、実視点（カメラ位置）から見た三次元空間における光学情報が二次元画像（撮像画像）の情報に変換される。また、二次元画像を、三次元空間上にある面（射影面）に投影する事を射影と呼ぶ。射影面を、実視点に対して傾けると、射影面上の画像は引き伸ばされる。

　撮影画像上の画素を、射影面上の画素に対応付ける処理をマッピングと呼ぶ。マッピングを行う事により、撮影画像を、別の位置から見た画像に変換する事が出来る。この変換処理を、視点変換又は視点移動と呼び、この変換処理で得られた画像を視点変換画像と呼ぶ。射影面上の画素を視点変換画像上の画素に対応付ける処理もマッピングと呼ぶ事ができる。

　射影面上の画像のうち、視点変換によって視点までの距離が近くなった部分は、視点変換画像上で拡大され、視点変換によって視点までの距離が遠くなった部分は、視点変換画像上で縮小される。つまり、視点変換によっても、画像は変形される。

　なお、射影と視点変換を行う時に、射影のマッピングを行った上で視点変換のマッピングを行うのではなく、撮影画像上の画素を、直接、視点変換画像上の画素に対応付けるマッピングも可能である。この時の、対応付けに利用される表をマッピングテーブルと呼ぶ。つまり、射影や視点変換は、マッピングテーブルにより画像を変形する処理に帰結する。

　＜仮想視点の虚実＞
　図５は視点変換をした場合の視点変換画像の一例を示す図である。図５に示す立方体５０の正面５１を、図上の実視点から撮影すると、正面５１が見えて側面５２は見えない画像となる。この実視点から見た画像を、図の様に右寄りの仮想視点から見た画像に変換した場合、すなわち仮想的に斜めの方向から立方体５０を撮影した様な視点変換画像に変換した場合は、正面５１は図の様な右寄りの仮想視点から見た場合に見える画像と同じ像、つまり、視点移動により遠くなった左側の辺が縮小された像に変形される。しかし、実視点から見た時に映っていなかった立方体５０の側面５２は、視点変換画像には写らない。

　すなわち、視点変換は仮想的な視点移動であるため、視点変換画像では、実際に視点を移動して撮影した場合の画像と同じ画像を得る事は出来ない。結局、射影及び視点変換は、撮影した画像の変形に過ぎない。

　＜視点変換による仮想視点画像の生成と合成画像の生成＞
　図６は３つのカメラで撮影された画像を合成する事によって、表示画像を作成するまでの流れを説明するための図である。

　表示画像を作成する処理では、まず右画像、後方画像、及び左画像のそれぞれが、視点変換される事により、表示部７の位置を仮想視点とする仮想視点画像に変換される。

　次に、これらの仮想視点画像を合成する事により１つの表示画像が作成される。この処理により、３つのカメラで撮影された画像を一つの仮想視点から見たような画像に合成するが、前述の様に実視点の位置による像の違いが残るので、画像の継ぎ目で不連続が生じる事がある。

　＜仮想視点の上方移動と、仮想視点画像への自車両のモデル画像の重畳合成＞
　図７は、鳥観図の様に自車両を見下ろしたような仮想視点画像を生成するときの流れを説明するための図である。生成の処理では、まず、図７の左側に示すように、仮想視点２０を、自車両の前方かつ上方に移動させる。これにより、自車両を見下ろしたような３つの仮想視点画像が得られる。

　次に、これらの仮想視点画像が合成され、図７の右側の図に示すような、合成された仮想視点画像の上に自車両のモデル画像（例えば、図７の右側の図の下部にある台形は、車両１００の屋根を模した画像）が重畳された画像が最終的に生成される。

　通常のバックミラーを備えた車両の実際の運転の場面では、ドライバーがバックミラーに映った車両１００の後部と車両１００の後方を見る事によって、バックミラーに映り込んだ自車両の後部（例えばトランクルームの上面など）を基準として、後続車の位置を把握している。ミラーを備えずカメラを用いる車両においても、図７に示すように、３つの仮想視点画像を合成する際に、仮想的に自車両の後部画像（図７では屋根を模した画像）を重畳合成する事によって、後続車との位置関係を把握する基準を作る事が出来る。

　＜表示画像上から後続車１１が消失する場合＞
　図８は表示画像上から後続車１１が消失する状態を説明するための図である。車両１００の遠方に射影面１０が設定され、射影面１０に対して、３つの仮想視点画像が横方向に連続する様に射影されるとき、３つのカメラ画像のそれぞれの一部が切り出される。

　なお射影面１０は、平面に限定されず、例えば後述するようなボウル形状の面でもよいし、湾曲した面でもよい。また、射影面１０は、車両１００の全周を取り囲む円筒状の面でもよいし、車両１００の全周を取り囲む円錐状の面でもよい。

　３つのカメラ画像のそれぞれの視野範囲は、図１の視野範囲１ａ、視野範囲２ａ、視野範囲３ａに示すように重複する部分がある。３つのカメラ画像をそのまま合成して表示画像を作ると、重複する視野範囲の中に映った物体は表示画像上で複数回表示される事になるので、ドライバーが物体の位置を把握する際に混乱する恐れがある。そこで、表示画像上で重複が生じる事を回避するため、各々のカメラ画像の視野範囲から一部を切り出した画像を作る切り出し処理を行っている。図８の切り出し範囲１ａ１は、図１の視野範囲１ａの右画像から切り出された部分である。図８の切り出し範囲２ａ１は、図１の視野範囲２ａの左画像から切り出された部分である。図８の切り出し範囲３ａ１は、図１の視野範囲３ａの後方画像から切り出された部分である。

　ここで、射影面１０の位置よりも手前に存在する後続車１１が、カメラ画像から切り出されない部分（背景画像に表示されない死角領域１２）に存在する場合、死角領域１２が表示画像を見ているドライバーの死角となり、後続車１１は、表示画像上から消失してしまう。つまり、後続車１１の位置よりも遠い位置に射影面１０が設定されると、合成後の画像上から後続車１１が消失する恐れがある。

　＜１つの物体が二重写りする場合＞
　図９は表示画像上に１つの物体が二重写りする状態を説明するための図である。以下では、車両１００の近くに射影面１０を設定した場合の問題点について説明する。

　図９の例では、車両１００の近くに設定された射影面１０において、３つの後方画像が横方向に連続する様に、右画像、左画像及び後方画像が切り出されている。切り出し範囲１ａ１、切り出し範囲３ａ１及び切り出し範囲２ａ１のそれぞれの幅は、図８の例よりも広い。この場合、切り出し範囲１ａ１、切り出し範囲３ａ１及び切り出し範囲２ａ１は、射影面１０の位置では重複していないが、射影面１０よりも遠方の位置では重複する部分があるので、射影面１０よりも遠方に存在する物体１３が重複する部分にあると、２つの切り出し範囲のそれぞれに表示される。

　図９の例では、切り出し範囲１ａ１の一部と切り出し範囲３ａ１の一部が射影面１０よりも遠方の位置で重なる事により、右画像と後方画像に共通の物体１３が表示される。つまり、合成された表示画像上に、１つの物体１３が２つ物体１３ａ、１３ｂとして表示される。物体１３が１台の二輪車の場合、車両１００の近くに設定された射影面１０に２台の二輪車が表示される事になる。そのため、ドライバーは、二輪車の実際の位置を正しく把握する事が困難になる。

　また、例えば、物体１３が１台の二輪車の場合、切り出し範囲３ａ１と１ａ１が重複した部分に存在していた二輪車が切り出し範囲１ａ１だけに含まれる位置へ移動すると、切り出し範囲１ａ１に存在する二輪車のみが表示部７に表示されるようになる。するとドライバーは、二輪車が２台存在していると認識していたため、この場合、一方のバイクが車両１００の後方から消えたように錯覚する。

　次に、図１０などを参照して上記の問題を解決するための実施例について説明する。

　（実施例１）
　＜実施例１－１：衝立射影面１３Ａの設定＞
　図１０は本実施の形態に係る表示制御装置２００による衝立射影面１３Ａの設定方法について説明するための図である。

　表示制御装置２００は、後続車１１を検出した場合、後続車１１の正面部分に、後続車１１を囲む事が出来る大きさの衝立状の射影面（衝立射影面１３Ａ）を設定する。そして、表示制御装置２００は、撮影画像のうち後続車１１の像を含む領域を衝立射影面１３Ａに射影して衝立画像を生成する。この時、後続車１１の全体像を含む撮影画像が無い場合は、二つ撮影画像を衝立射影面１３Ａに射影する事により、衝立射影面１３Ａの上で後続車１１の全体像を合成する様にしてもよい。後続車１１の全体像を含む撮影画像がある場合は、撮影画像を一つだけ衝立射影面１３Ａに射影する様にしても良い。衝立射影面１３Ａに射影する撮影画像が一つだけであれば、合成に伴う不連続の発生が避けられるので、より好ましい衝立画像を生成できる。衝立射影面１３Ａを設定する領域については後述する。

　また、表示制御装置２００は、衝立射影面１３Ａよりも遠方に射影面１０を設定し、射影面１０に複数の撮影画像を射影して、背景画像（例えば物体１３を含む画像）を生成する。

　そして、表示制御装置２００は、衝立画像を背景画像の上に嵌め込む事によって、１つの表示画像を生成する。

　なお、衝立射影面１３Ａ及び射影面１０は、平らな長方形の面でもよいし、球面などの湾曲した面でもよい。

　これにより、連続する背景画像に、後続車１１の画像が貼り付けられた形となるため、後続車１１の消失や、後続車１１の二重写りを解消出来る。つまり、背景画像は二重写りが発生しない様に、遠方の射影面１０の上で画像が連続する様に切り出して合成しており、後続車１１の像は衝立画像に捉えられて背景画像の上に重畳されるので、後続車１１の消失は起こらない。

　なお、表示制御装置２００は、後続車１１を検出しない場合、衝立射影面１３Ａの設定や衝立射影面１３Ａへの射影を行わず、背景画像を表示画像とする。

　＜実施例１－２：衝立射影面１３Ａが設定される領域＞
　図１１は衝立射影面１３Ａが適用される領域（衝立射影適用領域１６）について説明するための図である。

　図１１には、背景画像を生成するために射影面に車両周辺の複数の撮影画像を射影する際の、右カメラの撮影画像の切り出し範囲１ａ１の中央寄りの端ａと、左カメラの撮影画像の切り出し範囲２ａ１の中央寄りの端ｂと、後方カメラの撮影画像の切り出し範囲３ａ１の右寄りの端ｃ１と左寄りの端ｃ２と、が示されている。この射影面に車両周辺の複数の撮影画像を射影する際に行う切り出しは、背景画像が連続した画像となる様に、車両周辺の複数の撮影画像から射影する範囲を限定する切り出しであり、具体的には、隣接する画像と重複する部分を射影する範囲から除くように切り出しを行う。なお、図１１の例ではブレンディングを行う事を前提に、幅の狭い重複部分がブレンディングの為の糊代として残るように切り出している。衝立射影適用領域１６は、後方カメラの視野範囲３ａの中に含まれるが、背景画像が連続した画像となる様に切り出しを行なった時には、背景画像に表示されなくなる領域を含むように設定される。

　背景画像が連続した画像となる様に切り出しを行なった時の例としては、図８を併せて参照されたい。図８のように、背景画像が連続した画像となる様に車両周辺の複数の撮影画像から射影する範囲を限定する切り出しを行うと、背景画像に表示されない死角領域１２が拡大するので、ここに二輪車１１が入り込むと背景画像から消失する。図１１の例でも、切り出し範囲１ａ１の端ａと切り出し範囲３ａ１の端ｃ１との間の領域は、背景画像に表示されない死角領域１２になるが、図８の死角領域１２よりは大幅に範囲が縮小され、車両１００の直近に限定されている。この死角領域１２に入った後続車１１の画像は、背景画像から消失する恐れがあるが、カメラの配置上の制約から止むを得ず発生する死角であり、通常の車間距離を取っていれば後続車が入り込まない領域でもあると言えるので、図１１の死角領域１２は衝立射影適用領域１６に含めない。

　表示制御装置２００は、前述のように、後方カメラの視野範囲３ａの中に含まれるが、背景画像が連続した画像となる様に切り出しを行なった時には、背景画像に表示されなくなる領域を含めるように衝立射影適用領域１６を設定し、設定した衝立射影適用領域１６の前端部分に、前述した衝立射影面１３Ａを設定する。衝立射影適用領域１６を後方カメラの視野範囲３ａの中に含まれるが、背景画像が連続した画像となる様に切り出しを行なった時には、背景画像に表示されなくなる領域よりも幅広く設定する理由は、後続車の車体の一部が背景画像に表示されなくなる領域に入る場合にも衝立射影を適用する事により、後続車の車体の一部が見えなくなってドライバーの状況把握を妨げる事が無いようにする為である。

　なお、背景画像の内、一つのカメラで撮影された画像のみが映る領域（例えば図１１の切り出し範囲１ａ１）では、背景画像が連続した画像となる様に切り出しを行なっても後続車１１が消失する事がなく、また二重写りする事もない。そのため、当該領域に衝立射影適用領域１６を設定する必要はない。図１１において、二つの衝立射影適用領域１６に挟まれた車両１００の真後ろの領域も、必ず背景画像に表示されて二重写りも生じないので、衝立射影適用領域１６から除外されている。

　また、射影面１０の近くの位置や、射影面１０よりも遠方の位置に、衝立射影適用領域１６を適用したとしても、それを適用しない場合と比べて大きな差はないため、これらの位置に、衝立射影適用領域１６を設定する必要はない。

　＜実施例１－３：衝立射影面１３Ａの高さの設定＞
　図１２は衝立射影面１３Ａの高さについて説明するための図である。

　衝立射影面１３Ａの高さは、仮想視点２０から後続車１１を見たときに、後続車１１の上端から下端までの領域を含むように設定される。

　衝立射影面１３Ａの上端よりも上側の領域は、後続車１１の画像を表示する必要がないため、表示画像上では当該領域には射影面１０の背景画像が選択される。これにより、衝立射影面１３Ａの上側の部分では、背景画像が衝立射影面１３Ａに遮られずに表示される。衝立射影面１３Ａの下側の部分でも背景画像が選択され、路面が映った部分が衝立射影面１３Ａに遮られずに表示される。

　実施例１によれば、衝立射影面１３Ａを設定する事によって、後続車１１の画像が衝立射影面１３Ａに射影されるため、後続車１１の消失を防止出来る。

　また、衝立射影面１３Ａを設定した場合でも、射影面１０全体の内、少なくとも衝立射影面１３Ａによって遮られていない領域では、背景画像が二重写りせずに連続して見えるため、ドライバーが背景画像に対して、違和感を覚える事がない。

　また、後続車１１の画像の近傍で遠方の物体が二重写りしたとしても、二重写りする領域は比較的狭い範囲であるため、視認上の障害にならない。

　＜実施例１－４：衝立射影面１３Ａと射影面１０の境界部分のブレンディング＞
　図１３は衝立射影面１３Ａと射影面１０との境界部分のブレンディング処理について説明するための図である。

　衝立射影面１３Ａを設定する場合、衝立射影面１３Ａの衝立射影画像と射影面１０の背景画像が不連続になるため、表示制御装置２００は、衝立射影面１３Ａの衝立射影画像の辺縁部分に、衝立射影画像と背景画像の境界領域１７ｃを設けて、境界領域１７ｃにおいては外側に向うにつれて衝立射影画像の透過率が連続的に上昇し、徐々に背景画像に溶け込むようにブレンディングしてもよい。

　背景画像の生成においても、異なる画像の境界部分は不連続になる事があるので、境界領域を設けてブレンディングしても良い。例えば、後述する図１４の上側の図の境界領域１７ａは、右画像と後方画像との境界領域で、境界領域１７ｂは、左画像と後方画像との境界領域である。境界領域１７ａ、１７ｂを設けて、境界領域では隣接する画像に近づくほど重みが小さくなるような重み付け加算で合成画像の画素値を算出する事によって、隣接する画像が互いに溶け合うように画素混合を行い、これにより背景画像と衝立画像との境界線（境目）を目立たなくする事が出来る。また、衝立射影画像の生成に複数のカメラ画像を用いる時は、画像の境界部分に境界領域を設けてブレンディングしても良い。このように、不連続になる事がある画像の境界部分に対してブレンディングを行う事により、境界部分が不自然になってドライバーの目を引かない様にする事が出来る。

　＜実施例１－５：複数の衝立射影面１３Ａの設定＞
　表示制御装置２００は、後続車１１の数に応じて複数の衝立射影面１３Ａを設定するように構成してもよい。

　例えば、後続車１１が複数存在するときに、複数の後続車１１の内、特定の後続車１１のみに衝立射影面１３Ａが設定された場合、衝立射影面１３Ａが設定された後続車１１の画像は衝立射影面１３Ａに射影され、その他の後続車１１の画像は背景射影面に射影される。そのため、衝立射影面１３Ａが設定されていない後続車の画像が、画像の境界部分の境界領域において二重化したり、本来の位置よりも遠くに投射されることで引き延ばされたりする。

　このような問題を解決するため、表示制御装置２００は、後続車１１を複数検出した場合、検出した後続車１１のそれぞれの正面部分に、後続車１１を囲む事が出来る大きさの衝立状の射影面（衝立射影面１３Ａ）を設定する。

　これにより、複数の後続車１１の画像が実際の後続車１１の位置に投射されるため、境界領域おいて二重化したり、引き延ばされたりすることを抑制出来る。

　（実施例２）
　＜実施例２－１：境界領域の動的制御＞
　実施例２では、衝立射影面１３Ａの設定に代えて、衝立射影面１３Ａの画像と射影面１０の画像との境界部分（境界領域１７ａ、１７ｂ）を動的に制御する事で、後続車１１の消失を解消する実施例について説明する。

　図１４は境界領域１７ａ、１７ｂを動的に制御する方法について説明するための図である。後続車１１が消失するのは、例えば、後方画像と右画像との境界付近に後続車１１が入った時である。

　表示制御装置２００は、後続車１１の消失が発生する恐れのある領域を境界領域１７ａ、１７ｂに含めるように構成される。具体的には、図１４の下側の図の様に後続車１１の像が境界領域１７ａの付近に位置する時には、境界領域１７ａの幅を広げて、後続車１１の像が境界領域１７ａの中に含まれるようにする。この境界領域の中では後方画像の画素と右画像の画素をブレンディングして表示画像の画素を生成するので、後続車１１の像が後方画像と右画像の少なくとも一方に含まれていれば、表示画像に後続車１１の像が表示される事になる。これにより、後方画像と右画像との境界付近での後続車１１の消失を回避出来る。

　図１４では境界領域１７ａの右端は固定し、境界領域１７ａの左端を左側に移動して後続車１１の像を境界領域に収めているが、後続車１１の像の位置に応じて境界領域１７ａの右端も移動させる様な制御にしても良い。例えば、境界領域１７ａの右端も左側に移動して、後続車１１の像が境界領域１７ａの中央に位置する様に境界領域全体の位置を移動しても良い。図１４では後続車１１の像が後方画像と右画像との境界付近に位置する時を例示したが、後続車１１の像が後方画像と左画像との境界付近に位置する時は、境界領域１７ｂを後続車１１の像を含むように広げて、この境界領域の中では後方画像の画素と左画像の画素をブレンディングして表示画像の画素を生成すればよい。このように、表示制御装置２００は、後続車１１の像を境界領域１７ａ、１７ｂに含めると共に、境界領域１７ａ、１７ｂをブレンディングする事により、境界領域１７ａ、１７ｂの不自然さを目立たなくしながら、後方画像と左右画像との境界付近での後続車１１の消失を回避出来る。この後方画像と左右画像との境界付近の領域としては、図１１を用いて説明した、衝立射影面１３Ａが適用される領域（衝立射影適用領域１６）と同じ領域を設定しても良い。

　＜実施例２－２：後続車１１の有無に応じた境界領域１７ａ、１７ｂの幅の制御＞
　表示制御装置２００は、後続車１１が検出されない場合には境界領域１７ａ、１７ｂの幅を広げず、後続車１１が検出された場合には境界領域の幅を広げるように構成してもよい。また、表示制御装置２００は、後続車１１の像の幅を検知して、後続車１１の像の幅に応じて境界領域１７ａ、１７ｂの幅を広げるか否か、判断しても良い。

　例えば、表示制御装置２００は、後続車１１を検出した場合、後続車１１の横幅と後続車１１が映る範囲を判定する。後続車１１が所定幅よりも狭い場合、表示制御装置２００は、後続車１１が二輪車と判定し、後続車１１が所定幅よりも広い場合、後続車１１が四輪車と判定する。

　後続車１１が四輪車の場合、四輪車の車幅は二輪車の車幅よりも広いため、四輪車の像全体が表示画像から消失する事は起こらず、仮に四輪車の一部が表示画像から消失しても、後続車１１の見落としにはつながらないと考えられる。そのため、表示制御装置２００は、後続車１１の横幅が広く四輪車であると判定した時には、その四輪車付近の境界領域については、境界領域の幅を一定に維持するように制御してもよい。

　後続車１１が二輪車の場合、二輪車の車幅は四輪車の車幅よりも狭いため、二輪車の像全体が表示画像から消失する事が起こりやすい。そのため、表示制御装置２００は、後続車１１の横幅が狭く二輪車であると判定した時には、その二輪車付近の境界領域については、境界領域の幅を広げるように制御する。

　また、表示制御装置２００は画像上における後続車１１の像の後方画像と左右画像との境界までの距離を評価し、後続車１１の像が境界付近に存在する時にのみ、境界領域を拡幅する事にしても良い。後続車１１の像の位置が境界から遠ければ、以後の要否判定の処理を省略出来るため、境界領域の拡幅の要否判定の負荷を軽減出来る。

　なお、表示制御装置２００は、後続車１１までの距離や接近速度を評価して、車両１００と干渉する可能性が検出された場合のみ、当該後続車１１付近の境界領域に対して、前述したブレンディングを実施するように構成してもよい。例えば、後続車１１との車間距離が所定値より大きく、車間距離が減少していない時には、後続車１１は車両１００と干渉する可能性は無いと判断し、境界領域の拡幅は不要と判定してもよい。これにより、境界領域での二重写りによって、画像がボケる（ブレる）事が不必要に発生するのを防止出来る。

　＜実施例２－３：後続車１１の位置に応じた境界領域の幅の制御＞
　図１５は後続車１１の位置に応じた境界領域の幅の制御について説明するための図である。

　境界領域では二重写りによって画像がボケるため、境界領域の幅は狭い方が好ましい。一方、自車両の近くに存在する後続車１１が横方向に移動した場合の、画像上での後続車１１の移動量は、自車両の遠くに存在する後続車１１が横方向に移動した場合の、画像上での後続車１１の移動量よりも大きくなる。すると、境界領域の幅の制御が後続車１１の横方向の移動に追従しない場合、後続車１１の像が境界領域から外れて表示画像から消失する可能性が大きくなる。

　そのため、表示制御装置２００は、例えば、幅狭の後続車１１が自車両から遠い箇所に存在する場合、後続車１１付近の境界領域の幅を狭くし、後続車１１が自車両に近づくに従って、連続的又は段階的に境界領域の幅を広げるように制御してもよい。

　これにより、二重写りによる画像のボケを抑制しつつ、後続車１１の像が境界領域から外れて表示画像から消失する事を防止出来る。

　また、後続車１１の検出処理が遅れた場合でも、後続車１１付近の境界領域の幅を広げる事によって、後続車１１が境界領域から消失する事を防止出来る。

　＜実施例２－４：境界領域におけるブレンド比の制御＞
　図１６は境界領域におけるブレンド比の制御について説明するための図である。

　表示制御装置２００は、後続車１１の像の中心位置、又は後続車１１のドライバーの顔（もしくは頭部）の位置を検出し、境界領域よりも右側の画像と左側の画像とのブレンド比が１対１となるクロスポイントが、後続車１１の中心位置、または後続車１１のドライバーの顔（もしくは頭部）の位置に一致するように制御してもよい。画像から顔画像を検出する顔認識の技術は公知であるので詳述を避けるが、顔認識は辞書画像とのマッチング度を評価するパターンマッチングによって行うものであり、複数の辞書画像とのマッチング度を評価して、いずれかとマッチすれば顔と認識するアルゴリズムであっても良い。ヘルメットを被るとドライバーの顔のパーツは見えなくなるが、ヘルメットを被ったドライバーの肩から上の画像にマッチする辞書画像を加える事により、ヘルメットを被ったドライバーの顔（もしくは頭）も検出して位置を特定する事が可能である。

　境界領域でのブレンド比は境界領域に対する像の位置によって異なる。例えば、二輪車の像が、境界領域の端に近いブレンド比が低い所（例えば０％付近）にある場合は、二輪車の像が極めて薄く混合され、これに、二輪車が存在しない背景画像が濃く混合されたものが表示画像となる。すると、二輪車が薄く表示されてしまい、ドライバーが二輪車を見落とす恐れがある。

　そこで、ドライバーが二輪車を視認する際の着目位置となる、後続車１１の画像の中心位置、又は後続車１１のドライバーの顔の位置でブレンド比を１対１にする事によって、二輪車の画像は概ね半分の濃さで表示されるため、後続車１１の見落としの恐れが軽減される。また、二輪車のドライバーの顔を視認できる事により、二輪車の次の動きを予想する事も容易になる。

　＜実施例２の効果＞
　以上のように、表示画像上での左右のカメラ画像の視野範囲と、後方カメラのカメラ画像の視野範囲の間に形成される死角に二輪車が進入し、表示画像上から二輪車の像が消失する恐れがある場合には、左右のカメラ画像と後方カメラのカメラ画像をブレンドして表示する境界領域の幅を、二輪車の像が含まれるように広げる事により、二輪車の画像が消失する事を防止出来る。

　また、境界領域を制御する事によって、１つの射影面１０のみ利用して画像表示が可能になるため、衝立射影面１３Ａと射影面１０の双方を利用する場合に比べて、画像処理量が少なくなり、後続車１１が検出されてから表示部７に表示画像が表示されるまでの表示遅延時間を短くする事が出来る。

　また、表示遅延時間が短くなる事によって、自車両の周囲状況が変化してから、変化後の周囲状況に対応した運転操作が実施されるまでの時間を短くする事が出来る。

　（実施例３）
　次に、図１７などを参照して実施例３について説明する。なお、実施例３は実施例１又は実施例２に組み合わせる事が可能である。

　＜実施例３－１：後続車１１の有無による仮想視点２０の位置制御＞
　図１７は後続車１１の有無による仮想視点２０の位置の制御方法を説明するための図である。

　表示制御装置２００は、後続車１１が存在する場合には仮想視点２０を路面に対して高い位置に設定し、後続車１１が存在しない場合には、後続車１１が存在する場合よりも仮想視点２０を路面に対して低い位置に設定するように制御する。

　仮想視点２０を路面に対して高い位置に設定する事によって、車両を高い位置から俯瞰するような画像を提供出来るため、路面上での自車両と後続車１１の動きが把握され易くなる。

　一方、仮想視点２０を路面に対して高い位置に設定すると、表示画面上では、車両の動きによって発生する路面標示などの固定物の動きがより大きな動きに見えるので、これが運転車の目を引く事になる。この事を、仮想視点２０を高くすると視線誘導性が高くなる、と言い換えても良い。走行中、ドライバーは前方を注視する事が求められるので、不必要に視線を引かない方が良い。後続車１１が存在しない場合、仮想視点２０を路面に対して低い位置に設定する事によって、表示部７上での路面の動きが少なくなるため、不必要に視線を引く事を防止出来る。

　＜実施例３－２：自車両の車速に応じた仮想視点２０の位置制御＞
　図１８は自車両の車速に応じた仮想視点２０の位置の制御方法を説明するための図である。

　表示制御装置２００は、自車両の車速に応じて、仮想視点を路面に対して高い位置に設定し、又は仮想視点２０を低い位置に設定するように構成してもよい。

　自車両の速度が低い場合、画面上での路面の動きが少なくなるため、動く路面に対して視線が誘導され難くなる。そこで、表示制御装置２００は、自車両の速度が所定速度以下の場合、仮想視点２０を路面に対して高い位置に設定し、自車両の速度が所定速度を超える場合、自車両の速度が所定速度以下の場合よりも仮想視点２０を路面に対して低い位置に設定する。

　これにより、動く路面に対して不必要に視線を引く事を防止しながら、自車両と後続車１１の動きが把握し易くなる。この自車両の速度に応じた制御は、後続車１１の有無に応じた制御と組み合わせて実施しても良い。例えば、自車両の速度が低く、かつ後続車１１がある時は仮想視点２０を高い位置に設定し、それ以外の場合は仮想視点２０を低い位置に設定する制御にしてもよいし、自車両の速度が高く、かつ後続車１１が無い時だけ仮想視点２０を低い位置に設定し、それ以外の場合は仮想視点２０を高い位置に設定する制御にしてもよい。前者は視線誘導性を抑える事を重視した制御であり、後者は後方を監視し易くする事を重視した制御であると言う事が出来、車両の設計思想に応じて、何れを採用してもよい。

　＜実施例３－３：仮想視点２０の移動に応じた射影面１０の傾き制御＞
　図１９及び図２０は、射影面１０の傾きの制御方法について説明するための図である。

　図１９に示すように、射影面１０が路面に対して鉛直方向に上下に伸びている場合、後続車１１の路面近く部分の画像は、路面よりも下側の射影面１０に投影される。この射影面１０上の画像を、実際のカメラ位置よりも高い位置に設定される仮想視点２０から見ると、後続車１１の画像が上下方向に潰れて（歪んで）見える。

　そこで、図２０に示すように、表示制御装置２００は、実施例３－１又は実施例３－２の制御により、仮想視点２０を高い位置に設定する場合、後続車１１を想定する位置に射影面１０を設定し、この射影面１０を路面に対して斜めになるように傾ける。このとき、表示制御装置２００は、仮想視点２０から後続車１１を想定する位置に伸びる仮想視線１５と垂直に交わるように射影面１０を設定する。

　なお、車両１００から射影面１０までの距離は、車両１００の速度に応じて適宜変更してよく、例えば車両１００が高速走行しているときは、長くしても良い。標準的な車間距離は車速が高い時は長く、車速が低い時は短くなるので、車両１００から射影面１０までの距離は車速に応じて変えるのが合理的である。

　路面上での自車両と後続車１１の動きを把握し易くするために、車両を高い位置から俯瞰するような画像を提供する時は、射影面１０を路面に対して斜めになるように傾ける事により、後続車１１の画像の歪みを解消出来る。

　また、表示制御装置２００は、実施例３－１又は実施例３－２の制御により、仮想視点２０を低い位置に設定する場合、後続車１１を推定する位置に射影面１０を設定し、この射影面１０を路面に対して垂直になるように設定してもよい。

　射影面１０を路面に対して垂直になるように設定する事により、表示部７上での路面の動きが少なくなるため、不必要に視線を引く事を防止出来る。

　このように表示制御装置２００は、後続車１１の有無又は自車両の速度に応じて、射影面１０の傾斜角を変化させる事によって、ドライバーの視線を誘導し難くしながら射影面に投影される画像の歪を小さくする事が出来る。

　＜実施例３－４：射影面１０に路面を含める制御＞
　図２１は射影面１０に路面を含める制御方法について説明するための図である。

　図２１に示すように、表示制御装置２００は、射影面１０に路面を含めるように構成してもよい。

　射影面１０に路面を含める事によって、路面表示（路面上の制限速度表示など）の位置が射影によらずに変化しなくなるため、射影による歪曲（歪み）を無くす事が出来る。また、路面を含む射影面１０を、高い位置の設定される仮想視点２０から見る事により路面表示が見易くなる。

　また、表示制御装置２００は、仮想視点２０の地上高を高くする時、射影面１０に路面の画像を含め、仮想視点２０の地上高をそれよりも低くする時、射影面１０に含まれる路面の範囲を、仮想視点２０の地上高を高くする時に射影面１０に含まれる路面の範囲よりも小さくするように構成してもよい。

　なお、後続車１１が存在しないため仮想視点２０を低い位置に設定する場合、路面を含まない射影面１０に画像を投影しても、ドライバーが実際に見たような表示画像が得られるため、この場合には路面を射影面１０に加えなくてもよい。

　＜実施例３－５：射影面１０の下部に緩斜面１８を付加する制御＞
　図２２は射影面１０の下部に緩斜面１８を付加する制御方法について説明するための図である。

　表示制御装置２００は、射影面１０と路面との間に緩斜面１８を加え、射影面１０及び緩斜面１８の全体を射影面に設定するように構成してもよい。

　路面に対する緩斜面１８の傾きは、路面に対する射影面１０の傾きよりも小さい。なお、図２２には緩斜面１８が平面状である場合について示してあるが、緩斜面１８はこれに限らず、射影面１０と路面とを滑らかにつなぐ曲面であってもよい。

　射影面１０より遠方の路面の画像が、路面に対して立ち上がるように傾斜した射影面１０に射影されると、当該画像は歪んで見難くなる。そのため、射影面１０よりも手前の路面の画像と射影面１０より遠方の路面の画像とが不連続になり、見た目の違和感が大きくなる。

　射影面１０と路面の間に緩斜面１８を加える事により、路面と射影面１０との不連続性が低減され、射影面１０より遠方の路面の画像の歪みを小さく出来る。

　＜実施例３－６：後続車１１の視認性を妨げないように緩斜面１８の位置を設定する制御＞
　緩斜面１８が設けられる位置によっては、後続車１１の視認性が妨げられる恐れがある。例えば、射影面１０付近に後続車１１が存在する場合、後続車１１の像の内、緩斜面１８に射影される部分が歪むと共に、緩斜面１８に射影された部分と、それより上の射影面に射影された部分にまたがる直線が、折れ曲がって見える事になる。その対策として、緩斜面１８の上端の高さを、想定する後続車の下部構造物がある範囲に限定する事が考えられる。後続車の下部構造物とは、例えば四輪車のバンパーより下の部分や、二輪車の車軸より下の部分を指す。

　すると、歪む部分は後続車１１の画像の下部に限られる。ドライバーが後続車を視認する際に着目する部分は車体上部であるため、後続車１１の画像の下部が歪んだとしても、後続車１１を視認する上での支障は少ない。

　そこで、表示制御装置２００は、後続車１１を想定する位置において、後続車１１のバンパー、又は車軸の位置に、緩斜面１８の上端を設定し、当該緩斜面１８を射影面１０に繋がるようにしてもよい。

　これにより射影面１０の折れ曲がる箇所（緩斜面１８）が、後続車１１の下部に設定されるため、後続車１１の上部の画像が不連続にならず、後続車１１の視認性が向上する。

　さらに、俯瞰表示は、後続車１１を検知する時との連続性を持たせるために、後続車１１を検知しない時も、路面を射影面１０に含めても良い。ただし、視線誘導性を減ずる必要性があるため、射影面１０に路面を含める場合、射影面１０に含まれる路面の範囲を狭くしたり、路面部分にボカシを入れたりする事により、視覚に対する刺激を減じても良い。

　（実施例４）
　表示制御装置２００は、衝立射影面１３Ａに射影された後続車１１の画像を射影面１０に再射影すると共に、後続車１１の画像を再射影する際、衝立射影面１３Ａから射影面１０までの距離に応じて、衝立射影面１３Ａに射影された後続車１１の画像を拡大するように構成してもよい。

　例えば、図１２に示される後続車１１の真横に四輪車が存在し、この四輪車から自車両までの距離が、後続車１１から自車両までの距離と等しいと仮定する。また四輪車の高さは後続車１１の高さと略同じであるが、四輪車の横幅は後続車１１の横幅よりも大きいと仮定する。

　ここで、衝立射影面１３Ａは、後続車１１の画像全体を射影できるような最小限の大きさに設定されているため、衝立射影面１３Ａの大きさを超える四輪車は、衝立射影面１３Ａの設定対象にならない。

　このため、四輪車の前には衝立射影面１３Ａが設定されず、後続車１１の前にのみ衝立射影面１３Ａが設定された場合、以下のような問題が生じ得る。すなわち、この場合、衝立射影面１３Ａから衝立射影面１３Ａに射影される対象物（例えば後続車１１）までの距離と、衝立射影面１３Ａよりも遠方に設定された射影面１０から射影面１０に射影される対象物（例えば上記の四輪車）までの距離とが異なる。従って、衝立射影面１３Ａに投影される衝立画像の対象物に対する拡大率が、射影面１０に投影される背景画像の対象物に対する拡大率と異なってしまう。

　つまり、後続車１１は、後続車１１の直前に設定された衝立射影面１３Ａに射影されるので、その画像の大きさは、衝立射影面１３Ａの寸法に収まるように縮小されるのに対し、後続車１１の真横に存在する四輪車は、遠方の射影面１１に射影されるので、その画像が拡大されて大きくなる。

　従って、衝立画像を背景画像の上に嵌め込むことで、１つの表示画像を生成する際に、上記のように縮小された後続車１１の画像の横に、拡大された四輪車の画像が並ぶ事になる。このためドライバーは、生成された画像に違和感を覚えたり、後続車１１の真横に存在する四輪車よりも遠方に後続車１１が位置すると誤認する場合もあり得る。

　なお、背景画像として射影面１１に射影される対象物（例えば上記の四輪車）を含む画像の拡大率は、車両１００から当該対象物までの距離と、車両１００から射影面１１までの距離の比によって決まる。そのため、後続車１１が車両１００に近接した場合には、両者の拡大率の差が大きくなるため、両者の画像の大きさの違いによる違和感が顕著になる。

　このような問題を解決するため、表示制御装置２００は、衝立射影面１３Ａに射影された後続車１１の画像を射影面１０に再射影すると共に、後続車１１の画像を再射影する際、衝立射影面１３Ａから射影面１０までの距離に応じて、衝立射影面１３Ａに射影された後続車１１の画像を拡大する。

　この構成により、背景画像として射影面１１に射影されるの対象物（例えば上記の四輪車）を含む画像の拡大率と、衝立画像として衝立射影面１３Ａに射影される対象物（後続車１１）を含む画像の拡大率とを、略同じにすることが出来る。

　なお、再射影する面は射影面１０に限定されず、例えば、表示制御装置２００は、衝立射影面１３Ａから射影面１０までの距離と同程度に、衝立射影面１３Ａから離れた位置に、射影面１０とは別の射影面を設定し、衝立画像を該射影面に再射影するようにしてもよい。

　また、表示制御装置２００は、衝立射影面１３Ａに投影される衝立画像を射影面１０に再射影する代わりに、以下のように衝立画像を射影するように構成してもよい。例えば表示制御装置２００は、まず、後続車１１から衝立射影面１３Ａまでの距離と後続車から射影面１０までの距離とを算出し、これらの距離の比率を算出する。次に表示制御装置２００は、算出した比率を衝立画像の倍率に設定することで衝立画像をズームした上で、この衝立画像を背景画像に嵌め込むことによって、合成画像を生成する。このようにすることで、後続車１１が衝立射影面１３Ａに投影される衝立画像を射影面に再射影する必要がなくなる。

　なお、表示制御装置２００は、後続車１１から衝立射影面１３Ａまでの距離と後続車１１から射影面１０までの距離は、例えばソナー（障害物センサ）などの距離センサで検出された検知情報に基づき算出することが出来る。この検知情報により、車両１００から後続車１１までの距離が分かるため、表示制御装置２００は、これらの情報と、予め設定した既知の情報（車両１００から衝立射影面１３Ａまでの距離及び車両１００から射影面１０までの距離）に基づき、後続車１１から衝立射影面１３Ａまでの距離と後続車から射影面１０までの距離とを算出することが出来る。なお、表示制御装置２００は、ソナー以外のセンシングデバイス（例えばミリ波レーダーやカメラなど）に基づき、距離情報を算出しても良い。

　また、表示制御装置２００は、上記のように、衝立画像の再射影や、衝立画像をズームして合成画像を生成した場合においては、後続車１１を含む画像を強調するように表示させてもよい。特に、衝立画像をズームして合成画像を生成する場合、表示制御装置２００は、ズーム倍率を割り増ししたり、倍率を変動させたりする事により、後続車１１の像を目立たせることが出来る。

　このようにすることで、後続車１１が車両１００に接近していることをドライバーに視認させることが可能になる。

　なお、後続車１１を含む画像の強調表示の方法は、後続車１１を線で囲うように表示する方法や、後続車１１を含む画像を点滅させる方法など、あらゆる方法が考えられる。また、後続車１１を含む画像を強調して表示することに加えて、音声や振動などで、後続車１１が車両１００に接近していることを別途ドライバーに伝えるようにしてもよい。

　また後続車１１を含む画像の強調表示は、後続車１１と車両１００との距離が所定の距離よりも小さい場合に適用するようにしてもよいし、後続車１１と車両１００との距離が急速に減少している（つまり後続車１１が車両１００に急接近しつつある）場合に適用するようにしてもよい。

　（本開示の効果）
　以下に本開示の効果について従来技術と対比して説明する。

　＜実施例１＞
　例えば特表２０１４－５３１０７８号公報には、車両の周辺において突出したオブジェクトが検出された場合、突出したオブジェクトの近傍において、当該突出したオブジェクトの幅にわたって、持ち上げるように投影面を変形させるステップを有する事を特徴とする方法が開示されている。

　特表２０１４－５３１０７８号公報の技術では、投影面の特定の部分が大きく変形すると、変形した部分の周囲で射影面の傾きが大きくなり、射影される像が大きく変形され、形が歪んで視認しにくくなる。上記の実施例２によれば、衝立射影面１３Ａに接近する後続車の像を射影し、それとは独立した遠方の射影面に背景の画像を射影し、最後に二つの射影面上の画像を合成して表示画像を得る方式であるので、後続車の像も背景の画像も歪まず、歪によって視認が妨げられる事がない。この歪まず視認が妨げられない効果は、衝立射影面１３Ａの辺縁部に設定する、ブレンディングによって二重写りにする境界領域においても同様に得られる。つまり、射影面の変形によって歪が発生し、視認しにくくなる部分がどこにもない。

　＜実施例２＞
　人の視覚には、二重写りになったもの、例えば、展示ケースの中の展示物と、展示ケースに反射した自分の顔と、を各々分離して、個別に認識する能力がある。

　上記の実施例２は、この人の視覚の能力を積極的に利用する方式であり、ブレンディングによって二重写りにする境界領域に後続車の像を入れる事により、二つのカメラ画像の視野の継ぎ目で後続車の像が消失する課題を解決している。このブレンディングされる境界領域に、例えば後続の二輪車のドライバーの顔が入る事で、ドライバーの顔が背景とブレンドされたとしても、顔の画像が変形していなければ視認可能であり、顔の向きも判別する事が期待出来る。

　特表２０１４－５３１０７８号公報の方式では、例えば顔の部分が大きく変形されると、顔である事の判別や顔の向きの判別を期待できない。つまり、二重写りにすると人の視覚機能が認識を助けるのに対し、変形すると視覚機能が働かなくなり、認識が妨げられるので、本願の方式の方が優れた効果が得られる。

　＜実施例２－４＞
　例えば特開２０１９－１８５３８１号公報に開示される車両周囲画像生成装置は、立体物の移動の向きが一方の俯瞰画像に近づく向きのときは、重み付け加算平均する範囲を他方の俯瞰画像の側に移動させ、立体物の移動向きが他方の俯瞰画像に近づく向きのときは、重み付け加算平均する範囲を一方の俯瞰画像の側に移動させる。としているが、重み付け加算平均する範囲の中における重み付けの分布は、立体物の移動に依らず一定である。そのため、重み付け加算平均する範囲の制御によっては、車両１００の動きを制御する上で重要な部分、例えば後続車のドライバーの顔の部分が、重み付け加算平均する範囲の端に位置して重みが小さくなり、表示画像上で薄く表示されて視認し難くなる恐れがある。

　これに対して、上記の実施例２では、後続車１１の像の中心位置、又は後続車１１が二輪車の場合には、二輪車のドライバーの顔（もしくは頭部）の位置を検出し、像の中心位置又は顔の位置で、境界領域よりも右側の画像と左側の画像とのブレンド比が例えば１対１になるように制御している。これにより、後続車１１の像またはドライバーの顔が概ね半分の濃さで表示される事になるので、見落としの恐れを軽減出来、ドライバーの顔の位置を基準にブレンド比を制御する場合は、ドライバーの顔の向きから次の動きを予想する事が容易になる。

　図２３はボウル形状の射影面１０の一例を示す図である。図２４は湾曲した円筒状の射影面１０及び衝立射影面１３Ａの一例を示す図である。このような形状の射影面１０又は衝立射影面１３Ａを用いる事によって、車両１００から射影面１０又は衝立射影面１３Ａまでの距離が、車両１００の後方の何れの位置においても一定になり、後続車１１などの画像の歪みを軽減出来る。

　なお、例えば、以下のような態様も本開示の技術的範囲に属するものと了解される。

　（１）表示制御装置は、車両が搭載する複数の撮像装置で撮影された前記車両周辺の複数の撮影画像に基づき、前記車両周辺に存在する周辺車両を検出する車両検出部と、複数の前記撮影画像を合成する事によって、前記車両が搭載する表示部に表示される表示画像を生成する画像処理部と、を備え、前記画像処理部は、前記車両の後方に設定された第１射影面に複数の前記撮影画像を射影する事によって、前記車両の背景画像を生成し、所定の領域内に前記周辺車両が検出された場合、前記周辺車両を検出した位置に第２射影面を設定し、前記第２射影面に複数の前記撮影画像の少なくとも１つを射影する事によって、前記周辺車両の画像である周辺車両画像を生成し、前記周辺車両画像を前記背景画像に重畳する。

　（２）前記画像処理部は、前記周辺車両画像と前記背景画像の境界部分では、前記周辺車両画像の画素値と前記背景画像の画素値とをブレンドして前記表示画像を生成する。

　（３）前記周辺車両画像は、複数の前記撮影画像の画素値をブレンドする境界領域を有し、前記画像処理部は、前記境界領域において前記画素値をブレンドする際の混合比が１対１となるクロスポイントを、前記周辺車両の位置、または前記周辺車両のドライバーの顔もしくは頭部の位置に応じて変更する。

　（４）前記所定の領域は、前記車両の後方に設定された第１射影面に前記車両周辺の複数の前記撮影画像を射影する際に、前記背景画像が連続した画像となる様に前記車両周辺の複数の前記撮影画像から射影する範囲を限定すると、前記背景画像に表示されなくなる領域を基準として設定する。

　（５）前記画像処理部は、前記画像処理部は、前記車両周辺の複数の前記撮影画像を、前記撮像装置の位置とは異なる仮想視点から見た画像に変換する視点変換処理を行い、前記車両検出部は、前記車両を基準位置とする所定領域内における周辺車両の有無を検出し、前記画像処理部は、所定の領域内に前記周辺車両が検出されないときの前記仮想視点の地上高を、所定の領域内に前記周辺車両が検出されるときの前記仮想視点の地上高よりも低くする。

　（６）前記画像処理部は、前記車両の走行速度が所定値以下の場合には、前記仮想視点の地上高を、前記車両の走行速度が所定値を超える場合の地上高よりも高くする。

　（７）前記仮想視点の地上高を低くする時の前記第１射影面の路面に対する傾きは、前記仮想視点の地上高を高くする時の前記第１射影面の路面に対する傾きよりも大きい。

　（８）前記画像処理部は、前記仮想視点の地上高を高くする時、路面を前記第１射影面に含め、前記仮想視点の地上高を低くする時、路面を前記第１射影面に含めない。

　（９）前記画像処理部は、前記仮想視点の地上高を高くする時、路面を前記第１射影面に含め、前記仮想視点の地上高を低くする時、前記第１射影面に含める路面の範囲を、前記仮想視点の地上高を高くする時に前記第１射影面に含める路面の範囲よりも小さくする。

　（１０）前記第１射影面において、所定の地上高に相当する位置を基準点として、前記基準点と前記仮想視点とを結ぶ直線と、前記基準点を通る前記第１射影面に鉛直な直線との成す角が、所定値以下である。

　（１１）前記第１射影面の内、前記基準点より下側の部分における射影面の路面に対する傾きは、前記第１射影面の内、前記基準点より上側の部分における射影面の路面に対する傾きよりも小さい。

　（１２）車両は上記の表示制御装置を備える。

　（１３）表示制御方法は、車両が搭載する複数の撮像装置で撮影された前記車両周辺の複数の撮影画像に基づき、前記車両周辺に存在する周辺車両を検出するステップと、前記車両の後方に設定された第１射影面に複数の前記撮影画像を射影する事によって、前記車両の背景画像を生成するステップと、所定の領域内に前記周辺車両が検出された場合、前記周辺車両を検出した位置に第２射影面を設定するステップと、前記第２射影面に複数の前記撮影画像の少なくとも１つを射影する事によって、前記周辺車両の画像である周辺車両画像を生成するステップと、前記周辺車両画像を前記背景画像に重畳するステップと、を含む。

　以上、本開示の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

　２０２０年８月３１日出願の特願２０２０－１４５６７４の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

　本開示の一実施例は、表示制御装置及び車両に好適である。

　１　：右カメラ
　１ａ　：視野範囲
　１ａ１　：切り出し範囲
　２　：左カメラ
　２ａ　：視野範囲
　２ａ１　：切り出し範囲
　３　：後方カメラ
　３ａ　：視野範囲
　３ａ１　：切り出し範囲
　４　：操作部
　５　：ナビケーション装置
　６　：フェンス
　７　：表示部
　８　：センサ
　１０　：射影面
　１１　：後続車
　１２　：死角領域
　１３　：物体
　１３Ａ　：衝立射影面
　１３ａ　：物体
　１３ｂ　：物体
　１５　：仮想視線
　１６　：衝立射影適用領域
　１７ａ　：境界領域
　１７ｂ　：境界領域
　１７ｃ　：境界領域
　１８　：緩斜面
　２０　：仮想視点
　５０　：立方体
　５１　：正面
　５２　：側面
　６１　：画像処理部
　６２　：車両検出部
　６３　：状況判定部
　６４　：画像制御部
　６５　：ＣＡＮ通信部
　１００　：車両
　２００　：表示制御装置

Claims (13)

1. 　車両が搭載する複数の撮像装置で撮影された前記車両周辺の複数の撮影画像に基づき、前記車両周辺に存在する周辺車両を検出する車両検出部と、
   　複数の前記撮影画像を合成する事によって、前記車両が搭載する表示部に表示される表示画像を生成する画像処理部と、
   　を備え、
   　前記画像処理部は、
   　前記車両の後方に設定された第１射影面に複数の前記撮影画像を射影する事によって、前記車両の背景画像を生成し、
   　所定の領域内に前記周辺車両が検出された場合、前記周辺車両を検出した位置に第２射影面を設定し、
   　前記第２射影面に複数の前記撮影画像の少なくとも１つを射影する事によって、前記周辺車両の画像である周辺車両画像を生成し、
   　前記周辺車両画像を前記背景画像に重畳する、表示制御装置。
2. 　前記画像処理部は、前記周辺車両画像と前記背景画像の境界部分では、前記周辺車両画像の画素値と前記背景画像の画素値とをブレンドして前記表示画像を生成する、請求項１に記載の表示制御装置。
3. 　前記周辺車両画像は、複数の前記撮影画像の画素値をブレンドする境界領域を有し、
   　前記画像処理部は、前記境界領域において前記画素値をブレンドする際の混合比が１対１となるクロスポイントを、前記周辺車両の位置、または前記周辺車両のドライバーの顔もしくは頭部の位置、に応じて変更する、請求項１に記載の表示制御装置。
4. 　前記所定の領域は、前記車両の後方に設定された第１射影面に前記車両周辺の複数の前記撮影画像を射影する際に、前記背景画像が連続した画像となる様に前記車両周辺の複数の前記撮影画像から射影する範囲を限定すると、前記背景画像に表示されなくなる領域を基準として設定する、請求項１に記載の表示制御装置。
5. 　前記画像処理部は、前記車両周辺の複数の前記撮影画像を、前記撮像装置の位置とは異なる仮想視点から見た画像に変換する視点変換処理を行い、
   　前記車両検出部は、前記車両を基準位置とする所定領域内における周辺車両の有無を検出し、
   　前記画像処理部は、所定の領域内に前記周辺車両が検出されないときの前記仮想視点の地上高を、所定の領域内に前記周辺車両が検出されるときの前記仮想視点の地上高よりも低くする、請求項１に記載の表示制御装置。
6. 　前記画像処理部は、前記車両の走行速度が所定値以下の場合には、前記仮想視点の地上高を、前記車両の走行速度が所定値を超える場合の地上高よりも高くする、請求項５に記載の表示制御装置。
7. 　前記仮想視点の地上高を低くする時の前記第１射影面の路面に対する傾きは、前記仮想視点の地上高を高くする時の前記第１射影面の路面に対する傾きよりも大きい、請求項５に記載の表示制御装置。
8. 　前記画像処理部は、
   　前記仮想視点の地上高を高くする時、路面を前記第１射影面に含め、
   　前記仮想視点の地上高を低くする時、路面を前記第１射影面に含めない、請求項５に記載の表示制御装置。
9. 　前記画像処理部は、
   　前記仮想視点の地上高を高くする時、路面を前記第１射影面に含め、
   　前記仮想視点の地上高を低くする時、前記第１射影面に含める路面の範囲を、前記仮想視点の地上高を高くする時に前記第１射影面に含める路面の範囲よりも小さくする、請求項５に記載の表示制御装置。
10. 　前記第１射影面において、所定の地上高に相当する位置を基準点として、
    　前記基準点と前記仮想視点とを結ぶ直線と、前記基準点を通る前記第１射影面に鉛直な直線との成す角が、所定値以下である、請求項５に記載の表示制御装置。
11. 　前記第１射影面の内、前記基準点より下側の部分における射影面の路面に対する傾きは、前記第１射影面の内、前記基準点より上側の部分における射影面の路面に対する傾きよりも小さい、請求項１０に記載の表示制御装置。
12. 　請求項１に記載の表示制御装置を備えた車両。
13. 　車両が搭載する複数の撮像装置で撮影された前記車両周辺の複数の撮影画像に基づき、前記車両周辺に存在する周辺車両を検出するステップと、
    　前記車両の後方に設定された第１射影面に複数の前記撮影画像を射影する事によって、前記車両の背景画像を生成するステップと、
    　所定の領域内に前記周辺車両が検出された場合、前記周辺車両を検出した位置に第２射影面を設定するステップと、
    　前記第２射影面に複数の前記撮影画像の少なくとも１つを射影する事によって、前記周辺車両の画像である周辺車両画像を生成するステップと、
    　前記周辺車両画像を前記背景画像に重畳するステップと、
    　を含む、表示制御方法。

Images