JP6785480B2 - 画像合成装置、及び、制御方法 - Google Patents

Description

本発明は、画像合成装置、及び、制御方法に関する。

車両が備える複数のカメラによって車両の後方を撮影し、撮影した画像を表示する画像表示装置がある。例えば、車両の後方が映った画像を運転者に視認させる画像表示装置、いわゆる車両用電子ミラーがある。

この画像表示装置は、車両の左側ドア近傍及び右側ドア近傍に固定されたカメラが撮影した車両の左側後方及び右側後方の画像と、車両のリアバンパー又はトランクフード付近などに固定されたカメラが撮影した車両の中央後方の画像とを取得する。そして、これらの画像をつなぎあわせることで、左側後方、中央後方及び右側後方が映った１つの画像を生成し、生成した画像をルームミラー型の表示装置に表示する。

従来、画像をつなぎあわせることで合成する画像合成装置がある（例えば、特許文献１参照）。特許文献１に示される画像合成装置は、車両の左右のドア近傍のカメラにより撮影した画像と、車両の後部のカメラにより撮影した画像との無限遠点を合わせることで、１つの仮想視点から見たような合成画像を生成する。

特開平１０−２５７４８２号公報

しかしながら、特許文献１に記載の画像合成装置により合成される合成画像では、映っている車両と自車両との相対的な位置関係を視認者が把握しにくいという問題がある。

そこで、本発明は、合成画像に映っている車両と自車両との相対的な位置関係を視認者が把握しやすい合成画像を生成する画像合成装置を提供することを目的とする。

本発明の一態様に係る画像合成装置は、車両に搭載された、路面を含む後方画像を撮像する２つのカメラによって、それぞれ、共通の対象が少なくとも撮像された第一画像及び第二画像を取得する取得部と、前記車両の周囲に仮想的に配置される仮想投影面であって、前記車両が置かれている前記路面に対応する面を有する仮想投影面に、前記第一画像及び前記第二画像を一部が重なる所定の位置関係で投影し、前記仮想投影面に投影された投影画像を仮想視点から見た第三画像を取得することで、前記第一画像及び前記第二画像を前記第三画像へ画像変換する画像変換部と、前記車両を構成する構成物画像を生成する生成部と、前記生成部が生成した前記構成物画像を前記第三画像に合成する合成部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明に係る画像合成装置は、合成画像に映っている車両と自車両との相対的な位置関係を視認者が把握しやすい合成画像を生成することができる。

図１は、実施の形態に係る画像合成装置が合成する画像を取得するカメラが搭載された車両の一例を示す模式図である。 図２は、実施の形態に係る画像合成装置による合成前の画像と合成後の画像を示す説明図である。 図３は、実施の形態に係る画像合成装置の機能構成を示すブロック図である。 図４は、実施の形態に係る取得部が取得した画像を示す説明図である。 図５は、実施の形態に係る仮想投影面の例を示す説明図である。 図６は、実施の形態に係る画像変換部により変換された画像を示す説明図である。 図７は、実施の形態に係る合成部により合成される合成画像を示す説明図である。 図８は、比較例１に係る仮想投影面の例を示す説明図である。 図９は、比較例１に係る仮想投影面を用いて画像変換部により変換された画像を示す説明図である。 図１０は、実施の形態に係る画像合成装置が行う処理を示すフロー図である。 図１１は、実施の形態の変形例１に係る仮想視点の位置を示す説明図である。 図１２は、実施の形態の変形例２に係る仮想投影面の例を示す説明図である。 図１３は、比較例２に係る仮想投影面の例を示す説明図である。 図１４は、実施の形態の変形例３に係る仮想投影面の例を示す説明図である。 図１５は、比較例３に係る仮想投影面の例を示す説明図である。

本発明の一態様に係る画像合成装置は、車両に搭載された、路面を含む後方画像を撮像する２つのカメラによって、それぞれ、共通の対象が少なくとも撮像された第一画像及び第二画像を取得する取得部と、前記車両の周囲に仮想的に配置される仮想投影面であって、前記車両が置かれている前記路面に対応する面を有する仮想投影面に、前記第一画像及び前記第二画像を一部が重なる所定の位置関係で投影し、前記仮想投影面に投影された投影画像を仮想視点から見た第三画像を取得することで、前記第一画像及び前記第二画像を前記第三画像へ画像変換する画像変換部と、前記車両を構成する構成物画像を生成する生成部と、前記生成部が生成した前記構成物画像を前記第三画像に合成する合成部とを備える。

上記態様によれば、画像合成装置は、車両が置かれている路面に対応する面を有する仮想投影面を用いて画像変換をする。この画像変換により、第一画像に映っている路面及び路面上の物（例えば車両など、以下同様）と、第二画像に映っている路面及び路面上の物とが、仮想投影面における路面に対応する面に仮想的に投影される。その結果、生成された第三画像において、路面及び路面上の物の位置が適切に表現される。さらに、生成部で生成された車両の構成物を示す画像が第三画像に合成されるので、ユーザが把握しやすい合成画像を生成することができる。

例えば、前記生成部は、前記車両を構成する構成物が存在すべき位置を示す前記構成物画像を生成する。

上記態様によれば、画像合成装置は、生成部で生成された車両の構成物を示す画像を第三画像に合成するので、ユーザは、その合成された画像を視認することで、路面及び路面上の物と自車両との距離及び相対的な位置を適切に把握することができる。このように、画像合成装置は、合成画像に映っている車両と自車両との相対的な位置関係をユーザがさらに把握しやすい合成画像を生成することができる。また、生成部を車種に応じて差し替えることにより、画像合成装置を多様な車種に展開しやすくなる。

例えば、前記仮想視点は、前記車両の前方かつ上方に位置している。

上記態様によれば、画像合成装置は、画像変換の際に、車両の前方かつ上方に位置している仮想視点から見た画像を用いて画像変換をする。これにより、画像合成装置は、車両の後方の路面及び路面上の物を上方から見下ろす位置から見た第三画像を取得することができ、第三画像に映っている路面の領域をより広くすることができる。ユーザは、路面の領域をより広くした第三画像を視認することで、合成画像に映っている車両と自車両との相対的な位置関係をより容易に把握することができる。

例えば、前記仮想投影面は、前記路面に対応する前記面である第一面と、前記仮想投影面のうち前記第一面を除く第二面を含み、前記画像変換部は、前記第三画像のうち、前記第一面及び前記第二面のうちの前記第二面だけから取得した部分画像において、前記第一画像と前記第二画像との境界の近傍に補正処理を施す。

上記態様によれば、画像合成装置は、第一面から取得した画像には補正処理を施さず、第二面から取得した画像に補正処理を施す。画像変換において第一面から取得した画像では、仮想投影面である、路面に対応する面と、路面との位置が一致しているので、第一画像と第二画像との境界で、画像に映っている路面もしくは路面上の高さのない物体に関しては、不一致又は不連続が生ずることが少ない。一方、画像変換において第二面から取得した画像では、仮想投影面と、現実の被写体との位置が必ずしも一致しないので被写体の不一致又は不連続が生じ得る。そこで、第二面から取得した画像に補正処理を施すことで、境界における画像の不自然さを抑制することができる。また、第一面から取得した画像には補正処理を施さないことにより、不要な処理を行うことを回避し、処理負荷及び電力消費の低減の効果を奏する。

例えば、前記合成部は、前記第三画像において前記車両の車体が存在すべき位置を前記路面に投影した位置に、前記車体の外形を少なくとも示す、前記生成部が生成した前記構成物画像を合成し、又は、前記第三画像において前記車両の後輪が存在すべき位置に、前記後輪を少なくとも示す、前記生成部が生成した前記構成物画像を合成する。

上記態様によれば、画像合成装置は、車両の車体又は後輪の位置を示す画像が合成された合成画像を生成する。ユーザは、この合成画像を視認することで、他の車両と、自車両の車体又は後輪の位置との離間距離又は相対的な位置を、より一層適切に把握することができる。

例えば、前記画像変換部は、前記車両の速度を取得し、取得した前記速度に応じた位置に前記仮想視点を設定し、設定した前記仮想視点を用いて前記画像変換をする。

上記態様によれば、画像合成装置は、車両の速度に応じて異なる位置に位置する仮想視点を用いて画像変換をするので、車両の速度に応じた適切な画像を合成することができる。ユーザは、このような合成画像を視認することで、車両の速度に応じた適切な画像を視認し、合成画像に映っている車両と自車両との相対的な位置関係をより容易に把握することができる。

例えば、前記画像変換部は、前記車両の速度が大きいほど、より低い位置に前記仮想視点を設定し、設定した前記仮想視点を用いて前記画像変換をする。

上記態様によれば、画像合成装置は、車両の速度が大きいほどより低い位置に位置する仮想視点を用いて画像変換をする。車両の速度が大きいときは、一般に車間距離も大きい。そのため、路面において車両からより遠い距離までの範囲内に位置する車両と自車両との相対的な位置関係に関する情報が、ユーザの運転に有用である。よって、ユーザは、車両の速度が大きいほど、路面において車両からより遠い距離までの範囲内に位置する車両と自車両との相対的な位置関係を把握することができる。

例えば、前記画像変換部は、前記車両のシフトポジションを取得し、取得した前記シフトポジションに応じた位置に前記仮想視点を設定し、設定した前記仮想視点を用いて前記画像変換をする。

上記態様によれば、画像合成装置は、車両のシフトポジションに応じて異なる位置に位置する仮想視点を用いて画像変換をするので、車両のシフトポジションに応じた適切な画像を合成することができる。ユーザは、このような合成画像を視認することで、車両のシフトポジションに応じた適切な画像を視認し、合成画像に映っている車両と自車両との相対的な位置関係をより容易に把握することができる。

例えば、前記画像変換部は、前記シフトポジションが低いほど、より高い位置に前記仮想視点を設定し、又は、前記シフトポジションが後退ポジションである場合に、前記シフトポジションが前記後退ポジションでない場合より高い位置に前記仮想視点を設定し、設定した前記仮想視点を用いて前記画像変換をする。

上記態様によれば、画像合成装置は、車両のシフトポジションが低いほどより高い位置に位置する仮想視点を用いて画像変換をする。シフトポジションが低いときは、一般に、車両の速度が小さく、車間距離も小さい。そのため、路面において車両からより近い距離までの範囲内に位置する車両と自車両との相対的な位置関係に関する情報が、ユーザの運転に有用である。よって、ユーザは、シフトポジションが低いほど、路面において車両からより近い距離までの範囲内に位置する車両と自車両との相対的な位置関係を把握することができる。また、画像合成装置は、車両のシフトポジションが後退ポジションである場合に、そうでない場合より高い位置に位置する仮想視点を用いて画像変換をする。シフトポジションが後退ポジションであるときは、一般に、車両の速度が小さく、他の車両又は物体との距離も小さい。そのため、路面において車両からより近い距離までの範囲内に位置する車両又は物体と自車両との相対的な位置関係に関する情報が、ユーザの運転に有用である。よって、ユーザは、シフトポジションが後退ポジションであるときに、路面において車両からより近い距離までの範囲内に位置する車両と自車両との相対的な位置関係をより容易に把握することができる。

例えば、前記画像合成装置は、前記２つのカメラを含む３つのカメラを備え、前記３つのカメラは、前記車両の左側の後方を映す左カメラと、前記車両の右側の後方を映す右カメラと、前記車両の中央の後方を映す中央カメラとであり、前記取得部は、（ａ）前記左カメラにより撮像された左後方画像と、（ｂ）前記右カメラにより撮像された右後方画像と、（ｃ）前記中央カメラにより撮像された中央後方画像と、を取得し、前記左後方画像と前記右後方画像との一方、及び、前記中央後方画像を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記合成部により前記構成物画像が合成された前記第三画像としての第四画像を生成し、前記第四画像、及び、前記左後方画像と前記右後方画像との他方を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記合成部により前記構成物画像が合成された前記第三画像としての第五画像を生成する。

上記態様によれば、画像合成装置は、車両に搭載された左カメラ、右カメラ及び中央カメラそれぞれにより撮像された画像を合成する。これにより、画像合成装置は、画像合成に伴う違和感を抑制しながら、車両の左側後方から中央後方を経て右側後方まで、あるいは、車両の右側後方から中央後方を経て左側後方までの広い範囲を合成した画像を合成することができる。

本発明の一態様に係る画像合成装置の制御方法は、画像合成装置の制御方法であって、車両に搭載された、路面を含む後方画像を撮像する２つのカメラによって、それぞれ、共通の対象が少なくとも撮像された第一画像及び第二画像を取得する取得ステップと、前記車両の周囲に仮想的に配置される仮想投影面であって、前記車両が置かれている前記路面に対応する面を有する仮想投影面に、前記第一画像及び前記第二画像を一部が重なる所定の位置関係で投影し、前記仮想投影面に投影された投影画像を仮想視点から見た第三画像を取得することで、前記第一画像及び前記第二画像を前記第三画像へ画像変換する画像変換ステップと、前記車両を構成する構成物画像を生成する生成ステップと、前記生成ステップで生成した前記構成物画像を前記第三画像に合成する合成ステップとを含む。

これにより、上記画像合成装置と同様の効果を奏する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
本実施の形態において、合成画像に映っている車両と自車両との相対的な位置関係を視認者が把握しやすい合成画像を生成する画像合成装置について説明する。

図１は、本実施の形態に係る車両１の一例を示す模式図である。図２は、本実施の形態に係る画像合成装置１０による合成前の画像と合成後の画像とを示す説明図である。

図１に示されるように、車両１は、画像合成装置１０と、カメラ１２、１３及び１４と、電子ミラー４０とを備える。なお、以降の説明において特に断らない場合には、前後左右の方向は、車両１の進行方向を前方とした場合の方向とし、これは車両１の運転手にとっての前後左右の方向ともいえる。また、カメラ１２、１３及び１４は、車両の後方に向けて、言い換えれば、車両の後方から到来する光を受光する向きで配置されており、いずれも路面を含む車両１の後方画像を撮像する。

カメラ１２は、車両１の左側ドア付近に固定され、車両１の左側後方を撮影するカメラである。カメラ１２は、車両１の左側後方を撮影して画像を生成する。カメラ１２が生成した画像を左側後方画像ともいう。

カメラ１３は、車両１の右側ドア付近に固定され、車両１の右側後方を撮影するカメラである。カメラ１３は、車両１の右側後方を撮影して画像を生成する。カメラ１３が生成した画像を右側後方画像ともいう。

カメラ１４は、車両１のリアバンパー又はトランクフード付近などに固定され、車両１の中央後方を撮影するカメラである。カメラ１４は、車両１の中央後方を撮影して画像を生成する。カメラ１４が生成した画像を中央後方画像ともいう。

カメラ１２及び１４の撮影範囲の一部が重なっており、カメラ１３及び１４の撮影範囲の一部が重なっている。そのため、左側後方画像と中央後方画像との一部には共通の対象が映っている。また、右側後方画像と中央後方画像との一部には共通の対象が映っている。

カメラ１２、１３及び１４のそれぞれは、互いに異なる撮影条件の下で撮像することで画像を生成する。具体的には、カメラ１２、１３及び１４のそれぞれは、互いに異なる位置に配置され、また、互いに異なる方向を向いて配置されており、例えば６０ｆｐｓで画像を取得する。また、カメラ１２、１３及び１４のそれぞれの光学系の光学特性は異なっていてもよい。

電子ミラー４０は、車両１の後方が映った画像である後方画像５０を表示する画像表示装置である。電子ミラー４０は、画像合成装置１０が出力する映像信号に基づいて画像を表示する。電子ミラー４０は、車両１の後方を、光の反射を利用して映す従来のルームミラーの代用として用いられ得る。

画像合成装置１０は、カメラ１２、１３及び１４それぞれが生成した画像を合成して電子ミラー４０が表示する画像を生成する装置である。カメラ１２、１３及び１４のそれぞれが生成する画像の一例を、図２に画像５１、５２及び５３（「画像５１等」ともいう）として示す。画像５１、５２及び５３は、実質的に同時にカメラ１２、１３及び１４のそれぞれにより撮像されたものである。なお、実質的に同時とは、厳密に同時である場合を含むほか、人間にとって同時とみなせる程度の時間差（例えば、撮像間隔と同じ程度の時間差）を有してもよい。

上記のとおり、カメラ１２、１３及び１４のそれぞれは、一の対象を互いに異なる撮像条件の下で撮像しているので、画像合成装置１０が、カメラ１２、１３及び１４それぞれが生成した画像を単純につなぎあわせただけでは、自然な後方画像５０は得られない。自然な後方画像５０とは、車両１の運転手が従来のルームミラー（いわゆる物理ミラー）を通して見る、車両１の後方の光景と同じ画像をいう。具体的には、単純につなぎあわせただけの画像では、つなぎあわせの境界付近において、二重化又は消失が生じ得る。二重化とは、一の物が画像に二重に映ることをいい、消失とは、実際には存在するものが画像に映らないことをいう。

そこで、画像合成装置１０は、カメラ１２、１３及び１４それぞれが生成した画像に応じてこれらの画像に適切な処理を施した上でつなぎ合わせることで、二重化が抑制された自然な後方画像５０を生成し、電子ミラー４０に表示させる。なお、カメラ１２、１３及び１４が生成した３つの画像は、そのうちの隣接する２つが合成された後に、その合成画像と残りの１つが合成されることで後方画像５０が生成されてもよい。また、カメラ１２、１３及び１４が生成した３つの画像が同時並行的に合成されることで後方画像５０が生成されてもよい。

以降において、画像合成装置１０の機能及び処理を説明する。

図３は、本実施の形態に係る画像合成装置１０の機能構成を示すブロック図である。ここでは、画像合成装置１０が、２つのカメラ１２及び１４によって、それぞれ、共通の対象が撮像された２つの画像である第一画像及び第二画像を取得して合成する場合を例として説明する。なお、この２つの画像は、左側後方画像と中央後方画像とであってもよいし、右側後方画像と中央後方画像とであってもよい。

以降では、第一画像が左後方画像であり、第二画像が中央後方画像である場合について詳しく説明する。この場合、画像合成装置１０は、カメラ１２及び１４により例えば６０ｆｐｓで第一画像及び第二画像を取得し、取得のたびに、第一画像及び第二画像の合成画像を生成して電子ミラー４０に表示する。

図３に示されるように、画像合成装置１０は、取得部２１と、画像変換部２２と、合成部２３と、表示制御部２４、生成部２５とを備える。上記の各構成要素のそれぞれは、プロセッサがメモリ等を用いて所定のプログラムを実行することで実現されてもよいし、専用ハードウェアで実現されてもよい。

取得部２１は、互いに異なる撮像条件（具体的には、２つのカメラ１２及び１４の取付位置が異なる）の下で共通の対象が少なくとも撮像された第一画像及び第二画像を取得する画像取得部である。取得部２１は、例えば、車両１に搭載された２つのカメラ１２及び１４が撮像により生成した画像データを取得する。

画像変換部２２は、取得部２１が取得した第一画像及び第二画像を変換することで第三画像を取得する処理部である。具体的には、画像変換部２２は、車両１の周囲に仮想的に配置される仮想投影面であって、車両１が置かれている路面に対応する面を有する仮想投影面に、第一画像及び第二画像を一部が重なる所定の位置関係で投影する。そして、画像変換部２２は、仮想投影面に投影された画像（投影画像ともいう）を仮想視点から見た画像（第三画像に相当）を取得する。画像変換部２２は、このようにして、第一画像及び第二画像を第三画像に変換する。

仮想視点は、第一画像及び第二画像が取得されたときのカメラ１２及びカメラ１４の位置とは異なる位置である。なお、カメラ１２及びカメラ１４の位置を、仮想視点に対して「実視点」ともいう。

なお、路面とは、車両１が置かれている面をいい、車両１が走行又は停車しているときに車両１の下にある面を意味しており、その面の本来の目的又は用途は限定されない。路面は、道路の路面のほか、例えば、駐車場の路面、又は、施設の床面なども含む概念である。また、舗装の有無、又は、面の材質は問わない。画像変換部２２が第一画像及び第二画像を仮想投影面に投影する処理、及び、画像変換部２２が仮想投影面に投影された投影画像を仮想視点から見た第三画像を取得する処理は、コンピュータによる演算処理によりなされ得る。この演算処理は、画像の視点を変換する処理であり、周知の技術を採用し得る。

仮想視点の位置は、車両１の内部、例えば運転席と助手席との間の上方の位置、つまりルームミラーが設置される位置であってもよいし、車両１の前方かつ上方の位置としてもよい。以降では仮想視点の位置が車両１の前方かつ上方の位置である場合を例として説明する。

具体的には、仮想視点の位置は、車両１のルームミラーの位置から所定距離（例えば０より大きく３ｍ程度以下）だけ前方で、かつ、所定距離（例えば０より大きく３ｍ程度以下）だけ上方に進んだ位置である。車両１のルームミラーの位置は、車両１の仕様により定められている。このようにすることで、画像変換部２２は、車両１の後方の路面及び他の車両などを上方から見下ろす位置から見た第三画像を取得することができる。

また、画像変換部２２は、第一画像と第二画像との境界の近傍に補正処理を行う。ここで、境界とは、仮想投影面上での第一画像と第二画像とが重なる部分に設定される境界線を意味する。補正処理とは、第一画像と第二画像との境界での被写体の不一致を解消したり、不連続性を和らげたりするための処理であり、画素値を平均化する処理、又は、共通の被写体が映った画素を近づける処理などを含む。このとき、画像変換部２２は、第三画像のうち、第一面及び第二面のうちの第二面だけから取得した部分画像において、第一画像と第二画像との境界の近傍に補正処理を行うようにしてもよい。ここで、第一面とは、上記平面であり、第二面とは、仮想投影面のうち第一面を除く面である。第一面と第二面とは接続されている。

生成部２５は、車両１を構成する構成物が存在すべき位置を示す構成物画像を生成する処理部である。合成部２３は、生成部２５が生成した構成物画像を第三画像に合成する処理部である。構成物画像は、第三画像上で構成物画像が構成物の位置を適切に示す位置に合成される。なお、生成部２５は合成部２３と一体で構成されてもよいが、生成部２５を合成部２３と別体で構成することにより、車種によって異なる構成物画像に対し、生成部２５を車種に応じて差し替えることが可能となる。これにより、画像合成装置１０を多様な車種に展開しやすくなる。

一般に、第一画像及び第二画像が撮影した範囲に含まれる位置に存在する任意の物の第三画像における位置は、画像変換部２２による演算処理によって算出され得る。そこで、合成部２３は、車両１を構成する構成物のうち、第一画像及び第二画像に撮影された範囲内に位置している構成物の第三画像における位置を算出し、算出された位置に、生成部２５が生成した当該構成物を示す画像を合成する。生成部２５が生成する、構成物を示す画像は、当該構成物を写実的に示す画像（例えば写真のような画像又は忠実に模写した画像）であってもよいし、模式的に示す画像（例えば四角形又は円柱形状の図形のイラスト画像）であってもよい。

なお、構成物は、例えば、車両１の車体の一部、より特定的には車両１の車体の後部に含まれる一部であってもよい。この場合、構成物画像の一例は、車両１の車体の外形を少なくとも示す画像である。合成部２３は、第三画像において車両１の車体が存在すべき位置を路面に投影した位置に、車体の外形を少なくとも示す構成物画像を合成する。

また、構成物は、例えば、車両１の後輪であってもよい。この場合、構成物画像の一例は、車両１の後輪の外形を少なくとも示す画像である。合成部２３は、第三画像において車両１の後輪が存在すべき位置に、車両１の後輪を少なくとも示す構成物画像を合成する。

表示制御部２４は、合成部２３が生成した合成画像の表示の制御をする処理部である。表示制御部２４は、表示装置である電子ミラー４０に合成画像を表示させるように、合成画像に含まれる各画素の画素値を電子ミラー４０に出力する。

以降において画像と仮想投影面との例を示しながら、画像合成装置１０による画像変換処理及び合成処理について具体的に説明する。

ここでは、左後方画像と中央後方画像との合成、及び、右後方画像と中央後方画像との合成を並行して行う場合を例として説明する。この例では、左後方画像と右後方画像と中央後方画像とが一度に合成されるともいえる。

図４は、本実施の形態に係る取得部２１が取得した画像を示す説明図である。より具体的には、図４には、車両１の左側後方画像の例である画像６１と、右側後方画像の例である画像６２と、中央後方画像の例である画像６３とが示されている。画像６１、６２及び６３は、それぞれ、カメラ１２、１３及び１４により撮像された画像の一例である。

ここで、画像６１、６２及び６３の撮像時の撮像条件は、互いに異なる。撮像条件とは、カメラの位置、又は、光学系の光学特性を含む。具体的には、上記画像それぞれを撮像したカメラ（つまりカメラ１２、１３及び１４）の位置が少なくとも異なる。

そのため、画像６１、６２及び６１は、当該画像に映されている被写体の寸法、形状又は角度などが異なる。よって、何らかの変換を施すことなく画像６１と画像６３とをつなぎ合わせ、また、画像６３と画像６２とをつなぎ合わせることで自然な後方画像を得ることは難しい。

図５は、本実施の形態に係る仮想投影面の第一例である投影面７０を示す説明図である。図５を参照しながら、画像変換部２２の画像変換処理を説明する。

図５に示されるように、投影面７０は、平面７１と面７２とを含む。平面７１は第一面に相当し、面７２は第二面に相当する。

平面７１は、車両１が置かれている路面に対応する位置に位置している。言い換えれば、平面７１は、車両１が置かれている路面に相当する、仮想空間上での位置に位置している。平面７１は、車両１が置かれている位置から、平面７１が面７２と交差する位置にまで延びている。なお、平面７１は、車両１が置かれている路面に相当するため、路面が傾斜していたり、凹凸があったりする場合、厳密に平面とは言えない場合がある。そのため、正しくは、仮想投影面は、車両１が置かれている路面に相当する面を有することとなる。しかし、以下の説明では、路面が平面７１であるとする。

面７２は、車両１の後方を含む位置に仮想的に配置された円筒面、又は、その円筒面の一部である。面７２は、平面７１と交差する位置から上方へ延びている。車両１から面７２までの距離は、例えば１５ｍ〜２０ｍである。

なお、面７２に係る円筒面は、断面が正確な円である場合に限られず、断面が楕円又は歪んだ円であってもよい。なお、面７２は、平面又は球面であってもよい。

画像変換部２２は、図５に示されるカメラ１２の位置から、カメラ１２の撮像方向と同じ方向に画像６１を仮想的に投影することで、投影面７０上に画像６１Ａを生成する。同様に、画像変換部２２は、カメラ１３及び１４それぞれの位置から、カメラ１３及び１４の撮像方向と同じ方向に画像６２及び６３を仮想的に投影することで、投影面７０上に画像６２Ａ及び６３Ａを生成する。画像６１Ａ、６２Ａ及び６３Ａを投影画像ともいう。

なお、図５の画像６１Ａと画像６３Ａとの間の空隙は、説明の便宜のために描かれたものであり、実際には、この空隙はなく、画像６１Ａと画像６３Ａとが隙間なく配置される。このとき、画像６１Ａと画像６３Ａとが接続される線が境界に相当する。画像６２Ａと画像６３Ａとの間の空隙についても同様である。

次に、画像変換部２２は、仮想視点７３から方向７４に投影画像を見た場合の第三画像を取得する。

このようにして画像変換部２２は、カメラ１２、１３及び１４により撮像された画像を画像変換することで１つの第三画像を得る。このように取得された第三画像について以降で説明する。

図６は、本実施の形態に係る画像変換部２２により取得された第三画像である画像６５を示す説明図である。画像６５には、車両１の後方に位置する他の車両Ｃ１、車両１の右側後方に位置する他の車両Ｃ２、及び、車両１の右側に位置する他の車両Ｃ３が被写体として映っている。

画像６５は、画像６１、６２及び６３を元にして画像変換部２２による画像変換によって生成された画像である。

画像６５において、特に、画像６５に映っている路面の部分の位置関係が正しく表現されている。また、元の画像６１と画像６３との境界部分Ｂ１、及び、元の画像６２と画像６３との境界部分Ｂ２に被写体の不一致又は不連続は見当たらない。これは、画像６１、６２及び６３のうち路面が映っている部分が、仮想投影面のうちの路面の位置にある平面７１に投影されたことにより、元の画像間の位置ずれが発生しなかったからである。

次に、合成部２３による画像の合成処理について説明する。

図７は、本実施の形態に係る合成部２３により合成された合成画像である画像６９を示す説明図である。なお、図７では、画像６９が表示制御部２４によって電子ミラー４０に表示されている状態を示している。

画像６９は、画像６５に対して、車両１の車体の外形を示す画像６７と、車両１の左側の後輪を示す画像６８Ｌと、右側の後輪を示す画像６８Ｒとが構成物画像として合成されたものである。

画像６７は、画像６９において車両１の車体が存在すべき位置を路面に投影した位置に合成されている。画像６８Ｌ及び画像６８Ｒは、それぞれ、画像６９において車両１の左側及び右側の後輪が存在すべき位置に合成されている。

ユーザは、電子ミラー４０に表示された画像６９を視認すると、構成物画像である画像６７、６８Ｌ及び６８Ｒが画像６９に映っているので、車両１と周囲の車両との現実の離間距離及び位置関係を適切に知ることができる。

例えば、車両１の車体の外形を示す画像６７が画像６９に映っているので、ユーザは、画像６７と車両Ｃ１の画像との離間距離Ｌ１及び相対位置を画像６９上で認識できる。これにより、ユーザは、車両１と車両Ｃ１との現実の離間距離及び相対位置を大まかに知ることができる。また、同様に、ユーザは、画像６７と車両Ｃ２の画像との離間距離Ｌ２及び相対位置を画像６９上で認識できる。これにより、ユーザは、車両１と車両Ｃ２との現実の離間距離及び相対位置を大まかに知ることができる。

また、車両１の後輪の位置を示す画像６８Ｒが画像６９に映っているので、ユーザは、画像６８Ｒと側方の車両Ｃ３の画像との離間距離Ｌ３及び相対位置を画像６９上で、認識できる。これにより、ユーザは、車両１と側方の車両Ｃ３との現実の離間距離及び相対位置を大まかに知ることができる。

仮に、画像６９に車両Ｃ１、Ｃ２及びＣ３が映っていて、かつ、構成物画像が映っていなければ、ユーザは、車両Ｃ１、Ｃ２及びＣ３が車両の後方から右方にかけて存在することを知ることができるが、車両Ｃ１、Ｃ２及びＣ３それぞれと車両１との離間距離及び位置関係を知ることまではできない。例えば、車両Ｃ３が車両１の右側に存在することを知ることができるが、車両１の右隣に存在するのか、右側後方に存在するのかを識別することができない。

そこで、構成物画像が合成された画像６９を見ることで、ユーザは、車両Ｃ１、Ｃ２及びＣ３それぞれと車両１との離間距離及び位置関係を知ることができる。例えば、画像６９において画像６８Ｒの右に車両Ｃ３の画像があることから、車両Ｃ３が車両Ｃ１の右隣りに存在していると判断することができる。

次に、投影面７０とは異なる形状の投影面を使用する場合（以降、比較例１という）と比較しながら、投影面７０を用いる場合の効果を説明する。また、本比較例では、投影面に投影された投影画像を見る仮想視点の位置を、車両１のルームミラーの位置としている。

図８は、比較例１に係る仮想投影面の例を示す説明図である。

比較例１に係る仮想投影面である投影面７０Ｂは、車両が置かれている路面の位置に平面を有しない。言い換えれば、投影面７０Ｂは、投影面７０に含まれる平面７１を有せず、面７２が路面の位置の上下に亘って配置されたものに相当する。

図９は、比較例１に係る仮想投影面を用いて画像変換部２２により変換された画像６５Ｂを示す説明図である。画像６５Ｂは、画像変換部２２が、仮想投影面として投影面７０の代わりに比較例１に係る投影面７０Ｂを用いて画像変換をすることで生成した画像である。

画像６５Ｂでは、元の画像６１と画像６３との境界部分Ｂ３、及び、元の画像６２と画像６３との境界部分Ｂ４において、被写体が不連続になっている。特に、路面を示す画像の部分の不連続性が顕著である。具体的には、境界部分Ｂ３及びＢ４において、路面と歩道との境界に設置されている縁石、及び、路面に付された区画線（白線）が不連続になっている。

これは、画像６１、６２及び６３のうち路面が映っている部分を含めて、画像６１、６２及び６３を投影面７０Ｂに投影したことにより、路面の画像の部分が投影される位置と現実の路面の位置との差異が、他の部分より大きいことに起因している。つまり、図８に示される投影面７０Ｂに基づいて画像変換すると、投影後の２つの映像の路面に位置ずれが生じてしまう。

また、画像６５Ｂには、車両Ｃ１、Ｃ２及びＣ３が映っていて、構成物画像が映っていない。そのため、ユーザは、現実に、車両Ｃ３が車両１の右側に存在することを知ることができるが、車両１の右隣に存在するのか、右側後方に存在するのかを識別することができない。

また、図９に示される画像６５Ｂと比較して、図６に示される画像６５では、当該画像に占める路面の画像の部分の割合が大きい。これは、画像６５を生成したときに使用した仮想視点７３が、画像６５Ｂを生成したときに使用した仮想視点７３Ａより前方かつ上方に位置しており、その仮想視点７３から見下ろすようにして画像６５を生成したからである。このようにすることで、画像６５における車両１と他の車両との間の空間をより広くすることができ、車両１と他の車両との離間距離及び相対的な位置をユーザがより容易に認識することができる。

これらのことから、本実施の形態の図６と比較例１の図９とを対比すると、以下の効果が得られる。

図９において、車両Ｃ１と車両Ｃ２とに着目すると、両者の大きさがほぼ同じであるので、ユーザにとっては車両Ｃ１と車両Ｃ２が並んで走行しているように見える。しかし、実際には、画像変換する前の画像６３（図４参照）から、車両Ｃ１は、車両Ｃ２の斜め後方に位置することがわかる。したがって、図９のような境界合成を行なうと、ユーザ（例えば運転者）が自車（車両１）と、後方の車両Ｃ１及びＣ２とにおける位置関係を誤認識する可能性がある。

一方、図６に示される画像６５では、上記したように、境界部分Ｂ１及びＢ２の路面に付された区画線（白線）が連続しているので、車両Ｃ１及びＣ２の位置関係が、画像６３（図４参照）と同様に示されている。したがって、ユーザが図６に示される画像６５を視認した場合に、図９のような誤認識を起こす可能性が低減されるという効果が得られる。

なお、図９の画像６５Ｂに映っている歩道の複数のポールは、画像６５Ｂにおける上下方向に平行に表示されている一方、図６の画像６５に映っている歩道の複数のポールは、画像６５における上下方向から傾いて表示されている。また、上記の上下方向からの傾きの大きさは、画像６５内における左側（画像６５に映っている光景における手前側）ほど、より大きい。同様に、図９の画像６５Ｂに映っている車両Ｃ３の輪郭は、画像６５Ｂにおける上下方向にほぼ平行に表示されている一方、図６の画像６５に映っている車両Ｃ３の輪郭は、右斜め上方向に傾いて表示されている。したがって、本実施の形態では、たとえ画像６５内における左側及び右側に映っている被写体の実際の上下方向と、画像６５における上下方向とがずれてでも、自車（車両１）と車両Ｃ１、Ｃ２及びＣ３との離間距離を誤認識なく表示することを優先する構成としている。

図１０は、本実施の形態に係る画像合成装置１０が行う処理を示すフロー図である。この処理は、画像合成装置１０の制御方法に相当する。

ステップＳ１０１（取得ステップ）において、車両に搭載された２つのカメラによって、互いに異なる撮像条件の下で、それぞれ、共通の対象が少なくとも撮像された第一画像及び第二画像を取得する。

ステップＳ１０２（画像変換ステップ）において、仮想的な投影を用いて、第一画像及び第二画像を画像変換する。具体的には、車両１の周囲に仮想的に配置される仮想投影面であって、車両１が置かれている路面に対応する面を有する仮想投影面に、第一画像及び第二画像を一部が重なる所定の位置関係で投影し、仮想投影面に投影された投影画像を仮想視点から見た第三画像を取得することで、第一画像及び第二画像を第三画像へ画像変換する。

ステップＳ１０３（生成ステップ）において、車両を構成する構成物画像を生成する。

ステップＳ１０４（合成ステップ）において、ステップＳ１０３で生成した構成物画像を第三画像に合成する。

これにより、画像合成装置１０は、合成画像に映っている車両と自車両との相対的な位置関係を視認者が把握しやすい合成画像を生成する。

（実施の形態の変形例１）
本変形例において、仮想視点の他の例について説明する。

上記実施の形態では、車両１のルームミラーの位置より前方かつ上方の仮想視点７３を用いる場合を示したが、仮想視点は他の位置にも設定され得る。

図１１は、本変形例に係る仮想視点の位置を示す説明図である。

図１１の（ａ）には、仮想視点の位置と仮想視点から投影画像を見る方向との例が複数示されている。具体的には、仮想視点として仮想視点７３、７３Ａ及び７３Ｂが示されており、それぞれの仮想視点に対応する視線の方向７４、７４Ａ及び７４Ｂが示されている。仮想視点７３Ｂは、仮想視点７３Ａより前方かつ上方に位置しており、仮想視点７３は、仮想視点７３Ｂよりさらに前方かつ上方に位置している。また、視線の方向の俯角が、仮想視点の位置が上方であるほどより大きくなる。つまり、図１１の（ａ）に示される俯角θＡ、θＢ及びθについて、θＡ＜θＢ＜θが成立する。

仮想視点７３Ａから投影画像を見る場合より、仮想視点７３Ｂ又は７３から投影画像を見る方が、車両１の後方の空間をより高い位置から見下ろすようになる。これにより、生成される第三画像全体に占める路面の割合が大きくなり、ユーザが車両１と他の車両との離間距離及び相対的な位置を認識しやすくなる利点がある。

図１１の（ｂ）には、仮想視点の位置と仮想視点から投影画像を見る方向との別の例が複数示されている。具体的には、仮想視点として仮想視点７３Ａ、７３Ｃ及び７３Ｄが示されており、それぞれの仮想視点に対応する視線の方向７４Ａ、７４Ｃ及び７４Ｄが示されている。仮想視点７３Ｃは、仮想視点７３Ａより上方に位置しており、仮想視点７３Ｄは、仮想視点７３Ｃよりさらに上方に位置している。また、視線の方向の俯角についても同様に、図１１の（ｂ）に示される俯角θＡ、θＣ及びθＤについて、θＡ＜θＣ＜θＤが成立する。

この場合でも、図１１の（ａ）と同様、仮想視点７３Ａから投影画像を見る場合より、仮想視点７３Ｃ又は７３Ｄから投影画像を見る方が、車両１の後方の空間をより高い位置から見下ろすようになる。これにより、生成される第三画像全体に占める路面の割合が大きくなり、ユーザが車両１と他の車両との離間距離及び相対的な位置を認識しやすくなる利点がある。

また、画像変換部２２は、車両１に関する情報を取得して、その情報に基づいて仮想視点の位置を変更するようにしてもよい。

例えば、画像変換部２２は、車両１の速度を取得し、取得した速度に応じた位置に仮想視点を設定してもよい。そして、画像変換部２２は、設定した仮想視点を用いて画像変換をする。より特定的には、画像変換部２２は、車両１の速度が大きいほど、より低い位置に仮想視点を設定する。

具体的には、車両１の速度が大きくなるにしたがって、図１１の（ａ）に示される仮想視点７３から仮想視点７３Ｂへ、また、仮想視点７３Ｂから仮想視点７３Ａへ、仮想視点を移動させる。反対に、車両１の速度が小さくなるにしたがって、仮想視点７３Ａから仮想視点７３Ｂへ、また、仮想視点７３Ｂから仮想視点７３へ、仮想視点を移動させる。図１１の（ｂ）においても、仮想視点７３Ｄ、７３Ｃ及び７３Ａについて上記と同様の説明が成立する。

また、例えば、画像変換部２２は、車両１のシフトポジションを取得し、取得したシフトポジションに応じた位置に仮想視点を設定してもよい。そして、画像変換部２２は、設定した仮想視点を用いて画像変換をする。より特定的には、画像変換部２２は、シフトポジションが低いほど、より高い位置に仮想視点を設定し、又は、シフトポジションが後退ポジションである場合に、そうでない場合より高い位置に仮想視点を設定する。

具体的な仮想視点の移動については、上記と同様である。

このように仮想視点を車両の速度又はシフトポジションに応じて変化させることで、ユーザによる車両１の運転に有用な情報をユーザに提示できる。そして、ユーザは、その速度又はシフトポジションに応じた仮想視点から見た画像を視認することで、他の車両と自車両との相対的な位置関係を把握することができる。

（実施の形態の変形例２）
本変形例において、上記実施の形態の仮想投影面とは異なる形状を有する仮想投影面を用いる例を説明する。

図１２は、本変形例に係る仮想投影面の例を示す説明図である。

図１２に示されるように、投影面７０Ｃは、平面７１Ｃと面７２Ｃとを含む。平面７１Ｃは第一面に相当し、面７２Ｃは第二面に相当する。

平面７１Ｃは、車両１が置かれている路面に相当する位置に、仮想的に位置している。平面７１Ｃは、車両１が置かれている位置から、平面７１Ｃが面７２Ｃと交差する位置にまで延びている。

面７２Ｃは、車両１の後方を含む位置に仮想的に配置された平面、又は、その平面の一部である。面７２Ｃは、平面７１Ｃと交差する位置から上方へ延びている。車両１から面７２Ｃまでの距離は、例えば１５ｍ〜２０ｍである。

画像変換部２２は、投影面７０Ｃを投影面７０として用いて、上記実施の形態と同じように画像変換を行うことができる。

図１３は、比較例２に係る仮想投影面の例を示す説明図である。

図１３に示されるように、比較例２に係る仮想投影面である投影面７０Ｄは、車両が置かれている路面の位置に平面を有しない。言い換えれば、投影面７０Ｄは、投影面７０Ｃに含まれる平面７１Ｃを有せず、面７２Ｃが路面の位置の上下に亘って配置されたものである。

比較例２に係る仮想投影面を用いて画像変換部２２により画像６１、６２及び６３を変換して得られる画像は、図９に示される画像６５Ｂと同様に、境界部分Ｂ１及びＢ２において画像が不連続になる。

これに対して、図１２に示される投影面７０Ｃを用いて画像変換部２２により画像６１、６２及び６３を変換して得られる画像は、図６に示される画像６５と同様に、当該画像に映っている路面の部分の位置関係が正しく表現される。よって、画像合成装置１０は、合成画像に映っている車両と自車両との相対的な位置関係を視認者が把握しやすい合成画像を生成することができる。

（実施の形態の変形例３）
本変形例において、上記実施の形態の仮想投影面とは異なる形状を有する仮想投影面を用いる他の例を説明する。

図１４は、本変形例に係る仮想投影面の例を示す説明図である。

図１４に示されるように、投影面７０Ｅは、平面７１Ｅと面７２Ｅとを含む。平面７１Ｅは第一面に相当し、面７２Ｅは第二面に相当する。

平面７１Ｅは、車両１が置かれている路面に相当する位置に、仮想的に位置している。平面７１Ｅは、車両１が置かれている位置から、平面７１Ｅが面７２Ｅと交差する位置にまで延びている。

面７２Ｅは、車両１の後方を含む位置に仮想的に配置された球面、又は、その球面の一部である。面７２Ｅは、平面７１Ｅと交差する位置から上方へ延びている。車両１から面７２Ｅまでの距離は、例えば１５ｍ〜２０ｍである。

画像変換部２２は、投影面７０Ｅを投影面７０として用いて、上記実施の形態と同じように画像変換を行うことができる。

図１５は、比較例３に係る仮想投影面の例を示す説明図である。

図１５に示されるように、比較例３に係る仮想投影面である投影面７０Ｆは、車両が置かれている路面の位置に平面を有しない。言い換えれば、投影面７０Ｆは、投影面７０Ｅに含まれる平面７１Ｅを有せず、面７２Ｅが路面の位置の上下に亘って配置されたものである。

比較例３に係る仮想投影面を用いて画像変換部２２により画像６１、６２及び６３を変換して得られる画像は、図９に示される画像６５Ｂと同様に、境界部分Ｂ１及びＢ２において画像が不連続になる。

これに対して、図１５に示される投影面７０Ｅを用いて画像変換部２２により画像６１、６２及び６３を変換して得られる画像は、図６に示される画像６５と同様に、当該画像に映っている路面の部分の位置関係が正しく表現される。よって、画像合成装置１０は、合成画像に映っている車両と自車両との相対的な位置関係を視認者が把握しやすい合成画像を生成することができる。

なお、２つの画像である第一画像及び第二画像を合成する方法を利用することで、３つのカメラによる３つの画像を合成することも可能である。例えば、画像合成装置１０が、（１）左側後方画像と中央後方画像とを、それぞれ、第一画像及び第二画像として合成して画像を得た後に、（２）その得た画像と右側後方画像とを、それぞれ、改めて第一画像及び第二画像として合成すれば、最終的に、左側後方画像、中央後方画像及び右側後方画像をすべてつなぎあわせた後方画像が得られる。ここで、第一画像と第二画像とを合成した画像を第四画像ともいい、第四画像と右後方画像とを合成した画像を第五画像ともいう。

ここで、上記した３つの画像の合成については、画像合成装置１０が、（１）左側後方画像と中央後方画像とを、それぞれ、第一画像及び第二画像として合成して画像を得た後に、（２）その得た画像と右側後方画像とを、それぞれ、改めて第一画像及び第二画像として合成しているが、この合成に限定されるものではない。例えば、画像合成装置１０が、（１）右側後方画像と中央後方画像とを、それぞれ、第一画像及び第二画像として合成して画像を得た後に、（２）その得た画像と左側後方画像とを、それぞれ、改めて第一画像及び第二画像として合成してもよい。ここで、第一画像と第二画像とを合成した第四画像と、左後方画像とを合成した画像が第五画像に相当する。

つまり、画像合成装置１０は、左後方画像と右後方画像との一方、及び、中央後方画像を、それぞれ、第一画像及び第二画像として取得部２１により取得し、合成部２３により構成物画像が合成された第三画像としての第四画像を生成してもよい。さらに、画像合成装置１０は、第四画像、及び、左後方画像と右後方画像との他方を、それぞれ、第一画像及び第二画像として取得部２１により取得し、合成部２３により構成物画像が合成された第三画像としての第五画像を生成してもよい。この場合、第五画像が表示制御部２４によって電子ミラー４０に表示される。

以上のように、本実施の形態及び変形例に係る画像合成装置は、車両が置かれている路面に対応する面を有する仮想投影面を用いて画像変換をする。この画像変換により、第一画像に映っている路面及び路面上の物（例えば車両など、以下同様）と、第二画像に映っている路面及び路面上の物とが、仮想投影面における路面に対応する面に仮想的に投影される。その結果、生成された第三画像において、路面及び路面上の物の位置が適切に表現される。さらに、生成部で生成された車両の構成物を示す画像が第三画像に合成されるので、ユーザが把握しやすい合成画像を生成することができる。

また、画像合成装置は、生成部で生成された車両の構成物を示す画像を第三画像に合成するので、ユーザは、その合成された画像を視認することで、路面及び路面上の物と自車両との距離及び相対的な位置を適切に把握することができる。このように、画像合成装置は、合成画像に映っている車両と自車両との相対的な位置関係をユーザがさらに把握しやすい合成画像を生成することができる。また、生成部を車種に応じて差し替えることにより、画像合成装置を多様な車種に展開しやすくなる。

また、画像合成装置は、画像変換の際に、車両の前方かつ上方に位置している仮想視点から見た画像を用いて画像変換をする。これにより、画像合成装置は、車両の後方の路面及び路面上の物を上方から見下ろす位置から見た第三画像を取得することができ、第三画像に映っている路面の領域をより広くすることができる。ユーザは、路面の領域をより広くした第三画像を視認することで、合成画像に映っている車両と自車両との相対的な位置関係をより容易に把握することができる。

また、画像合成装置は、第一面から取得した画像には補正処理を施さず、第二面から取得した画像に補正処理を施す。画像変換において第一面から取得した画像では、仮想投影面である、路面に対応する面と、路面との位置が一致しているので、第一画像と第二画像との境界で、画像に映っている路面もしくは路面上の高さのない物体に関しては、不一致又は不連続が生ずることが少ない。一方、画像変換において第二面から取得した画像では、仮想投影面と、現実の被写体との位置が必ずしも一致しないので被写体の不一致又は不連続が生じ得る。そこで、第二面から取得した画像に補正処理を施すことで、境界における画像の不自然さを抑制することができる。また、第一面から取得した画像には補正処理を施さないことにより、不要な処理を行うことを回避し、処理負荷及び電力消費の低減の効果を奏する。

また、画像合成装置は、車両の車体又は後輪の位置を示す画像が合成された合成画像を生成する。ユーザは、この合成画像を視認することで、他の車両と、自車両の車体又は後輪の位置との離間距離又は相対的な位置を、より一層適切に把握することができる。

また、画像合成装置は、車両の速度に応じて異なる位置に位置する仮想視点を用いて画像変換をするので、車両の速度に応じた適切な画像を合成することができる。ユーザは、このような合成画像を視認することで、車両の速度に応じた適切な画像を視認し、合成画像に映っている車両と自車両との相対的な位置関係をより容易に把握することができる。

また、画像合成装置は、車両の速度が大きいほどより低い位置に位置する仮想視点を用いて画像変換をする。車両の速度が大きいときは、一般に車間距離も大きい。そのため、路面において車両からより遠い距離までの範囲内に位置する車両と自車両との相対的な位置関係に関する情報が、ユーザの運転に有用である。よって、ユーザは、車両の速度が大きいほど、路面において車両からより遠い距離までの範囲内に位置する車両と自車両との相対的な位置関係を把握することができる。

また、画像合成装置は、車両のシフトポジションに応じて異なる位置に位置する仮想視点を用いて画像変換をするので、車両のシフトポジションに応じた適切な画像を合成することができる。ユーザは、このような合成画像を視認することで、車両のシフトポジションに応じた適切な画像を視認し、合成画像に映っている車両と自車両との相対的な位置関係をより容易に把握することができる。

また、画像合成装置は、車両のシフトポジションが低いほどより高い位置に位置する仮想視点を用いて画像変換をする。シフトポジションが低いときは、一般に、車両の速度が小さく、車間距離も小さい。そのため、路面において車両からより近い距離までの範囲内に位置する車両と自車両との相対的な位置関係に関する情報が、ユーザの運転に有用である。よって、ユーザは、シフトポジションが低いほど、路面において車両からより近い距離までの範囲内に位置する車両と自車両との相対的な位置関係を把握することができる。また、画像合成装置は、車両のシフトポジションが後退ポジションである場合に、そうでない場合より高い位置に位置する仮想視点を用いて画像変換をする。シフトポジションが後退ポジションであるときは、一般に、車両の速度が小さく、他の車両又は物体との距離も小さい。そのため、路面において車両からより近い距離までの範囲内に位置する車両又は物体と自車両との相対的な位置関係に関する情報が、ユーザの運転に有用である。よって、ユーザは、シフトポジションが後退ポジションであるときに、路面において車両からより近い距離までの範囲内に位置する車両と自車両との相対的な位置関係をより容易に把握することができる。

また、画像合成装置は、車両に搭載された左カメラ、右カメラ及び中央カメラそれぞれにより撮像された画像を合成する。これにより、画像合成装置は、画像合成に伴う違和感を抑制しながら、車両の左側後方から中央後方を経て右側後方まで、あるいは、車両の右側後方から中央後方を経て左側後方までの広い範囲を合成した画像を合成することができる。

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の画像合成装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、画像合成装置の制御方法であって、車両に搭載された２つのカメラによって、それぞれ、共通の対象が少なくとも撮像された第一画像及び第二画像を取得する取得ステップと、前記車両の周囲に仮想的に配置される仮想投影面であって、前記車両が置かれている路面に対応する平面を有する仮想投影面に、前記第一画像及び前記第二画像を一部が重なる所定の位置関係で投影し、前記仮想投影面に投影された投影画像を仮想視点から見た第三画像を取得することで、前記第一画像及び前記第二画像を前記第三画像へ画像変換する画像変換ステップと、前記車両を構成する構成物が存在すべき位置を示す構成物画像を生成し、生成した前記構成物画像を前記第三画像に合成する合成ステップとを含む制御方法を実行させる。

以上、一つまたは複数の態様に係る画像合成装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、車両に搭載したカメラの映像を合成して電子ミラーに表示する画像合成装置に利用可能である。

１、Ｃ１、Ｃ２、Ｃ３ 車両
１０ 画像合成装置
１２、１３、１４ カメラ
２１ 取得部
２２ 画像変換部
２３ 合成部
２４ 表示制御部
２５ 生成部
４０ 電子ミラー
５０ 後方画像
５１、５２、５３、６１、６１Ａ、６１Ｂ、６１Ｄ、６１Ｅ、６１Ｆ、６２、６２Ａ、６２Ｂ、６２Ｃ、６２Ｄ、６２Ｅ、６２Ｆ、６３、６３Ａ、６３Ｂ、６３Ｃ、６３Ｄ、６３Ｅ、６３Ｆ、６５、６５Ｂ、６７、６８Ｌ、６８Ｒ、６９ 画像
７０、７０Ｂ、７０Ｃ、７０Ｄ、７０Ｅ、７０Ｆ 投影面
７１、７１Ｃ、７１Ｅ 平面
７２、７２Ｃ、７２Ｅ 面
７３、７３Ａ、７３Ｂ、７３Ｃ、７３Ｄ 仮想視点
７４、７４Ａ、７４Ｂ、７４Ｃ、７４Ｄ 方向
Ｂ１、Ｂ２、Ｂ３、Ｂ４ 境界部分
Ｌ１、Ｌ２、Ｌ３ 離間距離

Claims (11)

1. 車両に搭載された、路面を含む後方画像を撮像する２つのカメラによって、それぞれ、共通の対象が少なくとも撮像された第一画像及び第二画像を取得する取得部と、
   前記車両の周囲に仮想的に配置される仮想投影面であって、前記車両が置かれている前記路面に対応する面を有する仮想投影面に、前記第一画像及び前記第二画像を一部が重なる所定の位置関係で投影し、前記仮想投影面に投影された投影画像を仮想視点から見た第三画像を取得することで、前記第一画像及び前記第二画像を前記第三画像へ画像変換する画像変換部と、
   前記車両を構成する構成物画像を生成する生成部と、
   前記生成部が生成した前記構成物画像を前記第三画像に合成する合成部とを備え、
   前記仮想投影面は、前記路面に対応する前記面である第一面と、前記仮想投影面のうち前記第一面を除く第二面を含み、
   前記画像変換部は、前記第三画像のうち、前記第一面及び前記第二面のうちの前記第二面だけから取得した部分画像において、前記第一画像と前記第二画像との境界の近傍に補正処理を施す
   画像合成装置。
2. 前記生成部は、前記車両を構成する構成物が存在すべき位置を示す前記構成物画像を生成する
   請求項１に記載の画像合成装置。
3. 前記仮想視点は、前記車両の前方かつ上方に位置している
   請求項１又は２に記載の画像合成装置。
4. 前記合成部は、
   前記第三画像において前記車両の車体が存在すべき位置を前記路面に投影した位置に、前記車体の外形を少なくとも示す、前記生成部が生成した前記構成物画像を合成し、又は、
   前記第三画像において前記車両の後輪が存在すべき位置に、前記後輪を少なくとも示す、前記生成部が生成した前記構成物画像を合成する
   請求項１〜３のいずれか１項に記載の画像合成装置。
5. 前記画像変換部は、前記車両の速度を取得し、取得した前記速度に応じた位置に前記仮想視点を設定し、設定した前記仮想視点を用いて前記画像変換をする
   請求項１〜４のいずれか１項に記載の画像合成装置。
6. 前記画像変換部は、前記車両の速度が大きいほど、より低い位置に前記仮想視点を設定し、設定した前記仮想視点を用いて前記画像変換をする
   請求項５に記載の画像合成装置。
7. 前記画像変換部は、前記車両のシフトポジションを取得し、取得した前記シフトポジションに応じた位置に前記仮想視点を設定し、設定した前記仮想視点を用いて前記画像変換をする
   請求項１〜６のいずれか１項に記載の画像合成装置。
8. 前記画像変換部は、
   前記シフトポジションが低いほど、より高い位置に前記仮想視点を設定し、又は、
   前記シフトポジションが後退ポジションである場合に、前記シフトポジションが前記後退ポジションでない場合より高い位置に前記仮想視点を設定し、
   設定した前記仮想視点を用いて前記画像変換をする
   請求項７に記載の画像合成装置。
9. 前記画像合成装置は、
   前記２つのカメラを含む３つのカメラを備え、
   前記３つのカメラは、前記車両の左側の後方を映す左カメラと、前記車両の右側の後方を映す右カメラと、前記車両の中央の後方を映す中央カメラとであり、
   前記取得部は、
   （ａ）前記左カメラにより撮像された左後方画像と、
   （ｂ）前記右カメラにより撮像された右後方画像と、
   （ｃ）前記中央カメラにより撮像された中央後方画像と、
   を取得し、
   前記左後方画像と前記右後方画像との一方、及び、前記中央後方画像を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記合成部により前記構成物画像が合成された前記第三画像としての第四画像を生成し、
   前記第四画像、及び、前記左後方画像と前記右後方画像との他方を、それぞれ、前記第一画像及び前記第二画像として前記取得部により取得し、前記合成部により前記構成物画像が合成された前記第三画像としての第五画像を生成する
   請求項１〜８のいずれか１項に記載の画像合成装置。
10. 車両に搭載された、路面を含む後方画像を撮像する２つのカメラによって、それぞれ、共通の対象が少なくとも撮像された第一画像及び第二画像を取得する取得部と、
    前記車両の周囲に仮想的に配置される仮想投影面であって、前記車両が置かれている前記路面に対応する面を有する仮想投影面に、前記第一画像及び前記第二画像を一部が重なる所定の位置関係で投影し、前記仮想投影面に投影された投影画像を仮想視点から見た第三画像を取得することで、前記第一画像及び前記第二画像を前記第三画像へ画像変換する画像変換部と、
    前記車両を構成する構成物画像を生成する生成部と、
    前記生成部が生成した前記構成物画像を前記第三画像に合成する合成部とを備え、
    前記画像変換部は、
    前記車両のシフトポジションを取得し、
    取得した前記シフトポジションが低いほど、より高い位置に前記仮想視点を設定し、又は、前記シフトポジションが後退ポジションである場合に、前記シフトポジションが前記後退ポジションでない場合より高い位置に前記仮想視点を設定し、
    設定した前記仮想視点を用いて前記画像変換をする
    画像合成装置。
11. 画像合成装置の制御方法であって、
    車両に搭載された、路面を含む後方画像を撮像する２つのカメラによって、それぞれ、共通の対象が少なくとも撮像された第一画像及び第二画像を取得する取得ステップと、
    前記車両の周囲に仮想的に配置される仮想投影面であって、前記車両が置かれている前記路面に対応する面を有する仮想投影面に、前記第一画像及び前記第二画像を一部が重なる所定の位置関係で投影し、前記仮想投影面に投影された投影画像を仮想視点から見た第三画像を取得することで、前記第一画像及び前記第二画像を前記第三画像へ画像変換する画像変換ステップと、
    前記車両を構成する構成物画像を生成する生成ステップと、
    前記生成ステップで生成した前記構成物画像を前記第三画像に合成する合成ステップとを含み、
    前記仮想投影面は、前記路面に対応する前記面である第一面と、前記仮想投影面のうち前記第一面を除く第二面を含み、
    前記画像変換ステップでは、前記第三画像のうち、前記第一面及び前記第二面のうちの前記第二面だけから取得した部分画像において、前記第一画像と前記第二画像との境界の近傍に補正処理を施す
    制御方法。

Images