JP6930935B2 - 画像合成装置及び画像合成方法 - Google Patents

Description

本発明は、画像合成装置及び画像合成方法に関する。詳しくは、車両の後方及び側方の複数のカメラによって得られる映像を合成することにより後方画像を得る画像合成装置及び画像合成方法に関する。

従来、車両のバックミラーの代わりに、車両の後方をカメラで撮影して、路面や接近する物体等を画面に表示する後方モニタが種々実用化されている。通常、後方モニタに用いられるカメラは広範囲を撮影するために、撮影される画像が大きく歪み、そのまま表示すると見づらいという問題がある。このため、補正テーブル等を用いて撮影された画像の歪をなくす手法が知られている（例えば、特許文献１を参照）。また、近年では、車両に複数のカメラを備え、各カメラを用いて得られる２次元画像データを１つの３次元投影面形状に合成する方法等を用いて、視認性を高めた画像処理装置が開発されている（例えば、特許文献２を参照）。
複数のカメラで撮影した画像を合成する場合、各画像の境界付近に同じ物体が位置すると、撮影位置が異なるために、合成画像には異なる見え方の物体が混じって表示される等の問題が生じる。このような問題を解消するため、例えば特許文献２に記載されている画像処理装置は、３次元投影面形状として、車両が配置される矩形の配置面から延設された地面を投影するための平面と、平面から延設された周囲を投影するための曲面とからなり、各カメラで撮像して得られた複数の２次元画像データを１つの３次元投影面形状に合成している。

特開平１０−２７１４９０号公報 特開２０１０−１２８９５１号公報

複数のカメラにより車両の後方を撮影すれば、死角を減らすことができる。しかし、前記のように、複数のカメラにより撮影した画像を合成して表示等する場合に、各カメラで撮影された画像の境界付近に位置する物体の全てを継ぎ目がなく、全体として歪みが少なく自然に見えるように表示することは困難である。例えば、各カメラで撮像して得られた複数の２次元画像を１つの３次元投影面上で合成するとしても、１つの物体の継ぎ目がなくなるように合成すると、カメラとの距離が異なる他の物体に不自然な継ぎ目や歪みが生じたり、物体が投影範囲から外れて表示されなくなったりする問題が生じる。特に、特許文献２に記載されているように、投影する面が地面と周囲とで異なる形状である場合、各カメラの設置高さの違い等により面の継ぎ目の位置がずれて、映像が見難くなる場合がある。

また、車両後方の映像をバックミラーのように表示する用途等においては、車両の後部にリアカメラ、車両の左右側部にサイドカメラに備えるような場合、リアカメラとサイドカメラとでは前後方向の位置が異なるため、各カメラの視点により車両後方を撮影した画像を合成して後方画像を生成すると、地面上に存在する鉛直な構造物が屈曲してしまう等、後方の距離感が不自然となるという問題があった。このため、特に後方画像の地面に対応する領域において、地上の構造物が歪まず自然な距離感となるように合成画像を生成することが求められている。

本発明は、上記実情に鑑みてなされたものであり、車両の後方及び側方の複数のカメラによって得られる映像を合成することにより違和感のない後方画像を得る画像合成装置及び画像合成方法を提供することを目的とする。

１．車両の後方、左側後方及び右側後方における路面及び路上の映像を合成する画像合成装置であって、
前記車両の後方を撮影する後方カメラ、左側後方を撮影する左側カメラ、及び右側後方を撮影する右側カメラによって撮影された映像から、それぞれ後方画像、左側画像及び右側画像を取得する画像取得手段と、
前記後方画像、前記左側画像及び前記右側画像をそれぞれ所定の投影面に投影した投影後方画像、投影左側画像及び投影右側画像に変換する座標変換手段と、
前記投影後方画像、前記投影左側画像及び前記投影右側画像を合成することにより後方合成画像を得る画像合成手段と、
を備え、
前記所定の投影面は、所定の位置を原点として前記車両の前後方向をＺ軸とする３次元座標空間において、前記車両の後方に鉛直方向に設定される鉛直投影面、及び前記鉛直投影面より前記車両側の地面に対応する地面投影面からなり、
前記座標変換手段は、前記３次元座標空間において、前記左側画像及び前記右側画像を、それぞれ前記左側カメラ及び前記右側カメラの位置を基準として前記鉛直投影面及び前記地面投影面に投影する第１手段と、前記地面投影面に対して上方となる前記後方画像を前記鉛直投影面に投影する第２手段と、前記地面投影面よりも下方となる前記後方画像を補正して前記地面投影面に投影する第３手段とを含み、
前記第３手段は、前記後方カメラの位置からの前記Ｚ軸方向の距離を、前記左側カメラ又は前記右側カメラからの前記Ｚ軸方向の距離を基準として補正して前記地面投影面に投影することを特徴とする画像合成装置。
２．前記第３手段は、前記後方カメラの位置から前記後方画像のうちの任意の点が前記鉛直投影面へ投影される点を鉛直投影点Ｕとし、前記鉛直投影点Ｕに対応する前記地面投影面への投影点を地面投影点Ｐとして、
前記３次元座標空間において前記後方カメラの位置から前記鉛直投影点Ｕを見た方向であって、前記左側カメラ又は前記右側カメラの位置と前記鉛直投影点Ｕとを結ぶ線分が前記地面投影面と交わる点の前記Ｚ軸の座標となる位置を、前記地面投影点Ｐとするように補正する前記１．記載の画像合成装置。
３．前記座標変換手段は、前記投影後方画像、前記投影左側画像及び前記投影右側画像における上方領域を前記鉛直投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する前記１．又は２．に記載の画像合成装置。
４．前記画像合成手段は、それぞれ遷移領域ｂ１、ｂ２を挟んで前記投影後方画像、前記投影左側画像及び前記投影右側画像を合成した前記後方合成画像を生成する前記１．乃至３．のいずれかに記載の画像合成装置。
５．前記画像合成手段は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する前記４．記載の画像合成装置。
６．車両の後方、左側後方及び右側後方における路面及び路上の映像を合成する画像合成方法であって、
前記車両の後方を撮影する後方カメラ、左側後方を撮影する左側カメラ、及び右側後方を撮影する右側カメラによって撮影された映像から、それぞれ後方画像、左側画像及び右側画像を取得する画像取得工程と、
前記後方画像、前記左側画像及び前記右側画像をそれぞれ所定の投影面に投影した投影後方画像、投影左側画像及び投影右側画像に変換する座標変換工程と、
前記投影後方画像、前記投影左側画像及び前記投影右側画像を合成することにより後方合成画像を得る画像合成工程と、
を備え、
前記所定の投影面は、所定の位置を原点として前記車両の前後方向をＺ軸とする３次元座標空間において、前記車両の後方に鉛直方向に設定される鉛直投影面、及び前記鉛直投影面より前記車両側の地面に対応する地面投影面からなり、
前記座標変換工程は、前記３次元座標空間において、前記左側画像及び前記右側画像を、それぞれ前記左側カメラ及び前記右側カメラの位置を基準として前記鉛直投影面及び前記地面投影面に投影する第１工程と、前記地面投影面に対して上方となる前記後方画像を前記鉛直投影面に投影する第２工程と、前記地面投影面よりも下方となる前記後方画像を補正して前記地面投影面に投影する第３工程とを含み、
前記第３工程は、前記後方カメラの位置からの前記Ｚ軸方向の距離を、前記左側カメラ又は前記右側カメラからの前記Ｚ軸方向の距離を基準として補正して前記地面投影面に投影することを特徴とする画像合成方法。
７．前記第３工程は、前記後方カメラの位置から前記後方画像のうちの任意の点が前記鉛直投影面へ投影される点を鉛直投影点Ｕとし、前記鉛直投影点Ｕに対応する前記地面投影面への投影点を地面投影点Ｐとして、
前記３次元座標空間において前記後方カメラの位置から前記鉛直投影点Ｕを見た方向であって、前記左側カメラ又は前記右側カメラの位置と前記鉛直投影点Ｕとを結ぶ線分が前記地面投影面と交わる点の前記Ｚ軸の座標となる位置を、前記地面投影点Ｐとするように補正する前記６．記載の画像合成方法。
８．前記座標変換工程は、前記投影後方画像、前記投影左側画像及び前記投影右側画像における上方領域を前記鉛直投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する前記６．又は７．に記載の画像合成方法。
９．前記画像合成工程は、それぞれ遷移領域ｂ１、ｂ２を挟んで前記投影後方画像、前記投影左側画像及び前記投影右側画像を合成した前記後方合成画像を生成する前記６．乃至８．のいずれかに記載の画像合成方法。
１０．前記画像合成工程は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する前記９．に記載の画像合成方法。

本発明によれば、車両の後方、左側後方及び右側後方における路面及び路上の映像を合成する画像合成装置であって、車両の後方を撮影する後方カメラ、左側後方を撮影する左側カメラ、及び右側後方を撮影する右側カメラによって撮影された映像から、それぞれ後方画像、左側画像及び右側画像を取得する画像取得手段と、前記後方画像、前記左側画像及び前記右側画像をそれぞれ所定の投影面に投影した投影後方画像、投影左側画像及び投影右側画像に変換する座標変換手段と、前記投影後方画像、前記投影左側画像及び前記投影右側画像を合成することにより後方合成画像を得る画像合成手段と、を備え、前記所定の投影面は、所定の位置を原点として車両の前後方向をＺ軸とする３次元座標空間において、車両の後方に鉛直方向に設定される鉛直投影面、及び前記鉛直投影面より車両側の地面に対応する地面投影面からなり、前記座標変換手段は、前記３次元座標空間において、前記左側画像及び前記右側画像を、それぞれ前記左側カメラ及び前記右側カメラの位置を基準として前記鉛直投影面及び前記地面投影面に投影する第１手段と、前記地面投影面に対して上方となる前記後方画像を前記鉛直投影面に投影する第２手段と、前記地面投影面よりも下方となる前記後方画像を補正して前記地面投影面に投影する第３手段とを含むため、３つのカメラで撮影される画像によって車両後方の広い視野を確保し、死角を低減することができる。また、投影面として鉛直投影面及び地面投影面を備えているため、車両後方の地上領域と地面領域とを、それぞれの投影面に応じた変換方法及び投影方法とすることができ、後方合成画像の視認性を高めることが可能になる。
そして、前記第３手段は、前記後方カメラの位置からの前記Ｚ軸方向の距離を、前記左側カメラ又は前記右側カメラからの前記Ｚ軸方向の距離を基準として補正して前記地面投影面に投影するため、地面投影面に投影される画像を左側カメラ又は右側カメラの視点に補正することができ、地上に存在する鉛直な構造物が歪まず自然な距離感となるように後方合成画像を生成することができる。

前記第３手段は、前記後方カメラの位置から前記後方画像のうちの任意の点が前記鉛直投影面へ投影される点を鉛直投影点Ｕとし、前記鉛直投影点Ｕに対応する前記地面投影面への投影点を地面投影点Ｐとして、前記３次元座標空間において後方カメラの位置から鉛直投影点Ｕを見た方向であって、前記左側カメラ又は前記右側カメラの位置と鉛直投影点Ｕとを結ぶ線分が地面投影面と交わる点のＺ軸の座標となる位置を、地面投影点Ｐとするように補正する場合には、後方カメラにより撮影された後方画像を地面投影面へ投影するＺ軸座標が、左側カメラ又は右側カメラから見たＺ軸座標に変換される。これにより、地面投影面に投影される投影後方画像を左側カメラ又は右側カメラの視点に対応するように補正することができ、地面上の距離に違和感のない後方合成画像を生成することが可能になる。

前記座標変換手段は、前記投影後方画像、前記投影左側画像及び前記投影右側画像における上方領域を前記鉛直投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する場合には、鉛直投影面と地面投影面に投影された各投影画像が連続するように変換することができ、後方合成画像の視認性を高めることができる。

前記画像合成手段は、それぞれ遷移領域ｂ１、ｂ２を挟んで前記投影後方画像、前記投影左側画像及び前記投影右側画像を合成した前記後方合成画像を生成する場合は、遷移領域ｂ１、ｂ２において各投影画像の境界部分の不連続を緩和し、継ぎ目が滑らかな後方合成画像を得ることができる。
前記画像合成手段は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する場合は、後方合成画像において車両後端に近いほど地面投影画像が広くなるように合成されるため、車両を後退等させるとき等に重要となる車両後部付近の識別性を向上させることができる。

以上は、本発明が装置として実現される場合について説明したが、かかる装置を実現する方法やプログラム、当該プログラムを記録した媒体としても発明は実現可能である。また、以上のような画像合成装置は単独で実現される場合もあるし、ある方法に適用され、あるいは同方法が他の機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。したがって、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。

画像合成装置の構成を説明するためのブロック図である。 車両に設けられている各カメラの位置、撮影範囲及び各投影面を示す模式平面図である。 車両に設けられている各カメラの位置、撮影範囲及び各投影面を示す模式斜視図である。 各カメラによって得られた画像の例である。 後方カメラの位置からの鉛直投影面への投影、並びに左側カメラ及び右側カメラの位置からの鉛直投影面及び地面投影面への投影を説明するための模式斜視図である。 後方カメラの位置からの鉛直投影面への投影、並びに左側カメラ及び右側カメラの位置からの鉛直投影面及び地面投影面への投影を説明するための模式側面図である。 後方カメラの位置からの地面投影面への投影を説明するための模式斜視図である。 後方カメラの位置からの地面投影面への投影を説明するための模式側面図である。 後方カメラの位置からの地面投影面への投影を説明するための模式平面図である。 各カメラにより撮影された画像を投影した各投影画像、及び遷移領域が後方合成画像に占める範囲を示す図である。 遷移領域の処理のために、後方カメラの位置からの地面投影面への投影を説明するための模式斜視図である。 遷移領域の処理のために、後方カメラの位置からの地面投影面への投影を説明するための模式側面図である。 遷移領域の処理のために、後方カメラの位置からの地面投影面への投影を説明するための模式平面図である。 画像合成装置の処理を説明するためのフローチャートである。 後方合成画像の例である。 図１５の後方合成画像において、各投影画像及び遷移領域の範囲及びその境界を示す図である。 後方合成画像の比較例である。 後方合成画像の比較例である。 座標変換手段による補正を行わずに合成した後方合成画像の例である。

ここで示される事項は例示的なもの及び本発明の実施形態を例示的に説明するためのものであり、本発明の原理と概念的な特徴とを最も有効に且つ難なく理解できる説明であると思われるものを提供する目的で述べたものである。この点で、本発明の根本的な理解のために必要である程度以上に本発明の構造的な詳細を示すことを意図してはおらず、図面と合わせた説明によって本発明の幾つかの形態が実際にどのように具現化されるかを当業者に明らかにするものである。

本実施形態に係る画像合成装置（１）の構成例を図１に示す。画像合成装置（１）は自車両（９１）の後方、左側後方及び右側後方における路面及び路上の映像を合成する画像合成装置であって、車両（９１）の後方を撮影する後方カメラ（２１）、左側後方を撮影する左側カメラ（２２）、及び右側後方を撮影する右側カメラ（２３）によって撮影された映像から画像を取得する画像取得手段（３）と、座標変換手段（４）と、画像合成手段（７）と、を備える。
画像合成装置（１）を適用する車両の種類は特に限定されず、例えば、自動車、列車、自転車、自走式ロボット、遠隔操作式のロボット等を挙げることができる。また、車両の走行方法としてタイヤや車輪の他、無限軌道等も含めることができる。

画像取得手段（３）は、後方カメラ（２１）、左側カメラ（２２）及び右側カメラ（２３）によって撮影された映像（ａ、ｂ、ｃ）をキャプチャして、それぞれ後方画像（ａ’）、左側画像（ｂ’）及び右側画像（ｃ’）を取得する手段である。
座標変換手段（４）は、後方画像（ａ’）、左側画像（ｂ’）及び右側画像（ｃ’）をそれぞれ所定の投影面（Ｑ）に投影した投影後方画像（ａ"）、投影左側画像（ｂ"）及び投影右側画像（ｃ"）に変換する手段である。
画像合成手段（７）は、投影後方画像（ａ"）、投影左側画像（ｂ"）及び投影右側画像（ｃ"）を合成することにより、１つの後方合成画像を作成する手段である。
後方合成画像は、別途設けられる表示手段（８）により表示装置に表示することができる。

後方カメラ（２１）、左側カメラ（２２）及び右側カメラ（２３）は、それぞれ車両（９１）の後方、左側後方及び右側後方における路面及び路上の映像を取得することができればよく、その種類や設置位置を問わない。例えば、図２及び３に示すように、後方カメラ（２１）は車両（９１）の後面の幅方向の中央に固定して設けられる。また、左側カメラ（２２）及び右側カメラ（２３）（以下、側方カメラと略す）は、車両（９１）の左側面及び右側面に固定して配設されている。具体的には、ドアミラー等の車両（９１）側方から突出する部位に配設することができる。
また、各カメラ（２１、２２、２３）は、図２に示すように、それぞれ撮影する範囲（９２ａ、９３ａ、９４ａ）の一部が、隣のカメラの撮影する範囲の一部と重複するように配設される。広範囲の後方合成画像を生成するためには、各カメラ（２１、２２、２３）には魚眼レンズ等が用いられることが好ましい。

図２は、車両に設けられている各カメラの位置及び撮影範囲を模式的に表している。後方カメラ（２１）は車両（９１）の後面部、側方カメラ（２２、２３）は車両（９１）のドアミラー部に設けられている。本例では、左側カメラ（２２）の撮影範囲（９３ａ）と右側カメラ（２３）の撮影範囲（９４ａ）とは、車両後方で重なるようにされている。しかし、左右の側方カメラのみを使用する場合には車両後方に死角が生じるため、車両の後方は後方カメラ（２１）の撮影範囲（９２ａ）によってカバーされている。尚、３つのカメラ（２１、２２、２３）によって車両の後方及び左右後方がカバーされればよく、左側カメラ（２２）の撮影範囲（９３ａ）と右側カメラ（２３）の撮影範囲（９４ａ）とは重ならないようにされていてもよい。

画像合成装置（１）は自車両の後方、左側後方及び右側後方の路面及び路上の映像を合成するものであるが、「路面」は実際の道路の路面を意図するものではなく、車両が地面に接している平面をいう。各カメラ（２１、２２、２３）により撮影される映像に含まれる路面領域の割合（即ち各カメラの上下方向の向き）は適宜選択されればよい。後方合成画像における下方領域（路面領域に相当する。）の画像は、後方カメラ（２１）、左側カメラ（２２）及び右側カメラ（２３）によって得られる各画像（ａ、ｂ、ｃ）から抽出するように構成することができる。また、後方合成画像における下方領域の画像は、主として後方カメラ（２１）によって得られる画像（ａ）から抽出するように構成されてもよい。

画像取得手段（３）は、各カメラ（２１、２２、２３）により撮影された映像から、それぞれの画像（ａ，ｂ，ｃ）を取得する（図４参照）。
レンズによって生じる画像の歪の補正は、その後適宜の段階で行うことができる。例えば、画像取得手段（３）により、画像（ａ，ｂ，ｃ）を球面画像（ａ’、ｂ’、ｃ’）に変換するように構成することができる。また、座標変換手段（４）により、各投影画像（ａ"、ｂ"、ｃ"）への変換と合わせて歪を補正するようにすることができる。

座標変換手段（４）は、後方画像（ａ）、左側画像（ｂ）及び右側画像（ｃ）を、それぞれ３次元座標空間における後方カメラ（２１）、側方カメラ（２２、２３）の位置から所定の投影面（Ｑ）に投影するように座標変換を行う。
基準となる３次元座標系は任意に設定することができるが、以下の説明では、車両（９１）の左右方向をＸ軸、高さ方向をＹ軸、前後方向をＺ軸とする３次元直交座標（Ｘ，Ｙ，Ｚ）とする（図２、３を参照）。また、３次元座標の原点も任意に設定することができるが、以下の説明では、原点（０，０，０）を後方カメラ（２１）の位置とする。
この３次元直交座標において、車両（９１）の後方に鉛直方向に鉛直投影面（６３）、及び鉛直投影面（６３）より手前（車両９１側）の地面に対応する地面投影面（６２）を設定する。上記所定の投影面（Ｑ）は、鉛直投影面（６３）及び地面投影面（６２）からなる（図２、３を参照）。

座標変換手段（４）は、後方画像（ａ）、左側画像（ｂ）及び右側画像（ｃ）を、それぞれ前記３次元座標空間における後方カメラ（２１）、各側方カメラ（２２、２３）の位置から各投影面（６２、６３）に投影するように座標変換を行う（図５〜図９を参照。）。それにより、投影後方画像（ａ"）、投影左側画像（ｂ"）及び投影右側画像（ｃ"）を生成する。この座標変換は、投影と同時にカメラによる画像の歪みを補正するように構成することができる。また、投影と同時に画像の左右反転を行うように構成することができる。
各画像（ａ、ｂ、ｃ）を各投影面（６２、６３）に投影する具体的な手段は任意に選択することができ、例えば、予め座標変換の計算を行い、画像の各画素と投影面の各画素の対応表となるルックアップテーブル（４１）を参照することにより、画像変換を行うことができる。また、ルックアップテーブル（４１）は、座標変換計算、及びカメラによる画像の歪み補正計算が含まれた画像の各画素と投影面の各画素の対応表であってもよい。更に、ルックアップテーブル（４１）は、座標変換計算、カメラによる画像の歪み補正計算、及び画像の左右反転計算が含まれた画像の各画素と投影面の各画素の対応表であってもよい。

座標変換手段（４）は、３次元座標空間において座標変換を行う３つの手段（第１手段、第２手段及び第３手段）を含んで構成することができる。第１手段は、左側画像（ｂ）及び右側画像（ｃ）を、それぞれ左側カメラ（２２）及び右側カメラ（２３）の位置を基準として鉛直投影面（６３）及び地面投影面（６２）に投影するように構成されている。第２手段は、地面投影面（６２）に対して上方となる後方画像（ａ）を鉛直投影面（６３）に投影する。第３手段は、地面投影面６２よりも下方となる後方画像（ａ）を補正して地面投影面（６２）に投影するように構成されている。

図５及び図６は、後方カメラ（２１）の位置からの鉛直投影面（６３）への投影、並びに左側カメラ（２２）及び右側カメラ（２３）の位置からの鉛直投影面（６３）及び地面投影面（６２）への投影を説明するための斜視図及び側面図である。
第１手段は、座標変換により、左側画像（ｂ）中又は右側画像（ｃ）中の任意の点の鉛直投影面（６３）への投影点（Ｕ）が地面投影面（６２）より上方となる場合は、該投影点（Ｕ）を鉛直投影面（６３）上の投影点（Ｐ２、Ｐ６）とするように座標変換を行う。また、第１手段は、上記投影点（Ｕ）が地面投影面（６２）より下方となる場合には、側方カメラ（２２、２３）と投影点（Ｕ）とを結ぶ線分（Ｌ４、Ｌ７）が地面投影面（６２）と交わる点（Ｐ４、Ｐ７）を地面投影面（６２）上の投影点とするように座標変換を行う。
第２手段は、後方画像（ａ）中の任意の点の鉛直投影面（６３）への投影点（Ｕ）が地面投影面（６２）より上方となる画像領域上の点を、鉛直投影面（６３）上の投影点（Ｐ１）に投影するように座標変換を行う。

図７は、後方カメラの位置からの地面投影面への投影を説明するための斜視図であり、図８及び９はその側面図及び平面図である。
前記第３手段は、後方画像（ａ）中の任意の点の鉛直投影面（６３）への投影点（Ｕ）が地面投影面（６２）より下方となる画像領域を、補正して地面投影面（６２）に投影するように構成されている。具体的には、後方カメラ（２１）の位置から後方画像（ａ）の鉛直投影面（６３）上に投影される点を鉛直投影点（Ｕ）とし、その鉛直投影点（Ｕ）に対応して地面投影面（６２）へ投影する点を地面投影点（Ｐ１、Ｐ５）とする。そして、後方カメラ（２１）の位置から鉛直投影点（Ｕ）を見た方向（前記３次元座標空間における方向）において、左側カメラ（２２）又は右側カメラ（２３）の位置と鉛直投影点（Ｕ）とを結ぶ線分（Ｌ２、Ｌ６）が地面投影面（６２）と交わる点（Ｐ２、Ｐ６）のＺ軸の座標となる位置が地面投影点（Ｐ１ｂ、Ｐ５ｂ）となるように補正する。
前記補正は、後方カメラ（２１）の位置から地面投影点（Ｐ１、Ｐ５）までのＺ軸方向の距離（Ｚ_Ｐ１、Ｚ_Ｐ５）に対する、後方カメラ（２１）の位置から地面投影点（Ｐ２、Ｐ６）までのＺ軸方向の距離（Ｚ_Ｐ２、Ｚ_Ｐ６）の比率（Ｒ２＝Ｚ_Ｐ２／Ｚ_Ｐ１、Ｒ６＝Ｚ_Ｐ６／Ｚ_Ｐ５）を求め、その比率を後方カメラ（２１）の位置から鉛直投影点（Ｕ）方向へのベクトル（Ｐ１、Ｐ５）に掛けることで、Ｚ軸の補正が行われた点（Ｐ１ａ＝Ｒ２×Ｐ１、Ｐ５ａ＝Ｒ６×Ｐ５）を求める。そして、Ｚ軸の補正が行われた点（Ｐ１ａ、Ｐ５ａ）のＹ軸を地面投影面（６２）の位置に補正を行うことで補正した地面投影点（Ｐ１ｂ、Ｐ５ｂ）を求めることができる。
尚、地面投影点（Ｐ１ｂ、Ｐ５ｂ）への補正は、左側カメラ（２２）及び右側カメラ（２３）のどちらの位置を基準としてもよく、通常、鉛直投影点（Ｕ）がＸ軸において近いカメラ（２２、２３）を用いることができる。

後方画像（ａ）、左側画像（ｂ）及び右側画像（ｃ）を、後方カメラ（２１）、側方カメラ（２２、２３）の配設位置の座標（（０，０，０）、（ＳＬｘ，ＳＬｙ，ＳＬｚ）、（ＳＲｘ，ＳＲｙ，ＳＲｚ））から投影することにより、カメラ（２１、２２、２３）間の位置や向きが異なっていても画像（ａ、ｂ、ｃ）間の縮尺や傾き等のずれが少ない鉛直投影面（６３）及び地面投影面（６２）上の投影後方画像（ａ"）、投影左側画像（ｂ"）及び投影右側画像（ｃ"）が得られる。

座標変換手段（４）は、投影後方画像（ａ"）、投影左側画像（ｂ"）及び投影右側画像（ｃ"）における上方領域を、鉛直投影面（６３）への投影画像から生成し、下方領域を地面投影面（６２）への投影画像から生成するようにすることができる。このようにすれば、その後、各投影画像（ａ"、ｂ"、ｃ"）を合成することにより生成される後方合成画像において、上方領域は鉛直投影面（６３）へ投影した画像に相当し、下方領域は地面投影面（６２）へ投影した画像に相当することとなる。

画像合成手段（７）は、座標変換手段（４）により投影面（Ｑ）に投影された投影後方画像（ａ"）、投影左側画像（ｂ"）及び投影右側画像（ｃ"）を合成することにより、１つの後方合成画像を作成するように構成されている。
具体的には、投影後方画像（ａ"）を中央（ｔ）に配し、その左右（ｒ）に投影左側画像（ｂ"）及び投影右側画像（ｃ"）を配する。各投影画像（ａ"、ｂ"、ｃ"）から合成に用いる範囲は、任意に設定することができる。また、後方合成画像において各投影画像（ａ"、ｂ"、ｃ"）が占める比率も、任意に設定することができる。

画像合成手段（７）は、それぞれ遷移領域（ｂ１、ｂ２）を挟んで、投影後方画像（ａ"）、投影左側画像（ｂ"）及び投影右側画像（ｃ"）を合成した後方合成画像を生成するようにすることができる（図１０〜図１３を参照）。

隣り合う画像の境目となる遷移領域は、境目部分の違和感をなくすように差異を低減する処理を施すことができる。例えば、境目を含む一定幅（ｂ１、ｂ２）において（図１０、図１３を参照）、所定の混合比率で各画像を混合することを挙げることができる。また、所定の混合比率は、一様の混合比率であってもよいし、漸次変化させてもよい。
漸次変化の例として投影後方画像（ａ"）側から、投影左側画像（ｂ"）及び投影右側画像（ｃ"）側までの距離に正比例して混合比率を変化させる方法を挙げることができる。また、余弦関数等の関数による非直線の混合比率の変化をさせてもよい。

遷移領域（ｂ１、ｂ２）の地面投影面（６２）に対応する領域においては（図１１〜図１３を参照）、後方カメラ（２１）、側方カメラ（２２、２３）の後方画像（ａ）、左側画像（ｂ）及び右側画像（ｃ）を、座標変換手段（４）により変換すると、同じ地面の位置の画素が異なる地面投影面（６２）上の位置（Ｐ１、Ｐ５、及びＰ２、Ｐ６を参照）に投影された各投影画像（ａ"、ｂ"、ｃ"）となる（図１１〜図１３を参照。）。そして、各投影画像（ａ"、ｂ"、ｃ"）を画像合成手段（７）により合成すると、遷移領域の部分が異なる地面の位置の画素が重なった合成画像となるため、視認性が低下する。
そこで、座標変換手段（４）は、鉛直投影面（６３）を地面下に延長した投影面（６４）上の投影点（Ｕ）及び後方カメラ（２１）を結ぶ線分（Ｌ１、Ｌ５）と、前記投影点（Ｕ）及び側方カメラ（２２、２３）を結ぶ線分（Ｌ２、Ｌ６）を設定し、各線分（Ｌ１、Ｌ５、Ｌ２、Ｌ６）が地面投影面（６２）と交わる点（Ｐ１、Ｐ５、Ｐ２、Ｐ６）を求め、後方カメラ（２１）の点（Ｐ１、Ｐ５）を補正した点（Ｐ１ｂ、Ｐ５ｂ）を求め、補正した点（Ｐ１ｂ、Ｐ５ｂ）と側方カメラ（２２、２３）の点（Ｐ２、Ｐ６）とを結ぶ線分（Ｌ３、Ｌ７）上の点（Ｕ’）を地面投影面（６２）上の投影点とするように変換することができる。このように、後方画像（ａ）及び左側画像（ｂ）の投影点、並びに後方画像（ａ）及び右側画像（ｃ）の投影点を所定の点（Ｕ’）に揃えることにより、各画像上の各路上物の位置がずれることなく重なって合成された合成画像を得ることができる。
また、線分（Ｌ３、Ｌ７）上の投影点（Ｕ’）のＸ軸方向の位置を鉛直投影面の横方向（図１０上のＷ方向）に対応して漸次変化させることによって、遷移領域（ｂ１、ｂ２）内の合成画像の違和感を抑制することができる。即ち、投影点（Ｕ’）が後方画像（ａ）の左又は右端側に近づくに従い、基点（Ｕ’）が後方カメラ（２１）の線分（Ｌ１、Ｌ５）側から側方カメラ（２２、２３）の線分（Ｌ２、Ｌ６）側に近づくように漸次変化させる。この変化は、前記混合比率と同様に変化させることができる。

後方合成画像において各投影画像（ａ"、ｂ"、ｃ"）を配分する形態は、限定されない。例えば、後方合成画像を横方向に適宜の比率で３分割し、それぞれ投影画像（ａ"、ｂ"、ｃ"）を配置することができる。
また、画像合成手段（７）は、後方合成画像を上下方向に適宜の比率で２分割し、その上方領域（７１）と下方領域（７２）とで各投影画像（ａ"、ｂ"、ｃ"）の配分形態を変更することができる。例えば、後方合成画像の上方領域（７１）には適宜の比率により各投影画像（ａ"、ｂ"、ｃ"）の上方領域を配し、後方合成画像の下方領域（７２）には、上方領域（７１）と画像が連続し、且つ中央の投影後方画像（ａ"）の領域が下方に向けて広がる台形状に配することができる（図１０を参照）。これにより、後方合成画像の下方領域（７２）においては、左右の投影画像（ｂ"、ｃ"）はそれぞれ下方に向けて狭まる台形状に配されることになる。

図１０に示すように、後方合成画像の下方領域（７２）において、投影後方画像（ａ"）を下方に向けて広がる台形状（７６）に配するときは、その上底が投影後方画像（ａ"）の上方領域（７１）の下辺と同じ長さであり、下底の長さは少なくとも車両（９１）の車幅以上に対応させることが好ましい。車幅以上とすることで車両後方の路上物の画像が境界を越えて変形しにくくなり、車両（９１）が後進するときの視認性が高まるからである。尚、後方合成画像の下方領域（７２）において、投影左側画像（ｂ"）及び投影右側画像（ｃ"）は、それぞれ投影後方画像（７６）の左右の残部分（７７、７８）に配される。
上記後方合成画像は、表示手段（８）により液晶ディスプレイ等の表示装置に表示するように出力される。

以上の画像取得手段（３）、座標変換手段（４）、画像合成手段（７）は、ハードウェア、ソフトウェアのいずれによって実現されてもよく、具体的な構成は問わない。例えば、図示しないＣＰＵ、メモリ（ＲＯＭ、ＲＡＭ等）、入出力回路等を備えるマイクロコントローラ（マイクロコンピュータ）を中心に、入出力インターフェース等周辺回路を備えることにより構成することができる。マイクロコントローラとして、画像処理に向いたプロセッサを使用することができる。また、プログラム可能な論理回路、ゲートアレーその他の論理回路を用いて構成されてもよい。

画像合成装置１における情報処理方法及び動作を、図１４に示すフローチャートに基づき説明する。本発明は、車両の後方、左側後方及び右側後方における路面及び路上の映像を合成する画像合成方法としても実現可能である。本画像合成方法は、車両９１の後方を撮影する後方カメラ２１、右側後方を撮影する左側カメラ２２、及び右側後方を撮影する左側カメラ２３によって撮影された映像から、それぞれ後方画像（ａ）、左側画像（ｂ）及び右側画像（ｃ）を取得する画像取得工程と、後方画像（ａ）、左側画像（ｂ）及び右側画像（ｃ）をそれぞれ所定の投影面に投影した投影後方画像（ａ"）、投影左側画像（ｂ"）及び投影右側画像（ｃ"）に変換する座標変換工程と、投影後方画像（ａ"）、投影左側画像（ｂ"）及び投影右側画像（ｃ"）を合成することにより後方合成画像を得る画像合成工程と、を備え、所定の投影面は、所定の位置を原点とする３次元座標空間において、車両９１の後方に鉛直方向に設定される鉛直投影面６３、及び鉛直投影面６３より車両９１側の地面に対応する地面投影面６２からなり、座標変換工程は、後方画像（ａ）、左側画像（ｂ）及び右側画像（ｃ）を、それぞれ３次元座標空間における後方カメラ２１、左側カメラ２２及び右側カメラ２３の位置から鉛直投影面６３及び地面投影面６２に投影することを特徴とする。
上記画像取得工程は主として画像取得手段３により行われる。また、上記座標変換工程は主として座標変換手段４により、上記画像合成工程は主として画像合成手段７により行われる。

まず、画像取得工程において、後方カメラ２１、側方カメラ２２及び２３によって撮影される映像をキャプチャすることによって、それぞれ画像（ａ、ｂ、ｃ）を取得する（ステップＳ１）。取得される各画像（ａ、ｂ、ｃ）は、例えば、図４に示すように魚眼レンズによる円形の画像となる。
画像取得工程において、各画像（ａ、ｂ、ｃ）をそれぞれ球面座標に変換して歪みを補正し、後方画像（ａ’）、左側画像（ｂ’）及び右側画像（ｃ’）を生成するようにしてもよい。

次に、座標変換工程において、後方画像（ａ）、左側画像（ｂ）及び右側画像（ｃ）が、それぞれ図２及び図３に示した投影面Ｑに投影した画像（ａ"、ｂ"、ｃ"）に変換される（ステップＳ２）。投影面Ｑは、３次元空間上の原点を基準として設定されており、鉛直投影面６３及び地面投影面６２から構成されている。また、後方モニタとして適した向きとなるよう、変換時に各画像の左右反転も同時に行われる。
各投影画像（ａ"、ｂ"、ｃ"）は、それぞれ３次元座標空間における後方カメラ２１、各側方カメラ２２、２３の位置から、鉛直投影面６３及び地面投影面６２に投影される画像である。

投影画像への座標変換においては、図５及び図６に示すように、鉛直投影面６３上の投影点Ｕが地面投影面６２より下に位置する場合が生じる。この場合には、座標変換工程において、左側カメラ２２と投影点Ｕとを結ぶ線分Ｌ４、及び右側カメラ２３と投影点Ｕとを結ぶ線分Ｌ７が地面投影面６２と交わる点の地面投影面６２上の座標Ｐ４、Ｐ７に変換する。
また、後方カメラ２１からの投影においては、図７〜９に示すように、投影点Ｕと結ぶ線分Ｌ１、Ｌ５が地面投影面６２と交わる点の地面投影面６２上の座標Ｐ１、Ｐ５を第３手段により補正した、地面投影面６２上の座標Ｐ１ｂ、Ｐ５ｂに変換する。

更に、遷移領域ｂ１、ｂ２において、鉛直投影面６３上の投影点Ｕが地面投影面６２より下に位置する場合は、図１１〜図１３に示すように、Ｌ３、Ｌ７上に、遷移領域ｂ１、ｂ２のＷ方向の位置に正比例するような点Ｕ’を地面投影面６２上の投影点とするように変換する。

次に、画像合成工程において、投影後方画像、投影左側画像及び投影右側画像（ａ"、ｂ"、ｃ"）を合成することにより後方合成画像を生成する（ステップＳ３）。画像の合成は、図１０に例示したように、各投影画像（ａ"、ｂ"、ｃ"）から合成に用いる所定の区画を切り出し、その境界部が所定の幅で重なるように配置することによって行う。各投影画像から切り出した画像の境界部（遷移領域ｂ１、ｂ２）は、隣り合う画像の混合比率を幅方向で漸次変化させて各画像を混合することにより、画像間の継ぎ目の不自然さを軽減する。
これによって、図１５に示すような後方合成画像が作成される。

後方合成画像の作成においては、その上下方向に適宜の比率で上方領域７１と下方領域７２に区分し、上方と下方とで各投影画像から切り出す割合を変えることができる。すなわち、図１０、１６に示したように、後方合成画像の下方領域７２においては、投影後方画像ａ"が下方に向けて広くなる台形状に切り出し、残る左右の領域に投影左側画像及び投影右側画像（ｂ"、ｃ"）から切り出した画像を配置することができる。図１５は、このような方法で作成した後方合成画像の例である。
後方合成画像は、別途設けられる表示装置に出力して表示するようにすることができる（ステップＳ４、表示工程）。

第３手段による補正を比較するために、第３手段による補正を行わずに投影を行った画像を図１７及び図１９に示す。
図１７は、Ｘ軸方向に並んだ図形（横断歩道の路面標示）が投影後方画像、投影左側画像及び投影右側画像にまたがって投影されている画像である。図１７に示すように、第３手段による補正がないと、図形（特に符号５１、５２に示す場所を参照）が遷移領域ｂ１、ｂ２でＺ軸方向にずれることがわかる。一方、第３手段による補正がある図１５においては上記ずれが解消されている。
図１８は、遷移領域ｂ２に車両の輪郭部分５３が投影されている画像である。また、図１９は第３手段による補正を行わず、地面上の距離に違和感を生じさせないように、共通の仮想視点からの投影変換を行った画像である。図１９に示すように、第３手段による補正がないと、車両の輪郭部分５４が遷移領域ｂ２で変形し、輪郭部分５３と異なる誤った形状となることがわかる。

尚、本発明においては、以上に示した実施形態に限られず、目的、用途に応じて本発明の範囲内で種々変更した態様とすることができる。

１；画像合成装置、２１；後方カメラ、２２；左側カメラ、２３；右側カメラ、３；画像取得手段、４；座標変換手段、６２；地面投影面、６３；鉛直投影面、６５；仮想視点、７；画像合成手段、８；表示手段、９１；車両。

Claims (10)

1. 車両の後方、左側後方及び右側後方における路面及び路上の映像を合成する画像合成装置であって、
   前記車両の後方を撮影する後方カメラ、左側後方を撮影する左側カメラ、及び右側後方を撮影する右側カメラによって撮影された映像から、それぞれ後方画像、左側画像及び右側画像を取得する画像取得手段と、
   前記後方画像、前記左側画像及び前記右側画像をそれぞれ所定の投影面に投影した投影後方画像、投影左側画像及び投影右側画像に変換する座標変換手段と、
   前記投影後方画像、前記投影左側画像及び前記投影右側画像を合成することにより後方合成画像を得る画像合成手段と、
   を備え、
   前記所定の投影面は、所定の位置を原点として前記車両の前後方向をＺ軸とする３次元座標空間において、前記車両の後方に鉛直方向に設定される鉛直投影面、及び前記鉛直投影面より前記車両側の地面に対応する地面投影面からなり、
   前記座標変換手段は、前記３次元座標空間において、前記左側画像及び前記右側画像を、それぞれ前記左側カメラ及び前記右側カメラの位置を基準として前記鉛直投影面及び前記地面投影面に投影する第１手段と、前記地面投影面に対して上方となる前記後方画像を前記鉛直投影面に投影する第２手段と、前記地面投影面よりも下方となる前記後方画像を補正して前記地面投影面に投影する第３手段とを含み、
   前記第３手段は、前記後方カメラの位置からの前記Ｚ軸方向の距離を、前記左側カメラ又は前記右側カメラからの前記Ｚ軸方向の距離を基準として補正して前記地面投影面に投影することを特徴とする画像合成装置。
2. 前記第３手段は、前記後方カメラの位置から前記後方画像のうちの任意の点が前記鉛直投影面へ投影される点を鉛直投影点とし、前記鉛直投影点に対応する前記地面投影面への投影点を地面投影点として、
   前記３次元座標空間において前記後方カメラの位置から前記鉛直投影点を見た方向であって、前記左側カメラ又は前記右側カメラの位置と前記鉛直投影点とを結ぶ線分が前記地面投影面と交わる点の前記Ｚ軸の座標となる位置を、前記地面投影点とするように補正する請求項１記載の画像合成装置。
3. 前記座標変換手段は、前記投影後方画像、前記投影左側画像及び前記投影右側画像における上方領域を前記鉛直投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する請求項１又は２に記載の画像合成装置。
4. 前記画像合成手段は、それぞれ遷移領域を挟んで前記投影後方画像、前記投影左側画像及び前記投影右側画像を合成した前記後方合成画像を生成する請求項１乃至３のいずれかに記載の画像合成装置。
5. 前記画像合成手段は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する請求項４記載の画像合成装置。
6. 車両の後方、左側後方及び右側後方における路面及び路上の映像を合成する画像合成方法であって、
   前記車両の後方を撮影する後方カメラ、左側後方を撮影する左側カメラ、及び右側後方を撮影する右側カメラによって撮影された映像から、それぞれ後方画像、左側画像及び右側画像を取得する画像取得工程と、
   前記後方画像、前記左側画像及び前記右側画像をそれぞれ所定の投影面に投影した投影後方画像、投影左側画像及び投影右側画像に変換する座標変換工程と、
   前記投影後方画像、前記投影左側画像及び前記投影右側画像を合成することにより後方合成画像を得る画像合成工程と、
   を備え、
   前記所定の投影面は、所定の位置を原点として前記車両の前後方向をＺ軸とする３次元座標空間において、前記車両の後方に鉛直方向に設定される鉛直投影面、及び前記鉛直投影面より前記車両側の地面に対応する地面投影面からなり、
   前記座標変換工程は、前記３次元座標空間において、前記左側画像及び前記右側画像を、それぞれ前記左側カメラ及び前記右側カメラの位置を基準として前記鉛直投影面及び前記地面投影面に投影する第１工程と、前記地面投影面に対して上方となる前記後方画像を前記鉛直投影面に投影する第２工程と、前記地面投影面よりも下方となる前記後方画像を補正して前記地面投影面に投影する第３工程とを含み、
   前記第３工程は、前記後方カメラの位置からの前記Ｚ軸方向の距離を、前記左側カメラ又は前記右側カメラからの前記Ｚ軸方向の距離を基準として補正して前記地面投影面に投影することを特徴とする画像合成方法。
7. 前記第３工程は、前記後方カメラの位置から前記後方画像のうちの任意の点が前記鉛直投影面へ投影される点を鉛直投影点とし、前記鉛直投影点に対応する前記地面投影面への投影点を地面投影点として、
   前記３次元座標空間において前記後方カメラの位置から前記鉛直投影点を見た方向であって、前記左側カメラ又は前記右側カメラの位置と前記鉛直投影点とを結ぶ線分が前記地面投影面と交わる点の前記Ｚ軸の座標となる位置を、前記地面投影点とするように補正する請求項６記載の画像合成方法。
8. 前記座標変換工程は、前記投影後方画像、前記投影左側画像及び前記投影右側画像における上方領域を前記鉛直投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する請求項６又は７に記載の画像合成方法。
9. 前記画像合成工程は、それぞれ遷移領域を挟んで前記投影後方画像、前記投影左側画像及び前記投影右側画像を合成した前記後方合成画像を生成する請求項６乃至８のいずれかに記載の画像合成方法。
10. 前記画像合成工程は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する請求項９に記載の画像合成方法。

Images