JP6311020B2 - 映像合成システムとそのための映像合成装置及び映像合成方法 - Google Patents

Description

本発明は、１つ以上のカメラによって撮影される映像を変形及び合成して表示装置に表示する映像合成装置、映像表示装置に関する。

車両運転時に運転者が自車の周辺を確認できるように、車両に設置された複数カメラで車両の周囲を撮影し、車内に映像表示するシステムは既に提案されており、かかる既知のシステムの内には、車両に設置された複数のカメラで撮影された映像を適切に変形して合成することにより、仮想的な視点から当該車両周囲を見た映像を表示する技術も含まれている。

このような映像表示システムにおいては、仮想の空間上に投影面を配置してカメラ映像をマッピングして、その空間内において仮想的な視点から見る映像を作成して表示する手法がある。この場合、一般的に、カメラで撮影した被写体と仮想投影面との間で、その形状に差異が発生すると、当該差異に応じて、変形合成される映像に歪みが見られてしまう。例えば、カメラで撮影する被写体が人又はガードレールのような立体物であり、仮想投影面が地面の高さと等しく地面と並行な平面である場合には、変形合成される映像のうち、当該立体物は引き伸ばされたような映像に歪んでしまい、これでは、利用者が状況を把握し難くなってしまう。かかる問題点に対しては、従来、変形して合成された映像の生成方法に関連し、種々の技術が開示されている。

例えば、以下の特許文献１には、車両の状態に応じて仮想投影面の形状と仮想視点の位置及び角度を変化させる技術が開示されている。

特開２００９−１７１５３７号公報

即ち、上述した特許文献１では、変化する車両の状態や車両周辺物に対して仮想投影面の形状を動的に変えることにより、運転シーンに併せて表示映像を変化させることについては開示されているが、しかしながら、特定の被写体に注目して表示したい場合には、当該被写体の歪み低減に対するための具体的な方策は開示されておらず、そのため、変形合成映像中で被写体が歪んで表示されてしまうという課題が残っていた。

そこで、本発明は、上述した従来技術における課題を解決するために達成されたものであり、特定の被写体に注目して表示したい場合にも、当該被写体の歪の低減を可能とし、もって、注目物体をより自然に表示する画像を作成することが可能な映像表示システムと、そのための映像合成装置及び映像合成方法を提供することをその目的とする。

上述した目的を達成するため、本発明によれば、その一例として、以下の請求項にも記載するように、まず、複数のカメラを有する撮像部と、前記撮像部の複数のカメラからの映像を入力して合成する映像合成装置と、前記映像合成装置により合成された映像を表示する映像表示部とを有する映像表示システムであって、前記映像合成装置は、前記撮像部からの映像を基に、注目物体を検出する検出部と、前記撮像部の複数のカメラが撮影した複数の映像を変形して合成する変形合成部と、少なくとも前記検出部と前記変形合成部の動作を制御する演算処理装置とを備えており、前記演算処理装置は、前記変形合成部により、前記検出部により検出された前記注目物体に関する情報に応じて決定される仮想投影面と、仮想視点と、合成方法とを用いて、前記複数のカメラで撮影した映像を、当該注目物体の歪を低減するように、変形して合成し、もって、前記映像表示部に表示させる映像表示システムが提供される。

また、上述した目的を達成するため、本発明によれば、複数のカメラからの映像を入力して合成し、合成した映像を映像表示部に表示する映像合成装置であって、前記撮像部からの映像を基に、注目物体を検出する検出部と、前記撮像部の複数のカメラが撮影した複数の映像を変形して合成する変形合成部と、少なくとも前記検出部と前記変形合成部の動作を制御する演算処理装置とを備えており、前記演算処理装置は、前記変形合成部により、前記検出部により検出された前記注目物体に関する情報に応じて決定される仮想投影面と、仮想視点と、合成方法とを用いて、前記複数のカメラで撮影した映像を、当該注目物体の歪を低減するように、変形して合成し、もって、前記映像表示部に表示させる映像表示映像合成装置が提供される。

更に、本発明によれば、やはり上述した目的を達成するため、複数のカメラからの映像を入力して合成し、合成した映像を映像表示部に表示する映像合成方法であって、検出部により検出された注目物体に関する情報に応じて決定される仮想投影面と、仮想視点と、合成方法とを用いて、複数のカメラで撮影した映像を、当該注目物体の歪を低減するように、変形して合成し、もって、前記映像表示部に表示させる映像表示映像合成方法が提供される。

上述した本発明によれば、注目物体をより自然に表示する画像を作成する映像表示システムを、更には、そのための映像合成装置及び映像合成方法を提供することが可能となるという優れた効果を発揮する。

本発明の一実施例になる映像合成装置と映像表示システムの構成の一例を示すブロック図である。 上記映像表示システムにおける車載カメラの設置例を示す左側面図、平面図、そして、車載カメラの画角及び撮影範囲の重複領域を示す図である。 上記映像表示システムにおいて、撮影カメラ映像の画素を仮想視点から見た画素に座標変換する処理を説明する図である。 上記映像表示システムにおいて、仮想投影面及び仮想視点を設定する第１の見取り図の左側面図及び平面図である。 上記図４（Ａ）及び（Ｂ）の撮影カメラの設定時に仮想視点から見た映像を示す図である。 上記映像表示システムにおいて、仮想投影面及び仮想視点を設定する第２の見取り図の左側面図及び平面図である。 上記図６（Ａ）及び（Ｂ）の撮影カメラの設定時に仮想視点から見た映像を示す図である。 上記図６（Ｂ）の条件における仮想視点の設定可能範囲を示す図である。 上記図６（Ｂ）の注目物体に対する別の仮想視点の設定を示す図である。 上記図９の設定時に仮想視点から見た映像を示す図である。 上記図６（Ｂ）及び図９の設定時での映像の合成方法の設定を説明する図である。 上記映像表示システムにおいて、注目物体の位置に応じて、仮想投影面と仮想視点の決定方法やカメラ映像の合成方法を決定する処理フロー図である。 カメラ映像の重複領域を角度情報で表した一例を示す図である。 上記図１３に示す角度に対する２つのカメラ映像のブレンド率の変化の一例を示す図である。 上記図１３に示す角度に対する２つのカメラ映像のブレンド率の変化の他の例を示す図である。 本発明の他の実施例になる映像合成装置と映像表示システムの構成（複数のモニタを有する）を示すブロック図である。 本発明の更に他の実施例になる映像合成装置と映像表示システムの構成（複数の照明を有する）を示すブロック図である。 本発明の他の実施例になる映像合成装置と映像表示システムの構成（複数のスピーカーを有する）を示すブロック図である。

以下、本発明になる実施例について、添付の図面を参照しながら詳細に説明する。

図１は、本実施例になる映像表示システムの全体構成の一例を示すブロック図である。図において、映像表示システムは、基本的には、映像合成装置１００、被写体を撮像するための複数（ｎ個）のカメラを備えた撮像部１１０、画像を表示するためのモニタ１２０とから構成される。なお、かかる構成において、撮像部１１０を構成する複数のカメラで撮影した映像は、映像合成装置１００において変形・合成され、その映像がモニタ１２０上に出力されることは、一般の映像表示システムと同様である。

ここでは、まず、撮像部１１０を構成する複数のカメラについて説明すると、本実施例では、図２に示すように、全４台のカメラ１１０−１〜１１０−４が、例えば、自動車３００の前後、及び、左右に設置されており、以下では、本発明になる映像表示システムを車両に適用した例について説明する。しかし、本発明はこれに限らず、複数の監視カメラの撮影画像を表示する他のシステムに対しても適用できる。また、図中の符号３１０は、地面を示している。

再び、図１に戻り、映像合成装置１００は、デコード部１０１、ＣＰＵ（Central Control Unit：中央演算処理装置）１０２、メモリ１０３、検出部１０４、変形合成部１０５、エンコード部１０６、バス１０７から構成される。以下、各部における処理について説明する。

デコード部１０１は、撮像部１１０の複数のカメラ１１０−１〜１１０−４から入力される映像信号を、量子データなど、画像の変形及び合成に必要な情報に変換する。

ＣＰＵ１０２は、装置全体の動作を制御しており、また、後述する検出部１０４により検出もしくは判定された注目物体の位置に基づき、画像変換処理に必要な仮想投影面の形状と仮想視点との合成方法を決定する。

メモリ１０３には、バス１０７に接続されている各部から、映像合成に必要な情報が書き込まれもしくは読み出される。なお、このメモリ１０３に格納される情報としては、その一例として、デコード部１０１から入力されて画像変換を施す前に一時的に保存される画像データや、検出部１０４により検出された注目物体の位置情報や、変形合成部１０５で変換されて一時的に保存される画像データなどが挙げられる。また、変形合成部１０５や検出部１０４はソフトウェアによって実現できる場合もある。この場合は図示しない記憶部に記憶されたプログラムをＣＰＵ１０２がメモリ１０３に読みだし、プログラムに従ってＣＰＵ１０２が演算を行うことで変形合成部１０５や検出部１０４としての機能を実現することが可能である。

検出部１０４は、撮像部１１０の各カメラ１１０−１〜１１０−４が撮影する映像全体のうち、注目して表示する対象の位置、もしくは、一定の範囲を検出もしくは判定する機能を持つ。なお、ここで、「注目物体」としては、例えば、歩行者、自車以外に走行する車両、ガードレール、建物のような立体物と共に、更には、例えば、交差点で右折する際の右前方や後退する際の後方など、走行上危険と思われる一定の範囲も含むものとする。

かかる注目物体の検出もしくは判定方法としては、例えば、上述した検出部１０４の他に、デコード部１０１を経由して入力されるカメラ映像から特徴量を検出し、当該検出部がカメラ位置との相対位置を検出する特徴量検出処理部を有していても良く、又は、１つ以上のソナーやレーザー距離計等により自車からの大まかな方向や距離を検出する距離計測部を併用するものでも良い。あるいは、ＧＰＳ（Global Positioning System）もしくはＩＴＳ（Intelligent Transport System）などの情報を取得する通信処理部を備え、当該通信処理部の取得情報よって当該検出部が自車と注目物体の相対位置を判定するものでも良い。さらに、車両の周囲に複数の物体が検出された場合は、ＣＡＮ（Controller Area Network：通信部）を介して得られる、車両の進行方向、車速、操舵角などの車両情報を取得するＣＡＮ情報取得部を備え、これらの情報から車両が移動する方向を推定し、当該方向にある物体を衝突の可能性が高い物体であると判定し、これを注目物体として検出部１０４が判定するものでも良い。さらには、車両の周囲に複数の物体が検出された場合は、車両に最も近い物体を注目物体として映像を生成してもよい。ここで、検出もしくは判定する情報としては、注目物体の自車もしくは各カメラの取り付け位置に対する平面図上の相対位置などの情報を用い、特に、注目物体の画像変換精度を向上するためには、立体物の高さや立体形状など、更なる詳細情報を用いても良い。これらの方法によって車両の周辺にある物体や、車両の進行に障害となる物体に注目して、ユーザに適切に提示することができる。上記の検出部１０４、特徴量検出処理部、距離計測部、通信処理部、ＣＡＮ情報取得部、等は注目物体に関する情報を取得するという点で共通し、これらの処理部の１つ以上の機能を備える１つの処理部（注目物体情報取得部）として映像合成装置１００に備えることも可能である。

なお、注目物体に関する情報を取得できる機器が映像合成装置１００とは別に車両に備えられている場合は、画像合成装置１００は当該機器と通信を行って注目物体に関する情報を取得するインターフェースを備えることで、検出部１０４が備えられなくても同等の機能を発現することができる。

変形合成部１０５は、上記撮像部１１０のカメラからデコード部１０１を経由して入力される各々の画像に対し、変形処理及び合成処理を施す。なお、この変形処理及び合成処理については、後に、図３を参照しながら説明する。この時、仮想的な投影面として３次元空間に生成したオブジェクト面に、撮像部１１０の各カメラ１１０−１〜１１０−４が撮影した画像を投影し、これを仮想的な視点から見た時の画像に変換し、更に、カメラｎ個分の画像を合成する。このように、各カメラ１１０−１〜１１０−４の画像を変形合成部１０５で変形すると、変形後の画像は、一定の重複領域を有することとなり、これらの重複領域に対して、後記するαブレンディングにより、ブレンド合成処理を行う。

エンコード部１０６は、上記の変形合成部１０５により変形及び合成された画像を、映像表示に必要な形式の情報に変換してモニタ１２０に出力する。

このようにして、上記映像合成装置１００は、２次元のカメラ画像から、擬似的な３次元空間を作り出すことができる。このとき、変形合成部１０５では、３次元空間上に仮想的に配置された投影面に画像を投影し、当該３次元空間上に仮想的に配置された視点から見た画像を演算することになる。なお、これは、画像を仮想的な３次元空間にマッピングし、仮想視点から見た映像として２次元画像を生成するものであるが、本発明はこれに限られず、変形合成部１０５が、３次元空間へのマッピングを、直接、施すものでも良く、又は、３次元空間へのマッピングと同等な処理を、２次元空間へのマッピングにおいて擬似的に施すものでも良い。

上記のメモリ１０３に書き込み、又は、読み出す情報としては、上述の他、例えば、車に搭載する各カメラ１１０−１〜１１０−４の３次元空間座標系での取付情報（例えば、座標情報、角度情報）、レンズの歪係数、焦点距離、又は、撮像センサの有効画素サイズ等の情報を含んでいてもよく、あるいは、上記変形合成部１０５において３次元空間のマッピングを２次元空間へのマッピングで擬似的に実現する際に必要な情報でも良い。また、レンズ歪係数に関しては、カメラ画像中心からの距離に応じた歪の度合いを示す係数や、レンズの入射角と被写体の長さの関係を示す情報などを含んでもよい。特に、本実施例においては、後述するように、カメラ１１０−１〜１１０−４に魚眼レンズを用いることがあり、当該魚眼レンズでは、その周辺部では中心部と比較して歪が大きいため、これを補正する際に前記歪係数が必要となる。これらの情報は、変形合成部１０５における画像の変形もしくは画像の合成に用いられる。

また、上記のメモリ１０３は、変形合成部１０５が用いる、仮想投影面、仮想視点、合成方法に関する情報をも有する。仮想視点の情報としては、座標情報（Ｘｖ、Ｙｖ、Ｚｖ）と、各軸に対する角度情報（αｖ、βｖ、γｖ）とを有する。また仮想投影面の情報としては、例えば、地面と平行で地面と同じ高さの平面と球体の組み合わせとして、球体の中心座標と球体の半径とを有する。なお、この情報は、更に複雑な形状のものや複数の形状の組み合わせでもよく、又は、一般的に知られる３次元オブジェクトの情報で用いられる（Ｘｔ、Ｙｔ、Ｚｔ）で記述される情報でも良い。なお、合成方法に関する情報としては、重複領域の合成方法として、後記するαブレンディングに関する情報を有する。

次に、上述した図３を用いて、本実施例における撮影カメラ画像中の画素を、仮想視点から見た画像の画素に座標変換する処理の一例について、以下に説明する。

図３では、実際の車載カメラ（ここでは、代表的に、符号１１０で示す）で撮影された画像２０１の画素を、カメラ１１０に対するカメラ座標系Ｘｒ、Ｙｒ、Ｚｒにおける点Ｐｒ（ｘｒ、ｙｒ、ｚｒ）と表している。なお、ここでは、カメラ座標系に関して、例えば、カメラ１１０に対する奥行方向をＺｒ、撮像した画像の水平方向をＸｒ、垂直方向をＹｒと表している。この点Ｐｒは、空間内で共通に用いられるＷｏｒｌｄ座標系であるＸw、Ｙw、Ｚwにおける点Ｐｗ（ｘｗ、ｙｗ、ｚｗ）に相当する。このＷｏｒｌｄ座標系での点Ｐｗを、ある仮想の位置に配置した仮想視点２１０から撮影した場合の画像２１１の画素は、仮想視点２１１に対するカメラ座標系Ｘv、Ｙv、Ｚvの点Ｐｖ（ｘｖ、ｙｖ、ｚｖ）に相当する。つまり、ある仮想の位置から見た画像を生成するために、次のような座標変換を行う。

実際のカメラ１１０に対するカメラ座標系の点ＰｒとＷｏｒｌｄ座標の点Ｐｗとの関係は、４×４の透視投影変換行列Ｍｒを用い、以下の（数１）により示される。

また、仮想視点２１０に対するカメラ座標系の点ＰｖとＷｏｒｌｄ座標系の点Ｐｗとの関係は、透視投影変換行列Ｍｖを用い、以下の（数２）により示される。

但し、Ｍｐ、Ｍｖは、以下の（数３）に示すように、３×３の回転行列Ｒと、３×１の平行移動行列Ｔを含んでいる。

上述した（数１）と（数２）を用いると、実カメラ座標系の点Ｐｒと仮想視点座標の点Ｐｖとの関係が、以下の（数４）で求められ、即ち、生成したい仮想視点の画素値を、実際のカメラで撮影した画素値から計算により求めることができる。

Ｗｏｒｌｄ座標系上でのカメラの設置位置と設置角度、そして、カメラの内部パラメータである焦点距離やセンサの有効画素サイズ等の情報を用い、ＭｖとＭｒの逆行列を掛け合わせた４×４の行列を算出する。即ち、これらの式を用いることにより、変形合成部１０５は、実際のカメラ１１０の画像を、ある位置に配置した仮想視点から見た画像へ変換する。

続いて、以下に述べる実施例においては、上述したように、４台の車載カメラ１１０−１〜１１０−４を用いた場合いついて記述するが、しかしながら、本発明はこれに限定されず、実カメラ１１０が１つだけであっても良い。例えば、当該カメラ１１０として魚眼レンズを使用した場合には、目的によっては、１つのカメラで必要な画角をカバーできる場合もある。そのため、以下の実施例は、カメラが１つである場合にも適用可能である。

ここで、再び、上述した図２に戻り、本実施例におけるカメラの設置の一例として、上記図１における撮像部１１０のカメラ１１０−１〜１１０−４を、車両３００に搭載した状態を示しており、より詳細には、図３（Ａ）は、車両の左側面図を、そして、図２（Ｂ）は、平面（上面）図を、それぞれ、示している。即ち、地面３１０上には車両３００があり、当該４台のカメラ１１０−１、１１０−２、１１０−３、１１０−４が、車両３００の前後及び左右に、それぞれ、所定の俯角を持って下方向を向くように設置されており、各カメラは、それぞれ、その撮影範囲において、隣接するカメラの撮影範囲との間で、一定の重複領域を持つような画角を持っている。

さらに、図２（Ｃ）には、上記各カメラ１１０−１、１１０−２、１１０−３、１１０−４の撮像範囲を図示する。図では、カメラ１１０−１、１１０−２、１１０−３、１１０−４の撮像範囲が、それぞれ、斜線領域３１１、３１２、３１３、３１４で示しており、各々が重複した領域３２１、３２２、３２３、３２４を持っていることが分かる。以降、図２（Ａ）〜（Ｂ）に示すようなカメラ設置条件に基づいて、本実施例について説明する。

まず、図４（Ａ）及び（Ｂ）、更には、図５を参照しながら、物体の歪みを考慮しない仮想投影面、仮想視点を設定した場合の変換画像における課題について説明する。

なお、上記の図４（Ａ）及び（Ｂ）は、本実施例における車両周辺に設定される仮想投影面及び仮想視点の例を示す見取り図である。上述した図２（Ａ）及び（Ｂ）に比較して、車両３００の左前方には、例えば、立木のような立体物である注目物体４０１がある。また、地面３１０と同じ高さで地面と平行な平面４１２と、注目物体４０１より遠い位置には、仮想的な球面４１１から構成される仮想投影面を配置しており、上記平面４１２と球面４１１とは、円４１３に沿って交差している。即ち、図にも示すように、車両３００の後方から、車体及び車両の前方を見下ろすような設置位置及び設置角度に、仮想視点を設定する。なお、球面４１１は厳密に球体である必要はなく、仮想投影面に投影された映像が自然に見えるように設計された任意の曲線の回転体や、その他の曲面であってもよい。

図５は、上記図４（Ａ）及び（Ｂ）で設定した仮想投影面４１１、４１２にカメラ１１０−１の映像を投影した状態（以下では仮想投影状態と称す）を、上記図４（Ａ）及び（Ｂ）で設定した仮想視点４１４から見た場合の変換画像である。なお、以下では、車両３００の左前方に写る注目物体４０１をカメラ１１０−１で写した画像の変換について述べるが、しかしながら、当該注目物体４０１の位置は、車両３００の周囲のどこにあっても良く、撮影するカメラも１１０−１に限定されず、他の１１０−２、１１０−３、１１０−４のいずれであってもよい。

カメラ１１０−１が撮影した映像は、上記図４（Ａ）及び（Ｂ）が示すような、仮想投影面である球面４１１と、そして、平面４１２上に投影される。即ち、カメラ１１０−１と注目物体４０１とを結ぶ直線の延長線と、仮想投影面との交点４１５に、注目物体４０１が投影される。

図５は、仮想視点から見た場合の画像であり、当該画像は、その画像中に、注目物体４０１、球面である仮想投影面４１１に投影した領域、平面である仮想投影面４１２に投影した領域、そして、球面と平面の投影面の境界４１３を含んでいる。かかる仮想視点から見た場合の画像において、平面の仮想投影面４１２に対しては、地面３１０などの平らなものは、平面の投影面と同じ位置にあるため、上記領域４１２上において、正常に、遠近感が生成された歪みのない画像を形成できるが、しかしながら、立木などの立体物である注目物体４０１は、平面投影面４１２の部分において面として投影されるため、その立体感が失われた歪んだ画像になってしまう。

なお、球面の仮想投影面４１１である領域に対しても同様であり、注目物体４０１は、位置の異なる（即ち、ズレた）球面投影面４１１上に投影されるため、仮想視点４１３から見た像は、斜めに倒れ込んだような、歪んだ画像となってしまう。

本発明は、上述した歪を解消するためになされたものであり、以下には、図６（Ａ）及び（Ｂ）、更には、図７を参照しながら、本実施例において、上述した歪み低減した変換画像の生成について説明する。

図６（Ａ）及び（Ｂ）は、本実施例における、車両３００の周辺に設定される仮想投影面及び仮想視点の一例を示す見取り図であり、これらの図においても、上記図３（Ａ）及び（Ｂ）と同様に、車両３００の左前方に立体物（立木）である注目物体４０１がある。なお、この設定では、仮想的な球面投影面４１１は、上記の図４（Ａ）及び（Ｂ）に示したそれよりも、より注目物体４０１に近い位置に配置されている。また、仮想視点４１４は、上記図４（Ａ）及び（Ｂ）のそれよりも低い場所で、右後方から車両３００の車体及びその左前方を見下ろすような設置位置及び設置角度に設定されている。

図７は、上記図６（Ａ）及び（Ｂ）で設定した仮想投影面４１１、４１２上にカメラ１１０−１の映像を投影し、上記図６（Ａ）及び（Ｂ）で設定した仮想視点４１４から見た場合の変換画像である。この場合には、図７からも明らかなように、注目物体４０１の像のうち、平面投影面４１２上に投影される面積は少なく、また、球面投影面４１１と注目物体４０１との位置の差（位置ズレ）が少なく、それ故、映像上の歪みは少ない。

また、実カメラ１１０−１と注目物体４０１とを結ぶ線を延長し、仮想投影面４１１と交わる点４１５について、当該交点４１５と実カメラ１１０−１とを結ぶ線と、当該交点４１５と仮想視点４１４とを結ぶ線との角度差が、所定の値以下となるよう、仮想視点４１４を定める。

結果として、図７からも明らかなように、上記図５に示した変換画像と比較すると、注目物体の像４０１の立体感が失われるような歪が低減されており、更には、斜めに倒れるような歪みも歪み少なく表示されることが分かる。

以上、上記図４〜図７に示したように、車両３００周囲との距離感や注目物体４０１の見え方は、仮想投影面４１１及び仮想視点４１４の設定により、大きく変わってしまう。つまり、立木等の注目物体４０１の像を歪み少なく見せるためには、仮想投影面４１１の３次元内での面を、当該注目物体４０１と近づける必要があり、また、仮想視点４１４と注目物体４０１とを結ぶ線は、実カメラ１１０−１と注目物体４０１とを結ぶ直線との間で、その角度差が小さくなるように設定する必要がある。

続いて、図８により、上述した観点から、上記図６Ｂにおける仮想視点４１４の決定方法の一例について以下に示す。

図にも示すように、まず、注目物体４０１上の点から実カメラ１１０−１へのベクトル８０１を求め、このベクトル８０１に対して所定の角度範囲８０２の内側（矢印８０３）において、当該仮想視点４１４を設定する。これにより、実カメラ１１０−１と注目物体４０１とを結ぶ直線と、仮想視点４１４と注目物体４０１とを結ぶ線は、所定の角度よりも小さくなり、合成映像の歪みを低減することができる。例として、図６Ｂにおける仮想視点４１４と注目物体４０１とを結ぶ線と図８におけるベクトル８０１とのなす角度（劣角）をΔθとし、注目物体４０１と点４１５の距離をＤとしたとき、仮想視点４１４と注目物体４０１を結ぶ線と仮想投影面４１１との交点から点４１５までの距離、すなわち、仮想視点４１４で合成映像を生成したときの注目物体４０１のズレ量を考える。簡略化のためこのズレ量はＤ×Δθで近似できるとし、合成映像中の許容ズレ量をＥとすると、Δθと取り得る範囲はΔθ＜Ｅ／Ｄとして得られ、このΔθの範囲内に仮想視点４１４を設定すれば、合成映像の歪みを許容範囲内に抑えることができる。

なお、注目物体４０１と点４１５の距離Ｄに応じて変形合成部１０５が生成する画像における１画素よりも歪みが小さくなるようなΔθとなる位置に仮想視点４１４を設定することで、表示上はベクトル８０１上の仮想視点から見た合成映像と同等の歪みで注目物体４０１が表示される画像を合成することができる。

また、許容ズレ量Ｅの値は、工場出荷時等に設定されたり、ユーザに設定させることができる。これをメモリ１０３や映像合成装置１００が備える図示しない記憶部に記憶させておくことで、実カメラ１１０−１と注目物体４０１との距離Ｄが変化した場合でも適切な位置に仮想視点４１４を設定することができる。

なお、上記の図６（Ｂ）に示した注目物体４０１のように、当該注目物体４０１が、複数カメラの画角が重複する領域内にある場合には、例えば、図９及び図１０に示すように、他のカメラ１１０−２の映像から画像変換するよう、仮想投影面４１１及び仮想視点４１４を決定することもできる。なお、この場合も、上記図６（Ａ）及び（Ｂ）と同様に、仮想投影面４１１が、注目物体４０１の表面との間の最小距離が所定の値以下になるように設定し、また、仮想視点４１４の位置及び角度については、上記図９の例では、左部カメラ１１０−２と注目物体４０１とを結ぶ線との角度差が小さくなるように設定すればよい注目物体４０１が重複領域にある場合に、仮想視点４１４の位置をカメラ１１０−１と注目物体４０１とを結ぶ線から求めるか、カメラ１１０−２と注目物体４０１とを結ぶ線から求めるかについては、カメラ１１０−１とカメラ１１０−２とで、注目物体４０１がより解像度高く撮像されている方を優先し、注目物体が結像する画素数に基づき選択する。ただし、これ以外に、これらカメラと注目物体との距離がより小さい方を選択しても良いし、車両の進行方向により近い方を選択しても良い。

上記図７と図１０は、それぞれ、前部カメラ１１０−１と左部カメラ１１０−２で撮影した画像を元に変換した画像の例を示しているが、装置内の上記変形合成部１０５（上記図１を参照）で各カメラからの画像をαブレンディング合成する際、何れの画像を採用するべきかについては、例えば、次に挙げるような条件で判断することができる。

例えば、車両が比較的低速で交差点で左折するような状況では、進行方向で衝突の可能性のある左方を広く映像表示したいという要求が推測され、その場合には、上記図６（Ｂ）に示したような仮想視点４１４を設定して、左方向を広く表示させる。又は、車両が比較的高速で直進しており、衝突の可能性の高い前方を広く映像表示する要求が推測される場合には、上記図９に示したような仮想視点４１４を設定して前方向を広く表示させる。

次に、図１１（Ａ）及び（Ｂ）には、上述した図６Ｂ及び図９で示した条件下における、ブレンド合成時の繋ぎ目の設定例を示す。なお、何れの場合においても、上記図２（Ｃ）に示した重複領域３２１のαブレンディング合成においては、注目物体４０１が写る部分が、各カメラ映像の繋ぎ目から外れるような設定を施すものとする。なお、図の例では、太い破線１１０１と１１０２で示した直線を合成時の繋ぎ目とし、この線を境に、各映像を区切っている。図１１（Ａ）では、図８を用いた前述の通り、合成映像における注目物体４０１の歪を小さくするため、仮想視点４１４は前部カメラ１１０−１と注目物体４０１とを結ぶ線から所定の角度となるよう設置されている。このとき、注目物体４０１の合成画像は前部カメラ１１０−１による撮影画像を用いることから、区切りの破線１１０１は注目物体４０１よりも左部カメラ１１０−２側に設定する。同様に、図１１（Ｂ）では、注目物体４０１の位置から、合成画像の歪を小さくするために仮想視点４１４を設置しており、合成画像は左部カメラ１１０−２による撮影画像を用いるよう、区切りの破線１１０２は注目物体よりも前部カメラ１１０−１側に設定する。すなわち、重複領域３２１のブレンド位置は、注目物体４０１の位置と、注目物体４０１を撮像するカメラの位置と、仮想視点４１４の位置との関係に基づき決定され、仮想視点４０１の位置が前部カメラ１１０−１と注目物体４０１とを結ぶ直線から所定の角度内となるように配置されている場合は前部カメラ１１０−１で撮像した注目物体４０１の映像を用いるようにブレンド位置を左部カメラ１１０−２側に設定し、仮想視点４０１の位置が左部カメラ１１０−２と注目物体４０１とを結ぶ直線から所定の角度内となるように配置されている場合は左部カメラ１１０−２で撮像した注目物体４０１の映像を用いるようにブレンド位置を前部カメラ１１０−１側に設定する。ここで設定する破線１１０１及び１１０２は、注目物体４０１の位置に関わらずカメラ１１０−１もしくはカメラ１１０−２の画角に応じて静的に決めても良いし、注目物体４０１の形状または大きさが既知であれば、注目物体の全景にかからないような位置に設定するものでも良い。なお、本発明はこれに限定されず、この線を境として、一定の範囲内で、α値を段階的に変化させても良く、又は、太破線１１０１及び線１１０２のように直線でなく、任意の曲線でこれを構成しても良い。例えば、注目物体４０１が重複領域３２１よりも大きく、ブレンド合成時の繋ぎ目の設定位置に依らず注目物体４０１上に繋ぎ目が含まれる場合には、これを検出し、必要に応じ、注目物体４０１上にブレンド合成時の繋ぎ目を置き、この繋ぎ目を境に、一定の範囲内で、α値を変化させるように合成を行っても良い。さらに、ＣＡＮ等によって車両の進行方向を知ることができる場合、例えば図１１（Ａ）の場合であっても車両が直進している場合はブレンド位置を前部カメラ１１０−１側に設定したり、図１１（Ｂ）の場合であっても車両が左折している場合はブレンド位置を左部カメラ１１０−２側に設定してもよい。これは、例えば、図１１（Ａ）で車両が直進している場合は注目物体４０１は相対的にみて車両の左後方に移動するためであり、ブレンド位置を１１０１に設定すると注目物体４０１を撮像するカメラを前部カメラ１１０−１から左部カメラ１１０−２に切り替える必要があるためである。したがって、初めから左部カメラ１１０−２で撮像された注目物体４０１を合成に用いておけばカメラの切り替えをする必要がなく、注目物体４０１が合成画像から消失する可能性を低減することができる。

なお、本実施例では、計算量を削減するため、単純な平面と球面で仮想投影面を表現している例について示したが、本発明はこれに限定されず、例えば、上記の図１に示した検出部１０４で検出される情報の精度に応じて特徴量による統計的なクラスタリング処理を行うことで、地面（道路）３１０と共に、建物、壁、ガードレール、空等を含め、それらの空間的な位置関係、及び、立体形状を考慮して、空間上にオブジェクトを配置し、そこに映像を合成しても良い。これによれば、周囲のより正確な３次元投影を形成することが可能となり、換言すれば、より立体形状の歪みの少ない自然な映像を生成することができることとなる。

続いて、図１２は、本実施例になる映像表示システム、特に、その映像合成装置１００のＣＰＵ１０２により実行される処理、即ち、注目物体に応じて仮想投影面の形状、仮想視点の設置位置及び設置角度、重複領域の合成方法を決定する動作の一例を示すフローチャート図であり、以下に、先頭にＳを付したステップ番号に従って、その詳細を説明する。

まず、ステップＳ１２００で処理フローが開始されると、Ｓ１２０１（画像認識部）では、検出部１０４において注目物体の位置を検出又は判定し、自車からの、又は、適当な基準点からの相対位置を取得する。なお、ここで取得する情報としては、平面図上の注目物体（例えば、上記の例では立木４０１）の位置、即ち、地面３１０上の位置を必要とし、併せて、前述したように、注目物体が立体物であるか否か、更には、その詳細な立体形状を取得しても良い。

次に、Ｓ１２０２では、取得した注目物体の位置より、物体を撮影しているカメラを特定する。このカメラの特定は、注目物体の位置、及び、カメラの設置位置、設置角度、画角等から求める。これらの条件より物体を撮影しているカメラが複数特定された場合には、この注目物体を撮影しているカメラが複数あり、注目物体が重複領域に存在すると判断する。ただし、これらの条件に代えて、例えば、画像認識の結果から注目物体を撮影している当該カメラを特定しても良く、又は、注目物体の車両との相対位置から、撮影カメラを一意に特定するような簡易なものであっても良い。複数のカメラが重複して注目物体を撮影しているかどうかについては、後述する判定Ｓ１２０７での判定条件に用いる。

続いて、Ｓ１２０３では、注目物体と撮影カメラのベクトルを求める。このベクトルは、平面図上の高さを考慮しない２次元のベクトルでも良く、又は、高さをも含めた３次元のベクトルでも良い。なお、このベクトルを求める際は、注目物体上のある１点を指定するのであっても、又は、注目物体上の複数の点を指定した複数のベクトルの集合であっても良い。

更に、Ｓ１２０４では、上記のＳ１２０３で求めたベクトルに基づき、上記図８に示したように、このベクトルと一定以内の角度差を持つ範囲で、仮想視点位置を決定する。このときの角度範囲は、Ｗｏｒｌｄ座標上の３軸それぞれで個別の値を持たせても良い。その後、Ｓ１２０５では、注目物体と自車の位置、もしくは、注目物体と基準点との距離に基づき、仮想投影面の形状を決定する。例えば、上述した図４（Ａ）〜図１１（Ｂ）に示したような平面と球面の仮想投影面であれば、注目物体と投影面との位置の差（位置ズレ）が小さくなるように、球体の中心座標及び半径を設定する。前述したように、注目物体の立体形状に合わせて複雑な投影面形状を持たせても良い。

次に、Ｓ１２０６では、上記Ｓ１２０２で特定した撮影カメラが１つか、又は、複数かを判定し、その結果に基づいて以後の処理を切り替える。

まず、上記Ｓ１２０６での判定の結果「位置が、カメラ映像の重複領域である」と判定された場合には、Ｓ１２０７において、注目物体の位置、及び、上記Ｓ１２０４とＳ１２０５で決定した仮想視点及び仮想投影面の条件に加え、更に、注目物体を撮影する複数のカメラのうちどのカメラ映像を用いるかを選定し、重複領域の合成方法を決定する。

他方、上記Ｓ１２０６での判定の結果「位置が、カメラ映像の重複領域でない」と判定された場合には、Ｓ１２０８において、注目物体の位置、及び、上記Ｓ１２０４とＳ１２０５で決定した仮想視点及び仮想投影面の条件により、重複領域の合成方法を決定する。

その後、上記したＳ１２０７又はＳ１２０８に続いて、Ｓ１２０９では、上述したＳ１２０８までに決定された仮想投影面、仮想視点、重複領域の合成方法に基づき、各カメラの画像を変形して合成し、上記図１のエンコード部１０６を経由して、モニタ１２０に、映像出力する。

更に、本実施例における重複領域の合成方法の一例について、図１３、図１４、図１５を参照しながら、より具体的に説明する。

まず、図１３においては、２本の太い実線で囲まれた重複領域３２１を例にし、当該重複領域を、図にθで示すような角度で記述し、θ＝0からθ＝θｍａｘの範囲内でのブレンド率を、例えば、図１４又は図１５に示す例のように設定する。

これらの設定のうち、図１４に示すブレンド率の特性は、単純であり、そのため、その演算負荷が比較的低いが、しかしながら、θがθ＿ｌとθ＿ｈにおいて、ブレンド率が急峻に変化し、そのため、映像の繋ぎ目の合成に違和感を持つ可能性を有する。

一方、図１５に示すブレンド率の特性は、上記図１４のそれと比較すると、複雑ではあるが、しかしながら、θの変化に対して連続的であり、そのため、より違和感の少ない合成映像を生成することが期待できる。なお、本発明では、ブレンド率の特性は、上述した図１４もしくは図１５に示す例に限定されるものではない。また、図中の符号１４０１及び１５０１は、カメラ１１０−１が撮影する画像のブレンド率を、１４０２及び１５０２は、カメラ１１０−２が撮影ずる画像のブレンド率をそれぞれ表す。また、図１４では、θがθ＿ｌとθ＿ｈの範囲内でブレンドを徐々に変化させており、この範囲内では、各映像の画素値を加重平均していることになる。

更に、その他の変形例としては、検出した注目物体を自然な像として表示させるような合成映像を生成するが、しかしながら、例えば、上記図１のシステム図において、モニタ１２０上には、注目物体を映す画像のみを表示するのではなく、通常状態の映像と並べて表示するように構成しても良い。例えば、図４（Ｂ）における仮想投影面及び仮想視点を定常状態の条件とし、図６（Ｂ）における仮想投影面及び仮想視点を注目物体４０１の表示のための条件として設定し、変形合成部１０５において、定常状態の映像、及び、注目物体のための映像をそれぞれ生成し、これらが表示画面の中で分割して配置されるよう合成し、エンコード部１０５を経由してモニタ１２０に出力する。なお、これにより、運転者は、車両周囲を広範囲に確認すると同時に、歩行者や障害物のような注目物体を歪みの少ない映像として把握することが可能となる。

更に、別の変形例としては、車両の周囲に複数の物体が検出された場合に、検出された注目物体４０１以外の物体（物体Ａと称す）についても歪みが少なくなるように仮想視点の位置を変化させてもよい。これは、注目物体４０１の歪みは仮想視点４１４と注目物体４０１とカメラ１１０とが成す角によって決定され、仮想視点４１４と注目物体４０１との距離は任意に設定することができるためである。具体的には、仮想視点４１４と注目物体４０１とを結ぶ直線を直線Ａとし、物体Ａと物体Ａを撮像するカメラとを結ぶ直線を直線Ｂとして、直線Ａと直線Ｂの最接近点付近かつ、直線Ａ上に仮想視点４１４を設定することにより、注目物体４０１について歪みの少ない映像であり、物体Ａについても比較的歪みが少ない映像を合成することができる。

また、３以上の物体が車両の周囲に検出された場合に、複数の物体から１つの物体を注目物体４０１を選択したものと同様の手法で全ての物体の優先度を決定し、１番目に優先度が高い注目物体４０１と２番目に優先度が高い物体Ａの歪みが少なくなるように上記の方法で仮想視点４１４の位置を決定してもよい。

また、３以上の物体が車両の周囲に検出された場合に、注目物体４０１以外の物体とその物体を撮像するカメラとを結ぶ直線を物体毎に仮想し、これらの直線同士の距離が最も小さくなる位置付近かつ、直線Ａ上に仮想視点４１４を設定してもよい。

上記のように仮想視点４１４の位置を設定することにより、注目物体４０１以外の物体についても歪みの少ない映像を合成することができ、使い勝手が向上する。

以上、本発明の一実施例について詳細に説明したが、本発明は、上述した実施例だけに限定されることなく、その他の実施例として、例えば、図１６に示すように、複数のエンコード部１６０６と複数のモニタ１６２０とを有し、もって、各々のモニタに選択的に映像を表示させても良い。この場合、モニタの設置位置や表示特性に応じて表示すべき注目物体を切り替えて、変形合成部１０５にてそれぞれのモニタに合わせて、仮想投影面、仮想視点、重複領域の合成方法のうち少なくとも１つ以上を設定し、変形して合成した後、モニタ１６２０それぞれに独立して映像を出力する。これにより、例えば、ナビ画面では定常状態の映像を表示させ、ＨＵＤ（Head Up Display）には運転手から見えない車両周囲の映像を表示させるなど、モニタの特徴に併せて適切な映像をより自然に表示することができる。

また、その他の実施例として、図１７に示すように、更に、複数の照明１７２１と、当該複数の照明の明滅を制御する複数の明滅制御部１７０７を有し、注目物体の位置を、映像と照明の明滅の両方で通知することも可能である。一例として、車室内の前後左右などに、それぞれが独立して明滅させることの可能な照明を設置し、例えば、車両の左後方に危険物があった場合には、モニタ１２０には、車両の左後方を注目した映像を表示し、同時に、車両の左後方付近の照明を明滅させる。これにより、運転手は、より直感的に、危険物を把握することが可能となろう。

更に他の実施例としては、図１８に示すように、複数のスピーカー１８２１と、当該複数のスピーカーの鳴動を制御する複数の鳴動制御部１８０７とを備え、もって、注目物体の位置を、映像と音の両方で通知する構成とすることもできる。一例として、車室内の前後左右などに独立して鳴動させることの可能なスピーカーを設置し、例えば、車両左後方に危険物があった場合には、モニタ１２０に車両の左後方の注目した映像を表示し、同時に、車両の左後方付近のスピーカーより警告音を出力する。これにより、運転手は、より直感的に危険物を把握することができる。

上述したように、本発明の実施形態は、車両に搭載するカメラの映像に対して映像変換処理を行って表示する映像表示システムであって、複数のカメラと、前記複数のカメラ、その他センサ、またはネットワークを介して取得した情報などにより前記車両周囲の注目物体を検出する検出部と、前記検出部によって検出された注目物体の位置情報に応じて決定される、仮想投影面の形状と、仮想視点と、合成方法とを用いて、前記複数のカメラで撮影した映像を変形及び合成する変形合成部と、前記変形合成部により変形及び合成された映像を表示する表示部とを備える。

また、本発明の一実施形態は、車両に搭載するカメラの映像に映像変換処理を行って映像変換処理後の映像を表示する映像表示システムであって、注目物体の位置情報に応じて決定される、仮想投影面の形状と、仮想視点と、合成方法とを用いて、前記変形合成部により前記複数のカメラで撮影した映像を変及び合成した映像を第１の合成映像とし、前記第１の合成映像とは別に、前記注目物体の位置情報が変わっても仮想視点が変化しない状態で前記複数のカメラで撮影した映像を変形及び合成した第２の合成映像を、前記表示部または前記表示部とは異なる第２の表示部に表示する。

また、本発明の一実施形態は、車両に搭載するカメラの映像に映像変換処理を行って映像変換処理後の映像を表示する映像表示システムであって、車室内に配置される１つ以上ある照明及び照明の明滅を制御する明滅制御部から構成され、前期検出部によって検出された注目物体の位置情報を照明の明滅する位置により通知する。

また、本発明の一実施形態は、車両に搭載するカメラの映像に映像変換処理を行って映像変換処理後の映像を表示する映像表示システムであって、車室内に配置される１つ以上あるスピーカー及びスピーカーの鳴動を制御する鳴動制御部から構成され、前期検出部によって検出された注目物体の位置情報をスピーカーの発音させる位置により通知する。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するためにシステム全体を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１００…映像合成装置、１０１…デコード部、１０２…ＣＰＵ（Central Control Unit：中央演算処理装置）、１０３…メモリ、１０４…検出部、１０５…変形合成部、１０６…エンコード部、１０７…バス、１１０…撮像部、１１０−１〜１１０−４…カメラ、１２０…モニタ、３００…自動車

Claims (10)

1. 複数のカメラから入力された映像を変形及び合成して映像表示部に出力する映像合成装置であって、
   注目物体に関する位置情報を取得する注目物体情報取得部と、
   前記複数のカメラが撮影した複数の映像を変形及び合成する変形合成部とを備え、
   前記変形合成部は、前記複数のカメラで撮影された各映像が仮想投影面に投影された仮想投影状態を、前記注目物体に関する位置情報に応じて設定した仮想視点から見た映像に変形して合成し、かつ
   前記変形合成部は、前記仮想視点と前記注目物体とを結ぶ直線と、前記複数のカメラのうち前記注目物体を撮像したカメラと前記注目物体とを結ぶ直線とが成す角が所定の角度よりも小さくなる位置に前記仮想視点を設定することを特徴とする映像合成装置。
2. 請求項２に記載した映像合成装置において、
   前記所定の角度は、前記注目物体を撮像したカメラと前記注目物体との距離と、前記注目物体が前記仮想投影面に投影される投影位置と前記注目物体の位置とのズレ量とにより前記合成画像中の前記注目物体の映像の歪みが最小となるよう決定されることを特徴とする映像合成装置。
3. 請求項２に記載した映像合成装置において、
   前記仮想投影面は、地面と同じ高さで地面に平行な平面と前記注目物体より遠い位置に配置された球面とで構成され、
   前記変形合成部は、前記注目物体を撮影したカメラから見て前記注目物体の位置から所定の距離以内に前記仮想投影面の前記球面が配置されるように、前記球面の中心位置と前記球面の半径のうち少なくとも１つを設定することを特徴とする映像合成装置。
4. 請求項２に記載した映像合成装置において、
   前記変形合成部は、前記注目物体に関する位置情報に応じて決定したブレンド位置で前記複数の映像を切り替えて前記仮想投影面に投影した仮想投影状態を前記仮想視点から見た映像に変形して得られる映像をブレンドすることで合成することを特徴とする映像合成装置。
5. 請求項６に記載した映像合成装置において、
   前記変形合成部は、前記注目物体が隣り合う２つのカメラで重複して撮影される領域に存在する場合に、前記注目物体とブレンド位置が重ならないように前記ブレンド位置を設定して前記２つのカメラで撮影される映像を変形して得られる映像をブレンドすることで合成することを特徴とする映像合成装置。
6. 請求項２に記載した映像合成装置において、
   前記注目物体は、前記映像合成装置が備えられる車両の速度に係る情報、操舵角に係る情報、もしくは、進行方向に係る情報により推定される、前記車両と衝突の可能性のある方向に存在する物体であることを特徴とする映像合成装置。
7. 複数のカメラから入力された映像を変形及び合成して映像表示部に出力する映像合成方法であって、
   注目物体に関する位置情報を取得する注目物体情報取得ステップと、
   前記複数のカメラが撮影した複数の映像を変形及び合成する変形合成ステップと、を有し、
   前記変形合成ステップにおいて、前記複数のカメラで撮影された各映像が仮想投影面に投影された仮想投影状態を、前記注目物体に関する位置情報に応じて設定した仮想視点から見た映像に変形して合成し、かつ
   前記変形合成ステップにおいて、前記仮想視点と前記注目物体とを結ぶ直線と、前記複数のカメラのうち前記注目物体を撮像したカメラと前記注目物体とを結ぶ直線とが成す角が所定の角度よりも小さくなる位置に前記仮想視点を設定することを特徴とする映像合成方法。
8. 請求項１０に記載した映像合成方法において、
   前記所定の角度は、前記注目物体を撮像したカメラと前記注目物体との距離と、前記注目物体が前記仮想投影面に投影される投影位置と前記注目物体の位置とのズレ量とにより前記合成画像中の前記注目物体の映像の歪みが最小となるよう決定されることを特徴とする映像合成方法。
9. 請求項１０に記載した映像合成方法において、
   前記仮想投影面は、地面と同じ高さで地面に平行な平面と前記注目物体より遠い位置に配置された球面とで構成され、
   前記変形合成ステップにおいて、前記注目物体を撮影したカメラから見て前記注目物体の位置から所定の距離以内に前記仮想投影面の前記球面が配置されるように、前記球面の中心位置と前記球面の半径のうち少なくとも１つを設定することを特徴とする映像合成方法。
10. 請求項１０に記載した映像合成方法において、
    前記変形合成ステップにおいて、前記注目物体に関する位置情報に応じて決定したブレンド位置で前記複数の映像を切り替えて前記仮想投影面に投影した仮想投影状態を前記仮想視点から見た映像に変形して得られる映像をブレンドすることで合成することを特徴とする映像合成方法。

Images