JP5231331B2 - 映像合成方法、映像合成システム - Google Patents

Description

本発明は、背景にブルーバックなどの特別な背景を使用することなく撮影した映像から、合成用素材のみを切り出して合成用映像を生成する技術に関する。

従来、映画などの映像作品の制作において、合成技術は欠かすことのできないものとなっている。合成用に用いる映像は、ブルーバック合成技術を用いて撮影されることが多い。

ブルーバック合成とは、合成に用いる映像を撮影する際に、青い布などの背景（以下、ブルーバックとする）を用いる技術である。撮影された映像に対して、ブルーバック部分を透明として扱う映像特殊処理を適用して合成用映像を生成し、そこに別の背景映像を合成する。例えば人物と背景を合成する場合は、ブルーバックの前で、合成用素材となる人物を撮影し、撮影した映像のブルーバックの部分に対して、別に用意した背景映像を合成する（例えば、特許文献１または２参照）。

特開平１０−０４２３０７号公報 特開２００７−１４２７２６号公報

このブルーバック合成は、ブルーバックを使って撮影された合成用映像を用いる。そのためブルーバック合成には、仮背景となるブルーバックを用意する必要がある。しかし、ブルーバックは、一部の撮影スタジオにしか用意されていない上、撮影スタジオやブルーバックの使用、準備などに多くの費用と手間がかかるという問題があった。

また、撮影スタジオが限られているため、撮り直し等により、急遽、再撮影が必要となった場合、撮影スタジオの確保が難しいという問題もあった。さらに、撮影可能範囲が撮影スタジオやブルーバックの大きさに限られてしまうため、カメラのパンおよびチルトを多用した動きのある映像を撮影するのが難しいという問題もあった。

また、撮影スタジオという人工光の下で撮影された映像と、太陽光の下で撮影された背景映像を合成しようとすると、光の微妙な違いで合成処理後の映像が不自然になってしまうこともあった。

なお、ブルーバックを使わずに合成用映像を生成する方法としては、通常の方法で撮影した映像から、デジタルコンピューター上で動作する画像加工ソフトウェアを用いて、手動で合成用素材を切り出すことも考えられる。しかし、手動では時間と人件費がかかる上、細かい部分を精密に切り出すことができず、微細なニュアンスが失われた不自然な合成用映像になってしまうという問題があった。

また、合成用素材を含む映像から、自動的に合成用素材の輪郭等を検出して、合成用素材を切りだすソフトウェアも考えられるが、動的に変化していく輪郭を検出し、切り出していくという工程において、情報処理が複雑かつ膨大になってしまうという問題があった。

本発明は、上記の問題に鑑みてなされたものであり、合成に用いる合成用映像を生成する際において、ブルーバックで撮影された映像を用いることなく、任意の背景で撮影された映像から合成用素材のみが抽出された合成用映像を得ることが可能な映像合成方法および映像合成システムを提供することを目的とする。

本発明は、パンおよびチルト可能に配置された背景用カメラによって撮影可能な多方向の背景を前記背景用カメラによって撮影した背景側映像と、前記背景用カメラと同位置にパンおよびチルト可能に配置された素材用カメラによって前記背景の下で合成用素材が含まれるように撮影した素材側映像と、を用意し、前記背景側映像の複数のフレームにおいて同一の背景位置を示す指標点の位置を比較することにより、前記背景側映像の各フレームの撮影時のパン角度およびチルト角度をフレームごとに算出する角度算出処理と、前記素材側映像の各フレームの撮影時のパン角度およびチルト角度に基づいて、前記素材側映像のフレームごとに前記背景側映像のフレーム群から比較用フレームを選択する背景選択処理と、選択した前記比較用フレームと前記素材側映像の各フレームを比較することにより、前記合成用素材が抽出された合成用映像を生成する背景比較処理と、を行うことを特徴とする、映像合成方法である。

本発明はまた、上記映像合成方法において、前記角度算出処理は、前記背景用カメラ位置を中心とする仮想球体を設定し、比較する２つのフレームのうち、一方の基準フレーム上の前記指標点を前記仮想球体の半径方向に向けて前記仮想球体の表面上に投射した基準投射指標点、および他方の対比フレーム上の前記指標点を前記仮想球体の半径方向に向けて前記仮想球体の表面上に投射した対比投射指標点を求め、前記基準投射指標点および前記対比投射指標点の位置を比較することにより、前記背景側映像の各フレームの撮影時のパン角度およびチルト角度を算出することを特徴とする。

本発明はまた、上記映像合成方法において、前記角度算出処理は、前記背景用カメラの画角および前記背景側映像のフレームの寸法に基づいて前記仮想球体の半径を設定することを特徴とする。

本発明はまた、上記映像合成方法において、前記角度算出処理は、前記仮想球体の中心を、前記背景用カメラのレンズの主点に設定し、前記仮想球体の半径を、前記背景用カメラのレンズの焦点距離と同一に設定することを特徴とする。

本発明はまた、上記映像合成方法において、前記指標点は、前記基準フレームの光学中心に対応する点であることを特徴とする。

本発明はまた、上記映像合成方法において、前記角度算出処理は、前記基準フレームを前記仮想球体の半径方向に向けて前記仮想球体の表面上に投射することで、基準投射フレームを生成し、前記対比フレームを前記仮想球体の半径方向に向けて前記仮想球体の表面上に投射することで、対比投射フレームを生成し、前記基準投射フレームおよび前記対比投射フレームについてパターンマッチングを行うことで、前記指標点以外の同一の背景位置を示す投射特定点を複数求め、前記基準投射フレーム上の前記投射特定点を基準投射特定点に設定すると共に、前記対比投射フレーム上の前記投射特定点を対比投射特定点に設定し、前記基準投射特定点および前記対比投射特定点の位置に基づいて、前記対比投射指標点の位置を算出することを特徴とする。

本発明はまた、上記映像合成方法において、前記角度算出処理は、前記基準投射特定点および前記基準投射指標点の相対的な位置関係に基づいて、前記対比投射指標点の位置を算出することを特徴とする。

本発明はまた、上記映像合成方法において、前記角度算出処理は、前記投射特定点として第１の投射特定点および第２の投射特定点を設定し、前記第１の投射特定点の前記基準投射特定点と前記基準投射指標点の間の第１の距離、および前記第２の投射特定点の前記基準投射特定点と前記基準投射指標点の間の第２の距離を求め、前記第１の投射特定点の前記対比投射特定点から前記第１の距離、且つ前記第２の投射特定点の前記対比投射特定点から前記第２の距離に位置する前記仮想球体の表面上の点を前記対比投射指標点とすることを特徴とする。

本発明はまた、上記映像合成方法において、前記角度算出処理は、前記背景側映像の各フレームの撮影時のロール角度を前記背景側映像のフレームごとに算出し、前記背景比較処理は、前記背景側映像の各フレームの撮影時のロール角度に基づく補正を行うことを特徴とする。

本発明はまた、上記映像合成方法において、前記角度算出処理は、所定の前記投射特定点の前記基準投射特定点と前記基準投射指標点を結ぶ直線と、所定の前記投射特定点の前記対比投射特定点と前記対比投射指標点を結ぶ直線とがなす角度に基づいて、前記背景側映像の各フレームの撮影時のロール角度を求め、前記背景比較処理は、前記背景側映像の各フレームの撮影時のロール角度に基づく補正を行うことを特徴とする。

本発明はまた、上記映像合成方法において、前記背景選択処理は、前記背景側映像のフレームと前記素材側映像のフレームにおいて同一の背景位置を示す選択用指標点の位置を比較することにより、前記素材側映像の各フレームの撮影時のパン角度およびチルト角度をフレームごとに算出することを特徴とする。

本発明はまた、上記映像合成方法において、前記背景選択処理は、前記素材側映像のフレームの撮影時のパン角度およびチルト角度と同一のパン角度およびチルト角度の比較用フレームを選択できない場合、前記素材側映像のフレームの撮影時のパン角度およびチルト角度に近いパン角度およびチルト角度の比較用フレームを複数選択することを特徴とする。

本発明はまた、上記映像合成方法において、前記背景選択処理は、前記素材側映像の各フレームの撮影時のロール角度を前記素材側映像のフレームごとに算出し、前記背景比較処理は、前記素材側映像の各フレームの撮影時のロール角度に基づく補正を行うことを特徴とする。

本発明はまた、上記映像合成方法において、前記背景比較処理は、比較する前記素材側映像のフレームと前記比較用フレームの撮影時のパン角度またはチルト角度が同一でない場合、前記素材側映像のフレームの撮影時のパン角度およびチルト角度と一致するように前記比較用フレームを修正した比較用修正フレームを生成し、前記比較用修正フレームと前記素材側映像のフレームを比較することを特徴とする。

本発明はまた、上記映像合成方法において、前記背景比較処理は、前記素材側映像のフレームの撮影時のロール角度と一致するように前記比較用フレームを修正した前記比較用修正フレームを生成することを特徴とする。

本発明はまた、上記映像合成方法において、前記背景比較処理は、前記比較用フレームの各画素を、仮想球体の半径方向に向けて前記素材側映像のフレームと同一平面上に投射することによって、前記比較用修正フレームを生成することを特徴とする。

本発明はまた、パンおよびチルト可能に配置された背景用カメラによって撮影可能な多方向の背景を前記背景用カメラによって撮影した背景側映像を記憶する背景側映像記憶手段と、前記背景用カメラと同位置にパンおよびチルト可能に配置された素材用カメラによって前記背景の下で合成用素材が含まれるように撮影した素材側映像を記憶する素材側映像記憶手段と、前記背景側映像の複数のフレームにおいて同一の背景位置を示す指標点の位置を比較することにより、前記背景側映像の各フレームの撮影時のパン角度およびチルト角度をフレームごとに算出する角度算出手段と、前記素材側映像の各フレームの撮影時のパン角度およびチルト角度に基づいて、前記素材側映像のフレームごとに前記背景側映像のフレーム群から比較用フレームを選択する背景選択手段と、選択した前記比較用フレームと前記素材側映像の各フレームを比較することにより、前記合成用素材が抽出された合成用映像を生成する背景比較手段と、を備えることを特徴とする、映像合成システムである。

本発明はまた、上記映像合成システムにおいて、前記角度算出手段は、前記背景側映像の各フレームの撮影時のロール角度を前記背景側映像のフレームごとに算出し、前記背景比較手段は、前記背景側映像の各フレームの撮影時のロール角度に基づく補正を行うことを特徴とする。

本発明はまた、上記映像合成システムにおいて、前記背景選択手段は、前記背景側映像のフレームと前記素材側映像のフレームにおいて同一の背景位置を示す選択用指標点の位置を比較することにより、前記素材側映像の各フレームの撮影時のパン角度およびチルト角度をフレームごとに算出することを特徴とする。

本発明はまた、上記映像合成システムにおいて、前記背景選択手段は、前記素材側映像の各フレームの撮影時のロール角度を前記素材側映像のフレームごとに算出し、前記背景比較手段は、前記素材側映像の各フレームの撮影時のロール角度に基づく補正を行うことを特徴とする。

本発明はまた、上記映像合成システムにおいて、前記背景比較手段は、比較する前記素材側映像のフレームと前記比較用フレームの撮影時のパン角度またはチルト角度が同一でない場合、前記素材側映像のフレームの撮影時のパン角度およびチルト角度と一致するように前記比較用フレームを修正した比較用修正フレームを生成し、前記比較用修正フレームと前記素材側映像のフレームを比較することを特徴とする。

本発明はまた、上記映像合成システムにおいて、前記背景比較手段は、前記素材側映像のフレームの撮影時のロール角度と一致するように前記比較用フレームを修正した前記比較用修正フレームを生成することを特徴とする。

本発明の映像合成方法または映像合成システムによれば、いかなる背景環境であっても、合成用映像を生成することができる。この結果、ブルーバック用の撮影スタジオの使用料の負担や、事前準備等の手間が軽減される。さらに、カメラをパンまたはチルトさせながら合成用素材を撮影し、背景に対する合成用素材の位置が大きく変化する場合であっても、合成用映像を効率的に生成することができる。

本発明の実施形態の映像合成方法の概念を示した図である。 本発明の実施形態の映像合成システムの概略構成図である。 コンピュータが備える内部構成を示した図である。 本発明の実施形態におけるパン角度θおよびチルト角度φを示した図である。 （ａ）および（ｂ）本発明の実施形態におけるロール角度ψを示した図である。 ビデオカメラによる撮影を模式的に示した図である。 ビデオカメラの回転を天球上に沿った背景の移動に置き換えて示した模式図である。 仮想球体上の投射点の求め方を示した図である。 （ａ）〜（ｃ）背景側映像のフレームの例を示した図である。 （ａ）および（ｂ）図９に示したフレーム上の各点を仮想球体上に投射した場合を示した図である。 （ａ）〜（ｃ）選択用三次元画像の例を示した概略図である。 合成用映像生成処理の手順を示したフローチャートである。 角度算出処理の手順を示したフローチャートである。 各角度θ、φ、ψを算出する具体的な方法を示した図である。 各角度θ、φ、ψを算出する具体的な方法を示した図である。 背景選択処理の手順を示したフローチャートである。 （ａ）および（ｂ）背景選択処理の具体的な方法を示した図である。 背景比較処理の手順を示したフローチャートである。 （ａ）および（ｂ）背景比較処理の具体的な方法を示した図である。 （ａ）および（ｂ）背景比較処理の具体的な方法を示した図である。

以下に、本発明の実施形態について図面を用いて説明する。なお、本発明はこれらの図面に限定されるものではないことは予め言及しておく。

＜基本思想＞
まず、本実施形態の全般に亘る基本思想について説明する。図１は、本実施形態の映像合成方法の概念を示した図である。

同図に示されるように、本実施形態では、まず、任意背景を撮影して生成した背景側映像１０を準備する。そして、同じ背景下で合成用素材（例えば、人物）２０が含まれるように撮影した素材側映像１２と、この合成用素材２０の背景として事後的に挿入する例えば梅２２およびつくし２４を撮影した挿入用背景映像１４を準備する。

次に、素材側映像１２の各フレームと（例えば、チューリップ２６が撮影された背景）と同じ背景である比較用フレーム１０ａを、背景側映像１０のフレーム群から素材側映像１２のフレームごとに選択し、抽出する（背景選択処理）。これにより、合成用素材２０が映っているかいないかのみ異なる二つの映像（フレーム）１２、１０ａが用意されたこととなる。そして、この素材側映像１２の各フレームおよび比較用フレーム１０ａを比較し、異なっている部分を抽出することで、合成用素材２０のみが切り取られた合成用映像１４を得る（背景比較処理）。この合成用映像１４に挿入用背景映像１６を合成することによって、例えば梅２２およびつくし２４を背景とした合成用素材（人物）２０の最終映像１８が完成する。

なお、これらの背景側映像１０および素材側映像１２は、同一の位置に配置されたカメラ（ビデオカメラ）をパンまたはチルトさせることによって撮影する。このように、カメラ位置を固定することによって、背景部分の映像を処理する場合に、カメラから一定の距離に存在する背景、すなわち任意の半径の天球上に存在する背景として扱うことが可能となる。背景側映像１０を撮影するカメラ、および素材側映像１２を撮影するカメラは、同一の位置に配置されるものであれば、同一のカメラまたは異なるカメラのいずれであってもよい。

＜映像合成システム＞
次に、本発明の実施形態に係る映像合成システムについて説明する。図２は、この映像合成システム１００の概略構成図である。

図２において、１０１は、ビデオカメラで撮影した背景側映像であり、１０２は、ビデオカメラで撮影した素材側映像である。１０４は、背景側映像１０１が記憶されるハードディスク（背景側映像保存手段）であり、１０５は、素材側映像１０２が記憶されるハードディスク（素材側映像保存手段）である。そして、１０６は、背景側映像１０１を構成するフレームであり、１０７は、背景側映像１０３を構成するフレームである。

また、１０８は、ＣＰＵ（中央演算装置）やメモリ、通信バス、複数の入出力インターフェース等を備えたコンピュータであり、１０９は、このコンピュータ１０８で実行されるプログラムが保存されているハードディスク（プログラム保存手段）である。１１０は、このコンピュータ１０８によって背景比較処理を行った後に生成される合成用フレーム（合成用素材のみが切り取られたフレーム）であり、１１１は、この合成用フレーム１１０を記憶したハードディスク（合成用映像保存手段）である。そして、１１２は、この合成用フレーム１１０によって構成される合成用映像である。

図３は、コンピュータ１０８が備える内部構成を示した図である。なお、この内部構成は、コンピュータ１０８のメモリ１２１に上記プログラムが一旦格納され、このプログラムがＣＰＵ（中央演算処理装置）１２０で実行されることで得られる各種機能も含んでいる。

コンピュータ１０８は、自身の全体を制御するＣＰＵ１２０と、ＲＡＭ等からなるメモリ１２１を備えていると共に、背景側映像保存手段１０４、素材側映像保存手段１０５、プログラム保存手段１０９、および合成用映像保存手段１１１にそれぞれ接続される入出力インターフェース（Ｉ／Ｏ）１２２、１２３、１２４、１２５を備えている。また、プログラムをＣＰＵ１２０で実行することで得られる機能構成として、角度算出手段１３０、背景側映像角度データベース生成手段１３２、選択用三次元画像生成手段１３４、背景選択手段１３６、および背景比較手段１３８を備えている。

＜角度算出手段＞
次に、角度算出手段１３０の機能について説明する。角度算出手段１３０は、後述する角度算出処理を実行し、背景側映像１０１を構成する各フレーム１０６の撮影時におけるパン角度θおよびチルト角度φを算出するものである。図４は、本実施形態におけるパン角度θおよびチルト角度φを示した図である。同図に示されるように、本実施形態では、撮影スタジオ内または屋外等の任意の位置に配置したビデオカメラ２００によって背景側映像の撮影を行う。

このビデオカメラ２００は、雲台３００の上に載置されており、パンおよびチルトさせることによって任意の撮影方向にビデオカメラ２００を向けることが可能となっている。なお、本実施形態では、垂直方向の軸を中心にビデオカメラ２００を回転させ、撮影方向を水平面内で変化させる動作を「パン」、水平方向の軸を中心にビデオカメラ２００を回転させ、撮影方向を垂直面内で変化させる動作を「チルト」と呼んでいる。各フレーム１０６の撮影時のパン角度θおよびチルト角度φを求めることにより、各フレーム１０６の撮影時の撮影方向を特定することができる。

ビデオカメラ２００を所定の位置に固定し、パンおよびチルトさせながら撮影を行う場合、ビデオカメラ２００と背景の距離が変化しないため、全ての背景がビデオカメラ２００を中心とする任意の半径の天球４００上（天球４００の表面上）にあるものと見なすことができる。従って、各フレーム１０６撮影時のパン角度θおよびチルト角度φを算出して撮影方向を特定することにより、背景側映像１０１の各フレーム１０６の撮影領域４０２が天球４００上のどこに位置しているかを特定することができる。

また、角度算出手段１３０は、背景側映像１０１を構成する各フレーム１０６の撮影時におけるロール角度ψを算出する。図５（ａ）および（ｂ）は、本実施形態におけるロール角度ψを示した図である。同図（ａ）に示されるように、ビデオカメラ２００を所定の角度にチルトさせた状態でパンさせた場合、ビデオカメラ２００は、背景に対して光学中心を軸にしてロール回転することとなる。従って、例えば同図（ａ）における撮影領域４０２ａ、４０２ｂ、４０２ｃを撮影したときにビデオカメラ２００に映し出される映像をそれぞれ５０２ａ、５０２ｂ、５０２ｃとした場合、これらの映像５０２ａ〜５０２ｃは、同図（ｂ）に示されるように、背景に対して円弧状に移動すると共に光学中心Ｏを中心として回転するように映し出されることとなる。角度算出手段１３０は、この光学中心０を中心とするロール回転の角度をロール角度ψとして算出する。

次に、本実施形態の角度算出手段１３０による、上述のパン角度θ、チルト角度φおよびロール角度ψの算出方法について説明する。まず、図６〜１０を用いて、各角度θ、φ、ψの算出方法の原理について説明する。

図６は、ビデオカメラ２００による撮影を模式的に示した図である。同図においては、ビデオカメラ２００が備えている複数のレンズを１つのレンズとみなした仮想レンズ２０２として示し、その中心を主点２０４としている。そして、この仮想レンズ２０２の焦点位置に、例えばＣＣＤ等からなる撮像素子２０６が配置され、仮想レンズ２０２を通過した光を受光するものとしている。

同図では、ビデオカメラ２００を主点２０４を中心に回転させてパンまたはチルトさせることにより、撮像素子２０６に映し出される映像が、撮影領域４０２ｄから撮影領域４０２ｅに変化した場合を示している。背景の一部である物体４０４は、主点２０４を中心とする天球４００上に制止しており、物体４０４から仮想レンズ２０２の主点２０４に入射する光の方向は、ビデオカメラ２００の位置が固定されているため一定となる。このため、撮像素子２０６が受光する物体４０４の写像５０４の位置は、ビデオカメラ２００の回転による撮像素子２０６の移動に応じて変化する。具体的にこの例では、撮像素子２００の端部側（図の左端部側）に向けて写像５０４の位置が変化する。

背景とビデオカメラ２００の位置関係は相対的なものであるため、ビデオカメラ２００の回転は、天球４００上に沿った背景の移動に置き換えることができる。図７は、ビデオカメラ２００の回転を天球４００上に沿った背景の移動に置き換えて示した模式図である。

同図に示されるように、ビデオカメラ２００の回転に伴って、物体４０４は撮影領域４０２内の天球４００上を移動する。そして、この物体４０４の移動に応じて、撮像素子２０６が受光する物体４０４の写像５０４の位置が変化することとなる。但し、撮像素子２０６上の写像５０４の移動は、物体４０４の球面上の移動を平面上の移動に変換したものとなっている。このため、写像５０４は、同一のビデオカメラ２００の回転に対し、撮像素子２０６上の位置に応じた異なる態様で移動することとなる。さらに、ビデオカメラ２００がロール回転する場合には、写像５０４の移動は、光学中心からの距離に比例した回転移動が加わったさらに複雑なものとなる。

そこで、本実施形態では、仮想レンズ２０２の主点２０４を中心とし、撮像素子２０６の光学中心Ｏに接する仮想球体６００を設定し、この仮想球体６００上（仮想球体６００の表面上）における写像５０４に対応する点（投射点）６０４の移動に基づいて、各角度θ、φ、ψを算出する。この仮想球体６００上の投射点６０４の移動は、ビデオカメラ２００をパンまたはチルトさせることによる天球４００上の物体４０４の相対移動に相似した移動（経路が天球４００と仮想球体６００の半径の比だけ縮小された移動）に、ロール回転による回転移動が加わったものとなる。

図８は、仮想球体６００上の投射点の求め方を示した図である。上述のように、仮想球体６００は、仮想レンズ２０２の主点２０４を中心とし、撮像素子２０６の光学中心Ｏに接する球体である。従って、仮想球体６００の半径は、仮想レンズ２０２の焦点距離と等しいとみなすことができる。また、ビデオカメラ２００の対角画角をα、撮像素子２０６の対角線の長さをＬとした場合、仮想球体６００の半径ｄは、例えば次の式によって求められる。

そして、本実施形態では、撮像素子２０６上（フレーム上）の各点（画素）を仮想球体６００の半径方向、すなわち仮想球体６００の中心である主点２０４に向けて仮想球体６００の表面上に投射した点を、撮像素子２０６上（フレーム上）の各点に対応する投射点とする。

例えば、同図において、撮像素子２０６上の点５０６ａの投射点は仮想球体６００上の点６０６ａであり、撮像素子２０６上の点５０６ｂの投射点は仮想球体６００上の点６０６ｂである。このように、撮像素子２０６上の点を仮想球体６００の半径方向に向けて仮想球体６００の表面上に投射した点を投射点とすることにより、例えば、天球４００上の点４０６ａの写像が点５０６ａである場合、点４０６ａ、主点２０４、および点５０６ａを結ぶ直線状に点６０６ａが位置することとなるため、点６０６ａは、仮想球体６００上において正確に点４０６ａの位置を示す点となっている。同様に、点６０６ｂは、仮想球体６００上において正確に点４０６ｂの位置を示す点となっている。

撮像素子２０６上のその他の各点、例えば点５０６ｃ、５０６ｄ、５０６ｅの投射点はそれぞれ点６０６ｃ、６０６ｄ、６０６ｅとなる。また、撮像素子２０６の光学中心Ｏに対応する点５０６ｆとその投射点６０６ｆは、同一点に位置することとなる。

また、本実施形態では、主点２０４を原点とし、水平方向をｘ方向、垂直方向をｙ方向、ビデオカメラ２００の光学中心の軸方向をｚ方向として空間座標（ｘ，ｙ，ｚ）を設定している。従って、仮想球体６００の半径をｄとすると、撮像素子２０６上における座標（ｘ，ｙ，ｚ）の点に対応する仮想球体６００上の投射点の座標（ｘ'，ｙ'，ｚ'）は、例えば次の数式によって求められる。

図９（ａ）〜（ｃ）は、背景側映像１０１のフレーム１０６の例を示した図である。この例では、同図（ａ）に示されるように、フレーム１０６ａにおいて、光学中心に対応する点Ｏ、ならびに点Ｐおよび点Ｑから構成される三角形ＯＰＱが映し出されている。そして、フレーム１０６ａの撮影方向からビデオカメラ２００をパンおよびチルトさせて撮影したフレームがフレーム１０６ｂである。同図（ｂ）に示されるように、フレーム１０６ｂでは、ビデオカメラ２００のパンおよびチルトに伴って背景が相対的に移動することにより、点Ｏが点Ｏ'に移動し、点Ｐが点Ｐ'に移動し、点Ｑが点Ｑ'に移動している。すなわち、フレーム１０６ａにおける三角形ＯＰＱは、フレーム１０６ｂでは三角形Ｏ'Ｐ'Ｑ'となって映し出されている。また、フレーム１０６ｂは、ビデオカメラ２００がパンおよびチルトされた結果、背景である三角形Ｏ'Ｐ'Ｑ'に対してロール回転した状態となっている。

同図（ｃ）は、三角形ＯＰＱから三角形Ｏ'Ｐ'Ｑ'への移動を１つのフレーム上において示した図である。上述のように、天球４００上から平面上の移動への変換、およびビデオカメラ２００のロール回転の影響により、フレーム上における点Ｏから点Ｏ'への移動、点Ｐから点Ｐ'への移動、および点Ｑから点Ｑ'への移動は、それぞれ異なる態様となる。すなわち、フレーム上では、同図（ｃ）に示されるように、各点が映し出されている位置に応じて移動距離および移動方向が変化するため、三角形ＯＰＱおよび三角形Ｏ'Ｐ'Ｑ'は異なる形状となる。

三角形ＯＰＱおよび三角形Ｏ'Ｐ'Ｑ'は、同一の背景が映し出されたものであるため、両フレーム１０６ａ、１０６ｂにおいて同一の形状に映し出されると一般的には認識されている。しかし、実際には、フレーム１０６ａおよびフレーム１０６ｂにおける位置が異なっている場合、三角形ＯＰＱおよび三角形Ｏ'Ｐ'Ｑ'は、異なる形状に映し出されることとなる。すなわち、本実施形態のように、所定の位置にビデオカメラ２００を配置し、パンおよびチルトさせて背景側映像１０１または素材側映像１０２を撮影する場合、撮影方向が異なるフレーム上においては、同一の背景であっても異なる形状に映し出されるようになっている。このため、背景側映像１０１を構成する各フレーム１０６または素材側映像１０２を構成する各フレーム１０７から２つのフレームを抽出してパターンマッチングを行い、これにより２つのフレームにおいて同一の背景位置を示す点を求めることは、困難である。

図１０（ａ）および（ｂ）は、図９に示したフレーム１０６ａおよびフレーム１０６ｂ上の各点を、図８等で示した仮想球体６００上に投射した場合を示した図である。これらの図では、点ｏが点Ｏの投射点であり、点ｐが点Ｐの投射点であり、点ｑが点Ｑの投射点である。また、点ｏ'が点Ｏ'の投射点であり、点ｐ'が点Ｐ'の投射点であり、点ｑ'が点Ｑ'の投射点である。

仮想球体６００上に投射された三角形ｏｐｑおよび三角形ｏ'ｐ'ｑ'は、それぞれ天球４００上の背景における同一の三角形と相似する形状（天球４００と仮想球体６００の半径の比だけ縮小された形状）となる。このため、三角形ｏｐｑおよび三角形ｏ'ｐ'ｑ'は、同図（ａ）に示されるように、仮想球体６００上の位置によらず、互いに同一な形状（合同）となる。すなわち、本実施形態のような撮影を行う場合、フレーム上の点（画素）を仮想球体６００上に投射して得られる部分球面状の投射フレームにおいては、撮影方向が異なるフレームであっても、同一の背景であれば同一の形状に映し出されるようになっている。従って、２つの投射フレームについてパターンマッチングを行うようにすれば、２つのフレームにおいて同一の背景位置を示す点を比較的容易に特定することができる。

また、同図（ａ）において、点ｏはフレーム１０６ａの光学中心に対応する点である。このため、仮想球体６００上における点ｏから点ｏ'への移動はビデオカメラ２００の光学中心の移動、すなわちパン角度θおよびチルト角度φに応じた撮影方向の移動を示している。従って、仮想球体６００上の点ｏから点ｏ'への移動に基づいて、フレーム１０６ａとフレーム１０６ｂの間のパン角度θおよびチルト角度φを求めることができる。

点ｏの座標は、フレーム１０６ａ上の点Ｏと同一であり、仮想球体６００の半径をｄとした場合、座標（０，０，ｄ）となる。従って、点ｏ'の座標が（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）である場合、例えば次の式でパン角度θおよびチルト角度φを求めることができる。

また、点ｐから点ｐ'への移動および点ｑから点ｑ'への移動は、フレーム１０６ａからフレーム１０６ｂまでのパン角度θおよびチルト角度φに加え、ロール角度ψに応じたものとなっている。ロール回転は点ｏまたは点ｏ'を中心に生じるため、同図（ｂ）に示されるように、三角形ｏ'ｐ'ｑ'を仮想球体６００上で移動させて点ｏと点ｏ'を一致させた場合、三角形ｏｐｑおよび三角形ｏ'ｐ'ｑ'はロール角度ψだけ傾いた状態で互いに重なる。点ｐの座標が（ｘ_１，ｙ_１，ｚ_１）、同図（ｂ）に示される移動後の点ｐ'の座標が（ｘ_２，ｙ_２，ｚ_２）である場合、例えば次の式でロール角度ψを求めることができる。

＜コンピュータの備えるその他の機能構成＞
次に、コンピュータ１０８の備えるその他の機能構成について説明する。

背景側映像角度データベース生成手段１３２は、後述する背景側映像角度データベース生成処理を実行することで、角度算出手段１３０が算出した各角度θ、φ、ψと背景側映像の各フレーム１０６を対応付けた背景側映像角度データベースを生成するものである。後述する背景選択手段１３６は、この背景側映像角度データベースを参照して、背景側映像１０１を構成する複数のフレーム１０６の中から比較用フレームを選択する。

選択用三次元画像生成手段１３４は、後述する選択用三次元画像生成処理を実行することで、背景側映像角度データベースに基づいて背景側映像１０１の各フレーム１０６を仮想球体６００上にマッピングした選択用三次元画像を生成するものである。

図１１（ａ）〜（ｃ）は、選択用三次元画像の例を示した概略図である。なお、同図（ａ）および（ｃ）では、三択用三次元画像の一部の断面を示している。同図（ａ）に示されるように、選択用三次元画像生成手段１３４は、各フレーム１０６のパン角度θおよびチルト角度φを仮想球体６００上の球座標（θ，φ）として、背景側映像１０１の各フレーム１０６を仮想球体上に配置して構成した選択用三次元画像７００を生成する。詳細には、同図（ｂ）に示されるように、仮想球体６００上のパン角度θおよびチルト角度φに対応する座標点に各フレーム１０６の光学中心に対応する点Ｏが位置した状態で各フレーム１０６が仮想球体６００に接するように、各フレーム１０６を配置する。さらに、各フレーム１０６を、点Ｏを中心にロール角度ψだけ回転し、各フレーム１０６の背景を天球４００上の背景に対応する位置に一致させる補正を行う。従って、選択用三次元画像７００は、二次元の各フレーム１０６を三次元状に配置することで、天球４００上の背景を模した画像データとして生成される。

このように、背景側映像１０１の各フレーム１０６をパン角度θおよびチルト角度φに基づいて仮想球体６００上にマッピングすることにより、背景側映像１０１の各フレーム１０６上の各点（画素）に対応する球座標を特定することが可能となる。

なお、同図（ｃ）に示されるように、マッピングされた各フレーム１０６の画素を仮想球体６００上に投射することで球体状のパノラマ画像を合成し、これを選択用三次元画像７００としてもよい。各フレーム１０６の画素の仮想球体６００上への投射は、仮想球体６００の半径方向に向けて行う。このように、球体状のパノラマ画像として構成した選択用三次元画像７００は、背景を含む天球４００（または天球４００の一部）の相似形の画像データとなる。

背景選択手段１３６は、後述する背景選択処理を実行し、素材側映像１０２のフレーム１０７ごとに、同一の背景部分を含む比較用フレームを背景側映像１０１を構成する複数のフレーム１０６の中から選択して抽出するものである。背景選択手段１３６が実行する処理の詳細については、後述する。

背景比較手段１３８は、後述する背景比較処理を実行し、素材側映像１０２の各フレーム１０７から背景部分を抜き出し、合成用素材のみが切り取られた合成用フレーム１１０を生成するものである。背景比較手段１３８が実行する処理の詳細については、後述する。

＜合成用映像生成処理＞
次に、背景側映像１０１および素材側映像１０２から合成用映像１１２を生成する合成用映像生成処理の手順について説明する。図１２は、合成用映像生成処理の手順を示したフローチャートである。

まず、ステップＳ１０１では、角度算出手段１３０が背景側映像１０１のフレーム１０６について角度算出処理を実行し、背景側映像１０１のフレーム１０６ごとに各角度θ、φ、ψを算出する。角度算出処理の詳細な手順については、後述する。

ステップＳ１０２では、背景側映像１０１の全てのフレーム１０６について各角度θ、φ、ψを算出したか否かを判定する。全てのフレーム１０６について各角度θ、φ、ψを算出していない場合はステップＳ１０１に戻り、所定の順番で残りのフレーム１０６について角度算出処理を実行する。全てのフレーム１０６について各角度θ、φ、ψを算出した場合は、ステップＳ１０３に進む。

ステップＳ１０３では、背景側映像角度データベース生成手段１３２が背景側映像角度データベース生成処理を実行し、背景側映像角度データベースを生成する。生成した背景側映像角度データベースは、背景側映像保存手段１０４に記憶する。ステップＳ１０４では、選択用三次元画像生成手段が選択用三次元画像生成処理を実行し、選択用三次元画像７００を生成する。生成した選択用三次元画像７００は、背景側映像保存手段１０４に記憶する。なお、背景側映像角度データベースおよび選択用三次元画像７００を、背景側映像保存手段１０４以外の専用保存手段に記憶するようにしてもよい。

ステップＳ１０５では、背景選択手段１３６が素材側映像１０２のフレーム１０７について背景選択処理を実行し、素材側映像１０２のフレーム１０７ごとに比較用フレームを選択する。背景選択処理の詳細な手順については、後述する。

ステップＳ１０６では、背景比較手段が、素材側映像１０２のフレーム１０７について背景比較処理を実行し、合成用フレーム１１０を生成する。ここでは、ステップＳ１０５で選択した比較用フレームを使用して背景比較処理を実行する。また、生成した合成用フレーム１１０は、合成用映像保存手段１１１に記憶する。背景比較処理の詳細な手順については、後述する。

ステップＳ１０７では、素材側映像１０２の全てのフレーム１０７について背景比較処理を実行したか否かを判定する。全てのフレーム１０７について背景比較処理を実行していない場合はステップＳ１０５に戻り、所定の順番で残りのフレーム１０６について背景選択処理および背景比較処理を実行する。全てのフレーム１０６について背景比較処理を実行した場合は、処理を終了する。

以上の手順により、合成用映像保存手段１１１に記憶された複数の合成用フレーム１１０によって構成される合成用映像１１２が生成される。そして、この合成用映像１１２の各合成用フレーム１１にそれぞれ挿入用背景映像を合成することにより、最終映像が完成する。

＜角度算出処理＞
次に、上記合成用映像生成処理のステップＳ１０１における角度算出処理の手順の詳細について説明する。図１３は、角度算出処理の手順を示したフローチャートであり、図１４および１５は、各角度θ、φ、ψを算出する具体的な方法を示した図である。

まず、ステップＳ２０１では、背景側映像１０１を構成する複数のフレーム１０６から各角度θ、φ、ψの基準とする基準フレーム１０６Ｓ（図１４（ａ）参照）と、この基準フレーム１０６Ｓと比較する対比フレーム１０６Ｃ（図１４（ｂ）参照）を抽出する。本実施形態では、基準フレーム１０６Ｓに対する対比フレーム１０６Ｃの各角度θ、φ、ψを求めることにより、対比フレーム１０６Ｃの撮影時の各角度θ、φ、ψを求める。

本実施形態では、まず、最初の１番目のフレーム１０６の撮影時の各角度θ、φ、ψを基準角度と定義し（例えば、全て０と設定する）、１番目のフレーム１０６を基準フレーム１０６Ｓ、次の２番目のフレーム１０６を対比フレーム１０６Ｃとし、以下のステップで、２番目のフレーム１０６の各角度θ、φ、ψを算出する。そして、次回のステップＳ２０１では、２番目のフレーム１０６を基準フレーム１０６Ｓ、次の３番目のフレーム１０６を対比フレーム１０６Ｃとし、３番目のフレーム１０６の各角度θ、φ、ψを算出する。これを最後のフレーム１０６まで繰り返すことにより、背景側映像１０１の全てのフレーム１０６について各角度θ、φ、ψを算出する。

ステップＳ２０２では、基準フレーム１０６Ｓの光学中心に対応する点Ｏをパン角度θおよびチルト角度φを求めるための指標点Ｓに設定する（図１４（ａ）参照）。さらに、基準フレーム１０６Ｓ上の指標点Ｓを仮想球体６００上に投射した投射点を基準投射指標点ｓに設定する。なお、基準投射指標点ｓは基準フレーム１０６Ｓの光学中心に対応する点Ｏの投射点である点ｏと同一点となるため、基準フレーム１０６Ｓ上の指標点Ｓの座標と基準投射指標点ｓの座標は同一の座標となる。

ステップＳ２０３では、基準フレーム１０６Ｓの全画素を半径方向に向けて仮想球体６００上に投射して得られる球面状の基準投射フレーム６０７Ｓ（図１４（ａ）参照）と、対比フレーム１０６Ｃの全画素を半径方向に向けて仮想球体６００上に投射して得られる球面状の対比投射フレーム６０７Ｃ（図１４（ｂ）参照）を生成する。そして、基準投射フレーム６０７Ｓおよび対比投射フレーム６０７Ｃについて、所定の大きさの比較領域（例えば、画素数が６４×６４の領域）ごとにパターンマッチングを行い、基準投射フレーム６０７Ｓおよび対比投射フレーム６０７Ｃにおいて同一のパターン（例えば色情報のパターン）を示す特定比較領域を少なくとも２つ抽出する。このパターンマッチングの手法は、種々の既知の手法を採用することができるが、ロール回転を考慮したパターンマッチング手法を採用する必要がある。

図１４（ａ）および（ｂ）では、同一のパターンを示す特定比較領域ＡａおよびＡａ'、ならびに特定比較領域ＡｂおよびＡｂ'を抽出した例を示している。同一のパターンを示す基準投射フレーム６０７Ｓの特定比較領域Ａａと対比投射フレーム６０７Ｃの特定比較領域Ａａ'は、天球４００上の同一の背景部分を示していることとなる。同様に、特定比較領域Ａｂと特定比較領域Ａｂ'は、天球４００上の同一の背景部分を示していることとなる。

ステップＳ２０４では、各特定比較領域Ａａ、Ａａ'、Ａｂ、Ａｂ'の各領域中心の座標を求め、特定比較領域Ａａの領域中心を第１の基準投射特定点ａ、特定比較領域Ａａ'の領域中心を第１の対比投射特定点ａ'、特定比較領域Ａｂの領域中心を第２の基準投射特定点ｂ、特定比較領域Ａｂ'の領域中心を第２の対比投射特定点ｂ'と設定する（図１５（ａ）参照）。このように設定した第１の基準投射特定点ａおよび第１の対比投射特定点ａ'は、同一の背景位置を示す仮想球体６００上の点となる。同様に、第２の基準投射特定点ｂおよび第２の対比投射特定点ｂ'は、同一の背景位置を示す仮想球体６００上の点となる。

ステップＳ２０５では、これらの第１の基準投射特定点ａ、第１の対比投射特定点ａ'、第２の基準投射特定点ｂおよび第２の対比投射特定点ｂ'に基づいて、対比フレーム１０６Ｃ上の指標点（基準フレーム１０６Ｓの点Ｓと同一の背景位置を示す点）Ｓ'を仮想球体６００上に投射した対比投射指標点ｓ'の座標を算出する。

この対比投射指標点ｓ'の座標の算出では、まず、図１５（ａ）に示されるように、基準投射指標点ｓ、第１の基準投射特定点ａおよび第２の基準投射特定点ｂからなる三角形ｓａｂと、対比投射指標点ｓ'、第１の対比投射特定点ａ'および第２の対比投射特定点ｂ'からなる三角形ｓ'ａ'ｂ'を設定する。そして、三角形ｓａｂと三角形ｓ'ａ'ｂ'が合同となることに基づいて、対比投射指標点ｓ'の座標を算出する。

具体的には、図１５（ａ）に示されるように、基準投射指標点ｓと第１の基準投射特定点ａの間の距離がｓａ、基準投射指標点ｓと第２の基準投射特定点ｂの間の距離がｓｂである場合、対比投射指標点ｓ'と第１の対比投射特定点ａ'の間の距離はｓａとなり、対比投射指標点ｓ'と第２の対比投射特定点ｂ'の間の距離はｓｂとなる。従って、例えば図１５（ｂ）に示されるように、第１の対比投射特定点ａ'を中心として半径をｓａとする球体８００、第２の対比投射特定点ｂ'を中心として半径をｓｂとする球体８０２、および仮想球体６００の３つの球体の交点を幾何学的に求めることによって、対比投射特定点ｓ'の座標を求めることができる。

ステップＳ２０６では、対比投射特定点ｓ'、第１の基準投射特定点ａおよび第１の対比投射特定点ａ'の座標に基づいて、基準フレーム１０６Ｓに対する対比フレーム１０６Ｃの各角度θ、φ、ψを算出する。ここでは、例えば上記した数式３および数式４を使用する。

ステップＳ２０７では、基準フレーム１０６Ｓの各角度θ、φ、ψに基づいてステップＳ２０６で求めた各角度θ、φ、ψを修正し、対比フレーム撮影時の各角度θ、φ、ψを求める。

なお、角度算出処理においては、１つの基準フレーム１０６Ｓに対して複数の対比フレーム１０６Ｃを比較するようにしてもよい。すなわち、本実施形態では、ｎ番目のフレーム１０６を基準フレーム１０６Ｓとした場合はｎ＋１番目のフレーム１０６のみを対比フレーム１０６Ｃとするが、例えば、ｎ番目のフレーム１０６の基準フレーム１０６Ｓに対してｎ＋１〜ｎ＋３番目の３つのフレーム１０６を対比フレーム１０６Ｃとして比較するようにしてもよい。

また、第１の基準投射特定点ａおよび第１の対比投射特定点ａ'、ならびに第２の基準投射特定点ｂおよび第２の対比投射特定点ｂ'を複数セット設定し、セットごとに対比投射指標点ｓ'の座標を算出するようにしてもよい。この場合、各セットによる算出結果を比較することで、パターンマッチングの誤差やレンズディストーション（歪曲収差）等の影響を排除した、より正確な対比投射指標点ｓ'の座標を求めることができる。

また、背景に特徴物がある等、条件によっては、基準フレーム１０６Ｓと対比フレーム１０６Ｃについて直接パターンマッチングを行うようにしてもよい。このようにすることで、角度算出手段１３０の処理負荷を低減できる可能性がある。なお、この場合、抽出した特定比較領域の領域中心を仮想球体６００上に投射することによって基準投射特定点および対比投射特定点を求めることができる。

また、パターンマッチングにより、基準投射指標点ｓと同一の背景位置を示す点を抽出することができる場合には、この抽出した点の座標を対比投射指標点ｓ'の座標として求めるようにしてもよい。

＜背景選択処理＞
次に、上記合成用映像生成処理のステップＳ１０５における背景選択処理の手順の詳細について説明する。図１６は、背景選択処理の手順を示したフローチャートであり、図１７（ａ）および（ｂ）は、背景選択処理の具体的な方法を示した図である。

まず、ステップＳ３０１では、素材側映像１０２のフレーム１０７の全画素を半径方向に向けて仮想球体６００上に投射して得られる球面状の素材側投射フレーム６０８を生成する（図１７（ａ）参照）。

ステップＳ３０２では、ステップＳ３０１で生成した素材側投射フレーム６０８および選択用三次元画像７００について、所定の大きさの比較領域ごとにパターンマッチングを行い、素材側投射フレームおよび選択用三次元画像７００において同一のパターンを示す特定比較領域Ａｃを抽出する（図１７（ａ）参照）。ここでは、まず、選択用三次元画像７００においてマッピングされた背景用画像１０１のフレーム１０６を仮想球体６００上に投射した背景側投射フレーム６０９を生成する（図１７（ａ）参照）。そして、この背景側投射フレーム６０９および素材側投射フレーム６０８について上記角度算出処理のステップＳ２０３と同様の手法によってパターンマッチングを行う。なお、選択用三次元画像７００をパノラマ画像として構成した場合には、選択用三次元画像７００をそのままパターンマッチングに使用することができる。特定比較領域Ａｃを抽出したならば、特定比較領域Ａｃの領域中心を選択用指標点ｃとし、背景側投射フレーム６０９の光学中心に対応する点ｏの球座標（θ，φ）から選択用指標点ｃの仮想球体６００上における球座標（θ，φ）を求める。

ステップＳ３０３では、選択用指標点ｃと素材側投射フレーム６０８の光学中心に対応する点ｏ'の位置関係から、素材側投射フレーム６０８の光学中心に対応する点ｏ'の球座標（θ，φ）を幾何学的に算出する。算出した素材側投射フレーム６０８の光学中心に対応する点ｏ'の球座標（θ，φ）の各成分は、それぞれ素材側フレーム１０７の撮影時のパン角度θ、チルト角度φとなる。

ステップＳ３０４では、背景側投射フレーム６０９に対する素材側投射フレーム６０８の傾き、および背景側投射フレーム６０９のロール角度ψから、素材側フレーム１０７の撮影時のロール角度ψを算出する。

ステップＳ３０５では、ステップＳ３０３で求めた素材側フレーム１０７撮影時のパン角度θおよびチルト角度φに基づいて背景側映像角度データベースを参照し、素材側フレーム１０７撮影時のパン角度θおよびチルト角度φに近いパン角度θおよびチルト角度φである背景側映像１０１のフレーム１０６を比較用フレーム１１３として複数選択する（図１７（ｂ）参照）。具体的には、素材側映像１０２のフレーム１０７の撮影領域を全てカバーするだけの数の背景側映像１０１のフレーム１０６を比較用フレーム１１３として選択する。

また、素材側映像１０２のフレーム１０７の撮影時のパン角度θおよびチルト角度φと同一のパン角度θおよびチルト角度φの背景側映像１０１のフレーム１０６がある場合には、このフレーム１０６を比較用フレーム１１３として選択する。そして、フレーム１０６とフレーム１０７のサイズが異なるためにカバーしていない領域がある場合には、カバーしていない領域をカバーするためのフレーム１０６を比較用フレーム１１３としてさらに選択する。

なお、条件によっては、背景側映像１０１のフレーム１０６と素材側映像１０２のフレーム１０７について直接パターンマッチングを行うようにしてもよい。このようにすることで、角度算出手段１３０の処理負荷を低減できる可能性がある。

また、背景側映像１０１のフレーム１０６を基準フレーム、素材側映像１０２のフレーム１０７を対比フレームとして、上述の角度算出処理と同様の処理を行うことにより、素材側映像１０２のフレーム１０７の各角度θ、φ、ψを求めるようにしてもよい。

＜背景比較処理＞
次に、上記合成用映像生成処理のステップＳ１０６における背景比較処理の手順の詳細について説明する。図１８は、背景比較処理の手順を示したフローチャートであり、図１９（ａ）および（ｂ）、ならびに図２０（ａ）および（ｂ）は、背景比較処理の具体的な方法を示した図である。

まず、ステップＳ４０１では、素材側映像１０２のフレーム１０７および選択した比較用フレーム１１３を、それぞれのパン角度θおよびチルト角度φに対応する球座標（θ，φ）に基づいて仮想球体６００上にマッピングする（図１９（ａ）参照）。このマッピングにおいては、比較用フレーム１１３の背景が天球４００上の背景に対応する位置と一致するように、比較用フレーム１１３を自身のロール角度ψだけ光学中心に対応する点を中心にロール回転させる補正を行う。同様に、素材側映像１０２のフレーム１０７についても、背景が天球４００上の背景に対応する位置と一致するように、フレーム１０７を自身のロール角度ψだけ光学中心に対応する点を中心にロール回転させる補正を行う。

ステップＳ４０２では、仮想球体６００上にマッピングした比較用フレーム１１３の画素を、仮想球体６００上にマッピングしたフレーム１０７と同一平面上に投射することで、比較用修正フレーム１１３Ｍを生成する（図１９（ｂ）参照）。この比較用フレーム１１３の画素の投射は、仮想球体６００の半径方向に向けて行う。このため、比較用フレーム１１３の各画素は、天球４００上の背景位置に対応する位置からずれることなく、フレーム１０７と同一平面上に投射されることとなる。

以上の処理により、素材側映像１０２のフレーム１０７と同一の各角度θ、φ、ψとなる比較用フレーム１１３Ｍを生成することができる。すなわち、素材側映像１０２のフレーム１０７と比較用フレーム１１３Ｍは、図２０（ａ）に示されるように、素材側映像１０２のフレーム１０７に含まれる合成用素材２０を除いた背景部分が一致するものとなっている。

ステップＳ４０３では、素材側映像１０２のフレーム１０７と比較用修正フレーム１１３Ｍを比較して合成用フレーム１１０を生成する。具体的には、まず、図２０（ａ）に示されるように、フレーム１０７および比較用修正フレーム１１３Ｍを、１画素以上の領域である比較領域ＣＡおよびＣＡ'にそれぞれ分割し、同一の位置にある比較領域ＣＡおよびＣＡ'における色の値の差分を算出する。なお、ここで、同一の位置にあるとは、上述の空間座標系ではなく、フレーム上の平面座標系において同一座標となることを示している。

全ての比較領域ＣＡおよびＣＡ'について色の値の差分を算出したら、次に、各比較領域ＣＡおよびＣＡ'における差分の値が所定の閾値を超えるか否かを判定し、差分の値が所定の閾値以下である場合は、その部分は同一の背景部分を映し出しているとして予め定めた特定色（例えば、青色）の色情報を設定し、差分の値が所定の閾値を超えている場合は、その部分は合成用素材２０部分を映し出しているとしてフレーム１０７の色情報を設定する。上記判定を各比較領域について順に実行し、判定結果に応じた色情報を設定していくことで、合成用素材２０のみが切り取られた合成用フレーム１１０を生成することができる。

なお、比較用修正フレーム１１３Ｍは、図２０（ａ）に示されるように、素材側映像１０２のフレーム１０７と同サイズのフレームを１つ生成するのではなく、図２０（ｂ）に示されるように、選択した複数の比較用フレーム１１３ごとに複数の比較用修正フレーム１１３Ｍを生成するようにしてもよい。この場合、例えば図２０（ｂ）に示されるように、４つの比較用フレーム１１３Ｍａ〜１１３Ｍｄを生成したとすると、比較用修正フレーム１１３Ｍａがカバーするフレーム１０７の領域Ｔａについてはフレーム１０７と比較用修正フレーム１１３Ｍａについて比較領域ＣＡおよびＣＡ'の色の値の差分を算出し、同様に、フレーム１０７の領域Ｔｂについてはフレーム１０７と比較用修正フレーム１１３Ｍｂについて比較領域ＣＡおよびＣＡ'の色の値の差分を算出し、フレーム１０７の領域Ｔｃについてはフレーム１０７と比較用修正フレーム１１３Ｍｃについて比較領域ＣＡおよびＣＡ'の色の値の差分を算出し、フレーム１０７の領域Ｔｄについてはフレーム１０７と比較用修正フレーム１１３Ｍｄについて比較領域ＣＡおよびＣＡ'の色の値の差分を算出することで、合成用フレーム１１０を生成することができる。

以上説明したように、本実施形態に係る映像合成方法および映像合成システム１００は、パンおよびチルト可能に配置された背景用カメラ（ビデオカメラ２００）によって撮影可能な多方向の背景を背景用カメラによって撮影した背景側映像１０１と、背景用カメラと同位置にパンおよびチルト可能に配置された素材用カメラ（ビデオカメラ２００）によって同じ背景の下で合成用素材２０が含まれるように撮影した素材側映像１０２と、を用意し、背景側映像１０１の複数のフレーム１０６において同一の背景位置を示す指標点Ｓの位置を比較することにより、背景側映像１０１の各フレーム１０６の撮影時のパン角度θおよびチルト角度φをフレーム１０６ごとに算出する角度算出処理と、素材側映像１０２の各フレーム１０７の撮影時のパン角度θおよびチルト角度φに基づいて、素材側映像１０２のフレーム１０７ごとに背景側映像１０１のフレーム１０６群から比較用フレーム１１３を選択する背景選択処理と、選択した比較用フレーム１１３と素材側映像１０２の各フレーム１０７を比較することにより、合成用素材２０が抽出された（合成用素材２０のみが切り取られた）合成用映像１１２を生成する背景比較処理と、を行う。

このため、ビデオカメラ２００にパン角度θおよびチルト角度φを測定するためのエンコーダ等を取り付けたり、モーションコントロールカメラ等の高価で複雑な機材を使用したりすることなく、背景側映像１０１の各フレーム１０６の撮影時のパン角度θおよびチルト角度φを求めることができる。従って、任意に撮影した背景側映像１０１を使用しながらも、従来よりも効率的に合成用映像１１２を生成することができる。

なお、本実施形態では、ビデオカメラ２００仮想レンズ２０２の主点２０４を中心に、ビデオカメラ２００がパンおよびチルトする例を示したが、これに限定されるものではない。ビデオカメラ２００のパンおよびチルトの回転中心が主点２０４からずれている場合であっても、例えば背景側映像１０１の各フレーム１０６および素材側映像１０２の各フレーム１０７について適宜に画像処理を施すことによって、ずれを修正することができる。

また、角度算出処理は、ビデオカメラ２００の位置（詳細には、仮想レンズ２０２の主点２０４）を中心とする仮想球体６００を設定し、基準フレーム１０６Ｓ上の指標点Ｓを仮想球体６００の半径方向に向けて仮想球体６００の表面上に投射した基準投射指標点ｓ、および対比フレーム１０６Ｃ上の指標点Ｓ'を仮想球体６００の半径方向に向けて仮想球体６００の表面上に投射した対比投射指標点ｓ'を求め、基準投射指標点ｓおよび対比投射指標点ｓ'の位置を比較することにより、背景側映像１０１の各フレーム１０６の撮影時のパン角度θおよびチルト角度φを算出する。

このため、フレーム１０６上における映像の歪みに影響されることなく、背景側映像１０１の各フレーム１０６の撮影時のパン角度θおよびチルト角度φを容易且つ正確に求めることができる。

また、角度算出処理は、ビデオカメラ２００の画角および背景側映像１０１のフレーム１０６の寸法に基づいて仮想球体６００の半径を設定する。より詳細には、仮想球体６００の中心を、ビデオカメラ２００の仮想レンズ２０２の主点２０４に設定し、仮想球体６００の半径を、ビデオカメラ２００の仮想レンズ２０２の焦点距離と同一に設定する。このようにすることで、フレーム１０６上の点を仮想球体６００上に投射した場合に、天球４００上の背景の相似形とすることができる。

また、指標点Ｓは、基準フレーム１０６Ｓの光学中心に対応する点Ｏであるため、ロール回転の影響を排除することが可能となり、パン角度θおよびチルト角度φの算出を容易にすることができる。

なお、ビデオカメラ２００のチルト角度を水平方向に固定した状態でパンのみさせて背景側映像１０１を撮影した場合、またはビデオカメラ２００をチルトのみさせて背景側映像１０１を撮影した場合にはロール回転が生じないため、光学中心に対応する点Ｏ以外の点を指標点Ｓとすることができる。

また、角度算出処理は、基準フレーム１０６Ｓを仮想球体６００の半径方向に向けて仮想球体６００の表面上に投射することで、基準投射フレーム６０７Ｓを生成し、対比フレーム１０６Ｃを仮想球体６００の半径方向に向けて仮想球体６００の表面上に投射することで、対比投射フレーム６０７Ｃを生成し、基準投射フレーム６０７Ｓおよび対比投射フレーム６０７Ｃについてパターンマッチングを行うことで、指標点Ｓ以外の同一の背景位置を示す投射特定点（特定比較領域の領域中心）を複数求め、基準投射フレーム６０７Ｓ上の投射特定点を基準投射特定点ａ、ｂに設定すると共に、対比投射フレーム６０７Ｃ上の投射特定点を対比投射特定点ａ'、ｂ'に設定し、基準投射特定点ａ、ｂおよび対比投射特定点ａ'、ｂ'の位置に基づいて、対比投射指標点ｓ'の位置を算出する。より詳細には、基準投射特定点ａ、ｂおよび基準投射指標点ｓの相対的な位置関係に基づいて、対比投射指標点ｓ'の位置を算出する。

このため、パターンマッチングにより指標点Ｓと同一の背景位置を示す点を対比投射フレーム６０７Ｃ上に発見することが困難であるような場合であっても、対比投射指標点ｓ'の位置を算出することができる。

また、角度算出処理は、投射特定点として第１の投射特定点および第２の投射特定点を設定し、第１の投射特定点の基準投射特定点ａと基準投射指標点ｓの間の第１の距離ｓａ、および第２の投射特定点の基準投射特定点ｂと基準投射指標点ｓの間の第２の距離ｓｂを求め、第１の投射特定点の対比投射特定点ａ'から第１の距離ｓａ、且つ第２の投射特定点の対比投射特定点ｂ'から第２の距離ｓｂに位置する仮想球体６００の表面上の点を対比投射指標点ｓ'とする。

このため、幾何学的な計算手法により、正確に対比投射指標点ｓ'の位置を算出することができる。但し、これに限定されるものではなく、近似解法によって対比投射指標点ｓ'の位置を算出するようにしてもよい。

また、角度算出処理は、背景側映像１０１の各フレーム１０６の撮影時のロール角度ψを背景側映像１０１のフレーム１０６ごとに算出し、背景比較処理は、背景側映像１０１の各フレーム１０６の撮影時のロール角度ψに基づく補正を行う。

このため、背景側映像１０１撮影時のビデオカメラ２００のパンまたはチルトに伴ってロール回転が生じるような場合であっても、比較用フレーム１１３（または比較用修正フレーム１１３Ｍ）を素材側映像１０２のフレーム１０７の背景部分に一致させ、高精度に背景比較処理を行うことができる。

また、角度算出処理は、所定の投射特定点の基準投射特定点ａと基準投射指標点ｓを結ぶ直線と、所定の投射特定点の対比投射特定点ａ'と対比投射指標点ｓ'を結ぶ直線とがなす角度に基づいて、背景側映像１０１の各フレーム１０６の撮影時のロール角度ψを求める。

このため、パン角度θおよびチルト角度φを算出するための各点を利用してロール角度ψを算出することができるため、角度算出処理の処理負荷を低減することができる。

また、背景選択処理は、背景側映像１０１のフレーム１０６と素材側映像１０２のフレーム１０７において同一の背景位置を示す選択用指標点ｃの位置を比較することにより、素材側映像１０２の各フレーム１０７の撮影時のパン角度θおよびチルト角度φをフレーム１０７ごとに算出する。

このため、ビデオカメラ２００にパン角度θおよびチルト角度φを測定するためのエンコーダ等を取り付けたりすることなく、素材側映像１０２の各フレーム１０７の撮影時のパン角度θおよびチルト角度φを求めることができる。そして、このパン角度θおよびチルト角度φに基づいて効率的に比較用フレーム１１３を選択することができる。

また、背景選択処理は、素材側映像１０２のフレーム１０７の撮影時のパン角度θおよびチルト角度φと同一のパン角度θおよびチルト角度φの比較用フレーム１１３を選択できない場合、素材側映像１０２のフレーム１０７の撮影時のパン角度θおよびチルト角度φに近いパン角度θおよびチルト角度φの比較用フレーム１１３を複数選択する。

このため、背景側映像１０１および素材側映像１０２がどのようなフレーム構成であっても、比較用フレーム１１３を選択して背景比較処理を行うことができる。

また、背景選択処理は、素材側映像１０２の各フレーム１０７の撮影時のロール角度ψを素材側映像１０２のフレーム１０７ごとに算出し、背景比較処理は、素材側映像１０２の各フレーム１０７の撮影時のロール角度ψに基づく補正を行う。

このため、素材側映像１０２撮影時のビデオカメラ２００のパンまたはチルトに伴ってロール回転が生じるような場合であっても、高精度に背景比較処理を行うことができる。

また、背景比較処理は、比較する素材側映像１０２のフレーム１０７と比較用フレーム１１３の撮影時のパン角度θまたはチルト角度φが同一でない場合、素材側映像１０２のフレーム１０７の撮影時のパン角度θおよびチルト角度φと一致するように比較用フレーム１１３を修正した比較用修正フレーム１１３Ｍを生成し、比較用修正フレーム１１３Ｍと素材側映像１０２のフレーム１０７を比較する。

このため、背景側映像１０１および素材側映像１０２がどのようなフレーム構成であっても、素材側映像１０２のフレーム１０７の背景部分と一致する比較用修正フレーム１１３Ｍを生成して高精度に背景比較処理を行うことができる。

また、背景比較処理は、比較用フレーム１１３の各画素を、仮想球体６００の半径方向に向けて素材側映像１０２のフレーム１０７と同一平面上に投射することによって、比較用修正フレーム１１３Ｍを生成する。

このため、比較用修正フレーム１１３Ｍを素材側映像１０２のフレーム１０７の背景部分と正確に一致させることができる。

以上、本発明の実施の形態について説明したが、本発明の映像合成方法および映像合成システムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

本発明の映像合成方法および映像合成システムは、各種映像の生成の分野で利用することができる。

１０、１０１ 背景側映像
１０ａ、１１３ 比較用フレーム
１２、１０２ 素材側映像
１４、１１２ 合成用映像
２０ 合成用素材
１００ 映像合成システム
１０４ 背景側映像記憶手段
１０５ 素材側映像記憶手段
１０６ 背景側映像のフレーム
１０６Ｃ 対比フレーム
１０６Ｓ 基準フレーム
１０７ 素材側映像のフレーム
１１３Ｍ 比較用修正フレーム
１３０ 角度算出手段
１３６ 背景選択手段
１３８ 背景比較手段
２００ ビデオカメラ
２０２ 仮想レンズ
２０４ 仮想レンズの主点
６００ 仮想球体
６０７Ｃ 対比投射フレーム
６０７Ｓ 基準投射フレーム
Ｏ フレームの光学中心に対応する点
ａ 第１の基準投射特定点
ａ' 第１の対比投射特定点
ｂ 第２の基準投射特定点
ｂ' 第２の対比投射特定点
ｃ 選択用指標点
Ｓ、Ｓ' 指標点
ｓ 基準投射指標点
ｓ' 対比投射指標点
ｓａ 基準投射指標点ｓと第１の基準投射特定点ａの間の距離
ｓｂ 基準投射指標点ｓと第２の基準投射特定点ｂの間の距離
θ パン角度
φ チルト角度
ψ ロール角度

Claims (22)

1. パンおよびチルト可能に配置された背景用カメラによって撮影可能な多方向の背景を前記背景用カメラによって撮影した背景側映像と、
   前記背景用カメラと同位置にパンおよびチルト可能に配置された素材用カメラによって前記背景の下で合成用素材が含まれるように撮影した素材側映像と、を用意し、
   前記背景側映像の複数のフレームにおいて同一の背景位置を示す指標点の位置を比較することにより、前記背景側映像の各フレームの撮影時のパン角度およびチルト角度をフレームごとに算出する角度算出処理と、
   前記素材側映像の各フレームの撮影時のパン角度およびチルト角度に基づいて、前記素材側映像のフレームごとに前記背景側映像のフレーム群から比較用フレームを選択する背景選択処理と、
   選択した前記比較用フレームと前記素材側映像の各フレームを比較することにより、前記合成用素材が抽出された合成用映像を生成する背景比較処理と、を行うことを特徴とする、
   映像合成方法。
2. 前記角度算出処理は、
   前記背景用カメラ位置を中心とする仮想球体を設定し、
   比較する２つのフレームのうち、一方の基準フレーム上の前記指標点を前記仮想球体の半径方向に向けて前記仮想球体の表面上に投射した基準投射指標点、および他方の対比フレーム上の前記指標点を前記仮想球体の半径方向に向けて前記仮想球体の表面上に投射した対比投射指標点を求め、
   前記基準投射指標点および前記対比投射指標点の位置を比較することにより、前記背景側映像の各フレームの撮影時のパン角度およびチルト角度を算出することを特徴とする、
   請求項１に記載の映像合成方法。
3. 前記角度算出処理は、
   前記背景用カメラの画角および前記背景側映像のフレームの寸法に基づいて前記仮想球体の半径を設定することを特徴とする、
   請求項２に記載の映像合成方法。
4. 前記角度算出処理は、
   前記仮想球体の中心を、前記背景用カメラのレンズの主点に設定し、
   前記仮想球体の半径を、前記背景用カメラのレンズの焦点距離と同一に設定することを特徴とする、
   請求項３に記載の映像合成方法。
5. 前記指標点は、前記基準フレームの光学中心に対応する点であることを特徴とする、
   請求項２乃至４のいずれかに記載の映像合成方法。
6. 前記角度算出処理は、
   前記基準フレームを前記仮想球体の半径方向に向けて前記仮想球体の表面上に投射することで、基準投射フレームを生成し、
   前記対比フレームを前記仮想球体の半径方向に向けて前記仮想球体の表面上に投射することで、対比投射フレームを生成し、
   前記基準投射フレームおよび前記対比投射フレームについてパターンマッチングを行うことで、前記指標点以外の同一の背景位置を示す投射特定点を複数求め、
   前記基準投射フレーム上の前記投射特定点を基準投射特定点に設定すると共に、前記対比投射フレーム上の前記投射特定点を対比投射特定点に設定し、
   前記基準投射特定点および前記対比投射特定点の位置に基づいて、前記対比投射指標点の位置を算出することを特徴とする、
   請求項５に記載の映像合成方法。
7. 前記角度算出処理は、前記基準投射特定点および前記基準投射指標点の相対的な位置関係に基づいて、前記対比投射指標点の位置を算出することを特徴とする、
   請求項６に記載の映像合成方法。
8. 前記角度算出処理は、
   前記投射特定点として第１の投射特定点および第２の投射特定点を設定し、
   前記第１の投射特定点の前記基準投射特定点と前記基準投射指標点の間の第１の距離、および前記第２の投射特定点の前記基準投射特定点と前記基準投射指標点の間の第２の距離を求め、
   前記第１の投射特定点の前記対比投射特定点から前記第１の距離、且つ前記第２の投射特定点の前記対比投射特定点から前記第２の距離に位置する前記仮想球体の表面上の点を前記対比投射指標点とすることを特徴とする、
   請求項７に記載の映像合成方法。
9. 前記角度算出処理は、前記背景側映像の各フレームの撮影時のロール角度を前記背景側映像のフレームごとに算出し、
   前記背景比較処理は、前記背景側映像の各フレームの撮影時のロール角度に基づく補正を行うことを特徴とする、
   請求項１乃至８のいずれかに記載の映像合成方法。
10. 前記角度算出処理は、所定の前記投射特定点の前記基準投射特定点と前記基準投射指標点を結ぶ直線と、所定の前記投射特定点の前記対比投射特定点と前記対比投射指標点を結ぶ直線とがなす角度に基づいて、前記背景側映像の各フレームの撮影時のロール角度を求め、
    前記背景比較処理は、前記背景側映像の各フレームの撮影時のロール角度に基づく補正を行うことを特徴とする、
    請求項６乃至８のいずれかに記載の映像合成方法。
11. 前記背景選択処理は、前記背景側映像のフレームと前記素材側映像のフレームにおいて同一の背景位置を示す選択用指標点の位置を比較することにより、前記素材側映像の各フレームの撮影時のパン角度およびチルト角度をフレームごとに算出することを特徴とする、
    請求項１乃至１０のいずれかに記載の映像合成方法。
12. 前記背景選択処理は、前記素材側映像のフレームの撮影時のパン角度およびチルト角度と同一のパン角度およびチルト角度の比較用フレームを選択できない場合、前記素材側映像のフレームの撮影時のパン角度およびチルト角度に近いパン角度およびチルト角度の比較用フレームを複数選択することを特徴とする、
    請求項１１に記載の映像合成方法。
13. 前記背景選択処理は、前記素材側映像の各フレームの撮影時のロール角度を前記素材側映像のフレームごとに算出し、
    前記背景比較処理は、前記素材側映像の各フレームの撮影時のロール角度に基づく補正を行うことを特徴とする、
    請求項１１または１２に記載の映像合成方法。
14. 前記背景比較処理は、比較する前記素材側映像のフレームと前記比較用フレームの撮影時のパン角度またはチルト角度が同一でない場合、前記素材側映像のフレームの撮影時のパン角度およびチルト角度と一致するように前記比較用フレームを修正した比較用修正フレームを生成し、前記比較用修正フレームと前記素材側映像のフレームを比較することを特徴とする、
    請求項１乃至１３のいずれかに記載の映像合成方法。
15. 前記背景比較処理は、前記素材側映像のフレームの撮影時のロール角度と一致するように前記比較用フレームを修正した前記比較用修正フレームを生成することを特徴とする、
    請求項１４に記載の映像合成方法。
16. 前記背景比較処理は、前記比較用フレームの各画素を、仮想球体の半径方向に向けて前記素材側映像のフレームと同一平面上に投射することによって、前記比較用修正フレームを生成することを特徴とする、
    請求項１４または１５に記載の映像合成方法。
17. パンおよびチルト可能に配置された背景用カメラによって撮影可能な多方向の背景を前記背景用カメラによって撮影した背景側映像を記憶する背景側映像記憶手段と、
    前記背景用カメラと同位置にパンおよびチルト可能に配置された素材用カメラによって前記背景の下で合成用素材が含まれるように撮影した素材側映像を記憶する素材側映像記憶手段と、
    前記背景側映像の複数のフレームにおいて同一の背景位置を示す指標点の位置を比較することにより、前記背景側映像の各フレームの撮影時のパン角度およびチルト角度をフレームごとに算出する角度算出手段と、
    前記素材側映像の各フレームの撮影時のパン角度およびチルト角度に基づいて、前記素材側映像のフレームごとに前記背景側映像のフレーム群から比較用フレームを選択する背景選択手段と、
    選択した前記比較用フレームと前記素材側映像の各フレームを比較することにより、前記合成用素材が抽出された合成用映像を生成する背景比較手段と、を備えることを特徴とする、
    映像合成システム。
18. 前記角度算出手段は、前記背景側映像の各フレームの撮影時のロール角度を前記背景側映像のフレームごとに算出し、
    前記背景比較手段は、前記背景側映像の各フレームの撮影時のロール角度に基づく補正を行うことを特徴とする、
    請求項１７に記載の映像合成システム。
19. 前記背景選択手段は、前記背景側映像のフレームと前記素材側映像のフレームにおいて同一の背景位置を示す選択用指標点の位置を比較することにより、前記素材側映像の各フレームの撮影時のパン角度およびチルト角度をフレームごとに算出することを特徴とする、
    請求項１７または１８に記載の映像合成システム。
20. 前記背景選択手段は、前記素材側映像の各フレームの撮影時のロール角度を前記素材側映像のフレームごとに算出し、
    前記背景比較手段は、前記素材側映像の各フレームの撮影時のロール角度に基づく補正を行うことを特徴とする、
    請求項１９に記載の映像合成システム。
21. 前記背景比較手段は、比較する前記素材側映像のフレームと前記比較用フレームの撮影時のパン角度またはチルト角度が同一でない場合、前記素材側映像のフレームの撮影時のパン角度およびチルト角度と一致するように前記比較用フレームを修正した比較用修正フレームを生成し、前記比較用修正フレームと前記素材側映像のフレームを比較することを特徴とする、
    請求項１７乃至２０のいずれかに記載の映像合成システム。
22. 前記背景比較手段は、前記素材側映像のフレームの撮影時のロール角度と一致するように前記比較用フレームを修正した前記比較用修正フレームを生成することを特徴とする、
    請求項２１に記載の映像合成システム。

Images