JP7352374B2 - 仮想視点変換装置及びプログラム - Google Patents

Description

本発明は、入力映像の撮影時とは異なる視点の映像を仮想的に生成する仮想視点変換装置及びプログラムに関する。

従来、撮影時の入力映像を、撮影時とは異なる視点の映像に仮想的に変換し、仮想視点映像を生成する手法が知られている。例えば、ビデオゲームにおいては、被写体データの容量及び演算コストを削減するため、カメラの方向を指向する部分平面にて被写体を表現するビルボードモデルが用いられることがある（例えば、特許文献１～３を参照）。

また、実写映像に基づく仮想空間描画方法として、演算の高速化を実現するため、仮想空間内の仮想物体の実写画像に基づく空間データをビルボード画像データとして扱うものがある（例えば、特許文献４を参照）。

前述の特許文献１～３の手法におけるビルボードモデルは、ビデオゲームのように、予め被写体情報をデータ化しておくことが可能な場合に多用される。また、前述の特許文献４の手法は、実写映像に適用するものであるが、ビルボード画像は、予め内部メモリに格納されていることが前提となっており、ビルボード画像自体の生成方法については言及されていない。

そこで、仮想視点映像を生成する場合に、予め被写体情報をデータ化しておく必要がなく、かつ、予めビルボート画像を内部メモリに格納しておく必要のない手法が提案されている（例えば、非特許文献１を参照）。

非特許文献１の手法は、複数のカメラで撮影された入力映像から被写体領域をそれぞれ抽出し、複数の被写体領域の対応付けを行い、フィールド平面上の２次元座標に基づくビルボードモデルを生成し、３次元ＣＧ空間を生成するものである。

これにより、撮影時点とは異なる視点位置から仮想的に撮影した映像を生成することができ、実写ベースのレンダリングによる写実的な仮想視点移動を実現することができる。

特許第６４４１８４３号公報 特許第６３５１６４７号公報 特許第４５９２０８７号公報 特許第３４８６５７９号公報

三巧浩嗣、内藤整、"選手領域の抽出と追跡によるサッカーの自由視点映像生成"、映像情報メディア学会誌、Vol.68、No.3、pp.J125－J134（2014）

前述の非特許文献１の手法は、背景差分法にて入力映像から被写体映像及び背景映像を抽出し、ビルボードモデルを用いて射影変換し、撮影時点とは異なる視点位置から仮想的に撮影した映像（仮想視点映像）を得るものである。

例えば入力映像が日中に撮影された場合には、被写体に影が存在することとなり、被写体に影が付加された仮想視点映像が生成される。しかし、影はＣＧ処理により被写体に後付けしたり、背景差分法をそのまま用いたりすることで、結果として、影に違和感のある仮想視点映像が生成されてしまうという問題があった。

例えば背景差分法をそのまま用いると、入力映像から影を含む被写体映像が抽出され、影が被写体と同様に射影変換されることから、影が正しい位置に反映されず、違和感のある影となってしまうからである。

このため、被写体の影のような所定の映像特徴を有する領域を、仮想視点映像内の正しい位置に反映させることで、ユーザにとって違和感のない仮想視点映像を得ることが所望されていた。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、撮影時の入力映像を、撮影時とは異なる視点の映像に仮想的に変換する際に、被写体の影等の所定の映像特徴を有する領域を適切に合成することで、一層自然な仮想視点映像を生成可能な仮想視点変換装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の仮想視点変換装置は、撮影時の入力映像を、前記撮影時とは異なる視点の映像に仮想的に変換することで、仮想視点映像を生成する仮想視点変換装置において、前記入力映像から背景映像を生成する背景生成部と、前記入力映像から第一被写体の領域を抽出し、前記第一被写体の形状及び所定の画素値を有する第一キー映像を生成する第一被写体抽出部と、前記入力映像から所定の映像特徴を有する第二被写体の領域を抽出し、前記第二被写体の形状及び所定の画素値を有する第二キー映像を生成する第二被写体抽出部と、前記第二キー映像の示す前記入力映像の部分を第二被写体映像として生成し、当該第二被写体映像に対し、前記入力映像のカメラパラメータ及び前記仮想視点映像のカメラパラメータを用いて第一の射影変換を行い、前記第二被写体の仮想視点映像を生成する第一射影変換部と、前記第一被写体抽出部により生成された前記第一キー映像、及び前記入力映像のカメラパラメータに基づいて、ビルボードを設定するビルボード設定部と、前記入力映像及び前記第一被写体抽出部により生成された前記第一キー映像に対し、前記入力映像のカメラパラメータ、前記仮想視点映像のカメラパラメータ及び前記ビルボード設定部により設定された前記ビルボードを用いて第二の射影変換を行い、前記第一被写体の仮想視点映像を生成すると共に、前記第一被写体の形状及び前記所定の画素値を有する第一キーの仮想視点映像を生成する第二射影変換部と、前記第二射影変換部により生成された前記第一キーの仮想視点映像に基づいて、前記第一射影変換部により生成された前記第二被写体の仮想視点映像、及び前記第二射影変換部により生成された前記第一被写体の仮想視点映像を合成することで、前記仮想視点映像を生成する合成部と、を備えたことを特徴とする。

また、請求項２の仮想視点変換装置は、撮影時の入力映像を、前記撮影時とは異なる視点の映像に仮想的に変換することで、仮想視点映像を生成する仮想視点変換装置において、前記入力映像から背景映像を生成する背景生成部と、前記入力映像から第一被写体の領域を抽出し、前記第一被写体の形状及び所定の画素値を有する第一キー映像を生成する第一被写体抽出部と、前記入力映像から所定の映像特徴を有する第二被写体の領域を抽出し、前記第二被写体の形状及び所定の画素値を有する第二キー映像を生成する第二被写体抽出部と、前記背景生成部により生成された前記背景映像に対し、前記第二被写体抽出部により生成された前記第二キー映像の示す前記入力映像の部分を合成することで、前記第二被写体を合成した合成あり背景映像を生成する背景合成部と、前記背景合成部により生成された前記合成あり背景映像に対し、前記入力映像のカメラパラメータ及び前記仮想視点映像のカメラパラメータを用いて第一の射影変換を行い、背景の仮想視点映像を生成する第一射影変換部と、前記第一被写体抽出部により生成された前記第一キー映像、及び前記入力映像のカメラパラメータに基づいて、ビルボードを設定するビルボード設定部と、前記入力映像及び前記第一被写体抽出部により生成された前記第一キー映像に対し、前記入力映像のカメラパラメータ、前記仮想視点映像のカメラパラメータ及び前記ビルボード設定部により設定された前記ビルボードを用いて第二の射影変換を行い、前記第一被写体の仮想視点映像を生成すると共に、前記第一被写体の形状及び前記所定の画素値を有する第一キーの仮想視点映像を生成する第二射影変換部と、前記第二射影変換部により生成された前記第一キーの仮想視点映像に基づいて、前記第一射影変換部により生成された前記背景の仮想視点映像、及び前記第二射影変換部により生成された前記第一被写体の仮想視点映像を合成することで、前記仮想視点映像を生成する合成部と、を備えたことを特徴とする。

また、請求項３の仮想視点変換装置は、請求項１または２に記載の仮想視点変換装置において、前記背景生成部が、前記入力映像の複数フレームから前記背景映像を生成し、前記第二被写体抽出部が、前記入力映像の単一フレームにおける所定の画素値特徴を有する領域を前記第二被写体の領域として抽出する、ことを特徴とする。

さらに、請求項４のプログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の仮想視点変換装置として機能させることを特徴とする。

以上のように、本発明によれば、撮影時の入力映像を、撮影時とは異なる視点の映像に仮想的に変換する際に、被写体の影等の所定の映像特徴を有する領域を適切に合成することで、一層自然な仮想視点映像を生成することが可能となる。

本発明の実施形態による仮想視点変換装置の構成例を示すブロック図である。 仮想視点変換装置の処理例を示すフローチャートである。 第一射影変換部の構成例を示すブロック図である。 第一射影変換部の動作を説明する図である。 ビルボード設定部の動作を説明する図である。 第二射影変換部の動作を説明する図である。 第二射影変換部の構成例を示すブロック図である。 本発明の他の実施形態による仮想視点変換装置の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、第一被写体と、第一被写体の影等の所定の映像特徴を有する第二被写体とをそれぞれ抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、異なる視点から見た映像を仮想的に生成することを特徴とする。

これにより、撮影時の入力映像を、撮影時とは異なる視点の映像に仮想的に変換する際に、第二被写体を適切に合成することができ、一層自然な仮想視点映像を生成することが可能となる。

〔仮想視点変換装置〕
以下、本発明の実施形態による仮想視点変換装置について説明する。図１は、本発明の実施形態による仮想視点変換装置の構成例を示すブロック図である。この仮想視点変換装置１は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、合成部（背景合成部）１３、第一射影変換部１４、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている。

仮想視点変換装置１は、入力映像Ｉ、入力映像Ｉのカメラパラメータ及び仮想視点映像Ｊのカメラパラメータに基づいて、入力映像Ｉを幾何学的に変換する際に、被写体（第一被写体）の影（第二被写体）を背景映像Ｂに合成し、仮想視点映像Ｊを生成する。

カメラパラメータは、カメラの光学主点に関する視点位置情報を含むものとする。尚、カメラパラメータは、さらに、姿勢（例えば、パン、チルト及びロールの各角度）、画角（またはレンズの焦点距離）、レンズひずみ、露出値（アイリス、シャッター速度、感度等）、色補正値等の一部または全部を含むようにしてもよい。

以下、時刻ｔ及び画像座標（ｘ，ｙ）における映像の画素値は、映像を表す文字の後に（ｔ；ｘ，ｙ）を付して示すものとする。例えば、入力映像Ｉの時刻ｔ及び画像座標（ｘ，ｙ）における画素値をＩ（ｔ；ｘ，ｙ）と記す。尚、画素値はスカラー量（例えば、モノクロ映像の場合）であってもよいし、ベクトル量（例えば、カラー映像の場合、赤、緑及び青の３成分からなるベクトル値）であってもよい。

図２は、仮想視点変換装置１の処理例を示すフローチャートである。以下、図１及び図２を参照して、仮想視点変換装置１の各構成部について説明する。

（背景生成部１０）
背景生成部１０は、時系列の入力映像Ｉ（入力映像Ｉの複数フレーム）から、動物体を除去した背景映像Ｂを生成し（ステップＳ２０１）、背景映像Ｂを第一被写体抽出部１１及び合成部１３に出力する。背景映像Ｂの生成処理は既知であり、例えば背景差分法を用いることができる。背景差分法の詳細については、例えば特許第５２２７２２６号公報の段落４４及び数式８を参照されたい。

（第一被写体抽出部１１）
第一被写体抽出部１１は、背景生成部１０から背景映像Ｂを入力する。そして、第一被写体抽出部１１は、入力映像Ｉ、及び背景生成部１０により入力映像Ｉの複数フレームから生成された背景映像Ｂに基づいて、被写体（第一被写体）とそれ以外の箇所（背景映像Ｂ）とを区別して被写体の領域を抽出し、被写体の形状を表し、かつ当該被写体の領域と他の領域とを区別する画素値を有するキー映像Ｋを生成する（ステップＳ２０２）。そして、第一被写体抽出部１１は、キー映像Ｋをビルボード設定部１５及び第二射影変換部１６に出力する。以下、被写体は第一被写体を示すものとする。

キー映像Ｋは２値映像であってもよいし（例えば、被写体に属する画素の画素値を１とし、それ以外の画素の画素値を０とする）、多値映像であってもよい（例えば、被写体に属する画素の画素値を１とし、それ以外の画素の画素値を０とするが、被写体の境界部については０より大きく１未満の数値とする）。

例えば第一被写体抽出部１１は、以下の式にて、背景生成部１０により生成された背景映像Ｂと入力映像Ｉとを比較することで、キー映像Ｋを生成する。

関数φ（ｐ，ｑ）は、画素値ｐと画素値ｑとの差異に応じて被写体か否かを判定する関数である。

例えば関数φとして、以下の式のように、画素値ｐと画素値ｑとの間の差に対するノルム値（例えばユークリッド距離、マンハッタン距離、チェビシェフ距離）に応じて出力値を決定する関数が用いられる。この場合のφ（ｐ，ｑ）は、１（画素値ｐと画素値ｑとの間の差の絶対値が予め設定された閾値θよりも大きい場合）または０（画素値ｐと画素値ｑとの間の差の絶対値が閾値θ以下である場合）のいずれかの値となる。

（第二被写体抽出部１２）
第二被写体抽出部１２は、入力映像Ｉの単一フレームから、所定の映像特徴を有する領域（第二被写体の領域）を抽出し、当該領域の形状を表し、かつ当該領域と他の領域とを区別する画素値を有するキー映像Ｆを生成し（ステップＳ２０３）、キー映像Ｆを合成部１３に出力する。

所定の映像特徴を有する領域とは、第一被写体抽出部１１により抽出される第一被写体に関連する物の領域であり、例えば、第一被写体と共に動く第一被写体の影の領域である。

第二被写体抽出部１２は、例えば、映像特徴として色ベクトルに関する情報を用いるクロマキー技術またはルミナンスキー技術を用いて、キー映像Ｆを生成する。

例えば、以下の式が用いられる。

ここで、画素値が離散的である場合には、関数Ψの代わりに、３次元ルックアップテーブルが用いられる。関数Ψはキー映像Ｆの画素値を定める関数であり、例えば、第二被写体としたい色ベクトルｃ₁に対し、Ψ（ｃ₁）＝１とする。一方、第二被写体としたくない色ベクトルｃ₀に対し、Ψ（ｃ₀）＝０とする。

例えば第二被写体抽出部１２は、入力映像Ｉの各画素が緑色であるか否か（芝生であるか否か）を判定する。そして、第二被写体抽出部１２は、緑色である（芝生である）場合、キー映像Ｆの当該画素の画素値を０に設定し、緑色以外である（芝生でない）場合、キー映像Ｆの当該画素の画素値を１に設定する。

関数Ψは、画素が色ベクトルｃ＝［ｃ^(r) ｃ^(g) ｃ^(b)］^Ｔ（上付きのＴは、行列またはベクトルの転置を表す）なる３次元のベクトルで表される場合、以下の式が用いられる。

θ₀ ^(r)，θ₁ ^(r)，θ₀ ^(g)，θ₁ ^(g)，θ₀ ^(b)，θ₁ ^(b)は、予め設定された閾値である。

尚、第二被写体抽出部１２は、クロマキー技術またはルミナンスキー技術を用いて、キー映像Ｆの画素値を２値以上の多値としてもよい。例えば、キー映像Ｆの画素値を０以上かつ１以下とし、画素値が大きいほど「第二被写体らしい」ものと定義するようにしてもよい。

（合成部１３）
合成部１３は、背景生成部１０から背景映像Ｂを入力すると共に、第二被写体抽出部１２からキー映像Ｆを入力する。そして、合成部１３は、背景映像Ｂに対し、キー映像Ｆに基づくキーイングにより入力映像Ｉの画素値を合成し、合成あり背景映像Ａ（第二被写体が合成された背景映像Ａ）を生成する（ステップＳ２０４）。合成部１３は、合成あり背景映像Ａを第一射影変換部１４に出力する。

例えば、第二被写体抽出部１２により、第二被写体である影の部分の色をＦ（ｔ；ｘ，ｙ）＝１、それ以外をＦ（ｔ；ｘ，ｙ）＝０としてキー映像Ｆが生成された場合を想定する。この場合、合成部１３は、例えば以下の式にて、背景映像Ｂに対し、キー映像Ｆの示す映像（キー映像Ｆの示す入力映像Ｉの部分）を合成した合成あり背景映像Ａを生成する。

前記式（５）において、右辺の第一項は、入力映像Ｉにおけるキー映像Ｆの示す影の領域の映像を示し、第二項は、背景映像Ｂにおけるキー映像Ｆの示す影以外の領域の映像を示す。

尚、合成部１３は、背景映像Ｂに対し、キー映像Ｆ及びキー映像Ｋに基づくキーイングにより入力映像Ｉの画素値を合成し、合成あり背景映像Ａを生成するようにしてもよい。

例えば、第二被写体抽出部１２により、第二被写体である日向の背景色（例えば、日向の芝生）をＦ（ｔ；ｘ，ｙ）＝０、それ以外をＦ（ｔ；ｘ，ｙ）＝１としてキー映像Ｆが生成された場合を想定する。この場合、合成部１３は、例えば以下の式にて、合成あり背景映像Ａを生成する。

前記式（６）において、Ｆ（ｔ；ｘ，ｙ）＝１の部分には日陰の背景領域及び前景（背景領域における影及び被写体領域における影）が含まれ、Ｋ（ｔ；ｘ，ｙ）＝１の部分には前景（被写体）が含まれる。したがって、右辺のＦ（ｔ；ｘ，ｙ）・（１－Ｋ（ｔ；ｘ，ｙ））＝１の部分には、日陰の背景領域（背景領域における影）のみが含まれることとなる。その結果、合成あり背景映像Ａは、背景映像Ｂに対し、影の映像のみを合成した絵柄となる。

例えば、影の色が被写体の色と同じ場合には、影のみが反映されるべきキー映像Ｆは、被写体を含んでしまい、合成あり背景映像Ａは、被写体の映像も含んでしまう。前記式（６）を用いることにより、合成あり背景映像Ａから被写体の映像を除外することができる。

（第一射影変換部１４）
第一射影変換部１４は、合成部１３から合成あり背景映像Ａを入力すると共に、予め設定された入力映像Ｉのカメラパラメータ及び仮想視点映像Ｊのカメラパラメータを入力する。

第一射影変換部１４は、合成あり背景映像Ａの各画素値が、被写界における所定の面内（例えば、地上高０の平面内、実空間上の面Ｇ内）の一点（または部分領域）を入力映像Ｉのカメラパラメータに応じて投影して撮像されたものと仮定する。そして、第一射影変換部１４は、被写界における所定の面内の一点（または部分領域）を、仮想視点（仮想視点映像Ｊ）のカメラパラメータに応じて、仮想視点映像Ｊの平面上に投影することで、背景の仮想視点映像Ｌを生成する（ステップＳ２０５）。

すなわち、第一射影変換部１４は、合成あり背景映像Ａの各画素値が、被写界における所定の面内に存在することを仮定した射影変換を実行し、背景の仮想視点映像Ｌを生成する。第一射影変換部１４は、背景の仮想視点映像Ｌを合成部１７に出力する。

実装上は、第一射影変換部１４は、仮想視点映像Ｊの画像座標から入力映像Ｉの画像座標へと光線を逆にたどることで、仮想視点映像Ｊの平面上に投影された合成あり背景映像Ａの画素値を決定し、背景の仮想視点映像Ｌを生成する。

図３は、第一射影変換部１４の構成例を示すブロック図であり、図４は、第一射影変換部１４の動作を説明する図である。第一射影変換部１４は、フレームメモリ２０，２４、走査部２１、第一逆投影部２２及び第一投影部２３を備えている。

走査部２１は、仮想視点映像Ｊのフレーム内の各画素を所定の順序で選択することで、画素の画像座標Ｐ_Jを走査し、画素の画像座標Ｐ_Jを第一逆投影部２２及びフレームメモリ２４に出力する。走査部２１は、例えばラスタ走査により、画素を順次選択する。

第一逆投影部２２は、走査部２１から仮想視点映像Ｊの画素の画像座標Ｐ_Jを入力すると共に、仮想視点映像Ｊのカメラパラメータを入力する。そして、第一逆投影部２２は、仮想視点映像Ｊのカメラパラメータに基づいて、画像座標Ｐ_Jを、被写界における所定の面である実空間上の面Ｇに逆投影し、逆投影像の点Ｐ_Gを設定し、点Ｐ_Gの位置情報を第一投影部２３に出力する。すなわち、第一逆投影部２２は、画像座標Ｐ_Jが実空間上の面Ｇのどこに対応するかを求め、対応する点Ｐ_Gを設定する。

具体的には、第一逆投影部２２は、仮想視点映像Ｊの光学主点Ｏ_Jから画像座標Ｐ_Jの点を通る半直線を、画像座標Ｐ_Jの点方向へ伸ばし、その半直線が面Ｇと交わる点（複数の交わる点を有する場合には、光学主点Ｏ_Jに最も近い点）を求め、点Ｐ_Gを設定する。

尚、面Ｇは平面であってもよいし、曲面であってもよい。面Ｇは、例えば被写界における地面、壁面、天井面（測量の結果得られる曲面であってもよいし、それを近似した平面であってもよい）とする。

第一投影部２３は、第一逆投影部２２から点Ｐ_Gの位置情報を入力すると共に、入力映像Ｉのカメラパラメータを入力する。そして、第一投影部２３は、入力映像Ｉのカメラパラメータに基づいて、点Ｐ_Gを入力映像Ｉの平面上に投影し、投影像の画像座標Ｐ_Iを設定し、画像座標Ｐ_Iをフレームメモリ２０に出力する。すなわち、第一投影部２３は、点Ｐ_Gが入力映像Ｉの平面のどこに対応するかを求め、対応する画像座標Ｐ_Iを設定する。

具体的には、第一投影部２３は、点Ｐ_Gと入力映像Ｉを撮影したカメラの光学主点Ｏ_Iとを結ぶ線分が、入力映像Ｉの平面と交わる点を求め、これを画像座標Ｐ_Iに設定する。

フレームメモリ２０は、合成部１３から合成あり背景映像Ａを入力し、合成あり背景映像Ａを格納する。これにより、フレームメモリ２０には、合成あり背景映像Ａの画素値が保持される。フレームメモリ２０は、第一投影部２３から画像座標Ｐ_Iを入力する。そして、フレームメモリ２０は、画像座標Ｐ_I（その水平及び垂直成分をそれぞれＰ_I ^(x)及びＰ_I ^(y)とする）における合成あり背景映像Ａの画素値、すなわち入力映像Ｉの画素値Ｉ（ｔ；Ｐ_I ^(x)，Ｐ_I ^(y)）をフレームメモリ２４に出力する。

つまり、第一射影変換部１４により、フレームメモリ２０から、第一投影部２３にて設定された画像座標Ｐ_Iにおける画素値Ｉ（ｔ；Ｐ_I ^(x)，Ｐ_I ^(y)）が読み出され、フレームメモリ２４に出力される。

フレームメモリ２４は、走査部２１から画像座標Ｐ_Jを入力すると共に、フレームメモリ２０から画素値Ｉ（ｔ；Ｐ_I ^(x)，Ｐ_I ^(y)）を入力する。そして、フレームメモリ２４は、以下の式に示すように、画像座標Ｐ_J（その水平及び垂直成分をそれぞれＰ_J ^(x)及びＰ_J ^(y)とする）の位置に、画素値Ｉ（ｔ；Ｐ_I ^(x)，Ｐ_I ^(y)）を背景の仮想視点映像Ｌの画素値として格納する。フレームメモリ２４は、背景の仮想視点映像Ｌを合成部１７に出力する。

つまり、第一射影変換部１４により、フレームメモリ２４から、走査部２１にて設定された画像座標Ｐ_Jの位置に画素値Ｉ（ｔ；Ｐ_I ^(x)，Ｐ_I ^(y)）が格納され、背景の仮想視点映像Ｌとして読み出され、合成部１７に出力される。

（ビルボード設定部１５）
図１及び図２に戻って、ビルボード設定部１５は、第一被写体抽出部１１からキー映像Ｋを入力すると共に、予め設定された入力映像Ｉのカメラパラメータを入力する。そして、ビルボード設定部１５は、キー映像Ｋの示す被写体領域（例えば、Ｋ（ｔ；ｘ，ｙ）＝１を満たす領域）の各連結領域Ｃ_i（ｉは、連結領域の個々を区別するためのインデックスとする。）に対して、それぞれ所定のモデルによるビルボードの面Π_iを設定する（ステップＳ２０６）。所定のモデルによるビルボードの面Π_iとは、例えば、平面、円筒面または球面とする。

ビルボード設定部１５は、ビルボードの面Π_iのパラメータ（例えば、面の方程式の各係数）をビルボードパラメータとして設定し、ビルボードパラメータを第二射影変換部１６に出力する。ここでは、ビルボード設定部１５は、連結領域Ｃ_iの総数（Ｄ個とする）のビルボードパラメータを出力するものとする。

図５は、ビルボード設定部１５の動作を説明する図である。ビルボード設定部１５は、所定のモデルによるビルボードの面Π_iを平面とする場合には、例えば、以下の（ａ）、（ｂ）及び（ｃ）の全ての条件を満たすように、ビルボードの面Π_iを設定する。

以下、図５を参照して説明する。
（ａ）面Π_iは、連結領域Ｃ_iの代表点（例えば、連結領域Ｃ_i（図５に示す黒塗りの領域）のバウンディングボックスの底辺の中点）を面Ｇ上に逆投影した点Ｘ（入力映像Ｉを撮影したカメラの光学主点Ｏ_Iを始点とし、入力映像Ｉの平面上の前記代表点を通る半直線が面Ｇと交差する点Ｘ）を含む。

（ｂ）面Π_iの法線ベクトルは、点Ｘにおける面Ｇの法線ベクトルと直交する。
（ｃ）面Π_iは、前記（ａ）及び（ｂ）を満たす平面のうち、点Ｘから光学主点Ｏ_Iへのベクトルと、当該面Π_iの法線ベクトルとの間の成す角が最小となるものである。

尚、ビルボード設定部１５は、前記（ｃ）の代わりに、以下の（ｄ）または（ｅ）の条件を満たすように、ビルボードの面Π_iを設定するようにしてもよい。
（ｄ）面Π_iは、前記（ａ）及び（ｂ）を満たす平面のうち、点Ｘから仮想視点映像Ｊの光学主点Ｏ_Jへのベクトルと、当該面Π_iの法線ベクトルとの間の成す角が最小となるものである。
（ｅ）点Ｘから光学主点Ｏ_Iへのベクトルをｖ_Iとし、点Ｘから光学主点Ｏ_Jへのベクトルをｖ_Jとする。面Π_iは、前記（ａ）及び（ｂ）を満たす平面のうち、ベクトル（αｖ_I＋（１－α）ｖ_J）と、当該面Π_iの法線ベクトルとの間の成す角が最小となるものである。パラメータαは、０＜α＜１を満たす実数とする（例えばα＝０．５）。

前記（ｅ）の条件を満たすように面Π_iが設定されることにより、後述する合成部１７にて生成される仮想視点映像Ｊに含まれる被写体は、前記（ｃ）または前記（ｄ）を満たす場合に比べ、実際に近い形態で表現することができる。

このようにして設定されたビルボードの面Π_iのパラメータは、連結領域Ｃ_iの総数をＤ個とした場合、Ｄ個のビルボードパラメータとして第二射影変換部１６へ出力される。

（第二射影変換部１６）
図１及び図２に戻って、第二射影変換部１６は、予め設定された入力映像Ｉのカメラパラメータ及び仮想視点映像Ｊのカメラパラメータを入力する。また、第二射影変換部１６は、第一被写体抽出部１１からキー映像Ｋを入力すると共に、ビルボード設定部１５からＤ個のビルボードパラメータを入力する。

第二射影変換部１６は、入力映像Ｉ及びキー映像Ｋの各画素がビルボード（Ｄ個のビルボードパラメータが示す面Π_i）上にあるという仮定の下で、入力映像Ｉのカメラパラメータ、仮想視点映像Ｊのカメラパラメータ及びビルボードを用いて射影変換を実行する。

第二射影変換部１６は、前景の仮想視点映像（第一被写体の仮想視点映像）Ｍ₁～Ｍ_D及びキーの仮想視点映像（第一キーの仮想視点映像）Ｎ₁～Ｎ_Dを生成する（ステップＳ２０７）。第二射影変換部１６は、前景の仮想視点映像Ｍ₁～Ｍ_D及びキーの仮想視点映像Ｎ₁～Ｎ_Dを合成部１７に出力する。ここで、キーの仮想視点映像Ｎ₁～Ｎ_Dは、第一被写体の形状を表し、かつ当該第一被写体の領域と他の領域とを区別する画素値を有するキー映像である。

以下、各ビルボードの法線の向きは、ビルボード設定部１５により設定されたビルボードの面Π_iの各法線ベクトルの方向のまま固定する場合で説明する。尚、各ビルボードの法線の向きは、各ビルボードを例えば仮想視点映像Ｊの光学主点Ｏ_Jに指向させる等、その法線方向に修正を加えるものであってもよい。

図６は、第二射影変換部１６の動作を説明する図である。Ｄ個のビルボードパラメータのそれぞれについて、射影変換が実行される。以下、Ｄ個のビルボードパラメータのうちｉ番目のビルボードパラメータについての射影変換について説明する。仮想視点映像Ｊの平面上のある注目画素の画像座標をＰ_Jとし、画像座標Ｐ_Jに対応する入力映像Ｉの平面上にある画素の画像座標をＲ_iとする。

第二射影変換部１６は、仮想視点映像Ｊの光学主点Ｏ_Jを始点として、始点から注目画素の画像座標Ｐ_Jを通る半直線が、ｉ番目のビルボードの面Π_iと交わる点Ｑ_iを求める。そして、第二射影変換部１６は、点Ｑ_iを入力映像Ｉの平面上に投影し、その像の画像座標Ｒ_iを求める。

具体的には、第二射影変換部１６は、点Ｑ_iと入力映像Ｉの光学主点Ｏ_Iとを結ぶ線分が入力映像Ｉの平面と交差する点の画像座標を求め、これを画像座標Ｒ_iに設定する。第二射影変換部１６は、画像座標Ｒ_iにおける入力映像Ｉの画素値を、仮想視点映像Ｊの平面上の注目画素の画像座標Ｐ_Jにおける画素値に設定する。また、第二射影変換部１６は、画像座標Ｒ_iにおけるキー映像Ｋの画素値を、仮想視点映像Ｊの平面上の注目画素の画像座標Ｐ_Jにおけるキー値に設定する。

図７は、第二射影変換部１６の構成例を示すブロック図である。この第二射影変換部１６は、走査部３０，３４、ビルボード選択部３１、フレームメモリ３２，３３，３７，３８、第二逆投影部３５及び第二投影部３６を備えている。

走査部３０は、Ｄ個のビルボードパラメータの示すビルボードを所定の順序で選択することで、ビルボードのインデックスｉ（選択したビルボードを識別するためのインデックス）を走査する。走査部３０は、インデックスｉをビルボード選択部３１に出力する。

尚、走査部３０は、Ｄ個のビルボードから１つを選択する際に、仮想視点映像Ｊの光学主点Ｏ_Jからの距離が遠いもの（光学主点Ｏ_Jからビルボードの面Πの代表点（例えば重心座標）までの距離（例えばユークリッド距離）が遠いもの）ほど先に選択するようにしてもよい。

これにより、後述する合成部１７において、複数のビルボードによる映像が重なり合う場合に、この順番で映像が合成されることで、近くの画素を優先することができ、遠くのビルボードを近くのビルボードで隠すいわゆる陰面処理を実現することができる。

ビルボード選択部３１は、ビルボード設定部１５からＤ個のビルボードパラメータを入力すると共に、走査部３０からインデックスｉを入力する。そして、ビルボード選択部３１は、Ｄ個のビルボードパラメータのうち、インデックスｉの示すビルボードパラメータを選択し、選択したビルボードパラメータを第二逆投影部３５に出力する。

走査部３４は、出力すべき前景の仮想視点映像Ｍ及びキーの仮想視点映像Ｎの平面上において画素位置を走査することで、各画素を所定の順序で選択し、画素の画像座標Ｐ_Jを第二逆投影部３５及びフレームメモリ３７，３８に出力する。走査部３４は、例えばラスタ走査により、画素を順次選択する。

第二逆投影部３５は、走査部３４から、前景の仮想視点映像Ｍ及びキーの仮想視点映像Ｎにおける画素の画像座標Ｐ_Jを入力すると共に、ビルボード選択部３１からビルボードパラメータを入力する。また、第二逆投影部３５は、予め設定された仮想視点映像Ｊのカメラパラメータを入力する。

第二逆投影部３５は、仮想視点映像Ｊのカメラパラメータに基づいて、画像座標Ｐ_Jを、ビルボードパラメータの示すビルボードの面Π_iに逆投影し、逆投影像の点Ｑ_iを設定し、点Ｑ_iの位置情報を第二投影部３６に出力する。すなわち、第二逆投影部３５は、画像座標Ｐ_Jがビルボードの面Π_iのどこに対応するかを求め、対応する点Ｑ_iを設定する。

具体的には、第二逆投影部３５は、仮想視点映像Ｊの光学主点Ｏ_Jから画像座標Ｐ_Jの点を通る半直線を、画像座標Ｐ_Jの点方向へ伸ばし、その半直線がビルボードの面Π_iと交わる点（複数の交わる点を有する場合には、光学主点Ｏ_Jに最も近い点）を求め、点Ｑ_iを設定する。

第二投影部３６は、第二逆投影部３５から点Ｑ_iの位置情報を入力すると共に、入力映像Ｉのカメラパラメータを入力する。そして、第二投影部３６は、入力映像Ｉのカメラパラメータに基づいて、点Ｑ_iを入力映像Ｉの平面上に投影し、投影像の画像座標Ｒ_iを設定し、画像座標Ｒ_iをフレームメモリ３２，３３に出力する。すなわち、第二投影部３６は、点Ｑ_iが入力映像Ｉの平面のどこに対応するかを求め、対応する画像座標Ｒ_iを設定する。

具体的には、第二投影部３６は、点Ｑ_iと入力映像Ｉを撮影したカメラの光学主点Ｏ_Iとを結ぶ線分が、入力映像Ｉの平面と交わる点を求め、これを画像座標Ｒ_iに設定する。

フレームメモリ３２は、入力映像Ｉを格納する。これにより、フレームメモリ３２には、入力映像Ｉの画素値が保持される。フレームメモリ３２は、第二投影部３６から画像座標Ｒ_iを入力する。そして、フレームメモリ３２は、画像座標Ｒ_i（その水平及び垂直成分をそれぞれＲ_i ^(x)及びＲ_i ^(y)とする）における入力映像Ｉの画素値Ｉ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）をフレームメモリ３７に出力する。

つまり、第二射影変換部１６により、フレームメモリ３２から、第二投影部３６にて設定された画像座標Ｒ_iにおける画素値Ｉ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）が読み出され、フレームメモリ３７に出力される。

フレームメモリ３７は、走査部３４から画像座標Ｐ_Jを入力すると共に、フレームメモリ３２から画素値Ｉ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）を入力する。そして、フレームメモリ３７は、以下の式に示すように、画像座標Ｐ_J（その水平及び垂直成分をそれぞれＰ_J ^(x)及びＰ_J ^(y)とする）の位置に、画素値Ｉ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）を格納し、これを前景の仮想視点映像Ｍ_iの画素値Ｍ_i（ｔ；Ｐ_J ^(x)，Ｐ_J ^(y)）とする。

つまり、第二射影変換部１６により、フレームメモリ３７において、走査部３４にて設定された画像座標Ｐ_Jの位置に、画素値Ｉ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）が前景の仮想視点映像Ｍ_iの画素値Ｍ_i（ｔ；Ｐ_J ^(x)，Ｐ_J ^(y)）として格納される。

走査部３０により全てのインデックスｉが走査され、全てのインデックスｉについての画素値Ｉ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）が前景の仮想視点映像Ｍ_iの画素値Ｍ_i（ｔ；Ｐ_J ^(x)，Ｐ_J ^(y)）として、フレームメモリ３７に格納される。

フレームメモリ３７は、全てのインデックスｉ（ｉ＝１～Ｄ）について格納した前景の仮想視点映像Ｍ₁～Ｍ_Dを、合成部１７に出力する。

つまり、第二射影変換部１６により、フレームメモリ３７から前景の仮想視点映像Ｍ₁～Ｍ_Dが読み出され、合成部１７に出力される。

フレームメモリ３３は、第一被写体抽出部１１からキー映像Ｋを入力して格納する。これにより、フレームメモリ３３には、キー映像Ｋの画素値が保持される。フレームメモリ３３は、第二投影部３６から画像座標Ｒ_iを入力する。そして、フレームメモリ３３は、画像座標Ｒ_i（その水平及び垂直成分をそれぞれＲ_i ^(x)及びＲ_i ^(y)とする）におけるキー映像Ｋの画素値Ｋ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）をフレームメモリ３８に出力する。

つまり、第二射影変換部１６により、フレームメモリ３３から、第二投影部３６にて設定された画像座標Ｒ_iにおける画素値Ｋ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）が読み出され、フレームメモリ３８に出力される。

フレームメモリ３８は、走査部３４から画像座標Ｐ_Jを入力すると共に、フレームメモリ３３から画素値Ｋ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）を入力する。そして、フレームメモリ３８は、以下の式に示すように、画像座標Ｐ_J（その水平及び垂直成分をそれぞれＰ_J ^(x)及びＰ_J ^(y)とする）の位置に、画素値Ｋ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）を格納し、これをキーの仮想視点映像Ｎ_iの画素値Ｎ_i（ｔ；Ｐ_J ^(x)，Ｐ_J ^(y)）とする。

つまり、第二射影変換部１６により、フレームメモリ３８において、走査部３４にて設定された画像座標Ｐ_Jの位置に、画素値Ｋ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）がキーの仮想視点映像Ｎ_iの画素値Ｎ_i（ｔ；Ｐ_J ^(x)，Ｐ_J ^(y)）として格納される。

走査部３０により全てのインデックスｉが走査され、全てのインデックスｉについての画素値Ｋ（ｔ；Ｒ_i ^(x)，Ｒ_i ^(y)）がキーの仮想視点映像Ｎ_iの画素値Ｎ_i（ｔ；Ｐ_J ^(x)，Ｐ_J ^(y)）として、フレームメモリ３８に格納される。

フレームメモリ３８は、全てのインデックスｉ（ｉ＝１～Ｄ）について格納したキーの仮想視点映像Ｎ₁～Ｎ_Dを、合成部１７に出力する。

つまり、第二射影変換部１６により、フレームメモリ３８からキーの仮想視点映像Ｎ₁～Ｎ_Dが読み出され、合成部１７に出力される。

（合成部１７）
図１及び図２に戻って、合成部１７は、第一射影変換部１４から背景の仮想視点映像Ｌを入力すると共に、第二射影変換部１６から前景の仮想視点映像Ｍ₁～Ｍ_D及びキーの仮想視点映像Ｎ₁～Ｎ_Dを入力する。そして、合成部１７は、キーの仮想視点映像Ｎ₁～Ｎ_Dに基づいて、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍ₁～Ｍ_Dを合成し、仮想視点映像Ｊを生成して出力する（ステップＳ２０８）。

合成部１７は、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍ₁～Ｍ_Dを合成する際に、例えば以下の式で表す処理を行う。具体的には、合成部１７は、キーの仮想視点映像Ｎ₁～Ｎ_Dにおける当該画素位置の画素値を参照し、ｉ＝１～Ｄの順番に、その画素値が大きいほど、前景の仮想視点映像Ｍ₁～Ｍ_Dを低い透明度で重畳し、その画素値が小さいほど、前景の仮想視点映像Ｍ₁～Ｍ_Dを高い透明度で重畳することで、仮想視点映像Ｊを生成する。

尚、合成部１７は、キーの仮想視点映像Ｎ₁～Ｎ_Dを用いることなく、背景の仮想視点映像Ｌを下地として、その上に前景の仮想視点映像Ｍ₁～Ｍ_Dを画素位置毎に重畳し、仮想視点映像Ｊを生成するようにしてもよい。

また、合成部１７は、仮想視点映像Ｊの各画素について、当該画素の各ビルボード上の対応点Ｑ_iと光学主点Ｏ_Jとの間の距離を算出し、全ビルボード中最も距離の短いビルボードの画素値を特定し、この画素値を用いて仮想視点映像Ｊを生成するようにしてもよい。

以上のように、本発明の実施形態の仮想視点変換装置１によれば、背景生成部１０は、入力映像Ｉの複数フレームから背景映像Ｂを生成し、第一被写体抽出部１１は、入力映像Ｉの複数フレーム及び背景映像Ｂに基づいて第一被写体の領域を抽出し、キー映像Ｋを生成する。

第二被写体抽出部１２は、入力映像Ｉの単一フレームから所定の映像特徴を有する第二被写体の領域を抽出し、キー映像Ｆを生成する。合成部１３は、背景映像Ｂに対し、キー映像Ｆに基づくキーイングにより入力映像Ｉの画素値を合成し、合成あり背景映像Ａを生成する。

第一射影変換部１４は、合成あり背景映像Ａの各画素値が、被写界における面Ｇ内の一点を入力映像Ｉのカメラパラメータに応じて投影して撮像されたものと仮定し、面Ｇ内の一点を、仮想視点映像Ｊのカメラパラメータに応じて、仮想視点映像Ｊの平面上に投影することで、背景の仮想視点映像Ｌを生成する。

ビルボード設定部１５は、キー映像Ｋの示す被写体領域の各連結領域Ｃ_iに対し、それぞれ所定のモデルによるビルボードの面Π_iを設定し、Ｄ個のビルボードパラメータを設定する。

第二射影変換部１６は、入力映像Ｉ及びキー映像Ｋの各画素がビルボード（Ｄ個のビルボードパラメータが示す面Π_i）上にあるという仮定の下で、射影変換を実行し、前景の仮想視点映像Ｍ₁～Ｍ_D及びキーの仮想視点映像Ｎ₁～Ｎ_Dを生成する。

合成部１７は、キーの仮想視点映像Ｎ₁～Ｎ_Dに基づいて、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍ₁～Ｍ_Dを合成し、仮想視点映像Ｊを生成して出力する。

これにより、入力映像Ｉに含まれる背景及び第一被写体である前景に対し、異なる射影変換を適用することで、異なる視点から見た仮想視点映像Ｊを仮想的に生成することができる。この場合、背景映像Ｂにおいて欠落してしまう影等の第二被写体を第二被写体抽出部１２にて抽出し、合成部１３にて背景映像Ｂに合成するようにしたから、合成部１７において、より自然な仮想視点映像Ｊを得ることができる。

したがって、撮影時の入力映像Ｉを、撮影時とは異なる視点の映像に仮想的に変換する際に、第一被写体の影等の第二被写体を有する領域を適切に合成することができ、一層自然な仮想視点映像Ｊを生成することが可能となる。

〔他の実施形態〕
次に、仮想視点変換装置１について他の実施形態を説明する。図８は、本発明の他の実施形態による仮想視点変換装置の構成例を示すブロック図である。この仮想視点変換装置２は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、ビルボード設定部１５、第二射影変換部１６、合成部１７及び第一射影変換部１８を備えている。

図１に示した仮想視点変換装置１とこの仮想視点変換装置２とを比較すると、両仮想視点変換装置１，２は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている点で共通する。一方、仮想視点変換装置２は、合成部１３を備えておらず、第一射影変換部１４の代わりに第一射影変換部１８を備えている点で、合成部１３及び第一射影変換部１４を備えている仮想視点変換装置１と相違する。

第一射影変換部１８は、第二被写体（例えば影）が合成された合成あり背景映像Ａを入力する代わりに、第二被写体抽出部１２から第二被写体の形状等を表すキー映像Ｆを入力する。また、第一射影変換部１８は、入力映像Ｉを入力し、予め設定された入力映像Ｉのカメラパラメータ及び仮想視点映像Ｊのカメラパラメータを入力する。

第一射影変換部１８は、入力映像Ｉからキー映像Ｆの示す映像を抽出し、第二被写体映像を生成する。つまり、第一射影変換部１８は、キー映像Ｆの示す入力映像Ｉの部分を第二被写体映像として生成し、第二被写体映像に対し、第一射影変換部１４と同様の処理を行い、第二被写体の仮想視点映像Ｌ’を生成する。

具体的には、第一射影変換部１８は、第二被写体映像の各画素値が、実空間上の面Ｇ内の一点（または部分領域）を入力映像Ｉのカメラパラメータに応じて投影して撮像されたものと仮定する。そして、第一射影変換部１８は、面Ｇ内の一点（または部分領域）を、仮想視点映像Ｊのカメラパラメータに応じて、仮想視点映像Ｊの平面上に投影することで、第二被写体の仮想視点映像Ｌ’を生成する。

すなわち、第一射影変換部１８は、第二被写体映像の各画素値が、面Ｇ内に存在することを仮定した射影変換を実行し、第二被写体の仮想視点映像Ｌ’を生成し、第二被写体の仮想視点映像Ｌ’を合成部１７に出力する。

合成部１７は、背景の仮想視点映像Ｌの代わりに、第一射影変換部１８から第二被写体の仮想視点映像Ｌ’を入力し、前述した処理を行う。すなわち、合成部１７は、キーの仮想視点映像Ｎ₁～Ｎ_Dに基づいて、第二被写体の仮想視点映像Ｌ’及び前景の仮想視点映像Ｍ₁～Ｍ_Dを合成し、仮想視点映像Ｊを生成して出力する。

以上のように、本発明の他の実施形態の仮想視点変換装置２によれば、背景生成部１０は、背景映像Ｂを生成し、第一被写体抽出部１１は、キー映像Ｋを生成し、第二被写体抽出部１２は、キー映像Ｆを生成する。

第一射影変換部１８は、キー映像Ｆの示す入力映像Ｉの部分を第二被写体映像として生成する。そして、第一射影変換部１８は、第二被写体映像の各画素値が、実空間上の面Ｇ内の一点を入力映像Ｉのカメラパラメータに応じて投影して撮像されたものと仮定し、面Ｇ内の一点を、仮想視点映像Ｊのカメラパラメータに応じて、仮想視点映像Ｊの平面上に投影することで、第二被写体の仮想視点映像Ｌ’を生成する。

ビルボード設定部１５は、Ｄ個のビルボードパラメータを設定し、第二射影変換部１６は、前景の仮想視点映像Ｍ₁～Ｍ_D及びキーの仮想視点映像Ｎ₁～Ｎ_Dを生成する。

合成部１７は、キーの仮想視点映像Ｎ₁～Ｎ_Dに基づいて、第二被写体の仮想視点映像Ｌ’及び前景の仮想視点映像Ｍ₁～Ｍ_Dを合成し、仮想視点映像Ｊを生成して出力する。

これにより、入力映像Ｉに含まれる第一被写体及び第二被写体に対し、異なる射影変換を適用することで、異なる視点から見た仮想視点映像Ｊを仮想的に生成することができる。この場合、第二被写体抽出部１２にて第二被写体の領域を抽出し、第一射影変換部１８にて第二被写体の仮想視点映像Ｌ’を生成するようにしたから、合成部１７において、より自然な仮想視点映像Ｊを得ることができる。

したがって、撮影時の入力映像Ｉを、撮影時とは異なる視点の映像に仮想的に変換する際に、第一被写体の影等の第二被写体を有する領域を適切に合成することができ、一層自然な仮想視点映像Ｊを生成することが可能となる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

尚、本発明の実施形態による仮想視点変換装置１，２のハードウェア構成としては、通常のコンピュータを使用することができる。仮想視点変換装置１，２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

仮想視点変換装置１に備えた背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、合成部１３，１７、第一射影変換部１４、ビルボード設定部１５及び第二射影変換部１６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、仮想視点変換装置２に備えた背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、ビルボード設定部１５、第二射影変換部１６、合成部１７及び第一射影変換部１８の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１，２ 仮想視点変換装置
１０ 背景生成部
１１ 第一被写体抽出部
１２ 第二被写体抽出部
１３ 合成部（背景合成部）
１４，１８ 第一射影変換部
１５ ビルボード設定部
１６ 第二射影変換部
１７ 合成部
２０，２４，３２，３３，３７，３８ フレームメモリ
２１，３０，３４ 走査部
２２ 第一逆投影部
２３ 第一投影部
３１ ビルボード選択部
３５ 第二逆投影部
３６ 第二投影部
Ｉ 入力映像
Ｋ，Ｆ キー映像
Ａ 合成あり背景映像
Ｂ 背景映像
Ｃ_i 連結領域
Ｌ 背景の仮想視点映像
Ｌ’ 第二被写体の仮想視点映像
Ｊ 仮想視点映像
Ｍ₁～Ｍ_D 前景の仮想視点映像（第一被写体の仮想視点映像）
Ｎ₁～Ｎ_D キーの仮想視点映像（第一キーの仮想視点映像）
Ｏ_I，Ｏ_J 光学主点
Ｇ 実空間上の面

Claims (4)

1. 撮影時の入力映像を、前記撮影時とは異なる視点の映像に仮想的に変換することで、仮想視点映像を生成する仮想視点変換装置において、
   前記入力映像から背景映像を生成する背景生成部と、
   前記入力映像から第一被写体の領域を抽出し、前記第一被写体の形状及び所定の画素値を有する第一キー映像を生成する第一被写体抽出部と、
   前記入力映像から所定の映像特徴を有する第二被写体の領域を抽出し、前記第二被写体の形状及び所定の画素値を有する第二キー映像を生成する第二被写体抽出部と、
   前記第二キー映像の示す前記入力映像の部分を第二被写体映像として生成し、当該第二被写体映像に対し、前記入力映像のカメラパラメータ及び前記仮想視点映像のカメラパラメータを用いて第一の射影変換を行い、前記第二被写体の仮想視点映像を生成する第一射影変換部と、
   前記第一被写体抽出部により生成された前記第一キー映像、及び前記入力映像のカメラパラメータに基づいて、ビルボードを設定するビルボード設定部と、
   前記入力映像及び前記第一被写体抽出部により生成された前記第一キー映像に対し、前記入力映像のカメラパラメータ、前記仮想視点映像のカメラパラメータ及び前記ビルボード設定部により設定された前記ビルボードを用いて第二の射影変換を行い、前記第一被写体の仮想視点映像を生成すると共に、前記第一被写体の形状及び前記所定の画素値を有する第一キーの仮想視点映像を生成する第二射影変換部と、
   前記第二射影変換部により生成された前記第一キーの仮想視点映像に基づいて、前記第一射影変換部により生成された前記第二被写体の仮想視点映像、及び前記第二射影変換部により生成された前記第一被写体の仮想視点映像を合成することで、前記仮想視点映像を生成する合成部と、
   を備えたことを特徴とする仮想視点変換装置。
2. 撮影時の入力映像を、前記撮影時とは異なる視点の映像に仮想的に変換することで、仮想視点映像を生成する仮想視点変換装置において、
   前記入力映像から背景映像を生成する背景生成部と、
   前記入力映像から第一被写体の領域を抽出し、前記第一被写体の形状及び所定の画素値を有する第一キー映像を生成する第一被写体抽出部と、
   前記入力映像から所定の映像特徴を有する第二被写体の領域を抽出し、前記第二被写体の形状及び所定の画素値を有する第二キー映像を生成する第二被写体抽出部と、
   前記背景生成部により生成された前記背景映像に対し、前記第二被写体抽出部により生成された前記第二キー映像の示す前記入力映像の部分を合成することで、前記第二被写体を合成した合成あり背景映像を生成する背景合成部と、
   前記背景合成部により生成された前記合成あり背景映像に対し、前記入力映像のカメラパラメータ及び前記仮想視点映像のカメラパラメータを用いて第一の射影変換を行い、背景の仮想視点映像を生成する第一射影変換部と、
   前記第一被写体抽出部により生成された前記第一キー映像、及び前記入力映像のカメラパラメータに基づいて、ビルボードを設定するビルボード設定部と、
   前記入力映像及び前記第一被写体抽出部により生成された前記第一キー映像に対し、前記入力映像のカメラパラメータ、前記仮想視点映像のカメラパラメータ及び前記ビルボード設定部により設定された前記ビルボードを用いて第二の射影変換を行い、前記第一被写体の仮想視点映像を生成すると共に、前記第一被写体の形状及び前記所定の画素値を有する第一キーの仮想視点映像を生成する第二射影変換部と、
   前記第二射影変換部により生成された前記第一キーの仮想視点映像に基づいて、前記第一射影変換部により生成された前記背景の仮想視点映像、及び前記第二射影変換部により生成された前記第一被写体の仮想視点映像を合成することで、前記仮想視点映像を生成する合成部と、
   を備えたことを特徴とする仮想視点変換装置。
3. 請求項１または２に記載の仮想視点変換装置において、
   前記背景生成部は、
   前記入力映像の複数フレームから前記背景映像を生成し、
   前記第二被写体抽出部は、
   前記入力映像の単一フレームにおける所定の画素値特徴を有する領域を前記第二被写体の領域として抽出する、ことを特徴とする仮想視点変換装置。
4. コンピュータを、請求項１から３までのいずれか一項に記載の仮想視点変換装置として機能させるためのプログラム。

Images