JP5366258B2

JP5366258B2 - 大空間カメラ配置における幾何情報に基づく仮想視点画像生成方法およびプログラム

Info

Publication number: JP5366258B2
Application number: JP2010032136A
Authority: JP
Inventors: 浩嗣三功; 整内藤; 茂之酒澤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2010-02-17
Filing date: 2010-02-17
Publication date: 2013-12-11
Anticipated expiration: 2030-02-17
Also published as: JP2011170487A

Description

本発明は、カメラ間の仮想視点画像を生成する方法およびプログラムに関するものである。より詳細には、大規模な空間で行われるイベントを撮影した多視点画像をもとに仮想視点における画像を生成する方法およびプログラムに関する。

仮想視点画像生成を生成する代表的な合成方法であるモデルベース手法は、３次元のボクセルモデルを作成することにより行われる。この方法は、空間内のユークリッド座標系とカメラ座標系との射影関係を推定するカメラの強校正を予め行う必要がある。しかしながら、大規模な空間において、カメラの強校正を正確に行うことは極めて困難である。

そのため、非特許文献１では、大規模な空間において、仮想視点画像を生成する方法として、カメラ間に成り立つ射影幾何的関係のみを用い、実カメラの中間に視点を移動させた画像を合成する手法を提案している。ここでは、画像を時間とともに位置や形状の変化する移動領域と、カメラからの距離が遠い遠景領域と、それ以外のフィールド領域の三領域に分割して、それぞれに対する合成画像を生成し、それらを重ね合わせることで仮想視点画像を生成している。

上記の移動領域は、複数の移動領域に分割して処理される。まず、隣接する２視点で得られた画像に対して背景差分・２値化を行い、全移動領域が抽出されたシルエット画像を２枚作成する。それぞれの画像に対してラベリングを行い、各移動領域に分割する。分割された各シルエット画像に対して視点間で対応付けを行い、対応のとれた各シルエットに対してエピポーラ線を投影して対応点を算出する。得られた対応点情報をもとにモーフィングを行い仮想視点での画像を合成している。

また、フィールド領域は、平面近似を行い移動領域と同様に対応点を求め、モーフィングにより仮想視点の合成画像を生成している。遠景領域は、イメージモザイキングによって連結し、パノラマ画像からその中間領域を切り出すことで視点の内挿を行っている。

稲本奈穂，斎藤英雄，「サッカーシーンにおける自由視点映像生成のための視点内挿法」ＴＶＲＳＪｖｏｌ．７，ｎｏ．４，２００２年

しかしながら、移動領域の合成は、視点間における人物どうしの対応付けが重要であるが、従来技術においては、人物どうしが重なるオクルージョンの影響や、背景差分時に生じるシルエット画像中のノイズ等の影響により精度が大きく低下してしまうという問題があった。

したがって、本発明は、対象フィールドの幾何的情報をもとに各カメラの射影行列を推定し、人物の位置情報を大まかに算出することで、人物領域の合成を高精度に実現する仮想視点画像生成方法およびプログラムを提供することを目的とする。

上記目的を実現するため本発明による仮想視点での画像を生成する方法は、複数の視点画像から、仮想視点での画像を生成する方法であって、前記複数の視点画像を、１つまたは複数の移動領域と背景領域に分割するステップと、前記複数の視点画像内の幾何情報をもとに、モデル座標空間を構築するステップと、視点画像毎に前記移動領域の座標を算出し、該座標から前記モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成するステップと、前記背景領域の画像から、仮想視点での背景領域の画像を生成するステップと、前記生成された移動領域の画像と前記生成された背景領域の画像を合成するステップと、を含み、前記移動領域の画像を生成するステップは、視点画像毎に、該視点画像と前記モデル座標空間との間で成立する平面射影行列を算出するサブステップと、前記平面射影行列により、視点画像毎に前記移動領域の座標を前記モデル座標空間における床平面に射影するサブステップと、前記射影された座標から、前記移動領域のモデル座標空間における座標を算出するサブステップと、仮想視点において前記モデル座標空間との間で成立する空間射影行列を算出し、該空間射影行列により、前記モデル座標空間中の座標をもとに仮想視点での移動領域の画像を生成するサブステップと、を含み、前記移動領域のモデル座標空間における座標の算出は、各座標間の距離をもとに該座標をグループ化して、同一グループ内の重心を算出することを特徴とする。

また、前記仮想視点での移動領域の画像を生成するサブステップは、モデル座標空間中の移動領域ごとに、適当な大きさの長方形領域を設定し、該長方形領域の仮想視点での対応領域および実視点での対応領域を算出し、仮想視点での対応領域のテクスチャを仮想視点に近い実視点での対応領域から抽出することも好ましい。

また、前記仮想視点での対応領域および実視点での対応領域の算出は、前記仮想視点および実視点において前記モデル座標空間との間で成立する中心射影行列を算出し、該中心射影行列により、前記モデル空間中の移動領域ごとに設定された長方形領域を各仮想画像および実視点に射影することで画像領域を決定することも好ましい。

また、前記仮想視点での対応領域のテクスチャを実視点での対応領域から抽出する方法は、前記仮想視点での対応領域と前記実視点での対応領域間の平面射影行列を算出し、実視点での対応領域のテクスチャを仮想視点での対応領域に射影することも好ましい。

また、前記仮想視点での対応領域のテクスチャを実視点での対応領域から抽出する方法は、前記実視点での対応領域においてオクルージョンが生じているか否かを判定する機能を有し、生じている場合は、他の実視点での対応領域をもとに合成することも好ましい。

また、前記幾何情報は、前記視点画像内の線分の長さおよび対応点であり、前記座標空間を構築するステップは、原点を定め、前記線分の長さをもとに対応点に座標を割り当てることも好ましい。

また、前記幾何情報は、前記視点画像内の平行線であり、前記座標空間を構築するステップは、前記平行線が同一方向になるように各視点画像を回転させ、該視点画像の平行線上の点を距離をもとにグループ化して、同一グループ内の重心を対応点として、該対応点に座標を割り当てることも好ましい。

また、前記平面射影行列は、前記対応点から算出されることも好ましい。

上記目的を実現するため本発明によるコンピュータプログラムは、複数の視点画像から、仮想視点での画像を生成するためのコンピュータを、前記複数の視点画像を、１つまたは複数の移動領域と背景領域に分割する手段と、前記複数の視点画像内の幾何情報をもとに、モデル座標空間を構築する手段と、視点画像毎に前記移動領域の座標を算出し、該座標から前記モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成する手段と、前記背景領域の画像から、仮想視点での背景領域の画像を生成する手段と、前記生成された移動領域の画像と前記生成された背景領域の画像を合成する手段と、して機能させ、前記移動領域の画像を生成する手段は、視点画像毎に、該視点画像と前記モデル座標空間との間で成立する平面射影行列を算出する手段と、前記平面射影行列により、視点画像毎に前記移動領域の座標を前記モデル座標空間における床平面に射影する手段と、前記射影された座標から、前記移動領域のモデル座標空間における座標を算出する手段と、仮想視点において前記モデル座標空間との間で成立する空間射影行列を算出し、該空間射影行列により、前記モデル座標空間中の座標をもとに仮想視点での移動領域の画像を生成する手段と、して機能させ、前記移動領域のモデル座標空間における座標の算出は、各座標間の距離をもとに該座標をグループ化して、同一グループ内の重心を算出することとして機能させ、仮想視点での画像を生成することを特徴とする。

本発明により，従来手法で問題となっていたオクルージョンの影響および背景差分時に生じるシルエット画像中のノイズ等の影響に対してロバストな結果を得ることができ、高精度の仮想視点画像を生成することが可能になった。

本発明による仮想視点画像を構築する方法を示すフローチャートである。本発明による対応点の位置を決定する処理を示すフローチャートである。フットサルコートの縦横のラインから、消失点Ｖ_１，Ｖ_２算出の例を示す。フットサルコートの画像をフィールド平面が正面に来るように変換した画像を示す。フットサルコートの画像内の直線上の対応点を平面にマッピングした例を示す。フットサルコートにおける平面座標での選手位置の算出の例を示す。フットサルコートにおける平面座標での全視点分のマッピング結果の例を示す。視点画像および背景画像に射影された長方形領域を示す。フットサルコートにおける視点１、視点２のカメラ画像と、該カメラ画像から生成された仮想視点画像の例を示す。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。図１は、本発明による仮想視点画像を構築する方法を示すフローチャートである。以下、本フローチャートに基づいて説明する。

本発明は、カメラの強校正を前提としない、画像情報のみを用いた合成方式として、対象フィールドの幾何的情報をもとに、対象フィールドに座標空間を構築し、各カメラ画像の射影行列を推定し、移動領域の位置情報を算出し、仮想視点における射影行列により、移動領域の位置に移動領域の画像を作成することで、仮想視点の画像を高精度に生成する。

ステップ１：複数台のカメラにより、対象フィールドの視点画像と背景画像を複数枚取得する。なお、背景画像は、移動領域が写っていない画像である。本カメラの強校正は予め行う必要はない。また、対象フィールドの幾何的情報として、対象フィールド内の線分の長さ、対応点を予め測定しておく。少なくとも、視点画像毎に４点以上の平面座標、２点以上の空間座標が分かるように測定しておく。また、対象フィールドの幾何的情報として、視点画像内に平行線が２組以上含まれるように撮影することも可能である。平行線とは、例えば、競技コートのラインである。この場合、平行線から対応点を求める。

ステップ２：対象フィールドの視点画像を移動領域と背景領域に分割する。移動領域は、時間とともに位置や形状の変化する領域であり、対象フィールドがフットサルコートである場合、人物領域に該当する。

ステップ３：視点画像間の対応点の位置を決定し、モデル座標空間を構築し、視点画像毎に平面射影行列Ｈ、焦点距離ｆ、中心射影行列Ｐを算出する。

本実施形態は、対応点を予め測定してないため、視点画像内に平行線から対応点を求める。図２は、本発明による対応点の位置を決定する処理を示すフローチャートである。以下、本フローチャートに基づいて説明する。

ステップ２１：消失点から焦点距離を計算する。各カメラ視点画像中の２組の平行な２直線の交点座標から消失点Ｖ_１（ｕ_１，ｖ_１），Ｖ_２（ｕ_２，ｖ_２）を求め、
ｕ_１ｕ_２＋ｖ_１ｖ_２＋ｆ^２＝０
から、焦点距離ｆを求める。図３は、フットサルコートの縦横のラインから、消失点Ｖ_１，Ｖ_２算出の例を示す。

ステップ２２：フィールド正面視点へ画像を変換する。基準となる方向の平行線を定め、その消失点に対し方位角θが０°、仰角φが−９０°となるように回転し、コートラインが画像上で正面に来るようにし、コートが画像内に来るように平行移動する。図４は、フットサルコートの画像をフィールド平面が正面に来るように変換した画像を示す。

上記方位角θ、仰角φは、基準となる消失点Ｖ_１（ｕ_１，ｖ_１）と、焦点距離ｆから

により求まる。なお、ｕ_∞、ｖ_∞は、画像中心の座標を表している。例えば、１９２０×１０８０の画像の場合、ｕ_∞＝９６０，ｖ_∞＝５４０となる。

フィールド平面を正面化する変換行列Ｈ_Ｆは、

と表される。なお、Ａは視点での内部パラメータ行列である。

ステップ２３：直線上の対応点を距離をもとにグループ化し、対応点の位置を決定する。視点画像毎に直線上に対応点を取り、平面にマッピングする。マッピングされた対応点は、ユークリッド距離によるグループ分けされ、グループ内の点を１つの点にまとめる。最初小さな閾値から初め、その閾値内の点を１つにまとめるが、１つにまとまらない場合がある。その場合は、閾値を徐々に大きくしていき、対応点を１つにまとめ、対応点の位置を決定する。

図５は、フットサルコートの画像内の直線上の対応点を平面にマッピングした例を示す。３本の直線上にそれぞれ７つの対応点を取った例を示している。図５ａ、図５ｂ、図５ｃ、図５ｄと閾値を徐々に大きくして対応点をまとめている。図５ｄで、直線上の対応点の位置が決定される。

上記のようにして、各視点画像に対応点の位置が決定され、この対応点を用いて、各視点画像に座標空間を構築し、平面射影行列Ｈ、焦点距離ｆ、中心空間射影行列Ｐを求めることが可能になる。

平面射影行列Ｈは、視点画像の４つ以上の平面上の対応点、例えば、４つのコートラインの座標から算出する。焦点距離ｆは、視点画像の４つ以上の対応点、例えば、コートラインの頂点座標から消失点Ｖ_１（ｕ_１，ｖ_１），Ｖ_２（ｕ_２，ｖ_２）を求め、
ｕ_１ｕ_２＋ｖ_１ｖ_２＋ｆ^２＝０
から求まる。中心射影行列Ｐは、視点画像の４つ以上の平面上の対応点、および２つ以上の空間上の対応点の位置と高さから算出する。

ステップ４：平面射影行列Ｈにより、各移動領域のモデル座標における床平面での座標を算出する。視点画像と背景画像を用意し、各色成分と色相で差分をとり、２値化し、移動領域（選手位置）を検出する。各移動領域をラベリングし、各移動領域の足元点を検出する。平面射影行列Ｈにより各移動領域の足元点を、床平面にマッピングする。

図６は、フットサルコートにおける平面座標での選手位置の算出の例を示す。図６ａは視点画像であり、図６ｂは２進化した画像であり、図６ｃは、選手位置をＬ０からＬ８にラベリングした図であり、図６ｄは、足元点を平面にマッピングした画像であり、足元点は＋で示されている。

ステップ５：全視点分のマッピング結果を用い、モデル座標上の移動領域位置を決定する。各視点からの足元位置のマッピング結果には、
・重なっているところは、一番手前の選手の位置しかマッピングできていない
・同じ選手のマッピングでもＨ行列の精度で微妙にずれている
・対応していないごみエリアを含んでいる
という状態を含んでいる。図７は、フットサルコートにおける平面座標での全視点分のマッピング結果の例を示す。ここで、図７ａは、全視点分がマッピングされた画像である。例えば、矢印１で示されるところは、それぞれ同じ選手のずれている位置であるが、微妙にずれていることがわかる。

移動領域位置は、ユークリッド距離によるグループ分けにより、決定される。
・モデル座標上にマッピングされたｎ個の点Ｐ_１（ｘ_１，ｙ_１，０），・・・，Ｐ_ｎ（ｘ_ｎ，ｙ_ｎ，０）に対し、全ての点間でのユークリッド２乗距離
ｄ_ｉｊ ^２＝（ｘ_ｉ−ｘ_ｊ）^２＋（y_ｉ−y_ｊ）^２（ｉ，ｊ＝１，２，・・・，ｎ）
を求め、
ｄ_ｉｊ＜閾値
である場合、点Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ，０）と点Ｐ_ｊ（ｘ_ｊ，ｙ_ｊ，０）は同じグループに属すると判断される。逆に、
ｄ_ｉｊ≧閾値
である場合、点Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ，０）と点Ｐ_ｊ（ｘ_ｊ，ｙ_ｊ，０）は同じグループに属さないと判断される。

次に、グループ内の要素数が１の場合は、ゴミであると判断して、その点を消去する。要素数が２以上の場合は、グループ内の点の重心を求め、その点を選手の位置とする。図７ｂは、グループ分けにより、移動領域位置が決定された図である。矢印１で示す点は、それぞれ１つにまとめられたことがわかる。

ステップ６：モデル座標上の移動領域位置に長方形領域を設定し、各視点画像に射影する。床平面座標上の選手位置の座標を中心にして、選手エリアを想定する。選手エリアは長方形と仮定し、鉛直方向２ｍ（２０ｐｘ）、幅１ｍ（１０ｐｘ）を割り当て、向きは、各カメラ視点方向正面とする。カメラ位置と各移動領域との距離を求め、奥行き情報を得る。次に、中心射影行列Ｐを用いて、長方形領域を視点画像および背景画像に射影する。投影された長方形領域内に、選手領域（移動領域）が含まれている。図８は、視点画像および背景画像に射影された長方形領域を示す。

ステップ７：長方形領域のテクスチャを切り出す。各視点に射影された長方形領域に含まれる部分を、視点画像から切り出す。背景差分により選手領域の部分以外は取り除く。視点の向き情報とともにビルボードとして、全視点分のテクスチャを集める。

ステップ８：長方形領域の重なりを判定し、オクルージョン処理を行う。カメラ位置に対して、フィールド平面上での各選手位置とのユークリッド距離を求める。このユークリッド距離を元に重なり順をもとめる。各視点画像において長方形領域の全ての組に対して、重なり判定を行なう。他の長方形領域と重なっていてかつ手前にある場合、抜き出したテクスチャ領域に対して次の処理を行なう。
・隣の視点でオクルージョンを起こしていない場合：隣の視点の背景領域を、オクルージョンしている視点に射影する。射影した背景領域を用いて人物領域のテクスチャを抜き出す。
・隣の視点でもオクルージョンを起こしている場合：この場合、抜き出したテクスチャをそのまま利用する。

ステップ９：２視点のカメラパラメータ行列と、内挿比αを用いて、仮想視点ｃでの空間射影行列Ｐ_Ｃを算出する。仮想視点ｃでの空間射影行列Ｐ_Ｃは、以下のように求められる。
・視点１、視点２の内部パラメータ行列Ａ_１，Ａ_２から仮想視点ｃでの内部パラメータ行列Ａ_ｃを求める。内部パラメータ行列Ａ_１，Ａ_２は、

と表せる。ここで、ｆ_Ａ１，ｆ_Ａ２は、視点１、２における焦点距離ｆであり、ｘ_Ａ１，ｘ_Ａ２は、画像の縦の長さであり、ｙ_Ａ１，ｙ_Ａ２は、画像の横の長さである。

画像中心は不変であり、仮想視点ｃでの焦点距離は視点１と２での焦点距離と内挿比αを用いて、次のように表せる。
ｆ_Ａｃ＝（１−α）ｆ_Ａ１＋αｆ_Ａ２
このｆ_Ａｃを用いて、仮想視点ｃでの内部パラメータ行列Ａ_ｃは、

と表せる。
・視点１、視点２の回転行列Ｒ_１，Ｒ_２から仮想視点ｃでの回転行列Ｒ_ｃを求める。回転行列Ｒ_１，Ｒ_２に対して、方位角θ、仰角φ、チルト角τに分解する（ただし、本実施形態では水平線に対して傾いていることは想定しないのでτ＝０とする）。回転行列Ｒ_１，Ｒ_２の方位角θ_１，θ_２、仰角φ_１，φ_２、すると、仮想視点ｃの方位角θ_ｃ、φ_ｃは、
θ_ｃ＝（１−α）θ_１＋αθ_２
φ_ｃ＝（１−α）φ_１＋αφ_２
と表せる。このθ_ｃ、φ_ｃとを組み合わせて、Ｒ_ｃが求まる。
・視点１、視点２の並進ベクトルＴ_１，Ｔ_２から仮想視点ｃでの並進ベクトルＴ_ｃを求める。視点１、視点２、仮想視点ｃのモデル座標上での位置を、それぞれ

とすると、

であるため、仮想視点ｃのモデル座標上での位置は、

と表せる。並進ベクトルＴ_ｃは、

より求めることができる。
・空間射影行列Ｐ_ｃは、Ａ_ｃ、Ｒ_ｃ、Ｔ_ｃから、
Ｐ_ｃ＝Ａ_ｃ［Ｒ_ｃ｜Ｔ_ｃ］
で求められる。ここで、［Ｒ_ｃ｜Ｔ_ｃ］は、３×３の行列Ｒ_ｃと１×３のベクトルＴ_ｃを、あわせた３×４の行列である。Ａ_ｃとこの行列の積により、空間射影行列Ｐ_ｃが求まる。

ステップ１０：モデル座標上の移動領域位置に長方形領域を設定し、仮想視点に射影する。床平面座標上の選手位置の座標を中心にして、選手エリアを想定する。選手エリアは長方形と仮定し、鉛直方向２ｍ（２０ｐｘ）、幅１ｍ（１０ｐｘ）を割り当て、向きは、各カメラ視点方向正面とする。カメラ位置と各移動領域との距離を求め、奥行き情報を得る。次に、空間射影行列Ｐ_ｃを用いて、長方形領域を仮想視点に射影する。

ステップ１１：ビルボードを選択し、テクスチャマッピングを行い内挿画像を合成する。各長方形領域において、仮想視点方向に最も近い向きのビルボードを選択する。ただし、選択したビルボードがオクルージョンしている場合、オクルージョンしていない最も近い向きのビルボードを選択する。選択されたビルボードのテクスチャを仮想視点の長方形領域の大きさに合わせてマッピングし内挿画像を合成する。

ステップ１２：背景領域の画像から、仮想視点での背景領域の画像を生成する。仮想視点での背景領域の画像は、既存の手法により生成される。例えば、背景領域を遠景領域およびフィールド領域に分割して、非特許文献１に記載の方法により作成することができる。

ステップ１３：生成された移動領域の画像と生成された背景領域の画像を合成し、仮想視点の画像を生成する。本合成も既存の手法により行われる。

次に本発明の効果を実際に生成された仮想視点での画像により示す。図９は、フットサルコートにおける視点１、視点２のカメラ画像と、該カメラ画像から生成された仮想視点画像の例を示す。図９ａは、視点１のカメラ画像の例であり、図９ｂは、視点２のカメラ画像の例であり、図９ｃは、図９ａと図９ｂから、従来技術により生成された仮想視点画像の例であり、図９ｄは、図９ａと図９ｂから、本発明の方法により生成された仮想視点画像の例である。図９ｃおよび図９ｄは、視点１と視点２の中間（α＝０．５）の仮想視点の画像である。なお、それぞれ元の画像は、１９２０×１０８０のフルＨＤの画像であるが、比較のため、一部を抽出している。

図９ｃおよび図９ｄを比較すると、図９ｃでは、画像間の対応がとれないため、人物の画像が除去されてしまい、映っていない場合があるが、図９ｄでは、削除されることがない。また、人物画像同士を比較すると、図９ｄの方が鮮明に写っており、画像の精度が高いことが分かる。

以上に述べた実施形態は、全て本発明を例示的に示すものであって、限定的に示すものではない、本発明は、他の種々の変形形態及び変更態様で実施できる。従って本発明の範囲は、特許請求の範囲及びその均等範囲によってのみ規定されるものである。

Claims

複数の視点画像から、仮想視点での画像を生成する方法であって、
前記複数の視点画像を、１つまたは複数の移動領域と背景領域に分割するステップと、
前記複数の視点画像内の幾何情報をもとに、モデル座標空間を構築するステップと、
視点画像毎に前記移動領域の座標を算出し、該座標から前記モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成するステップと、
前記背景領域の画像から、仮想視点での背景領域の画像を生成するステップと、
前記生成された移動領域の画像と前記生成された背景領域の画像を合成するステップと、を含み、
前記移動領域の画像を生成するステップは、
視点画像毎に、該視点画像と前記モデル座標空間との間で成立する平面射影行列を算出するサブステップと、
前記平面射影行列により、視点画像毎に前記移動領域の座標を前記モデル座標空間における床平面に射影するサブステップと、
前記射影された座標から、前記移動領域のモデル座標空間における座標を算出するサブステップと、
仮想視点において前記モデル座標空間との間で成立する空間射影行列を算出し、該空間射影行列により、前記モデル座標空間中の座標をもとに仮想視点での移動領域の画像を生成するサブステップと、を含み、
前記移動領域のモデル座標空間における座標の算出は、各座標間の距離をもとに該座標をグループ化して、同一グループ内の重心を算出することを特徴とする仮想視点での画像を生成する方法。
前記仮想視点での移動領域の画像を生成するサブステップは、モデル座標空間中の移動領域ごとに、適当な大きさの長方形領域を設定し、該長方形領域の仮想視点での対応領域および実視点での対応領域を算出し、仮想視点での対応領域のテクスチャを仮想視点に近い実視点での対応領域から抽出することを特徴とする請求項１に記載の仮想視点での画像を生成する方法。
前記仮想視点での対応領域および実視点での対応領域の算出は、前記仮想視点および実視点において前記モデル座標空間との間で成立する中心射影行列を算出し、該中心射影行列により、前記モデル空間中の移動領域ごとに設定された長方形領域を各仮想画像および実視点に射影することで画像領域を決定することを特徴とする請求項２に記載の仮想視点での画像を生成する方法。
前記仮想視点での対応領域のテクスチャを実視点での対応領域から抽出する方法は、前記仮想視点での対応領域と前記実視点での対応領域間の平面射影行列を算出し、実視点での対応領域のテクスチャを仮想視点での対応領域に射影することを特徴とする請求項２または３に記載の仮想視点での画像を生成する方法。
前記仮想視点での対応領域のテクスチャを実視点での対応領域から抽出する方法は、前記実視点での対応領域においてオクルージョンが生じているか否かを判定する機能を有し、生じている場合は、他の実視点での対応領域をもとに合成することを特徴とする請求項２から４のいずれか１項に記載の仮想視点での画像を生成する方法。
前記幾何情報は、前記視点画像内の線分の長さおよび対応点であり、
前記座標空間を構築するステップは、原点を定め、前記線分の長さをもとに対応点に座標を割り当てることを特徴とする請求項１から５のいずれか１項に記載の仮想視点での画像を生成する方法。
前記幾何情報は、前記視点画像内の平行線であり、
前記座標空間を構築するステップは、前記平行線が同一方向になるように各視点画像を回転させ、該視点画像の平行線上の点を距離をもとにグループ化して、同一グループ内の重心を対応点として、該対応点に座標を割り当てることを特徴とする請求項１から５のいずれか１項に記載の仮想視点での画像を生成する方法。
前記平面射影行列は、前記対応点から算出されることを特徴とする請求項６または７に記載の仮想視点での画像を生成する方法。
複数の視点画像から、仮想視点での画像を生成するためのコンピュータを、
前記複数の視点画像を、１つまたは複数の移動領域と背景領域に分割する手段と、
前記複数の視点画像内の幾何情報をもとに、モデル座標空間を構築する手段と、
視点画像毎に前記移動領域の座標を算出し、該座標から前記モデル座標空間における前記移動領域の座標を算出し、該座標情報をもとに仮想視点での移動領域の画像を生成する手段と、
前記背景領域の画像から、仮想視点での背景領域の画像を生成する手段と、
前記生成された移動領域の画像と前記生成された背景領域の画像を合成する手段と、して機能させ、
前記移動領域の画像を生成する手段は、
視点画像毎に、該視点画像と前記モデル座標空間との間で成立する平面射影行列を算出する手段と、
前記平面射影行列により、視点画像毎に前記移動領域の座標を前記モデル座標空間における床平面に射影する手段と、
前記射影された座標から、前記移動領域のモデル座標空間における座標を算出する手段と、
仮想視点において前記モデル座標空間との間で成立する空間射影行列を算出し、該空間射影行列により、前記モデル座標空間中の座標をもとに仮想視点での移動領域の画像を生成する手段と、して機能させ、
前記移動領域のモデル座標空間における座標の算出は、各座標間の距離をもとに該座標をグループ化して、同一グループ内の重心を算出することとして機能させ、仮想視点での画像を生成することを特徴とするコンピュータプログラム。