JP7332326B2

JP7332326B2 - 映像効果装置及びプログラム

Info

Publication number: JP7332326B2
Application number: JP2019079248A
Authority: JP
Inventors: 俊枝三須; 秀樹三ツ峰
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2019-04-18
Filing date: 2019-04-18
Publication date: 2023-08-23
Anticipated expiration: 2039-04-18
Also published as: JP2020178235A

Description

本発明は、異なる視点で撮影された２つの映像の間で仮想的に視点移動した際に、視点変換効果を付与した映像を生成する映像効果装置及びプログラムに関する。

従来、複数の映像信号を切り替える手法として、例えばカット切替、クロスフェードが知られている。カット切替は、ある映像信号から別の映像信号へ瞬時に切り替える手法である。クロスフェードは、ある映像信号と別の映像信号とを重み付けにより合成し、この重み付けを時間的に変化させることで、映像信号を切り替える手法である。

このクロスフェードには、フェーダと呼ばれるユーザインタフェースの操作によって重み付けを変化させる方法、ボタン操作等によってトリガを与え、その後は所定の時間をかけて自動的に重み付けを変化させる方法等がある。

ビデオゲームまたはコンピュータグラフィックス制作による映像においては、ある視点から別の視点へ移動する場合に、映像を切り替えずに視点または視線を滑らかに移動する演出法が可能である。

実写映像においても、多数（３台以上）のカメラを順次切り替えることで、視点移動の効果を得るタイムスライス技法がある。また、タイムスライス技法においては、隣接するカメラ映像間で射影変換を用いた補間処理を行い、滑らかな視点移動を実現する技術が知られている（例えば、特許文献１を参照）。

また、実写映像に基づく仮想空間描画方法として、ビルボードモデルのような簡易な３次元モデルを用いて、仮想空間内の仮想物体の実写画像に基づく空間データを描く技術が知られている（例えば、特許文献２を参照）。

さらに、実写ベースレンダリングによって視点移動の効果を得る技術が知られている（例えば、非特許文献１を参照）。

この非特許文献１の技術は、複数のカメラで撮影された入力映像から被写体領域をそれぞれ抽出し、複数の被写体領域の対応付けを行い、フィールド平面上の２次元座標に基づくビルボードモデルを生成し、３次元ＣＧ空間を生成するものである。

これにより、撮影時点とは異なる視点位置から仮想的に撮影した映像を生成することができ、実写ベースのレンダリングによる写実的な仮想視点移動を実現することができる。

特許第６３３６８５６号特許第３４８６５７９号

三巧浩嗣、内藤整、"選手領域の抽出と追跡によるサッカーの自由視点映像生成"、映像情報メディア学会誌、Vol.68、No.3、pp.J125－J134（2014）

前述のカットによる映像切替は、特に、切り替える映像を撮影したカメラの位置または姿勢が異なれば異なるほど、切り替え前後の被写体の見え方が異なるようになり、観視者が被写体の対応付けに混乱を生じる可能性がある。また、切り替えが瞬時に行われるため、観視者は、映像の不連続性を感じるほか、眼の明暗順応または眼球運動において疲労を生じる可能性がある。特に、カット切替を短時間に多数回（例えば、１秒間に３回超）行うと、カット前後の画面輝度差が大きい場合に疲労が顕著になる。

また、前述のクロスフェードによる映像切替は、画面の平均としての明暗が連続的に変化するようになるため、カット切替よりも切り替えのショックを感じ難くなる。しかし、切り替え途中においては、視点の異なる絵柄が重なり合って表示され、絵柄としてはより理解困難なものとなる。

また、前述のタイムスライス技法は、時々刻々と隣接カメラに映像を切り替えるため、観視者が被写体の対応付けに戸惑うことがない。しかし、より滑らかな視点移動を実現するためにはカメラ台数を増やす必要があり、コスト及び設置場所の観点で制約が大きい。

また、前述の特許文献１の技術は、隣接視点間で射影変換による内挿を行うため、単純なタイムスライス技法よりも少ないカメラ台数で滑らかな視点移動効果を実現することができる。しかし、内挿時には映像を平面として射影変換するものの、被写体の凹凸及び被写体間の遠近を反映した内挿は行われないため、隣接カメラ間の距離が極端に長いと、補間画像における幾何学的な歪みが目立つようになる。

また、前述の特許文献２及び非特許文献１の技術は、ビルボードモデルを用いることで、被写体間の遠近及び大まかな姿勢が反映されるため、仮想的な視点移動時の幾何学的な歪みを抑えることができる。しかし、実写映像からビルボードモデルを生成すると、被写体のモデル化の誤差または雑音に起因してアーチファクトが観測されることがある。また、実写ベースの仮想視点映像は、実写映像を撮影した際のカメラ位置と仮想視点とが離れれば離れるほど、アーチファクトが目立つという問題がある。

このように、前述のカットによる映像切替、クロスフェードによる映像切替、タイムスライス技法、特許文献１，２及び非特許文献１の技術では、異なる視点で撮影された複数の映像間の遷移において、視点移動に伴う十分な映像効果を実現することができないという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、第一の視点で撮影された映像から第二の視点で撮影された映像へ遷移する際に、視点移動に伴う滑らかな映像効果を実現することが可能な映像効果装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の映像効果装置は、異なる視点で撮影された第一映像及び第二映像に基づいて、制御信号に応じた仮想的な視点の映像を出力映像として求める映像効果装置において、外部から、前記第一映像の視点と前記第二映像の視点との間の視点位置を含む前記制御信号を入力し、前記制御信号に応じて前記仮想的な視点を設定する仮想視点設定部と、前記第一映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第一仮想視点映像を、前記第一映像に基づいて生成する第一仮想視点映像生成部と、前記第二映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第二仮想視点映像を、前記第二映像に基づいて生成する第二仮想視点映像生成部と、前記第一映像を第一対象映像とし、前記第二映像を第二対象映像として、前記仮想視点設定部により設定された前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像生成部により生成された前記第一仮想視点映像、及び前記第二仮想視点映像生成部により生成された前記第二仮想視点映像に基づき、前記出力映像を求める出力映像処理部と、を備え、前記第一仮想視点映像生成部が、前記第一映像から被写体の領域と当該被写体以外の領域とを区別するキー映像を生成し、前記キー映像及び前記第一映像の視点を用いて、前記キー映像の示す前記被写体の領域に対してビルボードの面を設定し、前記面のパラメータをビルボードパラメータとして設定し、前記第一映像の視点、前記仮想的な視点及び前記ビルボードパラメータを用いて、前記第一映像及び前記キー映像の射影変換を行い、前記被写体の仮想視点映像を生成すると共に、前記被写体の領域と前記被写体以外の領域とを区別するキーの仮想視点映像を生成し、前記第一映像、前記第一映像の視点及び前記仮想的な視点を用いて、背景の仮想視点映像または前記被写体に関連する物の仮想視点映像を生成し、前記キーの仮想視点映像に基づいて、前記被写体の仮想視点映像と、前記背景の仮想視点映像または前記被写体に関連する物の仮想視点映像とを合成し、前記第一仮想視点映像を生成し、前記第二仮想視点映像生成部が、前記第二映像から被写体の領域と当該被写体以外の領域とを区別するキー映像を生成し、前記キー映像及び前記第二映像の視点を用いて、前記キー映像の示す前記被写体の領域に対してビルボードの面を設定し、前記面のパラメータをビルボードパラメータとして設定し、前記第二映像の視点、前記仮想的な視点及び前記ビルボードパラメータを用いて、前記第二映像及び前記キー映像の射影変換を行い、前記被写体の仮想視点映像を生成すると共に、前記被写体の領域と前記被写体以外の領域とを区別するキーの仮想視点映像を生成し、前記第二映像、前記第二映像の視点及び前記仮想的な視点を用いて、背景の仮想視点映像または前記被写体に関連する物の仮想視点映像を生成し、前記キーの仮想視点映像に基づいて、前記被写体の仮想視点映像と、前記背景の仮想視点映像または前記被写体に関連する物の仮想視点映像とを合成し、前記第二仮想視点映像を生成する、ことを特徴とする。

請求項１の発明によれば、第一の視点で撮影された第一映像から別の第二の視点で撮影された第二映像へ移動する際、視点位置が第一の視点と一致する場合、第一映像が出力映像として出力されるようにし、視点位置が第二の視点と一致する場合、第二映像が出力されるようにし、視点位置が第一の視点及び第二の視点のいずれにも一致しない場合、実写ベースのコンピュータグラフィックスによる仮想視点映像が出力されるようにすることができる。さらに、出力される仮想視点映像は、第一映像から生成した第一仮想視点映像と、第二映像から生成した第二仮想視点映像とを必要に応じて加重合成して生成することができる。視点位置が第一の視点または第二の視点と一致する場合、モデル化起因のアーチファクトのない実写映像を出力することができる。一方、視点位置が第一の視点及び第二の視点のいずれにも一致しない場合、より視点の近い（アーチファクトの小さい）第一仮想視点映像または第二仮想視点映像の重みが大きくなるように加重合成または切り替えた映像を出力することができる。その結果、カメラ台数が少ない（例えば２台）の場合であっても、歪みや劣化の少ない視点移動効果を実現することが可能となる。

また、請求項２の映像効果装置は、請求項１に記載の映像効果装置において、さらに、前記第一映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第一映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第一切出映像を生成する第一射影変換部と、前記第二映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第二映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第二切出映像を生成する第二射影変換部と、を備え、前記出力映像処理部が、前記第一射影変換部により生成された前記第一切出映像を前記第一対象映像とし、前記第二射影変換部により生成された前記第二切出映像を前記第二対象映像として、前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像及び前記第二仮想視点映像に基づき、前記出力映像を求める、ことを特徴とする。

請求項２の発明によれば、第一の視点の第一映像から第二の視点の第二映像へ移動する際、視点位置が第一の視点と一致する場合、第一切出映像が出力映像として出力されるようにし、視点位置が第二の視点と一致する場合、第二切出映像が出力映像として出力されるようにし、視点位置が第一の視点及び第二の視点のいずれにも一致しない場合、実写ベースのコンピュータグラフィックスによる仮想視点映像が出力されるようにすることができる。

また、請求項３の映像効果装置は、請求項１または２に記載の映像効果装置において、前記出力映像処理部が、前記制御信号の値が当該制御信号の値域の最小値（または最大値）ｍである場合、前記第一対象映像を前記出力映像とし、前記制御信号の値が前記値域の最大値（または最小値）Ｍである場合、前記第二対象映像を前記出力映像とし、前記制御信号の値が前記最小値ｍよりも大きくかつ前記最大値Ｍよりも小さい場合（または前記最小値Ｍよりも大きくかつ前記最大値ｍよりも小さい場合）、前記第一仮想視点映像、前記第二仮想視点映像、または、前記第一仮想視点映像及び前記第二仮想視点映像の合成映像を前記出力映像として求める、ことを特徴とする。

請求項３の発明によれば、制御信号がその値域の最小値または最大値である場合、仮想視点変換を行わない映像が出力されるため、アーチファクトは発生しない。仮想視点変換に伴うアーチファクトの発生は、視点間の遷移中に限定されるから、画質を向上することができる。

また、請求項４の映像効果装置は、請求項１または２に記載の映像効果装置において、実数ｍ，ｎ，Ｎ，Ｍが式：ｍ＜ｎ＜Ｎ＜Ｍ（またはＭ＜Ｎ＜ｎ＜ｍ）を満たし、前記実数ｍが前記制御信号の値域の最小値（または最大値）であり、前記実数Ｍが前記制御信号の値域の最大値（または最小値）であるとして、前記出力映像処理部が、前記制御信号の値が前記実数ｍである場合、前記第一対象映像を前記出力映像とし、前記制御信号の値が前記実数Ｍである場合、前記第二対象映像を前記出力映像とし、前記制御信号の値が前記実数ｍよりも大きくかつ前記実数ｎ以下である場合（または前記実数Ｍよりも大きくかつ前記実数Ｎ以下である場合）、前記第一仮想視点映像を前記出力映像とし、前記制御信号の値が前記実数ｎよりも大きくかつ前記実数Ｎよりも小さい場合（前記実数Ｎよりも大きくかつ前記実数ｎよりも小さい場合）、前記第一仮想視点映像及び前記第二仮想視点映像を加重合成することで合成映像を生成し、当該合成映像を前記出力映像とし、前記制御信号の値が前記実数Ｎ以上でありかつ前記実数Ｍよりも小さい場合（前記実数ｎ以上でありかつ前記実数ｍよりも小さい場合）、前記第二仮想視点映像を前記出力映像として求める、ことを特徴とする。

請求項４の発明によれば、視点の遷移中に、視点変化の小さい映像を出力映像とすることができるから、アーチファクトの発生を抑えることができる。また、制御信号が実数ｎよりも大きくかつ実数Ｎよりも小さい場合（実数Ｎよりも大きくかつ実数ｎよりも小さい場合）、第一仮想視点映像と第二仮想視点映像との間でクロスフェードを実行することができ、急激な画像変化を抑えて滑らかな画像遷移を実現することができる。

さらに、請求項５のプログラムは、請求項１から４までのいずれか一項に記載の映像効果装置として機能させることを特徴とする。

以上のように、本発明によれば、第一の視点で撮影された映像から第二の視点で撮影された映像へ遷移する際に、視点移動に伴う滑らかな映像効果を実現することができる。

本発明の実施形態による映像効果装置の構成例を示すブロック図である。映像切替・合成部の動作例を説明する図である。映像切替・合成部の処理例を示すフローチャートである。第一仮想視点映像生成部の第一の構成例を示すブロック図である。第一仮想視点映像生成部の第二の構成例を示すブロック図である。第一仮想視点映像生成部の第三の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、第一映像及び第二映像が異なる視点で撮影された映像であるとして、視点位置を含む制御信号に応じて、第一映像（または射影変換後の映像）と、第二映像（または射影変換後の映像）と、第一映像から生成した第一仮想視点映像と、第二映像から生成した第二仮想視点映像と、第一仮想視点映像及び第二仮想視点映像の合成映像との間で切り替えを行うことを特徴とする。

これにより、第一の視点で撮影された第一映像から第二の視点で撮影された第二映像へ（またはその逆へ）視点が遷移する際に、視点移動に伴う滑らかな映像効果を実現することができる。

〔映像効果装置〕
まず、本発明の実施形態による映像効果装置について説明する。図１は、本発明の実施形態による映像効果装置の構成例を示すブロック図である。この映像効果装置１は、仮想視点設定部３、第一仮想視点映像生成部４、第二仮想視点映像生成部５、第一射影変換部６、第二射影変換部７及び映像切替・合成部（出力映像処理部）８を備えている。

映像効果装置１は、第一映像Ｉ₁、当該第一映像Ｉ₁のカメラパラメータである第一カメラパラメータｐ₁、第二映像Ｉ₂、当該第二映像Ｉ₂のカメラパラメータである第二カメラパラメータｐ₂、及び視点位置を含む制御信号ｃを入力する。そして、映像効果装置１は、これらにデータに基づいて、視点変換効果を付与した出力映像Ｊを求め、出力映像Ｊを出力する。

尚、映像効果装置１は、第一射影変換部６及び第二射影変換部７のいずれか一方または両方を省略して構成するようにしてもよい。

制御信号ｃは、視点の移動具合を調整するための信号であり、その値域をｍ≦ｃ≦Ｍ（ｍは値域の最小値、Ｍは値域の最大値）とする。ｍ，Ｍは実数である。以下の実施形態では、ｍ＝０，Ｍ＝１とし、制御信号ｃの値域を０≦ｃ≦１とする。

制御信号ｃ＝０を第一の視点、制御信号ｃ＝１を第二の視点とし、０＜ｃ＜１の視点を仮想視点とする。制御信号ｃは、外部に接続されたユーザインタフェース（図１の場合はフェーダ２）によって、操作者が手動で制御信号ｃを設定するものであってもよいし、他の装置からの出力によって、手動でまたは自動的に設定するものであってもよい。

図１の例では、フェーダ２は、操作者の手動操作に従って視点位置を含む制御信号ｃを生成し、制御信号ｃを映像効果装置１に出力する。

仮想視点設定部３は、フェーダ２から制御信号ｃを入力すると共に、第一カメラパラメータｐ₁及び第二カメラパラメータｐ₂を入力する。そして、仮想視点設定部３は、制御信号ｃ、第一カメラパラメータｐ₁及び第二カメラパラメータｐ₂に基づいて、制御信号ｃに対応するカメラパラメータｐ（ｃ）を生成する。

仮想視点設定部３は、カメラパラメータｐ（ｃ）を第一仮想視点映像生成部４及び第二仮想視点映像生成部５に出力する。また、仮想視点設定部３は、第一カメラパラメータｐ₁に対応するカメラパラメータｐ₁ ^~を生成し、カメラパラメータｐ（０）＝ｐ₁ ^~を第一射影変換部６に出力する。仮想視点設定部３は、第二カメラパラメータｐ₂に対応するカメラパラメータｐ₂ ^~を生成し、カメラパラメータｐ（１）＝ｐ₂ ^~を第二射影変換部７に出力する。

ここで、仮想視点設定部３は、制御信号ｃに応じて、後述する第一仮想視点映像生成部４により生成される第一仮想視点映像Ｊ₁及び後述する第二仮想視点映像生成部５により生成される第二仮想視点映像Ｊ₂における視点位置等を生成する。つまり、仮想視点設定部３は、制御信号ｃに応じた視点位置を含むカメラパラメータｐ（ｃ）を生成する。

カメラパラメータｐ（ｃ）は、視点位置に加え、カメラの姿勢（例えば、パン、チルト及びロールの各角度）、画角（またはレンズの焦点距離）、レンズ歪み、露出値（アイリス、シャッター速度、感度等）、色補正値、ズーム倍率（拡大率及び縮小率）等の各データのうち、一部または全部を含むようにしてもよい。

また、仮想視点設定部３は、カメラパラメータｐ（０）＝ｐ₁ ^~として、第一カメラパラメータｐ₁と同じ視点位置を含み、制御信号ｃ（０）に応じた所定の姿勢または／及びズーム倍率（姿勢、ズーム倍率、または姿勢及びズーム倍率）を含むカメラパラメータｐ₁ ^~を生成する。同様に、仮想視点設定部３は、カメラパラメータｐ（１）＝ｐ₂ ^~として、第二カメラパラメータｐ₂と同じ視点位置を含み、制御信号ｃ（１）に応じた所定の姿勢または／及びズーム倍率を含むカメラパラメータｐ₂ ^~を生成する。

具体的には、仮想視点設定部３は、制御信号ｃ＝０の場合、以下の式のとおり、少なくとも視点位置に関しては第一カメラパラメータｐ₁と一致し、所定の姿勢または／及びズーム倍率も含むカメラパラメータｐ₁ ^~を生成し、カメラパラメータｐ（０）＝ｐ₁ ^~を出力する。また、仮想視点設定部３は、制御信号ｃ＝１の場合、以下の式のとおり、少なくとも視点位置に関しては第二カメラパラメータｐ₂と一致し、所定の姿勢または／及びズーム倍率も含むカメラパラメータｐ₂ ^~を生成し、カメラパラメータｐ（１）＝ｐ₂ ^~を出力する。

仮想視点設定部３は、制御信号ｃが０＜ｃ＜１の場合、少なくとも第一カメラパラメータｐ₁に含まれる視点位置及び第二カメラパラメータｐ₂に含まれる視点位置から補間値を算出し、補間値である視点位置を含むカメラパラメータｐ（ｃ）を生成する。

例えば仮想視点設定部３は、以下の式のとおり、第一カメラパラメータｐ₁及び第二カメラパラメータｐ₂を線形補間（内分）することで、カメラパラメータｐ（ｃ）を生成する。

尚、仮想視点設定部３は、制御信号ｃが０＜ｃ＜１の場合、第一カメラパラメータｐ₁及び第二カメラパラメータｐ₂に加え、他のパラメータ（経由すべきカメラパラメータ、カメラが指向すべき被写体等）を考慮した補間値を算出し、これをカメラパラメータｐ（ｃ）とするようにしてもよい。

第一仮想視点映像生成部４は、仮想視点設定部３からカメラパラメータｐ（ｃ）を入力すると共に、第一映像Ｉ₁及び第一カメラパラメータｐ₁を入力する。そして、第一仮想視点映像生成部４は、第一映像Ｉ₁、第一カメラパラメータｐ₁及びカメラパラメータｐ（ｃ）に基づいて、カメラパラメータｐ（ｃ）の視点で撮像した場合の実写ベースコンピュータグラフィックスを生成する。第一仮想視点映像生成部４は、実写ベースコンピュータグラフィックスを第一仮想視点映像Ｊ₁として映像切替・合成部８に出力する。

具体的には、第一仮想視点映像生成部４は、第一カメラパラメータｐ₁の示す視点位置をカメラパラメータｐ（ｃ）の示す視点位置へ移動したときの映像として、第一カメラパラメータｐ₁の示す視点位置にて撮影された第一映像Ｉ₁から、カメラパラメータｐ（ｃ）の示す視点位置にて撮影される仮想的な第一仮想視点映像Ｊ₁を生成する。第一仮想視点映像生成部４の詳細については後述する。

第二仮想視点映像生成部５は、仮想視点設定部３からカメラパラメータｐ（ｃ）を入力すると共に、第二映像Ｉ₂及び第二カメラパラメータｐ₂を入力する。そして、第二仮想視点映像生成部５は、第二映像Ｉ₂、第二カメラパラメータｐ₂及びカメラパラメータｐ（ｃ）に基づいて、カメラパラメータｐ（ｃ）の視点で撮像した場合の実写ベースコンピュータグラフィックスを生成する。第二仮想視点映像生成部５は、実写ベースコンピュータグラフィックスを第二仮想視点映像Ｊ₂として映像切替・合成部８に出力する。

具体的には、第二仮想視点映像生成部５は、第二カメラパラメータｐ₂の示す視点位置をカメラパラメータｐ（ｃ）の示す視点位置へ移動したときの映像として、第二カメラパラメータｐ₂の示す視点位置にて撮影された第二映像Ｉ₂から、カメラパラメータｐ（ｃ）の示す視点位置にて撮影される仮想的な第二仮想視点映像Ｊ₂を生成する。第二仮想視点映像生成部５の詳細については後述する。

第一射影変換部６は、仮想視点設定部３からカメラパラメータｐ（０）＝ｐ₁ ^~を入力すると共に、第一映像Ｉ₁を入力する。そして、第一射影変換部６は、第一映像Ｉ₁及びカメラパラメータｐ（０）＝ｐ₁ ^~に基づいて第一映像Ｉ₁を射影変換し、射影変換後の映像から第一仮想視点映像Ｊ₁に対応する所定領域を切り出すことで、第一切出映像Ｉ₁ ^~を生成する。第一射影変換部６は、第一切出映像Ｉ₁ ^~を映像切替・合成部８に出力する。

具体的には、第一射影変換部６は、第一映像Ｉ₁に対し、カメラパラメータｐ（０）＝ｐ₁ ^~の示す姿勢または／及びズーム倍率に基づいて、第一映像Ｉ₁の視点を変えることなく、射影変換処理及び切出処理を施す。そして、第一射影変換部６は、カメラパラメータｐ（０）＝ｐ₁ ^~の示す姿勢または／及びズーム倍率にて撮影される第一切出映像Ｉ₁ ^~を生成する。

カメラパラメータｐ（０）＝ｐ₁ ^~に含まれる視点位置は、第一映像Ｉ₁を撮影したときの視点と同一である。このため、第一射影変換部６は、第一映像Ｉ₁に対し、大きさ、遠近法及び切り出し位置のみの変換、すなわち姿勢、ズーム倍率、または姿勢及びズーム倍率に基づく射影変換を行い、射影変換後の映像から切り出しを行い、第一切出映像Ｉ₁ ^~を生成する。これにより、被写体の奥行きまたは立体形状に依らず、正確な幾何変換及び切り出しが行われ、精度の高い第一切出映像Ｉ₁ ^~が生成される。

尚、第一射影変換部６は、さらに、第一映像Ｉ₁に対し、カメラパラメータｐ（０）＝ｐ₁ ^~の示すレンズ歪みに基づいて、射影変換処理及び切出処理を施すようにしてもよい。第一射影変換部６は、カメラパラメータｐ（０）＝ｐ₁ ^~の示すレンズ歪みにて撮影される第一切出映像Ｉ₁ ^~を生成する。

また、カメラパラメータｐ（０）＝ｐ₁ ^~が第一カメラパラメータｐ₁と同一の場合（ｐ₁ ^~＝ｐ₁の場合）、映像効果装置１の構成において、第一射影変換部６を省略するようにしてもよい。この場合、以下の式のとおり、第一映像Ｉ₁と第一切出映像Ｉ₁ ^~は同一となる。

第二射影変換部７は、仮想視点設定部３からカメラパラメータｐ（１）＝ｐ₂ ^~を入力すると共に、第二映像Ｉ₂を入力する。そして、第二射影変換部７は、第二映像Ｉ₂及びカメラパラメータｐ（１）＝ｐ₂ ^~に基づいて第二映像Ｉ₂を射影変換し、射影変換後の映像から第二仮想視点映像Ｊ₂に対応する所定領域を切り出すことで、第二切出映像Ｉ₂ ^~を生成する。第二射影変換部７は、第二切出映像Ｉ₂ ^~を映像切替・合成部８に出力する。

具体的には、第二射影変換部７は、第二映像Ｉ₂に対し、カメラパラメータｐ（１）＝ｐ₂ ^~の示す姿勢または／及びズーム倍率に基づいて、第二映像Ｉ₂の視点を変えることなく、射影変換処理及び切出処理を施す。そして、第二射影変換部７は、カメラパラメータｐ（１）＝ｐ₂ ^~の示す姿勢または／及びズーム倍率にて撮影される第二切出映像Ｉ₂ ^~を生成する。

カメラパラメータｐ（１）＝ｐ₂ ^~に含まれる視点位置は、第二映像Ｉ₂を撮影したときの視点と同一である。このため、第二射影変換部７は、第二映像Ｉ₂に対し、大きさ、遠近法及び切り出し位置のみの変換、すなわち姿勢、ズーム倍率、または姿勢及びズーム倍率に基づく射影変換を行い、射影変換後の映像から切り出しを行い、第二切出映像Ｉ₂ ^~を生成する。これにより、被写体の奥行きまたは立体形状に依らず、正確な幾何変換及び切り出しが行われ、精度の高い第二切出映像Ｉ₂ ^~が生成される。

尚、第二射影変換部７は、さらに、第二映像Ｉ₂に対し、カメラパラメータｐ（１）＝ｐ₂ ^~の示すレンズ歪みに基づいて、射影変換処理及び切出処理を施すようにしてもよい。第二射影変換部７は、カメラパラメータｐ（１）＝ｐ₂ ^~の示すレンズ歪みにて撮影される第二切出映像Ｉ₂ ^~を生成する。

また、カメラパラメータｐ（１）＝ｐ₂ ^~が第二カメラパラメータｐ₂と同一の場合（ｐ₂ ^~＝ｐ₂の場合）、映像効果装置１の構成において、第二射影変換部７を省略するようにしてもよい。この場合、以下の式のとおり、第二映像Ｉ₂と第二切出映像Ｉ₂ ^~は同一となる。

映像切替・合成部８は、フェーダ２から制御信号ｃを、第一射影変換部６から第一切出映像Ｉ₁ ^~を、第一仮想視点映像生成部４から第一仮想視点映像Ｊ₁をそれぞれ入力する。また、映像切替・合成部８は、第二仮想視点映像生成部５から第二仮想視点映像Ｊ₂を、第二射影変換部７から第二切出映像Ｉ₂ ^~をそれぞれ入力する。

映像切替・合成部８は、第一切出映像Ｉ₁ ^~を第一対象映像とし、第二切出映像Ｉ₂ ^~を第二対象映像として、制御信号ｃに応じて、第一仮想視点映像Ｊ₁及び第二仮想視点映像Ｊ₂を加重合成して合成映像を生成し、第一対象映像、第一仮想視点映像Ｊ₁、合成映像、第二仮想視点映像Ｊ₂及び第二対象映像の間で切り替えを行う。そして、映像切替・合成部８は、切り替え後の映像を出力映像Ｊとして出力する。

例えば映像切替・合成部８は、制御信号ｃに応じて、予め設定されたゲイン（重み関数）ｇ₁（ｃ），ｇ₂（ｃ），ｇ_u（ｃ），ｇ_v（ｃ）を用いて出力映像Ｊを求める。具体的には、映像切替・合成部８は、第一切出映像Ｉ₁ ^~にゲインｇ₁（ｃ）を乗算し、第一仮想視点映像Ｊ₁にゲインｇ_u（ｃ）を乗算する。また、映像切替・合成部８は、第二仮想視点映像Ｊ₂にゲインｇ_v（ｃ）を乗算し、第二切出映像Ｉ₂ ^~にゲインｇ₂（ｃ）を乗算する。そして、映像切替・合成部８は、以下の式のとおり、それぞれの乗算結果を加算し、出力映像Ｊを求める。

図２は、映像切替・合成部８の動作例を説明する図である。横軸は制御信号ｃの値を示す。縦軸は、第一切出映像Ｉ₁ ^~に対するゲインｇ₁（ｃ）、第一仮想視点映像Ｊ₁に対するゲインｇ_u（ｃ）、第二仮想視点映像Ｊ₂に対するゲインｇ_v（ｃ），第二切出映像Ｉ₂ ^~に対するゲインｇ₂（ｃ）をそれぞれ示す。ｎ，Ｎは、０＜ｎ＜Ｎ＜１を満たす実数である。

図２の例を数式で示すと、以下のようになる。

図３は、映像切替・合成部８の処理例を示すフローチャートであり、図２に示したゲインｇ₁（ｃ），ｇ_u（ｃ），ｇ_v（ｃ），ｇ₂（ｃ）を用いた例である。

映像切替・合成部８は、制御信号ｃ、第一切出映像Ｉ₁ ^~、第一仮想視点映像Ｊ₁、第二仮想視点映像Ｊ₂及び第二切出映像Ｉ₂ ^~を入力し（ステップＳ３０１）、制御信号ｃの値を判定する（ステップＳ３０２）。

映像切替・合成部８は、ステップＳ３０２において、制御信号ｃが０である場合（ステップＳ３０２：ｃ＝０）、第一切出映像Ｉ₁ ^~を出力映像Ｊに設定する（ステップＳ３０３：Ｊ＝Ｉ₁ ^~）。

映像切替・合成部８は、ステップＳ３０２において、制御信号ｃが０よりも大きく、かつｎ以下である場合（ステップＳ３０２：０＜ｃ≦ｎ）、第一仮想視点映像Ｊ₁を出力映像Ｊに設定する（ステップＳ３０４：Ｊ＝Ｊ₁）。

映像切替・合成部８は、ステップＳ３０２において、制御信号ｃがｎよりも大きく、かつＮよりも小さい場合（ステップＳ３０２：ｎ＜ｃ＜Ｎ）、以下の式にて、制御信号ｃに応じたパラメータｎ，Ｎによる重みにて、第一仮想視点映像Ｊ₁及び第二仮想視点映像Ｊ₂を加重合成し、演算結果の合成映像を出力映像Ｊに設定する（ステップＳ３０５）。

映像切替・合成部８は、ステップＳ３０２において、制御信号ｃがＮ以上であり、かつ１よりも小さい場合（ステップＳ３０２：Ｎ≦ｃ＜１）、第二仮想視点映像Ｊ₂を出力映像Ｊに設定する（ステップＳ３０６：Ｊ＝Ｊ₂）。

映像切替・合成部８は、ステップＳ３０２において、制御信号ｃが１である場合（ステップＳ３０２：ｃ＝１）、第二切出映像Ｉ₂ ^~を出力映像Ｊに設定する（ステップＳ３０７：Ｊ＝Ｉ₂ ^~）。

映像切替・合成部８は、ステップＳ３０３～Ｓ３０７から移行して、出力映像Ｊを出力する（ステップＳ３０８）。つまり、映像切替・合成部８は、制御信号ｃに応じて、ステップＳ３０３の第一切出映像Ｉ₁ ^~と、ステップＳ３０４の第一仮想視点映像Ｊ₁と、ステップＳ３０５の第一仮想視点映像Ｊ₁及び第二仮想視点映像Ｊ₂の合成映像と、ステップＳ３０６の第二仮想視点映像Ｊ₂と、ステップＳ３０７の第二切出映像Ｉ₂ ^~との間で切り替えを行い、切り替え後の映像を出力映像Ｊとして出力する。

これにより、制御信号ｃ＝０，１の場合、第一切出映像Ｉ₁ ^~または第二切出映像Ｉ₂ ^~が出力映像Ｊとして出力されるから、この視点位置においては、モデル化起因のアーチファクトがなく、かつ二重像のない実写映像を出力することができる。

また、制御信号ｃが０＜ｃ＜１の場合、制御信号ｃの示す視点に近い第一仮想視点映像Ｊ₁または第二仮想視点映像Ｊ₂の重みが大きくなるように加重合成または切り替えた映像を出力することができる。その結果、カメラ台数が少ない（例えば２台）の場合であっても、歪みや劣化の少ない視点移動効果を実現することができる。つまり、視点の遷移中に、視点変化の小さい映像を出力映像Ｊとすることができるから、アーチファクトの発生を抑えることができる。

この場合、制御信号ｃが０＜ｃ≦ｎの場合、第一仮想視点映像Ｊ₁が出力映像Ｊとして出力され、制御信号ｃがＮ≦ｃ＜１の場合、第二仮想視点映像Ｊ₂が出力映像Ｊとして出力されるから、この視点位置においては、二重像の発生を抑えることができる。

また、制御信号ｃがｎ＜ｃ＜Ｎの場合、第一仮想視点映像Ｊ₁と第二仮想視点映像Ｊ₂との間でクロスフェードを実行することができ、急激な画像変化を抑えて滑らかな画像遷移を実現することができる。

（第一仮想視点映像生成部４、第二仮想視点映像生成部５）
次に、図１に示した第一仮想視点映像生成部４及び第二仮想視点映像生成部５について詳細に説明する。第一仮想視点映像生成部４及び第二仮想視点映像生成部５は、以下に示す第一例、第二例及び第三例にて実現することができる。また、第一仮想視点映像生成部４及び第二仮想視点映像生成部５は、前述の非特許文献１等の既知の手法にて実現することができる。

以下、第一仮想視点映像生成部４の構成及び処理について、第一例、第二例及び第三例を挙げて説明するが、第二仮想視点映像生成部５についても同様である。

（第一例）
図４は、第一仮想視点映像生成部４の第一の構成例を示すブロック図である。この第一仮想視点映像生成部４－１は、第一カメラパラメータｐ₁の視点から見た第一映像Ｉ₁から、第一被写体と、第一被写体の影等の所定の映像特徴を有する第二被写体とをそれぞれ抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータｐ（ｃ）の示す視点から見た第一仮想視点映像Ｊ₁を生成する。

第一仮想視点映像生成部４－１は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、合成部（背景合成部）１３、第一射影変換部１４、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている。

第一仮想視点映像生成部４－１は、第一映像Ｉ₁、第一カメラパラメータｐ₁及びカメラパラメータｐ（ｃ）に基づいて、第一映像Ｉ₁を幾何学的に変換する際に、被写体（第一被写体）の影（第二被写体）を背景映像Ｂに合成し、第一仮想視点映像Ｊ₁を生成する。

以下、時刻ｔ及び画像座標（ｘ，ｙ）における映像の画素値は、映像を表す文字の後に（ｔ；ｘ，ｙ）を付して示すものとする。例えば、第一映像Ｉ₁の時刻ｔ及び画像座標（ｘ，ｙ）における画素値をＩ₁（ｔ；ｘ，ｙ）と記す。尚、画素値はスカラー量（例えば、モノクロ映像の場合）であってもよいし、ベクトル量（例えば、カラー映像の場合、赤、緑及び青の３成分からなるベクトル値）であってもよい。

背景生成部１０は、時系列の第一映像Ｉ₁（第一映像Ｉ₁の複数フレーム）から、動物体を除去した背景映像Ｂを生成し、背景映像Ｂを第一被写体抽出部１１及び合成部１３に出力する。背景映像Ｂの生成処理は既知であり、例えば背景差分法を用いることができる。背景差分法の詳細については、例えば特許第５２２７２２６号公報の段落４４及び数式８を参照されたい。

第一被写体抽出部１１は、背景生成部１０から背景映像Ｂを入力する。そして、第一被写体抽出部１１は、第一映像Ｉ₁、及び背景生成部１０により第一映像Ｉ₁の複数フレームから生成された背景映像Ｂに基づいて、被写体（第一被写体）とそれ以外の箇所（背景映像Ｂ）とを区別して被写体の領域を抽出し、被写体の形状を表し、かつ当該被写体の領域と他の領域とを区別する画素値を有するキー映像Ｋを生成する。そして、第一被写体抽出部１１は、キー映像Ｋをビルボード設定部１５及び第二射影変換部１６に出力する。以下、被写体は第一被写体を示すものとする。

キー映像Ｋは２値映像であってもよいし（例えば、被写体に属する画素の画素値を１とし、それ以外の画素の画素値を０とする）、多値映像であってもよい（例えば、被写体に属する画素の画素値を１とし、それ以外の画素の画素値を０とするが、被写体の境界部については０より大きく１未満の数値とする）。

例えば第一被写体抽出部１１は、以下の式にて、背景生成部１０により生成された背景映像Ｂと第一映像Ｉ₁とを比較することで、キー映像Ｋを生成する。

関数φ（ｐ，ｑ）は、画素値ｐと画素値ｑとの差異に応じて被写体か否かを判定する関数である。

例えば関数φとして、以下の式のように、画素値ｐと画素値ｑとの間の差に対するノルム値（例えばユークリッド距離、マンハッタン距離、チェビシェフ距離）に応じて出力値を決定する関数が用いられる。この場合のφ（ｐ，ｑ）は、１（画素値ｐと画素値ｑとの間の差の絶対値が予め設定された閾値θよりも大きい場合）または０（画素値ｐと画素値ｑとの間の差の絶対値が閾値θ以下である場合）のいずれかの値となる。

第二被写体抽出部１２は、第一映像Ｉ₁の単一フレームから、所定の映像特徴を有する領域（第二被写体の領域）を抽出し、当該領域の形状を表し、かつ当該領域と他の領域とを区別する画素値を有するキー映像Ｆを生成し、キー映像Ｆを合成部１３に出力する。

所定の映像特徴を有する領域とは、第一被写体抽出部１１により抽出される第一被写体に関連する物の領域であり、例えば、第一被写体と共に動く第一被写体の影の領域である。

第二被写体抽出部１２は、例えば、映像特徴として色ベクトルに関する情報を用いるクロマキー技術またはルミナンスキー技術を用いて、キー映像Ｆを生成する。

例えば、以下の式が用いられる。

ここで、画素値が離散的である場合には、関数Ψの代わりに、３次元ルックアップテーブルが用いられる。関数Ψはキー映像Ｆの画素値を定める関数であり、例えば、第二被写体としたい色ベクトルｃ₁に対し、Ψ（ｃ₁）＝１とする。一方、第二被写体としたくない色ベクトルｃ₀に対し、Ψ（ｃ₀）＝０とする。

例えば第二被写体抽出部１２は、第一映像Ｉ₁の各画素が緑色であるか否か（芝生であるか否か）を判定する。そして、第二被写体抽出部１２は、緑色である（芝生である）場合、キー映像Ｆの当該画素の画素値を０に設定し、緑色以外である（芝生でない）場合、キー映像Ｆの当該画素の画素値を１に設定する。

関数Ψは、画素が色ベクトルｃ＝［ｃ^(r) ｃ^(g) ｃ^(b)］^Ｔ（上付きのＴは、行列またはベクトルの転置を表す）なる３次元のベクトルで表される場合、以下の式が用いられる。

θ₀ ^(r)，θ₁ ^(r)，θ₀ ^(g)，θ₁ ^(g)，θ₀ ^(b)，θ₁ ^(b)は、予め設定された閾値である。

尚、第二被写体抽出部１２は、クロマキー技術またはルミナンスキー技術を用いて、キー映像Ｆの画素値を２値以上の多値としてもよい。例えば、キー映像Ｆの画素値を０以上かつ１以下とし、画素値が大きいほど「第二被写体らしい」ものと定義するようにしてもよい。

合成部１３は、背景生成部１０から背景映像Ｂを入力すると共に、第二被写体抽出部１２からキー映像Ｆを入力する。そして、合成部１３は、背景映像Ｂに対し、キー映像Ｆに基づくキーイングにより第一映像Ｉ₁の画素値を合成し、合成あり背景映像Ａ（第二被写体が合成された背景映像Ａ）を生成する。合成部１３は、合成あり背景映像Ａを第一射影変換部１４に出力する。

例えば、第二被写体抽出部１２により、第二被写体である影の部分の色をＦ（ｔ；ｘ，ｙ）＝１、それ以外をＦ（ｔ；ｘ，ｙ）＝０としてキー映像Ｆが生成された場合を想定する。この場合、合成部１３は、例えば以下の式にて、背景映像Ｂに対し、キー映像Ｆの示す映像（キー映像Ｆの示す第一映像Ｉ₁の部分）を合成した合成あり背景映像Ａを生成する。

前記式（１２）において、右辺の第一項は、第一映像Ｉ₁におけるキー映像Ｆの示す影の領域の映像を示し、第二項は、背景映像Ｂにおけるキー映像Ｆの示す影以外の領域の映像を示す。

尚、合成部１３は、背景映像Ｂに対し、キー映像Ｆ及びキー映像Ｋに基づくキーイングにより第一映像Ｉ₁の画素値を合成し、合成あり背景映像Ａを生成するようにしてもよい。

例えば、第二被写体抽出部１２により、第二被写体である日向の背景色（例えば、日向の芝生）をＦ（ｔ；ｘ，ｙ）＝０、それ以外をＦ（ｔ；ｘ，ｙ）＝１としてキー映像Ｆが生成された場合を想定する。この場合、合成部１３は、例えば以下の式にて、合成あり背景映像Ａを生成する。

前記式（１３）において、Ｆ（ｔ；ｘ，ｙ）＝１の部分には日陰の背景領域及び前景（背景領域における影及び被写体領域における影）が含まれ、Ｋ（ｔ；ｘ，ｙ）＝１の部分には前景（被写体）が含まれる。したがって、右辺のＦ（ｔ；ｘ，ｙ）・（１－Ｋ（ｔ；ｘ，ｙ））＝１の部分には、日陰の背景領域（背景領域における影）のみが含まれることとなる。その結果、合成あり背景映像Ａは、背景映像Ｂに対し、影の映像のみを合成した絵柄となる。

例えば、影の色が被写体の色と同じ場合には、影のみが反映されるべきキー映像Ｆは、被写体を含んでしまい、合成あり背景映像Ａは、被写体の映像も含んでしまう。前記式（１３）を用いることにより、合成あり背景映像Ａから被写体の映像を除外することができる。

第一射影変換部１４は、合成部１３から合成あり背景映像Ａを入力すると共に、予め設定された第一カメラパラメータｐ₁及びカメラパラメータｐ（ｃ）を入力する。

第一射影変換部１４は、合成あり背景映像Ａの各画素値が、被写界における所定の面内（例えば、地上高０の平面内、実空間上の面Ｇ内）の一点（または部分領域）を第一カメラパラメータｐ₁に応じて投影して撮像されたものと仮定する。そして、第一射影変換部１４は、被写界における所定の面内の一点（または部分領域）を、仮想視点（第一仮想視点映像Ｊ₁）のカメラパラメータｐ（ｃ）に応じて、第一仮想視点映像Ｊ₁の平面上に投影することで、背景の仮想視点映像Ｌを生成する。

すなわち、第一射影変換部１４は、合成あり背景映像Ａの各画素値が、被写界における所定の面内に存在することを仮定した射影変換を実行し、背景の仮想視点映像Ｌを生成する。第一射影変換部１４は、背景の仮想視点映像Ｌを合成部１７に出力する。

実装上は、第一射影変換部１４は、第一仮想視点映像Ｊ₁の画像座標から第一映像Ｉ₁の画像座標へと光線を逆にたどることで、第一仮想視点映像Ｊ₁の平面上に投影された合成あり背景映像Ａの画素値を決定し、背景の仮想視点映像Ｌを生成する。

ビルボード設定部１５は、第一被写体抽出部１１からキー映像Ｋを入力すると共に、第一カメラパラメータｐ₁を入力する。そして、ビルボード設定部１５は、キー映像Ｋの示す被写体領域（例えば、Ｋ（ｔ；ｘ，ｙ）＝１を満たす領域）の各連結領域Ｃ_i（ｉは、連結領域の個々を区別するためのインデックスとする。）に対して、それぞれ所定のモデルによるビルボードの面Π_iを設定する。所定のモデルによるビルボードの面Π_iとは、例えば、平面、円筒面または球面とする。

ビルボード設定部１５は、ビルボードの面Π_iのパラメータ（例えば、面の方程式の各係数）をビルボードパラメータとして設定し、ビルボードパラメータを第二射影変換部１６に出力する。ここでは、ビルボード設定部１５は、連結領域Ｃ_iの総数（Ｄ個とする）のビルボードパラメータを出力するものとする。

第二射影変換部１６は、第一カメラパラメータｐ₁及びカメラパラメータｐ（ｃ）を入力する。また、第二射影変換部１６は、第一被写体抽出部１１からキー映像Ｋを入力すると共に、ビルボード設定部１５からＤ個のビルボードパラメータを入力する。

第二射影変換部１６は、第一映像Ｉ₁及びキー映像Ｋの各画素がビルボード（Ｄ個のビルボードパラメータが示す面Π_i）上にあるという仮定の下で、第一カメラパラメータｐ₁、カメラパラメータｐ（ｃ）及びビルボードを用いて射影変換を実行する。

第二射影変換部１６は、前景の仮想視点映像（第一被写体の仮想視点映像）Ｍ₁～Ｍ_D及びキーの仮想視点映像（第一キーの仮想視点映像）Ｎ₁～Ｎ_Dを生成する。第二射影変換部１６は、前景の仮想視点映像Ｍ₁～Ｍ_D及びキーの仮想視点映像Ｎ₁～Ｎ_Dを合成部１７に出力する。ここで、キーの仮想視点映像Ｎ₁～Ｎ_Dは、第一被写体の形状を表し、かつ当該第一被写体の領域と他の領域とを区別する画素値を有するキー映像である。

合成部１７は、第一射影変換部１４から背景の仮想視点映像Ｌを入力すると共に、第二射影変換部１６から前景の仮想視点映像Ｍ₁～Ｍ_D及びキーの仮想視点映像Ｎ₁～Ｎ_Dを入力する。そして、合成部１７は、キーの仮想視点映像Ｎ₁～Ｎ_Dに基づいて、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍ₁～Ｍ_Dを合成し、第一仮想視点映像Ｊ₁を生成して出力する。

合成部１７は、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍ₁～Ｍ_Dを合成する際に、例えば以下の式で表す処理を行う。具体的には、合成部１７は、キーの仮想視点映像Ｎ₁～Ｎ_Dにおける当該画素位置の画素値を参照し、ｉ＝１～Ｄの順番に、その画素値が大きいほど、前景の仮想視点映像Ｍ₁～Ｍ_Dを低い透明度で重畳し、その画素値が小さいほど、前景の仮想視点映像Ｍ₁～Ｍ_Dを高い透明度で重畳することで、映像ＪＪを生成し、これを第一仮想視点映像Ｊ₁とする。

尚、合成部１７は、キーの仮想視点映像Ｎ₁～Ｎ_Dを用いることなく、背景の仮想視点映像Ｌを下地として、その上に前景の仮想視点映像Ｍ₁～Ｍ_Dを画素位置毎に重畳し、第一仮想視点映像Ｊ₁を生成するようにしてもよい。

また、合成部１７は、第一仮想視点映像Ｊ₁の各画素について、当該画素の各ビルボード上の対応点Ｑ_iと光学主点Ｏ_Jとの間の距離を算出し、全ビルボード中最も距離の短いビルボードの画素値を特定し、この画素値を用いて第一仮想視点映像Ｊ₁を生成するようにしてもよい。

これにより、第一映像Ｉ₁に含まれる背景及び第一被写体である前景に対し、異なる射影変換を適用することで、異なる視点から見た第一仮想視点映像Ｊ₁を生成することができる。この場合、背景映像Ｂにおいて欠落してしまう影等の第二被写体を第二被写体抽出部１２にて抽出し、合成部１３にて背景映像Ｂに合成するようにしたから、合成部１７において、より自然な第一仮想視点映像Ｊ₁を得ることができる。したがって、第一被写体の影等の第二被写体を有する領域を適切に合成することができ、一層自然な第一仮想視点映像Ｊ₁を生成することが可能となる。

（第二例）
次に、第一仮想視点映像生成部４の第二例について説明する。図５は、第一仮想視点映像生成部４の第二の構成例を示すブロック図である。この第一仮想視点映像生成部４－２は、第一カメラパラメータｐ₁の視点から見た第一映像Ｉ₁から、第一被写体と、第一被写体の影等の所定の映像特徴を有する第二被写体とをそれぞれ抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータｐ（ｃ）の示す視点から見た第一仮想視点映像Ｊ₁を生成する。

第一仮想視点映像生成部４－２は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、ビルボード設定部１５、第二射影変換部１６、合成部１７及び第一射影変換部１８を備えている。

図４に示した第一仮想視点映像生成部４－１とこの第一仮想視点映像生成部４－２とを比較すると、両第一仮想視点映像生成部４－１，４－２は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている点で共通する。一方、第一仮想視点映像生成部４－２は、合成部１３を備えておらず、第一射影変換部１４の代わりに第一射影変換部１８を備えている点で、合成部１３及び第一射影変換部１４を備えている第一仮想視点映像生成部４－１と相違する。

第一射影変換部１８は、第二被写体（例えば影）が合成された合成あり背景映像Ａを入力する代わりに、第二被写体抽出部１２から第二被写体の形状等を表すキー映像Ｆを入力する。また、第一射影変換部１８は、第一映像Ｉ₁を入力し、第一カメラパラメータｐ₁及びカメラパラメータｐ（ｃ）を入力する。

第一射影変換部１８は、第一映像Ｉ₁からキー映像Ｆの示す映像を抽出し、第二被写体映像を生成する。つまり、第一射影変換部１８は、キー映像Ｆの示す第一映像Ｉ₁の部分を第二被写体映像として生成し、第二被写体映像に対し、第一射影変換部１４と同様の処理を行い、第二被写体の仮想視点映像Ｌ’を生成する。

具体的には、第一射影変換部１８は、第二被写体映像の各画素値が、実空間上の面Ｇ内の一点（または部分領域）を第一カメラパラメータｐ₁に応じて投影して撮像されたものと仮定する。そして、第一射影変換部１８は、面Ｇ内の一点（または部分領域）を、カメラパラメータｐ（ｃ）に応じて、第一仮想視点映像Ｊ₁の平面上に投影することで、第二被写体の仮想視点映像Ｌ’を生成する。

すなわち、第一射影変換部１８は、第二被写体映像の各画素値が、面Ｇ内に存在することを仮定した射影変換を実行し、第二被写体の仮想視点映像Ｌ’を生成し、第二被写体の仮想視点映像Ｌ’を合成部１７に出力する。

合成部１７は、背景の仮想視点映像Ｌの代わりに、第一射影変換部１８から第二被写体の仮想視点映像Ｌ’を入力し、前述した処理を行う。すなわち、合成部１７は、キーの仮想視点映像Ｎ₁～Ｎ_Dに基づいて、第二被写体の仮想視点映像Ｌ’及び前景の仮想視点映像Ｍ₁～Ｍ_Dを合成し、第一仮想視点映像Ｊ₁を生成して出力する。

これにより、第一映像Ｉ₁に含まれる第一被写体及び第二被写体に対し、異なる射影変換を適用することで、異なる視点から見た第一仮想視点映像Ｊ₁を生成することができる。この場合、第二被写体抽出部１２にて第二被写体の領域を抽出し、第一射影変換部１８にて第二被写体の仮想視点映像Ｌ’を生成するようにしたから、合成部１７において、より自然な第一仮想視点映像Ｊ₁を得ることができる。したがって、第一被写体の影等の第二被写体を有する領域を適切に合成することができ、一層自然な第一仮想視点映像Ｊ₁を生成することが可能となる。

（第三例）
次に、第一仮想視点映像生成部４の第三例について説明する。図６は、第一仮想視点映像生成部４の第三の構成例を示すブロック図である。この第一仮想視点映像生成部４－３は、第一カメラパラメータｐ₁の視点から見た第一映像Ｉ₁から第一被写体を抽出すると共に、第一映像Ｉ₁から背景映像Ｂを抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータｐ（ｃ）の示す視点から見た第一仮想視点映像Ｊ₁を生成する。

第一仮想視点映像生成部４－３は、背景生成部１０、第一被写体抽出部１１、第一射影変換部１４、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている。

図４に示した第一仮想視点映像生成部４－１とこの第一仮想視点映像生成部４－３とを比較すると、両第一仮想視点映像生成部４－１，４－３は、背景生成部１０、第一被写体抽出部１１、第一射影変換部１４、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている点で共通する。一方、第一仮想視点映像生成部４－３は、第二被写体抽出部１２及び合成部１３を備えていない点で、第二被写体抽出部１２及び合成部１３を備えている第一仮想視点映像生成部４－１と相違する。

第一射影変換部１４は、背景映像Ｂを入力すると共に、第一カメラパラメータｐ₁及びカメラパラメータｐ（ｃ）を入力する。そして、第一射影変換部１４は、背景映像Ｂの各画素値が、実空間上の面Ｇ内の一点（または部分領域）を第一カメラパラメータｐ₁に応じて投影して撮像されたものと仮定する。そして、第一射影変換部１４は、面Ｇ内の一点（または部分領域）を、カメラパラメータｐ（ｃ）に応じて、第一仮想視点映像Ｊ₁の平面上に投影することで、背景の仮想視点映像Ｌを生成する。

すなわち、第一射影変換部１４は、背景映像Ｂの各画素値が、面Ｇ内に存在することを仮定した射影変換を実行し、背景の仮想視点映像Ｌを生成し、背景の仮想視点映像Ｌを合成部１７に出力する。

これにより、第一映像Ｉ₁に含まれる第一被写体及び背景映像Ｂに対し、異なる射影変換を適用することで、異なる視点から見た第一仮想視点映像Ｊ₁を生成することができる。したがって、自然な第一仮想視点映像Ｊ₁を生成することが可能となる。

以上のように、本発明の実施形態の映像効果装置１によれば、仮想視点設定部３は、制御信号ｃ、第一カメラパラメータｐ₁及び第二カメラパラメータｐ₂に基づいて、制御信号ｃに対応するカメラパラメータｐ（ｃ）を生成する。また、仮想視点設定部３は、第一カメラパラメータｐ₁に対応するカメラパラメータｐ（０）＝ｐ₁ ^~を生成し、第二カメラパラメータｐ₂に対応するカメラパラメータｐ（１）＝ｐ₂ ^~を生成する。

第一仮想視点映像生成部４は、第一映像Ｉ₁から、カメラパラメータｐ（ｃ）の示す視点位置にて撮影される第一仮想視点映像Ｊ₁を生成する。また、第二仮想視点映像生成部５は、第二映像Ｉ₂から、カメラパラメータｐ（ｃ）の示す視点位置にて撮影される第二仮想視点映像Ｊ₂を生成する。

第一射影変換部６は、第一映像Ｉ₁に対し、カメラパラメータｐ（０）＝ｐ₁ ^~の示す姿勢または／及びズーム倍率に基づいて射影変換処理及び切出処理を施し、第一切出映像Ｉ₁ ^~を生成する。

第二射影変換部７は、第二映像Ｉ₂に対し、カメラパラメータｐ（１）＝ｐ₂ ^~の示す姿勢または／及びズーム倍率に基づいて射影変換処理及び切出処理を施し、第二切出映像Ｉ₂ ^~を生成する。

映像切替・合成部８は、制御信号ｃに応じて、第一仮想視点映像Ｊ₁及び第二仮想視点映像Ｊ₂を加重合成して合成映像を生成し、第一切出映像Ｉ₁ ^~、第一仮想視点映像Ｊ₁、合成映像、第二仮想視点映像Ｊ₂及び第二切出映像Ｉ₂ ^~の間で切り替えを行う。そして、映像切替・合成部８は、切り替え後の映像を出力映像Ｊとして出力する。

これにより、第一切出映像Ｉ₁ ^~及び第二切出映像Ｉ₂ ^~の両視点の間を移動しつつ、制御信号ｃに応じて、第一切出映像Ｉ₁ ^~と、第一仮想視点映像Ｊ₁と、第一仮想視点映像Ｊ₁及び第二仮想視点映像Ｊ₂の合成映像と、第二仮想視点映像Ｊ₂と、第二切出映像Ｉ₂ ^~との間で切り替えが行われ、出力映像Ｊとして出力される。

したがって、第一の視点で撮影された第一映像Ｉ₁から第二の視点で撮影された第二映像Ｉ₂へ（またはその逆へ）視点が遷移する際に、視点移動に伴う滑らかな映像効果を実現することができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

例えば、前記実施形態では、制御信号ｃの値域を０≦ｃ≦１とし、ｃ＝０を第一の視点として第一カメラパラメータｐ₁及び第一映像Ｉ₁に対応させ、ｃ＝１を第二の視点として第二カメラパラメータｐ₂及び第二映像Ｉ₂に対応させるようにした。これに対し、ｃ＝０を第二の視点として第二カメラパラメータｐ₂及び第二映像Ｉ₂に対応させ、ｃ＝１を第一の視点として第一カメラパラメータｐ₁及び第一映像Ｉ₁に対応させるようにしてもよい。

この場合、映像効果装置１の映像切替・合成部８は、制御信号ｃが０である場合（ｃ＝０）、第二切出映像Ｉ₂ ^~を出力映像Ｊとして出力する。また、映像切替・合成部８は、制御信号ｃが０よりも大きく、かつｎ以下である場合（０＜ｃ≦ｎ）、第二仮想視点映像Ｊ₂を出力映像Ｊとして出力する。

また、映像切替・合成部８は、制御信号ｃがｎよりも大きく、かつＮよりも小さい場合（ｎ＜ｃ＜Ｎ）、以下の式にて、制御信号ｃに応じたパラメータｎ，Ｎによる重みにて、第二仮想視点映像Ｊ₂及び第一仮想視点映像Ｊ₁を加重合成し、演算結果の合成映像を出力映像Ｊとして出力する。

映像切替・合成部８は、制御信号ｃがＮ以上であり、かつ１よりも小さい場合（Ｎ≦ｃ＜１）、第一仮想視点映像Ｊ₁を出力映像Ｊとして出力する。また、映像切替・合成部８は、制御信号ｃが１である場合（ｃ＝１）、第一切出映像Ｉ₁ ^~を出力映像Ｊとして出力する。

また、図１に示した映像効果装置１において、第一射影変換部６及び第二射影変換部７が存在しない場合、映像切替・合成部８は、第一射影変換部６から第一切出映像Ｉ₁ ^~を入力する代わりに、第一映像Ｉ₁を直接入力し、第二射影変換部７から第二切出映像Ｉ₂ ^~を入力する代わりに、第二映像Ｉ₂を直接入力するようにしてもよい。

この場合、映像切替・合成部８は、第一映像Ｉ₁を第一対象映像とし、第二映像Ｉ₂を第二対象映像として、制御信号ｃに応じて、第一仮想視点映像Ｊ₁及び第二仮想視点映像Ｊ₂を加重合成して合成映像を生成し、第一対象映像、第一仮想視点映像Ｊ₁、合成映像、第二仮想視点映像Ｊ₂及び第二対象映像の間で切り替えを行う。そして、映像切替・合成部８は、切り替え後の映像を出力映像Ｊとして出力する。

また、前記実施形態では、フェーダ２は制御信号ｃを出力し、映像切替・合成部８は、制御信号ｃの値域が０から１まで遷移するに従い、第一切出映像Ｉ₁ ^~、第一仮想視点映像Ｊ₁、第一仮想視点映像Ｊ₁及び第二仮想視点映像Ｊ₂の合成映像、第二仮想視点映像Ｊ₂及び第二切出映像Ｉ₂ ^~を順番に出力映像Ｊとして出力するようにした。

ここで、例えば制御信号ｃ＝０の場合、当該制御信号ｃにズームアウトを実現するズーム倍率（時間の経過と共にズーム倍率の縮小率が大きくなる値）を含むものとし、制御信号ｃ＝１の場合、当該制御信号ｃにズームインを実現するズーム倍率（時間の経過と共にズーム倍率の拡大率が大きくなる値）を含むものとした場合を想定する。

この場合、映像切替・合成部８は、制御信号ｃ＝０の場合、ズームアウトの映像効果を実現する第一切出映像Ｉ₁ ^~を出力映像Ｊとして出力し、制御信号ｃ＝１の場合、ズームインの映像効果を実現する第二切出映像Ｉ₂ ^~を出力映像Ｊとして出力する。

つまり、映像切替・合成部８は、制御信号ｃの値域が０から１まで遷移するに従い、ズームアウトの映像効果を実現する第一切出映像Ｉ₁ ^~を出力し、最後のズーム倍率が反映された被写体サイズの第一仮想視点映像Ｊ₁を出力し、第一仮想視点映像Ｊ₁及び第二仮想視点映像Ｊ₂の合成映像を出力し、第二仮想視点映像Ｊ₂を出力し、そして、ズームインの映像効果を実現する第二切出映像Ｉ₂ ^~を順番に出力する。

尚、本発明の実施形態による映像効果装置１のハードウェア構成としては、通常のコンピュータを使用することができる。映像効果装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

映像効果装置１に備えた仮想視点設定部３、第一仮想視点映像生成部４、第二仮想視点映像生成部５、第一射影変換部６、第二射影変換部７及び映像切替・合成部８の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１映像効果装置
２フェーダ
３仮想視点設定部
４第一仮想視点映像生成部
５第二仮想視点映像生成部
６，１４，１８第一射影変換部
７，１６第二射影変換部
８映像切替・合成部（出力映像処理部）
１０背景生成部
１１第一被写体抽出部
１２第二被写体抽出部
１３合成部（背景合成部）
１５ビルボード設定部
１７合成部
ｃ制御信号
Ｉ₁ 第一映像
Ｉ₂ 第二映像
ｐ₁ 第一カメラパラメータ
ｐ₂ 第二カメラパラメータ
ｐ（ｃ），ｐ₁ ^~，ｐ₂ ^~ カメラパラメータ
Ｉ₁ ^~ 第一切出映像
Ｉ₂ ^~ 第二切出映像
Ｊ₁ 第一仮想視点映像
Ｊ₂ 第二仮想視点映像
Ｊ出力映像
ｇ₁（ｃ），ｇ₂（ｃ），ｇ_u（ｃ），ｇ_v（ｃ）ゲイン（重み関数）
Ｋ，Ｆキー映像
Ａ合成あり背景映像
Ｂ背景映像
Ｌ背景の仮想視点映像
Ｌ’ 第二被写体の仮想視点映像
Ｍ₁～Ｍ_D 前景の仮想視点映像（第一被写体の仮想視点映像）
Ｎ₁～Ｎ_D キーの仮想視点映像（第一キーの仮想視点映像）

Claims

異なる視点で撮影された第一映像及び第二映像に基づいて、制御信号に応じた仮想的な視点の映像を出力映像として求める映像効果装置において、
外部から、前記第一映像の視点と前記第二映像の視点との間の視点位置を含む前記制御信号を入力し、前記制御信号に応じて前記仮想的な視点を設定する仮想視点設定部と、
前記第一映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第一仮想視点映像を、前記第一映像に基づいて生成する第一仮想視点映像生成部と、
前記第二映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第二仮想視点映像を、前記第二映像に基づいて生成する第二仮想視点映像生成部と、
前記第一映像を第一対象映像とし、前記第二映像を第二対象映像として、前記仮想視点設定部により設定された前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像生成部により生成された前記第一仮想視点映像、及び前記第二仮想視点映像生成部により生成された前記第二仮想視点映像に基づき、前記出力映像を求める出力映像処理部と、を備え、
前記第一仮想視点映像生成部は、
前記第一映像から被写体の領域と当該被写体以外の領域とを区別するキー映像を生成し、前記キー映像及び前記第一映像の視点を用いて、前記キー映像の示す前記被写体の領域に対してビルボードの面を設定し、前記面のパラメータをビルボードパラメータとして設定し、
前記第一映像の視点、前記仮想的な視点及び前記ビルボードパラメータを用いて、前記第一映像及び前記キー映像の射影変換を行い、前記被写体の仮想視点映像を生成すると共に、前記被写体の領域と前記被写体以外の領域とを区別するキーの仮想視点映像を生成し、
前記第一映像、前記第一映像の視点及び前記仮想的な視点を用いて、背景の仮想視点映像または前記被写体に関連する物の仮想視点映像を生成し、
前記キーの仮想視点映像に基づいて、前記被写体の仮想視点映像と、前記背景の仮想視点映像または前記被写体に関連する物の仮想視点映像とを合成し、前記第一仮想視点映像を生成し、
前記第二仮想視点映像生成部は、
前記第二映像から被写体の領域と当該被写体以外の領域とを区別するキー映像を生成し、前記キー映像及び前記第二映像の視点を用いて、前記キー映像の示す前記被写体の領域に対してビルボードの面を設定し、前記面のパラメータをビルボードパラメータとして設定し、
前記第二映像の視点、前記仮想的な視点及び前記ビルボードパラメータを用いて、前記第二映像及び前記キー映像の射影変換を行い、前記被写体の仮想視点映像を生成すると共に、前記被写体の領域と前記被写体以外の領域とを区別するキーの仮想視点映像を生成し、
前記第二映像、前記第二映像の視点及び前記仮想的な視点を用いて、背景の仮想視点映像または前記被写体に関連する物の仮想視点映像を生成し、
前記キーの仮想視点映像に基づいて、前記被写体の仮想視点映像と、前記背景の仮想視点映像または前記被写体に関連する物の仮想視点映像とを合成し、前記第二仮想視点映像を生成する、ことを特徴とする映像効果装置。
請求項１に記載の映像効果装置において、
さらに、前記第一映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第一映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第一切出映像を生成する第一射影変換部と、
前記第二映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第二映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第二切出映像を生成する第二射影変換部と、を備え、
前記出力映像処理部は、
前記第一射影変換部により生成された前記第一切出映像を前記第一対象映像とし、前記第二射影変換部により生成された前記第二切出映像を前記第二対象映像として、前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像及び前記第二仮想視点映像に基づき、前記出力映像を求める、ことを特徴とする映像効果装置。
請求項１または２に記載の映像効果装置において、
前記出力映像処理部は、
前記制御信号の値が当該制御信号の値域の最小値（または最大値）ｍである場合、前記第一対象映像を前記出力映像とし、
前記制御信号の値が前記値域の最大値（または最小値）Ｍである場合、前記第二対象映像を前記出力映像とし、
前記制御信号の値が前記最小値ｍよりも大きくかつ前記最大値Ｍよりも小さい場合（または前記最小値Ｍよりも大きくかつ前記最大値ｍよりも小さい場合）、前記第一仮想視点映像、前記第二仮想視点映像、または、前記第一仮想視点映像及び前記第二仮想視点映像の合成映像を前記出力映像として求める、ことを特徴とする映像効果装置。
請求項１または２に記載の映像効果装置において、
実数ｍ，ｎ，Ｎ，Ｍが式：ｍ＜ｎ＜Ｎ＜Ｍ（またはＭ＜Ｎ＜ｎ＜ｍ）を満たし、前記実数ｍが前記制御信号の値域の最小値（または最大値）であり、前記実数Ｍが前記制御信号の値域の最大値（または最小値）であるとして、
前記出力映像処理部は、
前記制御信号の値が前記実数ｍである場合、前記第一対象映像を前記出力映像とし、
前記制御信号の値が前記実数Ｍである場合、前記第二対象映像を前記出力映像とし、
前記制御信号の値が前記実数ｍよりも大きくかつ前記実数ｎ以下である場合（または前記実数Ｍよりも大きくかつ前記実数Ｎ以下である場合）、前記第一仮想視点映像を前記出力映像とし、
前記制御信号の値が前記実数ｎよりも大きくかつ前記実数Ｎよりも小さい場合（前記実数Ｎよりも大きくかつ前記実数ｎよりも小さい場合）、前記第一仮想視点映像及び前記第二仮想視点映像を加重合成することで合成映像を生成し、当該合成映像を前記出力映像とし、
前記制御信号の値が前記実数Ｎ以上でありかつ前記実数Ｍよりも小さい場合（前記実数ｎ以上でありかつ前記実数ｍよりも小さい場合）、前記第二仮想視点映像を前記出力映像として求める、ことを特徴とする映像効果装置。
コンピュータを、請求項１から４までのいずれか一項に記載の映像効果装置として機能させるためのプログラム。